JP2023057932A - 制御装置、撮像装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】複数の被写体が存在するシーンにおいて、滑らかで品位の良い画像を取得することが可能な制御装置を提供する。【解決手段】制御装置（１）は、主被写体情報を検出する被写体検出手段（２６）と、画像における動きベクトル情報を検出する動きベクトル検出手段（２７）と、ブレ情報を検出するブレ検出手段（１３、１４）と、主被写体情報とブレ情報と動きベクトル情報とに基づいて、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定する制御手段（１５）とを有する。【選択図】図４

Description

本発明は、制御装置、撮像装置、制御方法、およびプログラムに関する。

撮像された画像の被写体に生じるブレ（被写体ブレ）には、手ブレのような撮像装置の動きによって生じるものと、被写体の動きによって生じるものがある。被写体ブレを補正して撮影者の意図した被写体（主被写体）を追尾して安定した構図を提供するには、背景など他の被写体の動きと分離された主被写体の動きを検出して、主被写体が画面のほぼ同じ位置に捉え続けるように補正することが必要である。

特許文献１には、撮像装置に加わる振れを示す振れ検出信号と被写体の動きベクトルとに基づいて、撮像画像に生じる像ブレを補正するため補正部を駆動することで、流し撮りを容易に行う方法が開示されている。特許文献２には、ＡＦ枠の描画位置と焦点検出領域の位置を異なる特性で変更することで、ＡＦ枠を移動させる際のチラツキ感を抑える方法が開示されている。

特開２０１８－３６３６６号公報 特開２０１０－２０４５８５号公報 特許第３１４３１７３号公報

特許文献１の方法では、合焦位置に応じて動きベクトルの検出領域の位置を設定するため、補正対象の追尾が困難になった場合に、ブレ補正動作で対象にすべき被写体（領域）としては適さないものを対象として決めてしまう可能性がある。特許文献２の方法では、実際に制御対象とすべき領域と変更された領域とが一致しない場合がある。このため、特許文献１および特許文献２の方法では、複数の被写体が存在するシーンにおいて、滑らかで品位の良い画像を取得することができない。

そこで本発明は、複数の被写体が存在するシーンにおいて、滑らかで品位の良い画像を取得することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。

本発明の一側面としての制御装置は、主被写体情報を検出する被写体検出手段と、画像における動きベクトル情報を検出する動きベクトル検出手段と、ブレ情報を検出するブレ検出手段と、前記主被写体情報と前記ブレ情報と前記動きベクトル情報とに基づいて、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定する制御手段とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、複数の被写体が存在するシーンにおいて、滑らかで品位の良い画像を取得することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。

各実施形態における撮像システムのブロック図である。 各実施形態における主被写体検出処理のフローチャートである。 各実施形態における撮影処理のフローチャートである。 第１の実施形態におけるブレ補正処理のフローチャートである。 第１の実施形態におけるベクトル検出枠の設定に関する説明図である。 第２の実施形態におけるブレ補正処理のフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における撮像装置について説明する。図１は、撮像システム１００のブロック図である。撮像システム１００は、撮像装置（カメラ本体）１と、撮像装置１に対して着脱可能な交換レンズ（レンズ装置）３１とを備えて構成される。

２は交換レンズ３１を装着するレンズマウント、３は撮像光学系を通過した被写体像（光学像）を光電変換するセンサ（撮像素子）である。４はセンサ３により光電変換された電気信号に対して各種の画像処理を施すことにより所定の画像信号を生成する撮像回路、５は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変化するＡ／Ｄ変換回路である。６はＡ／Ｄ変換回路７から出力されたデジタル画像信号を一時的に記憶するバッファメモリ等のＶＲＡＭ（メモリ）、７はＶＲＡＭ６に記憶された画像信号を読み出してアナログ信号に変換するとともに再生出力に適した画像信号に変換するＤ／Ａ変換回路である。８はＤ／Ａ変換回路７から出力された画像信号を表示するＬＣＤ（液晶表示装置等の画像表示装置、１０は半導体メモリ等からなる画像データを記憶する記憶用メモリである。９は圧縮回路と伸長回路とを有する圧縮／伸長回路である。圧縮回路は、ＶＲＡＭ６に一時記憶された画像信号を読み出して記憶用メモリ１０に対する記憶に適した形態にするために画像データの圧縮処理や符号化処理を施す。伸長回路は、記憶用メモリ１０に記憶された画像データを再生表示などするのに最適な形態とするための復号化処理や伸長処理等を施す。

１１は、Ａ／Ｄ変換回路７からの出力信号に対して自動露出（ＡＥ）処理を行うＡＥ処理回路である。１２は、Ａ／Ｄ変換回路５からの出力信号に対して自動焦点調節（ＡＦ）処理を行うためのＡＦ評価値を生成やデフォーカス量情報を検出するＡＦ処理回路である。１４は、手ブレなど撮像装置１の動きを検出するブレ検出センサであり、ジャイロセンサや加速度計などの慣性センサで構成され、複数の慣性センサを用いることで多軸のブレを検出する。１３は、ブレ検出センサ１４からの信号を処理するブレ検出回路である。

１５は撮像装置１を制御する演算用のメモリを内蔵したＣＰＵ（制御手段）、１６は所定のタイミング信号を発生するＴＧ（タイミングジェネレータ）、１７はセンサドライバー、１８は各種のスイッチ群からなる操作スイッチ（操作ＳＷ）である。１９は、各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭである。２０は電池、２１は交換レンズ３１と通信を行うための通信ドライバー、２２は警告表示などを行うＬＥＤ（表示素子）である。２５はセンサ３を水平垂直回転方向に移動させるためのセンサ移動モータ、２４はセンサ移動モータ２５の移動を制御するためのセンサ移動制御回路である。２７は、Ａ／Ｄ変換回路７からの出力信号を用いて被写体の動きベクトルを検出する処理を行う動きベクトル検出回路である。２６は、動きベクトル検出回路２７、Ａ／Ｄ変換回路７、およびＣＰＵ１５からの出力信号を用いて主被写体検出処理を行う主被写体検出回路である。２８は、画像の回転拡縮やトリミング（切出し）などの画像処理を行う画像変形切出し回路である。２３は、各種の報知や警告などを行うためのスピーカーである。

３２はブレ補正レンズ、３３はフォーカスレンズ、３４はブレ補正レンズ、３４はフォーカスレンズ３３等からなる撮像光学系を透過する光束の量を制御する絞り（光量調節手段）、３５は撮像装置１と通信を行うための通信ドライバーである。３６は、絞り３４を駆動する不図示の絞り駆動モータ、フォーカスレンズ３３を駆動する不図示のフォーカス駆動モータ、およびブレ補正レンズ３２を駆動する不図示のブレ補正レンズ駆動モータを制御する制御回路である。３７は、各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭである。交換レンズ３１は、ブレ補正レンズ３２、フォーカスレンズ３３、および絞り３４を含む撮像光学系を有するとともに、交換レンズ３１の焦点距離を変更する不図示のズームリング、およびフォーカス調節を行うマニュアルフォーカスリング等を備える。

なお、画像データ等の記憶媒体である記憶用メモリは、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状からなり装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリに限定されるものではない。例えば、ハードディスクやフロッピィーディスク等の磁気記憶媒体等、様々な形態のものが適用可能である。

操作スイッチ１８は、撮像装置１を起動させ電源供給を行う主電源スイッチ、動画撮影動作（記録動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ、露出補正量変更ダイヤル、露光時間変更ダイヤル、絞り値変更ダイヤル等を含む。レリーズスイッチは、撮影動作に先立ち行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第一ストローク（ＳＷ１）と、実際の露光動作を開始させる指示信号を発生する第ニストローク（ＳＷ２）との二段スイッチにより構成される。

次に、撮像システム１００の動作を説明する。まず、光量が調整された交換レンズ３１を透過した被写体光束（被写体像）はセンサ３の受光面に結像される。被写体像は、センサ３による光電変換処理により電気的な信号に変換され撮像回路４に出力される。撮像回路４は、入力した信号に対して各種の信号処理を施し、所定の画像信号を生成する。この画像信号はＡ／Ｄ変換回路５に出力されてデジタル信号（画像データ）に変換された後、ＶＲＡＭ６に一時的に格納される。ＶＲＡＭ６に格納された画像データは、Ｄ／Ａ変換回路７へ出力されてアナログ信号に変換され、表示に適した形態の画像信号に変換された後、ＬＣＤ８に画像として表示される。一方、ＶＲＡＭ６に格納された画像データは、圧縮／伸長回路９にも出力される。圧縮／伸長回路９における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１０に記憶される。

また。例えば操作スイッチ１８のうち不図示の再生スイッチが操作されオン状態になると、再生動作が開始される。このとき、記憶用メモリ１０に圧縮された形で記憶された画像データは圧縮／伸長回路９に出力され、伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ６に出力され一時的に記憶される。更に、この画像データは、Ｄ／Ａ変換回路７へ出力されアナログ信号に変換され、表示に適した形態の画像信号に変換された後、ＬＣＤ８に画像として表示される。

一方、ＴＧ１６からは所定のタイミング信号がＣＰＵ１５、撮像回路４、センサドライバー１７へ出力されており、ＣＰＵ１５はこのタイミング信号に同期させて各種の制御を行う。また撮像回路４は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらにセンサドライバー１７は、ＴＧ１６のタイミング信号を受けこれに同期してセンサ３を駆動する。

他方、Ａ／Ｄ変換回路５によってデジタル化された画像データは、ＶＲＡＭ６とは別に、ＡＥ処理回路１１、ＡＦ処理回路１２、動きベクトル検出回路２７、主被写体検出回路２６、および画像変形切出し回路２８に対しても出力される。

ＡＥ処理回路１１は、入力されたデジタル画像信号を受けて、被写体の明るさに応じたＡＥ評価値を算出し、ＡＥ評価値をＣＰＵ１５に出力する。ＣＰＵ１５は、ＡＥ評価値に基づいて、センサ３の露光時間や絞り３４の開口値を算出し、通信ドライバー２１を介して交換レンズ３１へ送信する。交換レンズ３１において、制御回路３６は、絞り駆動処理などを行い、絞り３４の絞り量が適正になるように調整する。

ＡＦ処理回路（デフォーカス量検出手段）１２は、焦点調整のための撮像画素を有するセンサ３により取得される画像信号の像修正と、修正された像信号の相関演算を行い、デフォーカス量情報を検出する。ＣＰＵ１５は、フォーカスレンズ３３の駆動量と駆動方向を求め、通信ドライバー２１を介して交換レンズ３１へ送信する。交換レンズ側でフォーカスレンズ３３の駆動処理が行われ合焦状態を得るＡＦ制御が可能になる。

動きベクトル検出回路２７は、入力されたデジタル画像信号（基準画像）に基づいて、ＣＰＵ１５からの指示により分割された領域に従い、１フレーム前のデジタル画像信号（参照画像）との相関演算を行うことにより、被写体の動きベクトルを求める。すなわち、水平垂直方向に参照画像を所定画素ずらしながら基準画像と参照画像の差分演算を行い、最も高い相関度（最少の差分量）を得た画素ずらし量をその領域における被写体の動き量とし、その際の水平垂直方向の画素ずらし方向を動き方向とする。これにより、フレーム間の領域内の被写体の動きベクトルが求められる。なお、詳細に関しては特許文献３などに記載されているため、その説明を省略する。

そして主被写体検出回路２６は、主被写体検出手段の役割を担い、以下のようにして主被写体の画面内の位置（主被写体情報）を検出する。まず、主被写体検出回路２６は、撮影者によって主被写体領域が指定されたかを判定する。例えば撮影者によってＡＦ点が指定された領域や、ＬＣＤ８にタッチパネルが装着されている場合に撮影者によって所定時間タッチ操作が行われた領域を主被写体領域と判定する。

また主被写体検出回路２６は、Ａ／Ｄ変換回路５からの出力信号に基づいて、瞳、眉などの顔を特徴付ける部分を画像上で探索する。そして主被写体検出回路２６は、その位置関係から、人物の顔の画像上での位置を検出し、更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。

また主被写体検出回路２６は、Ａ／Ｄ変換回路５からの出力信号に基づいて、頭部や胴体など人物を特徴付ける部分に相当する形状を持つ部位を画像上で探索しそれらの位置関係を評価することで、画面内に存在する人物の位置を検出する。例えば、円形に近い形状を検出しその下部に第一の長方形の形状が存在し第一の長方形より短辺が短い第二の長方形は存在し、互いが隣接するような場合に人物が存在すると判定すれば良い。

また主被写体検出回路２６は、Ａ／Ｄ変換回路５からの出力信号に基づいて、色や輝度が類似した集合体を検出しその大きさや画面上の位置を検出し、その結果から主被写体である度合いを推測する。例えば、画面中央に近い位置に所定以上の大きさで色と輝度が類似した集合体が存在すれば主被写体らしいと判定する。そして大きさや画面上の位置が所定条件を満たすものの中から画面中央を原点とした重心座標や集合体の大きさから求めた主被写体度合いが最も高い領域を主被写体領域とする。

また主被写体検出回路２６は、ＡＦ処理回路１２の処理結果から画面内のＡＦ点毎の距離またはデフォーカス量を取得する。そして、動きベクトル検出回路２７の処理結果およびブレ検出回路１３の結果を用いて、撮影者が画面内に捉えようとしている実空間上で移動している被写体を検出する。
また主被写体検出回路２６は、ＣＰＵ１５から、ＡＥ処理回路１１の処理結果、ＬＣＤ画面をタッチして設定したものも含めて撮影者によって設定されたＡＦ点情報、撮影モード、シャッター速度、および絞り値（Ｆ値）などの情報を取得する。主被写体検出回路２６は、このようにして得られた検出結果から総合的に主被写体領域を複数個検出し、それに順位を付けた結果をＣＰＵに送信する。

本実施形態において、主被写体検出回路２６で検出された主被写体の検出時の信頼性が高い場合などはその主被写体をブレ補正の制御対象とする。そして、その主被写体の動きベクトルを動きベクトル検出回路２７で検出した後、検出した動きベクトルを用いて主被写体に生じるブレを補正する。複数の主被写体が検出された場合は、最も順位が高い主被写体を主被写体とし、同様にブレ補正を行う。逆に、同順位に複数の被写体が存在し主被写体が決められない場合や一時的に主被写体が検出されなかった場合などは、主被写体検出回路２６で検出された主被写体をブレ補正の制御対象とせず、背景など別の被写体を制御対象としブレ補正を行う。

次に、図２を参照して、本実施形態における主被写体検出処理を説明する。図２は、主被写体検出処理のフローチャートである。図２の各ステップは、主に、ＣＰＵ１５の指令に基づいて主被写体検出回路２６により実行される。この処理において、より先に検出が行われた主被写体ほど主被写体の優先順位が高いものとなる。

処理が開始されるとまず全ての主被写体検出フラグをオフにする。その後、ステップＳ２０１において、主被写体検出回路２６は、撮影者によって主被写体領域（ＡＦ測距点）が指定されているかを判定する。これは、ＣＰＵ１５から送られたＡＦ点情報を調べ撮影者により任意のＡＦ点がメニューやＬＣＤ画面のタッチ動作などによって指定されているかを調べることで実行される。主被写体領域が指定されている場合、ステップＳ２０２に進む。ステップＳ２０２において、主被写体検出回路２６は、操作スイッチ１８の操作で指定されたＡＦ点、またはＬＣＤ画面をタッチすることで撮影者により選択された主被写体領域およびその近傍で類似性のある被写体の存在する領域を、主被写体領域とする。

一方、主被写体領域が指定されていない場合、ステップＳ２０３に進む。ステップＳ２０３において、主被写体検出回路２６は、顔が検出されているかを判定する。顔が検出されている場合、顔検出フラグをオンした後、ステップＳ２２１で検出された顔が前フレームまで主被写体としていたものと同一被写体とみなせるかを判定する。同一被写体とみなせる場合、ステップＳ２０４に進み、検出された顔領域を主被写体領域とする。一方、同一被写体とみなせない場合、ステップＳ２０５へ進む。なお、同一被写体とみなせるか否かの判定は、主被写体検出回路２６の同一と推定される被写体を追尾する機能を用いて行うことができる。

ステップＳ２０５において、主被写体検出回路２６は、人物が検出がされているかを判定する。人物が検出されている場合、人物検出フラグをオンした後、ステップＳ２２２で検出された人物が前フレームまで主被写体としていたものと同一被写体とみなせるかを判定する。同一被写体とみなせる場合、ステップＳ２０６に進み、検出された人物領域を主被写体領域とする。一方、同一被写体とみなせない場合、ステップＳ２０７へ進む。

ステップＳ２０７において、主被写体検出回路２６は、動体（撮影者が画面内に捉えようとしている実空間上で移動している被写体）が存在するか（動体が検出されたか）を判定する。動体が存在する場合、動体検出フラグをオンした後、ステップＳ２２２で検出された動体が前フレームまで主被写体としていたものと同一被写体とみなせるかを判定する。同一被写体とみなせる場合、テップＳ２０８に進み、その動体を主被写体領域とする。一方、同一被写体とみなせない場合、ステップＳ２０９へ進む。動体が存在するか否かの判定は、ブレ検出回路１３、動きベクトル検出回路２７、およびＡＦ処理回路１２の出力信号を用いて行われる。

ブレ検出回路１３の出力信号が小さい場合（複数の軸の検出値がいずれも所定値未満の場合）、すなわち撮影者が意図的に撮像装置１を動かしていない場合、動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以上の領域があるかを判定する。動きベクトルの動き量が所定値以上の領域がある場合、その領域を主被写体領域とする。

一方、ブレ検出回路１３の出力信号が大きい場合（複数の軸の検出値がいずれかが所定値以上の場合）、すなわち撮影者が意図的に撮像装置１を動かしている場合、この意図的な動きと等しい動きをしている領域を主被写体領域とする。すなわち、動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以下の領域がある場合、その領域を主被写体領域とする。

動きベクトル検出回路２７の出力信号を用いた処理で動体が検出できなかった場合、距離方向（光軸方向）に移動する動体が存在するかを判定する。これは、ＡＦ処理回路１２から得た距離またはデフォーカス量から時系列的に同一方向にその量が変化しているＡＦ点（例えば５フレーム連続して距離が近づいているＡＦ点）が存在するかを調べることで行うことができる。ＡＦ処理回路１２から得られた全てのＡＦ点に関してフレーム毎の距離またはデフォーカス量の変化を調べ、所定フレーム以上に渡り所定量同一方向に変化しているＡＦ点を抽出し、そのＡＦ点を動体がある領域とし、隣接していれば合体させる。所定フレーム以上に渡り所定量同一方向に変化しているＡＦ点領域が複数存在する場合は、画面中央に近い測拠点領域を選択する。

ステップＳ２０９において、主被写体検出回路２６は、色や輝度が類似した集合体の中で主被写体度合いが高い主被写体領域と見なせる領域が存在しないかを判定する。主被写体領域とみなせる領域が存在する場合、主被写体検出フラグをオンした後、ステップＳ２２４で検出された主被写体領域の主被写体が前フレームまで主被写体としていたものと同一被写体とみなせるかを判定する。同一被写体とみなせる場合、ステップＳ２１０へ進み、その領域を主被写体領域とする。主被写体度合いは、色や輝度が類似した集合体の画面上の位置と大きさによって判定する。検出された集合体が画面四辺のうちの二辺に接していないものを選択し、その中で所定以上の大きさのものを主被写体度合いが高い集合体とみなす。該当するものが複数存在する場合は、集合体の重心位置が画面の中心に近いものを選択する。

前フレームまで主被写体としていたものと同一とみなせない場合、ステップＳ２２５へ進む。ステップＳ２２５において、それまでの処理において主被写体候補が検出されているかを、検出フラグをチェックすることにより行う。いずれかの検出フラグがオンされている場合、主被写体検出回路２６は主被写体候補が検出されていると判定し、ステップＳ２２６へ進む。

ステップＳ２２６において、主被写体検出回路２６は、検出フラグがオンになっている検出領域の中で優先順位が最も高いものを選択し、その領域を主被写体領域とする。顔検出がされていれば顔検出領域を、顔検出がされず人物検出がさえていれば人物検出領域を、顔検出も人物検出もされずに動体が検出されていれば動体領域を、いずれも検出されていなければ主被写体度合いが高いと判定された検出領域を、主被写体領域とする。

検出フラグがオンされていない場合、それまでの処理で主被写体候補が検出されていないため、ステップＳ２１１へ進む。ステップＳ２１１において、主被写体検出回路２６は、ＡＦ処理回路１２の処理結果からＡＦ可能な画面内のＡＦ点数の割合が高く、かつ距離差のある被写体が存在するか調べる。条件を満たす場合、ステップＳ２１２へ進み、複数のＡＦ点のうち最至近のＡＦ結果を示したＡＦ点を主被写体領域とする。この場合、風景撮影などの画面全体が被写体ではなく、風景を背景とした記念撮影などと考えられるため、最至近の被写体を主被写体領域とする。一方、条件を満たさない場合、ステップＳ２１３において、ＣＰＵ１５から取得したＡＥ処理結果、撮影モード、シャッター速度、絞り値、撮影者によるストロボＯＮＯＦＦ情報からＡＦを行う領域を決定する。

まず、撮影モードに基づき、以下の表１のようにして、ＡＦを行う領域を決定する。

上記の条件に当てはまらない場合、以下の表２のようにして、主被写体領域を決定する。

なお、顔・人物・動体が複数検出された場合は、その検出位置と大きさ（顔）、または検出位置（人物・動体）によって主被写体領域を決める。また異なる優先順位の主被写体が検出される場合もあり、優先順位に従って主被写体領域が決定される。初めはこのように主被写体領域が決定されるが、次フレーム以降は同一被写体であることが優先される。

主被写体検出回路２６は、前フレームで主被写体として検出された被写体と同一と推定される被写体を追尾する機能を持つ。この機能により、上記の手順で主被写体として検出された被写体が、前フレームまでの主被写体と同一であると推定された場合は、その被写体を最高順位の主被写体とする。上記の手順においてより先に検出が行われた主被写体があっても、同一であると推定される主被写体が優先される。よってこの同一と推定された主被写体に対するブレ補正が行われる。なおこの機能は、任意のＡＦ点が指定された場合など（図２中のステップＳ２０４、Ｓ２０６、Ｓ２０８、Ｓ２１０）にのみ行われる。最至近の被写体を主被写体領域としたなどの場合（図２中のステップＳ２１２、Ｓ２１３）、被写体と同一と推定される被写体かの判定は行わない。

また、撮影者が明示的に主被写体を指定するために、メニューなどでＡＦ点が指定した場合は指定されたＡＦ点の被写体を主被写体とする。よって、新たな主被写体が検出されたと判定されるのは、撮影者が明示的に主被写体を指定した場合（ステップＳ２０２）、および、同一被写体と推定されなくなり同時に順位の高い主被写体が検出された場合（ステップＳ２１２）である。ここで、同一被写体と推定されなくなり同時に順位の高い主被写体が検出された場合とは、それまで主被写体が大きく動いたときに撮影者が意図的にその被写体を追うことをせずに画面上の位置が大きく変わる場合などである。

その後、画像変形切出し回路２８は、主被写体検出回路２６や動きベクトル検出回路２７の出力信号を用いて、ＣＰＵ１５が算出した主被写体の画像上の上下左右の動きや撮像装置１の回転に関する情報に応じてその変化を補正する。このため、画像回転などの変形や、画像の一部分を切出すなどの画像処理を行う。例えば、主被写体として検出された人物の顔が人物の移動や撮影者の手ブレによって画面上の位置が大きく変化することや、主被写体が斜め方向に移動することがある。動画のフレーム間にこのようなブレや画面の水平方向垂直や斜め方向に主被写体の移動が生じると、撮影者が希望する画面上の位置に主被写体が存在しない状況や、不自然な移動が生じる。このような現象がフレーム間で頻繁に発生する記録された動画像は非常に見づらいものとなる。

そこで、フレーム間の主被写体の水平方向垂直方向の移動を表す動きベクトルを動きベクトル検出回路２７で検出し、ＣＰＵ１５で動きベクトルから画像を補正する情報を算出する。そして、算出された補正量に応じて画像を画像変形切出し回路２８で変形補正し、生成された画像をＶＲＡＭ６の所定の領域に記録する。

次に、図３を参照して、撮像装置１の撮影処理を説明する。図３は、撮影処理のフローチャートである。図３の各ステップは、主にＣＰＵ１５の指令に基づいて撮像装置１の各部により実行される。撮像装置１の主電源スイッチがオン状態であり、かつ撮像装置１の動作モードが撮影（録画）モードにある場合、撮影処理シーケンスが実行される。

まず、ステップＳ３０１において、ＣＰＵ１５は、処理で用いる変数の初期化や駆動部材を初期位置へ移動する等の初期化処理を行った後、交換レンズ３１が装着されているか否かを判定する。交換レンズ３１が装着されている場合、ＣＰＵ１５は、ブレ補正レンズ３２、フォーカスレンズ３３、絞り３４、焦点距離などに関する情報を取得する。一方、交換レンズ３１が装着されていない場合、交換レンズ情報の取得の処理は行わずにステップＳ３０２へ進む。

ステップＳ３０２において、ＣＰＵ１５は、交換レンズ３１を透過しセンサ３上に結像した像をＬＣＤに画像として表示する。すなわちセンサ３上に結像した被写体像は、センサ３による光電変換処理され電気的な信号に変換された後、撮像回路４に出力される。そこで入力した信号に対して各種の信号処理が施され、所定の画像信号が生成された後、Ａ／Ｄ変換回路５に出力されデジタル信号（画像データ）に変換されＶＲＡＭ６に一時的に格納される。ＶＲＡＭ６に格納された画像データはＤ／Ａ変換回路７へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤ８に画像として表示される。なお、動画記録モードに設定され、かつブレ補正設定がＯＮになって場合は、ブレ補正処理（ブレ補正制御）を行った画像をＬＣＤ８に表示しても構わない。

続いてステップＳ３０３において、ＣＰＵ１５は、動画記録モードか静止画撮影モードのどちらに設定されているかを判定する。動画記録モードに設定されている場合、ステップＳ３０４へ進む。一方、静止画撮影モードに設定されている場合、ステップＳ３２１へ進む。

ステップＳ３２１において、ＣＰＵ１５は、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第一ストローク）がオン状態になったことをＣＰＵ１５が確認した場合、ステップＳ３２２に進む。撮影者によってブレ補正処理を行う設定がされていた場合、ＣＰＵ１５はブレ振れ補正処理を行う。この処理は、例えば特許文献２に記載された従来の静止画撮影におけるブレ補正処理などを適用すれば良いため、処理の詳細の説明は省略する。

続いてステップＳ３２３において、ＣＰＵ１５は、ＡＦ処理とＡＥ処理を実行し、フォーカスレンズ３３を合焦位置への駆動を行うとともに、静止画撮影時の絞り値や露光時間など決定する。続いてステップＳ３２４において、ＣＰＵ１５は、センサ３上に結像した像にＡＥ処理結果（高輝度・低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳してＬＣＤに画像として表示する。またＬＥＤ２２の点灯点滅やスピーカーから合焦音や非合焦音の発するなどしてＡＥやＡＦ処理結果を撮影者に知らせるようにしてもよい。

続いてステップＳ３２５において、ＣＰＵ１５はＳＷ２（レリーズスイッチの第ニストローク）を確認する。ＳＷ２がオンになっている場合、ステップＳ３２６に進み、ＣＰＵ１５は露光処理を実行する。露光処理の際にも撮影者によってブレ補正設定がされている場合、ＣＰＵ１５は、ステップＳ３２２と同様にブレ補正処理を行う。露光処理終了後、ステップＳ３１０へ進む。

一方、ステップＳ３０３にて動画記録モードに設定されていた場合、ステップＳ３０４へ進み、ＣＰＵ１５はＡＦ処理とＡＥ処理を実行する。ＣＰＵ１５は、フォーカスレンズ３３を合焦位置への駆動を行うとともに、絞り値や露光時間など決定し、絞り３４の駆動およびセンサ３の露光時間（蓄積時間）の制御を行う。

続いてステップＳ３０５において、ＣＰＵ１５は、撮影者によってブレ補正処理が設定されているかを判定する。ブレ補正処理が設定されている場合（ＩＳオンの場合）、ＣＰＵ１５は、ステップＳ３０６にてブレ補正処理を行う。一方、ブレ補正処理が設定されていない場合（ＩＳオフの場合）、ステップＳ３０７へ進む。なお、ステップＳ３０６での処理の詳細は後述する。

ステップＳ３０７において、ＣＰＵ１５は、ＡＥ処理結果（高輝度・低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳して画像をＬＣＤ８に表示する。この画像は、ブレ補正処理が設定されていた場合にはステップＳ３０６での処理で作成させたブレ補正がされた画像であり、ブレ補正処理が設定されていない場合にはステップＳ３０２にて読み出された画像である。

続いてステップＳ３０８において、ＣＰＵ１５は、動画記録指示が撮影者によってされているかを判定する。動画記録指示がされている場合、ステップＳ３０９に進み、ＣＰＵ１５は動画記録処理を実行した後、ステップＳ３１０へ進む。この動画記録処理は、ブレ補正処理が設定されていた場合、ステップＳ３０６での処理で作成させたブレ補正がされた画像を記録することで行われる。一方、ブレ補正処理が設定されていない場合、ステップＳ３０７における表示を行う際の画像（ステップＳ３０２にて読み出された画像）を記録することで行われる。

動画記録指示がされていない場合、ステップＳ３１０へ進む。ステップＳ３１０において、ＣＰＵ１５は、主電源スイッチや再生スイッチの状態変化やレンズが交換されたかを判定する。各スイッチの状態変化やレンズの交換があった場合、処理を終了する。それ以外の場合、ステップＳ３０２へ戻る。

ここで、図４および図５を参照して、ステップＳ３０６のブレ補正処理に関して説明する。図４は、本実施形態におけるブレ補正処理のフローチャートである。図５は、ベクトル検出枠の設定に関する説明図である。図４の各ステップは、主に、ＣＰＵ１５により、またはＣＰＵ１５の指令に基づいて主被写体検出回路２６や動きベクトル検出回路２７などの各部により実行される。

まず、ステップＳ４０１において、主被写体検出回路２６は、それまで主被写体として検出されたものと同一と推定される被写体が検出されたか否かを判定する。同一と推定される被写体が検出されていない場合、ステップＳ４０２へ進む。一方、同一と推定される被写体が検出されている場合、すなわち、いわゆる追尾状態であると判定された場合、ステップＳ４２１へ進む。この判定は、主被写体検出回路２６の持つ前フレームで主被写体として検出された被写体と同一と推定される被写体を追尾する機能を利用して行われる。すなわち、図２のステップＳ２０４、Ｓ２０６、Ｓ２０８、Ｓ２１０で主被写体領域を決めた場合、それまで主被写体として検出されたものと同一と推定される被写体が検出されたと判定される。それ以外、すなわち図２のステップＳ２０２、Ｓ２２６、Ｓ２１２、Ｓ２１３で主被写体領域を決めた場合、検出されていないと判定される。

ステップＳ４０２において、主被写体検出回路２６は、新たな主被写体が検出されたかを判定する。図２のステップＳ２０２、Ｓ２２６で主被写体領域を決めた場合、新たな主被写体が検出されたと判定し、ステップＳ４０３へ進む。一方、図２のステップＳ２１２、Ｓ２１３で主被写体領域を決めた場合、新たな主被写体が検出されていないと判定し、ステップＳ４２２へ進む。

ステップＳ４０３において、主被写体検出回路２６は、合焦制御の対象の被写体（合焦制御領域）が撮影者によって指定されたかを判定する。図２のステップＳ２０２で主被写体領域を決めた場合、撮影者による指定がされたと判定し、ステップＳ４２１へ進む。図２のそれ以外のステップで主被写体領域を決めた場合、撮影者による指定がされていないと判定し、ステップＳ４０４へ進む。

ステップＳ４０４において、主被写体検出回路２６は、撮影者がパンニングなどを行うことで被写体を自ら追尾しているかを判定する。追尾している場合、ステップＳ４２１へ進む。一方、追尾していない場合、ステップＳ４０５へ進む。被写体を自ら追尾しているかの判定は、ブレ検出回路１３の出力信号と動きベクトル検出回路２７の出力信号とを用いて行われる。すなわちブレ検出回路１３の出力信号が大きく、かつ動きベクトル検出回路２７から算出されるセンサ３上の主被写体の動きが小さい場合、撮像装置１を撮影者が動かし所望する主被写体がセンサ３上では動かないように撮影者が被写体を追っていると判定する。

ステップＳ４０５において、主被写体検出回路２６は、顔認証機能を用いて新たに検出された人物が同一人物かを判定する。同一の人物と判定された場合、ステップＳ４２１へ進む。一方、同一の人物でないと判定された場合、ステップＳ４０６へ進む。

ステップＳ４０６において、主被写体検出回路２６は、複数の被写体が存在して主被写体が決めることができないかを判定する。主被写体を決めることができない場合、ステップＳ４２２へ進む。一方、主被写体を決めることができる場合、ステップＳ４０７へ進む。この判定は、主被写体検出回路２６で検出された被写体の領域の大きさと数を用いて行われる。主被写体検出回路２６は、人物の顔や人物自体や動体などの被写体を検出するが、複数の被写体を検出することがある。同じ優先順位で複数の被写体が検出された場合、その検出位置と大きさ（顔）、または検出位置（人物・動体）によって主被写体領域を決める。この際に、検出位置と大きさに明確な差が無い場合、複数の被写体から主被写体を明確に決めることができない。

よって、検出された顔の大きさの差が所定の割合より小さい場合、すなわち１位の顔の大きさに対して２位の顔の大きさが所定割合（Ｃｒ１）以上の場合（複数の被写体の大きさの割合が第一の所定割合以上の場合）、主被写体を明確に決めることができない。この場合、複数の被写体が存在して主被写体を決めることができないと判定される。

同様に、２位の顔の大きさが所定割合（Ｃｒ２：Ｃｒ２＜Ｃｒ１）以上で、かつ１位の顔のセンサ中心位置と２位の顔の位置の差が所定値（Ｃｄ１）より小さい場合、主被写体を明確に決めることができない。すなわち、複数の被写体の大きさの割合が第二の所定割合以上であり、かつ複数の被写体の位置の差が第一の所定値よりも小さい場合、主被写体を明確に決めることができないと判定される。

同様に、検出された１位の被写体（人物や動体）のセンサ中心を原点とした位置と２位の被写体の位置の差が所定値（Ｃｄ２）より小さい場合（複数の被写体の位置の差が第二の所定値よりも小さい場合）、主被写体を明確に決めることができない。この場合にも、複数の被写体が存在して主被写体を決めることができないと判定される。

ステップＳ４０７において、動きベクトル検出回路２７は、センサ３上での動きが異なる被写体がそれまでの主被写体（旧被写体）と交差したかを判定する。被写体が交差した場合、ステップＳ４２２へ進む。一方、被写体が交差していない場合、ステップＳ４０８へ進む。この判定は、動きベクトル検出回路２７の検出結果を用いて行う。動きベクトル検出回路２７は、主被写体検出回路２６で検出された複数の被写体に対して、動きベクトルすなわちセンサ３上での動き量を検出する。複数の被写体が検出された場合、順位に従って複数の被写体に対して動きベクトルが検出される。

そこで、複数の被写体の数フレーム前から現在のフレームまでの間の各被写体の動きベクトルとその位置を記録しておく。そして複数の被写体のうちの二つの位置の差が所定値（Ｃｄ３）より小さく、かつその被写体の直前のフレーム間での動きベクトルの差が所定値（Ｃｖ１）以上の場合、センサ３上での動きが異なる被写体がそれまでの主被写体と交差したと判定される。すなわち、複数の被写体の位置の差が第三の所定値よりも小さく、かつ動きベクトルの差が第一の所定ベクトル差以上の場合、被写体が交差したと判定される。

ステップＳ４０８において、主被写体検出回路２６は、検出された主被写体のセンサ３上での位置が端位置にあるか（センサ３の中心から一定範囲外であるか）を判定する。主被写体の位置がセンサ３の中心から一定範囲外である場合、ステップＳ４２２へ進む。一方、主被写体の位置がセンサ３の中心から一定範囲内にある場合、ステップＳ４０９進む。この判定は、主被写体のセンサ３上での位置がセンサ３の中心位置から所定値（Ｃｐ１）以上離れていれば一定範囲外と判定され、ステップＳ４２２へ進む。すなわち、最新の検出された主被写体の位置が中心位置から第一の所定範囲外の場合、ステップＳ４２２へ進む。

ステップＳ４０９において、主被写体検出回路２６は、それまでの主被写体が一時的に検出されなくなったかを判定する。それまでの主被写体の検出位置近傍で主被写体検出されず、主被写体検出回路２６が新な主被写体を検出したが、その位置が離れ、主被写体領域の大きさが大きく異なる場合、一時的に検出されなくなったと判定され、ステップＳ４２３へ進む。一方、主被写体が検出されている場合、ステップＳ４１０進む。この判定は、それまでの主被写体が他の被写体に一旦隠れたことにより、一時的にそれまでの主被写体が検出されない場合を想定している。

主被写体検出回路２６で顔が他の被写体に隠れた場合などに顔の検出に失敗することがある。その対策として主被写体検出回路２６で顔の検出がされない場合も数フレームは前回の顔検出位置に顔があるものとしてＣＰＵ１５は主被写体を決定する。それまでの主被写体がまだ隠れているこの処理中に、新たな顔（他人の顔）が検出されると主被写体検出回路２６はその他人の顔を主被写体としてＣＰＵ１５に通知する。

そこで、新たな主被写体が通知された場合、それまで検出されていた顔と新たに検出された顔の大きさと検出位置を比較する。顔の大きさの比（Ｒｆ＝それまでの顔の大きさ／新たに検出された顔の大きさ）が所定の範囲（Ｃｒｆ１＜Ｒｆ＜Ｃｒｆ２）外の場合、一時的に検出されなくなったと判定される。または、それまで検出されていた顔と新たに検出された顔の検出位置の差Ｄｆが所定値（Ｃｄ４）よりも大きい場合、一時的に検出されなくなったと判定される。すなわち、複数の被写体の大きさの比が第一の比較値以下もしくは第二の比較値以上の場合、または、複数の被写体の位置の差が第四の所定値よりも大きい場合、主被写体が一時的に検出されなくなったと判定され、ステップＳ４２３へ進む。人物などの場合も同様である。なお、数フレームの暫定期間が終了した後は、この条件を満たさないと判定し、ステップＳ４１０へ進む。

ステップＳ４１０において、主被写体検出回路２６は、検出された複数の被写体の全てが所定のデフォーカス範囲内か（複数の被写体のデフォーカス量の差が所定値以下か）を判定する。複数の被写体の全てが所定のデフォーカス範囲内である場合、ステップＳ４２３へ進む。一方、複数の被写体の全てが所定のデフォーカス範囲内でない場合（複数の被写体が第一の所定デフォーカス範囲内または第一の距離範囲内の場合）、ステップＳ４２３へ進む。この判定は、ＡＦ処理回路１２から得られた距離またはデフォーカス量を用いて行われる。

主被写体検出回路２６で検出された複数の被写体に対して、その被写体が存在する領域の距離またはデフォーカス量をＡＦ処理回路１２から取得する。その値を用いて全ての主被写体領域が所定範囲内に入っている場合、所定デフォーカス範囲内と判定され、ステップＳ４２３へ進む。一方、いずれかの領域が所定範囲内に入っていない場合、ステップＳ４２１へ進む。これは、最も近側と最も遠側の領域のデフォーカス量（または距離）を求め、その差を所定範囲（距離範囲）と比較すれば良い。なお所定範囲は深度を基準に定める。

ステップＳ４２１において、ＣＰＵ１５は、主被写体検出回路２６で検出された主被写体領域をブレ補正の対象領域（ブレ補正制御領域）として、動きベクトル検出回路２７におけるベクトル検出枠を設定する。例えば、図５（Ａ）に示されるように、全体を９×７の領域に分割し、その中の主被写体領域に含まれる領域と一部が重複する領域（図５（Ａ）中の灰色の部分）を、被写体ブレを補正するためにベクトルを検出するための検出枠とする。続いて、各領域のベクトル検出枠においてベクトルを検出する。そして、ベクトルのクラスタリングを行い、主被写体枠内のベクトル検出枠のベクトルを被写体の移動に起因するものとそれ以外のものを分離し、被写体の移動に起因する動きベクトルを検出することで、発生している被写体ブレ量を検出する。

ステップＳ４２２において、背景をブレ補正の対象領域（ブレ補正制御領域）として、主被写体検出回路２６で検出された主被写体領域を除く領域に動きベクトル検出回路２７におけるベクトル検出枠を設定する。例えば、図５（Ａ）に示されるように、全体を９×７の領域に分割し灰色の部分を除く領域を、ブレを補正するためにベクトルを検出するための検出枠とする。続いて、各領域のベクトル検出枠においてベクトルを検出する。そして、ベクトルのクラスタリングを行い、主被写体枠を除くベクトル検出枠のベクトルを、手ブレに起因する背景のブレとそれ以外のものを分離し、手ブレ起因する背景の動きベクトルを検出することで、発生している背景のブレ量を検出する。

ステップＳ４２３において、以前の主被写体（旧主被写体）が存在してした領域をブレ補正の対象領域として、動きベクトル検出回路２７におけるベクトル検出枠を設定する。ただし、主被写体検出回路２６で、それまでの主被写体が一時的に検出されていないか、または他の被写体が主被写体として検出されている状態であるため、背景や他の被写体の動きベクトルも検出する必要がある。このとき、例えば、複数の被写体、複数の被写体と背景、以前に検出された被写体（旧被写体）、または旧被写体と背景を、ブレ補正制御領域とする。そこで、画面全体に動きベクトル検出回路２７におけるベクトル検出枠を設定する。そして、主被写体検出回路２６から得られたそれまでの被写体（旧被写体）を含む領域、新たに検出された被写体（新被写体）を含む領域、それを除く領域の３つ領域を設け、それぞれに動きベクトル検出回路２７におけるベクトル検出枠を設定する。

例えば図５（Ｂ）に示されるように、全体を９×７の領域に分割する。旧主被写体領域に含まれる領域と一部が重複する領域（図５（Ｂ）の灰色部分）、新主被写体領域に含まれる領域と一部が重複する領域（図５（Ｂ）の白色部分）、両者を除く領域の３つの領域を設け、ブレ補正のためにベクトルを検出する検出枠とする。続いて、各領域のベクトル検出枠を検出する。そして、ベクトルのクラスタリングを行い、それまで主被写体領域枠内と新な主被写体領域枠内のベクトル検出枠のベクトルを、被写体の移動に起因するものとそれ以外のものを分離し、被写体の移動に起因する動きベクトルを検出する。これにより、発生している被写体ブレ量を検出する。また２つの被写体枠内を除くベクトル検出枠のベクトルを、手ブレに起因する背景のブレとそれ以外のものを分離し、手ブレ起因する背景の動きベクトルを検出することで、発生している背景のブレ量を検出する。

その後、求められた３つのブレ量から補正すべきブレ量次の手順で算出する。
（１）求められた３つのブレ量の差が所定値（Ｃｂ１）以内であれば、３つのブレ量の平均を算出し補正すべきブレ量とする。
（２）それまで主被写体のブレ量と背景のブレ量の差が所定値（Ｃｂ１）以内であれば、２つのブレ量の平均を算出し補正すべきブレ量とする。
（３）それまで主被写体のブレ量と新たな主被写体のブレ量の差が所定値（Ｃｂ１）以内であれば、２つのブレ量の平均を算出し補正すべきブレ量とする。
（４）それまで主被写体のブレ量が所定値（Ｃｓ１）より大きければ、それまで主被写体のブレ量を補正すべきブレ量とする。
（５）背景のブレ量が所定値（Ｃｓ１）より大きければ、背景のブレ量を補正すべきブレ量とする。
（６）それ以外の場合はそれまで主被写体のブレ量を補正すべきブレ量とする。

そしてステップＳ４２４において、ＣＰＵ１５は、ブレ補正処理を行う。まず、ステップＳ４２１～Ｓ４２３で求められた補正すべきブレ量から撮像された画像に生じるブレを補正するための補正量（ブレ補正量）を算出する。その後、画像変形切出し回路２８を用いて、算出された補正量に基づいて画像切出しを行うことで、ブレ補正画像を生成する。

本実施形態において、主被写体検出回路２６は、主被写体の存在する位置（主被写体情報）を検出する主被写体検出手段の役割を担う。動きベクトル検出回路２７は、被写体の動き（動きベクトル情報）を検出する動きベクトル検出手段の役割を担う。ブレ検出センサ１４およびブレ検出回路１３は、撮像装置１の動き（ブレ情報）を検出するブレ検出手段の役割を担う。ＣＰＵ１５は、撮像された画像の被写体に生じるブレを補正する補正量を算出する算出手段の機能を担う。操作スイッチ１８とタッチパネルが装着されているＬＣＤ８とＣＰＵ１５は、合焦制御の対象領域（合焦制御領域）を指定する手段の役割を担う。

またＣＰＵ１５は、主被写体情報とブレ情報と動きベクトル情報とに基づいて、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定する判定手段（制御手段）の役割を担う。またＣＰＵ１５は、判定手段の判定結果に応じてブレ補正制御の対象領域を決定する機能を有する。これにより、被写体検出の結果や各領域のデフォーカス量や被写体の動きに基づき、ブレ補正制御対象とする被写体（画面上の領域）を、合焦制御の対象とは別の被写体とするかを判定し、その結果に基づいてブレ補正の制御対象を決める。

それまでの被写体を追尾している場合、継続してその被写体を制御対象にする。新たな主被写体が検出された場合、ブレ補正の制御対象を合焦制御の対象と同一の被写体とするのは、合焦制御の対象の被写体が撮影者によって指定された場合である。または、ブレ検出手段の出力信号が大きく、かつ動きベクトル検出手段とブレ検出手段から算出される被写体の動きが小さい場合（すなわち撮像装置を撮影者が動かしセンサ上では動かないように、撮影者が被写体を追っていると判定できる場合）である。すなわち、ブレ検出手段の出力信号が第一の出力信号よりも大きく、かつ動きベクトル情報が第一の動きベクトルよりも小さい場合である。または、顔認証機能などに新たなに検出された主被写体がそれまでの主被写体と同一とみなせる場合である。これにより、ブレ補正制御の対象を合焦制御の対象と同じ被写体とし、ピントが合い被写体ブレが少ない良好な画像が得られる。

新たな主被写体が検出された場合にブレ補正の制御対象を合焦制御の対象と同一の被写体としないとは、例えば、以下の（１）～（５）の場合である。
（１）複数の被写体から主被写体を決めることができない場合。
（２）動きベクトル検出手段とブレ検出手段から算出される被写体の動きから違う動きのものが交差したと判定できる場合。
（３）画面の端位置付近に主被写体が検出された場合。
（４）一時的に主被写体領域検出手段で被写体の検出がされなかった場合。
（５）検出された複数の被写体のデフォーカス量の差が所定値以下の場合。

合焦制御は必ず行う必要があるため制御対象を一つに決めなければならないが、ブレ補正制御においては、制御対象の被写体を定めず、背景のブレ補正処理（手ブレ補正）を行っても構わない。そこで、主被写体として検出された被写体が撮影者にとって被写体ブレを補正したい被写体ではない場合、ブレ補正制御対象とする被写体を、合焦制御の対象とは別の被写体とする。これにより、複数の被写体が混在するようなシーンにおいても、滑らかで品位の良い映像を提供することが可能である。

（第２の実施形態）
次に、図６を参照して、本発明の第２の実施形態について説明する。本実施形態は、図４のステップＳ４２３の処理が異なる以外は、第１の実施形態と共通である。図６は、本実施形態におけるブレ補正処理のフローチャートである。図６の各ステップは、主に、ＣＰＵ１５、またはＣＰＵ１５の指令に基づいて主被写体検出回路２６などの各部により実行される。

まずステップＳ６０１において、ＣＰＵ１５は、旧主被写体と新たな主被写体が動画記録時の絞り値において深度内であるかを判定する。新旧の主被写体が深度内である場合、ステップＳ６０８へ進み、旧主被写体の存在する領域をブレ補正制御の対象領域とする。一方、新旧の主被写体が深度外である場合、ステップＳ６０２に進む。すなわちＣＰＵ１５は、主被写体検出回路２６で検出された旧主被写体が存在している領域と、主被写体検出回路２６で検出された新な主被写体が存在している領域のデフォーカス量をＡＦ処理回路１２から取得する。そしてＣＰＵ１５は、その値の差が深度内か否かを判定する。深度は、通信ドライバー２１を介して交換レンズ３１と通信を行って得られた絞り値（絞り値情報）と、予め定められた許容錯乱円形との積で求められる。

ステップＳ６０２において、ＣＰＵ１５は、新たな主被写体への合焦動作（フォーカスレンズ３３の駆動）が開始されたかを判定する。新たな主被写体への合焦動作が開始された場合、ステップＳ６０３へ進む。一方、新たな主被写体への合焦動作が開始されていない場合、ステップＳ６０８へ進む。

ステップＳ６０３において、ＣＰＵ１５は、通信ドライバー２１を介して交換レンズ３１と通信を行い得られたフォーカスレンズ３３の駆動位置から、旧主被写体が存在している領域がまだ深度内にあるかを判定する。旧主被写体が存在している領域が深度内にある場合、ステップＳ６０８へ進む。一方、旧主被写体が存在している領域が深度外である場合、ステップＳ６０４へ進む。

ステップＳ６０４において、ＣＰＵ１５は、新たな主被写体への合焦動作が終了したかを判定する。新たな主被写体への合焦動作が終了した場合、ステップＳ６０５へ進む。一方、新たな主被写体への合焦動作が終了していない場合、ステップＳ６０８へ進む。まだ新たな主被写体にもピントが合っていない場合、新たな主被写体の存在する領域をブレ補正制御の対象領域としても、ピントが合い被写体ブレが少ない良好な画像が得ることはできない。そこで、旧主被写体の存在する領域をブレ補正制御の対象領域とすることで、継続性のある映像を提供する。

ステップＳ６０５において、ＣＰＵ１５は、交換レンズ３１の絞り値が変更可能かを判定する。絞り値が変更可能である場合、ステップＳ６０６へ進む。ステップＳ６０６において、ＣＰＵ１５は、交換レンズ３１の絞り３４を絞る。続いてステップＳ６０７において、ＣＰＵ１５は、絞り３４を絞ったことで、旧主被写体を深度内にすることが可能かを判定する。旧主被写体を深度内にすることが可能である場合、ステップＳ６０８へ進む。一方、旧主被写体を深度内にすることが不可能である場合、ステップＳ６０９へ進む。ステップＳ６０９において、ＣＰＵ１５は、新たな主被写体の存在する領域をブレ補正制御の対象領域とする。なお、ステップＳ６０５にて交換レンズ３１の絞り値を変更することが不可能な場合、ステップＳ６０９へ進み、新たな主被写体の存在する領域をブレ補正制御の対象領域とする。

本実施形態において、主被写体検出回路２６は、主被写体の存在する位置（主被写体情報）を検出する主被写体検出手段の役割を担う。ＣＰＵ１５は、判定手段の判定結果に応じてブレ補正制御領域を決定する機能を有する。これにより、主被写体として検出されたものが撮影者にとって被写体ブレを補正したい被写体とは限らない可能性がある場合、または、それまでの主被写体が深度内にある場合、ブレ補正制御対象とする被写体を合焦制御の対象とは別の被写体とする。このため、複数の被写体が混在するようなシーンにおいても、滑らかで品位の良い映像を提供することが可能である。

なお各実施形態では、レンズ交換式の撮像装置を例に説明したが、デジタルビデオカメラやレンズ一体型のデジタルカメラなどのブレ補正にも適用可能である。各実施形態では、補正量を算出する算出手段、合焦制御の対象領域を指定する手段、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定する判定手段の役割、判定手段の判定結果に応じてブレ補正制御領域を決定する機能をＣＰＵに担わせた。ただし、これらの役割を担う専用回路を設けても良い。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態において、ブレ補正制御対象とする被写体（画面上の領域）を、所定の条件に基づいて、合焦制御の対象と同じ被写体もしくは別の被写体と切り替える。このため各実施形態によれば、複数の被写体が存在するシーンにおいて、滑らかで品位の良い画像を取得することが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

各実施形態のブレ補正処理は、電子防振（トリミングによる防振）による処理であるが、これに限定されるものではない。例えば、撮像光学系の補正レンズ（防振レンズ）を光軸と直交する方向に移動させることや、センサ３を光軸と直交する方向に移動させることなどの光学防振による処理を行ってブレ補正処理を行うこともできる。

１ 撮像装置（制御装置）
１３ ブレ検出回路（ブレ検出手段）
１４ ブレ検出センサ（ブレ検出手段）
１５ ＣＰＵ（制御手段）
２６ 主被写体検出回路（主被写体検出手段）
２７ 動きベクトル検出回路（動きベクトル検出手段）

Claims (18)

1. 主被写体情報を検出する被写体検出手段と、
   画像における動きベクトル情報を検出する動きベクトル検出手段と、
   ブレ情報を検出するブレ検出手段と、
   前記主被写体情報と前記ブレ情報と前記動きベクトル情報とに基づいて、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定する制御手段と、を有することを特徴とする制御装置。
2. 前記制御手段は、前記主被写体情報と前記ブレ情報と前記動きベクトル情報とに基づいて、前記ブレ補正制御領域を決定することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、複数の被写体の大きさの割合が第一の所定割合以上の場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、複数の被写体の大きさの割合が第二の所定割合以上であり、かつ前記複数の被写体の位置の差が第一の所定値よりも小さい場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
5. 前記制御手段は、複数の被写体の位置の差が第二の所定値よりも小さい場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
6. 前記制御手段は、複数の被写体の位置の差が第三の所定値よりも小さく、かつ動きベクトルの差が第一の所定ベクトル差以上の場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
7. 前記制御手段は、最新の検出された主被写体の位置が中心位置から第一の所定範囲外の場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
8. 前記制御手段は、複数の被写体の大きさの比が第一の比較値以下もしくは第二の比較値以上の場合、または複数の被写体の位置の差が第四の所定値よりも大きい場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
9. デフォーカス量情報を検出するデフォーカス量検出手段を更に有し、
   前記制御手段は、複数の被写体が第一の所定デフォーカス範囲内または第一の距離範囲内の場合、前記ブレ補正制御領域を前記合焦制御領域と異ならせることを特徴とする請求項１または２に記載の制御装置。
10. 前記制御手段は、前記ブレ補正制御領域を前記合焦制御領域と異ならせると判定した場合、背景を前記ブレ補正制御領域とすることを特徴とする請求項１乃至９のいずれか一項に記載の制御装置。
11. 前記制御手段は、前記ブレ補正制御領域を前記合焦制御領域と異ならせると判定した場合、複数の被写体、前記複数の被写体と背景、以前に検出された被写体、または以前に検出された被写体と前記背景を、前記ブレ補正制御領域とすることを特徴とする請求項１乃至１０のいずれか一項に記載の制御装置。
12. 前記制御手段は、撮影者により被写体が指定された場合、前記ブレ補正制御領域を前記合焦制御領域と同一にすることを特徴とする請求項１乃至１１のいずれか一項に記載の制御装置。
13. 前記制御手段は、前記ブレ検出手段の出力信号が第一の出力信号よりも大きく、かつ前記動きベクトル情報が第一の動きベクトルよりも小さい場合、前記ブレ補正制御領域を前記合焦制御領域と同一にすることを特徴とする請求項１乃至１２のいずれか一項に記載の制御装置。
14. デフォーカス量情報を検出するデフォーカス量検出手段を更に有し、
    前記制御手段は、前記主被写体情報と前記デフォーカス量情報と絞り値情報とに基づいて、前記ブレ補正制御領域を前記合焦制御領域と異ならせるか否かを判定することを特徴とする請求項１乃至１３のいずれか一項に記載の制御装置。
15. 前記制御手段は、
    前記ブレ情報に基づいてブレ補正量を算出し、
    前記ブレ補正量に基づいて、電子防振または光学防振により前記ブレ補正制御領域におけるブレ補正制御を行うことを特徴とする請求項１乃至１４のいずれか一項に記載の制御装置。
16. 撮像素子と、
    請求項１乃至１５のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
17. 主被写体情報を検出するステップと、
    画像における動きベクトル情報を検出するステップと、
    ブレ情報を検出するステップと、
    前記主被写体情報と前記ブレ情報と前記動きベクトル情報とに基づいて、ブレ補正制御領域を合焦制御領域と異ならせるか否か判定するステップと、を有することを特徴とする制御方法。
18. 請求項１７に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images