JP2023005846A - 像ブレ補正装置及び撮像装置 - Google Patents

Abstract

【課題】 被写体ブレ防振制御中に撮影者による主被写体の変更が行われた場合においても、滑らかな映像を提供すること。【解決手段】 ブレ補正制御装置は、主被写体を検出する被写体検出手段と、主被写体の像ブレを補正する第１のブレ補正量を取得する第１のブレ補正量取得手段と、撮像装置のブレを補正する第２のブレ補正量を取得する第２のブレ補正量取得手段と、第１のブレ補正量と前記第２のブレ補正量との少なくともいずれかに基づいて、ブレ補正手段を制御するブレ補正制御手段と、第１のタイミングと、第２のタイミングとの間での、主被写体の変更の有無を判定する判定手段と、を備える。ブレ補正制御手段は、判定手段によって主被写体が変更されたと判定された場合は、第１のブレ補正量に基づくブレ補正から、第２のブレ補正量に基づくブレ補正に制御を変更する。【選択図】 図４

Description

本発明は、被写体の画像ブレの補正を制御する像ブレ補正装置に関するものである。

撮像された画像の被写体に生じる像ブレには、手ブレのような撮像装置の動きによって生じるものと、被写体の動きによって生じるものがある。像ブレを補正して撮影者の意図した被写体（主被写体）を追尾して安定した構図を提供するためには、主被写体を特定し、背景など他の被写体の動きと分離された主被写体の動きを検出することが必要である。そして、主被写体が画面のほぼ同じ位置に捉え続けるように補正することが必要である。

特許文献１には、流し撮り撮影時の像ブレ補正について記載されている。具体的には、パンニング中と判断した場合は、流し撮りに理想的な角速度（流し撮り基準角速度）を算出し、露光中は流し撮り基準角速度と検出された撮像装置の角速度との差に基づいて像ブレを補正する。これにより、背景を流すパンニングの効果を残しつつ、被写体に生じる像ブレを補正することができる。

特開２０１９－９５６３０

しかしながら特許文献１では、流し撮り写真を撮影対象としており、被写体が意図的に変更されることについては考慮されていない。よって、ライブビュー表示中や動画記録中、または連写撮影時に、ユーザが意図的に主被写体を変更する場合の像ブレ補正に適用することは難しい。そこで、本発明は、主被写体の変更がされた場合であっても滑らかな映像を提供することができる像ブレ補正方法及び、当該像ブレ補正方法を実行する像ブレ補正装置を提供することを目的とする。

本発明の一側面としてのブレ補正制御装置は、主被写体を検出する被写体検出手段と、前記主被写体の動きベクトルを検出する第１の動き検出手段と、撮像装置の動きを検出する第２の動き検出手段と、前記第１の動き検出手段により検出された前記主被写体の動きベクトルに基づいて前記主被写体の像ブレを補正する第１のブレ補正量を取得する第１のブレ補正量取得手段と、前記第２の動き検出手段により検出された前記撮像装置の動きに基づいて前記撮像装置のブレを補正する第２のブレ補正量を取得する第２のブレ補正量取得手段と、前記第１のブレ補正量と前記第２のブレ補正量との少なくともいずれかに基づいて、ブレ補正手段を制御するブレ補正制御手段と、第１の画像が撮像された第１のタイミングと、第２の画像が撮像された第２のタイミングとの間での、主被写体の変更の有無を判定する判定手段と、を備え、前記ブレ補正制御手段は、前記判定手段によって主被写体が変更されたと判定された場合は、前記第１のブレ補正量に基づくブレ補正から、前記第２のブレ補正量に基づくブレ補正に制御を変更することを特徴とする。

本発明のその他の側面については、以下で説明をする実施の形態で明らかにする。

本発明によれば、被写体ブレ防振制御中に撮影者による主被写体の変更が行われた場合においても、滑らかな映像を提供することが可能になる。

実施例１に係る撮像システムを示すブロック図。 実施例１における主被写体検出動作手順を示すフローチャート。 実施例１における撮影動作手順を示すフローチャート。 実施例１におけるブレ補正処理の動作手順を示すフローチャート。 実施例１におけるベクトル検出枠の設定の説明図。 実施例１におけるクラスタリング動作の説明図。 実施例２におけるブレ補正処理の動作手順を示すフローチャート。

以下、本発明の各実施例について図面を参照して詳細に説明する。尚、以下の実施例は特許請求の範囲に係る発明を限定するものではない。実施例には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［実施例１］
図１は、本発明の実施例１に係る撮像装置の構成を示すブロック図である。図１において、撮像システム１００は、撮像装置本体（以下撮像装置）１に対して交換レンズ３１が着脱可能に装着されて構成されている。

撮像装置１の各構成について説明をする。撮像装置１において、レンズマウント２は交換レンズ３１を装着するために配置されている。撮像素子３は、ＣＭＯＳセンサやＣＣＤセンサで構成することができ、交換レンズ３１内の撮影光学系を透過した光が結像された被写体像を光電変換する。撮像回路４は、撮像素子３によって光電変換された電気信号に対して各種の画像処理を施すことにより所定の撮像画像信号（以下、画像信号）を生成する。Ａ／Ｄ変換回路５は、撮像回路４により生成されたアナログ画像信号をデジタル画像信号（画像データ）に変換する。バッファメモリ等からなるメモリ（ＶＲＡＭ）６は、Ａ／Ｄ変換回路５の出力を受けて、この画像信号を一時的に記憶する。Ｄ／Ａ変換回路７はこのＶＲＡＭ６に記憶された画像信号を読み出して、再生出力に適する形態のアナログ信号に変換する。液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）８は、この画像信号を表示する。記憶用メモリ１０は、半導体メモリ等からなり、画像信号を記憶する。圧縮伸張回路９は、圧縮回路と伸張回路とを有する。圧縮回路は、ＶＲＡＭ６に一時記憶された画像信号を読み出して記憶用メモリ１０での記憶に適した形態にするために、画像データの圧縮処理や符号化処理を行う。伸張回路は、記憶用メモリ１０に記憶された画像信号を再生表示などに適した形態とするための復号化処理や伸張処理等を行う。ＡＥ処理回路１１は、Ａ／Ｄ変換回路５からの出力を受けて自動露出（ＡＥ）処理を行う。ＡＦ処理回路１２は、Ａ／Ｄ変換回路５からの出力を受けて自動焦点調節（ＡＦ）処理を行うためのＡＦ評価値を生成し、更にデフォーカス量を検出する。

ブレ検出センサ１４は、手ブレなどの撮像システム１００の動きを検出する。ブレ検出センサ１４は、ジャイロセンサや加速度計などの慣性センサで構成することができ、これを複数個用いることで多軸のブレを検出する。ブレ検出回路１３は、ブレ検出センサ１４の信号を処理する。ＣＰＵ１５は、撮像システム１００全体の制御を行う演算用のメモリを内蔵するマイクロコンピュータである。タイミングジェネレータ（以下ＴＧ）１６は、所定のタイミング信号を発生する。撮像素子ドライバー１７は、撮像素子３の駆動を制御する。操作スイッチ１８は、各種のスイッチ群からなる。操作スイッチ１８としては、撮像装置１を起動させ、電源供給を行うための主電源スイッチ、動画撮影動作（動画記録動作）を開始させる録画開始スイッチ、静止画撮影動作（静止画記録動作）を開始させるレリーズスイッチ、を備える。さらに、再生動作を開始させる再生スイッチ、露出補正量変更ダイヤル、露光時間変更ダイヤル、絞り値変更ダイヤルも備える。レリーズスイッチは、第１ストローク（以下、ＳＷ１）と第２ストローク（以下ＳＷ２）を有するに二段スイッチにより構成される。ＳＷ１がＯＮされると、撮影動作に先立ち行われるＡＥ処理、ＡＦ処理を開始させる指示信号が発生される。ＳＷ２がＯＮされると、実際の露光動作を開始させる指示信号が発生される。

ＥＥＰＲＯＭ１９は、各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。電池２０は、撮像システム１００全体電源である。通信ドライバー２１は、撮像装置１が、交換レンズ３１と通信を行うための回路である。ＬＥＤ２２は、警告表示などを行う表示素子である。撮像素子移動モータ２５は、センサを水平垂直回転方向に移動させるための駆動源（アクチュエータ）である。撮像素子移動制御回路２４は、撮像素子移動モータ２５による撮像素子３の移動を制御する。動きベクトル検出回路２７は、Ａ／Ｄ変換回路５からの出力を受けて被写体の動きベクトルを検出する処理を行う。主被写体検出回路２６は、動きベクトル検出回路２７、Ａ／Ｄ変換回路５及びＣＰＵ１５からの出力を受けて主被写体検出処理を行う。画像変形切り出し回路２８は、撮像画像の回転拡縮や、トリミング（切り出し）などの画像処理を行う。スピーカー２３は、合焦の報知や非合焦警告などを行うための音源である。

交換レンズ３１の各構成について説明をする。交換レンズ３１において、ブレ補正レンズ３２は、像ブレを補正するために、撮像素子の像面上で被写体像を移動させるための光学素子である。ブレ補正レンズを光軸と垂直なｘｙ平面において移動するように動かすことにより、被写体が移動する。フォーカスレンズ３３、被写体像の光軸方向の結像位置を調節して焦点を合わせるための光学素子である。絞り３４は、ブレ補正レンズ３２とフォーカスレンズ３３等で構成される撮影光学系を透過する光束の量を制御する光量調節手段である。通信ドライバー３５は、交換レンズ３１が撮像装置１と通信を行うための回路である。制御回路３６は、絞り３４を駆動する絞り駆動モータ（不図示）、フォーカスレンズ３３を駆動するフォーカス駆動モータ（不図示）、ブレ補正レンズ３２を駆動するブレ補正レンズ駆動モータ（不図示）のそれぞれの駆動を制御する。ＥＥＰＲＯＭ３７は、各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。

なお、画像データ等の記憶媒体である記憶用メモリ１０は、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状の、各種装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリを用いることができる。あるいは、ハードディスクやフロッピィ－（登録商標）ディスク等の磁気記憶媒体等、様々な形態のものが適用可能である。

以上のように構成された本実施例の撮像システム１００の動作について、以下説明する。

まず、交換レンズ３１を透過し、光量が調整された被写体からの光束は、撮像素子３の受光面に結像される。この被写体像は、撮像素子３による光電変換処理により電気的な信号に変換され、撮像回路４に出力される。撮像回路４では、入力された信号に対して各種の信号処理が行われ、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換回路５に出力され、デジタル信号（画像データ）に変換された後、ＶＲＡＭ６に一時的に格納される。ＶＲＡＭ６に格納された画像データはＤ／Ａ変換回路７へ出力され、表示に適したアナログ信号に変換された後、ＬＣＤ８に画像として表示される（ライブビュー表示）。

ＶＲＡＭ６に格納された画像データは、圧縮伸張回路９にも出力される。この圧縮伸張回路９における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１０に記憶される。

また、例えば操作スイッチ１８のうち不図示の再生スイッチが操作され、オン状態になると、再生動作が開始される。すると記憶用メモリ１０に圧縮された形で記憶された画像データは圧縮伸張回路９に出力され、伸張回路において復号化処理や伸張処理等が行われ後、ＶＲＡＭ６に出力され一時的に記憶される。更に、この画像データはＤ／Ａ変換回路７へ出力され、表示に適したアナログの画像信号に変換された後、ＬＣＤ８に画像として表示される。

ＴＧ１６からは、所定のタイミング信号がＣＰＵ１５、撮像回路４、撮像素子ドライバー１７へ出力されており、ＣＰＵ１５はこのタイミング信号に同期させて各種の制御を行う。また撮像回路４は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらに撮像素子ドライバー１７は、ＴＧ１６のタイミング信号を受けこれに同期して撮像素子３を駆動して画像信号を取得する。

Ａ／Ｄ変換回路５によってデジタル化された画像データは、上述のＶＲＡＭ６とは別にＡＥ処理回路１１、ＡＦ処理回路１２、動きベクトル検出回路２７、主被写体検出回路２６及び画像変形切出し回路２８に対しても出力される。

ＡＥ処理回路１１においては、入力されたデジタル画像信号を受けて、一画面分の画像データの輝度値に対して累積加算等の演算処理が行われる。これにより、被写体の明るさに応じたＡＥ評価値が算出され、ＣＰＵ１５に出力される。ＣＰＵ１５は、入力されたＡＥ評価値に基づいて、撮像素子３の露光時間や絞り３４の開口値を計算し、その情報を通信ドライバー２１を介して交換レンズ３１へ送信する。これに応じて、交換レンズ３１側で絞り駆動処理などが行われ、絞り３４の絞り量が適正になるように調整される。

ＡＦ処理回路１２においては、焦点調整のための撮像画素を有する撮像素子３により取得される画像信号の像修正と、修正された像信号と用いた相関演算を行い、デフォーカス量を検出する。焦点調整のための撮像画素は、光学系の射出瞳の第１の領域と、それとは異なる光学系の射出瞳の第２の領域からの光束を受光するように設計された対となる撮像画素のペアで構成されている。ＡＦ処理回路１２は、第１の領域の光束を受光する撮像画素からの出力信号により構成される基準画像（Ａ像）と、第２の領域の光束を受光する撮像画素からの出力信号により構成される参照画像（Ｂ像）の像修正を行う。その後、Ａ像とＢ像の相関演算を行い、求めたＡ像とＢ像の像ずれ量に、変換係数（Ｋ値）を掛けることでデフォーカス量を算出する。これにより撮像面位相差ＡＦが可能となる。

ＣＰＵ１５は、フォーカスレンズ３３の駆動量と駆動方向を求め、通信ドライバー２１を介して交換レンズ３１へ取得したその情報送信する。交換レンズ３１側でフォーカスレンズ３３の駆動処理が行われ、合焦状態を得るＡＦ制御が可能となる。

動きベクトル検出回路２７においては、入力されたデジタル画像信号（基準画像）を受けて、ＣＰＵ１５からの指示により分割された領域に従い、１フレーム前のデジタル画像信号（参照画像）との相関演算を行う。これにより、分割された領域内の被写体の動きベクトルを求める。

すなわち水平垂直方向に参照画像を所定画素ずらしながら基準画像と参照画像の差分演算を行った結果、最も高い相関度（最少の差分量）を得た画素ずらし量をその領域における被写体の動き量とする。そして、その際の水平方向、垂直方向の画素ずらし方向を動き方向とする。これよりフレーム間の領域内の被写体の動きベクトルが求められる。なお、動きベクトルの求め方に関しては特許３１４３１７３などに記載されているため、詳細な説明を割愛する。

主被写体検出回路２６は主被写体検出手段の役割を担い、以下のようにして主被写体の画面内の位置を検出する。尚、主被写体領域の検出方法の詳細は、図２のフローチャートを用いて後述するため、ここでは概略について説明をする。

まず、撮影者によって主被写体領域が指定されたか否かを判定する。例えば、撮影者によってＡＦ点が指定された領域や、ＬＣＤ８にタッチパネルが装着されている場合に撮影者によって所定時間タッチ操作が行われた領域を主被写体領域と判定する。

また、Ａ／Ｄ変換回路５からの出力を受けて、瞳、眉などの顔を特徴付ける部分を画像上で探索する。そして、その位置関係から、人物の顔の画像上での位置を検出し、更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求め、検出した顔の領域を主被写体領域の候補とする。更に、Ａ／Ｄ変換回路５からの出力を受けて、頭部や胴体など人物を特徴付ける部分に相当する形状を持つ部位を画像上で探索し、それらの位置関係を評価することで、画面内に存在する人物の位置を検出する。例えば円形に近い形状を検出し、その下部に第１の長方形の形状が存在し、更に第１の長方形より短辺が短い第２の長方形が第１の長方形に隣接して存在するような場合に人物が存在すると判断すれば良い。このようにして検出した人物が存在する領域も、主被写体領域の候補とする。

またＡ／Ｄ変換回路５からの出力を受けて、色や輝度が類似した集合体を検出し、その大きさや画面上の位置を検出し、その結果から主被写体である度合いを推測する。例えば、画面中央に近い位置に所定以上の大きさで色と輝度が類似した集合体が存在すれば、その集合体を主被写体の候補と判断する。そして、大きさや画面上の位置が所定条件を満たすものの中から、画面中央を原点とした重心座標や集合体の大きさから求めた主被写体度合いが最も高い領域を主被写体領域とする。尚、主被写体度合いは、重心座標が中心に近いほど、また集合体の大きさが大きいほど高くなるものとする。

また、ＡＦ処理回路１２の処理結果から、画面内のＡＦ点毎の距離またはデフォーカス量を取得する。そして、動きベクトル検出回路２７の処理結果及びブレ検出回路１３の結果を用いて、撮影者が画面内に捉えようとしている、移動被写体を検出する。ここで、移動被写体とは画像上で移動している被写体のことではなく、実空間上で移動している被写体のことを指す。

またＣＰＵ１５から、ＡＥ処理回路１１の処理結果、ＬＣＤ画面をタッチして設定したものも含めて撮影者によって設定されたＡＦ点情報、撮影モード、シャッター速度、絞り値などの情報を取得する。

主被写体検出回路２６は、このようにして得た検出結果から、総合的に主被写体領域を複数個検出し、それに順位を付けた結果をＣＰＵに送信する。

図２を用いて、主被写体検出回路２６による主被写体検出の具体的な手順について説明する。この手順においては、より先に検出が行われた主被写体ほど主被写体の優先順位が高いものとなる。

主被写体処理が開始されると、主被写体検出回路２６は、まず全ての主被写体検出フラグをオフにし、その後ステップＳ２０１において撮影者によって主被写体領域が指定されているかを判定する。これはＣＰＵ１５から送られたＡＦ点情報を調べ、撮影者により任意のＡＦ点がメニューやＬＣＤ画面のタッチ動作などによって指定されているかを判定することで実行される。指定されていればステップＳ２０２に進む。

ステップＳ２０２では、メニューなどでＡＦ点が指定されていれば、そのＡＦ点を主被写体領域とする。ＡＦ点が指定されておらず、ＬＣＤ画面をタッチすることで撮影者の意図する主被写体が選択された場合は、その領域および近傍で類似性のある被写体の存在する領域を、主被写体領域とする。

例えば、その選択された領域の中心の最も近くにある選択された領域内で顔検出などがされていないかを判定する。なおタッチにより選択される領域は、予めその大きさを決めておけばよい。またその大きさは交換レンズ３１の焦点距離によって可変にしてもよい。

予め定められた領域内に、検出された顔が存在する場合は、その検出された顔の中心座標と大きさから主被写体領域を決める。なお予め定められた領域内に一部が入るなど複数の顔が検出された場合は、検出された顔領域の中心座標が予め定められた領域の中心に近い顔、もし同じ近さなら顔の大きさの大きい顔、大きさも同じなら先に検出された顔を選択する。なお検出された顔が大きく、瞳が検出可能な場合は、二つの瞳を含む領域または大きい瞳を含む領域を主被写体領域とする。

ステップＳ２０３では、顔検出がされているか否かを調べ、検出されていれば顔検出フラグをオンにした後、ステップＳ２２１へ進む。ステップＳ２２１では、検出された顔が前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせる場合はステップＳ２０４に進み、検出された顔領域を主被写体領域とする。同一とみなせない場合はステップＳ２０５へ進む。同一とみなせるか否かの判定は、後述する、主被写体検出回路２６の、「同一と推定される被写体を追尾する機能」を用いて行う。

ステップＳ２０５では、人物検出がされているか否かを調べ、検出されていれば人物検出フラグをオンにした後、ステップＳ２２２へ進む。ステップＳ２２２では、検出された人物が前フレームまで主被写体としていたものと同一とみなせるかを判定する。同一とみなせる場合はステップＳ２０６に進み、検出された人物領域を主被写体領域とする。同一とみなせない場合はステップＳ２０７へ進む。同一とみなせるか否かの判定は、ステップＳ２２１と同様に、「同一と推定される被写体を追尾する機能」を用いて行う。

ステップＳ２０７では、移動被写体が存在するか否かを調べ、存在すれば動体検出フラグをオンにした後、ステップＳ２２３に進む。ステップＳ２２３では、検出された移動被写体が前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせる場合はステップＳ２０８に進み、その移動被写体を主被写体領域とする。同一とみなせない場合は、ステップＳ２０９へ進む。同一とみなせるか否かの判定は、ステップＳ２２１と同様に、「同一と推定される被写体を追尾する機能」を用いて行う。

移動被写体が存在するか否かの判定は、ブレ検出回路１３の出力と動きベクトル検出回路２７の出力とＡＦ処理回路１２の出力とを用いて行われる。ブレ検出回路１３の出力が小さい場合、すなわち撮影者が意図的に撮像装置１を動かす動作（所謂パンニング動作）をしていない場合は、動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以上の領域の有無を判断する。尚、ブレ検出回路１３の出力が小さい場合とは、複数の軸の検出値がいずれも所定値未満の場合の場合を指す。そして、動きベクトルの動き量が所定値以上の領域があれば、その領域を移動被写体の領域とする。動きベクトルの動き量は、水平方向の動きベクトルを二乗した値と垂直方向の動きベクトルを二乗した値とを加算した値のルートをとることで算出できる。

ブレ検出回路１３の出力が大きい場合、（複数の軸の検出値がいずれかが所定値以上の場合）、すなわち撮影者が意図的に撮像装置１を動かす動作をしている場合は、この意図的な動きとほぼ等しい動きをしている領域を主被写体領域とする。すなわち、動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以下の領域があれば、その領域を移動被写体の領域とする。画像を複数個の領域に分割し、検出された各領域の動きベクトルの動き量が所定値以下であれば、その領域を撮影者が追いかけている移動被写体がある領域とし、動き量が所定値以下の領域が隣接していれば合体させる。動きベクトル検出回路２７で検出された動きベクトルの動き量が所定値以下の領域が複数存在する場合は、画面中央に近いものを移動被写体の領域として選択する。

動きベクトル検出回路２７の出力を用いた処理で移動被写体が検出できなかった場合は、距離方向（光軸方向）に移動する移動被写体が存在するか否かを判定する。これはＡＦ処理回路１２から得た距離、またはデフォーカス量から時系列的に同一方向にその量が変化しているＡＦ点（例えば５フレーム連続して距離が近づいているＡＦ点）が存在するか否かを判定することで行う。ＡＦ処理回路１２から得られた全てのＡＦ点に関してフレーム毎の距離またはデフォーカス量の変化を調べ、所定フレーム数以上に渡り所定量同一方向に変化しているＡＦ点を抽出し、そのＡＦ点を動体がある領域とし、隣接していれば合体させる。所定フレーム以上に渡り所定量同一方向に変化しているＡＦ点領域が複数存在する場合は、画面中央に近いＡＦ点領域を移動被写体領域として選択する。

ステップＳ２０９では、色や輝度が類似した集合体の中で主被写体度合いが高く、主被写体領域と見なせる領域が存在するか否かを調べ、存在する場合は主被写体検出フラグをオンした後、ステップＳ２２４へ進む。ステップＳ２２４で検出された主被写体領域に含まれる主被写体が、前フレームまで主被写体としていたものと同一とみなせるか否かを判定する。同一とみなせる場合はステップＳ２１０へ進み、その領域を主被写体領域とする。同一とみなせない場合は、ステップＳ２２５へ進む。同一とみなせるか否かの判定は、ステップＳ２２１と同様に、「同一と推定される被写体を追尾する機能」を用いて行う。

主被写体度合いは、色や輝度が類似した集合体の画面上の位置と大きさによって判断する。検出された集合体が画面四辺のうちの二辺に接していないものを選択し、その中で所定以上の大きさのものを主被写体度合いが高い集合体とみなす。該当するものが複数存在する場合は、集合体の重心位置が画像の中心に近いものを選択する。

ステップＳ２２５では、それまでの処理において主被写体候補が検出されているかを、検出フラグをチェックすることにより行い、いずれかの検出フラグがオンされていれば、主被写体候補が検出されていると判断して、ステップＳ２２６へ進む。

ステップＳ２２６では、検出フラグがオンになっている検出領域の中で優先順位がもっと高いものを選択し、その領域を主被写体領域とする。上述のように、優先順位は本フローでの検出順と一致する。つまり、顔検出がされていれば顔検出領域を、顔検出がされず人物検出がされていれば人物検出領域を、顔検出も人物検出もされずに移動被写体が検出されていれば移動被写体領域を主被写体領域とする。そして、いずれも検出されていなければ主被写体度合いが高いと判断された検出領域を、主被写体領域とする。初めのフレームでは、どの被写体が検出されても、同一被写体か否かの判定（ステップＳ２２１など）でＮＯとなり、本ステップに到達するが、主被写体の候補が検出されていれば、本ステップにより優先順位の高い領域が主被写体領域に設定される。

ステップＳ２２６で、検出フラグがオンされていない場合は、それまでの処理で主被写体候補が検出されていないので、ステップＳ２１１へ進む。ステップＳ２１１では、ＡＦ処理回路１２の処理結果からＡＦ可能な画面内のＡＦ点数の割合が高く、かつ距離差のある被写体が存在するか否かを判定する。条件を満たす場合はステップＳ２１２へ進み、複数のＡＦ点のうち最至近のＡＦ結果を示したＡＦ点を主被写体領域とする。この場合は風景撮影などの画面全体が被写体ではなく、風景を背景とした記念撮影などと考えられるため、最至近の被写体を主被写体領域とする。条件を満たさない場合はステップＳ２１３に進み、ＣＰＵ１５から取得したＡＥ処理結果・撮影モード・シャッター速度・絞り値・撮影者によるストロボＯＮＯＦＦ情報から主被写体領域を決定する。

ステップＳ２１３の処理について説明をする。まず撮影モードに基づき以下の表の様にして主被写体領域を決定する。

上記の条件に当てはまらない場合は、以下の表の様にして主被写体領域を決定する。

主被写体検出回路２６は、前フレームで主被写体として検出された被写体と同一と推定される被写体を追尾する機能を持つ。この機能により、上記の手順で主被写体として検出された被写体が、前フレームまでの主被写体と同一であると推定された場合は、その被写体を最高順位の主被写体とする。図２のフローに示したように、上記の手順において、より先に検出が行われた主被写体があっても、同一であると推定される主被写体が優先される。つまり、顔が検出されたと判断された場合であっても、それが同一被写体でなく、且つ、人物検出され、それが同一被写体であると判断された場合は、人物の方を最高順位の主被写体とする。但し、撮影者が明示的に主被写体を指定するために、メニューなどでＡＦ点が指定されている場合は除外するものとし、同一被写体であるか否かに関わらず、選択された領域又はその近傍を主被写体領域とする。よって新たな主被写体（第２の主被写体）が検出されたと判断されるのは、下記２つの場合である。１つ目は撮影者が明示的に主被写体を指定した場合である。２つ目は、それまで第１の主被写体が大きく動いた時に撮影者が意図的にその被写体を追うことをせずに画面上の位置が大きく変わる場合など、前フレームと主被写体が同一であると推定されなくなり、同時に順位の高い主被写体が検出された場合である。

次に、前フレームで主被写体として検出された被写体と「同一と推定される被写体を追尾する機能」について説明をする。主被写体領域が上述のどの条件で検出されたかによって同一被写体の推定方法が異なる。

撮影者により任意のＡＦ点が指定されていた場合は、そのＡＦ点を含む領域を常に主被写体領域とする。すなわち、同一被写体かの推定はせず撮影者が意図時に指定した被写体を主被写体とする。但し、隣接するＡＦ点に一時的に主被写体が移る可能性があるので、上下左右に隣接するＡＦ点のＡＦ情報も取得する。そして、指定されていたＡＦ点のＡＦ情報が大きく変化し、隣接するＡＦ点においてほぼ等しいＡＦ情報が得られた場合は、隣接するＡＦ点を主被写体領域とする。

主被写体領域を顔検出結果また人物検出結果に応じて決めている場合は、次のように処理を行う。顔または人物を検出し、検出されたものと、ほぼ同じ大きさの顔やほぼ同じ大きさの人物が前のフレームでと同様の位置（検出結果の中心座標の差が所定値以内）であるならば、同一被写体と推定し、その新たに検出された領域を主被写体領域とする。

移動被写体を主被写体領域とした場合は、上述の手順で移動被写体の領域を検出し、検出された位置（領域の中心座標）とその領域の動きベクトルから主被写体領域を選択する。検出された移動被写体領域の位置と動きベクトルが、前のフレームで検出されたものと同様であるならば、同一被写体と推定し、その新たに検出された領域を主被写体領域とする。距離方向への移動被写体に関しても同様に、新たに検出された移動被写体領域の位置と動きベクトルが、前のフレームで検出されたもの同様であるならば、同一被写体と推定しその新たに検出された領域を主被写体領域とする。

なお数フレーム間の動きベクトル（動き量と方向）から二次関数近似を行い被写体の動きの推定を行って、推定された動き量に対する動きベクトルから求まる動き量の差分が所定値以内の場合に同一被写体と推定して、その領域を主被写体領域としても良い。

色や輝度が類似した集合体の中で主被写体度合いが高いものを主被写体領域とした場合も同様に、新たに検出された色や輝度が類似した集合体の大きさと位置が、前のフレームで検出されたもの同様であるならば、同一被写体と推定する。そして、その新たに検出された領域を主被写体領域とする。

最至近の被写体を主被写体領域とした場合（図２ステップＳ２１２）は、被写体と同一と推定される被写体か否かの判定を行うことはせずに、新たな主被写体領域を探索する。

また、録画の停止、画角を超えるパンニング（チルティングを含むものとする）、極端な輝度変化、再生モードへの変更、電源ＯＦＦなどがされた場合は、それまでの主被写体に対する撮影は一旦終了したと判断する。そして、それまでに検出された主被写体領域情報は消去する。

画像変形切出し回路２８は、主被写体検出回路２６や動きベクトル検出回路２７の出力に基づいて、ＣＰＵ１５が算出した主被写体の画像上の上下左右の動きや撮像装置１の回転に関する情報に応じてその変化を補正する。この補正は、画像回転などの変形や、画像の一部分を切出すなどの画像処理により行われる、いわゆる電子式ブレ補正である。

例えば、主被写体として検出された人物の顔が人物の移動や撮影者の手ブレによって画面上の位置が大きく変化することや、主被写体が斜め方向に移動することがある。動画のフレーム間にこのようなブレや、画面の水平方向、垂直や、斜め方向に主被写体の移動が生じると、撮影者が希望する画面上の位置に主被写体が存在しない状況や、主被写体の不自然な移動が生じる。このような現象がフレーム間で頻繁に発生すると、記録された動画像は非常に見づらいものとなる。

そこで、本実施例では、フレーム間の主被写体の水平方向及び垂直方向の移動を表す動きベクトルを動きベクトル検出回路２７で検出し、検出された動きベクトルからＣＰＵ１５により画像を補正する情報（以下、補正量）を算出する。そして、算出された補正量に応じて画像を画像変形切出し回路２８で変形補正し、補正された画像をＶＲＡＭ６の所定の領域に記録することで、電子ブレ補正を行う。

本実施例においては、主被写体検出回路２６で検出された主被写体の動きベクトルを動きベクトル検出回路２７で検出した後、検出した動きベクトルを用いて主被写体に生じるブレを補正する。複数の主被写体候補が検出された場合は、最も順位が高い主被写体候補を主被写体とし、主被写体の画像上におけるブレが軽減されるように、被写体ブレ補正を行う。

そして、主被写体領域検出手段の出力から主被写体位置の変化量を演算する。変化量が所定量以上の場合や、動きベクトルと慣性センサから算出される主被写体の動きと撮像装置の動きの差分が所定値以上の場合は、意図的な主被写体の変更が撮影者によってなされたと判断し、被写体ブレ補正を停止し、所定方向の手ブレ補正のみを行う。

次に本実施例の撮像システム１００の実際の撮影動作について、図３に示すフローチャートを用いて説明する。

撮像装置１の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影（録画）モードである場合に、撮影処理シーケンスが実行される。

まず、ステップＳ３０１において、変数の初期化や駆動部材を初期位置へ移動する等の処理を行った後、交換レンズ３１が装着されているか否かを判定する。装着されているならば、ブレ補正レンズ３２、フォーカスレンズ３３、絞り３４に関する情報を取得する。装着されていない場合は、交換レンズ情報の取得の処理は行わずにステップＳ３０２へ進む。

ステップＳ３０２ではＣＰＵ１５は、交換レンズ３１を透過し撮像素子３上に結像した像をＬＣＤ８に画像として表示する。

なお動画記録モードに設定され、かつブレ補正設定がＯＮになって場合は、ブレ補正処理を行った画像をＬＣＤ８に表示しても構わない。

ステップＳ３０３では、ＣＰＵ１５は、動画記録モードと静止画撮影モードのどちらに設定されているかを調べ、動画記録モードならステップＳ３０４へ、静止画撮影モードならステップＳ３２１へ進む。

ステップＳ３２１では、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第１ストローク）がオン状態になったことをＣＰＵ１５が確認すると、次のステップＳ３２２に進む。ステップＳ３２２では、撮影者によってブレ補正処理を行う設定がされていた場合は、手ブレブレ補正処理を行う。この処理は、撮像システム１００に加わるブレをブレ検出センサ１４で検出し、検出結果に基づいて、ブレ補正処理（ブレ補正レンズと撮像素子の少なくともいずれかの移動）を行う。例えば特開平５－１６１０５３に記載された従来の静止画撮影におけるブレ補正処理などを適用すればよいため、処理の詳細な説明は省略する。

ステップＳ３２３では、ＡＦ処理とＡＥ処理が実行され、フォーカスレンズ３３を合焦位置へ駆動するとともに、静止画撮影時の絞り値や露光時間など決定し、ステップＳ３２４へ進む。ステップＳ３２４では、撮像素子３上に結像された被写体像にＡＥ処理結果（高輝度、低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳して、ＬＣＤ８に画像として表示する。またＬＥＤ２２の点灯、点滅や、スピーカーから合焦音や非合焦音を発するなどして、ＡＥやＡＦ処理結果を撮影者に知らせるようにしてもよい。

ステップＳ３２５では、ＳＷ２（レリーズスイッチの第２ストローク）の確認を行い、ＳＷ２がオンになっていたならば、ステップＳ３２６に進み、実際の露光処理を実行する。この露光処理の際にも撮影者によってブレ補正設定がされている場合は、ステップＳ３２２と同様にしてブレ補正処理を行う。露光処理終了後はステップＳ３１０へ進む。尚、本明細書における「露光」は、特に断りがない限り、記録画像を撮影するための撮像処理（露光）をさし、ライブビュー画像を取得するための撮像処理は含まれないものとする。

一方、ステップＳ３０３において、動画記録モードに設定されていた場合は、ステップＳ３０４へ進む。ステップＳ３０４では、ＣＰＵ１５は、ＡＦ処理とＡＥ処理を実行し、フォーカスレンズ３３の合焦位置への駆動を行うとともに、絞り値や露光時間を決定し、絞り３４の駆動及び撮像素子３の露光時間（蓄積時間）の制御を行う。

ステップＳ３０５では、撮影者によってブレ補正処理設定がなされているか否かを判定する。ブレ補正処理が設定されている（ＩＳオン：ｉｍａｇｅ ｓｔａｂｉｌｉｚａｔｉｏｎ ＯＮ）場合は、ステップＳ３０６でブレ補正処理を行う。一方、ブレ補正処理が設定されていない（ＩＳオフ）場合は、ステップＳ３０７へ進む。ステップＳ３０６での処理の詳細は後述する。

ステップＳ３０７では、ＡＥ処理結果（高輝度、・低輝度警告など）やＡＦ処理結果（ＡＦ成功または失敗など）を重畳して画像をＬＣＤ８に表示する。この画像は、ブレ補正処理設定がされていた場合は、ステップＳ３０６での処理で作成されたブレ補正がされた画像であり、ブレ補正処理設定がされていない場合は、ステップＳ３０２において読み出された画像である。尚、ステップＳ３２４と同様に、ＡＥ処理結果とＡＦ処理結果の撮影者への通知は、ＬＣＤ８への表示以外の方法を採ることもできる。

ステップＳ３０８では、動画記録指示が撮影者によってなされている（撮像装置１に入力されているか）否かを確認し、動画記録指示がなされていたならば、ステップＳ３０９に進み、動画記録の処理を実行した後ステップＳ３１０へ進む。ステップＳ３０９の動画記録処理では、ブレ補正処理設定がされていた場合は、ステップＳ３０６での処理で作成させたブレ補正がされた画像が記録される。動画記録指示がされていない場合は、ステップＳ３１０へ進む。

ステップＳ３１０では、主電源スイッチ、再生スイッチの状態や、レンズの交換を調べ、いずれかが実行されたならば処理を終了する。それ以外の場合はステップＳ３０２へ戻る。

ここで図４～図６を用いて、ステップ３０６で行われるブレ補正処理について説明する。図４には、ステップＳ３０６で行われるブレ補正処理のフローチャートを示す。

ステップＳ４０１において、ＣＰＵ１５は、パンニング（以下、チルティングも含むものとする）が発生しているか否かを判定する。パンニングの発生の有無は、主被写体検出回路２６の出力、動きベクトル検出回路２７の出力、ブレ検出回路１３からの出力に基づいて判断する。具体的には、主被写体検出回路２６の出力に基づいて、前フレーム（第１の画像）から今フレーム（第２の画像）までの主被写体位置の変化量を演算し、変化量が第１の所定量以上の場合は、パンニングが発生したと判断する。また、動きベクトル検出回路２７から出力される動きベクトルから画面内での主被写体の移動量を取得し、この量が第２の所定値以上の場合にも、パンニングが発生したと判断する。また、ブレ検出回路１３から出力される撮像装置１の動き量が第３の所定値以上の場合にも、パンニングが発生していると判断する。尚、第１～第３の所定値は、交換レンズの焦点距離に応じて設定することが好ましい。例えば、第１～第３の所定値は、焦点距離５０ｍｍの時の値を基準値にし、焦点距離２４ｍｍ～２００ｍｍ間は焦点距離の比例倍の値とし、焦点距離２４ｍｍ未満は２４ｍｍの値と同じ値とし、焦点距離２００ｍｍを超える場合は２００ｍｍの値と同じ値とする。

本ステップで、パンニングが発生していると判断された場合はステップＳ４０２に進み、ＣＰＵ１５はパンニング発生フラグをオンにして、ステップＳ４０３へ進む。

ステップＳ４０３以降ではパンニングが発生している期間の撮像装置１の動きに起因する画像のブレ、つまり、像ブレのうち、手ブレを補正する処理であり、パンニングによる撮像装置の移動方向に直交する方向の手ブレのみを補正する。

ステップＳ４０３では、ＣＰＵ１５は手ブレを補正する方向の設定を行う。ブレ検出回路１３から出力されるピッチ方向のブレ量とヨー方向のブレ量から、撮像装置１の移動方向（パンニングしている方向）を求める。そして撮像装置１の移動方向に直交する撮像素子上の方向を演算し、その方向をパンニングが発生中のブレ補正方向として設定し、ステップＳ４０４へ進む。

ステップＳ４０４では、ＣＰＵ１５は、主被写体検出回路２６に主被写体検出を行わせ、検出された主被写体の位置を取得する。尚、主被写体検出自体は、今回処理を行うフレームが取得された直後に、本ステップに先んじて行っておき、本ステップでは検出結果の取得のみを行ってもよい。

ステップＳ４０５に進み、ベクトル検出枠を設定する。ステップＳ４０５において、ＣＰＵ１５は、ステップＳ４０４（図２のフローチャートの処理）で主被写体が存在すると判定され、主被写体の位置を取得できた場合は、主被写体領域を除く領域に所定の大きさでベクトル検出枠を設定する。存在しないと判定された場合（図２のフローチャートで、ステップＳ２１３でＡＦ領域を決定した場合）は画面全体に所定の大きさで所定の個数のベクトル検出枠を設定する。

ＣＰＵ１５は、ベクトル検出枠を、例えば図５に示すように設定する。主被写体が存在すると判定された場合は、図５（Ａ）に示すように画面全体を所定の大きさで所定の個数（ここでは７×９）に分割してブロックを設定する。各ブロックのうち、ステップＳ４０４で検出した主被写体領域に含まれる領域と一部が重複するブロック（図５（Ａ）の灰色のブロック）を除くブロック（図５（Ａ）の白色のブロック）をベクトル検出枠とする。一方、ＣＰＵ１５は、主被写体が存在しないと判定された場合は、図５（Ｂ）に示すように画面全体に所定の大きさで所定の個数（ここでは７×９）のベクトル検出枠を設定する。

ステップＳ４０６では、ステップＳ４０５で設定した枠内のベクトル検出を行う。そして、ステップＳ４０７では、ベクトル検出のクラスタリングを行い、主被写体領域を除くベクトル検出枠で検出されたベクトルを、手ブレに起因するベクトルと被写体自体の移動による動き成分が重畳したベクトルとに分離する。そして、分離したベクトルから、手ブレに起因する動きベクトルを抽出することで手ブレ量を検出する。

例えば図５（Ｃ）に示すように、主被写体領域とされた中央付近の灰色の部分の周辺にも主被写体の一部が存在すると、そのベクトル検出枠で検出されるベクトルは、他のベクトル検出枠で検出される多くのベクトルとは方向や大きさが異なる。図５（Ｃ）の例では、主被写体の動体が存在するベクトル検出枠では、紙面左方向に向かうベクトルが検出され、他のベクトル検出枠では紙面右上方向に向かうベクトルが検出される。そこで、ステップＳ４０７では、方向や大きさが基準値以上異なるもの排除した上で平均を取ることで、手ブレを検出する。

その後、ステップＳ４０８において、ステップＳ４０７で検出された手ブレに基づいて、補正量を算出する。これにより、撮像装置１の動きにより生じる像ブレ（つまり、手ブレ）を補正するための補正量（第２のブレ補正量）を取得できる。補正量の取得方法について説明をする。

ステップＳ４０３で補正方向が設定されている場合、本ステップでは、設定された方向のブレ量のみに対応する補正量を取得する。例えば、ステップＳ４０７で取得された手ブレが、図５（Ｃ）に示すベクトルＬであり、ベクトルＬとｘ軸方向（紙面水平方向）がなす角度がθの場合、動きベクトルＬから取得される補正量ｖは、下記式で算出される。尚、ｘ軸方向へのブレ補正量をｖ（ｘ）、ｙ軸方向へのブレ補正量をｖ（ｙ）とする。
｜ｖ｜＝Ｌ ｃｏｓθｓｉｎθ、Ｌ＝√（ｘ１・ｘ１＋ｙ１・ｙ１）
ｖ（ｘ） ＝｜ｖ｜ ｃｏｓθ ＝ Ｌ ｃｏｓθｓｉｎθｃｏｓθ
ｖ（ｙ） ＝｜ｖ｜ ｓｉｎθ ＝ Ｌ ｃｏｓθｓｉｎθｓｉｎθ

一方、後述する、ステップＳ４２０からステップＳ４０５へ進み、ステップＳ４０８まで進んだ場合、ステップＳ４０３を経ていないため、ブレの補正方向は設定されていない。その場合、すなわち全方向の手ブレを補正する場合は、撮像装置１の回転方向（ロール方向）のブレ量をブレ検出センサ１４及びブレ検出回路１３にて検出して、その検出値から回転ブレを補正するための画像回転角を動画撮影のフレームレートを用いて取得する。ここで、全方向とは、ブレ補正手段が補正可能な全部の方向のことを指す。取得した画像回転角は、画面中心に対する回転角であり、画像回転角とステップＳ４０７で求めた手ブレ（Ｌ）とに基づいて補正量を取得する。尚、ブレの補正方向が設定されていない場合は、ブレ検出回路１３からピッチ、ヨー、ロール方向のブレ量を取得し、これらに基づいてブレ補正量取得してもよい。

ステップＳ４０９では、ＣＰＵ１５が画像変形切出し回路２８を制御して、ステップＳ４０８で取得された補正量に基づいて画像切出しを行うことで、ブレ補正画像を生成する。ただし、補正可能な全方向の手ブレを補正する場合（ステップＳ４２０からステップＳ４０９へ到達した場合）は、ブレ検出センサ１４及びブレ検出回路１３より出力される信号から撮像装置１の回転方向のブレ量を補正するための補正回転角を求める。そして、幾何変形によるその成分の補正（ロール補正）を画像の切出し前に行う。切出した画像のサイズは一定なので、主被写体位置を所定位置にした場合に切出し範囲が所定サイズに満たなくなる場合は、切出し範囲が所定サイズになるようする。

このように、パンニングが発生した場合は、意図的に主被写体が変更されたと判断し、撮像装置１の動きにより撮影された画像に生じるブレである手ブレを補正する。

ステップＳ４０１で、パンニングが発生していないと判定された場合はステップＳ４１１に進む。ステップＳ４１１では、ＣＰＵ１５は、主被写体検出回路２６を制御して図２に記載の主被写体検出を行い、主被写体検出回路２６の出力から主被写体が検出されているか否かの情報を取得し、ステップＳ４１２へ進む。ステップＳ４１２では、ＣＰＵ１５は、ステップＳ４１１で取得した情報に基づいて主被写体が検出されているか否かを判定する。主被写体が検出されていない場合は、ステップＳ４２０に進み、前フレームのステップＳ４０２でパンニング発生フラグをオンに設定されていた場合は当該フラグをオフに設定し、ステップＳ４０５へ進む。ステップＳ４０５以降の処理は上述した通りである。

一方、ステップＳ４１２で主被写体が検出されている場合は、ステップＳ４１３に進み、パンニング発生フラグがオンされているか否かを判定する。フラグがオンされていればステップＳ４１４へ進み、パンニング発生フラグをオフに設定した後、ステップＳ４１５へ進む。フラグがオンされていない場合はステップＳ４２１へ進む。

ステップＳ４１５以降の処理は、パンニング発生中に行っていた手ブレ補正から、被写体ブレ補正（手ブレと被写体の動きによって撮像された画像の被写体に生じるブレとの補正）へ徐々に移行する処理である。パンニング終了後、所定時間が経過するまでは、この以降処理を行う。まず、ステップＳ４１５では、この移行にかける期間（以下、移行期間と呼ぶ）Ｔｃｈを設定する。ステップＳ４１５へは、前フレームまではパンニングが発生していた場合に到達する。そのため、前フレームまでに発生していたパンニングが継続していた時間に基づいて移行期間Ｔｃｈを決定することが好ましい。例えば、移行期間Ｔｃｈは、パンニングが発生していた期間と同じにすることで、滑らかな映像を取得することができる。ただし、パンニング速度が速い場合、パンニングが発生していた期間を移行期間Ｔｃｈとすると、パンニング後のフレーミングが安定しない可能性がある。そのため、基準のパンニング速度を予め定めておき、発生していたパンニングの速度が基準速度を超える場合は、速度に最大値の制限を掛けた上で基準速度の比例倍にする。尚、パンニングの速度はブレ検出回路１３にて検出された値の絶対値から取得することができる。基準速度は焦点距離を考慮して決定することが好ましい。例えば、焦点距離５０ｍｍの時の基準速度をまず決め、焦点距離２４ｍｍ～２００ｍｍ間は５０ｍｍとの焦点距離の比の逆数に比例させる。そして焦点距離２４ｍｍ未満は２４ｍｍの基準速度と同じ値を基準速度とし、焦点距離２００ｍｍを超える場合は２００ｍｍの基準速度と同じ値を基準速度とする。この場合、焦点距離１００ｍｍの時の基準速度は５０ｍｍの時の値の半分、２５ｍｍの時は５０ｍｍの時の値の２倍となる。この際、速度の最大値の制限は、焦点距離によらず一律としても良いし、焦点距離ごとに定めても良い。

移行期間Ｔｃｈを設定すると、ステップＳ４１６にてベクトル検出枠を設定する。本ステップでは、主被写体領域と、主被写体領域以外の領域とのそれぞれに、ベクトル検出枠を設定する。例えば、図５（Ａ）に示すように画面全体を所定の大きさで所定の個数に分割してブロックを設定する。各ブロックのうち、ステップＳ４１１で検出した主被写体領域に含まれる領域と一部が重複するブロック（図５（Ａ）で灰色のブロック）を被写体ベクトルを検出するための検出枠として設定する。そして、それを除く各ブロック（図５（Ｃ）の白色のブロック）を背景ベクトル検出枠として設定する。被写体ベクトルにより被写体の動きを検出し、背景ベクトルにより撮像装置１の動きを検出する。

ステップＳ４１７にてＳ４１６で設定した枠内のベクトル検出を行い、ステップＳ４１８ヘ進む。ステップＳ４１８においてベクトル検出のクラスタリングを行い、手ブレ量と被写体ブレ量とを検出する。手ブレ量の検出得方法は、ステップＳ４０７と同様である。主被写体領域と重複しないベクトル検出枠で検出されたベクトルを、手ブレに起因するものと被写体自体の移動によるものとに分離し、手ブレに起因する動きベクトルを抽出することで、手ブレ量を検出する。

被写体ブレ量も、同様にクラスタリングを行うことにより検出する。主被写体領域と重複する枠内のベクトル検出枠で検出されたベクトルを、被写体の動き成分を含むベクトルと、含まないベクトルとに分離し、被写体の動き成分を含む主被写体動きベクトルを抽出することで、被写体ブレ量（手ブレ量＋被写体動き量）を検出する。

例えば図５（Ｄ）に示すように、主被写体領域とされた中央付近の点線の枠５０１内にも主被写体以外の背景が存在する可能性がある。よって、点線枠５０１内のベクトル検出枠で検出されるベクトルの中には、点線枠５０１内の他のベクトル検出枠で検出される多くのベクトルとは方向や大きさが異なるものが存在する。そこで、ステップＳ４１８では、方向や大きさが基準値以上異なるもの排除した上で平均を取ることで、手ブレと被写体自体の動きとの両方に起因する被写体ブレ量を検出する。

そして、ステップＳ４１９において、ステップＳ４１８で検出した手ブレ量と、被写体ブレ量との加重平均を取ることで補正量を取得する。加重平均の重み（以下、補正割合と呼ぶ）は、設定された移行期間Ｔｃｈと、移行処理を始めてからの経過時間とに基づいて決定する。例えば、補正割合は、ステップＳ４１５で求めた移行期間Ｔｃｈと移行処理を開始してからの経過時間Ｔｐｓｔを用いて、下記式により決定される。
手ブレ量の補正割合＝１－Ｔｐｓｔ／Ｔｃｈ
被写体ブレ量の補正割合＝Ｔｐｓｔ／Ｔｃｈ
手ブレ量の補正割合と被写体ブレ量の補正割合との和は、１となる。

各々のブレ補正量は、ステップＳ４１８で求められた手ブレ量と被写体ブレ量を用いて下記式で表され、手ブレ補正量と被写体ブレ補正量とを加算することで、最終的なブレ補正量を取得する。
手ブレ補正量＝手ブレ量の補正割合×手ブレ量
被写体ブレ量＝被写体ブレ量の補正割合×被写体ブレ量

その後、ステップＳ４０９では、ＣＰＵ１５は画像変形切出し回路２８を制御して、ステップＳ４１９で取得された補正量に基づいて画像切出しを行うことで、ブレ補正画像を生成する。

このように、パンニングが終了した直後は、ＣＰＵ１５は、撮像装置１の動きにより撮像された画像に生じる手ブレを補正する制御から、撮像された画像の主被写体に生じる被写体ブレを補正する制御への移行処理を行う。

一方、パンニング発生フラグがオフされていたため、ステップＳ４１３からステップＳ４２１へ進んだ場合は、前フレームからパンニングが発生していない（前フレーム以前にパンニングが終了しているか、一度もパンニングが発生していない）状態である。よって、ＣＰＵ１５は、手ブレ補正から被写体ブレ補正への移行する期間が終了したか否かを判定する。移行処理を開始してからの経過時間ＴｐｓｔとステップＳ４１５で設定した移行期間Ｔｃｈを比較し、Ｔｐｓｔ≧Ｔｃｈであれば、移行期間が終了したと判定する。

移行期間が終了している場合はステップＳ４２２へ進み、被写体ブレ補正処理を行う。移行期間が終了していない場合はステップＳ４１６へ進み、上述の被写体ブレ補正への移行処理を行う。

移行期間が終了し、ステップＳ４２２に進むと、ＣＰＵ１５は、主被写体領域にベクトル検出枠を設定する。例えば図５（Ａ）に示すように画面全体を所定の大きさで所定の個数（ここでは７×９）に分割してブロックを設定する。各ブロックのうち、主被写体領域に含まれる領域と一部が重複する領域（図５（Ａ）で灰色のブロック）を、被写体ブレを補正するためのベクトル検出枠として設定する。

ステップＳ４２３では、ＣＰＵ１５はステップＳ４２２で設定した枠内のベクトル検出を行う。そして、ステップＳ４２４においてベクトル検出のクラスタリングを行い、主被写体の移動に起因する動き成分を含む主被写体ベクトルを抽出することで、被写体ブレ量（手ブレ量＋被写体動き量）を検出する。

ステップＳ４２５では、ＣＰＵ１５は、ステップＳ４２４で検出した被写体ブレ量に基づいて、撮像された画像の被写体に生じるブレを補正するための補正量（第１の補正量）を取得する。その後、ステップＳ４０９では、ＣＰＵ１５は画像変形切出し回路２８を制御して、ステップＳ４２５で取得された補正量に基づいて画像切出しを行うことで、ブレ補正画像を生成する。

このように、パンニングが一度も発生していない場合、及び、パンニングが終了してから所定期間が経過後は、撮像された画像の被写体に生じるブレ（被写体ブレ）を補正する。

ステップＳ４０９の処理が終了すると、図３のステップＳ３０７へ戻り、次のフレームに対して再びステップＳ４０１からの処理が実行される。

ここで、図６を用いて、ステップＳ４０７などで行われるクラスタリング処理について説明する。

動きベクトル検出、クラスタ値設定、ベクトルの分離、分離結果判定を行うことで、主被写体ベクトルと背景ベクトルなどの動きの異なる複数の被写体が存在する場合の動きベクトルの分離を行う。

図６（Ａ）の破線で示した枠が追尾枠６０１であり、枠内には主被写体が存在する。主被写体は図の矢印に示すように移動し、背景も矢印に示すように移動するものとする。それぞれの水平（Ｘ軸）方向・垂直（Ｙ軸）方向の動きベクトルが検出される。その検出結果を縦軸にＹ方向の動きベクトルをとり、横軸にＸ方向の動きベクトルをとったグラフに示すと、図６（Ａ）の右図のようになる。主被写体の動きベクトルは被写体自体の動きとそれを追う撮影者の意図的なパンニングに起因し、背景の動きベクトルは主に手ブレに起因するものである。よって両者には、グラフの示すような明確な差異がある。この例では、主被写体は水平マイナス（左）方向に移動しているため、Ｘ動きベクトルはマイナス領域に分布し、Ｙ動きベクトルは零近傍に分布している。背景は、水平方向においては主被写体と反対のプラス（右）方向、垂直方向においてはプラス（上）方向に移動しているため、Ｘ動きベクトルはプラス領域に分布し、Ｙ動きベクトルもプラス領域に分布している。

これを、クラスタ値設定をして両者を分離していく。まず、Ｘ動きベクトル全体の平均値（ＸｍｅａｎＡｌｌ）と、Ｙ動きベクトル全体の平均値（ＹｍｅａｎＡｌｌ）とを求め、それをクラスタ初期値として、検出された動きベクトルの分離を行う。求めた二つの平均値によって、図６（Ａ）のグラフに示す動きベクトルを４つの領域に分離する。

図６（Ａ）の例では、グラフの２点鎖線で分割された領域に存在する動きベクトルを調べると、左上領域に背景の動きベクトルが存在し、右下領域に主被写体の動きベクトルが存在する。このように、二つの動きベクトルが画面内に存在する時は分離が出来るが、図６（Ｂ）に示すように追尾枠内を評価する場合は、検出される動きベクトルの殆どが被写体の動きに対応する動きベクトルであるため、分離が難しい。

そこで検出誤差などを考慮した、同一動きベクトルの分布する範囲（ＸΔ・ＹΔ）を想定して、ＸｍｅａｎＡｌｌ±ＸΔかつ、ＹｍｅａｎＡｌｌ±ＹΔに存在するベクトル数が所定割合（例えば８割）以上の場合は、単一の動きベクトルしか追尾枠内に存在しないと判定し、分離は行わない。

分離を行わない場合、Ｘ動きベクトル全体の標準偏差（ＸσＡｌｌ）、Ｙ動きベクトル全体の標準偏差（ＹσＡｌｌ）を求める。そして、この二つの値がともに所定値以下（例えば、ＸσＡｌｌ≦２・ＸΔかつＹσＡｌｌ≦２ＹΔ）であれば、追尾枠内のベクトルの取得が可能と判断する。そして、ＸｍｅａｎＡｌｌ±ＸσＡｌｌかつＹｍｅａｎＡｌｌ±ＹσＡｌｌの範囲内の動きベクトルを抽出し、そのＸ動きベクトルの平均値（ＸｍｅａｎＡｌｌｐ）と、Ｙ動きベクトルの平均値（ＹｍｅａｎＡｌｌｐ）を追尾枠内の動きベクトルとする。

一方で、ＸｍｅａｎＡｌｌ±ＸΔかつ、ＹｍｅａｎＡｌｌ±ＹΔに存在するベクトル数が所定割合（例えば８割）未満の場合は分離が可能と判断し、各領域の動きベクトルの数や分布範囲を評価することで、動きベクトルの分離の妥当性を判定する。

各領域に存在するＸ動きベクトル・Ｙ動きベクトルの平均値（Ｘｍｅａｎ［ｎ］・Ｙｍｅａｎ［ｎ］）を求める。そして、各領域に存在するベクトルのうちＸｍｅａｎ［ｎ］±ＸΔかつＹｍｅａｎ［ｎ］±ＹΔに存在するベクトル数が所定量（例えば、全ベクトルの２割）以上存在する領域は、動きの異なるいずれかの被写体が存在する領域と判断する。

この場合、Ｘ動きベクトル全体の標準偏差（Ｘσ［ｎ］）、Ｙ動きベクトル全体の標準偏差（Ｙσ［ｎ］）を求める。そして、この二つの値がともに所定値以下（例えば、ＸσＡｌｌ≦２・ＸΔかつＹσＡｌｌ≦２ＹΔ）であれば、追尾枠内のその領域のベクトルの取得が可能と判断する。

そして、取得可能と判断された領域では、Ｘｍｅａｎ［ｎ］±Ｘσ［ｎ］かつＹｍｅａｎ［ｎ］±Ｙσ［ｎ］の範囲内の動きベクトルを抽出する。そして、抽出したそのＸ動きベクトルの平均値（Ｘｍｅａｎ［ｎ］ｐ）、Ｙ動きベクトルの平均値（Ｙｍｅａｎ［ｎ］ｐ）を追尾枠内の動きベクトルとする。このベクトルは複数求められることもある。

追尾枠内の複数の領域で動きベクトルの取得が可能な場合は、検出されたベクトル数が最大となるＸｍｅａｎ［ｎ］ｐ・Ｙｍｅａｎ［ｎ］ｐを選択する。但し抽出されたベクトル数が所定値未満なら、動きベクトル検出は不可能と判断しベクトル値を零とし、検出された追尾枠内に動きのある被写体は無いとする。

以上の説明のように、本実施例においては、主被写体検出回路２６が主被写体の存在する位置を検出する被写体検出手段の役割を担う。そして、動きベクトル検出回路２７が主被写体ベクトルに基づいて主被写体の画像における動きを検出する第１の動き検出手段と背景ベクトルに基づいて撮像装置１の動きを検出する第２の動き検出手段との役割を担う。尚、ブレ検出センサ１４及びブレ検出回路１３が撮像装置の動きを検出する第２の動き検出手段の役割を担ってもよい。

そしてＣＰＵ１５が、主被写体検出手段の出力から主被写体位置の変化量を演算する主被写体の位置変化量演算手段の役割を担う。またＣＰＵ１５は、動きベクトル検出回路２７から出力される動きベクトルとブレ検出回路１３の出力から主被写体の動きを、ブレ検出回路１３の出力から撮像装置の動きを算出して、両者の動きの差分を演算する手段の役割も担う。更にＣＰＵ１５は、主被写体の位置変化量や主被写体と撮像装置の動きの差分および撮像装置の動きから、意図的な主被写体の変更動作（パンニング）を検出する判定手段の役割を担う。また、ＣＰＵ１５は、撮像された画像の被写体に生じるブレを補正するための補正量を算出するブレ補正量取得手段の役割も担う。更にＣＰＵ１５は、主被写体の変更動作中のブレ補正を行う所定方向を設定する補正方向設定手段の役割も担う。

以上で説明をした処理を行うことで、本実施例においては、被写体ブレ補正制御中に撮影者による主被写体の変更が行われた場合においても、変更中は所定方向の手ブレ補正をすることで、滑らかな動画の取得を可能にした。本実施例において図４に示した処理が行われる動画は、記録される動画と、記録開始前にライブビュー画像として表示される動画であるが、いずれ一方の動画にのみ図４の示した処理を行ってもよい。また、静止画撮影前のライブ画像に対して図４の処理を行ってもよいし、連続撮影時（連写）に記録される複数の画像に対して図４の処理を行ってもよい。連写により撮影される静止画像１枚ずつが、動画の１フレームずつに対応するものみなすことで、実施例を連写撮影にも適用できる。
［実施例２］
本実施例は、撮影者による意図的な主被写体の変更の有無の判定方法が実施例１と異なる。実施例１では、パンニングの発生の有無により、撮影者による主被写体の意図的な変更の有無を判定した。本実施例では、撮影者による撮影時の焦点距離の変更、一定以上のピント変更、露光量の一定以上の変更などを検出した場合に、意図的な主被写体の変更があったと判定する。撮像システム１００の構成、主被写体検出のフロー、及び、ブレ補正処理（ステップＳ３０６）以外の撮影フローは実施例１と同様であるため、説明を省略する。

実施例２のブレ補正処理の動作手順を図７に示す。実施例１と同じ処理は同じ符号を付し説明は省略する。

まずステップＳ７０１では、ＣＰＵ１５は、撮影者により任意のＡＦ点がメニューやＬＣＤ画面のタッチ動作などによって指定されているか否かを判定する。指定されている場合は、撮影者による主被写体領域の指定が行われているため、ステップＳ７０５からの処理に進む。ステップＳ７０５以降の処理では、指定された主被写体領域の被写体、または近傍の被写体を主被写体として、当該主被写体の位置が画像上の同じ位置に維持されるように、被写体ブレ補正に移行する。

ステップＳ７０５では、撮影者により任意のＡＦ点が指定された場合にＡＦ動作を自動的に起動する設定になっている場合はＡＦ動作の完了（指定したＡＦ点の被写体への合焦動作の完了）を待ち、ステップＳ４２２へ進む。また、ＡＦ動作が起動しない設定になっている場合は直ちに、ステップＳ４２２へ進む。そして、実施例１と同じステップＳ４２２～Ｓ４０９の処理を行い、撮像された画像の主被写体に生じるブレ（被写体ブレ）を補正する。

ステップＳ７０１で、ＣＰＵ１５が任意のＡＦ点が指定されていないと判定した場合はステップＳ７０２に進む。ステップＳ７０２では、意図的な主被写体の変更が撮影者によってなされたか否かを判定し、主被写体の変更がなされた場合はステップＳ７０３へ進む。本ステップでは、主被写体の変更の有無を、焦点距離、ピント位置、露光量の夫々が、撮影者により所定量以上変更されたか否かで主被写体の変更の有無を判定する。焦点距離、ピント位置、露光量のうち、いずれか１つ以上が所定量変更された場合は、意図的な主被写体の変更が撮影者によってなされたと判定する。いずれも所定量以上変更されなかった場合は、意図的な主被写体の変更がないものと判断する。

撮影者による交換レンズの焦点距離を変更する動作は、例えば、交換レンズ３１のズームリング（不図示）の操作により行われる。これは、ズームリングの操作量に比例して、撮影光学系を構成するズームレンズ（不図示）が移動するように構成されたメカニカル構造によって実現される。また、ズームリングの操作量に比例してアクチュエータを駆動することで、ズームレンズが移動する構成であってもよい。この場合、操作部は、ズームリングでなく、ズームレバーやズーム釦でもよい。撮影者によるピント位置の変更動作は、例えば、交換レンズ３１のピントを調節するマニュアルフォーカスリング（不図示）の操作により行われる。これは、マニュアルフォーカスリングの操作量に比例して、フォーカスレンズ３３が移動するように構成されたメカニカル構造によって実現される。また、マニュアルフォーカスリングの操作量に比例してアクチュエータを駆動することで、フォーカスレンズ３３が移動する構成であってもよい。この場合、操作部は、マニュアルフォーカスリングでなく、マニュアルフォーカス釦であってもよい。また、このように電子的にフォーカスレンズ３３を制御する場合、１つのリング部材がズームリングとしても、マニュアルフォーカスリングとしても機能可能であってもよい。

そして、本実施例においては、撮影者によって、焦点距離が所定量以上変更された場合と、ピント位置が所定量以上変更された場合は、意図的な主被写体の変更が撮影者によって行われたと判定する。そして、その変更操作中は主被写体自体の移動に伴うブレは補正せず、手ブレ補正のみを行う。

露出補正量、露光時間、絞り値の変更は、例えば、操作スイッチ１８としての露出補正量変更ダイヤル、露光時間変更ダイヤル、絞り値変更ダイヤルの操作により行われる。露出補正量が変更された場合は、ＣＰＵ１５はこの露出補正量とＡＥ評価値を基に、撮像素子３の露光時間や絞り３４の開口値を計算する。また、露光時間または絞り値もしくはその両方が変更された場合は、その設定値と撮影モードを基に、必要に応じて露光時間または絞り値を計算する。そして通信ドライバー２１を介して交換レンズ３１へ絞り３４の開口値情報を送信する。交換レンズ側では絞り駆動処理などが行われ、絞り３４の絞り量が適正になるように調整される。また、ＣＰＵ１５が、ＴＧ１６および撮像素子ドライバー１７を介して撮像素子３の露光時間を制御することで、露光時間が適正になるように調整される。

そして、本実施例においては、撮影者により露光量が所定量以上変更（露出補正量の所定量以上の変更や、露光時間と絞り値の組み合わせによる露光量の所定量以上の変更）がされた場合は、意図的な主被写体の変更が撮影者によって行われたと判定する。そして、その変更操作中は主被写体自体の移動に伴うブレは補正せず、手ブレ補正のみを行う。

ステップＳ７０２で意図的な主被写体の変更が行われたと判定され、ステップＳ７０３に進むと、ＣＰＵ１５は、意図的な主被写体の変更が撮影者によってなされたことを示すフラグ（以下、被写体変更フラグ）をオンにし、ステップＳ７０４へ進む。 ステップＳ７０４では、ＣＰＵ１５は、手ブレを補正する方向の設定を行う。補正方向の設定方法は、撮影者による焦点距離、ピント位置、露光量の少なくともいずれかを所定値以上変更するための操作時に、撮像装置１のパンニングを伴うか否かによって異なる。撮像装置１のパンニングを伴わない場合は、ピッチ方向ヨー方向ロール方向など、撮像装置１が手ブレ補正できる全ての方向を補正する方向とする。一方で、撮像装置のパンニングを伴う場合は、実施例１のステップＳ４０３と同様に、撮像装置の移動方向を求め、その移動方向に直交する撮像素子上の方向を演算し、その方向をパンニングが発生中のブレ補正方向とする。

その後は実施例１と同様にステップＳ４０４～Ｓ４０９の処理を行い、ステップＳ７０４で設定された補正方向について手ブレ補正を行う。

このように、撮影者によって焦点距離、ピント位置、露光量の少なくともいずれか所定量以上変更された場合は、意図的に主被写体が変更されたと判断し、撮像装置１の動きにより撮影された画像に生じるブレ（手ブレ）を補正する。 一方、ステップＳ７０２において意図的な主被写体の変更が撮影者によってなされていないと判定された場合はステップＳ４１１へ進む。ステップＳ４１１以降のステップでは、実施例１と同様に、主被写体が検出されていない場合は手ブレ補正を行う。また、主被写体が検出されており、手ブレ補正から被写体ブレ補正への移行期間が終了している場合は被写体ブレ補正を行い、移行期間中の場合は手ブレ補正と被写体ブレ補正を混合した移行期間中の処理を行う。

ステップＳ４１１、Ｓ４１２では、実施例１と同様に、ＣＰＵ１５は主被写体検出回路２６を制御して主被写体検出を行い、主被写体が検出されているか否かを判定する。

主被写体が検出されていない場合は、ステップＳ７２１に進み、前フレームに対するステップＳ７０３で、被写体変更フラグをオンに設定されていた場合は当該フラグをオフに設定し、ステップＳ４０５へ進む。ステップＳ４０５以降の処理は実施例１と同様に手ブレを補正する。

主被写体が検出されている場合は、ステップＳＳ７１１に進み、被写体変更フラグがオンされているか否かを判定する。

被写体変更フラグがオンされている場合はステップＳ７１２へ進み、ステップＳ７０３でオンされた被写体変更フラグをオフに設定した後、ステップＳ７１３へ進む。

ステップＳ７１３以降の処理は、パンニング発生中に行っていた手ブレ補正から、被写体ブレ補正（手ブレと被写体自体の動きとによって撮像された画像の被写体に生じるブレとの補正）へ徐々に移行する処理である。まず、ステップＳ７１３では、実施例１のステップＳ４１５と同様に、移行期間Ｔｃｈを設定する。ステップＳ７１３は、前フレームまでは主被写体の変更が推定される操作（焦点距離、ピント位置、露光量の変更操作）が発生していた場合に到達する。そのため、前フレームまでに発生していた当該操作が継続していた時間に基づいて移行期間Ｔｃｈを決定することが好ましい。例えば、
移行期間Ｔｃｈは、撮影者による焦点距離、ピント位置、露光量の変更操作に要する期間Ｔｏｐと同じにすることで、滑らかな映像を取得することができる。ただし、部材操作においては終了時に微調整の操作を行うことがあるので、この時間を考慮して、平均的な変更に要する時間の１～２割の時間に相当するＴｏｐ^＋を加えた時間を移行期間とする。

すなわち移行期間Ｔｃｈ＝Ｔｏｐ＋Ｔｏｐ^＋となる。

またこのＴｏｐ^＋は、焦点距離を考慮しても良い。その場合は、焦点距離５０ｍｍの時の数値をまず決め、焦点距離２４ｍｍ～２００ｍｍ間は焦点距離の比例倍の値にし、焦点距離２４ｍｍ未満は２４ｍｍの値と同じ、焦点距離２００ｍｍを超える場合は２００ｍｍの値と同じにする。例えば、焦点距離１００ｍｍの時の値は５０ｍｍの時の値の２倍、２５ｍｍの時は５０ｍｍの時の値の半分の値とする。

但し、本実施例では、実施例１と異なり、パンニング（チルティング）を伴った場合でもパンニング（チルティング）の速さは移行期間に反映させない。ステップＳ７１３で移行期間Ｔｃｈを設定した後は、手ブレ補正から被写体ブレ補正へ移行処理を行うため、実施例１と同じステップＳ４１６～Ｓ４１８の処理を行い、ステップＳ７１９へ進む。

ステップＳ７１９では、ステップＳ４１９と同様に、ステップＳ４１８で検出した手ブレ量と、被写体ブレ量との加重平均をとることで補正量を取得する。補正割合は、設定された移行期間Ｔｃｈと移行処理を始めてからの経過時間とに基づいて決定する。ただし部材操作終了時の微調整の時間は手ブレ補正を行うように補正割合を決める。

例えば、補正割合は、ステップＳ７１３で求めた移行期間Ｔｃｈおよび微調整の操作を考慮した時間Ｔｏｐ^＋と移行処理を開始してからの経過時間Ｔｐｓｔを用いて、下記式により決定される。
（Ｔｐｓｔ＜Ｔｏｐ^＋の時）
手ブレ量の補正割合＝１
被写体量の補正割合＝０
（Ｔｏｐ＋≦Ｔｐｓｔ≦Ｔｃｈの時）
手ブレ量の補正割合＝１－（Ｔｐｓｔ－Ｔｏｐ^＋）／（Ｔｃｈ－Ｔｏｐ^＋）
被写体ブレ量の補正割合＝（Ｔｐｓｔ－Ｔｏｐ^＋）／（Ｔｃｈ－Ｔｏｐ^＋）
手ブレ量の補正割合と被写体ブレ量の補正割合との和は、１となる。

各々のブレ補正量は、ステップＳ４１８で求められた手ブレ量と被写体ブレ量を用いて下記式で表され、手ブレ補正量と被写体ブレ補正量とを加算することで、最終的なブレ補正量を取得する。
手ブレ補正量＝手ブレ量の補正割合×手ブレ量
被写体ブレ量＝被写体ブレ量の補正割合×被写体ブレ量

その後、実施例１と同じステップＳ４０９の処理を行うことでブレ補正を行う。

このように、撮影者による撮影時の焦点距離またはピント位置または露光量のいずれかの所定値以上変更が終了した直後は、手ブレを補正する制御から、撮像された画像の主被写体に生じる被写体ブレを補正する制御への移行処理を行う。

一方、フラグがオンされていない場合は、ステップＳ７１１からＳ４２１へ進み、実施例１と同じく手ブレ補正から被写体ブレ補正への移行する期間が終了したかを判定する。移行期間が終了していればステップＳ４２２へ進み、被写体ブレ補正処理を行い、終了していなければステップＳ４１６へ進み、手ブレ補正から被写体ブレ補正への移行処理を行う。ステップＳ４０９の処理が終了したならば次のフレームの処理に移り、再びステップＳ７０１からの処理が実行される。

以上の説明のように本実施例においては、ＣＰＵ１５が、撮影者による、撮影時の焦点距離の変更、もしくは一定以上のピント位置の変更、もしくは露出補正量の一定以上の変更などから意図的な主被写体の変更動作を検出する判定手段の役割を担う。そして、ＣＰＵ１５は、更に主被写体の変更動作中のブレ補正を行う所定方向を算出する手段の役割を担う。

そしてＣＰＵ１５が、主被写体領域検出手段において検出されたＡＦ領域からＡＦ領域の変更を検出する手段の役割を担う。またＣＰＵ１５が、操作スイッチ１８の出力を受けて撮影者によるピント変更、露光量の変更を検出する手段の役割を担う。そしてＣＰＵ１５が、撮影者による、焦点距離、ピント位置、露光量、ＡＦ領域の少なくともいずれかの変更から意図的な主被写体の変更動作を検出する判定手段の役割を担う。更にＣＰＵ１５は主被写体の変更動作中のブレ補正を行う所定方向を決定する補正方向設定手段の役割を担う。

以上で説明をした処理を行うことで、本実施例においては、被写体ブレ補正制御中に撮影者による主被写体の変更が行われた場合においても、変更中は所定方向の手ブレ補正をすることで安定した動画撮影を可能にする。また部材の操作中に増加する手ブレを低減することで、より安定した映像を提供することが可能になる。

（変形例）
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

上記実施例１、実施例２においては、レンズ交換式の撮像装置を例に説明したが、本発明は、デジタルビデオカメラやレンズ一体型のデジタルカメラなどのブレ補正にも適用可能である。また、ユーザの撮影指示に依らず、自動で撮影を行う自動撮影機能を有するカメラにも適用することができる。また、雲台に取り付けられた撮像装置や、ユーザの指示等に応じてパンニングとチルティングを行うことが可能なＰＴ機構を備える撮像装置に対しても適用の可能である。この場合、実施例１、２におけるパンニングは、ユーザの動きによるパンニングではなく、ユーザの指示に応じて雲台やＰＴ機構が駆動することによるパンニングであってもよい。

また、上記実施例１、実施例２においては、像ブレを補正する補正手段として電子的に像ブレを補正するいわゆる電子式ブレ補正手段を用いたが、光学式ブレ補正手段を用いることもできる。光学式ブレ補正手段としては、ブレ補正レンズ３２を移動することでブレ補正を行う補正手段や、撮像素子３を移動することでブレ補正を行う補正手段を用いることができる。

また、主被写体の変更の有無の判定方法は、上記実施例１、実施例２を組み合わせてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１ 撮像装置
２ レンズマウント
３ 撮像素子
４ 撮像回路
１３ ブレ検出回路
１４ ブレ検出センサ
１５ ＣＰＵ
１８ 操作スイッチ
２６ 主被写体検出回路
２７ 動きベクトル検出回路
２８ 画画像変形切出し回路
３１ 交換レンズ

交換レンズ３１の各構成について説明をする。交換レンズ３１において、ブレ補正レンズ３２は、像ブレを補正するために、撮像素子の像面上で被写体像を移動させるための光学素子である。ブレ補正レンズを光軸と垂直なｘｙ平面において移動するように動かすことにより、被写体像が移動する。フォーカスレンズ３３、被写体像の光軸方向の結像位置を調節して焦点を合わせるための光学素子である。絞り３４は、ブレ補正レンズ３２とフォーカスレンズ３３等で構成される撮影光学系を透過する光束の量を制御する光量調節手段である。通信ドライバー３５は、交換レンズ３１が撮像装置１と通信を行うための回路である。制御回路３６は、絞り３４を駆動する絞り駆動モータ（不図示）、フォーカスレンズ３３を駆動するフォーカス駆動モータ（不図示）、ブレ補正レンズ３２を駆動するブレ補正レンズ駆動モータ（不図示）のそれぞれの駆動を制御する。ＥＥＰＲＯＭ３７は、各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。

主被写体検出処理が開始されると、主被写体検出回路２６は、まず全ての主被写体検出フラグをオフにし、その後ステップＳ２０１において撮影者によって主被写体領域が指定されているかを判定する。これはＣＰＵ１５から送られたＡＦ点情報を調べ、撮影者により任意のＡＦ点がメニューやＬＣＤ画面のタッチ動作などによって指定されているかを判定することで実行される。指定されていればステップＳ２０２に進む。

ステップＳ２２６では、検出フラグがオンになっている検出領域の中で優先順位がもっとも高いものを選択し、その領域を主被写体領域とする。上述のように、優先順位は本フローでの検出順と一致する。つまり、顔検出がされていれば顔検出領域を、顔検出がされず人物検出がされていれば人物検出領域を、顔検出も人物検出もされずに移動被写体が検出されていれば移動被写体領域を主被写体領域とする。そして、いずれも検出されていなければ主被写体度合いが高いと判断された検出領域を、主被写体領域とする。初めのフレームでは、どの被写体が検出されても、同一被写体か否かの判定（ステップＳ２２１など）でＮＯとなり、本ステップに到達するが、主被写体の候補が検出されていれば、本ステップにより優先順位の高い領域が主被写体領域に設定される。

ステップＳ３２１では、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第１ストローク）がオン状態になったことをＣＰＵ１５が確認すると、次のステップＳ３２２に進む。ステップＳ３２２では、撮影者によってブレ補正処理を行う設定がされていた場合は、手ブレ補正処理を行う。この処理は、撮像システム１００に加わるブレをブレ検出センサ１４で検出し、検出結果に基づいて、ブレ補正処理（ブレ補正レンズと撮像素子の少なくともいずれかの移動）を行う。例えば特開平５－１６１０５３に記載された従来の静止画撮影におけるブレ補正処理などを適用すればよいため、処理の詳細な説明は省略する。

ステップＳ７０１で、ＣＰＵ１５が任意のＡＦ点が指定されていないと判定した場合はステップＳ７０２に進む。ステップＳ７０２では、意図的な主被写体の変更が撮影者によってなされたか否かを判定し、主被写体の変更がなされた場合はステップＳ７０３へ進む。本ステップでは、主被写体の変更の有無を、焦点距離、ピント位置、露光量の夫々が、撮影者により所定量以上変更されたか否かで主被写体の変更の有無を判定する。焦点距離、ピント位置、露光量のうち、いずれか１つ以上が所定量以上変更された場合は、意図的な主被写体の変更が撮影者によってなされたと判定する。いずれも所定量以上変更されなかった場合は、意図的な主被写体の変更がないものと判断する。

Claims (20)

1. 主被写体を検出する被写体検出手段と、
   前記主被写体の動きベクトルを検出する第１の動き検出手段と、
   撮像装置の動きを検出する第２の動き検出手段と、
   前記第１の動き検出手段により検出された前記主被写体の動きベクトルに基づいて前記主被写体の像ブレを補正する第１のブレ補正量を取得する第１のブレ補正量取得手段と、
   前記第２の動き検出手段により検出された前記撮像装置の動きに基づいて前記撮像装置のブレを補正する第２のブレ補正量を取得する第２のブレ補正量取得手段と、
   前記第１のブレ補正量と前記第２のブレ補正量との少なくともいずれかに基づいて、ブレ補正手段を制御するブレ補正制御手段と、
   第１の画像が撮像された第１のタイミングと、第２の画像が撮像された第２のタイミングとの間での、主被写体の変更の有無を判定する判定手段と、を備え、
   前記ブレ補正制御手段は、
   前記判定手段によって主被写体が変更されたと判定された場合は、前記第１のブレ補正量に基づくブレ補正から、前記第２のブレ補正量に基づくブレ補正に制御を変更することを特徴とするブレ補正制御装置。
2. 前記判定手段は、前記被写体検出手段により検出された、前記第１の画像における主被写体の位置と、前記第２の画像における主被写体の位置との差が第１の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１に記載のブレ補正制御装置。
3. 前記第１の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項２にブレ補正制御装置。
4. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの前記主被写体の撮像画像における移動量と、前記第１のタイミングから前記第２のタイミングまでの前記撮像装置の動き量との差分が第２の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１乃至３のいずれか１項に記載のブレ補正制御装置。
5. 前記第２の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項４に記載のブレ補正制御装置。
6. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの前記撮像装置の動き量が第３の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１乃至５のいずれか１項に記載のブレ補正制御装置。
7. 前記第３の所定値が、撮影光学系の焦点距離に応じて変化することを特徴とする請求項６に記載のブレ補正制御装置。
8. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの撮影光学系の焦点距離の変化量が第４の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１乃至７のいずれか１項に記載のブレ補正制御装置。
9. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの撮影光学系のピント位置の変化量に第５の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１乃至８のいずれか１項に記載のブレ補正制御装置。
10. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの撮影光学系の露光量の変化量が第６の所定値以上の場合に前記主被写体が変更されたと判定することを特徴とする請求項１乃至９のいずれか１項に記載のブレ補正制御装置。
11. ブレ補正を行う方向である補正方向を決定する補正方向設定手段を有し、
    前記判定手段によって主被写体が変更された判定された場合は、前記第１のブレ補正量に基づくブレ補正から、前記補正方向設定手段で設定された前記補正方向における前記第２のブレ補正量に基づくブレ補正に制御を変更することを特徴とする請求項１乃至１０のいずれか１項に記載のブレ補正制御装置。
12. 前記判定手段は、前記被写体検出手段により検出された、前記第１の画像における主被写体の位置と、前記第２の画像における主被写体の位置との差が第１の所定値以上の場合に前記主被写体が変更されたと判定し、
    前記補正方向設定手段は、
    前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項１１に記載のブレ補正制御装置。
13. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの前記撮像装置の動き量が第２の所定値以上の場合に前記主被写体が変更されたと判定し、
    前記補正方向設定手段は、
    前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項１１に記載のブレ補正制御装置。
14. 前記判定手段は、前記第１のタイミングから前記第２のタイミングまでの前記主被写体の撮像画像における移動量と、前記第１のタイミングから前記第２のタイミングまでの前記撮像装置の動き量との差分が第３の所定値以上の場合に前記主被写体が変更されたと判定し、
    前記補正方向設定手段は、
    前記撮像装置の動き量が最も大きい方向と直交する方向を前記補正方向として設定することを特徴とする請求項１１に記載のブレ補正制御装置。
15. 前記判定手段は、
    撮影光学系の焦点距離の変化量、前記撮影光学系のピント位置の変化量、前記撮影光学系の露光量の変化量の少なくともいずかに基づいて主被写体の変更の有無を判定し、
    前記焦点距離の変化量、前記ピント位置の変化量、前記露光量の変化量のいずれかに基づいて前記主被写体が変更されたと判定された場合は、前記ブレ補正手段が補正可能な方向についてブレ補正を行うことを特徴とする請求項１２乃至１４のいずれか１項に記載のブレ補正制御装置。
16. 前記判定手段により、前記主被写体の変更が終了したと判定された後は、所定時間の経過後に前記第１のブレ補正量に基づくブレ補正に制御を変更することを特徴とする請求項１乃至１５のいずれか１項に記載のブレ補正制御装置。
17. 主被写体の変更に要した時間、撮影光学系の焦点距離、撮像装置の動き量、撮像装置の動きの速さの少なくともいずれかに応じて前記所定時間を設定する設定手段を備える設定手段を備えることを特徴とする請求項１６に記載のブレ補正制御装置。
18. 前記判定手段により、前記主被写体の変更が終了したと判定され、前記所定時間が経過するまでの移行期間中は、前記第１のブレ補正量と前記第２のブレ補正量とに基づいてブレ補正を行うことを特徴とする請求項１６又は１７に記載のブレ補正制御装置。
19. 前記第２の動き検出手段は、前記撮像装置の動きに起因する動きベクトルである背景ベクトルを取得する背景ベクトルの取得手段と、慣性センサとを含み、
    前記第２のブレ補正量取得手段は、前記背景ベクトルの取得手段により取得された前記背景ベクトルに基づいて前記第２のブレ補正量を取得し、
    前記判定手段は、前記慣性センサの出力に基づいて前記主被写体の変更の有無を判定することを特徴とする請求項１乃至１８のいずれか１項に記載のブレ補正制御装置。
20. 請求項１乃至１９のいずれか１項に記載のブレ補正制御装置と、
    撮像素子とを備え、
    前記被写体検出手段は、前記撮像素子により取得された撮像画像から主被写体を検出することを特徴とする撮像装置。

Images