JP2021096460A - 像ブレ補正装置及びその制御方法、プログラム - Google Patents

Abstract

【課題】ユーザの望む像ブレ補正効果が得られる像ブレ補正装置を提供する。【解決手段】入力画像に対して、特定の被写体を検出し、被写体情報を出力する被写体検出部と、撮影状況を推定するために必要なカメラ情報を取得するカメラ情報取得部と、被写体情報とカメラ情報とを用いて、画像内の着目対象を推定する推定部と、入力画像における背景の動きと被写体の動きを検出する動き検出部と、動き検出部により検出された背景の動きと被写体の動きを、それぞれ背景のブレを補正する第１のブレ補正量と被写体のブレを補正する第２のブレ補正量に変換する変換部と、推定部より推定された着目対象に基づいて、第１のブレ補正量と第２のブレ補正量を合成して、最終的なブレ補正量を生成する補正量算出部とを備える。【選択図】図１

Description

本発明は、撮像装置において、像ブレを補正する技術に関するものである。

デジタルカメラ等の撮像装置では、カメラ本体部を保持するユーザの「手振れ」によって、画像にブレが生じてしまう場合がある。また人物などの被写体が移動して被写体位置が変化する「被写体振れ」によって、画像にブレが生じてしまう場合もある。

「手振れ」を検出する方法としては、撮像装置に取り付けた角速度センサを用いる方法や、撮像画像内の静止物体（背景）の動きベクトルを用いる方法がある。一方、「被写体振れ」を検出する方法としては、撮像画像内で被写体を検出し、被写体の動きベクトルを用いる方法がある。

「手振れ」や「被写体振れ」に起因する像ブレを補正する方式には、光学式ブレ補正と電子式ブレ補正がある。光学式ブレ補正では、光学系内の補正レンズまたは撮像素子を振れに応じて動かし、撮像素子の受光面に結像される像を、振れを打ち消すように移動させることにより像ブレを補正する。電子式ブレ補正では、撮像画像に対する画像処理により疑似的にブレを補正する。

「手振れ」と「被写体振れ」では一般に振れ量（振れの向き及び大きさ）が異なるので、両者を完全に補正することはできない。そこで、例えば特許文献１には、被写体の顔が検出された場合に「被写体振れ」を補正し、被写体の顔が検出されない場合に「手振れ」を補正する技術が開示されている。

特開２００７−２０１５３４号公報

「手振れ」と「被写体振れ」のいずれを補正対象にすべきかは、撮影シーンにおけるユーザの意図（着目対象）によって異なると考えられる。例えば、ユーザが背景に着目している場合は、画面全体の振れである「手振れ」が補正されていることが望ましい。一方、ユーザが主被写体に着目している場合は、「被写体振れ」が補正されていることが望ましい。そのため、撮影シーンと共に変化するユーザの意図に合わせて、振れ補正対象を適切に制御する必要がある。

しかしながら、特許文献１に開示された技術では、ユーザの意図に関わらず、顔検出の有無で振れ補正対象を切り替えているため、シーンによってはユーザの意図に適した像ブレ補正効果が得られないという課題があった。さらに、特許文献１の技術を動画に適用した場合、顔検出の有無で振れ補正対象を二値的に切り替えるため、切り替え時に微小ではあっても映像の不自然なシフトが生じるという課題があった。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ユーザの望む像ブレ補正効果が得られる像ブレ補正装置を提供することである。

本発明に係わる像ブレ補正装置は、入力画像に対して、特定の被写体を検出し、被写体情報を出力する被写体検出手段と、撮影状況を推定するために必要なカメラ情報を取得するカメラ情報取得手段と、前記被写体情報と前記カメラ情報とを用いて、画像内の着目対象を推定する推定手段と、入力画像における背景の動きと被写体の動きを検出する動き検出手段と、前記動き検出手段により検出された背景の動きと被写体の動きを、それぞれ背景のブレを補正する第１のブレ補正量と被写体のブレを補正する第２のブレ補正量に変換する変換手段と、前記推定手段より推定された前記着目対象に基づいて、前記第１のブレ補正量と前記第２のブレ補正量を合成して、最終的なブレ補正量を生成する補正量算出手段と、を備えることを特徴とする。

本発明によれば、ユーザの望む像ブレ補正効果が得られる像ブレ補正装置を提供することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態で行われる処理を説明するフローチャート。 カメラ情報と着目対象の関係を示す図。 テンプレートマッチングを説明する図。 相関値マップを説明する図。 動き分離を説明する図。 第２の実施形態に係わる撮像装置の構成を示すブロック図。 第２の実施形態で行われる処理を説明するフローチャート。 相関値マップの表現方法を説明する図。 動きベクトルの信頼度を表わす相関値指標を説明する図。 動きベクトルの信頼度の算出方法を説明する図。 動き分離の分離度が低い例を説明する図。 動きの分離度の算出方法を説明する図。 第３の実施形態に係わる撮像装置の構成を示すブロック図。 第３の実施形態で行われる処理を説明するフローチャート。 像ブレ補正に関する表示アイテムを説明する図。 像ブレ補正に関する表示アイテムの表示方法を説明する図。 本発明の第４の実施形態に係わる撮像装置の構成を示すブロック図。 第４の実施形態で行われる処理を説明するフローチャート。 ハイパスフィルターの係数とゲインを求める動作を説明する図。 ハイパスフィルターの係数とゲインを再設定するための表を示す図。 ハイパスフィルターの係数とゲインを再設定するための表を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示す図である。

図１において、光学系１０１により形成された被写体像は、撮像素子１０２により画像信号に変換され、現像処理部１０３によりホワイトバランス処理、色（輝度・色差信号）変換処理、γ補正処理などの現像処理が実施され、画像データ（入力画像データ）として出力される。画像メモリ１０４は、現像処理部１０３で現像された画像データを１フレームの間又は複数のフレームの間、一時的に記憶保持する。

動きベクトル検出部１０５は、現像処理部１０３および画像メモリ１０４から入力される画像データから動きベクトルを検出する。動き分離部１０６は、動きベクトル検出部１０５により検出された動きベクトルを、背景の動きを表す第１の動きベクトルと、被写体の動きを表す第２の動きベクトルとに分離する。ブレ補正量変換部１０７は、動き分離部１０６より得られる第１の動きベクトルおよび第２の動きベクトルを、それぞれ第１のブレ補正量および第２のブレ補正量に変換する。

被写体検出部１０８は、現像処理部１０３から入力される画像データから特定の被写体を検出し、被写体情報を出力する。被写体情報とは、例えば被写体領域（被写体の位置および大きさ）、被写体の人物らしさ、被写体の動きなどである。

カメラ情報取得部１０９は、撮影状況を推定するために必要なカメラ情報を取得する。カメラ情報とは、例えば撮影モード、シャッタースピード、ＡＦエリア情報、焦点距離、ユーザ指示情報、慣性センサ情報、奥行き情報、視線情報などである。

着目対象推定部１１０は、被写体検出部１０８により得られる被写体情報、および、カメラ情報取得部１０９により得られるカメラ情報を用いて、画像内の着目対象を推定する。

ブレ補正量算出部１１１は、着目対象推定部１１０により得られる着目対象の情報に基づいて、ブレ補正量変換部１０７により得られる第１のブレ補正量および第２のブレ補正量を合成することで、最終的なブレ補正量を生成する。

生成されたブレ補正量は、光学式ブレ補正手段である光学系１０１内の補正レンズ及び／または撮像素子１０２を光軸に垂直な方向にシフトさせるシフト機構に出力され、光学式ブレ補正が行われる。なお、本発明は光学式ブレ補正に限定されるものではなく、ブレ補正量を不図示の電子式ブレ補正手段に出力して、電子式ブレ補正を行ってもよい。

次に、上記のように構成される撮像装置１００における像ブレ補正動作について、図２に示すフローチャートを用いて説明する。

ステップＳ２０１では、被写体検出部１０８は、現像処理部１０３から入力される画像データから特定の被写体を検出し、被写体情報を出力する。被写体情報としては、被写体領域情報（被写体の位置および大きさ）、被写体の人物らしさの情報、被写体の動き情報を用いる。特定の被写体としては、人物の顔が代表的である。検出方法は公知の顔検出方法を用いればよい。顔検出の公知技術としては、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法や、ニューラルネットワークに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。そして、検出精度の向上のために、これらを組み合わせて顔検出を行うのが一般的である。

なお、画像中に複数の人物の顔が存在する場合は、最も主要と考えられる顔を一つ選択して出力するものとする。選択方法としては、例えば顔のサイズが大きく、顔の位置が画像の中央に近く、顔検出の信頼度が高いものほど優先的に選択すればよい。また複数の候補からユーザに選択させるようにしてもよい。

以上の方法により、被写体情報として、被写体領域および被写体の人物らしさを得ることができる。また、被写体の動きは、例えば連続するフレーム画像間で、被写体領域の重心の変位量を求めることで得られる。

ステップＳ２０２では、カメラ情報取得部１０９は、撮影状況を推定するために必要なカメラ情報を取得する。カメラ情報としては、撮影モード情報、シャッタースピード情報、ＡＦエリア情報、焦点距離情報、ユーザ指示情報、慣性センサ情報、奥行き情報、視線情報を用いるものとする。

撮影モード情報、シャッタースピード情報、ＡＦエリア情報、焦点距離情報、ユーザ指示情報に関しては、ユーザがカメラに設定した値を読み取ることで取得できる。ユーザ指示情報は、後述する背景または被写体に対する着目度合いを示す情報で、ユーザがカメラで直接設定できるものである。

慣性センサ情報は、カメラに設置された角速度センサや加速度センサにより得られ、カメラの位置姿勢を表す情報である。奥行き情報は、例えば測距センサを用いるか、あるいは、撮像画像データから公知のＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて検出する。視線情報は、公知の角膜反射法などの手法により得られ、画像内の視線が位置する領域を示す情報である。

ステップＳ２０３では、着目対象推定部１１０は、ステップＳ２０１で検出した被写体情報およびステップＳ２０２で取得したカメラ情報に基づいて、撮影者が着目対象として背景と被写体のいずれに着目しているかを推定する。

被写体情報およびカメラ情報に基づいて、着目対象を推定する方法について説明する。ここでは、まずそれぞれの情報ごとに着目対象が背景である度合いを表す背景度合いと、着目対象が被写体である度合いを表す被写体度合いを算出する。ここでは、背景度合いと被写体度合いを合計して１になる数値として表現する。なお、背景度合いと被写体度合いのいずれか一方だけを算出するようにしてもよい。

まず、被写体情報に関して説明する。被写体の位置については、被写体が画面中央に近いほど被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．８）、背景度合いを低く（例えば０．２）する。

被写体の大きさについては、被写体が大きいほど、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．８）、背景度合いを低く（例えば０．２）する。

被写体の人物らしさについては、被写体がより人物らしいほど、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。

被写体の動きについては、被写体の動きが小さいほど、被写体を捉えようとカメラを構えていることが想定され、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．６）、背景度合いを低く（例えば０．４）する。

続いてカメラ情報に関して説明する。撮影モードについては、例えば、ポートレートモードの場合には人物（＝被写体）に着目して撮影している可能性が高いので、被写体度合を高く（例えば０．９）、背景度合いを低く（例えば０．１）する。一方、風景モードの場合には風景に着目して撮影している可能性が高いため、被写体度合いを低く（例えば０．１）、背景度合いを高く（例えば０．９）する。このように、撮影モードでは、モードによって可能性の高い撮影状況を想定することで、背景度合いおよび被写体度合いを決めることができる。

シャッタースピードについては、シャッタースピードが速いほど、高速に移動する被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．７）、背景度合いを低く（例えば０．３）する。

ＡＦエリア情報については、ＡＦエリアが広いほど、背景に着目して撮影している可能性が高いので、被写体度合いを低く（例えば０．３）、背景度合いを高く（例えば０．７）する。また顔認識ＡＦや瞳ＡＦが設定されている場合には、人物や動物などの被写体に着目して撮影している可能性が高いので、被写体度合を高く（例えば０．９）、背景度合いを低く（例えば０．１）する。

視線情報については、被写体情報と組み合わせて、例えば画像内の視線が位置する領域が被写体領域であれば、被写体に着目して撮影している可能性が高いので、被写体度合いを高く（例えば０．９）、背景度合いを低く（例えば０．１）する。

焦点距離と奥行き情報については、それぞれ単独では撮影者の意図を汲み取ることが難しい。そこで、両者を組み合わせて着目対象を推定する方法の一例について説明する。

焦点距離ｆ［ｍｍ］と、被写体までの距離（奥行き情報）ｄ［ｍｍ］が与えられている場合、撮像面上での被写体の大きさをＸ［ｍｍ］とすれば、実際の被写体の大きさＹ［ｍｍ］は、以下の式（１）で算出できる。

Ｙ＝（ｄ／ｆ）・Ｘ （１）
実際の被写体の大きさが分かれば、像面上での被写体の大きさや焦点距離との関係から、撮影者の意図を汲み取ることができる。例えば、実際の被写体の大きさは小さいが、像面上での被写体の大きさが大きく、焦点距離が長い場合は、被写体に非常に着目していることになる。そのため、実際の被写体の大きさが小さい、かつ、像面上での被写体の大きさが大きい、かつ、焦点距離が長いほど被写体度合いを高く、背景度合いを低くする。

このように、本実施形態では、複数のカメラ情報を組み合わせることにより、単独のカメラ情報からでは汲み取れない撮影者の意図を把握することができる。

慣性センサ情報についても、単独では撮影者の意図を汲み取ることが難しい。そこで、慣性センサ情報と被写体の動き情報を組み合わせて着目対象を推定する方法の一例について説明する。撮影者の着目対象が被写体である場合、被写体を画面の定位置に収めようとカメラを動かすため、被写体の動きはカメラの動きに比べて相対的に小さくなる。

よって、慣性センサ情報から得られるフレーム画像間のカメラの移動量に対して、被写体の移動量が小さくなるほど、被写体を捉えようとカメラを構えていることが想定される。そのため、被写体に着目して撮影している可能性が高いので、被写体度合いを高く、背景度合いを低くする。

この考え方は流し撮りにもそのまま適用することができる。流し撮りの場合、撮影者が移動する被写体を中央に留めようとカメラを大きく振るため、背景の動きは大きく、被写体の動きは小さくなる。よって、流し撮り時には、慣性センサ情報と被写体の動き情報に基づいて、自動的に被写体度合いが高くなる。

以上に説明した被写体情報およびカメラ情報と着目対象との関係について、一部を図３の表にまとめた。カッコ内の数値は、前述した背景度合い／被写体度合いの一例を示している。

着目対象の推定に利用できる情報が複数ある場合、情報ごとに得られる背景度合いおよび被写体度合いに対してそれぞれ重み付け加算を行い、最終的な背景度合いおよび被写体度合いを算出すればよい。重みは、例えば各情報源の確からしさに基づいて設定すればよい。

例えば情報源として、撮影モード、被写体の人物らしさ、被写体の大きさ、被写体の動き、シャッタースピードがあるとして、それぞれから得られる背景度合いをＤａ、Ｄｂ、Ｄｃ、Ｄｄ、Ｄｅ、重みをＧａ、Ｇｂ、Ｇｃ、Ｇｄ、Ｇｅとする。最終的な背景度合いＤは、以下の式（２）で計算することができる。

Ｄ＝Ｇａ×Ｄａ＋Ｇｂ×Ｄｂ＋Ｇｃ×Ｄｃ＋Ｇｄ×Ｄｄ＋Ｇｅ×Ｄｅ （２）
例えば、重みをＧａ＝０．３、Ｇｂ＝０．２、Ｇｃ＝０．２、Ｇｄ＝０．１、Ｇｅ＝０．２とする。ここで、重みは合計が１になるよう正規化した。いま、撮影モードが風景モード（Ｄａ＝０．９）、被写体の人物らしさが高い（Ｄｂ＝０．３）、被写体の大きさが小さい（Ｄｃ＝０．８）、被写体の動きが小さい（Ｄｄ＝０．４）、シャッタースピードが遅い（Ｄｅ＝０．７）とすれば、式（２）よりＤ＝０．６となる。最終的な被写体度合いについても同じように算出することができる。各情報源の確からしさが同一または不明の場合は、全ての重みを同じにすればよい。

なお、カメラ情報としてユーザ指示情報を用いる場合、例えば背景と被写体の着目度合いをユーザに指示させることで、推定することなく背景度合いと被写体度合いを決めることができる。着目度合いは直接数値で指示するようにしてもよいし、強弱などのように定性的に指示するようにしてもよい。被写体が複数存在する場合は、いずれかを選択できるようにしてもよい。また水平方向と垂直方向で独立して背景度合いおよび被写体度合いを設定してもよい。

ステップＳ２０４では、動きベクトル検出部１０５は、現像処理部１０３および画像メモリ１０４から入力される画像に対して、テンプレートマッチングにより動きベクトルを検出する。

図４は、テンプレートマッチングの概要を示した図である。図４（ａ）は２つのベクトル検出画像のうちの一方である基準画像を示し、図４（ｂ）は他方である参照画像を示している。ここでは、基準画像として画像メモリ１０４に保持されているフレーム画像、参照画像として現像処理部１０３から直接入力される画像データを用いることにより、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出する。なお、基準画像と参照画像は逆に入れ替えてもよく、その場合は現在のフレーム画像から過去のフレーム画像への動きベクトルを算出することを意味する。

動きベクトル検出部１０５は、基準画像にテンプレート領域３０１、参照画像にサーチ領域３０２を配置し、テンプレート領域３０１とサーチ領域３０２との相関値を算出する。

ここで、テンプレート領域３０１の配置は任意であり、画面内に定められた複数の固定的な座標を中心に配置してもよいし、公知の手法により検出される特徴点の座標を中心に配置してもよい。またステップＳ２０１で得られる被写体情報を用いて、被写体領域とそれ以外の領域とで配置されるテンプレート領域の数が均等になるよう、配置する座標を定めてもよい。サーチ領域については、テンプレート領域を上下左右均等に包含するように所定の大きさで配置すればよい。

本実施形態では、相関値の算出方法として、差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略す）を使用する。ＳＡＤの計算式を式（３）に示す。

式（３）において、ｆ（ｉ，ｊ）はテンプレート領域３０１内の座標（ｉ，ｊ）での輝度値を示している。また、ｇ（ｉ，ｊ）はサーチ領域３０２内において相関値の算出対象となる領域（以下、相関値算出領域という）３０３内の各座標での輝度値を示す。ＳＡＤでは、両領域３０２，３０３内の輝度値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差の絶対値を計算し、その総和を求めることにより相関値Ｓ＿ＳＡＤを得る。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域３０１と相関値算出領域３０３のテクスチャの類似度が高いことを表す。

なお、相関値の算出にＳＡＤ以外の方法を用いてもよく、例えば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）を用いてもよい。

動きベクトル検出部１０５は、サーチ領域３０２の全域において相関値算出領域３０３を移動させて相関値を算出する。これにより、サーチ領域３０２に対して図５に示すような相関値マップを作成する。

図５（ａ）はサーチ領域３０２の座標系で算出した相関値マップを示しており、Ｘ軸とＹ軸は相関値マップ座標、Ｚ軸は各座標での相関値の大きさを表している。また図５（ｂ）は、図５（ａ）の等高線を示した図である。

図５（ａ）および図５（ｂ）において、相関値が最も小さいのは極小値４０１であり、サーチ領域３０２内で極小値４０１が算出された領域にはテンプレート領域３０１と非常に類似したテクスチャが存在していると判定できる。４０２は二番目の極小値、４０３は三番目の極小値を表わしており、これらは極小値４０１に次いで類似したテクスチャが存在していることを意味する。

このように、動きベクトル検出部１０５は、テンプレート領域３０１とサーチ領域３０２との間で相関値を算出し、その値が最も小さくなる相関値算出領域３０３の位置を判定する。これにより、基準画像上のテンプレート領域３０１の参照画像上での移動先を特定することができる。そして、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量を方向および大きさとした動きベクトルを検出することができる。

ステップＳ２０５では、動き分離部１０６は、ステップＳ２０４で検出された動きベクトルを、背景の動きを表す第１の動きベクトル（以下、背景ベクトルと呼ぶ）と、被写体の動きを表す第２の動きベクトル（以下、被写体ベクトルと呼ぶ）とに分離する。

分離方法の一例について説明する。最初にステップＳ２０１で得られる被写体情報を用いて、被写体領域の外側に属する点で検出された動きベクトルを背景ベクトル、被写体領域の内側に属する点で検出された動きベクトルを被写体ベクトルとして第１の分離処理を行う。

なお、被写体が検出されない場合には、例えばステップＳ２０２で得られる奥行き情報に基づく分離が考えられる。その場合は、例えば画像内の所定の奥行きよりも遠い領域に属する点で検出された動きベクトルを背景ベクトル、所定の奥行きよりも近い領域に属する点で検出された動きベクトルを被写体領域として第１の分離処理を行えばよい。被写体が検出されず、かつ、画面内に奥行き差もない場合は、全て背景ベクトルとして分離処理を終了する。

第１の分離処理のみで分離処理を終えてもよいが、このような「被写体領域に基づく分離」では、背景と被写体の境界付近の点で検出された動きベクトルの分類を誤ってしまう場合がある。また、被写体検出の精度の問題で被写体領域が誤っている場合にも、動きベクトルの分類を誤ってしまう場合がある。そのため、さらに第２の分離処理として「動きベクトルの量に基づく分離」を行うことが好ましい。ここでは、例えば公知のｋ−ｍｅａｎｓ法を用いることができる。

ｋ−ｍｅａｎｓ法では、分類するクラスタの数ｋと、各クラスタの重心の初期値Ｖｋを事前に定める必要がある。クラスタの数については、今回の場合は背景クラスタと被写体クラスタに分離するため、ｋ＝２とする。被写体が複数存在する場合には、被写体の数に応じてクラスタ数を変更してもよい。また背景にも被写体にも属さない動きベクトル群を分離するためのクラスタを設けてもよい。

各クラスタの重心の初期値については、第１の分離処理の結果を利用する。具体的には、第１の分離処理で得られた背景ベクトルについて、Ｘ方向の移動量とＹ方向の移動量でそれぞれヒストグラムを生成し、各ヒストグラムの最頻値Ｖ１ｘ，Ｖ１ｙを求める。この最頻値は背景ベクトルの代表値であるので、これを背景クラスタの重心の初期値Ｖ１＝（Ｖ１ｘ，Ｖ１ｙ）とする。同様の方法で、第１の分離処理で得られた被写体ベクトルの代表値Ｖ２ｘ，Ｖ２ｙを求め、被写体クラスタの重心の初期値Ｖ２＝（Ｖ２ｘ，Ｖ２ｙ）とする。

なお、背景クラスタの初期値に関しては、背景ベクトルではなく、ステップＳ２０２で得られる慣性センサ情報を用いてもよい。その場合、角速度センサから得られるヨー方向およびピッチ方向の角速度をそれぞれ積分して角度θｙ、θｐに変換し、それを撮像面上での変位量に換算する。焦点距離をｆとすれば、Ｖ１ｘ＝ｆｔａｎ（θｙ）、Ｖ１ｙ＝ｆｔａｎ（θｐ）と計算される。

また被写体クラスタの初期値に関しては、被写体ベクトルではなく、ステップＳ２０１で得られる被写体領域のフレーム間での重心の変位量を用いてもよい。この場合、フレーム間で同一の被写体を検出できていることが前提となる。

以上のように、クラスタの数および各クラスタの重心の初期値が定まるので、次に各動きベクトルデータと各クラスタの重心との距離を算出する。そして、各動きベクトルデータを、距離が最も近いクラスタに属するものとして、クラスタの割り当てをし直す。

上記の処理において全てのベクトルデータに対するクラスタの割り当てが変化しなかった場合、あるいは変化量が事前に設定した一定の閾値を下回った場合に、処理が収束したと判定して、第２の分離処理を終了する。それ以外の場合は、新しく割り当てられたクラスタから重心を再計算した後に、各動きベクトルデータと各クラスタの重心との距離を算出して、クラスタの割り当てをし直すという前述した処理を繰り返す。

上記のように動きベクトルを分離した結果の一例を図６に示す。

図６（ａ）は、動きベクトルのＸ方向変位量を横軸に、Ｙ方向変位量を縦軸にプロットした図である。□は背景クラスタの重心の初期値、☆は被写体クラスタの重心の初期値を表しており、背景ベクトルとして分離されたものを○、被写体ベクトルとして分離されたものを△で表示している。

また、図６（ｂ）は、図６（ａ）の背景ベクトルと被写体ベクトルの各始点位置（特徴点位置）を画像上にプロットしたものである。図６（ｂ）から、背景と主被写体が正しく分離できることが分かる。

ステップＳ２０６では、ブレ補正量変換部１０７は、ステップＳ２０５で得られた背景ベクトルおよび被写体ベクトルを、それぞれ第１のブレ補正量（以下、手振れ補正量と呼ぶ）および第２のブレ補正量（以下、被写体振れ補正量と呼ぶ）に変換する。

動きベクトルをブレ補正量に変換する方法としては、例えば前述のようにヒストグラムを用いる方法がある。動きベクトルについてＸ方向の移動量とＹ方向の移動量でそれぞれヒストグラムを生成し、各ヒストグラムの最頻値を算出する。この最頻値はフレーム間で生じているブレの代表値であるので、この最頻値の逆符号を取ることで、ブレを打ち消すブレ補正量を得ることができる。

また、他の変換方法としては、動きベクトルにより得られるフレーム間の特徴点の対応関係を利用する方法がある。フレーム間の特徴点の対応関係から、射影変換行列（またはアフィン変換行列）を公知の方法で算出する。算出された射影変換行列はフレーム間で生じているブレを表すので、この行列の逆行列を計算することで、ブレを打ち消すブレ補正量を得ることができる。

ヒストグラムを用いる方法の場合、補正できるのはブレの並進成分のみであるが、動きベクトルの数が少ない場合でも比較的安定して補正量を得られる特性がある。一方、特徴点の対応関係を用いる方法の場合、ブレの並進成分に加えて回転成分やあおり成分を補正することが可能であるが、動きベクトルの数が少ない場合には補正量が正しく求められないという特性がある。そのため、動きベクトルの数に応じていずれの方法を用いるかを変更してもよい。

ここでは第１のブレ補正量を得るために背景ベクトルを利用したが、角速度センサを有する場合は必ずしも背景ベクトルを利用する必要はない。背景クラスタの初期値の算出方法のところで説明したように、角速度センサから得られる角速度情報を撮像面上での変位量に換算して用いてもよい。

ステップＳ２０７では、ブレ補正量算出部１１１は、ステップＳ２０３で得られる着目対象に基づいて、ステップＳ２０６で得られる手振れ補正量および被写体振れ補正量を合成することにより、最終的なブレ補正量を生成する。

手振れ補正量および被写体振れ補正量の合成方法の一例について説明する。背景度合いをＡ、被写体度合いを１−Ａと表す。ステップＳ２０６で算出された手振れ補正量および被写体振れ補正量をそれぞれＨ０，Ｈ１とすれば、最終的な合成後のブレ補正量Ｈは以下の式で求められる。

Ｈ＝（Ａ×Ｈ０）＋｛（１−Ａ）×Ｈ１｝ （４）
式（４）により、撮影者が１００％背景に着目している場合、Ａ＝１となるので、Ｈ＝Ｈ０となり、手振れが１００％補正される。反対に、撮影者が１００％被写体に着目している場合、Ａ＝０となるので、Ｈ＝Ｈ１となり、被写体振れが１００％補正される。そして、撮影者が背景と被写体に５０％ずつ着目している場合、Ａ＝０．５となるので、手振れが５０％、被写体振れが５０％補正されることになる。このように、背景度合いおよび被写体度合いに応じて、手振れと被写体振れの補正比率が制御される。なお、背景度合いおよび被写体度合いと同様に、手振れと被写体振れの補正比率は水平方向と垂直方向で独立させても構わない。

最後のステップＳ２０８では、撮像装置１００は、最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了している場合は処理を終了し、完了していない場合はステップＳ２０１に戻る。

以上説明したように、本実施形態では、撮影者の着目対象に応じて、手振れと被写体振れの補正比率を制御することにより、撮影者が望むブレ補正効果を得ることができる。

なお、本実施形態で説明した技術は、動画および静止画のいずれに対しても適用することができる。動画の場合はシーンに応じて手振れ補正と被写体振れ補正を連続的に切り替えることができ、切り替えによる微小な画像シフトなどの違和感を抑制することができる。静止画の場合は、手振れと被写体振れがそれぞれ程よいバランスで抑制された画像を生成することができる。また前述したように、流し撮りという特殊な静止画撮影に対しても適用することができる。

（第２の実施形態）
図７は、本発明の第２の実施形態に係わる撮像装置６００の構成を示す図である。図７において、図１に示した構成要素と共通する部分については、図１と同符号を付して説明を省略する。本実施形態の撮像装置は、図１に示した構成に加えて、信頼度算出部６０１と分離度算出部６０２を有する。本実施形態では、第１の実施形態と異なる処理を行う部分についてのみ説明する。

第１の実施形態では、背景と主被写体に対する着目度合いに応じてブレ補正量を算出した。ただし、撮影シーンによっては着目度合いが高い場合であっても、動き検出や動き分離が困難な場合がある。例えば、コントラストが低い空などや、フレーム間での形状変化の激しい軟体や流体などは動き検出が困難である。また同一被写体内で動き量が異なったり、奥行き差があったりすると、背景と主被写体とでの動き分離が困難である。このような場合に、単純に着目度合いだけでブレ補正量を算出すると、ブレ補正が正しく行われず、不安定になることが考えられる。

そこで、本実施形態では、「背景と主被写体の着目度合い」に加えて、「動き検出の信頼度」および「動きの分離度」を加味することにより、より安定的にブレ補正を行う方法について説明する。

本実施形態が第１の実施形態と異なる点は、動き分離部１０６ａにおいて信頼度算出部６０１の出力結果を用いる点と、ブレ補正量算出部１１１ａにおいて信頼度算出部６０１および分離度算出部６０２の出力結果を用いる点である。

信頼度算出部６０１は、動きベクトル検出部１０５から入力される動きベクトルに対して信頼度を算出する。分離度算出部６０２は、動き分離部１０６ａから入力される背景ベクトルおよび被写体ベクトルの分離度を算出する。

図８は、第２の実施形態における像ブレ補正動作を示すフローチャートである。図８において、図２に示したステップと共通するステップについては、図２と同符号を付し説明を省略する。

ステップＳ７０１では、信頼度算出部６０１は、ステップＳ２０４で得られた動きベクトルの信頼度を算出する。

動きベクトルの信頼度の算出には、二次元の相関値マップを用いる。図５（ｂ）の２次元の相関値マップにおいて、相関値を矢印４０４で示すようにラスター順に並べ、１次元で表わしたものを図９に示す。図９の縦軸は相関値、横軸は相関値マップのＸ座標とＹ座標により一意に定まる画素アドレスである。以降、動きベクトルの信頼度を算出するために、この図９の表現を用いることとする。なお、点８０１は図５の極小値に対応する位置を示している。

図１０は、動きベクトルの信頼度を表わす相関値の指標の一例を示す図である。図１０の横軸は画素のアドレス、縦軸は相関値を示している。

図１０（ａ）では、指標として相関値の最小値と最大値の差分Ｄａを用いる。Ｄａは相関値マップのレンジを表わしており、Ｄａが小さい場合、テクスチャのコントラストが低いことが考えられ、信頼度が低いことを示す。

図１０（ｂ）では、指標として相関値の最小値と最大値の差分Ａと、最小値と平均値の差分Ｂとの比率Ｄｂ（＝Ｂ／Ａ）を用いる。Ｄｂは相関値ピークの急峻性を表わしており、Ｄｂが小さい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを示す。

図１０（ｃ）では、指標として相関値の極小値と二番目の極小値の差分Ｄｃを用いる。ここで点９０１，９０２，９０３は、それぞれ図５の相関値４０１，４０２，４０３と対応している。よって、図１０（ｃ）は、図５（ｂ）の等高線において、相関値の最小と類似した極小値が存在しないかを確認することを意味している。

Ｄｃは相関値マップの周期性を表わし、Ｄｃが小さい場合、テクスチャが繰り返しパターンやエッジなどであることが考えられ、信頼度が低いことを示す。なお、ここでは極小値と二番目の極小値を選択したが、相関値マップの周期性を判定できればよいため、その他の極小値を選択してもよい。

図１０（ｄ）では、指標として相関値の最小値Ｄｄを用いる。Ｄｄが大きい場合、テンプレート領域とサーチ領域の類似度が低いと考えられ、信頼度が低いことを表わす。Ｄｄと信頼度は反比例の関係にあるため、Ｄｄの逆数（１／Ｄｄ）を指標とする。

上記で説明した相関値の指標はそのまま信頼度として用いることができるが、例えば図１１のように、相関値指標と信頼度の対応付けを行ってもよい。図１１の横軸は相関値指標（上述のＤａ，Ｄｂ，Ｄｃ，１／Ｄｄのいずれか）を示し、縦軸は信頼度を示す。この例では、二つの閾値Ｔ１，Ｔ２を設けており、閾値Ｔ１以下なら信頼度を０、閾値Ｔ２以上なら信頼度を１としている。閾値は相関値指標ごとに変更してもよい。また閾値Ｔ１と閾値Ｔ２の間の区間は、相関値指標と信頼度とを線形に対応付けてもよいし、非線形に対応付けてもよい。以降の説明では、各相関値指標から得られる信頼度をＲａ，Ｒｂ，Ｒｃ，Ｒｄと表現する。ここで、Ｒａ＝ｆ（Ｄａ），Ｒｂ＝ｆ（Ｄｂ），Ｒｃ＝ｆ（Ｄｃ），Ｒｄ＝ｆ（Ｄｄ）の関係にある。

最終的な動きベクトルの信頼度Ｒは、これらＲａ，Ｒｂ，Ｒｃ，Ｒｄを組み合わせて算出すればよい。ここでは、重み付け加算と論理演算による組み合わせ方法について説明する。

重み付け加算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重みをそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄとすれば、信頼度Ｒは式（５）のように計算される。

Ｒ＝Ｗａ×Ｒａ＋Ｗｂ×Ｒｂ＋Ｗｃ×Ｒｃ＋Ｗｄ×Ｒｄ （５）
例えば重みをＷａ＝０．４，Ｗｂ＝０．３，Ｗｃ＝０．２，Ｗｄ＝０．１とする。全ての信頼度が十分に高く、Ｒａ＝Ｒｂ＝Ｒｃ＝Ｒｄ＝１の場合には、式（５）よりＲ＝１．０となる。またＲａ＝０．６，Ｒｂ＝０．５，Ｒｃ＝０．７，Ｒｄ＝０．７のような場合には、式（５）よりＲ＝０．６となる。

論理演算による組み合わせでは、Ｒａ，Ｒｂ，Ｒｃ，Ｒｄに対する閾値をそれぞれＴａ，Ｔｂ，Ｔｃ，Ｔｄとすれば、信頼度Ｒは例えば論理積を用いて式（６）のように計算される。

Ｒ＝（Ｒａ≧Ｔａ）∧（Ｒｂ≧Ｔｂ）∧（Ｒｃ≧Ｔｃ）∧（Ｒｄ≧Ｔｄ） （６）
ここで、∧ は論理積を表す記号である。Ｒａ≧Ｔａ，Ｒｂ≧Ｔｂ，Ｒｃ≧Ｔｃ，Ｒｄ≧Ｔｄが全て成立する場合にＲ＝１（高信頼）、それ以外の場合にＲ＝０（低信頼）となる。

また、論理和を用いて式（７）のように計算してもよい。

Ｒ＝（Ｒａ＜Ｔａ）↓（Ｒｂ＜Ｔｂ）↓（Ｒｃ＜Ｔｃ）↓（Ｒｄ＜Ｔｄ） （７）
ここで、↓は否定論理和を表す記号である。Ｒａ＜Ｔａ、Ｒｂ＜Ｔｂ，Ｒｃ＜Ｔｃ，Ｒｄ＜Ｔｄの全てが成立しない場合にＲ＝１（高信頼）、それ以外の場合にＲ＝０（低信頼）となる。

ステップＳ７０２では、動き分離部１０６ａは、ステップＳ７０１で算出された信頼度を用いて、ステップＳ２０４で検出された動きベクトルを、背景ベクトルと被写体ベクトルとに分離する。

ステップＳ２０５との違いは、最初に全ての動きベクトルのうち、信頼度が所定の閾値よりも低いものを除去する点である。信頼度が低い動きベクトルは誤検出の可能性が高く、動きの分離を誤る可能性を高めるので、用いないようにする。信頼度の低い動きベクトルを除去した以降は、ステップＳ２０５と全く同様に動きの分離処理を行う。

ステップＳ７０３では、分離度算出部６０２は、ステップＳ７０２で分離された背景ベクトルおよび被写体ベクトルを用いて、両ベクトル間の分離度合いを表す分離度Ｕを算出する。前述した図６は、分離度が高い状態の例を示している。一方、図１２は分離度が低い状態の例を示している。

分離度の算出方法の一例としては、例えば被写体ベクトルの始点（＝特徴点）座標の分散Ｓを利用することができる。分離された被写体ベクトルがある特定の動きのある被写体を捉えている場合、分散Ｓは時間変化に対して一定になる特性が知られている。そのため、例えば図１３のように、分散Ｓのフレーム間の変位量δＳが大きいほど分離度Ｕが低くなるように算出すればよい。

図１３の横軸は分散Ｓのフレーム間の変位量δＳを示し、縦軸は分離度Ｕを示す。この例では、二つの閾値Ｔ１，Ｔ２を設けている。δＳが閾値Ｔ１以下で小さい場合、前述の通り、背景に対してある特定の被写体の動きを分離できていると考え、分離度Ｕを１にしている。反対に、δＳが閾値Ｔ２以上で大きい場合、背景に対してある特定の被写体の動きを分離できていないと考え、分離度Ｕを０にしている。閾値Ｔ１とＴ２の間の区間は、δＳと分離度Ｕを線形に対応付けてもよいし、非線形に対応付けてもよい。

ステップＳ７０４では、ブレ補正量算出部１１１ａは、ステップＳ２０３で得られる着目対象、ステップＳ７０１で得られる動きベクトル検出の信頼度、および、ステップＳ７０３で得られる動きの分離度に基づいて、ステップＳ２０６で得られる手振れ補正量および被写体振れ補正量を合成することにより、最終的なブレ補正量を生成する。

ステップＳ２０７との違いは、ブレ補正量の合成比率として、動き検出の信頼度および動きの分離度を反映させる点である。背景ベクトルと被写体ベクトルの信頼度の合計値をそれぞれＲＡとＲＢ、分離度をＵと表す。反映方法の一例としては、例えば以下の式（８）のようにブレ補正量を算出する方法が考えられる。
Ｈ＝Ａ・ＲＡ・（１−Ｕ）・Ｈ０／｛Ａ・ＲＡ・（１−Ｕ）＋（１−Ａ）・ＲＢ・Ｕ｝
＋（１−Ａ）・ＲＢ・Ｕ・Ｈ１／｛Ａ・ＲＡ・（１−Ｕ）＋（１−Ａ）・ＲＢ・Ｕ｝
（８）
式（８）により、背景ベクトルの信頼度ＲＡが、被写体ベクトルの信頼度ＲＢよりも高いほど、背景ブレ補正の比率が高くなる。また、分離度Ｕが高いほど、被写体振れ補正の比率が高くなる。

以上説明したように、本実施形態では、「背景と主被写体の着目度合い」に加えて、「動きベクトル検出の信頼度」および「動きの分離度」を加味することにより、第１の実施形態よりもさらに安定的にブレ補正を行うことができるという効果が得られる。

（第３の実施形態）
図１４は、本発明の第３の実施形態に係わる撮像装置１３００の構成を示す図である。図１４において、図１に示した構成要素と共通する部分については、図１と同符号を付して説明を省略する。本実施形態の撮像装置は、図１に示した構成に加えて、ブレ補正効果判定部１３０１と表示部１３０２を有する。本実施形態では、第１の実施形態と異なる処理を行う部分についてのみ説明する。

第１の実施形態では、撮影者の着目対象に応じて手振れと被写体振れの補正比率を制御した。ただし、手振れと被写体振れのブレ量が概ね等しいような場合、撮影者はどちらのブレ補正の効果が効いているのか知ることができない。近年のカメラでは、手振れ補正機能は標準的に搭載されているが、被写体振れ補正機能はまだ搭載されていないものも多い。そのため、手振れ補正には馴染みがあるが、被写体振れ補正には馴染みがない撮影者が多く存在する。そのような撮影者に対して、被写体振れ補正が効いている状況を的確に伝えることは非常に重要である。

そこで、本実施形態では、被写体振れ補正の効果が顕著に表れる状況を判定し、その状況を撮影者に通知する方法について説明する。

本実施形態が第１の実施形態と異なる点は、ブレ補正効果判定部１３０１が、着目対象推定部１１０およびブレ補正量変換部１０７の出力を用いて被写体振れ補正の効果を判定し、表示部１３０２がその判定結果を撮影者に通知する点である。

ブレ補正効果判定部１３０１は、着目対象推定部１１０により得られる着目対象の情報と、ブレ補正量変換部１０７から得られる手振れ補正量および被写体振れ補正量に基づいて、被写体振れ補正の効果を判定する。表示部１３０２は、現像処理部１０３から得られる画像データとともに、ブレ補正効果判定部１３０１から入力されるブレ補正効果の判定結果を表示する。

図１５は、第３の実施形態の処理動作を示すフローチャートである。図１５において、図２に示したステップと共通するステップについては、図２と同符号を付し説明を省略する。

ステップＳ１４０１では、ブレ補正効果判定部１３０１は、ステップＳ２０３で得られる着目対象、及び／または、ステップＳ２０６で得られる手振れ補正量および被写体振れ補正量を用いて、被写体振れ補正の効果を判定する。

被写体振れ補正の効果の判定方法としては、例えば、着目対象が被写体である度合いを示す被写体度合いが高いほど、また、手振れ補正量と被写体振れ補正量との差の絶対値が大きいほど、被写体振れ補正の効果が高いと判定する。なお、被写体度合いや差の絶対値と、補正の効果の高さ度合いとは線形関係になくてもよい。被写体度合いが所定値以上の場合は所定値未満の場合よりも被写体振れ補正の効果が高いと判定したり、手振れ補正量と被写体振れ補正量との差の絶対値が所定値以上の場合は被写体振れ補正の効果が高いと判定したりしてもよい。

また被写体振れ補正の効果を判定するための情報として、被写体情報の信頼度、被写体ベクトルの信頼度、背景ベクトルと被写体ベクトルの分離度、ブレ補正量の上限を加味してもよい。

被写体情報の信頼度は、被写体検出部１０８から得られる被写体情報の信頼度である。特定の被写体が人物の顔である場合、顔検出の信頼度を用いればよい。被写体情報の信頼度が低い場合、被写体振れ補正が正しく動作しない可能性がある。そのため、被写体情報の信頼度が高い方が、低い場合よりも被写体振れ補正の効果が高いと判定する。

被写体ベクトルの信頼度は、第２の実施形態で説明した通り、信頼度算出部６０１から得ることができる。被写体ベクトルの信頼度が低い場合、被写体振れ補正が正しく動作しない可能性がある。そのため、被写体ベクトルの信頼度が高い方が、低い場合よりも被写体振れ補正の効果が高いと判定する。

背景ベクトルと被写体ベクトルの分離度は、第２の実施形態で説明した通り、分離度算出部６０２から得ることができる。背景ベクトルと被写体ベクトルの分離度が低い場合、被写体振れ補正が正しく動作しない可能性がある。そのため、背景ベクトルと被写体ベクトルの分離度が高い方が、低い場合よりも被写体振れ補正の効果が高いと判定する。

ブレ補正量の上限は、先述の光学式ブレ補正手段または電子式ブレ補正手段で補正可能なブレ量の上限である。光学式ブレ補正手段の場合は、光学系内の補正レンズまたは撮像素子の可動できる範囲によって上限が決まる。電子式ブレ補正の場合は、画像の出力領域に対して周辺に設けられる余剰画素領域の大きさによって上限が決まる。被写体振れ補正量がブレ補正量の上限を超えている場合、被写体振れ補正が正しく動作しない可能性がある。そのため、ブレ補正量の上限から被写体振れ補正量を差し引いた値が大きい方が、小さい場合よりも被写体振れ補正の効果が高いと判定する。

上記に示した複数の情報に基づいて、被写体振れ補正の効果を判定する。複数の情報から判定する方法は、先述の式（２）により着目対象を推定する方法と同様であるので説明を省略する。最終的に被写体振れ補正の効果を示す値が、所定の閾値よりも大きい場合に、被写体振れ補正の効果があると判定し、所定の閾値以下の場合に、被写体振れ補正の効果がないと判定すればよい。その際、判定結果が頻繁に切り替わることを防ぐため、所定の閾値よりも大きいまたは小さい状態が、所定の時間以上継続した場合に、判定結果を切り替えることが好ましい。

次にステップＳ１４０２では、表示部１３０２は、現像処理部１０３から得られる画像データとともに、ステップＳ１４０１で得られるブレ補正効果の判定結果を表示する。表示するものはテキストやアイコンなどの表示アイテムであり、特に限定はない。

図１６にブレ補正効果の判定結果に対応する表示アイテムの一例を示す。図１６（ａ）は手振れ補正が効いていることを示すアイコン（以下、手振れ補正アイコンと呼ぶ）を示し、図１６（ｂ）は被写体振れ補正が効いていることを示すアイコン（以下、被写体振れ補正アイコンと呼ぶ）を示す。

例えば、ステップＳ１４０１で被写体振れ補正の効果がないと判定された場合、表示部１４０２は、画面内の特定箇所に図１６（ａ）の手振れ補正アイコンを表示する。一方、ステップＳ１４０２で被写体振れ補正の効果があると判定された場合、表示部１４０２は、画面内の特定箇所に図１６（ｂ）の被写体振れ補正アイコンを表示する。このように表示アイテムを切り替えることで、撮影者は手振れ補正が効いている状況と、被写体振れ補正が効いている状況を的確に識別することができる。

以下では表示アイテムの表示方法について説明する。手振れ補正に関しては、背景全体のブレを補正するものであるため、手振れ補正アイコンは画面内の固定位置に表示されることが一般的である。しかしながら、被写体振れ補正は特定の被写体のブレを補正するものであり、画面内の被写体は１つとは限らない。そのため、被写体振れ補正アイコンは、通常の手振れ補正アイコンとは異なる表示方法が求められる。

図１７に被写体振れ補正アイコンの表示方法の一例を示す。図１７では、画面内に三人の人物（１６０１，１６０２，１６０３）が被写体として存在している。いま被写体振れ補正の対象（ブレ補正対象）が、画面中央の人物１６０２である場合を考える。

図１７（ａ）では、被写体振れ補正アイコン１６０４を、被写体振れ補正の対象の人物１６０２の近傍に表示している。このように被写体振れ補正アイコンの表示位置を動的に変更することで、人物１６０２の被写体振れが補正されていることを撮影者に伝えることができる。

図１７（ｂ）では、被写体振れ補正アイコン１６０４は画面左上の固定位置に表示されている。人物１６０２の検出枠１６０５を被写体振れ補正の対象の人物１６０２に表示している。このように被写体振れ補正アイコンと被写体の検出枠を組み合わせることで、人物１６０２の被写体振れが補正されていることを撮影者に伝えることができる。なお、被写体の検出枠は、被写体の顔などの一部のパーツを囲むものでもよいし、被写体全体を囲むものでもよい。

図１７（ｃ）では、人物１６０１の検出枠を１６０６、人物１６０２の検出枠を１６０７、人物１６０３の検出枠を１６０８で示している。このとき、被写体振れ補正の対象の人物１６０２の検出枠１６０７のみ、他の検出枠１６０６、１６０８とは異なるデザインで表示している。今回の例では、検出枠１６０７を二重線にすることで他の検出枠と区別している。その他に、検出枠１６０７のみ他の検出枠と色や形、大きさを変更することで区別してもよい。このように被写体検出枠のデザインを変更することで、人物１６０２の被写体振れが補正されていることを撮影者に伝えることができる。

以上説明したように、本実施形態では、第１の実施形態に対してさらに被写体振れ補正の効果が顕著に表れる状況を撮影者に的確に通知できるという効果が得られる。

（第４の実施形態）
本実施形態では、補正ストロークの有効活用とブレ補正性能の両立を改良した形態について説明する。

図１８は、本発明の第４の実施形態に係わる撮像装置の構成を示す図である。図１に示した第１の実施形態に係る撮像装置と共通する構成については説明を省略する。

図１８において、慣性センサ１１２は、撮像装置１００の振れを検出するセンサであり、角速度センサなどが用いられる。出力処理部１１３は、慣性センサ（以下、角速度センサと呼ぶ）１１２の出力信号を第３のブレ補正量に変換する。ブレ補正量算出部１１１は、着目対象推定部１１０により得られる着目対象の情報に基づいて、ブレ補正量変換部１０７により得られる第１、第２のブレ補正量、および出力処理部１１３により得られる第３のブレ補正量を用いて、光学式ブレ補正量と電子式ブレ補正量を生成する。生成された光学式ブレ補正量は、光学式ブレ補正手段である光学系１０１内の補正レンズ及び／または撮像素子１０２を光軸に垂直な方向にシフトさせるシフト機構に出力され、光学式ブレ補正が行われる。また生成された電子式ブレ補正量は、電子式ブレ補正部１１４に出力され、被写体の位置を所定位置付近に制御する電子式ブレ補正が行われる。

次に、上記のように構成される撮像装置１００における像ブレ補正動作について、図１９に示すフローチャートを用いて説明する。ステップＳ２０１〜Ｓ２０５、および、ステップＳ２０８については第１の実施形態と同様であるため、これらのステップについては流れについてのみ説明する。

ステップＳ２０１では、被写体検出部１０８は、現像処理部１０３から入力される画像データから特定の被写体を検出し、被写体情報を出力する。

ステップＳ２０２では、カメラ情報取得部１０９は、撮影状況を推定するために必要なカメラ情報を取得する。

ステップＳ２０３では、着目対象推定部１１０は、ステップＳ２０１で検出した被写体情報およびステップＳ２０２で取得したカメラ情報に基づいて、撮影者が着目対象として背景と被写体のいずれに着目しているかを推定する。

ステップＳ２０４では、動きベクトル検出部１０５は、現像処理部１０３および画像メモリ１０４から入力される画像に対して、テンプレートマッチングにより動きベクトルを検出する。

ステップＳ２０５では、動き分離部１０６は、ステップＳ２０４で検出された動きベクトルを、背景ベクトルと、被写体ベクトルとに分離する。

ステップＳ１９０６では、ブレ補正量変換部１０７は、図２のステップＳ２０６と同様に背景ベクトルを第１のブレ補正量（以下、手振れ補正量と呼ぶ）へ、被写体ベクトルを第２のブレ補正量（以下、被写体振れ補正量と呼ぶ）へ変換する。また同時に、出力処理部１１３は、角速度センサ１１２の出力信号を第３のブレ補正量へ変換する。なお、出力処理部１１３では、角速度センサ１１２の出力信号について、そのオフセット成分を除去した後に積分処理を行い、角速度情報を撮像面上での変位量に換算する。その後にその逆符号を取ることで、ブレを打ち消す第３のブレ補正量に変換する。

ステップＳ１９０７では、ブレ補正量算出部１１１は、ステップＳ２０３で得られる着目対象に基づいて、ステップＳ１９０６で得られる第１、第２、第３のブレ補正量から、手振れ補正量および被写体振れ補正量を求める。さらに、手振れ補正量および被写体振れ補正量を合成することにより、ブレ補正量を生成する。

なお、被写体振れ補正量は、被写体ベクトルから算出した第２のブレ補正量をそのまま用いる。手振れ補正量は、背景ベクトルから算出した第１のブレ補正量と、角速度センサ１１２の情報から算出した第３のブレ補正量とを用いて求める。この方法は周波数分割を用いるのが一般的である。

第３のブレ補正量はサンプル周期が短く高周波のブレを検出するのに有利であるが、角速度センサが持つオフセットエラーやドリフトによる検出誤差が低周波領域では発生する。この誤差は高温下でより大きくなる。第１のブレ補正量はサンプル周期が長く高周波のブレを検出するのに不利であるが、オフセットエラーやドリフトによる検出誤差は発生しない。しかし暗所では撮像素子１０２のＳＮ比が低下するため誤差が発生しやすい。

そこで、カットオフ周波数が１Ｈｚ程度のローパスフィルターとハイパスフィルターを用いてフィルター処理を行う。第１のブレ補正量にローパスフィルターをかけた出力と、第３のブレ補正量にハイパスフィルターをかけた出力の加算結果を手振れ補正量とする。また高温下では、第１のブレ補正量にローパスフィルターをかけた出力を手振れ補正量とし、暗所では第３のブレ補正量にハイパスフィルターをかけた出力を手振れ補正量としてもよい。

ステップＳ１９０７における手振れ補正量および被写体振れ補正量の合成方法については、図２のステップＳ２０７と同様であるため、詳細な説明を省略する。例えば、前述した式（４）を用いて最終的な合成後のブレ補正量Ｈを取得することができる。

ステップＳ１９０９では、ステップＳ１９０７で算出された合成後のブレ補正量Ｈが、補正レンズ、撮像素子のシフト機構、画像切り出しに割り振られ、画像に生じるブレを補正するブレ補正制御が行われる。このブレ補正制御は、補正レンズ及び撮像素子のシフト機構にブレ補正制御信号を出力して駆動することにより行われる。また同時に、電子式ブレ補正部１１４に制御信号を出力し、現像処理部１０３から出力される画像信号の一部分を切り出して新たな画像信号を生成する画像切り出し位置の制御（電子式ブレ補正制御）を実行することにより電子式ブレ補正が行われる。そして、撮像素子１０２からの出力画像は不図示の画像信号記録手段や画像表示手段に送られる。

最後のステップＳ２０８では、撮像装置１００は、最終フレームまで処理が完了したか否かを判定する。最終フレームまで処理が完了している場合は処理を終了し、完了していない場合はステップＳ２０１に戻る。

ここで、ステップＳ１９０９のブレ補正制御についてさらに説明する。

通常の手振れや被写体振れによって生じるブレは補正できる場合でも、被写体の高速な移動に対して撮影者のパンニングが遅延した場合や主被写体（補正対象）が一時的に他の被写体に隠れた場合などは、画面上で主被写体が大きく動く場合がある。このような場合に、補正対象（主被写体）を画面上の所定の位置に留め続けようとすると、補正ストロークが不足して、補正対象に生じるブレを補正することができなくなる。

そこで、本実施形態においては、補正ストローク不足の解消と被写体ブレ補正の両立を可能にするために、補正ストロークの端に達したら単純に補正リミットを掛けるということは行わない。その代わりに、主被写体（補正対象）が大きく動いた場合はその動きはある程度許容し、補正ストロークの残り量に応じて、補正量にハイパス効果を待つフィルターをかけ、高周波のブレ補正に重点を置いた補正信号を作成する。また、出力ゲインを可変にする。

以下、ブレ補正制御信号の生成方法について説明する。なお、以下の説明では、説明を分かりやすくするため、一軸のみについてブレ補正を行う場合を例に説明するが、実際は複数の補正軸が存在し、各軸ごとに同様の制御を行ってブレ補正を行う。また各補正手段を軸ごとに割り当てることも可能であり、一例としてロール方向のブレ補正は全て撮像素子のシフト機構で行い、ピッチ方向とヨー方向のブレ補正は補正レンズで行うなどの方法を用いてもよい。

図２０を用いて、ブレ補正制御信号の生成方法について説明する。

ステップＳ２００１において、ブレ補正量にかけるハイパスフィルターの係数Ｆｃとゲインβを求めてから所定時間が経過したか否かを判定する。これは後述するステップＳ２０１２もしくはＳ２０１３で係数Ｆｃとゲインβが設定された時刻と現在の時刻の差分が所定時間以上か否かを調べることで行われる。もし、所定時間以上経過していたならばステップＳ２００２に進み、所定時間未満ならばステップＳ２００５に進む。

ステップＳ２００２では、係数Ｆｃとゲインβの設定時の時刻のリセットを行った後、補正レンズ、撮像素子１０２のシフト機構、電子式ブレ補正部１１４で補正するブレ補正量を算出する（ブレ補正量Ｈの割り振り処理を行う）。

この各機構で分担する補正量の算出において、補正量が大きくなってもブレ補正のためのストロークが不足して補正ができない状況が生じないような設定が行われる。具体的には、画像切り出し位置の制御による補正量のハイパスフィルターの係数Ｆｃｃとゲインβｃ、及び角速度センサ１１２の情報から算出した第３のブレ補正量のハイパスフィルターの係数Ｆｃｌｓと補正レンズとシフト機構のゲインβｌ，βｓを設定する。

ブレ補正量Ｈが小さい場合（ケース１）は、画像切り出し位置は中央に固定して、補正レンズとシフト機構を駆動することによりブレ補正を行う。これは、画面中央付近は光学性能が周辺に対して優れており、シェーディングもほとんどないので、より解像度が高く、左右の輝度差も無い画像が取得できるからである。

ブレ補正量Ｈが増加し、補正レンズとシフト機構で補正できる最大量にブレ補正量Ｈが近づいた場合（ケース２）は、画像切り出し位置を制御することで、補正レンズとシフト機構での補正量を軽減し、ブレ補正のストローク不足を回避する。これにより、良好なブレ補正を可能にする。

ブレ補正量Ｈがさらに増加した場合（ケース３）は、画像切り出し位置の制御による補正量に対するハイパスフィルターの係数Ｆｃｃとゲインβｃを設定する。また、角速度センサ１１２の情報から算出した第３のブレ補正量のハイパスフィルターの係数Ｆｃｌｓとゲインβｌ，βｓを設定する。これらにより、低周波の振れに対するブレ補正の感度を下げ、ブレ補正のストローク不足を回避し、良好なブレ補正を可能にする。

ここで、本実施形態では、画像切り出し位置の制御による補正量に対するハイパスフィルターの係数Ｆｃｃ、ゲインβｃと、第３のブレ補正量のハイパスフィルターの係数Ｆｃｌｓ、ゲインβｌ，βｓは、互いの信号に応じて切り替えるのであるが、ステップＳ２００２ではまず単独で最適値に設定する。以下では、ステップＳ２００２において、ハイパスフィルターの係数Ｆｃｃ，Ｆｃｌｓ、ゲインβｃ，βｌ，βｓをそれぞれ単独で最適値に設定する方法について説明する。

画像切り出し位置の制御による補正量及び角速度センサ１１２の情報から算出した第３のブレ補正量はハイパスフィルターがかけられ、このハイパスフィルターの係数Ｆｃｃ，Ｆｃｌｓを変更することで、効果を変更することが可能である。またその出力に最大値が１００％のゲインβｃ，βｌ，βｓを掛けることにより制御レベルの制限を設けることが可能である。

補正レンズの制御による補正量Ｈｌ、撮像素子１０２のシフト機構の制御による補正量Ｈｓ、電子式ブレ補正部１１４の画像切り出し位置の制御による補正量Ｈｃは、補正量Ｈから以下のようにして算出する。

（ケース１）
Ｈ≦（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓの場合
Ｈｌ＝Ｈ×Ｈｌｍａｘ／（Ｈｌｍａｘ＋Ｈｓｍａｘ）
Ｈｓ＝Ｈ×Ｈｓｍａｘ／（Ｈｌｍａｘ＋Ｈｓｍａｘ）
（ケース２）
Ｈ＞（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ、且つ
Ｈ≦（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃの場合
Ｈｃ＝Ｈ−（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ
Ｈｌ＝Ｈｌｍａｘ＊αｌｓ
Ｈｓ＝Ｈｓｍａｘ＊αｌｓ
（ケース３）
Ｈ＞（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃの場合
Ｈｃ＝Ｈｃｍａｘ＊αｃ＋Ｈｏｖｅｒ＊Ｈｃｍａｘ／Ｈｍａｘ
Ｈｌ＝Ｈｌｍａｘ＊αｌｓ／２＋Ｈｏｖｅｒ＊Ｈｌｍａｘ／Ｈｍａｘ
Ｈｓ＝Ｈｓｍａｘ＊αｌｓ／２＋Ｈｏｖｅｒ＊Ｈｓｍａｘ／Ｈｍａｘ
ただし、
Ｈｏｖｅｒ＝Ｈ−｛（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃ｝
Ｈｍａｘ＝Ｈｌｍａｘ＋Ｈｓｍａｘ＋Ｈｃｍａｘ
なお、Ｈｌｍａｘ、Ｈｓｍａｘ、Ｈｃｍａｘは補正レンズの制御による補正量Ｈｌ、撮像素子のシフト機構の制御による補正量Ｈｓ、画像切り出し位置の制御による補正量Ｈｃの最大値、すなわち補正ストロークである。αｌｓ、αｃは補正ストロークに対する割合で、最終的なブレ補正量の割り振りや補正値の設定の場合分けに用いる所定値である。

そして、（ケース３）では、補正量Ｈｌ、補正量Ｈｓ、補正量Ｈｃに応じて、画像切り出し位置の制御による補正量Ｈｃのハイパスフィルターの係数Ｆｃｃ、第３のブレ補正量のハイパスフィルターの係数Ｆｃｌｓ、補正量Ｈｌのゲインβｌ、補正量Ｈｓのゲインβｓ、補正量Ｈｃのゲインβｃを設定する。具体的には以下に従って設定する。

Ｈｏｖｅｒが［Ｈｍａｘ−｛（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃ｝］のＰｅ１（％）未満の場合
Ｆｃｃ＝Ｆｃｃ１（Ｈｚ）＞Ｆｃｃ０（Ｈｚ），βｃ＝βｃ１（％）＜１００％
Ｆｃｌｓ＝Ｆｃｌｓ０（Ｈｚ）、βｌ＝βｓ＝１００％
Ｈｏｖｅｒが［Ｈｍａｘ−｛（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃ｝］Ｐｅ１（％）以上かつＰｅ２（％）未満の場合
Ｆｃｃ＝Ｆｃｃ２（Ｈｚ）＞Ｆｃｃ１（Ｈｚ），βｃ＝βｃ２（％）＜βｃ１（％）
Ｆｃｌｓ＝Ｆｃｌｓ２（Ｈｚ）＞Ｆｃｌｓ１（Ｈｚ），βｌ＝βｓ＝βｌｓ２（％）＜１００％
Ｈｏｖｅｒが［Ｈｍａｘ−｛（Ｈｌｍａｘ＋Ｈｓｍａｘ）＊αｌｓ＋Ｈｃｍａｘ＊αｃ｝］のＰｅ２（％）以上の場合
Ｆｃｃ＝Ｆｃｃ３（Ｈｚ）＞Ｆｃｃ２（Ｈｚ），βｃ＝βｃ３（％）＜βｃ２（％）
Ｆｃｌｓ＝Ｆｃｌｓ３（Ｈｚ）＞Ｆｃｌｓ１（Ｈｚ），βｌ＝βｓ＝βｌｓ３（％）＜βｌｓ２（％）
ただし、Ｆｃｃは画像切り出し位置の制御による補正量のハイパスフィルターの係数、βｃは補正量Ｈｃのゲイン、Ｆｃｌｓは第３のブレ補正量のハイパスフィルターの係数、βｌ，βｓは補正量Ｈｌ、補正量Ｈｓのゲインである。なお、Ｆｃｃ０（Ｈｚ）は、ハイパスフィルターの係数Ｆｃｃの最小値、Ｆｃｌｓ０（Ｈｚ）は、ハイパスフィルターの係数Ｆｃｌｓの最小値である。

なお、（ケース１）、（ケース２）の場合のハイパスフィルターの係数及びゲインは、Ｆｃｃ＝Ｆｃｃ０Ｈｚ（最小値）、βｃ＝１００％、Ｆｃｌｓ＝Ｆｃｌｓ０（Ｈｚ）、βｌ＝βｓ＝１００％である。

次いで、ステップＳ２００３に進み、撮像装置１００がパンニング状態か否かを判定する。角速度センサ１１２の出力や動きベクトル検出部１０５のベクトル検出結果から、パンニングの開始時や前半に生じる大きなブレが検出されていれば、パンニング状態と判断して、ステップＳ２００４へ進む。パンニングが検出されていなければステップＳ２００６へ進む。

ステップＳ２００４では、画像切り出し位置の制御による補正量のハイパスフィルターの係数Ｆｃｃの値を上げ、より高周波の補正量の割合が大きくなるようにする。例えば、変更前の値がＦｃｃ０（Ｈｚ）ならば、Ｆｃｃ１（Ｈｚ）に、Ｆｃｃ１（Ｈｚ）ならば、Ｆｃｃ２（Ｈｚ）に、Ｆｃｃ２（Ｈｚ）ならば、Ｆｃｃ３（Ｈｚ）に変更し、Ｆｃｃ３（Ｈｚ）の場合は変更しない。

同時に画像切り出し位置の制御による補正量のゲインβｃの値を下げる。変更前の値がβｃ＝１００％ならば、βｃ１（％）に、βｃ１（％）ならば、βｃ２（％）に、βｃ２（％）ならば、βｃ３（％）に変更し、βｃ３（％）の場合は変更しない。

これにより、パンニングなどによる角速度センサ１１２の信号の急激な増加の影響を減少させることができる。

また、角速度センサ１１２の信号はパンニングなどカメラの動きを反映するので、被写体の動きを反映する動きベクトルに比べて遅延する。高速のカメラ移動におけるこの遅延の影響を低減するために、その時点で設定されている画像切り出し位置の制御による補正量についての係数Ｆｃｃとゲインβｃの値に基づいて、第３の補正量についての係数Ｆｃｌｓ、補正レンズによる補正量Ｈｌのゲインβｌ、シフト機構による補正量Ｈｓのゲインβｓを図２１に従って再設定する。

画像切り出し位置の制御による補正量の係数ＦｃｃがＦｃｃ１（Ｈｚ）（この場合のゲインはβｃ１となる）であるなら、第３のブレ補正量のハイパスフィルターの係数Ｆｃｌｓは、Ｆｃｌｓ０とその時点の設定値の高い方のカットオフ周波数を選択する。補正レンズの制御による補正量Ｈｌのゲインβｌとシフト機構の制御による補正量Ｈｓのゲインβｓは、１００％とその時点での設定値の低い方を選択する。他の場合も同様である。

その後ステップＳ２００５へ進み、設定されている値に従って、補正制御信号を光学系１０１の補正レンズ、撮像素子１０２のシフト機構、電子式ブレ補正部１１４に出力し、ブレ補正を行う。

一方、ステップＳ２００３からＳ２００６へ進んだ場合は、パンニング終了間近か否かを判断し、終了間近ならステップＳ２００７へ進み、間近で無いならばステップＳ２０１０へ進む。パンニング終了間近か否かの判定は、角速度センサ１１２の出力やベクトル検出結果を時系列的に観察することにより行う。

角速度センサ１１２の出力やベクトル検出結果から、パンニングの開始時や前半に生じる大きなブレが検出された後、パンニングを示す信号の絶対値が減少して所定値以下になり、かつその傾きが所定傾き以下となった場合に、パンニング終了間近と判定する。逆に所定値以上である場合には、パンニング終了まじかではないと判断する。絶対値の所定値と所定傾き値は予め決められた値でもよいし、パンニングを検出した信号からその都度計算してもよい。絶対値の所定値は、パンニング時の信号の最大値の所定倍（１未満）の値、所定傾き値はパンニング時の信号の最大値までの平均傾きの所定倍（１未満）の値とすればよい。

ステップＳ２００７では、第３の補正量の係数Ｆｃｌｓを下げ、より低周波のブレの補正を行うようにする。例えば、変更前のＦｃｌｓの値がＦｃｌｓ３（Ｈｚ）ならば、Ｆｃｌｓ２（Ｈｚ）に、Ｆｃｌｓ２（Ｈｚ）ならば、Ｆｃｌｓ１（Ｈｚ）に変更し、Ｆｃｌｓ０（Ｈｚ）の場合は変更しない。

同時に補正レンズの制御による補正量Ｈｌのゲインβｌとシフト機構の制御による補正量Ｈｓのゲインβｓを上げる。変更前のβｌ，βｓの値がβｌ３（％），βｓ３（％）ならば、βｌ２（％），βｓ２（％）に、βｌ２（％），βｓ２（％）ならば、βｌ＝βｓ＝１００％に変更し、βｌ，βｓが１００％の場合は変更しない。これにより、パンニング終了間近にもより低周波のブレの補正を行うことができる。

また、動きベクトルを検出するには１フレーム以上の画像を要するので、検出に時間がかかる。小移動の被写体の追尾などの低速のカメラ移動の際のこの影響を減少するために、その時点で設定されている第３の補正量についてのＦｃｌｓ、補正レンズの制御による補正量Ｈｌのゲインβｌ、シフト機構の制御による補正量Ｈｓのゲインβｓの値に基づいて、画像切り出し位置の制御による補正量の係数Ｆｃｃとゲインβｃを図２２に従って再設定する。

第３のブレ補正量のハイパスフィルターの係数ＦｃｌｓがＦｃｌｓ２（Ｈｚ）（この場合の補正レンズとシフト機構のゲインβｌ，βｓはβｌｓ２となる）であるなら、画像切り出し位置の制御による補正量のＦｃｃはＦｃｃ２とその時点の設定値の低い方のカットオフ周波数を選択する。その場合のゲインβｃはβｃ２とその時点での設定値の高い方を選択する。他の場合も同様である。

一方、ステップＳ２００６でパンニング終了間近で無いと判定された場合は、ステップＳ２０１０において、ベクトル検出結果の積算を行う。なお、ベクトルの積算結果のリセットはステップＳ２００４で行われる。

その後ステップＳ２０１１へ進み、ベクトル積算値（電子式ブレ補正量）の絶対値が減少していて、かつ絶対値が所定値より小さいかを判定する。条件を満たしていればステップＳ２０１２へ進み、満たしていなければステップＳ２０１３へ進む。ただし、ベクトル積算開始から所定時間経過していない場合は、以下の処理を行わずにステップＳ２００５へ進む。これは、積算開始から所定時間経過していない積算値は信頼性が低いからである。

ステップＳ２０１２では、第３の補正量のハイパスフィルターの係数Ｆｃｌｓに基づき、画像切り出し位置の制御による補正量のハイパスフィルターの係数Ｆｃｃ、ゲインβｃの設定を行う。その際、第３の補正量の係数Ｆｃｌｓを、画像切り出し位置の制御による補正量の係数Ｆｃｃより低くする。

このベクトル積算値（電子式ブレ補正量）の絶対値が小さく、減少している場合は、被写体の移動に追従できていると考えられるので、広い周波数帯でのブレ補正が可能な設定を行う。

まず、係数Ｆｃｌｓと係数Ｆｃｃを比較し、係数Ｆｃｌｓが係数Ｆｃｃより低くない場合は、低くなるよう係数Ｆｃｃに以下の変更を行う。ただし、すでに係数Ｆｃｌｓが最低周波数であるＦｃｌｓ０（Ｈｚ）の場合は変更を行わない。

Ｆｃｌｓ≧Ｆｃｃの場合、
Ｆｃｌｓ＝Ｆｃｌｓ０なら、Ｆｃｃ＝Ｆｃｃ１
Ｆｃｌｓ＝Ｆｃｌｓ１なら、Ｆｃｃ＝Ｆｃｃ２
Ｆｃｌｓ＝Ｆｃｌｓ２なら、Ｆｃｃ＝Ｆｃｃ３
Ｆｃｌｓ＝Ｆｃｌｓ３なら、Ｆｃｃ＝Ｆｃｃ３
と変更する。

そしてゲインβｃは変更された係数Ｆｃｃに従い、
Ｆｃｃ＝Ｆｃｃ１なら、βｃ＝βｃ１
Ｆｃｃ＝Ｆｃｃ２なら、βｃ＝βｃ２
Ｆｃｃ＝Ｆｃｃ３なら、βｃ＝βｃ３
と変更する。

そして、ステップＳ２０１３では、ベクトル積算値（電子式ブレ補正量）の絶対値が増加していてかつ絶対値が所定値より大きいか判定する。条件を満たしていればステップＳ２０１４へ進み、満たしていなければステップＳ２００５へ進む。

ステップＳ２０１４では、画像切り出し位置の制御による補正量の係数Ｆｃｃに基づき、第３の補正量の係数Ｆｃｌｓと、補正レンズとシフト機構のゲインβｌ，βｓの設定を行う。その際、第３の補正量の係数Ｆｃｌｓを画像切り出し位置の制御による補正量のＦｃｃより高くする。

このベクトル積算値（電子式ブレ補正量）の絶対値が大きく増加している場合は、被写体の移動に追従できていないと考えられるので、より高周波の補正量の割合が大きくなるようにする。

まず、係数Ｆｃｌｓと係数Ｆｃｃを比較し、係数Ｆｃｌｓが係数Ｆｃｃより高くない場合は、高くなるように以下の変更を行う。ただしすでにＦｃｌｓが最低周波数であるＦｃｌｓ０（Ｈｚ）の場合は変更を行わない。

Ｆｃｌｓ≦Ｆｃｃの場合、
Ｆｃｃ＝Ｆｃｃ０またはＦｃｃ＝Ｆｃｃ１なら、Ｆｃｌｓ＝Ｆｃｌｓ２
Ｆｃｃ＝Ｆｃｃ２なら、Ｆｃｌｓ＝Ｆｃｌｓ３
Ｆｃｃ＝Ｆｃｃ３なら、Ｆｃｌｓ＝Ｆｃｌｓ３
と変更する。

そしてゲインβｌ，βｓは変更されたＦｃｌｓに従い、
Ｆｃｌｓ＝Ｆｃｌｓ２なら、βｌ＝βｓ＝βｌｓ２
Ｆｃｌｓ＝Ｆｃｌｓ３なら、βｌ＝βｓ＝βｌｓ３
と変更する。

また、画像切り出し位置の制御による補正量のゲインβｃに応じて、ファインダーの表示を変更して、撮影者に警告を行うようにしてもよい。補正ストロークの余裕が減少していることを警告するファインダー内のＬＥＤなどを点灯や点滅する表示を行ってもよいし、ファインダーの周辺部の表示を半透明にするなどした上で、補正ストロークの余裕の減少に従って半透明部分を濃くするようにしてもよい。

また、予め角速度センサ１１２の出力とベクトル検出結果の位相差を観測しておくことにより、ブレ補正性能を向上することが可能である。ベクトルはその検出に１フレーム以上を要するために検出の遅延が発生するので、予めその遅延量を計算で求めておく。角速度センサの出力から、手振れとベクトルの遅延量の計算値と実測値を関係付けしておく。これにより検出の遅延を考慮したベクトル積算値（電子式ブレ補正量）の算出が可能になる。そのため、ベクトル積算値（電子式ブレ補正量）を用いた画像切り出し位置の制御による補正量の係数Ｆｃｃとゲイン、及び第３の補正量の係数Ｆｃｌｓ、補正レンズとシフト機構のゲインβｌ，βｓの設定をより精度よく行うことが可能となる。

このようにして求めた係数Ｆｃ、ゲインβが設定された信号がそれぞれの補正機構へ出力され、ブレ補正が行われる。

以上説明したように、本実施形態では、撮影者の着目対象に応じて、手振れと被写体振れの補正比率を制御することにより、撮影者が望むブレ補正効果を得ることができる。

さらに、画像切り出し位置の制御による補正量と第３のブレ補正量のハイパスフィルターの係数とゲインを、互いの信号に応じて切り替えるようにする。これにより、ブレ補正のストローク不足を回避し、主被写体のフレームアウトの防止と画像劣化に影響の大きいブレ補正を両立することが可能となる。

なお、本実施形態で説明した技術は、動画および静止画のいずれに対しても適用することができる。動画の場合はシーンに応じて手振れ補正と被写体振れ補正を連続的に切り替えることができ、切り替えによる微小な画像シフトなどの違和感を抑制することができる。静止画の場合は、手振れと被写体振れがそれぞれ程よいバランスで抑制された画像を生成することができる。また流し撮りという特殊な静止画撮影に対しても適用することができる。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１０１：光学系、１０２：撮像素子、１０３：現像処理部、１０４：画像メモリ、１０５：動きベクトル検出部、１０６：動き分離部、１０７：ブレ補正量変換部、１０８：被写体検出部、１０９：カメラ情報取得部、１１０：着目対象推定部、１１１：ブレ補正量算出部、６０１：信頼度算出部、６０２：分離度算出部、１３０１：ブレ補正効果判定部、１３０２：表示部

Claims (35)

1. 入力画像に対して、特定の被写体を検出し、被写体情報を出力する被写体検出手段と、
   撮影状況を推定するために必要なカメラ情報を取得するカメラ情報取得手段と、
   前記被写体情報と前記カメラ情報とを用いて、画像内の着目対象を推定する推定手段と、
   入力画像における背景の動きと被写体の動きを検出する第１の動き検出手段と、
   前記第１の動き検出手段により検出された背景の動きと被写体の動きを、それぞれ背景のブレを補正する第１のブレ補正量と被写体のブレを補正する第２のブレ補正量に変換する変換手段と、
   前記推定手段より推定された前記着目対象に基づいて、前記第１のブレ補正量と前記第２のブレ補正量を合成して、最終的なブレ補正量を生成する補正量算出手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記第１の動き検出手段は、入力画像について動きベクトルを検出して、該動きベクトルを、背景の動きを表す第１の動きベクトルと、被写体の動きを表す第２の動きベクトルとに分離し、前記変換手段は、前記第１の動きベクトルと前記第２の動きベクトルを、それぞれ前記第１のブレ補正量と前記第２のブレ補正量に変換することを特徴とする請求項１に記載の像ブレ補正装置。
3. 撮像装置の振れを検出する角速度センサからの信号を取得する取得手段をさらに備え、前記第１の動き検出手段は、入力画像について動きベクトルを検出して、該動きベクトルを、背景の動きを表す第１の動きベクトルと、被写体の動きを表す第２の動きベクトルとに分離し、前記変換手段は、前記角速度センサで検出された振れと前記第２の動きベクトルを、それぞれ前記第１のブレ補正量と前記第２のブレ補正量に変換することを特徴とする請求項１に記載の像ブレ補正装置。
4. 前記動きベクトルの信頼度を算出する信頼度算出手段と、前記第１の動きベクトルと前記第２の動きベクトルの分離度を算出する分離度算出手段と、をさらに備え、
   前記補正量算出手段は、前記推定手段より推定された前記着目対象と、前記信頼度算出手段より算出された前記動きベクトルの信頼度と、前記分離度算出手段より算出された前記第１の動きベクトルと前記第２の動きベクトルの分離度とに基づいて、前記第１のブレ補正量と前記第２のブレ補正量を合成して、最終的なブレ補正量を生成することを特徴とする請求項２または３に記載の像ブレ補正装置。
5. 前記被写体情報は、被写体の位置および大きさ、被写体の人物らしさ、被写体の動きの少なくともいずれかを含むことを特徴とする請求項１乃至４のいずれか１項に記載の像ブレ補正装置。
6. 前記カメラ情報は、撮影モード、シャッタースピード、ＡＦエリア情報、焦点距離、ユーザ指示情報、慣性センサ情報、奥行き情報、視線情報の少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
7. 前記推定手段は、前記被写体情報および前記カメラ情報の少なくとも一つに基づいて、前記着目対象が背景である度合いを示す背景度合いと、前記着目対象が被写体である度合いを示す被写体度合いの少なくともいずれかを算出することを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。
8. 前記補正量算出手段は、前記背景度合いおよび前記被写体度合いの少なくともいずれかに基づいて、前記第１のブレ補正量および前記第２のブレ補正量を重み付け加算することにより、最終的なブレ補正量を生成することを特徴とする請求項７に記載の像ブレ補正装置。
9. 前記補正量算出手段は、前記背景度合いが高くなるにつれて、前記第１のブレ補正量の重みを大きくすることを特徴とする請求項８に記載の像ブレ補正装置。
10. 前記補正量算出手段は、前記被写体度合いが高くなるにつれて、前記第２のブレ補正量の重みを大きくすることを特徴とする請求項８または９に記載の像ブレ補正装置。
11. 前記補正量算出手段は、前記動きベクトルの信頼度に基づいて、前記第１のブレ補正量および前記第２のブレ補正量を重み付け加算することにより、最終的なブレ補正量を生成することを特徴とする請求項４に記載の像ブレ補正装置。
12. 前記補正量算出手段は、前記第１の動きベクトルの信頼度の方が、前記第２の動きベクトルの信頼度よりも高くなるにつれて、前記第１のブレ補正量の重みを大きくすることを特徴とする請求項１１に記載の像ブレ補正装置。
13. 前記補正量算出手段は、前記第１の動きベクトルと前記第２の動きベクトルの分離度に基づいて、前記第１のブレ補正量および前記第２のブレ補正量を重み付け加算することにより、最終的なブレ補正量を生成することを特徴とする請求項４に記載の像ブレ補正装置。
14. 前記補正量算出手段は、前記第１の動きベクトルと前記第２の動きベクトルの分離度が高くなるにつれて、前記第２のブレ補正量の重みを大きくすることを特徴とする請求項１３に記載の像ブレ補正装置。
15. 前記第１の動き検出手段は、前記被写体情報と前記動きベクトルの量とに基づいて、前記動きベクトルを、前記第１の動きベクトルと第２の動きベクトルとに分離することを特徴とする請求項２乃至４のいずれか１項に記載の像ブレ補正装置。
16. 前記第２のブレ補正量に基づくブレ補正の効果を判定する判定手段と、
    前記入力画像とともに前記判定手段による判定結果に対応する表示アイテムを表示する表示手段と、をさらに備え、
    前記判定手段は、前記着目対象、前記第１のブレ補正量および前記第２のブレ補正量、前記被写体情報の信頼度、前記第２の動きベクトルの信頼度、前記第１の動きベクトルと前記第２の動きベクトルの分離度、ブレ補正量の上限の少なくともいずれかに基づいて、前記第２のブレ補正量に基づくブレ補正の効果を判定することを特徴とする請求項２に記載の像ブレ補正装置。
17. 前記判定手段は、前記着目対象が被写体である度合いが第１の値の場合、前記度合いが前記第１の値よりも低い第２の場合のときよりも、前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
18. 前記判定手段は、前記第１のブレ補正量と前記第２のブレ補正量との差の絶対値が第３の値の場合、前記差の絶対値が前記第３の値よりも小さい第４の値の場合よりも、前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
19. 前記判定手段は、前記被写体情報の信頼度が高い場合の方が、前記信頼度が低い場合よりも前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
20. 前記判定手段は、前記第２の動きベクトルの信頼度が高い場合の方が、前記信頼度が低い場合よりも前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
21. 前記判定手段は、前記第１の動きベクトルと前記第２の動きベクトルの分離度が高い場合の方が、前記分離度が低い場合よりも前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
22. 前記判定手段は、前記ブレ補正量の上限から前記第２のブレ補正量を差し引いた値が第５の値の場合、前記第５の値よりも小さい第６の値の場合よりも、前記第２のブレ補正量に基づくブレ補正の効果が高いと判定することを特徴とする請求項１６に記載の像ブレ補正装置。
23. 前記判定手段は、前記第２のブレ補正量に基づくブレ補正の効果が所定の閾値よりも高い状態が、所定の時間以上継続した場合に、前記第２のブレ補正量に基づくブレ補正の効果があると判定することを特徴とする請求項１６に記載の像ブレ補正装置。
24. 前記表示手段は、前記判定手段により前記第２のブレ補正量に基づくブレ補正の効果がないと判定された場合に、前記第１のブレ補正量に基づくブレ補正に対応する第１の表示アイテムを表示し、前記第２のブレ補正量に基づくブレ補正の効果があると判定された場合に、前記第２のブレ補正量に基づくブレ補正に対応する第２の表示アイテムを表示することを特徴とする請求項１６に記載の像ブレ補正装置。
25. 前記表示手段は、第２の表示アイテムを、ブレ補正の対象となる被写体領域の近傍に表示することを特徴とする請求項２４に記載の像ブレ補正装置。
26. 前記表示手段は、第２の表示アイテムと被写体を囲う枠とによって、ブレ補正対象となる被写体を撮影者に通知することを特徴とする請求項２４に記載の像ブレ補正装置。
27. 前記表示手段は、被写体を枠で囲い、ブレ補正対象となる被写体の枠の色、形、大きさの少なくともいずれかを、他の被写体とは異なるように変更することで、ブレ補正対象となる被写体を撮影者に通知することを特徴とする請求項２４に記載の像ブレ補正装置。
28. 前記像ブレ補正装置の動きを検出する第２の動き検出手段をさらに備え、
    前記変換手段はさらに、前記第２の動き検出手段により検出された前記像ブレ補正装置の動きを、ブレを補正する第３のブレ補正量に変換し、
    前記補正量算出手段は、前記推定手段より推定された前記着目対象に基づいて、前記第１のブレ補正量と前記第２のブレ補正量と前記第３のブレ補正量から、前記最終的なブレ補正量を算出するとともに、
    前記第１の動き検出手段および前記第２の動き検出手段の出力に対してフィルター処理を行い、互いの出力に応じてそのフィルターの特性または出力ゲインを設定することを特徴とする請求項１乃至２７のいずれか１項に記載の像ブレ補正装置。
29. 前記補正量算出手段は、前記第２の動き検出手段により、前記像ブレ補正装置の動きの速さが第１の所定値以上と判定される場合、前記第１の動き検出手段の出力に基づき、前記第２の動き検出手段の出力に対するフィルターのカットオフ周波数を上げるか出力ゲインを下げるかの少なくともいずれかの処理を行うことを特徴とする請求項２８に記載の像ブレ補正装置。
30. 前記補正量算出手段は、前記第２の動き検出手段により、前記像ブレ補正装置の動きの速さが第２の所定値以下と判定される場合、前記第２の動き検出手段の出力に基づき、前記第１の動き検出手段の出力に対するフィルターのカットオフ周波数を下げるか出力ゲインを上げるかの少なくともいずれかの処理を行うことを特徴とする請求項２８に記載の像ブレ補正装置。
31. 前記補正量算出手段は、前記第１の動き検出手段の出力の絶対値が増加しかつその値が所定値以上の場合、前記第２の動き検出手段の出力に対するフィルターのカットオフ周波数を、前記第１の動き検出手段の出力に対するフィルターのカットオフ周波数より高くすることを特徴とする請求項２８に記載の像ブレ補正装置。
32. 前記補正量算出手段は、前記第１の動き検出手段の出力の絶対値が減少しかつその値が所定値以下の場合、前記第２の動き検出手段の出力に対するフィルターのカットオフ周波数を、前記第１の動き検出手段の出力に対するフィルターのカットオフ周波数より低くすることを特徴とする請求項２８に記載の像ブレ補正装置。
33. 被写体像を撮像して入力画像を生成する撮像手段をさらに備えることを特徴とする請求項１乃至３２のいずれか１項に記載の像ブレ補正装置。
34. 入力画像に対して、特定の被写体を検出し、被写体情報を出力する被写体検出工程と、
    撮影状況を推定するために必要なカメラ情報を取得するカメラ情報取得工程と、
    前記被写体情報と前記カメラ情報とを用いて、画像内の着目対象を推定する推定工程と、
    入力画像における背景の動きと被写体の動きを検出する動き検出工程と、
    前記動き検出工程において検出された背景の動きと被写体の動きを、それぞれ背景のブレを補正する第１のブレ補正量と被写体のブレを補正する第２のブレ補正量に変換する変換工程と、
    前記推定工程において推定された前記着目対象に基づいて、前記第１のブレ補正量と前記第２のブレ補正量を合成して、最終的なブレ補正量を生成する補正量算出工程と、
    を備えることを特徴とする像ブレ補正装置の制御方法。
35. コンピュータを、請求項１乃至３３のいずれか１項に記載の像ブレ補正装置の各手段として機能させるためのプログラム。

Images