JP2022009046A

JP2022009046A - 像振れ補正装置およびその制御方法、撮像装置

Info

Publication number: JP2022009046A
Application number: JP2021167482A
Authority: JP
Inventors: 謙司竹内; Kenji Takeuchi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-01-18
Filing date: 2021-10-12
Publication date: 2022-01-14
Anticipated expiration: 2038-01-18
Also published as: JP7204855B2

Abstract

【課題】大きな振れが発生した場合でも、広い周波数帯域で安定した像振れ補正を行えるようにすること。
【解決手段】像振れ補正装置は振れ検出部１７によって手振れ等を検出し、振れ検出信号に基づいて像振れを補正する。オフセット推定部３０４は、振れ検出部１７の出力のオフセット成分を推定する。ノイズ項算出部３００は、振れ検出部１７により検出された振れ量をフィルタで帯域分離し、高周波振れ量と低周波振れ量を算出する。ノイズ項算出部３００は高周波振れ量が大きくなるにつれてオフセット推定値の更新を遅くするようにオフセット推定部３０４の特性を変更し、低周波振れ量が大きくなるにつれてオフセット推定値の更新を早めるようにオフセット推定部３０４の特性を変更する制御を行う。
【選択図】図２

Description

本発明は、撮像画像の像振れ補正処理に関する。

撮像装置の小型化や光学系の高倍率化に伴い、手振れ等による画像への影響が顕著になるという問題に対し、像振れ補正機能がある。撮像装置の振れ検出に角速度センサを用いる場合、角速度検出信号に応じて振れ補正レンズ（以下、単に補正レンズともいう）や撮像素子等の移動制御が行われる。角速度センサの出力信号には、個体差による基準電圧のばらつき等の直流成分（オフセット成分）が含まれ、また温度変化によるドリフトが発生する。そのため、ハイパスフィルタ（以下、ＨＰＦともいう）を用いて、角速度センサの出力信号から低周波成分を除去し、低周波の誤差成分による像振れ補正精度の低下を抑えることが一般的に行われている。

一方、ユーザが行うパンニングやチルティング（以下、パンニング等という）のように、撮像装置の撮像方向を一方向に変化させる動作の場合、角速度センサ出力には低周波成分が多く含まれる。振れ検出信号に応じた像振れ補正において、補正レンズ等を駆動できるストローク範囲を超えると、像振れ補正性能が低下する可能性がある。そこで、角速度センサ出力に基づくパンニング等の判定処理が行われる。パンニング等が判定された際、ＨＰＦのカットオフ周波数を高域側に変更することで、低域周波数に対する像振れ補正を抑制する制御が行われる。特許文献１には低域周波数の応答を抑制しつつ、高域周波数の像振れ補正を行える、パンニング等の状態での像振れ補正制御が開示されている。

特開平５－３２３４３６号公報

特許文献１に開示された、ＨＰＦを用いたオフセット成分の除去方法では以下の問題が発生する可能性がある。角速度センサ出力のオフセット成分を除去しつつ、撮影者の体揺れ等の低周波な振れに対して良好な像振れ補正を行うためには、ＨＰＦのカットオフ周波数をできるだけ低く設定する必要がある。ＨＰＦのカットオフ周波数が低くなると、フィルタ時定数の影響でオフセット成分を完全に除去できるまでに長い時間がかかる。オフセット成分が除去されないまま角速度信号から角度信号に変換するための積分処理を行うことで、角度信号に積分誤差（ドリフト誤差）が発生した場合、像振れ補正性能が長時間低下した状態に陥る可能性がある。また、パンニングで大きな揺れが発生した後に、ＨＰＦの影響でパンニング方向とは逆方向の信号が生じる揺り戻し現象が発生すると、パンニング直後の像振れ補正性能が低下するという懸念がある。
本発明の目的は、大きな振れが発生した場合でも、広い周波数帯域で安定した像振れ補正を行えるようにすることである。

本発明の一実施形態の像振れ補正装置は、撮像装置の振れを検出する振れ検出手段の出力のオフセット成分を推定する推定手段と、前記振れ検出手段の出力を複数の周波数帯域の成分に分離した第１および第２の振れ量を算出し、前記振れ量にしたがって前記推定手段の特性を変更する変更手段と、前記振れ検出手段の出力から前記推定手段により推定された前記オフセット成分が減算された出力を用いて補正手段を制御することにより像振れ補正を行う制御手段と、を備え、前記変更手段は、前記第１の振れ量が大きくなるにつれて前記推定手段によるオフセット成分の推定値の更新を遅くする特性に変更し、または前記第１の振れ量よりも低周波である前記第２の振れ量が大きくなるにつれて前記推定手段によるオフセット成分の推定値の更新を早める特性に変更する。

本発明の像振れ補正装置によれば、大きな振れが発生した場合でも、広い周波数帯域で安定した像振れ補正を行うことができる。

本発明の撮像装置の中央断面図および電気的構成を示すブロック図である。第１実施形態に係る像振れ補正制御部の構成を示すブロック図である。手振れ角度の周波数スペクトルの一例を表す図である。第１実施形態に係る目標値演算を説明するフローチャートである。図４に続く処理を説明するフローチャートである。図４に続く並行処理を説明するフローチャートである。オフセット推定に用いる評価値と各ノイズとの関係を表す図である。三脚検出状態での角速度出力とオフセット推定値との関係を表す図である。手持ち状態での角速度出力とオフセット推定値との関係を表す図である。パンニング動作時の角速度出力とオフセット推定値との関係を表す図である。第２実施形態に係る像振れ補正制御部の構成を示すブロック図である。第２実施形態に係る目標値演算を説明するフローチャートである。動きベクトルの信頼度とシステムノイズ、観測ノイズとの関係を表す図である。三脚検出状態での角速度出力とオフセット推定値との関係を表す図である。手持ち状態での角速度出力とオフセット推定値との関係を表す図である。パンニング動作時の角速度出力とオフセット推定値との関係を表す図である。

以下、本発明の各実施形態について添付図面を参照して詳細に説明する。本発明は、ビデオカメラ、デジタルスチルカメラや、それらの交換レンズ等の光学機器、撮像部を有する電子機器に適用可能である。

［第１実施形態］
図１を参照して、本発明の第１実施形態を説明する。図１（Ａ）は本実施形態に係る像振れ補正装置を含む撮像装置の構成の概要を示す中央断面図である。図１（Ｂ）は撮像装置の電気的構成を示すブロック図である。本実施形態では交換レンズ式カメラの例を説明する。被写体側を前側と定義して各部の位置関係を説明する。

図１（Ａ）に示す撮像装置１は、その本体部（以下、装置本体部という）にレンズユニット２を装着した状態で撮影が可能である。レンズユニット２は、複数のレンズからなる撮像光学系３を有し、光軸４は撮像光学系３の光軸を示す。レンズユニット２内の補正レンズユニット１９は、ユーザの手振れ等による撮像画像の像振れを補正するための補正レンズを備える。装置本体部は内部に撮像素子６を備え、後部に背面表示装置１０ａを備える。電気接点１４は装置本体部とレンズユニット２とを電気的に接続する。

図１（Ｂ）において、装置本体部はカメラシステム制御部（以下、カメラ制御部という）５を備え、レンズユニット２はレンズシステム制御部（以下、レンズ制御部という）１５を備える。カメラ制御部５とレンズ制御部１５は、電気接点１４を介して相互に通信可能である。

まず、レンズユニット２内の構成を説明する。レンズ側操作部１６は、ユーザが操作する操作部材を備え、ユーザの操作指示をレンズ制御部１５に通知する。レンズ側振れ検出部（以下、振れ検出部という）１７は角速度センサを備え、レンズユニット２の振れ量を検出し、振れ検出信号をレンズ制御部１５に出力する。例えばジャイロセンサを用いて、撮像光学系３の光軸４に対する、ピッチ方向、ヨー方向、ロール方向の回転を検出することができる。

像振れ補正部１８はレンズ制御部１５からの制御指令にしたがって、補正レンズユニット１９の駆動制御を行い、像振れを補正する。補正レンズユニット１９は、光軸４に垂直な平面内でシフト駆動またはチルト駆動される補正レンズとその駆動機構部を備える。レンズ位置検出部２０は補正レンズユニット１９の位置検出を行い、位置検出信号をレンズ制御部１５に出力する。焦点距離変更部２２はレンズ制御部１５からの制御指令にしたがってズームレンズの駆動制御を行い、撮像光学系３の焦点距離を変更する。

次に撮像装置１の装置本体部内の構成を説明する。撮像部を構成する撮像素子６は、撮像光学系３を通して結像される被写体の光像を光電変換して電気信号を出力する。被写界の物体光は、撮像光学系３を介して撮像素子６の撮像面に結像され、撮像素子６では焦点調節用の評価量や適切な露光量が得られる。撮像光学系３が調整されることで、適正光量の物体光を撮像素子６に露光することができ、撮像素子６の近傍にて被写体像が結像する。

画像処理部７は撮像素子６の出力信号を取得して画像処理を行い、画像データを記憶部８に記憶する処理を行う。画像処理部７は内部にＡ（アナログ）／Ｄ（デジタル）変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成する。画像処理部７は色補間処理部を備え、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像データを生成する。また画像処理部７は、予め定められた圧縮方式で画像、動画、音声等のデータ圧縮を行う。画像処理部７は、撮像素子６により取得された複数の画像を比較し、動きベクトル検出を行うことで画像の動き量を取得する。つまり画像処理部７は、撮像画像に基づく動き量である動きベクトルを算出する動きベクトル算出部７ａを備える。

カメラ制御部５は、装置本体部およびレンズユニット２からなるカメラシステムの制御を統括する。カメラ制御部５は画像処理部７と記憶部８の制御を行う。カメラ側操作部９は操作部材を備え、ユーザの操作指示をカメラ制御部５に通知する。表示部１０は背面表示装置１０ａ、装置本体部の上面に設けられた撮影情報を表示する不図示の小型表示パネル、ＥＶＦ（電子ビューファインダ）等を備える。表示部１０はカメラ制御部５からの制御指令にしたがって画像表示を行い、画像情報等をユーザに提示する。画像データの記録再生処理はカメラ制御部５の制御下で、画像処理部７と記憶部８を用いて実行される。例えば撮像画像データは記録媒体に記録され、または外部インタフェースを通じて外部装置に送信される。

カメラシステムの各構成部の制御は、カメラ制御部５およびレンズ制御部１５によって行われ、ユーザ操作に応じて静止画撮影および動画撮影が可能である。カメラ制御部５およびレンズ制御部１５はそれぞれＣＰＵ（中央演算処理装置）を備えており、所定のプログラムを実行することにより各構成部の動作制御や処理を行う。例えば、レンズ制御部１５はカメラ制御部５と通信し、補正レンズユニット１９の駆動制御や、不図示のフォーカスレンズの駆動による焦点調節制御、絞り制御、ズーム制御等を行う。

カメラ制御部５は撮像の際のタイミング信号等を生成して各構成部に出力し、ユーザ操作に応動して撮像処理、画像処理、記録再生処理をそれぞれ実行する。例えば、ユーザがカメラ側操作部９に含まれるシャッタレリーズ釦を操作した場合、カメラ制御部５はスイッチ信号を検出して撮像素子６、画像処理部７等を制御する。さらにカメラ制御部５は、表示部１０が備える情報表示デバイスを制御する。また、背面表示装置１０ａは表示画面部にタッチパネルを備え、ユーザ操作を検出してカメラ制御部５に通知する。この場合、背面表示装置１０ａは操作機能と表示機能を兼ね備える。

次に、撮像光学系３の調整動作について説明する。画像処理部７は、撮像素子６の出力信号を取得し、カメラ側操作部９による撮影者の操作に基づいて、撮像光学系３の適切な焦点位置、絞り位置を求める。カメラ制御部５は、電気接点１４を介してレンズ制御部１５に制御指令を送信する。レンズ制御部１５は、カメラ制御部５からの制御指令にしたがって、焦点距離変更部２２、および不図示の絞り駆動部を適切に制御する。

像振れ補正モードが設定された場合、レンズ制御部１５はカメラ制御部５から当該モードへの移行指令を受け付けると、像振れ補正の制御を開始する。レンズ制御部１５は振れ検出部１７から振れ検出信号を取得し、レンズ位置検出部２０から位置検出信号を取得して像振れ補正部１８の制御を行う。像振れ補正部１８は、例えばマグネットと平板コイルを用いたアクチュエータにより、補正レンズユニット１９を駆動する。レンズ位置検出部２０は、例えばマグネットとホール素子を備える。具体的な制御方法としては、まずレンズ制御部１５が振れ検出部１７から振れ検出信号を取得し、像振れ補正を行うための補正レンズユニット１９の駆動量を算出する。レンズ制御部１５は算出した駆動量を、像振れ補正部１８への指令値として出力して補正レンズユニット１９を駆動する。レンズ位置検出部２０による検出位置が指令値に追従するようにフィードバック制御が行われる。

図２は、レンズ制御部１５における像振れ補正制御に関わる構成例を示すブロック図である。なお、像振れ補正軸としてピッチ方向、ヨー方向、ロール方向の各軸については同様の構成であるため、１軸についてのみ説明を行う。また加算器３０１、３０５、３０７、３１１、３１６が行う演算は、負値の加算（減算）を含むものとする。

図２にて振れ検出部１７は、振れ検出信号を加算器３０１、帯域制限フィルタ３０３、ノイズ項算出部３００に出力する。帯域制限フィルタ３０３により帯域制限された振れ信号は、オフセット推定部３０４と加算器３０５に出力される。オフセット推定部３０４による推定結果を示す信号は、加算器３０１と加算器３０５に出力される。加算器３０１の出力は積分フィルタ３０２によって積分されて補正レンズの駆動目標値が算出される。以下にレンズ制御部１５における駆動目標値の算出処理と、ノイズ項算出部３００およびオフセット推定部３０４について詳述する。

レンズ制御部１５は、振れ検出部１７から振れ検出信号を取得し、帯域制限フィルタ３０３により帯域制限した振れ信号を生成する。帯域制限フィルタ３０３の効果については、図３を用いて後述する。

オフセット推定部３０４は、帯域制限フィルタ３０３により帯域制限された振れ信号を取得し、振れ検出部１７の角速度センサの出力のオフセット成分を推定する。加算器３０１は、振れ検出部１７による振れ検出信号からオフセット推定値を減算する。積分フィルタ３０２は、加算器３０１の出力である、オフセット推定値が減算された振れの角速度信号を積分して、振れの角度信号を生成する。この信号を駆動目標値として像振れ補正部１８が補正レンズユニット１９を駆動することで像振れ補正動作が行われる。

一方、加算器３０５は、帯域制限フィルタ３０３により帯域制限された振れ信号から、オフセット推定部３０４によるオフセット推定値を減算する。ノイズ項算出部３００内の積分フィルタ３０６は、加算器３０５の出力信号を積分することでノイズ算出用の振れ角度信号を生成する。

本実施形態では、ノイズ算出用の振れ角度信号に基づいて、オフセット推定部３０４のフィルタ特性を変更する処理が行われる。オフセット推定部３０４は、周波数特性が可変のフィルタを備え、帯域制限フィルタ３０３の出力信号からオフセット成分を推定する処理を行う。したがって、オフセット推定部３０４がオフセット成分を正確に推定できている場合、加算器３０５により算出される値は、オフセット成分のない振れ信号となる。この場合、積分フィルタ３０６により算出されるノイズ算出用の振れ角度信号は、基準値であるゼロを中心とする値となる。一方、オフセット推定部３０４がオフセット成分を正確に推定できてない場合、振れ検出信号におけるオフセット誤差の影響によって、積分フィルタ３０６が算出するノイズ算出用の振れ角度信号の値は、ゆっくりとドリフトした値となる。

低域遮断フィルタ３１３は、積分フィルタ３０６からノイズ算出用の振れ角度信号を取得し、低域成分を除去することで高周波成分を抽出する。低域遮断フィルタ３１３のカットオフ周波数については、振れ検出部１７の出力に含まれるオフセット成分および低周波揺らぎ、ドリフト成分を含む周波数帯域を遮断するように設定される。こうすることで、振れ検出部１７による振れ検出信号のうち、推定対象である低周波数のオフセット成分と、実際の揺れにより発生している高周波数の振れ成分とを分離することができる。

加算器３０７は、ノイズ算出用の振れ角度信号（積分フィルタ３０６の出力）から、低域遮断フィルタ３１３の出力する高周波成分を減算する。これにより、振れ角度信号の低周波成分が抽出される。つまり、ノイズ算出用の振れ角度信号を低周波成分と高周波成分に分離することができる。べき乗演算部３０９は加算器３０７の出力を取得し、ノイズ算出用の振れ角度信号の低周波成分を２乗演算して絶対値を算出する。ゲイン部３１０はべき乗演算部３０９の出力に対して所定のゲインを乗算する。これにより、主に低周波数の振れ検出信号のオフセット成分およびドリフト成分の大きさ、影響度を表す低周波振れ角度の評価値を算出することができる。以下、この評価値を、システムノイズ項と呼ぶ。

一方、べき乗演算部３１４は低域遮断フィルタ３１３の出力を取得し、ノイズ算出用の振れ角度信号の高周波成分を２乗演算して絶対値を算出する。ゲイン部３１５はべき乗演算部３１４に対して所定のゲインを乗算する。これにより、高周波数の振れ検出信号の大きさを表す高周波振れ角度の評価値を算出することができる。以下、この評価値を観測ノイズ項と呼ぶ。

オフセット推定部３０４によるオフセット推定値が正確でない場合には、積分後のノイズ算出用の振れ角度信号の低周波成分がドリフトして増加するので、システムノイズ項が大きくなっていく動作となる。

三脚状態検出部３１７は、撮像装置１の振れが小さい状態であることを検出する。例えば三脚状態検出部３１７は、振れ検出部１７の検出信号、または画像処理部７の動きベクトル算出部７ａにより算出された動きベクトルを用いて、撮像装置１の振れ量を検出する。この振れ量が、あらかじめ決められた所定の閾値よりも小さい状態が、所定の閾値時間以上に亘って継続した場合に、撮像装置が静定状態であると判断される。静定状態とは、撮像装置が三脚等に取り付けられて、振れが殆ど無い状態である。三脚状態検出部３１７は撮像装置が静定状態であると判断した場合に、その判断信号をカメラ状態ノイズ算出部３１８へ出力する。

カメラ状態ノイズ算出部３１８は、あらかじめ設定された所定値を三脚検出状態ノイズとして、加算器３１１に出力する。加算器３１１は、ゲイン部３１０の出力であるシステムノイズ項と、三脚検出状態ノイズとを加算する。

Ｐ／Ｔ検出部３１９は、撮影者によりパンニング等が行われていることを検出する。例えばＰ／Ｔ検出部３１９は、振れ検出部１７の検出信号、または画像処理部７の動きベクトル算出部７ａにより算出された動きベクトルを用いて、撮像装置１の振れ量を検出する。この振れ量が、あらかじめ決められた所定の閾値よりも大きい状態が所定の閾値時間以上に亘って継続した場合、撮影者がパンニングやチルティングによって構図変更等を行ったことが判断される。Ｐ／Ｔ検出部３１９は、パンニング等の状態であると判断した場合に、その判断信号をカメラ状態ノイズ算出部３１８へ出力する。

カメラ状態ノイズ算出部３１８は、あらかじめ設定された所定値を、Ｐ／Ｔ（パンニング／チルティング）検出状態ノイズとして、加算器３１６に出力する。加算器３１６は、ゲイン部３１５の出力である観測ノイズ項と、Ｐ／Ｔ検出状態ノイズとを加算する。ノイズ項算出部３００は、オフセット推定部３０４に対し、加算器３１１、３１６がそれぞれ演算したノイズ項の信号を出力する。オフセット推定部３０４が行う推定処理の詳細については後述する。

本実施形態では、三脚状態検出およびパンニング等の検出において、振れ検出部１７の検出信号と動きベクトルを併用する。振れ検出部１７のみでは検出しづらい、ゆっくりとしたパンニング等の動きの変化に対し、画素レベルのマッチング比較で算出できるので、撮像装置の振れをより正確に検出することができる。

次に図３を参照して、帯域制限フィルタ３０３の効果について説明する。図３は横軸を周波数［Ｈｚ］の軸とし、縦軸を振れ角度の振幅［ｄｅｇｒｅｅ］の軸として例示したグラフである。実線で示すグラフ線Ｇ１は、振れ検出部１７により検出された振れ角速度情報を積分した振れ角度の周波数スペクトル情報（周波数に対する振幅情報）の例を表している。

一般的に、撮影者の手振れ周波数は１Ｈｚ～１０Ｈｚの範囲に分布し、低周波の振れ角度が大きく、高周波になるほど振れ角度が小さくなることが知られている。特定の周波数帯域に大きな振れ成分があるかどうかは、撮影者や、撮影の状態（乗車中や乗船中の撮影、歩き撮り等）で異なるが、同じ撮影状況においては撮影者によらず、ある程度同じ周波数範囲に大きな振れ成分が存在することが多い。本実施形態の目的は、振れ検出部１７により検出される振れ情報に対して、オフセット推定部３０４によってオフセット成分を正確に推定することである。大きく変動する振れ信号の中から正確にオフセット成分を推定することは難しく、オフセット成分を正確に推定する上では、振れ信号からできるだけオフセット成分以外の大きな振れ周波数成分を除去しておくことが望ましい。そこで、図３の実線Ｇ１で表される、振れの周波数スペクトル分布情報に基づいて、帯域制限フィルタ（具体的にはノッチフィルタ等を使用）により、スペクトル振幅の大きい周波数成分を低減させる処理が行われる。これにより、オフセット成分の推定精度を向上させることができる。

オフセット成分以外の高周波成分をローパスフィルタですべて減衰させる方法もある。しかし、この方法ではローパスフィルタ処理での位相遅れによって、オフセット推定部３０４のフィルタ特性を変更するための、ノイズ算出用振れ角度信号の位相ずれが発生する。そのため、できるだけ他の周波数帯域での位相ずれの影響が小さいノッチフィルタを使用することが好ましい。またノッチフィルタの目標周波数および減衰率については撮影状況に応じて変更してもよい。図３に点線で示すグラフ線Ｇ２は、０．１Ｈｚから１Ｈｚの周波数帯域に存在する手振れ周波数成分を、ノッチフィルタで低減させたときの手振れ周波数の分布特性を表している。

図４から図６のフローチャートを参照して、レンズ制御部１５による駆動目標値の演算処理について説明する。Ｓ２以降の処理が一定の周期で繰り返し実行される。Ｓ１でレンズ制御部１５は、所定周期での動作の開始を判断する。動作の開始が判断されるとＳ２に処理を進める。Ｓ２で振れ検出部１７は振れを検出する。振れ検出部１７は角速度センサ等を備え、像振れ補正用に振れ検出信号を出力する。

Ｓ３でレンズ制御部１５は、画像処理部７内の動きベクトル算出部７ａにより算出される動きベクトルの取得周期に対応する時点であるかどうかを判断する。現時点が取得周期に対応する時点であると判断された場合、Ｓ４の処理に進み、当該時点でないことが判断された場合にはＳ５の処理に進む。Ｓ４では動きベクトルが取得される。動きベクトル算出部７ａは、出力される映像信号のフレーム画像間の振れを解析することで動きベクトルを検出する。そのため、Ｓ３における動きベクトルの取得周期は、フレームレート（例えば３０Ｈｚまたは６０Ｈｚ等）に対応する周期となる。一方、フレームレートごとに画像処理部７で実行される動きベクトルの取得周期に対応する時点でない場合にはＳ５に進み、前回の周期に対応する時点で取得された動きベクトルが保持される。

Ｓ６でレンズ制御部１５は、オフセット推定処理の実行周期に対応する時点であるかどうかを判定する。オフセット推定処理の実行周期は、Ｓ２の振れ検出信号の取得周期と合わせてもよいし、Ｓ３の動きベクトルの取得周期に合わせてもよい。あるいはそれ以外の周期で実行しても構わないが、ごく低周波のオフセット成分を推定するという目的に沿うように、長周期で実行することで、推定処理の演算負荷を低減可能である。Ｓ６にて、現時点がオフセット推定処理の実行周期に対応する時点であると判定された場合、Ｓ７へ進む。一方、現時点がオフセット推定処理の実行周期に対応する時点でないと判定された場合には図５のＳ３３に進む。Ｓ３３では前回のオフセット推定処理の実行周期に対応する時点で推定されたオフセット推定値が保持された後、Ｓ３４の処理に進む。

Ｓ７でレンズ制御部１５は特定の周波数の振れ成分を除去し、または減衰させるための帯域制限フィルタ３０３の周波数特性を設定する。この設定は撮影状態、撮影条件に応じた振れの周波数スペクトルデータに基づいて行われる。Ｓ８では、Ｓ７にて周波数特性が設定された帯域制限フィルタ３０３が、振れ検出部１７による振れ検出信号から特定の周波数帯域の振れ成分を除去する。帯域制限フィルタ３０３の出力は、加算器３０５へ入力される。

Ｓ９で加算器３０５は、特定の周波数成分が除去された振れ信号から、前回の推定処理の実行時にオフセット推定部３０４が推定してＳ３３にて保存しておいたオフセット推定値（記憶値）を減算する。

次にＳ１０で積分フィルタ３０６は、加算器３０５で演算した振れ信号を積分することで振れ角度信号を算出する。積分フィルタ３０６の処理は、単純な数値積分処理であるが、ローパスフィルタで構成した疑似的な積分処理でも構わない。疑似的な積分処理とは、特定のカットオフ周波数以下の低周波成分を積分しない積分処理のことである。加算器３０５により振れ信号から減算したオフセット推定値が真のオフセット値から大きく離れている場合、積分後の振れ角度信号が大きくドリフトする。そのためシステムノイズ項または観測ノイズ項の算出値が演算上オーバーフローする可能性がある。よって、ドリフト量を低減するために疑似的な積分処理を行うことが好ましい。また後述するが、オフセット推定部３０４によるオフセット推定値は時間経過とともに真のオフセット値に近づくように推定される。そのため、オフセット推定値の推定が進むにつれて疑似積分のカットオフ周波数を低周波側へ変更する処理が行われる。

Ｓ１１で低域遮断フィルタ（ハイパスフィルタ）３１３は、振れ角度信号から低域の周波数成分を除去し、高周波成分を抽出する。次のＳ１２でべき乗演算部３１４は振れ角度信号の高周波成分を２乗演算する。Ｓ１３でゲイン部３１５は、べき乗演算部３１４の出力に所定のゲインを乗算した信号を評価値とし、Ｓ１４にて観測ノイズ項として保持する。

図５のＳ１５で加算器３０７は、積分フィルタ３０６により算出された角度振れ信号から、低域遮断フィルタ３１３にて算出された振れ角度信号の高周波成を減算することで、振れ角度信号の低周波成分を算出する。Ｓ１６でべき乗演算部３０９は、振れ角度信号の低周波成分を２乗演算する。Ｓ１７でゲイン部３１０は、べき乗演算部３０９の出力に所定のゲインを積算した信号を評価値とし、Ｓ１８にてシステムノイズ項として保持する。

図６のＳ１９からＳ２９の処理は、図４のＳ６から図５のＳ１８の処理に対して並行して実行される。Ｓ１９でレンズ制御部１５は、現時点がカメラ状態ノイズ算出処理を実行する周期に対応する時点であるか否かを判定する。カメラ状態ノイズ算出の周期は、オフセット推定周期と同じ周期でもよいし、また異なる周期でもよい。Ｓ１９にて現時点がカメラ状態ノイズ算出の周期に対応する時点ではないと判定された場合、Ｓ２８へ移行し、当該時点であることが判定された場合にはＳ２０の処理に進む。

Ｓ２０で三脚状態検出部３１７は、Ｓ２で取得された振れの角速度と、Ｓ４で取得され動きベクトルに基づき、撮像装置１の振れが小さい状態が閾値時間以上継続しているか否かを判定することで三脚状態の検出を行う。Ｓ２１でカメラ状態ノイズ算出部３１８は、撮像装置が三脚に取り付けられた三脚検出状態等の静定状態が検出されていると判断した場合、Ｓ２２の処理に進み、静定状態が検出されていないと判断した場合、Ｓ２３の処理に進む。

Ｓ２２にてカメラ状態ノイズ算出部３１８は三脚検出状態ノイズに所定値を設定する。またＳ２３にてカメラ状態ノイズ算出部３１８は前回の演算周期までに設定された三脚検出状態ノイズの値をゼロにクリアする。Ｓ２４でＰ／Ｔ検出部３１９は、Ｓ２で取得された振れの角速度と、Ｓ４で取得された動きベクトルに基づき、パンニング動作またはチルティング動作の検出を行う。Ｓ２５でカメラ状態ノイズ算出部３１８は、パンニング等の状態が検出されていると判断した場合、Ｓ２６の処理に進み、パンニング等の状態が検出されていないと判断した場合にはＳ２７の処理に進む。

Ｓ２６でカメラ状態ノイズ算出部３１８はパンニング等の検出状態ノイズに所定値を設定する。またＳ２７でカメラ状態ノイズ算出部３１８は、前回の演算周期までに設定されたパンニング等の検出状態ノイズの値をゼロにクリアする。

Ｓ２８でレンズ制御部１５は、前回のカメラ状態ノイズ算出周期にて算出した三脚検出状態ノイズの値を保存し、Ｓ２９で前回のカメラ状態ノイズ算出周期にて算出したＰ／Ｔ検出状態ノイズの値を保存した後に図５のＳ３０へ進む。Ｓ３０で加算器３１６は観測ノイズ項とパンニング等の検出状態ノイズを加算する。Ｓ３１で加算器３１１はシステムノイズ項と三脚検出状態ノイズを加算する。Ｓ３０、Ｓ３１で算出された情報に基づき、Ｓ３２にてオフセット推定部３０４はオフセット推定の演算を行う。

Ｓ３３でレンズ制御部１５は、Ｓ３２でオフセット推定部３０４が演算したオフセット推定値を保持する。Ｓ３４で加算器３０１は振れの角速度からオフセット推定値を減算する。Ｓ３５で積分フィルタ３０２は積分処理を行って振れ角度信号を生成することで像振れ補正制御の目標値を生成する。積分フィルタ３０２が行うフィルタ処理については、積分フィルタ３０６と同様に、オフセット推定値の推定が進むにつれて疑似積分のカットオフ周波数を低周波側へ変更する疑似的な積分処理としてもよい。Ｓ３６でレンズ制御部１５は、今回の演算周期での目標値の演算処理を終了する。

次に、Ｓ３２にてオフセット推定部３０４が行う、振れ検出部１７の出力のオフセット推定処理について数式を用いて説明する。オフセット推定部３０４を線形カルマンフィルタで構成する場合、線形カルマンフィルタは、以下の式（１）～式（７）で表すことができる。

式（１）は状態空間表現での動作モデルを表し、式（２）は観測モデルを表す。各記号の意味は以下のとおりである。
Ａ：動作モデルでのシステムマトリクス
Ｂ：入力マトリクス
Ｃ：観測モデルでの出力マトリクス
ε_ｔ：プロセスノイズ
δ_ｔ：観測ノイズ
ｔ：離散的な時間。

式（３）は予測ステップにおける事前推定値を表し、式（４）は事前誤差共分散を表す。また、Σ_ｘは動作モデルのノイズの分散を表す。

式（５）はフィルタリングステップにおいてカルマンゲインの算出式を表し、上付き添え字のＴは行列の転置を表している。さらに式（６）はカルマンフィルタによる事後推定値、式（７）は事後誤差共分散を表す。またΣ_ｚは観測モデルのノイズの分散を表す。

本実施形態では、振れ検出部１７のオフセット成分を推定するため、オフセット値をｘ_ｔとし、観測された振れ量をｚ_ｔとする。オフセット成分のモデルは式（１）における入力項ｕ_ｔがなく、式（１）および式（２）でＡ＝Ｃ＝１となる、以下の１次線形モデルの式で表すことができる。

式（４）における動作モデルのノイズの分散Σ_ｘを、システムノイズσ_ｘと三脚検出状態ノイズσ_ｔの合算値で表す。また、式（５）における観測モデルのノイズの分散Σ_ｚを、観測ノイズσ_ｚとＰ／Ｔ（パンニング／チルティング）検出状態ノイズσ_pの合算値で表す。

さらにオフセット事前推定値を、

と表記し、
時刻ｔにおける誤差共分散推定値を、

と表記する。

時刻ｔにおけるカルマンゲインをｋ_ｔと表記する。観測ノイズσ_ｚ、Ｐ／Ｔ検出状態ノイズσ_pと、振れ検出部１７による観測された振れ量をｚ_ｔとして、以下の式でカルマンフィルタを構成することができる。

オフセット推定部３０４は、式（１０）から式（１４）までの演算式を用いて構成される。

は、推定演算の更新周期の時刻ｔ－１でのオフセット推定値である。このオフセット推定値から、時刻ｔでのオフセット事前推定値

が得られる。

加算器３１１により出力されるシステムノイズσ_ｘと、三脚検出状態ノイズσ_ｔと、時刻ｔ－１での誤差共分散推定値

とにより、時刻ｔでの誤差共分散事前推定値

が算出される。

この誤差共分散事前推定値、および観測ノイズσ_ｚ、Ｐ／Ｔ検出状態ノイズσ_pに基づいて、カルマンゲインｋ_ｔが算出される。そして、式（１３）によって、観測された振れ量ｚ_ｔと、オフセット事前推定値

との誤差に対して、カルマンゲインｋ_ｔを乗算した値によって、オフセット事前推定値が修正され、オフセット推定値

が算出される。

また式（１４）により、誤差共分散事前推定値

が修正されて、誤差共分散推定値

が算出される。これらの演算によって事前推定更新と修正を演算周期ごとに繰り返すことでオフセット推定値が算出される。

以上のように構成されたカルマンフィルタにて、各ノイズの大きさが変化することによる、オフセット推定動作の変化について、式（１１）、式（１２）、式（１３）、および図７を用いて説明する。各ノイズとは、システムノイズσ_ｘ、観測ノイズσ_ｚ、三脚検出状態ノイズσ_ｔ、Ｐ／Ｔ検出状態ノイズσ_pである。図７は、振れの大きさと、撮影状態による各ノイズの大きさとの関係を表した図である。

図７（Ａ）は横軸に振れ角度信号の低周波成分をとり、縦軸にシステムノイズをとって両者の関係を表したグラフである。積分フィルタ３０６で算出された振れ角度信号のうち、低周波成分が大きくなるにつれてシステムノイズσ_ｘが大きくなる。これは、振れ検出部１７の出力にオフセット誤差があり、加算器３０５で減算しているオフセット推定値が真のオフセット値になっていないことを意味する。すなわち、真のオフセット値に対する誤差がまだあるため、積分フィルタ３０６による積分後のノイズ算出用振れ角度信号の低周波成分のドリフトが大きいことを表している。オフセット推定部３０４が正しくオフセットを推定できていない状態であることを示している。

図７（Ｃ）は横軸に三脚検出時の振れの振幅をとり、縦軸に三脚検出状態ノイズをとって両者の関係を表したグラフである。三脚状態検出部３１７による三脚検出時の揺れ状態が小さくなるにつれて三脚検出状態ノイズが大きくなる。これは撮像装置１が三脚上に置かれているような静定状態にあることを表している。

システムノイズ、三脚検出状態ノイズにより、式（１１）では誤差共分散事前推定値

の値が大きくなる。観測ノイズ、およびパンニング等の検出状態ノイズが変化していない時の状態を考えると、これにより式（１２）で算出するカルマンゲインｋ_ｔは、算出式の分母に比べて分子の値の割合が大きくなることで１に近づく。逆にシステムノイズおよび三脚検出状態ノイズが小さくなるにつれて、式（１２）で算出されるカルマンゲインｋ_ｔは０に近づく。

以上から、式（１３）で演算されるオフセット推定値

は、カルマンゲインｋ_ｔが１に近づくにつれて、観測された振れ量ｚ_ｔに近づくように補正され、カルマンゲインｋ_ｔが０に近づくにつれて、オフセット事前推定値

を維持するように更新される。

このような動作によって、振れ検出部１７の出力のオフセット誤差が大きい間、またはオフセット推定値が真のオフセット値から誤差を持っている間はＳ３２におけるオフセット推定演算で、カルマンゲインが１に近づく。これは、観測された振れ量と推定値との誤差を式（１３）にて補正するようにオフセット推定値を更新する働きをする。低周波の振れ量（システムノイズσ_ｘ）が大きくなるにつれて、オフセット推定の更新速度を大きくするようにオフセット推定部３０４の特性が変更される。

また、三脚検出状態での振れの振幅が小さくなるにつれて、式（１１）における動作モデルのノイズの分散がさらに大きくなることでカルマンゲインが１に近づく。これは、観測された振れ量にオフセット推定値が近づくように働く。その理由は、三脚検出状態で振れの小さい状態であれば、観測した振れ量に実際の撮影者の振れによる振れ周波数成分が含まれないため、観測された振れ量の低周波成分はオフセット成分が主であり、オフセット推定の精度が高まるからである。そのため、積極的にオフセットの推定値を観測した振れ量に近づけるように更新処理が行われる。

図７（Ｂ）は横軸に振れ角度信号の高周波成分をとり、縦軸に観測ノイズをとって両者の関係を表したグラフである。積分フィルタ３０６で算出された振れ角度信号のうち、高周波成分が大きくなるにつれて観測ノイズσ_ｚが大きくなる。これは、振れ検出部１７が検出した振れ量のうち、手振れ周波数帯域を含む高周波成分が大きいことを表している。つまり、歩き撮りのような、振れの大きい撮影条件で撮像装置１が保持されている状態であることを示している。

図７（Ｄ）は横軸にパンニング等の検出時の振れの振幅をとり、縦軸にＰ／Ｔ検出状態ノイズをとって両者の関係を表したグラフである。Ｐ／Ｔ検出部３１９によるパンニング検出時の振れの振幅が大きくなるにつれてＰ／Ｔ検出状態ノイズが大きくなる。これは撮影者が意図的に構図変更を行うパンニング動作またはチルティング動作を行っている状態であり、撮像装置１の振れが大きいことを表している。パンニング動作等の判定は、振れが大きい状態という点で観測ノイズの判定で代用可能である。しかし、パンニング動作等のような一定方向への所定時間の動きに対して、単に振れの大きさだけを検出している場合に比べて本実施形態は動き変化の検出精度が高いというメリットがある。

システムノイズおよび三脚検出状態ノイズが変化していない時の状態において、式（１１）では、誤差共分散事前推定値

の値が変化しない。式（１２）で算出されるカルマンゲインｋ_ｔは、観測ノイズおよびＰ／Ｔ検出状態ノイズが大きくなると、算出式の分子に比べて分母の値の割合が大きくなることで０に近づく。逆に、観測ノイズおよびＰ／Ｔ検出状態ノイズが小さくなるにつれて式（１２）で算出されるカルマンゲインｋ_ｔは１に近づく。以上のことから、式（１３）で演算されるオフセット推定値

は、カルマンゲインｋ_ｔが１に近づくにつれて、観測された振れ量ｚ_ｔに近づくように補正される。カルマンゲインｋ_ｔが０に近づくにつれて、オフセット事前推定値

を維持するように更新される。

このような動作によって、振れ検出部１７により検出される振れ量が大きくなるにつれて、Ｓ３２のオフセット推定演算で、カルマンゲインが０に近づく。これは、観測された振れ量と推定値との誤差を式（１３）にて補正しないようにオフセット推定値の更新を遅くする（または更新しない）働きをする。高周波の振れ量（観測ノイズσ_ｚ）が大きくなるにつれて、オフセット推定の更新速度を遅くするようにオフセット推定部３０４の特性が変更される。

同様にパンニング動作等が検出された場合にも、式（１２）における観測モデルのノイズの分散がさらに大きくなることでカルマンゲインが０に近づき、これはオフセット推定の更新を遅くするように働く。

オフセット推定部３０４が以上のような動きとなることで、振れ検出部１７による振れ量に撮影者の動きによって大きな振れが含まれるような撮影条件であっても撮影者の動きによる振れ成分が誤ってオフセット成分として抽出されることを回避できる。すなわち撮影条件や撮影状態によらず、正確にオフセット推定を行うことができる。また、三脚検出状態のように撮像装置の静定状態でオフセット推定値の更新を早める処理が行われる。撮像装置１の電源投入の直後等においてオフセット推定値と真のオフセット値との誤差が大きい状態においてオフセット推定の更新を早める処理が行われる。オフセット推定が完了するまでの速度を速くしつつ、不正確な推定を回避することで像振れ補正性能を向上させることが可能である。

図８から図１０を参照して、各撮影状況でのオフセット推定値の時系列変化の例を示す。図８は撮像装置１の三脚検出状態、つまり静定状態での振れ角速度とオフセット除去後の角速度とオフセット推定値の時間的変化を示す。横軸は時間軸であり、ｍｓｅｃ（ミリ秒）の単位で示す。縦軸は、振れ検出部１７による振れ角速度信号と、オフセット推定値と、オフセット推定値を減算した後の振れ角速度信号を表している。

図８（Ａ）は、比較例として、振れ検出部１７のオフセット成分を固定のカットオフ周波数をもつローパスフィルタで抽出し、オフセット成分を除去した場合の波形例を示す。図８（Ｂ）は本実施形態における波形例を示す。比較例では、像振れ補正の低周波性能を向上させるため、極低周波なカットオフ周波数（例えば０．０１Ｈｚなど）のローパスフィルタを用いてオフセット成分が推定される。そのため、図８（Ａ）で示すようにオフセット成分が除去されるまでに約２２０ｍｓｅｃ程度の時間がかかってしまい、正しくオフセット成分を除去できるまで像振れ補正性能が低下する可能性がある。一方、本実施形態では、三脚状態検出で静定状態と判定した判定結果や、オフセット推定値の真値からの誤差が大きい状態であるといった判定結果に応じてオフセット推定値の更新が早くなる。図８（Ｂ）で示すように正しくオフセット成分を除去できるまでの時間は約５０ｍｓｅｃ程度であり、比較例よりも短縮されることがわかる。

図９は、歩き撮りのような振れが大きい撮影条件での波形例を示す。横軸と縦軸については図８と同じ設定である。図９（Ａ）は比較例における波形例を示す。振れが大きい状態においては、振れ補正部材（補正レンズ等）の制御端への突き当たり（以下、端当たりという）を防止するため、低周波成分を除去するローパスフィルタのカットオフ周波数が静定時に比べて高く設定される。そのため、ローパスフィルタによるオフセット推定値は、除去したい一定値のオフセット成分のみならず撮影時の振れによる周波数成分も含んだ時系列で振幅方向に変動の大きいオフセット推定値となる。その結果、本来、像振れ補正したい振れ成分であるオフセット成分以外の周波数成分が振れ検出値から除去されるので、像振れ補正性能が低下する。

図９（Ｂ）は本実施形態における波形例を示す。振れの高周波成分の大きさを判定し、大きな振れが発生した状態であることが検出されると、オフセット推定の更新を遅くする処理が行われる。オフセット推定部３０４はオフセット成分の周波数のみを推定できている。その結果、オフセット除去後の角速度は、撮影時に発生している振れ周波数成分を減衰させることなく、オフセット成分のみを除去できるので像振れ補正性能が低下しない。

図１０は、撮影者がパンニング動作により構図変更を行った場合の波形例を示す。横軸と縦軸については図８と同じ設定である。図１０（Ａ）は比較例における波形例を示す。想定している撮影者のパンニング動作は、グラフの時間軸に関して７０ｍｓｅｃ付近で所定方向に撮像装置を動かし、１２０ｍｓｅｃ付近で停止させる動作とする。比較例における静定状態では良好に像振れ補正ができているが、パンニング動作の開始と同時にパンニング中の角速度変化がオフセット成分として誤って抽出される。パンニング動作が停止した後に、正しいオフセット成分に戻るまでに時間がかかっている。そのため、オフセット除去後の角速度値は、パンニング動作の停止後にパンニング方向と逆方向の振れ角速度変化として演算されてしまう。この逆振れは、いわゆる揺り戻しの動きとなって撮像画像に現れる。

図１０（Ｂ）は本実施形態における波形例を示す。パンニング動作開始と同時にパンニング検出によるオフセット推定の更新を遅くする処理によって、パンニング動作中のオフセット成分の誤推定を防止することができる。パンニング動作中は、振れ補正部材（補正レンズ等）の端当たりを防止するため、振れ補正を停止して振れ補正部材を基準位置（中央位置等）に戻し、パンニング動作の終了直後から振れ補正を再開させる処理が実施される。本実施形態では、パンニング動作中にオフセット推定値の更新を停止し、パンニング動作の終了時点からオフセット更新を再開させる。よって、パンニング動作の終了直後のオフセット除去後角速度信号には逆振れが発生しないので、逆振れに伴う揺り戻しを防止できる。

本実施形態では、撮像装置の振れ信号について周波数帯域の異なる複数の振れ量の成分に分離したうえで、複数の周波数成分の大きさを判定し、撮影状況を判定した情報に基づいてオフセット推定の更新速度を制御する。高周波の振れ量の成分が大きくなるにつれてオフセット推定値の更新を遅くする特性に変更し、または低周波の振れ量の成分が大きくなるにつれてオフセット推定値の更新を早める特性に変更する制御が行われる。したがって、撮影状態によらず正確にオフセット成分を推定できる。本実施形態によれば、パンニング等により大きな振れが発生した場合でも、広い周波数帯域で安定した像振れ補正を実現できる。

［第２実施形態］
次に、第２実施形態について説明する。本実施形態では、第１実施形態と異なる構成および処理部分のみ説明し、重複する部分の説明を省略する。図１１は、本実施形態に係るレンズ制御部１５の像振れ補正制御にかかわる構成を示すブロック図である。第１実施形態では、帯域制限フィルタ３０３を用いて、振れ検出部１７による振れ量のうち、手振れで発生する主な周波数成分を取り除いてオフセット推定の精度を向上させる方法を説明した。本実施形態は以下の点で第１実施形態と相違する。
・帯域制限フィルタ３０３がないこと。
・動きベクトル情報と補正レンズユニット１９の検出位置の微分値を、オフセット推定部に入力する振れ量から減算していること。
・動きベクトル信頼度判定部４０４が設けられていること。

レンズ位置検出部２０が検出した位置情報は微分器４０３により微分処理され、レンズ速度情報が加算器４０２に出力される。また動きベクトル算出部７ａによって算出された動きベクトル情報が加算器４０２に入力される。加算器４０２はレンズ速度情報と動きベクトル情報の加算結果を加算器４０１に出力する。加算器４０１は、振れ検出部１７の振れ検出信号から、加算器４０２に出力であるレンズ速度情報と動きベクトル情報にそれぞれ対応する信号を減算して、オフセット推定部３０４および加算器３０５へ出力する。

動きベクトル信頼度判定部（以下、単に信頼度判定部という）４０４は動きベクトルの信頼度を判定する。この判定は、算出された動きベクトルと、後述する画像処理情報と、カメラ側操作部９およびレンズ側操作部１６により設定される撮影のための設定情報に基づいて行われる。信頼度判定部４０４は判定した信頼度情報にしたがってゲイン部３１０およびゲイン部３１５の各ゲイン値を所定値に設定する。つまりゲイン部３１０およびゲイン部３１５はいずれも可変ゲイン部であり、オフセット推定部３０４でのオフセット推定に使用されるシステムノイズおよび観測ノイズの大きさをそれぞれ決定する。

図１２のフローチャートを参照して、撮像装置における目標値演算処理について説明する。図４と異なる個所のみ説明し、図５および図６の処理については説明を省略する。Ｓ４の次のＳ３７では、レンズ位置検出部２０により補正レンズユニット１９の検出位置が取得される。取得周期については、レンズ速度情報が動きベクトル情報と合算して使用されるため、レンズ制御部１５はＳ３により判定した動きベクトルの取得周期以上に設定する。Ｓ３８で信頼度判定部４０４は後述する各条件で、算出された動きベクトル、画像処理情報、カメラ側操作部９およびレンズ側操作部１６により設定される撮影のための設定情報に基づいて動きベクトルの信頼度を判定する。Ｓ３９にて信頼度判定部４０４は、動きベクトルの信頼度情報にしたがってゲイン部３１０およびゲイン部３１５のゲイン値を所定値に設定する。

Ｓ６にてレンズ制御部１５は、現時点がオフセット推定処理の実行周期に対応する時点であるかどうかを判定し、当該時点であると判定した場合、Ｓ４０へ進む。Ｓ４０で微分器４０３は、レンズ位置検出部２０により取得される補正レンズユニット１９の検出位置の微分値を算出する。オフセット推定処理は、あらかじめ設定された所定の離散的なタイミングで実行される。そのため、Ｓ４０での微分演算では、１周期前の時点で取得された補正レンズ位置と、現周期の時点で取得された補正レンズ位置との差分が計算される。補正レンズユニット１９の位置の差分演算結果は、像振れ補正により駆動される補正レンズユニット１９の駆動速度（補正レンズ速度）を表す。

像振れ補正部１８により像振れ補正動作が実施されている場合、Ｓ４１で加算器４０２は、算出された動きベクトルと、補正レンズユニット１９の位置微分値である補正レンズ速度とを加算する。この処理では、像振れ補正によって補正された振れ速度と動きベクトルによって検出された振れ残り速度を合算することで、撮像装置１の振れ速度が算出される。また仮に像振れ補正が実施されていない場合には、補正レンズ速度はゼロとなるので、必ずしも補正レンズ速度を加算しなくとも動きベクトル情報がそのまま撮像装置１の振れの検出結果を表わしていることになる。

ここで、動きベクトルは撮像面上での像の移動量を検出した情報であるため、厳密には撮像装置１の角度振れに加えてシフト振れ等の影響を含んでいる。しかし、シフト振れの影響の少ない撮影条件においては、像面上で観察される移動量は角度振れの影響が支配的である。このような条件において、像振れ補正によって補正された振れ速度と、動きベクトルによって検出された振れ残り速度が合算され、撮像装置１の振れ速度として使用される。動きベクトルを用いて算出された撮像装置１の振れ速度を使用することにより、振れ検出部１７に比べてオフセット誤差の少ない撮像装置１の振れそのものを正確に検出できる。Ｓ４２で加算器４０１は、振れ検出部１７の振れ検出信号から、撮像装置１の振れ速度（加算器４０２の出力信号）を減算する。こうして振れ検出部１７のオフセット成分を正確に分離できる。

第１実施形態では、撮像装置１の振れに対して特定周波数の成分をノッチフィルタで減衰させることによって影響を低減させる方法を採用した。本実施形態では振れ検出部１７のオフセット成分を、動きベクトルを用いて正確に分離することで、オフセット成分の推定精度をさらに向上させることができる。但し、動きベクトルの算出においては、取得画像の１フレーム以上前の画像と現時点で取得した画像とが比較され、画像ずれが算出されるので、画像情報が取得できない場合には動きベクトルを算出できない。また撮影条件によっては撮像画像のボケ量が大きく、算出された動きベクトルが正しくない場合もあり得る。そのような場合には第１実施形態の方法が使用される。なお、信頼度の算出方法については各種の方法が知られており、本実施形態にて任意の方法を採用可能である。

動きベクトル情報が撮影条件によって取得できない場合や、後述するように撮影条件によって動きベクトル情報が正しく取得できない場合には、信頼度判定部４０４によって動きベクトル情報の信頼度が判定される。信頼度の判定結果にしたがって、オフセット推定に用いるシステムノイズおよび観測ノイズの大きさを変化させる処理が行われる。動きベクトルの信頼度と、オフセット推定に用いるシステムノイズおよび観測ノイズの大きさの関係について、図１３を参照して説明する。

図１３（Ａ）は、ゲイン部３１０により算出されるノイズ算出用振れ角度信号の低周波成分の大きさを横軸にとり、システムノイズを縦軸にとって両者の関係を表した図である。図１３（Ｂ）は、ゲイン部３１５により算出されるノイズ算出用振れ角度信号の高周波成分の大きさを横軸にとり、観測ノイズを縦軸にとって両者の関係を表した図である。実線のグラフは、第１実施形態でのシステムノイズおよび観測ノイズの大きさを表す。点線のグラフは、動きベクトルの信頼度が高いと判定された場合のシステムノイズおよび観測ノイズの大きさを表す。一点鎖線のグラフは動きベクトルの信頼度が低いと判定された場合のシステムノイズおよび観測ノイズの大きさを表す。

動きベクトルの信頼度が高い場合には、信頼度が低い場合に比べて、同じノイズ算出用の振れ角度信号値に対してシステムノイズを大きくし、観測ノイズを小さくするように設定される。信頼度が高い場合には、加算器４０１により算出される撮像装置１の振れを正確に検出できる。振れ検出部１７が検出した撮影動作時の振れを含む振れ量から、動きベクトルにより算出した撮像装置１の振れを減算することで振れ検出部１７のオフセット成分の分離を正確に行える。そのため、式（１３）におけるカルマンフィルタへ入力される観測された振れ量ｚ_ｔについては、振れ検出部１７のオフセット成分の周波数成分が抽出できる。よって、システムノイズを大きくすること、または観測ノイズを小さくすることでカルマンゲインを１に近づけ、観測された振れ量にオフセット推定値が近づくように補正が行われる。

一方、動きベクトルの信頼度が低い場合には、信頼度が高い場合に比べて、同じノイズ算出用の振れ角度信号値に対してシステムノイズを小さくし、観測ノイズを大きくするように設定される。信頼度が低い場合には、加算器４０１により算出される撮像装置１の振れに誤差が大きく、正確に検出できていない状態である。そのため、振れ検出部１７が検出した撮影動作時の振れを含む振れ量から、動きベクトルにより算出した撮像装置１の振れを減算すると、振れ検出部１７のオフセット成分以外の動きベクトル検出誤差が重畳した振れ信号となる。式（１３）において、システムノイズを小さくすること、または観測ノイズを大きくすることでカルマンゲインをゼロに近づけ、オフセット推定値の更新を遅くする処理が実行される。あるいは更新されないように制限することで、オフセット推定値の更新速度と精度を向上させることができる。

次に、信頼度判定部４０４による動きベクトルの信頼度判定についての条件を説明する。
・移動被写体に対応する動体領域が撮影画像全体に対して所定値以上を占める場合
本実施形態では、動きベクトルにより撮像装置１の振れを検出することが目的であるが、動体領域が撮影画像全体を占めている場合、動きベクトルとして移動被写体の移動速度が検出されてしまう。そこで信頼度判定部４０４は、動体領域が撮影画像全体に対して占める割合が大きくなるにつれて信頼度を低く設定する。

・カメラ側操作部９により撮影者によって設定されたＩＳＯ感度設定値が所定値よりも高い場合
ＩＳＯ感度設定値を高くすると撮像部による電気信号を増幅する際にノイズ成分も増幅されるため、ＩＳＯ感度を高くするほど、画像から検出した動きベクトルにノイズが混入してしまい、動きベクトルの信頼度が低下する。そこで、信頼度判定部４０４は撮像部の撮像感度の設定値が高くなるにつれて信頼度を低く設定する。

・被写体のコントラスト値が所定値よりも低い場合
動きベクトルを算出する際、ブロックマッチング処理にて被写体のコントラスト値が低いと画像の類似点の判定が困難となり、マッチング結果に誤差が発生する。そこで、信頼度判定部４０４は、被写体のコントラスト値が低くなるにつれて信頼度を低く設定する。

・繰り返しパターンのある被写体領域が撮影画像全体に対して所定値以上を占めている場合
撮影画像中に周期的なパターン（縞模様のような繰り返しパターン）が存在して撮影画像全体を占めていると、ブロックマッチング処理により誤った動きベクトルが検出されることがある。そこで、信頼度判定部４０４は周期的なパターンが撮影画像全体の領域に対して占める割合が大きくなるにつれて信頼度を低く設定する。

・撮像装置から第１被写体までの距離と、撮像装置から第１被写体とは異なる距離の第２被写体までの距離との差が所定値以上離れており、これらの被写体領域が撮影画像全体に対して所定値以上を占めている場合
撮像装置から被写体までの距離によって撮像面での画像の動き量と、実際の被写体の移動速度の関係が異なる。そのため、動きベクトルの検出に用いる画像中に撮像装置からの距離が遠い被写体と近い被写体が混在して、被写体領域が撮影画像全体に対して所定値以上を占めている場合、動きベクトルに誤差が生じ得る。そこで、信頼度判定部４０４は、撮像装置から第１被写体までの距離と撮像装置から第２被写体までの距離との差が閾値以上である場合に、被写体領域が撮影画像全体に対して占める割合が大きくなるにつれて信頼度を低く設定する。

・ローリングシャッタ歪み量が所定値よりも大きい場合
撮像部がＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサを有する場合、高速に動く被写体を撮影すると取り込む時間差により画像に差異が生じ、高速に移動しているものを動画で撮影すると歪みが生じる。歪んだ画像を用いて動きベクトルを検出した場合、動きベクトルの検出に誤差が生じ得る。そこで、信頼度判定部４０４は、撮影画像のローリングシャッタ歪み量が大きくなるにつれて信頼度を低く設定する。

・被写体のテクスチャの相関値の最大値が低い場合
動きベクトル検出時にマッチングの基準領域とサーチ領域との相関値の最大値が低い場合には、基準領域とサーチ領域との類似度が低いと考えられ、信頼度が低いと判定される。信頼度判定部４０４は、被写体のテクスチャの相関値の最大値が小さくなるにつれて信頼度を低く設定する。

・被写体のテクスチャの相関値の最大値と最小値の差分と、相関値の最大値と平均値の差分との比率が小さい場合
相関値の最大値と最小値の差分と、最大値と平均値の差分との比率は、相関値ピークの急峻性を表わしており、比率が小さい場合、基準領域とサーチ領域との類似度が低いと考えられ、信頼度が低いと判定される。信頼度判定部４０４は、被写体のテクスチャの相関値の最大値と最小値の差分と、相関値の最大値と平均値の差分との比率が小さくなるにつれて信頼度を低く設定する。なお、相関値の算出方法については差分絶対値和（Sum of Absolute Difference）を用いる方法があるが、どのような算出方法を用いてもよい。

図１４、図１５、図１６は、振れの角速度と、オフセット推定部３０４によるオフセット推定値の時系列変化の一例を示す。各波形の想定撮影状況は、図８、図９、図１０にそれぞれ対応する。図１４において、動きベクトル信頼度が高いときには、図１４の下図で示すように、オフセット推定に用いる振れ角速度の値から撮影による振れ周波数成分があらかじめ取り除かれている。本実施形態は第１実施形態に比べてシステムノイズを大きく、観測ノイズを小さく設定できるため、オフセット推定値の更新を早めることができる。図１５においても同様の効果が得られる。

図１６においては、動きベクトルによりパンニング動作中の角速度変化が検出され、オフセット推定に用いる振れ角速度から取り除かれる。そのため、第１実施形態に比べてオフセット推定精度をより高めることができる。

本実施形態では、撮像装置の振れ成分と振れ検出部の出力のオフセット成分を、動きベクトルを用いることでより正確に分離することができ、オフセット推定の更新速度と推定精度を向上させることができる。

前記実施形態では撮像光学系の補正レンズの移動制御によって像振れ補正を行う装置を説明した。本発明は、これに限らず、撮像素子の移動制御によって像振れ補正を行う装置や、補正レンズの移動制御と撮像素子の移動制御を併用して像振れ補正を行う装置に適用可能である。

５カメラシステム制御部
１５レンズシステム制御部
１７振れ検出部
１８像振れ補正部
１９補正レンズユニット

本発明の一実施形態の像振れ補正装置は、撮像装置の振れを検出する振れ検出手段の出力のオフセット成分を推定する推定手段と、前記振れ検出手段の出力に基づいて所定の周波数帯域の成分よりも低周波成分である第１の振れ量を取得し、前記第１の振れ量に基づいて前記推定手段の特性を変更する変更手段と、前記振れ検出手段の出力から前記推定手段により推定された前記オフセット成分が減算された出力を用いて像振れ補正の制御を行う制御手段と、を備え、前記変更手段は、前記第１の振れ量が第１の値の場合、前記第１の振れ量が前記第１の値よりも小さな第２の値の場合よりも、前記推定手段によるオフセット成分の推定値の更新度合いが大きくなるよう前記推定手段の特性を変更する。

Claims

撮像装置の振れを検出する振れ検出手段の出力のオフセット成分を推定する推定手段と、
前記振れ検出手段の出力を複数の周波数帯域の成分に分離した第１および第２の振れ量を算出し、前記振れ量にしたがって前記推定手段の特性を変更する変更手段と、
前記振れ検出手段の出力から前記推定手段により推定された前記オフセット成分が減算された出力を用いて補正手段を制御することにより像振れ補正を行う制御手段と、を備え、
前記変更手段は、前記第１の振れ量が大きくなるにつれて前記推定手段によるオフセット成分の推定値の更新を遅くする特性に変更し、または前記第１の振れ量よりも低周波である前記第２の振れ量が大きくなるにつれて前記推定手段によるオフセット成分の推定値の更新を早める特性に変更する
ことを特徴とする像振れ補正装置。
前記変更手段は、前記振れ検出手段により検出される信号から前記推定手段によるオフセット成分の推定値を減算した信号を取得し、当該信号を周波数帯域の異なる成分に分離して前記第１および第２の振れ量を算出する
ことを特徴とする請求項１に記載の像振れ補正装置。
前記振れ検出手段により検出される信号に対して、予め定められた周波数帯域での帯域制限を行うフィルタをさらに備え、
前記変更手段は、前記フィルタにより帯域制限された信号から前記推定手段によるオフセット成分の推定値を減算した信号を取得する
ことを特徴とする請求項１に記載の像振れ補正装置。
前記変更手段は、撮像装置の静定状態が検出された場合、前記撮像装置の振れが小さくなるにつれて前記推定手段によるオフセット成分の推定値の更新を早める特性に変更する
ことを特徴とする請求項１から３のいずれか１項に記載の像振れ補正装置。
前記変更手段は、撮像装置のパンニングまたはチルティングが検出された場合、前記撮像装置の振れが大きくなるにつれて前記推定手段によるオフセット成分の推定値の更新を遅くする特性に変更する
ことを特徴とする請求項１から４のいずれか１項に記載の像振れ補正装置。
撮像された複数の画像から動きベクトルを検出する第１の検出手段と、
前記振れ検出手段の出力および前記動きベクトルを用いて、前記撮像装置の静定状態、またはパンニングもしくはチルティングの状態を検出する第２の検出手段を備える
ことを特徴とする請求項４または請求項５に記載の像振れ補正装置。
撮像された複数の画像から動きベクトルを検出する検出手段を備え、
前記推定手段は、前記振れ検出手段の出力から前記動きベクトルを減算した出力を用いて前記オフセット成分を推定する
ことを特徴とする請求項１に記載の像振れ補正装置。
前記変更手段は、前記動きベクトルの信頼度を判定して前記推定手段によるオフセット成分の推定値の更新速度を変更する
ことを特徴とする請求項７に記載の像振れ補正装置。
前記変更手段は、撮影画像にて移動被写体に対応する動体領域が撮影画像全体に対して占める割合が大きくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、撮像感度の設定値が高くなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、被写体のコントラスト値が低くなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、撮影画像中に周期的なパターンを有する領域が存在し、当該領域が撮影画像全体に対して占める割合が大きくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、撮像装置から第１被写体までの距離と撮像装置から第２被写体までの距離との差が閾値以上である場合に、前記第１および第２被写体の領域が撮影画像全体に対して占める割合が大きくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、撮像画像のローリングシャッタ歪み量が大きくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、被写体のテクスチャの相関値の最大値が小さくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、被写体のテクスチャの相関値の最大値と最小値の差分と、前記相関値の最大値と平均値の差分との比率が小さくなるにつれて前記信頼度を低く設定する
ことを特徴とする請求項８に記載の振れ補正装置。
前記変更手段は、前記動きベクトルの信頼度が低い場合に、前記動きベクトルの信頼度が高い場合に比べて、前記推定値の更新を遅くする処理または更新を制限する処理を行う
ことを特徴とする請求項８から１６のいずれか１項に記載の像振れ補正装置。
請求項１から１７のいずれか１項に記載の像振れ補正装置を備える
ことを特徴とする撮像装置。
撮像装置の振れを検出する振れ検出手段の出力のオフセット成分を推定手段が推定する工程と、
前記振れ検出手段の出力を複数の周波数帯域の成分に分離した第１および第２の振れ量を変更手段が算出し、前記振れ量にしたがって前記推定手段の特性を変更する工程と、
前記振れ検出手段の出力から前記推定手段により推定された前記オフセット成分が減算された出力を用いて、制御手段が補正手段を制御することにより像振れ補正を行う工程と、を有し、
前記変更手段によって前記推定手段は、前記第１の振れ量が大きくなるにつれて前記オフセット成分の推定値の更新を遅くする特性に変更され、または前記第１の振れ量よりも低周波である前記第２の振れ量が大きくなるにつれて前記オフセット成分の推定値の更新を早める特性に変更される
ことを特徴とする像振れ補正装置の制御方法。