JP2021149067A - 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】動きベクトルを用いて角速度センサのオフセット値を推定する場合の、推定精度の低下を抑制する。【解決手段】撮像装置の振れを検出する振れ検出手段の出力を取得する第１の取得部と、撮像装置により撮像された複数の画像から動きベクトルを検出する動きベクトル検出部と、振れ検出手段の出力と動きベクトルとの差分を用いて求められる振れ検出手段の観測オフセット値と、それまでに推定された振れ検出手段の事前オフセット推定値とを用いて、振れ検出手段のオフセット値の推定値を算出する推定部と、振れ検出手段の出力と、オフセット値の推定値とを用いて、像ブレ補正手段を駆動して像ブレを補正するための補正量を算出する算出部と、を備え、推定部は、撮像装置の撮像動作に用いられる撮像光学系における可動レンズの駆動動作に応じて、観測オフセット値の信頼性を変化させて、オフセット値の推定値を算出する。【選択図】 図６

Description

本発明は、カメラの振れに起因する像ブレを補正する技術に関するものである。

撮像装置の小型化や光学系の高倍率化に伴い、手振れ等に起因する像ブレによる画質の低下が目立ちやすくなってきている。そのため、近年、多くの撮像装置および撮影レンズに、像ブレを補正するための像ブレ補正機能が搭載されている。

この像ブレ補正機能は、例えば、角速度センサを用いて撮像装置の振れの角速度を検出し、角速度検出信号に応じて振れ補正レンズや撮像素子等を移動制御することにより実現される。この場合、角速度センサの出力信号には、個体差による基準電圧のばらつき等の直流成分（オフセット成分）が含まれる。角速度センサの出力信号をオフセット成分が含まれたまま積分して角度信号を算出すると、オフセット成分により積分誤差が積み上がり、正確な振れ補正を行うことができない。

この問題を解決するために、特許文献１には、角速度センサの出力と、画像のフレーム間の差分による動きベクトルと、振れ補正部材の速度とを入力として、カルマンフィルタや逐次最小二乗法を用いてオフセットを推定する方法が開示されている。この手法によれば、推定結果を用いて角速度センサの出力からオフセット成分を除去することが可能となる。

特開２００５−４３７８０号公報

しかしながら、特許文献１に開示されている方法には、次のような問題がある。通常、撮像装置において、フォーカスレンズまたはズームレンズなどの可動レンズを駆動させて撮影光学系の調整を行なうと、駆動機構の誤差により、可動レンズが光軸と異なる方向にわずかに移動し、撮影光学系の光軸にズレが生じてしまう場合がある。動きベクトルにより角速度センサのオフセット値を推定する際に、このような可動レンズの駆動があると、動きベクトルに光軸ズレによる像の動き成分が誤差として重畳されてしまい、撮像装置の動きを表す本来の動きベクトルが得られない。その結果、角速度センサのオフセット推定値に誤差が生じてしまうことが考えられる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動きベクトルを用いて角速度センサのオフセット値を推定する場合の、推定精度の低下を抑制することである。

本発明に係わる像ブレ補正装置は、撮像装置の振れを検出する振れ検出手段の出力を取得する第１の取得手段と、前記撮像装置により撮像された複数の画像から動きベクトルを検出する動きベクトル検出手段と、前記振れ検出手段の出力と前記動きベクトルとの差分を用いて求められる前記振れ検出手段の観測オフセット値と、それまでに推定された前記振れ検出手段の事前オフセット推定値とを用いて、前記振れ検出手段のオフセット値の推定値を算出する推定手段と、前記振れ検出手段の出力と、前記オフセット値の推定値とを用いて、像ブレ補正手段を駆動して像ブレを補正するための補正量を算出する算出手段と、を備え、前記推定手段は、前記撮像装置の撮像動作に用いられる撮像光学系における可動レンズの駆動動作に応じて、前記観測オフセット値の信頼性を変化させて、前記オフセット値の推定値を算出することを特徴とする。

本発明によれば、動きベクトルを用いて角速度センサのオフセット値を推定する場合の、推定精度の低下を抑制することが可能となる。

本発明の一実施形態に係わる撮像装置の構成を示す図。 一実施形態における像ブレ補正制御部の構成を示すブロック図。 振れ検出信号のオフセット成分を説明する図。 フォーカスレンズの光軸ズレによる像面上での光軸の移動を説明する図。 一実施形態における像ブレ補正駆動量の算出を説明するフローチャート。 一実施形態におけるオフセット推定演算を説明するフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

なお、本発明は、ビデオカメラ、デジタルスチルカメラ、それらの交換レンズ等の光学機器、撮像部を有する電子機器等に適用可能である。

図１を参照して、本発明の一実施形態の撮像装置について説明する。図１（ａ）は、本実施形態に係る像ブレ補正装置を含む撮像装置の構成の概要を示す中央断面図である。図１（ｂ）は撮像装置の電気的構成を示すブロック図である。本実施形態では交換レンズ式カメラを例に挙げて説明する。被写体側を前側と定義して各部の位置関係について説明する。

図１（ａ）に示す撮像装置１００は、その本体部１にレンズユニット２を装着した状態で撮影が可能である。撮像動作に用いられるレンズユニット２は、複数のレンズからなる撮像光学系３を有し、光軸４は撮像光学系３の光軸を示す。レンズユニット２内の補正レンズユニット１９は、ユーザの手振れ等による撮像画像の像ブレを補正するための補正レンズを備える。本体部１は内部に撮像素子６を備え、後部に背面表示装置１０ａを備える。電気接点１４は本体部１とレンズユニット２とを電気的に接続する。

図１（ｂ）において、本体部１はカメラシステム制御部（以下、カメラ制御部という）５を備え、レンズユニット２はレンズシステム制御部（以下、レンズ制御部という）１５を備える。カメラ制御部５とレンズ制御部１５は、電気接点１４を介して相互に通信可能である。

まず、レンズユニット２内の構成について説明する。レンズ側操作部１６は、ユーザが操作する操作部材を備え、ユーザの操作指示をレンズ制御部１５に通知する。振れ検出手段であるレンズ側振れ検出部（以下、振れ検出部という）１７は角速度センサを備え、レンズユニット２の振れ量を検出し、振れ検出信号をレンズ制御部１５に出力する。例えばジャイロセンサを用いて、撮像光学系３の光軸４に対する、ピッチ方向、ヨー方向、ロール方向の回転を検出することができる。

像ブレ補正部１８は、レンズ制御部１５からの制御指令にしたがって、補正レンズユニット１９の駆動制御を行い、像ブレを補正する。補正レンズユニット１９は、光軸４に垂直な平面内でシフト駆動またはチルト駆動される補正レンズとその駆動機構部を備える。補正レンズ位置検出部２０は補正レンズユニット１９の位置検出を行い、位置検出信号をレンズ制御部１５に出力する。焦点位置変更部２２はレンズ制御部１５からの制御指令にしたがってフォーカスレンズ２１の駆動制御を行い、撮像光学系３の焦点位置を変更する。

レンズ側記憶部２３は、分散保持部とオフセット値保持部とを含み、レンズ制御部１５からの指示により、後述する分散値やオフセット値などの情報を保持することが可能である。

次に撮像装置１００の本体部１内の構成について説明する。撮像部を構成する撮像素子６は、撮像光学系３を通して結像される被写体の光像を光電変換して電気信号を出力する。被写界の物体光は、撮像光学系３を介して撮像素子６の撮像面に結像され、撮像素子６では焦点調節用の評価量や適切な露光量が得られる。撮像光学系３が調整されることにより、適正光量の物体光を撮像素子６に露光させることができ、撮像素子６の近傍に被写体像が結像される。

画像処理部７は、撮像素子６の出力信号を取得して画像処理を行い、画像データを記憶部８に記憶する処理を行う。画像処理部７は内部にＡ（アナログ）／Ｄ（デジタル）変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成する。画像処理部７は色補間処理部を備え、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像データを生成する。また画像処理部７は、予め定められた圧縮方式で画像、動画、音声等のデータ圧縮を行う。画像処理部７は、撮像素子６により取得された複数の画像を比較し、動きベクトル検出を行うことにより画像の動き量を取得する。つまり画像処理部７は、撮像画像に基づく動き量である動きベクトルを算出する動きベクトル検出部７ａを備える。

焦点検出部１１は、画像処理部７で取得された画像を用いて焦点検出動作を行い、被写体のピント状態を検出する。そして、焦点検出部１１は合焦状態にするためのフォーカスレンズ２２の移動量を、カメラ制御部５を介して焦点位置変更部２２へ出力する。

カメラ制御部５は、本体部１およびレンズユニット２からなる撮像装置１００の制御を統括する。カメラ制御部５は画像処理部７と記憶部８の制御を行う。カメラ側操作部９は操作部材を備え、ユーザの操作指示をカメラ制御部５に通知する。表示部１０は背面表示装置１０ａ、本体部１の上面に設けられた撮影情報を表示する不図示の小型表示パネル、ＥＶＦ（電子ビューファインダ）等を備える。表示部１０はカメラ制御部５からの制御指令にしたがって画像表示を行い、画像情報等をユーザに提示する。画像データの記録再生処理はカメラ制御部５の制御下で、画像処理部７と記憶部８を用いて実行される。例えば撮像画像データは記録媒体に記録され、または外部インタフェースを通じて外部装置に送信される。

撮像装置１００の各構成部の制御は、カメラ制御部５およびレンズ制御部１５によって行われ、ユーザ操作に応じて静止画撮影および動画撮影が可能である。カメラ制御部５およびレンズ制御部１５はそれぞれＣＰＵ（中央演算処理装置）を備えており、所定のプログラムを実行することにより各構成部の動作制御や処理を行う。例えば、レンズ制御部１５はカメラ制御部５と通信し、補正レンズユニット１９の駆動制御や、フォーカスレンズ２１の駆動による焦点調節制御、絞り制御、ズーム制御等を行う。

カメラ制御部５は、撮像の際のタイミング信号等を生成して各構成部に出力し、ユーザ操作に応動して撮像処理、画像処理、記録再生処理をそれぞれ実行する。例えば、ユーザがカメラ側操作部９に含まれるシャッタレリーズボタンを操作した場合、カメラ制御部５はスイッチ信号を検出して撮像素子６、画像処理部７等を制御する。さらにカメラ制御部５は、表示部１０が備える情報表示デバイスを制御する。また、背面表示装置１０ａは表示画面部にタッチパネルを備え、ユーザ操作を検出してカメラ制御部５に通知する。この場合、背面表示装置１０ａは操作機能と表示機能を兼ね備える。

次に、撮像光学系３の調整動作について説明する。画像処理部７は、撮像素子６の出力信号を取得し、カメラ側操作部９による撮影者の操作に基づいて、撮像光学系３の適切な焦点位置、絞り位置を求める。カメラ制御部５は、電気接点１４を介してレンズ制御部１５に制御指令を送信する。レンズ制御部１５は、カメラ制御部５からの制御指令にしたがって、焦点距離変更部２２、および不図示の絞り駆動部を適切に制御する。

像ブレ補正モードが設定された場合、レンズ制御部１５はカメラ制御部５から像ブレ補正モードへの移行指令を受け付けると、像ブレ補正の制御を開始する。レンズ制御部１５は振れ検出部１７から振れ検出信号を取得し、補正レンズ位置検出部２０から位置検出信号を取得して像ブレ補正部１８の制御を行う。像ブレ補正部１８は、例えばマグネットと平板コイルを用いたアクチュエータにより、補正レンズユニット１９を駆動する。補正レンズ位置検出部２０は、例えばマグネットとホール素子を備える。具体的な制御方法としては、まずレンズ制御部１５が振れ検出部１７から振れ検出信号を取得し、像ブレ補正を行うための補正レンズユニット１９の駆動量（補正量）を算出する。レンズ制御部１５は算出した駆動量を、像ブレ補正部１８への指令値として出力して補正レンズユニット１９を駆動する。補正レンズ位置検出部２０による検出位置が指令値に追従するようにフィードバック制御が行われる。

図２は、レンズ制御部１５における像ブレ補正制御に関わる構成例を示すブロック図である。なお、像ブレ補正軸としてピッチ方向、ヨー方向、ロール方向の各軸については同様の構成であるため、１軸についてのみ説明を行う。

図２において、破線で囲まれた範囲がレンズ制御部１５に含まれる。振れ検出部１７は、撮像装置１００に生じる振れを検出し、振れ検出信号を、減算器３６およびＬＰＦ（ローパスフィルタ）３８に出力する。ＬＰＦ３８は、振れ検出信号の高周波帯域を遮断し、減算器３５に出力する。動きベクトル検出部７ａは、撮像された複数の画像から動きベクトルを検出し、動きベクトル検出信号をＬＰＦ３９に出力する。ＬＰＦ３９は、ＬＰＦ３８と同じ遮断帯域に設定されており、動きベクトル検出信号の高周波帯域を遮断し、減算器３５に出力する。

減算器３５は、それぞれ帯域制限された振れ検出部１７の振れ検出信号から動きベクトル検出部７ａのベクトル検出信号を減算し、オフセット推定部３３に出力する。焦点位置変更部２２は、後述する焦点検出動作の結果に応じてフォーカスレンズ２１の駆動量を算出してフォーカスレンズ２１を駆動させるとともに、駆動タイミング信号をオフセット推定部３３に出力する。

オフセット推定部３３は、減算器３５の出力と焦点位置変更部２２の出力に基づき、カルマンフィルタを用いて振れ検出部１７の出力信号のオフセット成分を推定し、推定されたオフセット値が減算器３６に出力される。オフセット推定部３３の演算方法の詳細については後述する。

減算器３６は、振れ検出部１７の出力信号からオフセット推定部３３のオフセット値を減算し、積分器３４に出力する。積分器３４は、減算器３６の出力信号に積分処理を施す。積分器３４の出力信号は補正レンズユニット１９の像ブレ補正駆動量として出力される。

上述のように、振れ検出部１７と動きベクトル検出部７ａの差分により、振れ検出部１７のオフセット値の推定を行うが、動きベクトルの検出時点で、焦点検出動作によりフォーカスレンズが駆動された場合、以下のような問題がある。

フォーカスレンズ（可動レンズ）は、機械的な駆動により焦点位置を調整するように構成されている。そのため、駆動機構の誤差により、フォーカスレンズの駆動時にその中心が光軸と略直交する方向に移動する。つまり、光軸のズレが生じてしまう。ある被写体を撮影している状態で光軸ズレが発生すると、被写体像が撮像素子６の像面上で光軸と略直交する方向に移動する。その結果、動きベクトル検出部７ａの検出信号には、手振れによる撮像装置１００の振れに加えて光軸ズレによる像の移動が含まれることになる。そのため、この信号と、オフセット成分の含まれる振れ検出部１７の検出信号との差分をとっても、正確なオフセット成分は得られず、光軸ズレによる像の移動量が含まれた値が算出されてしまうこととなる。

図３、図４は、振れ検出信号のオフセット成分と、フォーカスレンズの移動に伴う光軸ズレの影響を示す信号の模式図である。

図３はフォーカスレンズの駆動はない状態を示し、横軸に時間、縦軸に像面位置［μｍ］をとっている。図３において、細線６１は振れ検出部１７の振れ信号出力を積分し像面での移動量に換算した値を示し、太線６２は動きベクトル検出部７ａのベクトル検出信号を像面での移動量に換算した値を示している。そして、１点鎖線６３は細線６１の値から太線６２の値を減算した値を示し、振れ検出部１７のオフセット成分を表している。振れ検出部１７の信号にはオフセット成分が含まれるため、積分されることで１点鎖線６３で示すように、誤差が積算されていく。

一方、図４（ａ）において、波形６４は焦点位置変更部２２によるフォーカスレンズ駆動命令のタイミングを示しており、横軸に時間、縦軸に駆動命令信号のＨＩ，ＬＯＷを示している。駆動命令信号がＨＩの場合、フォーカスレンズ２１を無限遠側に移動し、駆動命令信号がＬＯＷの場合、フォーカスレンズ２１を至近側に移動し、０の場合は停止させる。

図４（ｂ）において、波形６５はフォーカスレンズの光軸方向の移動を示しており、横軸に時間、縦軸にフォーカスレンズの光軸方向の移動位置を示している。縦軸０の位置がフォーカスレンズ２１の基準位置であり、正の方向が基準位置から無限遠側に向かう方向を、負の方向が基準位置から至近側に向かう方向を示している。

図４（ｃ）において、波形６６はフォーカスレンズ２１の移動に伴う光軸ズレによる被写体像の移動量を示しており、横軸に時間、縦軸に光軸ズレに伴う光軸と直交する方向への被写体像の移動量（像面上での被写体像の移動量）を示している。縦軸０の位置が撮像素子６の中心を示し、縦軸の負の方向がＹ軸（図１参照）の負の方向への被写体像の移動を、縦軸の正の方向がＹ軸の正の方向への被写体像の移動を示している。図４（ａ）、図４（ｂ）、図４（ｃ）における横軸の時間は同期しており、フォーカスレンズ２１への駆動命令のタイミング、フォーカスレンズ２１の光軸方向の移動、光軸ズレによる被写体像の像面上での移動量は、それぞれ時間軸が一致するように示されている。なお、光軸ズレの影響は、図４（ｃ）で示した被写体像のＹ軸方向への移動以外に、Ｘ軸方向（図１参照）への移動も伴うが、Ｙ軸方向の移動と同様であるので、説明を省略する。

時刻ｔ１において、フォーカスレンズ２１は停止している状態である。

時刻ｔ２において、図４（ａ）の駆動命令信号がＨＩになり、フォーカスレンズ２１が基準位置から無限遠側に移動すると、それに伴って光軸ズレにより像面上での被写体像の移動が発生する。

時刻ｔ３において、図４（ａ）の駆動命令信号が０になり、フォーカスレンズ２１が所望の位置Ｐ１に到着すると、フォーカスレンズ２１の駆動が停止される。

時刻ｔ４において、駆動命令信号がＬＯＷになり、フォーカスレンズ２１が今度は至近側に移動すると、再び光軸ズレによる被写体像の像面上での移動が発生する。

時刻ｔ５において、駆動命令信号が０になり、フォーカスレンズ２１が所望の位置Ｐ２に到着すると、フォーカスレンズ２１の駆動が停止される。

このように、フォーカスレンズ２１が駆動命令を受けて移動することにより、フォーカスレンズの光軸ズレによる像面上での被写体像の移動が発生し、図３の太線６２で示す動きベクトルの検出信号に、被写体像の像面上での移動量が重畳されてしまう。その結果、オフセット推定の精度が下がり、振れ補正精度が低下してしまう。

そこで、本実施形態では、焦点位置変更部２２によるフォーカスレンズ２１への駆動命令信号のタイミングを受けた場合は、フォーカスレンズ２１の駆動期間では、オフセット推定部３３によるオフセット推定結果の信頼度を下げる処理を行う。これにより、フォーカスレンズ２１の駆動を行なっても、オフセット値の推定精度の低下を抑制することができる。

次に、図５、図６のフローチャートを参照して、撮像装置１００における像ブレ補正部１８の振れ補正駆動量の算出処理について説明する。図５のフローチャートは、画像処理部７での画像の取得周期ごとに繰り返し実行される。

図５においてフローが開始されると、ステップＳ１において、振れ検出部１７は撮像装置１００の振れを検出する。

ステップＳ２において、動きベクトル検出部７ａは取得された画像と、その１フレーム前に取得された画像を用いて動きベクトルを検出する。

ステップＳ３において、焦点検出部１１は焦点検出動作を行い、被写体のピント状態が検出される。そして、焦点位置変更部２２によりピント状態に応じてフォーカスレンズ２１の移動が行われる。

ステップＳ４において、オフセット推定部３３は振れ検出信号に含まれるオフセット成分を推定する。ステップＳ４のオフセット推定処理はサブルーチン化されており、図６を用いて後述する。

ステップＳ５において、減算器３６は振れ検出部１７から出力される振れ検出信号からオフセット推定部３３から出力されるオフセット推定値を減算する。

ステップＳ６において、積分器３４はオフセットの除去された振れ検出信号に積分処理を施し、像ブレ補正部１８にブレ補正駆動量として出力する。

次に、数式を用いてオフセット推定処理について説明する。まず、数式を用いてオフセット処理によるオフセット値の推定について説明する。オフセット推定部３３を公知の線形カルマンフィルタで構成する場合、線形カルマンフィルタの一般的な式は以下の式（１）〜式（７）で表すことができる。

ｘ_t＝Ａｘ_t-1＋Ｂｕ_t＋ε_t …式（１）
ｚ_t＝Ｃｘ_t＋δ_t …式（２）
ここで式（１）は状態空間表現での動作モデルを表し、式（２）は観測モデルを表す。Ａは動作モデルでのシステムマトリクス、Ｂは入力マトリクスを表す。またＣは観測モデルでの出力マトリクスを表し、それぞれは行列式で表現される。また、ε_tはプロセスノイズ、δ_tは観測ノイズ、ｔは離散的な時間を表す。

ここで、式（３）は予測ステップにおける事前推定値を、式（４）は事前誤差共分散を表す。またΣ_xは動作モデルのノイズの分散を表す。

ここで、式（５）はフィルタリングステップにおけるカルマンゲインの算出式を表し、添え字のＴは転置行列を表している。さらに式（６）はカルマンフィルタによる事後推定値、式（７）は事後誤差共分散を表す。またΣ_zは、観測モデルのノイズの分散を表す。

本実施形態では、振れ検出部１７のオフセットを推定するため、オフセット値をｘ_tとし、観測された振れ量から求まるオフセット値をｚ_tとする。オフセット成分のモデルは式（１）における入力項ｕ_tがなく、式（１）および式（２）でＡ＝Ｃ＝１となる以下の１次線形モデルで表すことができる。

ｘ_t＝ｘ_t-1＋ε_t …式（８）
ｚ_t＝ｘ_t＋δ_t …式（９）
ここで、式（４）における動作モデルのノイズの分散Σ_xを、システムノイズの分散σ_x ²で表し、式（５）における観測モデルのノイズの分散Σ_zを、観測ノイズの分散σ_z ²で表す。

さらに、時刻ｔにおける事前オフセット推定値をｘ^_t ^-、事前誤差分散をσ_ｘ^t- ²、カルマンゲインをｋ_t、観測ノイズの分散をσ_zt ²、振れ検出部１７と動きベクトル検出部７ａにより観測されたオフセットをｚ_tとすると以下の式でカルマンフィルタを構成することができる。

オフセット推定部３３は上記式（１０）から式（１４）までの演算式で構成される。式（１０）に示されるように、推定演算の更新周期の時間ｔ−１でのオフセット推定値ｘ^_t-1により、事前オフセット推定値ｘ^^-が算出される。式（１１）に示されるように、時間ｔ−１での事後誤差分散σ_ｘ^t-1 ²、システムノイズの分散σ_ｘ ²により、事前誤差分散σ_ｘ^t- ²が算出される。

そして、式（１２）に示されるように、事前誤差分散σ_ｘ^t- ²および、観測ノイズ分散をσ_zt ²を基に、カルマンゲインｋ_tが算出される。

そして、式（１３）によって、観測されたオフセットｚ_tと事前オフセット推定値ｘ^^-との誤差にカルマンゲインｋ_tを乗じた値によって、事前オフセット推定値ｘ^^-が修正され、オフセット推定値ｘ^_tが算出される。また式（１４）により事前誤差分散σ_ｘ^t- ²が修正されて、事後誤差分散σ_ｘ^t ²が算出される。これらの演算によって事前推定値の更新と修正を演算周期ごとに繰り返すことでオフセット推定値が算出される。

次に図６のフローチャートを用いて、時刻ｔ１におけるオフセット推定処理のサブルーチンについて説明する。

図６のフローが開始されると、ステップＳ１１において、オフセット推定部３３は、式（１０）及び式（１１）を用いて、事前オフセット推定値ｘ^^-および事前誤差分散σ_ｘ^t- ²を算出する。

ステップＳ１２において、図５のステップＳ３の焦点検出動作によって、前回の動きベクトル検出時からフォーカスレンズ２１が移動したか否かを判断する。フォーカスレンズ２１の移動がない場合はステップＳ１３に進み、フォーカスレンズ２１の移動があった場合はステップＳ１４に進む。

ステップＳ１３において、オフセット推定部３３は、式（１２）を用いて、事前誤差分散σ_ｘ^t- ²および、観測ノイズ分散σ_zt ²に基づいて、カルマンゲインｋ_tを算出する。

一方、ステップＳ１４においては、オフセット推定部３３は、フォーカスレンズ２１の移動が検出されたので、この後の式（１３）によるオフセット推定に用いられる観測オフセット値ｚ_tの信頼性を下げるため、カルマンゲインｋ_tを０とする。

ステップＳ１５において、オフセット推定部３３は、式（１３）を用いて、事後オフセット推定値ｘ^_tを算出する。

ステップＳ１６において、オフセット推定部３３は、式（１４）を用いて、事後誤差分散σ_ｘ^t ²を算出する。

以上のようにしてサブルーチンのフローを終了する。

本実施形態では、ステップＳ１２においてフォーカスレンズ２１の移動が検出された場合、観測オフセット値ｚ_tの信頼性が低いと判断し、ステップＳ１４においてカルマンゲインｋ_tを０とする。カルマンゲインｋ_tを０とすることにより、ステップＳ１５で算出される事後オフセット推定値ｘ^_tは、前回の事後オフセット推定値ｘ^_tである事前オフセット推定値ｘ^_t ^-と同じ値になる。よって、光軸ズレによる被写体像の像面上での移動の影響が含まれる精度の低い観測オフセット値ｚ_tに、式（１３）での事後オフセット推定値ｘ^_tが影響されることなくオフセット推定を行うことができる。

これにより、フォーカスレンズ２１の駆動を行なっても、オフセット値の推定精度の低下を低減することができる。なお、カルマンゲインを０にすることは、動きベクトルを用いたオフセット推定を行わないように、オフセット推定が停止されることと同義である。本実施形態では、観測オフセット値の信頼性が下がった場合、カルマンゲインｋ_tを下げることにより、観測オフセット値ｚ_tの影響が小さくなるようにして、オフセット推定を行っている。

本実施形態では、焦点位置変更部２２によりフォーカスレンズ２１の駆動期間は、カルマンゲインｋ_tを０としてオフセット推定を行ったが、０でなくステップＳ１３で求めたカルマンゲインに１未満の係数をかけるなどして用いてもよい。また、その他の方法で観測オフセット値の信頼性を下げてもよい。例えば、フォーカスレンズ２１の駆動期間は式（１１）のシステムノイズの分散σ_x ²をその他の期間よりも大きい所定の値に設定して、式（１２）で求められるカルマンゲインが低くなるようにしてもよい。

また、焦点位置変更部２２によるフォーカスレンズ２１の駆動の速度（駆動速度）に応じて、観測オフセット値の信頼性を下げてもよい。例えば、被写体のピント状態の変動が小さく、フォーカスレンズ２１の移動が遅ければ、取得された各フレーム間での光軸ズレによる被写体像の像面上での移動量は、移動速度が速い場合に比べて小さい。つまり、フォーカスレンズ２１の移動に伴う光軸ズレに起因するオフセット推定の精度低下の割合は小さくなる。そこで、フォーカスレンズ２１の移動速度に応じてオフセット推定結果の信頼度を下げる処理を行ってもよい。例えば、移動速度Ｖtが所定値Ｖk以上（所定値以上）の場合は、カルマンゲインを０とするが、Ｖk未満の場合は、式（１５）で求める移動速度に応じた係数αkを、式（１３）で求めたカルマンゲインに乗じるようにしてもよい。

αk＝１−Ｖt／Ｖk …式（１５）
また、フォーカスレンズ２１の光軸方向の位置に対する、フォーカスレンズの光軸ズレによる被写体像（光軸）の像面上での移動位置が予めわかっていれば、以下のような処理を行ってもよい。

駆動機構やアクチュエータの方式によって異なるが、フォーカスレンズ２１の光軸方向の位置と、それに対応する、フォーカスレンズの光軸ズレによる光軸の像面上での位置には相関関係がある。なお、光軸の像面上での位置とは、撮像素子６の像面をＸＹ平面とし、撮像素子６の中心を原点とした場合の、ＸＹ平面における光軸が通過する位置であり、フォーカスレンズの光軸ズレによって光軸の像面上での位置が移動する。

相関関係が高いフォーカスレンズ機構であれば、フォーカスレンズ２１の光軸方向の位置を検出することにより、フォーカスレンズの光軸ズレによる光軸の像面上での位置を求めることができる。そこで、予めフォーカスレンズ２１の光軸方向の位置に対する光軸の像面上での位置を測定して、光軸ズレ情報としてレンズ側記憶部２３に記録しておく。そして、焦点位置変更部２２によりフォーカスレンズ２１の駆動が行われたら、フォーカスレンズ２１の光軸方向の位置を検出する。そして、光軸ズレ情報であるフォーカスレンズ２１の光軸方向の位置に応じた光軸の像面上での位置をレンズ側記憶部２３から読み出し、前回の画像取得時からどれだけ光軸の位置が移動したかである光軸移動量を算出する。そして、前回の画像取得時からの光軸移動量が閾値未満であれば、動きベクトル検出部７ａでの検出への影響が少ないと判断して、オフセット推定部３３での観測オフセット値の信頼性を下げずに保つ。一方、光軸移動量が閾値以上であれば、観測オフセット値の信頼性を下げるように制御してもよい。

なお、信頼性の下げ方としては、カルマンゲインを一律で０にしてもよいし、光軸移動量が大きくなるに従い、カルマンゲインが小さくなるように式（１３）で算出したカルマンゲインに係数をかけてもよい。

光軸ズレ情報は、レンズユニット２の製作工程において測定を行い、レンズ側記憶部２３に記録しおいてもよい。また、ユーザにカメラを三脚に固定するなど静定状態にするように表示部１０に案内を表示し、フォーカスレンズ２１を順次移動させたときの動きベクトルを検出して、光軸ズレ情報を記録するようにしてもよい。

また、上述のように光軸ズレ情報を記憶している場合は、フォーカスレンズ２１の光軸方向の移動に応じて、図２で示す動きベクトル検出部７ａの出力からフォーカスレンズの光軸ズレによる像面上での光軸移動量を差し引いてＬＰＦ３９に出力してもよい。ただし、光軸ズレ情報に記録されたフォーカスレンズ２１の光軸方向の位置に応じた光軸の像面上での位置は、経年変化や温度変化などにより誤差がある。そこで、フォーカスレンズ２１の駆動期間において、オフセット推定部３３での観測オフセット値の信頼性を非駆動期間よりも下げるが、光軸ズレ情報がないレンズユニットよりも信頼性を下げる幅を小さくしてもよい。

本実施形態では、光軸ズレの原因となる撮影光学系の駆動動作としてフォーカスレンズ２１の駆動を例に説明したが、光軸ズレの原因となる撮影光学系の駆動動作であれば、ズームレンズの駆動など、そのほかの駆動動作に対しても本発明は有効である。

（変形例）
上記の実施形態では、レンズユニット２が像ブレ補正部１８を有し、補正レンズユニットを移動させることで像ブレ補正を行っていたが、像ブレ補正を行う方法はこの手法に限定されるものではない。例えば、撮像装置１００の撮像素子６を光軸に対して略直交方向に並進移動できる撮像素子シフト駆動部を配置し、上記のようにして求めた像ブレ補正駆動量に応じて撮像素子６を並進駆動させることが考えられる。なお、撮像素子６の並進駆動量は、レンズユニット２の焦点距離に応じてある係数が乗じられて、振れによる撮像面上での移動量に換算されて決定される。また、撮像素子６、レンズユニット２の両方に振れ補正手段を有していてもよい。さらに、動画撮影における各フレームの位置を切り出すいわゆる電子防振の処理においても、上記の実施形態のオフセット推定の処理は有効である。

また、上記の実施形態の手法は常時動きベクトルが取得され、かつ常時焦点検出動作およびフォーカスレンズ駆動が行われている動画撮影時や、静止画撮影前のいわゆるライブビュー表示中のエイミング動作においても有効である。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：本体部、２：レンズユニット、５：カメラシステム制御部、７ａ：動きベクトル検出部、１１：焦点検出部、１５：レンズシステム制御部、１７：レンズ側振れ検出部、１８：像ブレ補正部、１９：補正レンズユニット、２２：焦点位置変更部、３３：オフセット推定部

Claims (17)

1. 撮像装置の振れを検出する振れ検出手段の出力を取得する第１の取得手段と、
   前記撮像装置により撮像された複数の画像から動きベクトルを検出する動きベクトル検出手段と、
   前記振れ検出手段の出力と前記動きベクトルとの差分を用いて求められる前記振れ検出手段の観測オフセット値と、それまでに推定された前記振れ検出手段の事前オフセット推定値とを用いて、前記振れ検出手段のオフセット値の推定値を算出する推定手段と、
   前記振れ検出手段の出力と、前記オフセット値の推定値とを用いて、像ブレ補正手段を駆動して像ブレを補正するための補正量を算出する算出手段と、を備え、
   前記推定手段は、前記撮像装置の撮像動作に用いられる撮像光学系における可動レンズの駆動動作に応じて、前記観測オフセット値の信頼性を変化させて、前記オフセット値の推定値を算出することを特徴とする像ブレ補正装置。
2. 前記推定手段は、前記動きベクトルを検出する時点で、前記可動レンズが駆動されていた場合に、前記観測オフセット値の信頼性を下げて、前記オフセット値の推定値を算出することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記推定手段は、前記動きベクトルを検出する時点で、前記可動レンズが駆動されていた場合に、前記観測オフセット値に１より小さい係数を乗じて、前記オフセット値の推定値を算出することを特徴とする請求項２に記載の像ブレ補正装置。
4. 前記推定手段は、前記可動レンズの駆動速度が所定値以上の場合に、前記観測オフセット値の信頼性を下げて、前記オフセット値の推定値を算出することを特徴とする請求項２または３に記載の像ブレ補正装置。
5. 前記推定手段は、前記動きベクトルを検出する時点で、前記可動レンズが駆動されていた場合に、前記オフセット値の推定値の算出を行わないことを特徴とする請求項１に記載の像ブレ補正装置。
6. 前記算出手段は、前記振れ検出手段の出力と前記オフセット値の推定値との差分に基づいて、前記補正量を算出することを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ補正装置。
7. 前記補正量は、前記像ブレ補正手段である前記撮像光学系に設けられた振れ補正レンズを駆動する駆動量であることを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。
8. 前記補正量は、前記像ブレ補正手段である前記撮像装置に配置された撮像素子を移動させる機構を駆動する駆動量であることを特徴とする請求項１乃至６のいずれか１項に記載の像ブレ補正装置。
9. 前記可動レンズのそれぞれの移動位置に対応する像面上における光軸ズレの情報を取得する第２の取得手段をさらに備え、前記推定手段は、前記光軸ズレが閾値以上である場合に、前記観測オフセット値の信頼性を下げて、前記オフセット値の推定値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
10. 前記可動レンズのそれぞれの移動位置に対応する像面上における光軸ズレの情報を取得する第２の取得手段をさらに備え、前記推定手段は、前記光軸ズレに対応する被写体像の移動量を前記動きベクトルから減算して、前記オフセット値の推定値を算出することを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
11. 前記可動レンズの駆動動作とは、前記撮像光学系におけるフォーカスレンズの駆動動作であることを特徴とする請求項１乃至１０のいずれか１項に記載の像ブレ補正装置。
12. 前記可動レンズの駆動動作とは、前記撮像光学系におけるズームレンズの駆動動作であることを特徴とする請求項１乃至１１のいずれか１項に記載の像ブレ補正装置。
13. 前記振れ検出手段として、角速度センサを用いることを特徴とする請求項１乃至１２のいずれか１項に記載の像ブレ補正装置。
14. 被写体像を撮像する撮像素子と、
    請求項１乃至１３のいずれか１項に記載の像ブレ補正装置と、
    を備えることを特徴とする撮像装置。
15. 撮像装置の振れを検出する振れ検出手段の出力を取得する第１の取得工程と、
    前記撮像装置により撮像された複数の画像から動きベクトルを検出する動きベクトル検出工程と、
    前記振れ検出手段の出力と前記動きベクトルとの差分を用いて求められる前記振れ検出手段の観測オフセット値と、それまでに推定された前記振れ検出手段の事前オフセット推定値とを用いて、前記振れ検出手段のオフセット値の推定値を算出する推定工程と、
    前記振れ検出手段の出力と、前記オフセット値の推定値とを用いて、像ブレ補正手段を駆動して像ブレを補正するための補正量を算出する算出工程と、を有し、
    前記推定工程では、前記撮像装置の撮像動作に用いられる撮像光学系における可動レンズの駆動動作に応じて、前記観測オフセット値の信頼性を変化させて、前記オフセット値の推定値を算出することを特徴とする像ブレ補正装置の制御方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の像ブレ補正装置の各手段として機能させるためのプログラム。
17. コンピュータを、請求項１乃至１３のいずれか１項に記載の像ブレ補正装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images