JP2021012260A - 像ブレ情報取得装置及び方法、像ブレ補正装置、プログラム、記憶媒体 - Google Patents

Abstract

【課題】移動被写体を撮影している際に角速度センサのオフセットを誤推定してしまうことを抑制する。【解決手段】被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルに基づく撮像装置の振れ量を取得する第１の取得部と、撮像装置の回転角速度を検出する振れ検出部から回転角速度の検出結果を取得する第２の取得部と、第２の取得部により取得した回転角速度の検出結果と第１の取得部により取得した振れ量とに基づいて被写体の移動を判定する判定部と、第２の取得部により取得した回転角速度の検出結果と第１の取得部により取得した振れ量と、判定部の出力とに基づいて、第２の取得部の検出結果に含まれるオフセット量を推定する推定部とを備える。【選択図】 図２

Description

本発明は、撮像装置において、装置の振れに起因する像ブレを補正する技術に関するものである。

デジタルカメラなどの撮像装置において、ＣＭＯＳセンサなどの撮像素子や撮影光学系の一部の光学素子を光軸と直交する方向に移動させることにより、装置に加わる振れに起因する像ブレを補正する技術が多く提案されている。このような像ブレ補正機能を有する撮像装置は、一般的には、装置に加わる振れをジャイロセンサにより検出している。

ジャイロセンサは、装置に加わる振れのうち、回転ブレを角速度の状態で検出可能なセンサであり、近年その性能向上は著しい。しかし、像ブレ補正性能に対する要求も大幅に増大してきているため、ジャイロセンサの検出精度を向上させることは非常に重要である。ジャイロセンサの検出精度を向上させる上での１つの重要な課題は、ジャイロセンサが持つオフセット成分をいかにして除去するかということである。

ジャイロセンサの信号をオフセット成分の除去なしに使用すると、ジャイロセンサの出力信号を積分して角度として取り扱う際、積分誤差として順次積みあがっていく所謂ドリフトを生じることとなり、正確な像ブレ補正が行えなくなってしまう。

特許文献１では、角速度センサの出力と、画像のフレーム間の差分による動きベクトルと、ブレ補正部材の速度とを用いてオフセットを推定し、推定結果を基にオフセット成分を除去する手法が開示されている。

また、特許文献２では、推定したオフセットが所定範囲を超えるか否かを判定し、所定範囲を超えるときは、オフセット推定結果に制限をかけて誤差が大きくならないようにしている。

特開２０１７−９２６１６号公報 特開２０１６−１４５８５６号公報

しかし、特許文献１の動きベクトルを用いてオフセットを推定する手法では、移動被写体を撮影している場合、動きベクトルに撮像装置の動き成分と被写体の動き成分が混在してしまい、正しくオフセットを推定できないという問題がある。

特許文献２で開示された手法では、オフセットの推定結果に制限をかけることにより、上記の問題に対応することも可能であるが、温度変化等によりオフセットが実際に所定範囲外にまで変動した場合には対応することができない。温度変化等によるオフセットの変動を考慮して所定範囲を広く決定すると、移動被写体を撮影している場合にオフセット推定に制限をかけられず、推定誤差が大きくなるという問題を解決できない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、移動被写体を撮影している際に角速度センサのオフセットを誤推定してしまうことを抑制することである。

本発明に係わる像ブレ情報取得装置は、被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルに基づく撮像装置の振れ量を取得する第１の取得手段と、前記撮像装置の回転角速度を検出する振れ検出手段から回転角速度の検出結果を取得する第２の取得手段と、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量とに基づいて被写体の移動を判定する判定手段と、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量と、前記判定手段の出力とに基づいて、前記第２の取得手段の検出結果に含まれるオフセット量を推定する推定手段と、を備えることを特徴とする。

本発明によれば、移動被写体を撮影している際に角速度センサのオフセットを誤推定してしまうことを抑制することが可能となる。

本発明の像ブレ情報取得装置の第１の実施形態であるレンズ交換式の一眼レフタイプのカメラシステムの構成を示す図。 第１の実施形態におけるレンズシステム制御部の構成を示すブロック図。 第１の実施形態におけるレンズシステム制御部の像ブレ補正制御の流れを示すフローチャート。 移動被写体があるときの各出力信号の時間変化を示す図。 第２の実施形態におけるレンズシステム制御部の構成を示すブロック図。 第２の実施形態におけるレンズシステム制御部の像ブレ補正制御の流れを示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１の実施形態）
図１は、本発明の像ブレ情報取得装置の第１の実施形態であるレンズ交換式の一眼レフタイプのカメラシステム（撮像システム）１００の構成を示す図である。図１（ａ）は第１の実施形態におけるカメラシステムの中央断面図であり、図１（ｂ）はカメラシステム１００の電気的構成を示すブロック図である。

図１（ａ）において、カメラシステム１００はカメラ本体１と、カメラ本体１に着脱可能に装着されるレンズユニット（撮影レンズ）２とを備える。レンズユニット２は、光軸４を軸とする複数のレンズからなる撮影光学系３を備え、その撮影光学系３の一部に、画像の振れを光学的に補正する振れ補正ユニット１９が設けられている。振れ補正ユニット１９は、光軸をシフトさせることが可能な（被写体光と撮像素子の相対位置を変更可能な）ユニットであり、例えば、シフトレンズで構成することができる。また、カメラ本体１は、撮像素子６、背面表示部１０ａを備える。カメラ本体１とレンズユニット２の間には、カメラ本体１とレンズユニット２を電気的に接続する電気接点１４が配置されている。

図１（ｂ）において、レンズユニット２は、電気的な構成として、レンズシステム制御部１５、レンズ側操作部１６、レンズ側振れ検出部１７、レンズ側振れ補正駆動部１８、焦点距離変更部２２、シフトブレ演算部２３、加速度センサ２４、メモリ２５を備える。レンズシステム制御部１５は、メモリ２５に記憶されているプログラムを実行することにより、レンズユニット２の全体を制御する。レンズ側操作部１６は、ユーザーの操作を受け付ける。レンズ側振れ検出部１７は、カメラシステム１００に加わる光軸４に対する回転振れを検知可能であり、例えばコリオリ力を利用した振動ジャイロなどが用いられる。レンズ側振れ補正駆動部１８は振れ補正ユニット１９を、光軸４に垂直な平面上でシフトもしくはチルト駆動させて像ブレを補正する。レンズ位置検出部（位置取得手段）２０は、振れ補正ユニット１９の位置を検出する。焦点距離変更部２２は、撮影光学系３の焦点距離を変更する。加速度センサ２４は、カメラシステム１００に加わる加速度を検出する。また、シフトブレ演算部２３は、加速度センサ（加速度検出部）２４により検出された加速度と、レンズ側振れ検出部１７により検出された回転振れ（検出結果）との関係から、カメラシステム１００に加わる平行振れ（シフトブレ、シフト振れ）を算出可能である。

また、カメラ本体１は、電気的な構成として、カメラシステム制御部５、撮像素子６、画像処理部７、メモリ８、カメラ側操作部９、背面表示部１０ａを含む表示部１０を備える。カメラシステム制御部５は、メモリ８の不揮発性メモリ部に記憶されているプログラムを実行することにより、カメラシステム１００の全体を制御する。撮像素子６は、被写体像を光電変換し画像信号を出力する。画像処理部７は、撮像素子６から出力された画像信号に必要な画像処理を行う。メモリ８の揮発性メモリ部は、画像データを一時記憶する。カメラ側操作部９は、ユーザーの操作を受け付ける。表示部１０は、撮影された画像やカメラの状態を示す情報などを表示する。

一方、機能的な面から見ると、カメラ本体１およびレンズユニット２からなるカメラシステム１００は、撮像手段、画像処理手段、記録再生手段、制御手段を有する。

撮像手段は、撮影光学系３ 、撮像素子６を含み、画像処理手段は、画像処理部７を含む。また、記録再生手段は、メモリ８、表示部１０を含む。なお、表示部１０は、背面表示部１０ａ、カメラ本体１の上面に設けられた撮影情報を表示する不図示の小型表示パネル、ＥＶＦとも呼ばれる不図示の電子ビューファインダーを包含する。制御手段は、カメラシステム制御部５、カメラ側操作部９、レンズシステム制御部１５、レンズ側操作部１６、レンズ側振れ検出部１７、レンズ側振れ補正駆動部１８、レンズ位置検出部２０、焦点距離変更部２２を含む。なお、レンズシステム制御部１５は、振れ補正ユニット１９の他に、不図示のフォーカスレンズ、絞り、ズームなどの駆動も行う。

上記の各手段をさらに詳しく説明すると、撮像手段は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像させる光学処理系である。撮像素子６からピント評価量／適切な露光量の情報が得られるため、この情報に基づいて撮影光学系３が調整される。これにより、適切な光量の物体光を、撮像素子６上にピントが合った状態で露光させることができる。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部はこの画像処理部７に備えられており、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて静止画、動画、音声などの圧縮を行う。さらには、画像処理部７は、撮像素子６から得られた複数の画像間の比較に基づいて振れ検知信号（動きベクトル）を生成し、これに基づいてカメラシステム１００に加わる振れ量を算出する動きベクトル検出部１００７（図２参照）を有する。

メモリ８は実際の記憶部を備えている。カメラシステム制御部５により、メモリ８の記憶部へ画像データの出力を行うとともに、表示部１０にユーザーに提示する像を表示する。

カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力する。外部操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッターレリーズボタン（不図示）の押下をカメラシステム制御部５が検出して、撮像素子６の駆動、画像処理部７の動作、圧縮処理などを制御する。さらに情報表示を行う表示部１０の各セグメントの状態を制御する。また、背面表示部１０ａはタッチパネルを有し、表示部１０とカメラ側操作部９の役割を兼ねていてもよい。

次に、撮影光学系の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、撮像素子６からの信号および、カメラ側操作部９による撮影者の操作に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御部５は、電気接点１４を介してレンズシステム制御部１５に指令を出し、レンズシステム制御部１５は焦点距離変更部２２および不図示の絞り駆動部を制御する。さらに、像ブレ補正を行うモードにおいては、レンズ側振れ検出部１７から得られた信号とレンズ位置検出部２０の検出情報に基づいて、レンズ側振れ補正駆動部１８を制御する。振れ補正ユニット１９は、例えばマグネットと平板コイルを有する駆動機構を備える。またレンズ位置検出部２０は、例えばマグネットとホール素子を備え、振れ補正ユニット１９の移動量（補正量）を検出する。

具体的な像ブレ補正の制御方法としては、まずレンズシステム制御部１５が、レンズ側振れ検出部１７によって検出された振れ信号を受信する。その結果に基づいて、像ブレを補正するための、振れ補正ユニット１９の駆動量を算出する。その後、算出された駆動量をレンズ側振れ補正駆動部１８へ指令値として送出し、レンズ位置検出部２０で検出した位置が指令値に追従するようにフィードバック制御を行う。これにより、振れ補正ユニット１９を駆動する。

なお、前述したように、カメラ側操作部９へのユーザー操作に応じて、カメラ本体１の各部の動作を制御することにより、静止画および動画の撮影が可能である。

図２は、本実施形態におけるレンズシステム制御部１５における像ブレ補正制御を司る部分の詳細な構成を示すブロック図である。図２に示す各ブロックは、レンズシステム制御部１５がメモリ２５に記憶されたプログラムを実行することにより実現される。なお、像ブレ補正の制御は、Ｐｉｔｃｈ方向、Ｙａｗ方向について同じであるため、これらのうち１軸についてのみ説明する。また、本実施形態では、オフセット推定部１２０８がオフセットを推定しているときは振れ補正ユニット１９は固定されていることを前提とする。

図２において、レンズ側振れ検出部１７の出力であるカメラシステム１００の振れ情報の検出信号（回転角速度）は、レンズシステム制御部１５に入力され、ローパスフィルタ（ＬＰＦ）１２０２および減算器１２０９に入力される。

ローパスフィルタ１２０２は、レンズ側振れ検出部１７により検出された振れ信号から高周波成分を除去または低減する。ローパスフィルタ１２０２は、フィルタリング処理を施した信号を減算器１２０５に出力する。

動きベクトル検出部１００７は、撮像素子６から得られた複数の画像間の比較に基づいて動きベクトルを検出する。動きベクトル検出部１００７により検出された動きベクトルは、ローパスフィルタ（ＬＰＦ）１２０４に入力される。

ローパスフィルタ１２０４は、動きベクトル検出部１００７により検出された動きベクトル情報を取得し、取得した動きベクトル情報から高周波成分を除去または低減する。ローパスフィルタ１２０４は、フィルタリング処理を施した信号を減算器１２０５に出力する。

減算器１２０５は、ローパスフィルタ１２０２の出力信号からローパスフィルタ１２０４の出力信号を減算する。減算器１２０５の出力信号は、オフセット推定部１２０８、ハイパスフィルタ（ＨＰＦ）１２０６、移動被写体判定部１２０７に出力される。

ハイパスフィルタ１２０６は、減算器１２０５の出力信号から低周波成分を除去または低減する。ハイパスフィルタ１２０６は、フィルタリング処理を施した信号を移動被写体判定部１２０７に出力する。

移動被写体判定部１２０７は、減算器１２０５の出力信号およびハイパスフィルタ１２０６の出力信号に基づいて、被写体が移動しているか否かを判定する。移動被写体判定部１２０７は、ハイパスフィルタ１２０６の出力信号の絶対値に基づいて生成した観測ノイズ信号をオフセット推定部１２０８に出力する。観測ノイズ信号については後述する。

オフセット推定部１２０８は、減算器１２０５の出力信号、および移動被写体判定部１２０７の出力信号に基づき、レンズ側振れ検出部１７の出力信号のオフセット量を推定する。オフセット推定部１２０８の出力信号は、移動被写体判定部１２０７および減算器１２０９に出力される。

減算器１２０９は、レンズ側振れ検出部１７の出力信号からオフセット推定部１２０８により推定されたオフセット値を減算する。減算器１２０９の出力信号は積分器１２１０に出力される。積分器１２１０は、減算器１２０９の出力信号に積分処理を施す。積分器１２１０の出力信号はレンズ振れ補正駆動部１８に出力される。

レンズ振れ補正駆動部１８は、積分器１２１０の出力値を補正目標値に変換し、手ブレ等に起因する像ブレを打ち消すように振れ補正ユニット１９を駆動する。振れ補正ユニット１９の例としては、撮像光学系を構成するシフトレンズ等の補正レンズが挙げられる。また、振れ補正ユニット１９の代わりに、撮像素子６を光軸と異なる方向に移動させる駆動部を備えるようにしてもよい。あるいは、カメラ本体１からの指令により駆動制御可能なジンバル機構や、自動制御可能な電動雲台等を用いてもよい。

＜オフセット推定部の詳細＞
次に、オフセット推定部１２０８によるレンズ側振れ検出部１７のオフセット推定処理の方法について数式を用いて説明する。オフセット推定部１２０８を公知の線形カルマンフィルタで構成する場合、線形カルマンフィルタの一般的な式は以下の式（１）〜式（７）で表すことができる。

ｘ_t＝Ａｘ_t-1＋Ｂｕ_t＋Ε_t …式（１）
ｚ_t＝Ｃｘ_t＋σ_t …式（２）
ここで式（１）は状態空間表現での動作モデルを表し、式（２）は観測モデルを表す。Ａは動作モデルでのシステムマトリクス、Ｂは入力マトリクスを表す。またＣは観測モデルでの出力マトリクスを表し、それぞれは行列式で表現される。また、Ε_tはプロセスノイズ、σ_tは観測ノイズ、ｔは離散的な時間を表す。

ここで、式（３）は予測ステップにおける事前推定値、式（４）は事前誤差共分散（誤差分散）を表す。またΣ_xは動作モデルのノイズの分散を表す。

ここで、式（５）はフィルタリングステップにおけるカルマンゲインの算出式を表し、添え字のＴは転置行列を表している。さらに式（６）はカルマンフィルタによる事後推定値、式（７）は事後誤差共分散を表す。またΣ_zは、観測モデルのノイズの分散を表す。

本実施形態では、レンズ側振れ検出部１７のオフセットを推定するため、オフセット値をｘ_tとし、観測された振れ量をｚ_t、プロセスノイズをＥ_t、観測ノイズをσ_tとする。すると、オフセットのモデルは式（１）における入力項ｕがなく、式（１）および式（２）でＡ＝Ｃ＝１となる以下の１次線形モデルで表すことができる。

ｘ_t＝ｘ_t-1＋Ｅ_t …式（８）
ｚ_t＝ｘ_t＋σ_t …式（９）
ここで、式（４）における動作モデルのノイズの分散Σ_xを、システムノイズσ_xで表し、式（５）における観測モデルのノイズの分散Σ_zを、観測ノイズσ_zで表す。さらにオフセット事前推定値をｘ^^-、時刻ｔにおける誤差共分散推定値をＰ^_t、時刻tにおけるカルマンゲインをｋ_t、観測ノイズをσ_z、レンズ側振れ検出部１７により観測された振れ量をｚ_tとすると以下の式でカルマンフィルタを構成することができる。

オフセット推定部１２０８は上記式（１０）から式（１４）までの演算式で構成され、推定演算の更新周期の時間ｔ−１でのオフセット推定値ｘ^_t-1、システムノイズσ_x、時間ｔ−１での誤差共分散推定値Ｐ^_t-1により、オフセット事前推定値ｘ^^-および誤差共分散事前推定値Ｐ^^- _tが算出される。そして誤差共分散事前推定値Ｐ^^- _tおよび移動被写体判定部１２０７により出力される観測ノイズσ_zを基にカルマンゲインｋ_tが算出される。そして式（１３）によって、観測された振れ量ｚ_tとオフセット事前推定値ｘ^^-との誤差にカルマンゲインｋ_tを乗じた値によってオフセット事前推定値ｘ^^-が修正され、オフセット推定値ｘ^_tが算出される。また式（１４）により誤差共分散事前推定値Ｐ^^- _tが修正されて、誤差共分散推定値Ｐ^_tが算出される。これらの演算によって事前推定更新と修正を演算周期ごとに繰り返すことにより、オフセット推定値が算出される。

以上のように構成されたカルマンフィルタについて、観測ノイズσ_zの大きさが変化することによる、カルマンフィルタのオフセット推定動作の変化について、式（１２）、式（１３）を用いて説明する。

まず、観測ノイズσ_zが小さい場合、オフセット推定値ｘ^_tの変動は大きくなる。式（１２）によって、カルマンゲインｋ_tは１に近い値となる。この場合、式（１３）の右辺第２項の値は、観測された振れ量ｚ_tとオフセット事前推定値ｘ^^-との誤差そのままの値に近く、オフセット事前推定値ｘ^^-の修正される度合いが大きくなる。反対に、観測ノイズσ_zが大きい場合、オフセット推定値ｘ＾_tの変動は小さくなる。式（１２）によって、カルマンゲインｋ_tは０に近い値となり、式（１３）の右辺第２項の値も０に近い値となる。よって、オフセット事前推定値ｘ^^-の修正される度合いが小さくなる。

＜フローチャートの説明＞
次に、以上のように構成されるレンズシステム制御部１５における像ブレ補正制御を司る部分の振れ補正目標値の演算処理について、図３のフローチャートおよび図４の各出力信号の時間変化を表すグラフを参照して説明する。なお、図４の期間１４０６および期間１４１０は被写体が止まっている期間を示し、図４の期間１４０８は被写体が移動している期間を示す。また、図４の時刻１４０７は期間１４０８の開始時刻を、時刻１４０９は期間１４０８の終了時刻を示す。また、被写体の動きは、一定速度でカメラシステム１００の前を横切る場合について示している。

Ｓ１３０１では、レンズ側振れ検出部１７は、カメラシステム１００に生じている動きを検出して、振れ信号を出力する。レンズ側振れ検出部１７は、例えばジャイロセンサを備え、その場合の振れ信号は角速度信号である。

Ｓ１３０２では、振れ信号に対してローパスフィルタ処理が施される。ローパスフィルタ１２０２はレンズ側振れ検出部１７により検出された振れ信号から高周波成分を除去または低減する。図４（Ａ）の曲線１４０１は、ローパスフィルタ処理が施された振れ信号を示す。

Ｓ１３０３では、動きベクトル検出部１００７が動きベクトルを検出する。Ｓ１３０４では、検出された動きベクトルに対してローパスフィルタ処理が施される。ローパスフィルタ１２０４は、動きベクトル検出部１００７により検出された動きベクトル信号から高周波成分を除去または低減する。図４（Ａ）の曲線１４０２は、ローパスフィルタ処理が施された動きベクトル信号を示す。

Ｓ１３０５では、減算器１２０５が、ローパスフィルタ処理が施された振れ信号からローパスフィルタ処理が施された動きベクトル信号を減算する。図４（Ｂ）の曲線１４０３は減算器１２０５の出力信号を示す。減算器１２０５の出力信号にはレンズ側振れ検出部１７のオフセット成分と移動被写体の動き成分が含まれている。

Ｓ１３０６では、Ｓ１３０５での減算結果に対してハイパスフィルタ処理が施される。ハイパスフィルタ１２０６は、減算器１２０５での減算結果の信号から低周波成分を除去または低減する。図４（Ｂ）の曲線１４０４は、ハイパスフィルタ１２０６の出力信号を表す。ハイパスフィルタ処理を施すことにより、減算器１２０５の出力信号からオフセット成分を除去または低減することができる。

＜移動被写体判定方法＞
Ｓ１３０７では、移動被写体判定部１２０７が、被写体が移動しているか否かに基づいて観測ノイズ信号を出力する。観測ノイズの生成方法について、図４を参照して説明する。

移動被写体判定部１２０７は、観測ノイズの生成に、図４（Ｂ）の曲線１４０４で示すハイパスフィルタ１２０６の出力信号の絶対値を利用する。期間１４０６において、ハイパスフィルタ１２０６の出力信号の絶対値は小さく、移動被写体判定部１２０７が生成する観測ノイズの値も小さくなる。よってカルマンフィルタの更新規則の特性により、オフセット値の修正される度合いが大きくなる。

＜移動被写体の移動開始判定＞
時刻１４０７において、移動被写体判定部１２０７は、ハイパスフィルタ１２０６の出力信号の絶対値が所定値よりも大きくなることにより、被写体が移動していると判定する（判定結果）。所定値は、被写体を固定した状態でのハイパスフィルタ１２０６の出力信号を予め（例えばカメラシステム１００の生産工場でのパラメータ調整時に）計測しておき、その計測信号の最大値よりも大きくする。ただし、ハイパスフィルタ１２０６の時定数応答が収束するまでは最大値を検出しないようにする。

時刻１４０７でのハイパスフィルタ１２０６の出力値の絶対値を用いて観測ノイズを生成する。観測ノイズの値は大きくなるため、カルマンフィルタの更新規則の特性により、オフセット値の修正される度合いが小さくなり、前のオフセット推定値に近い値がオフセット推定値となる。さらに、移動被写体判定部１２０７は、時刻１４０７でのオフセット推定値を保持しておく。

また、オフセット値の推定を開始する前（例えばカメラシステム１００の電源を入れる前）から移動被写体がある場合を考慮し、前回オフセット値の推定を終了した時刻（例えばカメラシステム１００の電源を切った時刻）のオフセット推定値を別途保存しておく。そして、時刻１４０７でオフセット値の推定が開始される場合は、別途保存しておいたオフセット推定値を保持する。

期間１４０８において、移動被写体判定部１２０７は、期間１４０８で生成した観測ノイズの最大値を更新しながら保持し、最大値を出力し続ける。

最大値を出力し続ける理由について説明する。ハイパスフィルタ１２０６の出力信号は、ハイパスフィルタ処理によって０付近に収束するため、ハイパスフィルタ１２０６の出力信号の絶対値から生成される観測ノイズの値は徐々に小さくなる。よって、被写体が移動しているにもかかわらず、推定値の修正される度合いが徐々に大きくなってしまい、オフセットを誤推定してしまう。この誤推定を防ぐため、期間１４０８では、期間中に生成した観測ノイズの最大値を出力し続ける。

＜移動被写体の移動終了判定＞
時刻１４０９において、移動被写体判定部１２０７は、時刻１４０７で保持したオフセット推定値と減算器１２０５の出力値の差が所定値以下になることにより、移動被写体がなくなったと判定する。ここで、観測ノイズの最大値保持を解除し、ハイパスフィルタ１２０６の出力値の絶対値を用いて観測ノイズを生成する。以上の手法で生成した観測ノイズ信号を図４（Ｃ）の曲線４１１で示す。

Ｓ１３０８では、オフセット推定部１２０８は、移動被写体判定部１２０７が出力する観測ノイズ信号によってカルマンフィルタの更新規則を変化させながらオフセットを推定する。図４の曲線１４０５は、推定オフセットを示す。図４の期間１４０８は、移動被写体判定部１２０７から出力される観測ノイズ信号が大きいため、推定値の修正される度合いが小さくなり、誤推定が抑えられている。

Ｓ１３０９では、減算器１２０９が、レンズ側振れ検出部１７から出力される振れ信号からオフセット推定部１２０８で出力されるオフセット推定値を減算する。

Ｓ１３１０では、積分器１２１０が、オフセットの除去された振れ信号に積分処理を施し、積分値をレンズ振れ補正駆動部１８に出力する。

Ｓ１３１１では、レンズ振れ補正駆動部１８は、積分器１２１０の出力値を振れ補正目標値に変換し、手ブレ等に起因する像ブレを打ち消すように振れ補正ユニット１９を駆動する。

以上説明したように、第１の実施形態によれば、被写体が移動しているときの観測ノイズを大きくして推定値の変動を小さくすることにより、オフセット値の誤推定を抑制することができる。その結果、被写体が移動している場合でも安定して像ブレ補正性能を確保することができる。

（第２の実施形態）
＜構成ブロックの説明＞
図５は、本発明の第２の実施形態におけるレンズシステム制御部１５における像ブレ補正制御を司る部分の詳細な構成を示すブロック図である。なお、図５において、第１の実施形態の構成要素と同様の機能を有する構成要素については、図２と同じ符号を付して説明を省略する。図５に示す各ブロックは、レンズシステム制御部１５がメモリ２５に記憶されたプログラムを実行することにより実現される。

なお、像ブレ補正の制御は、Ｐｉｔｃｈ方向、Ｙａｗ方向について同じであるため、これらのうち１軸についてのみ説明する。また、第２の実施形態では、オフセット推定部１２０８がオフセットを推定しているときに、振れ補正ユニット１９により像ブレ補正が行われていることを前提とする。

図５において、レンズ位置検出部２０は振れ補正ユニット１９の位置を検出する。レンズ位置検出部２０の出力信号は微分器１５１３に出力される。微分器１５１３はレンズ位置検出部２０の出力信号に微分処理を施す。微分器１５１３の出力信号は、加算器１５１４に出力される。加算器１５１４は、動きベクトル検出部１００７により検出された動きベクトルと、微分器１５１３の出力信号を加算する。加算器１５１４の出力信号はローパスフィルタ１２０４に出力される。

＜フローチャートの説明＞
次に、以上のように構成されるレンズシステム制御部１５における像ブレ補正制御を司る部分の振れ補正目標値の演算処理について、図６のフローチャートを参照して説明する。なお、図６のＳ１６０１、Ｓ１６０２、Ｓ１６０５、Ｓ１６０９からＳ１６１４の各ステップに示す処理は、図３のＳ１３０１からＳ１３０３、Ｓ１３０６からＳ１３１１の各ステップに示す処理と同様であるため、説明を省略してＳ１６０３、Ｓ１６０４、Ｓ１６０６からＳ１６０８の処理について説明する。

Ｓ１６０３では、レンズ位置検出部２０は振れ補正ユニット１９の位置を検出する。

Ｓ１６０４では、微分器１５１３は、レンズ位置検出部２０の出力信号である振れ補正ユニット１９の位置信号に微分処理を施し、振れ補正ユニット１９の移動速度に変換する。

Ｓ１６０６では、加算器１５１４は、動きベクトル検出部１００７により検出された動きベクトルと微分器１５１３の出力信号である振れ補正ユニット１９の移動速度を加算する。

Ｓ１６０７では、ローパスフィルタ１２０４は、動きベクトルと振れ補正ユニット１９の移動速度との加算信号の高周波成分を除去または低減する。

Ｓ１６０８では、減算器１２０５は、ローパスフィルタ１２０２による処理が施された振れ信号から、ローパスフィルタ１２０４による処理が施された加算器１５１４の出力信号を減算する。

以上説明したように、第２の実施形態によれば、動きベクトルと振れ補正ユニット１９の移動速度を加算した信号をオフセット推定に用いることにより、像ブレ補正が行われている場合でもオフセットを推定することが可能となる。

なお、上記の実施形態では、像ブレ補正手段として撮影光学系の一部がシフト駆動されるタイプを採用している。しかし、本発明はこれに限定されず、撮像素子６がシフト駆動されるものであったり、レンズがチルト駆動されるものであったり、またそれらの組み合わせであっても構わない。

（他の実施形態）
上述の実施形態では、ハイパスフィルタ１２０６の出力信号の絶対値に基づいて生成した観測ノイズ信号によってカルマンフィルタのカルマンゲインを変化させながらオフセットを推定した。これにより、被写体が移動していると判定されたとき（ハイパスフィルタ１２０６の出力信号の絶対値が所定値以上のとき）のほうが、被写体が移動していないと判定されたときよりも以前の推定結果を引き継ぐ割合を高く（オフセット値を更新されにくく）した。しかしながら、オフセットの推定の仕方はこれに限られるものではなく、ほかのフィルタを使ったり、ハイパスフィルタ１２０６の出力信号の絶対値に基づいて重みづけした加重平均をしたりしてもよい。また、ハイパスフィルタ１２０６の出力信号の絶対値が所定値未満の場合にオフセット値を更新し、所定値以上の場合はオフセット値を更新しなくてもよい。また、ハイパスフィルタ１２０６の出力信号の絶対値が第１の所定値以上の場合はカルマンゲインｋ_tを０としてオフセット値を更新せず、第１の所定値未満第２の所定値以上の場合に上述の実施形態のようにカルマンフィルタをカルマンゲインｋ_tを０＜ｋ_t＜１とし、第２の所定値未満の時はカルマンゲインｋ_tを１としてもよい。

また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：カメラ本体、２：レンズユニット、３：撮影光学系、５：カメラシステム制御部、６：撮像素子、１５：レンズシステム制御部、１７：レンズ側振れ検出部、１８：レンズ側振れ補正駆動部、１９：振れ補正ユニット、２０：レンズ位置検出部

Claims (16)

1. 被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルに基づく撮像装置の振れ量を取得する第１の取得手段と、
   前記撮像装置の回転角速度を検出する振れ検出手段から回転角速度の検出結果を取得する第２の取得手段と、
   前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量とに基づいて被写体の移動を判定する判定手段と、
   前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量と、前記判定手段の出力とに基づいて、前記第２の取得手段の検出結果に含まれるオフセット量を推定する推定手段と、
   を備えることを特徴とする像ブレ情報取得装置。
2. 前記推定手段は、
   前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する際に用いられる像ブレの補正量を前記第２の取得手段の出力に基づいて取得する第３の取得手段に対して前記オフセット量を出力することを特徴とする請求項１に記載の像ブレ情報取得装置。
3. 前記判定手段は、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量との差分の信号から低周波成分を制限した信号に基づいて、前記被写体の移動を判定することを特徴とする請求項１または２に記載の像ブレ情報取得装置。
4. 前記判定手段は、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量との差分の信号から低周波成分を制限した信号の変化が所定値より大きい場合に、前記被写体が移動していると判定することを特徴とする請求項３に記載の像ブレ情報取得装置。
5. 前記判定手段は、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量との差分の信号から低周波成分を制限した信号の変化が所定値以下である場合に、前記被写体が移動していないと判定することを特徴とする請求項３に記載の像ブレ情報取得装置。
6. 前記推定手段は、前記判定手段により前記被写体が移動していると判定された場合、その時の前記オフセット量の推定値を一時記憶することを特徴とする請求項１乃至５のいずれか１項に記載の像ブレ情報取得装置。
7. 前記判定手段は、前記第２の取得手段により取得した前記回転角速度の検出結果と前記第１の取得手段により取得した前記振れ量との差分の信号と前記一時記憶されたオフセット量の推定値との差分の値が所定値以下である場合に、前記被写体が移動していないと判定することを特徴とする請求項６に記載の像ブレ情報取得装置。
8. 前記推定手段は、前記判定手段の判定結果に基づいて、前記オフセット量の推定値の更新規則を変更することを特徴とする請求項１乃至７のいずれか１項に記載の像ブレ情報取得装置。
9. 前記推定手段は、前記判定手段の判定結果により、前記被写体が移動している間は、前記オフセット量の推定値を更新しないことを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ情報取得装置。
10. 前記推定手段は、カルマンフィルタを用いて前記オフセット量を推定し、推定結果の誤差分散を演算するための演算手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の像ブレ情報取得装置。
11. 前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する像ブレ補正手段の位置を取得する位置取得手段をさらに備え、
    前記判定手段は、前記回転角速度の検出結果から、前記第１の取得手段により取得した前記振れ量との差分の信号に前記位置取得手段により取得した位置信号を微分した信号を加えた信号を減算した結果に基づいて被写体の移動の判定を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の像ブレ情報取得装置。
12. 請求項１乃至１１のいずれか１項に記載の像ブレ情報取得装置と、
    シフトレンズを有する撮影光学系と、
    前記シフトレンズを前記撮影光学系の光軸と異なる方向に移動することにより前記被写体像と前記撮像素子の相対位置を変更する駆動手段と、
    を備えることを特徴とする像ブレ補正装置。
13. 請求項１乃至１１のいずれか１項に記載の像ブレ情報取得装置と、
    前記撮像素子と、
    前記撮像素子を撮影光学系の光軸と異なる方向に移動させることにより前記被写体像と前記撮像素子の相対位置を変更する駆動手段と、
    を備えることを特徴とする像ブレ補正装置。
14. 被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルに基づく撮像装置の振れ量を取得する第１の取得工程と、
    前記撮像装置の回転角速度を検出する振れ検出手段から回転角速度の検出結果を取得する第２の取得工程と、
    前記第２の取得工程において取得した前記回転角速度の検出結果と前記第１の取得工程において取得した前記振れ量とに基づいて被写体の移動を判定する判定工程と、
    前記第２の取得工程において取得した前記回転角速度の検出結果と前記第１の取得工程において取得した前記振れ量と、前記判定工程の出力とに基づいて、前記第２の取得工程の検出結果に含まれるオフセット量を推定する推定工程と、
    を有することを特徴とする像ブレ情報取得方法。
15. 請求項１４に記載の像ブレ情報取得方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の像ブレ情報取得方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images