JP2021012259A - 像ブレ補正装置及びその制御方法、撮像システム、プログラム - Google Patents

Abstract

【課題】ジャイロセンサを用いた振れの検出精度を向上させる。【解決手段】被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルを用いて、撮像装置の振れ量を検出する第１の振れ検出部から第１の振れ検出結果を取得する第１の取得部と、被写体像と撮像素子の相対位置を変更することにより、撮像装置の振れに起因する像ブレを補正する像ブレ補正部の補正量の情報を取得する第２の取得部と、撮像装置の回転角速度を検出する第２の振れ検出部から第２の振れ検出結果を取得する第３の取得部と、撮像装置のシフト振れを検出するシフト振れ検出部からシフト振れ検出結果を取得する第４の取得部と、第１の振れ検出結果と、第２の振れ検出結果と、シフト振れ検出結果と、像ブレ補正部の補正量とに基づいて、第２の振れ検出部の検出結果に含まれるオフセット量を推定する推定部とを備える。【選択図】 図１

Description

本発明は、撮像装置において、装置の振れに起因する像ブレを補正する技術に関するものである。

デジタルカメラなどの撮像装置において、ＣＭＯＳセンサなどの撮像素子や撮影光学系の一部の光学素子を光軸と直交する方向に移動させることにより、装置に加わる振れに起因する像ブレを補正する技術が多く提案されている。このような像ブレ補正機能を有する撮像装置は、一般的には、装置に加わる振れをジャイロセンサにより検出している。

ジャイロセンサは、装置に加わる振れのうち、回転ブレを角速度の状態で検出可能なセンサであり、近年その性能向上は著しい。しかし、像ブレ補正性能に対する要求も大幅に増大してきているため、ジャイロセンサの検出精度を向上させることは非常に重要である。ジャイロセンサの検出精度を向上させる上での１つの重要な課題は、ジャイロセンサが持つオフセット成分をいかにして除去するかということである。

ジャイロセンサの信号をオフセット成分の除去なしに使用すると、ジャイロセンサの出力信号を積分して角度として取り扱う際、積分誤差として順次積みあがっていく所謂ドリフトを生じることとなり、正確な像ブレ補正が行えなくなってしまう。

特許文献１には、この課題を解決するために、カメラの撮像画像を解析して得られる画像動き信号（ベクトル）に応じて、ジャイロセンサに振動が加えられていない静止状態における振動検出部の出力としての基準値を修正する技術が開示されている。

特開２００５−４３７８０号公報

特許文献１に開示された振動検出部の基準値の修正では、二つの異なる時刻に撮像された画像間の動きベクトルを利用するため、振動が回転ブレのみである場合には、画像動きベクトルから推定されるカメラの回転ブレ量を真値として利用することが可能である。

しかしながら、カメラには回転ブレ以外にシフト（並進）ブレが加わることが知られており、像倍率が大きい条件や撮影秒時が長い条件においては、その影響が大きく無視できないものとなる。

特許文献１の技術を、シフトブレ成分が多い撮像画像に適用した場合、本来ジャイロセンサが有していないオフセット成分をオフセットとして検出してしまい、有効なオフセット成分の除去を行うことができない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ジャイロセンサを用いた振れの検出精度を向上させることである。

本発明に係わる像ブレ補正装置は、被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルを用いて、撮像装置の振れ量を検出する第１の振れ検出手段から第１の振れ検出結果を取得する第１の取得手段と、前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する像ブレ補正手段の補正量の情報を取得する第２の取得手段と、前記撮像装置の回転角速度を検出する第２の振れ検出手段から第２の振れ検出結果を取得する第３の取得手段と、前記撮像装置のシフト振れを検出するシフト振れ検出手段からシフト振れ検出結果を取得する第４の取得手段と、前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定する推定手段と、を備えることを特徴とする。

本発明によれば、ジャイロセンサを用いた振れの検出精度を向上させることが可能となる。

本発明の撮像装置の一実施形態であるレンズ交換式の一眼レフタイプのカメラシステムの構成を示す図。 一実施形態におけるレンズシステム制御部の構成を示すブロック図。 シフトブレ演算部の構成を示すブロック図。 レンズシステム制御部の像ブレ補正制御の流れを示すフローチャート。 カメラシステムに加わる振れの大きさと、システムノイズ、観測ノイズ、三脚検知状態ノイズ、パンニング検知状態ノイズの大きさとの関係を表した図。 振れ角速度信号と、オフセット推定値およびオフセット推定値を減算した後の振れ角速度信号の時系列変化図。 振れ角速度信号と、オフセット推定値およびオフセット推定値を減算した後の振れ角速度信号の時系列変化図。 振れ角速度信号と、オフセット推定値およびオフセット推定値を減算した後の振れ角速度信号の時系列変化図。 動きベクトルの信頼度と、システムノイズ及び観測ノイズの大きさの関係を示した図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本発明の撮像装置の一実施形態であるレンズ交換式の一眼レフタイプのカメラシステム（撮像システム）１００の構成を示す図である。図１（ａ）は一実施形態におけるカメラシステムの中央断面図であり、図１（ｂ）はカメラシステム１００の電気的構成を示すブロック図である。

図１（ａ）において、カメラシステム１００はカメラ本体１と、カメラ本体１に着脱可能に装着されるレンズユニット（撮影レンズ）２とを備える。レンズユニット２は、光軸４を軸とする複数のレンズからなる撮影光学系３を備え、その撮影光学系３の一部に、画像の振れを光学的に補正する振れ補正ユニット１９が設けられている。振れ補正ユニット１９は、光軸をシフトさせることが可能な（被写体光と撮像素子の相対位置を変更可能な）ユニットであり、例えば、シフトレンズで構成することができる。また、カメラ本体１は、撮像素子６、背面表示部１０ａを備える。カメラ本体１とレンズユニット２の間には、カメラ本体１とレンズユニット２を電気的に接続する電気接点１４が配置されている。

図１（ｂ）において、レンズユニット２は、電気的な構成として、レンズシステム制御部１５、レンズ側操作部１６、レンズ側振れ検出部１７、レンズ側振れ補正駆動部１８、焦点距離変更部２２、シフトブレ演算部２３、加速度センサ２４、メモリ２５を備える。レンズシステム制御部１５は、メモリ２５に記憶されているプログラムを実行することにより、レンズユニット２の全体を制御する。レンズ側操作部１６は、ユーザーの操作を受け付ける。レンズ側振れ検出部１７は、カメラシステム１００に加わる光軸４に対する回転振れを検知可能であり、例えばコリオリ力を利用した振動ジャイロなどが用いられる。レンズ側振れ補正駆動部１８は振れ補正ユニット１９を、光軸４に垂直な平面上でシフトもしくはチルト駆動させて像ブレを補正する。レンズ位置検出部２０は、振れ補正ユニット１９の位置を検出する。焦点距離変更部２２は、撮影光学系３の焦点距離を変更する。加速度センサ２４は、カメラシステム１００に加わる加速度を検出する。また、シフトブレ演算部２３は、加速度センサ（加速度検出部）２４により検出された加速度と、レンズ側振れ検出部１７により検出された回転振れとの関係から、カメラシステム１００に加わる平行振れ（シフトブレ、シフト振れ）を算出可能である。シフトブレ演算部２３の構成および演算の方法の詳細については後述する。

また、カメラ本体１は、電気的な構成として、カメラシステム制御部５、撮像素子６、画像処理部７、メモリ８、カメラ側操作部９、背面表示部１０ａを含む表示部１０を備える。カメラシステム制御部５は、メモリ８の不揮発性メモリ部に記憶されているプログラムを実行することにより、カメラシステム１００の全体を制御する。撮像素子６は、被写体像を光電変換し画像信号を出力する。画像処理部７は、撮像素子６から出力された画像信号に必要な画像処理を行う。メモリ８の揮発性メモリ部は、画像データを一時記憶する。カメラ側操作部９は、ユーザーの操作を受け付ける。表示部１０は、撮影された画像やカメラの状態を示す情報などを表示する。

一方、機能的な面から見ると、カメラ本体１およびレンズユニット２からなるカメラシステム１００は、撮像手段、画像処理手段、記録再生手段、制御手段を有する。

撮像手段は、撮影光学系３ 、撮像素子６を含み、画像処理手段は、画像処理部７を含む。また、記録再生手段は、メモリ８、表示部１０を含む。なお、表示部１０は、背面表示部１０ａ、カメラ本体１の上面に設けられた撮影情報を表示する不図示の小型表示パネル、ＥＶＦとも呼ばれる不図示の電子ビューファインダーを包含する。制御手段は、カメラシステム制御部５、カメラ側操作部９、レンズシステム制御部１５、レンズ側操作部１６、レンズ側振れ検出部１７、レンズ側振れ補正駆動部１８、レンズ位置検出部２０、焦点距離変更部２２を含む。なお、レンズシステム制御部１５は、振れ補正ユニット１９の他に、不図示のフォーカスレンズ、絞り、ズームなどの駆動も行う。

上記の各手段をさらに詳しく説明すると、撮像手段は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像させる光学処理系である。撮像素子６からピント評価量／適切な露光量の情報が得られるため、この情報に基づいて撮影光学系３が調整される。これにより、適切な光量の物体光を、撮像素子６上にピントが合った状態で露光させることができる。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成する。色補間処理部はこの画像処理部７に備えられており、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて静止画、動画、音声などの圧縮を行う。さらには、画像処理部７は、撮像素子６から得られた複数の画像間の比較に基づいて振れ検知信号（動きベクトル）を生成し、これに基づいてカメラシステム１００に加わる振れ量を算出する動きベクトル検出部１００７（図３参照）を有する。

メモリ８は実際の記憶部を備えている。カメラシステム制御部５により、メモリ８の記憶部へ画像データの出力を行うとともに、表示部１０にユーザーに提示する像を表示する。

カメラシステム制御部５は、撮像の際のタイミング信号などを生成して出力する。外部操作に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッターレリーズボタン（不図示）の押下をカメラシステム制御部５が検出して、撮像素子６の駆動、画像処理部７の動作、圧縮処理などを制御する。さらに情報表示を行う表示部１０の各セグメントの状態を制御する。また、背面表示部１０ａはタッチパネルを有し、表示部１０とカメラ側操作部９の役割を兼ねていてもよい。

次に、撮影光学系の調整動作について説明する。カメラシステム制御部５には画像処理部７が接続されており、撮像素子６からの信号および、カメラ側操作部９による撮影者の操作に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御部５は、電気接点１４を介してレンズシステム制御部１５に指令を出し、レンズシステム制御部１５は焦点距離変更部２２および不図示の絞り駆動部を制御する。さらに、像ブレ補正を行うモードにおいては、レンズ側振れ検出部１７から得られた信号とレンズ位置検出部２０の検出情報に基づいて、レンズ側振れ補正駆動部１８を制御する。振れ補正ユニット１９は、例えばマグネットと平板コイルを有する駆動機構を備える。またレンズ位置検出部２０は、例えばマグネットとホール素子を備え、振れ補正ユニット１９の移動量を検出する（補正量取得）。

具体的な像ブレ補正の制御方法としては、まずレンズシステム制御部１５が、レンズ側振れ検出部１７によって検出された振れ信号を受信する。その検出結果に基づいて、像ブレを補正するための、振れ補正ユニット１９の駆動量を算出する。その後、算出された駆動量をレンズ側振れ補正駆動部１８へ指令値として送出し、レンズ位置検出部２０で検出した位置が指令値に追従するようにフィードバック制御を行う。これにより、振れ補正ユニット１９を駆動する。

なお、前述したように、カメラ側操作部９へのユーザー操作に応じて、カメラ本体１の各部の動作を制御することにより、静止画および動画の撮影が可能である。

図２は、本実施形態におけるレンズシステム制御部１５における像ブレ補正制御を司る部分の詳細な構成を示すブロック図である。図２に示す各ブロックは、レンズシステム制御部１５がメモリ２５に記憶されたプログラムを実行することにより実現される。なお、像ブレ補正の制御は、Ｐｉｔｃｈ方向、Ｙａｗ方向について同じであるため、これらのうち１軸についてのみ説明する。

図２において、レンズ側振れ検出部１７の出力は、レンズシステム制御部１５に入力される。レンズシステム制御部１５は、加算器３０１，３０５，３０７，３１１，３１６，４０１，４０２，４０５と、積分フィルタ３０２と、オフセット推定部３０４と、微分器４０３と、ノイズ項算出部４１０とを有する。ノイズ項算出部４１０は、積分フィルタ３０６と、低域遮断フィルタ３１３と、べき乗演算部３０９，３１４と、ゲイン部３１０，３１５と、三脚状態検出部３１７と、カメラ状態ノイズ算出部３１８と、パンニング検出部３１９と、動きベクトル信頼度判定部４０４とを有する。

以上のように構成されるレンズシステム制御部１５における振れ補正ユニット１９の移動目標値の算出処理、特にレンズ側振れ検出部１７による振れ信号のオフセット成分（オフセット量）をオフセット推定部３０４で推定する構成について説明する。

レンズシステム制御部１５は、レンズ側振れ検出部１７から振れ信号を取得する。カメラ本体１の画像処理部７で算出した動きベクトル情報から、シフトブレ演算部２３によって算出されたシフトブレ量を、加算器４０５によって減算し、動きベクトル情報に含まれるシフトブレ成分を除去する。シフトブレ成分が除去された動きベクトル情報と、レンズ位置検出部２０で検出した位置情報を微分器４０３により微分処理したレンズ速度情報とを、加算器４０２により加算する。さらに、加算器４０１により、レンズ側振れ検出部１７で検出した振れ信号から上記のレンズ速度情報と動きベクトル情報とを減算した信号を、オフセット推定部３０４及び、加算器３０５へ入力する。

オフセット推定部３０４は、レンズ側振れ検出部１７のオフセット成分を推定し、加算器３０１においてレンズ側振れ検出部１７で検出した振れ信号からオフセット推定値を減算した後に積分フィルタ３０２により積分する。これにより、振れの角度信号が生成され、これを目標値としてレンズ振れ補正駆動部１８により振れ補正ユニット１９が駆動され、像ブレ補正がなされる。

また、画像処理部７で算出した動きベクトルおよび、後述する画像処理情報及びカメラ側操作部９およびレンズ側操作部１６により設定される撮影のための設定情報に基づいて、動きベクトル信頼度判定部４０４により動きベクトルの信頼度が判定される。判定された信頼度情報に基づいて、オフセット推定部３０４でのオフセット推定に使用されるシステムノイズおよび観測ノイズの大きさを決定するゲイン部３１０，３１５のゲイン値が設定される。

さらに本実施形態では、振れ信号から加算器３０５によりオフセット推定値を減算した信号を積分フィルタ３０６で積分することにより、ノイズ算出用振れ角度信号を生成する。そして、このノイズ算出用振れ角度信号に基づいて、オフセット推定部３０４のフィルタ特性を変更する処理を行う。ノイズ算出用振れ角度信号は、前述のように加算器３０５により、レンズ側振れ検出部１７により得られた振れ検出信号からオフセット推定部３０４により得られたオフセット推定値を減算して取得する。

詳細は後述するが、オフセット推定部３０４は、周波数特性が可変なフィルタ処理により振れ検出信号からオフセット成分を推定する処理を行う。したがって、オフセット推定部３０４により振れ検出信号のオフセット値を正確に推定できている場合、加算器３０５により算出される値は、オフセット成分のない振れ信号となる。したがって積分フィルタ３０６により算出されるノイズ算出用振れ角度情報は、基準値０を中心とする値となる。一方で、オフセット推定部３０４によるオフセットが正確に推定されていない場合、レンズ側振れ検出部１７の振れ信号のオフセット誤差の影響で、積分フィルタ３０６により算出されるノイズ算出用振れ角度情報がゆっくりとドリフトした値となる。

積分フィルタ３０６により生成されたノイズ算出用振れ角度信号は、低域遮断フィルタ３１３により低域成分が除去され、高周波成分が抽出される。一方、加算器３０７では、ノイズ算出用振れ角度信号からこの高周波成分を減算することにより低周波成分を抽出する。このようにして、ノイズ算出用振れ角度信号を低周波成分と高周波成分に分離する。

ここで低域遮断フィルタ３１３のカットオフ周波数はレンズ側振れ検出部１７のオフセット成分および低周波揺らぎ、ドリフト成分を含む周波数帯域をカットするように設定する。こうすることにより、レンズ側振れ検出部１７による振れ信号のうち推定したい低周波のオフセット成分と、実際の揺れにより発生している高周波の振れ成分に分離することができる。このように算出されたノイズ算出用振れ角度信号の低周波成分は、べき乗演算部３０９により２乗演算されることで絶対値が算出される。さらに、ゲイン部３１０により所定のゲインが積算されることで、主に低周波の振れ検出信号のオフセット成分およびドリフト成分の大きさ、影響度を表す低周波振れ角度の評価値を算出する。この評価値を以下システムノイズ項と呼ぶ。

一方、低域遮断フィルタ３１３により算出されたノイズ算出用振れ角度信号の高周波成分は、べき乗演算部３１４により２乗演算されることにより、絶対値が算出される。さらに、ゲイン部３１５により所定のゲインが積算されることにより、高周波な撮影者の動きによって発生している振れの大きさを表す高周波振れ角度評価値が算出される。この評価値を以下観測ノイズ項と呼ぶ。

前述のように、オフセット推定部３０４によるオフセット推定値が正確でない場合には、積分後のノイズ算出用振れ角度信号の低周波成分がドリフトして増加していくため、システムノイズ項が大きくなっていく動作となる。

さらに、三脚状態検出部３１７は、公知の方法により、三脚に取り付けられたような静定状態、振れの小さい状態（これを三脚状態と呼ぶこととする）であるか否かを判断する。例えばレンズ側振れ検出部１７により検出された振れ情報、あるいは画像処理部７により算出された動きベクトル情報により、撮像装置１の振れ量を検出する。そして、この振れ量があらかじめ決められた所定値よりも小さい状態（所定振幅内の状態）が所定時間続いた場合に三脚状態であると判断する。三脚状態であると判断された場合には、カメラ状態ノイズ算出部３１８によりあらかじめ設定された所定値を三脚検知状態ノイズとして加算器３１１によりシステムノイズ項に加算する処理を行う。

また一方で、パンニング検出部３１９は、公知の方法により、撮影者によりパンニングあるいはチルティング（カメラの向きの変更動作）のような構図変更等が行われたか否かを判断する。例えば、レンズ側振れ検出部１７により検出された振れ情報、あるいは画像処理部７により算出された動きベクトル情報により、撮像装置１の振れ量を検出する。そして、この振れ量があらかじめ決められた所定値よりも大きい状態が所定時間続いた場合に、撮影者によりパンニングあるいはチルティングが行われたと判断する。パンニング状態が検知された場合には、カメラ状態ノイズ算出部３１８によりあらかじめ設定された所定値をパンニング検知状態ノイズとして加算器３１６により観測ノイズ項に加算する処理を行う。

上記のように、三脚状態の検知およびパンニング動作の検知にレンズ側振れ検出部１７の情報だけでなく動きベクトル情報を用いることにより、より正確な検知を実行可能である。つまり、レンズ側振れ検出部１７では検出しづらいゆっくりとしたパンニング動作などの動き変化を、画素レベルのマッチング比較に基づく動きベクトルを用いて検出することにより、正確に振れを検出することができる。

＜シフトブレ演算手法：ジャイロと加速度センサ利用＞
次に、本実施形態におけるシフトブレ演算部２３のシフトブレの演算手法について図３を用いて説明する。図３は、本実施形態におけるシフトブレ演算部２３の構成を説明するためのブロック図である。このブロック図では、図２中の加算器４０５を用いて、加速度センサ２４から得られるシフトブレに相当する信号を、動きベクトル検出部１００７から得られる動きベクトル情報から差し引く部分が描かれている。また、それに加えて、レンズ側振れ検出部１７も示されている。なお、動きベクトル検出部１００７は、図１（ｂ）の画像処理部７の内部に設けられている。

レンズ側振れ検出部１７で得られた回転角速度は、オフセット推定部３０４を含むブロックに伝達されるとともに、積分器１００１を用いて角度情報θに変換される。続いて、シフトブレを多く含む所定の帯域のみを通すバンドパスフィルタ（ＢＰＦ）１００２を通した角速度信号が生成される。加速度センサ２４が出力する加速度信号は、ＢＰＦ１００２と同一の帯域特性のあるＢＰＦ１００３を通り、さらに積分器１００４を介して速度信号へと変換される。ＢＰＦ１００２から得られた角速度信号と、積分器１００４から得られた速度信号は、比較器１００５へ入力され、比較がなされる。より具体的には、速度信号を角速度信号で除算する。この除算により、振動ジャイロから得られる角速度を有する回転運動の回転半径Ｌが算出される。積分器１００１から得られる角度信号θと、比較器１００５から得られる回転半径Ｌとは、増幅部１００６において、Ｌβθとして出力される。ここで、Ｌβθは、像倍率βの条件において、回転半径Ｌで回転角度θだけ回転運動した際の並進量、すなわちシフトブレ量に相当する。

切替器１００８は、増幅部１００６で得られたシフトブレ量Ｌβθが、所定量よりも大きい場合に、加算器４０５と接続するよう切り替えを行う。増幅部１００６で得られたシフトブレ量Ｌβθが、所定量以下の場合には、シフトブレ量Ｌβθは、加算器４０５には接続されず、０が入力される。加算器４０５は、増幅部１００６で得られたシフトブレ量または０を、動きベクトル検出部１００７が出力する動きベクトル情報から減じた値を出力し、この値は、図１に示したように、別途オフセット推定部３０４を含むブロックへと伝えられる。このようにシフトブレ量を動きベクトル情報から減算することにより、より正確なカメラシステム１００の回転ブレ量が利用可能となる。また、シフトブレ量の大小で減算するか否かを切り替えることにより、より効果的に動きベクトル情報に含まれるシフトブレ量を取り除くことが可能となる。

次に、レンズシステム制御部１５による振れ目標値演算処理について、図４のフローチャートを用いて説明する。なお本処理は、ステップＳ２以降が一定の周期で繰り返し実行される。

ステップＳ１は、レンズシステム制御部１５が所定の周期での動作の開始を判断するステップであり、動作開始が判断されるとステップＳ２へ進む。

ステップＳ２では、レンズ側振れ検出部１７がカメラ本体１の振れを検出する。レンズ側振れ検出部１７としては、従来から振れ補正に使用されている角速度センサ等が使用される。

ステップＳ３は、レンズシステム制御部１５が画像処理部７により算出される動きベクトルの取得周期であるか否かを判断するステップであり、取得周期である場合には、ステップＳ４に進み動きベクトルが取得される。動きベクトルの算出は、公知の画像処理部７から出力される映像信号のフレーム画像間の振れを解析することにより検出する。そのため、ステップＳ３による動きベクトルの検出周期はフレームレート（例えば３０Ｈｚもしくは６０Ｈｚなど）ごとの処理となる。一方フレームレートごとに画像処理部７により実行される動きベクトル検出周期でない場合には、ステップＳ９に進み、前回の周期で取得された動きベクトル情報を保持する。

ステップＳ５では、動きベクトル情報から、シフトブレ演算部２３が算出したシフトブレ量を減算する。ステップＳ６では、レンズ位置検出部２０により振れ補正ユニット１９の位置を検出し取得する。取得する周期は後述するが、動きベクトル情報と合算して使用するため、ステップＳ３により判定した動きベクトル取得周期以上の頻度で実行されるように、レンズシステム制御部１５により設定される。

ステップＳ７では、動きベクトル信頼度判定部４０４により、後述する画像処理情報及びカメラ側操作部９およびレンズ側操作部１６により設定される撮影のための設定情報に基づいて、画像処理部７で算出した動きベクトルの信頼度が判定される。

さらにステップＳ８において、動きベクトル信頼度判定部４０４により判定された動きベクトルの信頼度情報に基づいて、ゲイン部３１０，３１５のゲイン値が設定される。

ステップＳ１０では、レンズシステム制御部１５は、オフセット推定処理の実行周期であるか否かを判定し、実行周期である場合、ステップＳ１１へ進む。一方、オフセット推定処理の実行周期でないと判断した場合には、ステップＳ３８に進み、前回のオフセット推定実行周期で推定したオフセット推定値を保持した後にステップＳ３９へ進む。

ステップＳ１１では、微分器４０３がレンズ位置検出部２０により取得される振れ補正ユニット１９の検出位置の微分値を算出する。ここで本実施形態におけるオフセット推定処理は、あらかじめ設定された所定の離散的な周期で実行されるため、この微分演算は実際には、１周期前で取得した振れ補正ユニット１９の位置と現在の周期で取得した位置との差分で計算され、振れ補正動作により駆動した振れ補正ユニット１９の駆動速度（以下、振れ補正レンズ速度と称す）を表す。

なお、位置検出部２０が振れ補正ユニット１９の位置を検出するタイミングにおいて、レンズシステム制御部１５は、シフトブレ量の算出は行うが、それに応じたシフトブレ補正は実施していない。 これは本フローが実際に撮影を行う本露光前に、レンズ側振れ検出部１７のオフセット誤差を低減する処理であって、本露光中のストローク不足を予防するためである。すなわち、ステップＳ１１で微分器４０３が算出する振れ補正ユニット１９の検出位置の微分値には、シフト補正成分は含まれず、回転振れのみを補正するために駆動した速度として算出される。

レンズ振れ補正駆動部１８による振れ補正動作を実施している場合には、ステップＳ１２では加算器４０２により、画像処理部７により算出された動きベクトル情報と振れ補正ユニット１９の位置の微分値である駆動速度情報を加算する。前述のとおり、動きベクトル情報はステップＳ５においてシフトブレ量が差し引かれた情報になっている。振れ補正によって補正された振れ速度と、動きベクトルからシフトブレ量を減算して算出された振れ残り速度を合算することにより、カメラシステム１００の回転振れ速度を算出する。もしも振れ補正を実施していない場合には、振れ補正レンズ速度は０となるので、必ずしも振れ補正レンズ速度を加算しなくとも、動きベクトル情報とシフトブレ量の差分がそのままカメラシステム１００の回転振れを検出していることになる。

このように動きベクトルを用いて算出したカメラシステム１００の振れ速度は、レンズ側振れ検出部１７の検出値に比べてオフセット誤差の少ないカメラシステム１００の振れそのものを正確に検出している。そのため、ステップＳ１３において加算器４０１によってレンズ側振れ検出部１７の振れ量から、カメラシステム１００の振れ速度を減算することにより、レンズ側振れ検出部１７のオフセットを正確に分離できる。加えて、シフトブレ量を動きベクトル情報から減算することで、より正確なカメラシステム１００の回転振れを検出可能となる。

一方で、動きベクトルは、取得画像の１フレーム以上前の画像と現時点で取得した画像が比較されることで画像ずれを算出するため、そもそも画像情報が取得できない場合には算出できない。また、撮影条件によっては算出された動きベクトル情報が正しくない場合もありうる。

このように、動きベクトル情報は、撮影の条件によっては取得できなかったり、後述するように撮影条件によってベクトル情報が正しく取得できなかったりすることがある。そのため、本実施形態では、動きベクトル信頼度判定部４０４により動きベクトル情報の信頼度を判定し、信頼度に応じてオフセット推定に用いるシステムノイズ及び観測ノイズの大きさの関係を変化させる処理を行う。動きベクトルの信頼度とオフセット推定に用いるシステムノイズおよび観測ノイズの大きさの関係については後述する。

ステップＳ１４では、加算器３０５が特定の周波数成分が除去された振れ信号から前回の推定処理実行時にオフセット推定部３０４において推定しステップＳ３８において保存しておいたオフセット推定値の保存値を減算する。

ステップＳ１５では、積分フィルタ３０６が、加算器３０５でオフセット推定値が減算された振れ信号を積分することにより振れ角度信号を算出する。なお積分フィルタ３０６は、単純な数値積分処理であるが、ローパスフィルタで構成した疑似的な積分処理で構成しても構わない。疑似的な積分処理とは、公知の特定のカットオフ周波数以下の低周波成分を積分しないように構成した積分処理のことである。加算器３０５により振れ信号から減算したオフセット推定値が真のオフセットから大きく離れている場合は、積分後の振れ角度信号が大きくドリフトする。そのため前述のシステムノイズ項あるいは観測ノイズ項の算出値が演算上オーバーフローする可能性があるため、ドリフト量を低減するために疑似積分で構成することが好ましい。また後述するが、オフセット推定部３０４によるオフセット推定値は時間経過とともに真のオフセット値に近づくように推定されるため、オフセット推定値の推定が進むにつれて疑似積分のカットオフ周波数を低周波へ変更するように構成してもよい。

ステップＳ１６では、低域遮断フィルタ３１３（ハイパスフィルタ）が振れ角度信号から低域成分を除去し高周波成分を抽出する。

ステップＳ１７では、べき乗演算部３１４が振れ角度信号の高周波成分を２乗演算し、さらにステップＳ１８においてゲイン部３１５により所定のゲインを乗算して評価値を算出し、ステップＳ１９において観測ノイズ項として保持する。

ステップＳ２０では、加算器３０７が積分フィルタ３０６により算出した角度振れ信号から低域遮断フィルタ３１３で算出した振れ角度信号の高周波成分を減算することにより、振れ角度信号の低周波成分を算出する。

ステップＳ２１では、べき乗演算部３０９が振れ角度信号の低周波成分を２乗演算し、さらにステップＳ２２においてゲイン部３１０により所定のゲインを乗算して評価値を算出し、ステップＳ２３においてシステムノイズ項として保持する。

なお、ステップＳ１０でレンズシステム制御部１５が判定するオフセット推定実行周期と並行して、ステップＳ２４においてレンズシステム制御部１５が判定した周期でカメラ状態ノイズ算出処理を実行する。カメラ状態ノイズ算出の周期は、オフセット推定周期と同じでも異なる周期であっても構わない。ステップＳ２４において、カメラ状態ノイズ算出周期ではないと判断された場合はステップＳ３３へ進み、前回のカメラ状態ノイズ算出周期において算出した三脚検知状態ノイズを保存する。さらにステップＳ３４において前回のパンニング検知状態ノイズを保存した後にステップＳ３５へ進む。

一方、ステップＳ２４において、レンズシステム制御部１５がカメラ状態ノイズ算出周期であると判断した場合には、ステップＳ２５へ進む。ステップＳ２５では、三脚状態検出部３１７により、ステップＳ２で取得した角速度振れ量とステップＳ４で取得した動きベクトルに基づいて、カメラシステム１００の振れが小さい状態が所定時間以上継続しているかにより三脚状態の検知を行う。

ステップＳ２６では、カメラ状態ノイズ算出部３１８が、三脚状態が検知されているか否かを判定する。三脚状態が検出されている場合は、ステップＳ２７において三脚検知状態ノイズに所定値を設定し、三脚状態が検知されていない場合は、ステップＳ２８において、前回の演算周期までに設定された三脚検知状態ノイズをゼロにクリアする。

ステップＳ２９では、パンニング検出部３１９がステップＳ２で取得した角速度振れ量とステップＳ４で取得した動きベクトルに基づいて、パンニングあるいはチルティング動作の検知を行う。

ステップＳ３０では、カメラ状態ノイズ算出部３１８が、パンニング状態が検知されているか否かを判定する。パンニングが検知されていれば、ステップＳ３１においてパンニング検知状態ノイズに所定値を設定し、検知されていなければ、ステップＳ３２において前回の演算周期までに設定されたパンニング検知状態ノイズをゼロにクリアする。

その後、ステップＳ３３およびステップＳ３４において、レンズシステム制御部１５が、前回の三脚検知状態ノイズと前回のパンニング検知状態ノイズを保存した後にステップＳ３５へ進む。

ステップＳ３５では、加算器３１６が観測ノイズ項にパンニング検知状態ノイズを加算する。ステップＳ３６では、加算器３１１がシステムノイズ項に三脚検知状態ノイズを加算する。ステップＳ３７では、これらの情報に基づいて、後述するオフセット推定部３０４によるオフセット推定演算を行う。

ステップＳ３８では、レンズシステム制御部１５はステップＳ３７においてオフセット推定部３０４が算出したオフセット推定値を保持する。ステップＳ３９では、加算器３０１において角速度振れ量からオフセット推定値を減算する。ステップＳ４０では、積分フィルタ３０２により、積分処理をして振れ角度信号を生成することにより、レンズ振れ補正駆動部１８の目標値を生成する。なお、積分フィルタ３０２によるフィルタ処理は、前述の積分フィルタ３０６と同様に、オフセット推定値の推定が進むにつれて疑似積分のカットオフ周波数を低周波へ変更する疑似積分で構成してもよい。

最後に、ステップＳ４１において、レンズシステム制御部１５が、今回の演算周期での振れ目標値演算処理を終了する。

＜オフセット推定部の詳細＞
次に、オフセット推定部３０４によるレンズ側振れ検出部１７のオフセット推定処理の方法について数式を用いて説明する。オフセット推定部３０４を公知の線形カルマンフィルタで構成する場合、線形カルマンフィルタの一般的な式は以下の式（１）〜式（７）で表すことができる。

ｘ_t＝Ａｘ_t-1＋Ｂｕ_t＋Ε_t …式（１）
ｚ_t＝Ｃｘ_t＋σ_t …式（２）
ここで式（１）は状態空間表現での動作モデルを表し、式（２）は観測モデルを表す。Ａは動作モデルでのシステムマトリクス、Ｂは入力マトリクスを表す。またＣは観測モデルでの出力マトリクスを表し、それぞれは行列式で表現される。また、Ε_tはプロセスノイズ、σ_tは観測ノイズ、ｔは離散的な時間を表す。

ここで、式（３）は予測ステップにおける事前推定値、式（４）は事前誤差共分散を表す。またΣ_xは動作モデルのノイズの分散を表す。

ここで、式（５）はフィルタリングステップにおけるカルマンゲインの算出式を表し、添え字のＴは転置行列を表している。さらに式（６）はカルマンフィルタによる事後推定値、式（７）は事後誤差共分散を表す。またΣ_zは、観測モデルのノイズの分散を表す。

本実施形態では、レンズ側振れ検出部１７のオフセットを推定するため、オフセット値をｘ_tとし、観測された振れ量をｚ_t、プロセスノイズをＥ_t、観測ノイズをσ_tとする。すると、オフセットのモデルは式（１）における入力項ｕがなく、式（１）および式（２）でＡ＝Ｃ＝１となる以下の１次線形モデルで表すことができる。

ｘ_t＝ｘ_t-1＋Ｅ_t …式（８）
ｚ_t＝ｘ_t＋σ_t …式（９）
ここで、式（４）における動作モデルのノイズの分散Σ_xを、システムノイズσ_xと三脚検知状態ノイズσ_tの合算値で表し、式（５）における観測モデルのノイズの分散Σ_zを、観測ノイズσ_z、パンニング検知状態ノイズσ_pの合算値で表す。さらにオフセット事前推定値をｘ^^-、時刻ｔにおける誤差共分散推定値をＰ^_t、時刻tにおけるカルマンゲインをｋ_t、観測ノイズをσ_z、パンニング検知状態ノイズをσ_p、レンズ側振れ検出部１７により観測された振れ量をｚ_tとすると以下の式でカルマンフィルタを構成することができる。

オフセット推定部３０４は上記式（１０）から式（１４）までの演算式で構成され、推定演算の更新周期の時間ｔ−１でのオフセット推定値ｘ^_t-1、加算器３１１により出力されるシステムノイズσ_x、三脚検知状態ノイズσ_t、時間ｔ−１での誤差共分散推定値Ｐ^_t-1により、オフセット事前推定値ｘ^^-および誤差共分散事前推定値Ｐ^^- _tが算出される。そして誤差共分散事前推定値Ｐ^^- _tおよび加算器３１６により出力される観測ノイズσ_z、パンニング検知状態ノイズσ_pを基にカルマンゲインｋ_tが算出される。そして式（１３）によって、観測された振れ量ｚ_tとオフセット事前推定値ｘ^^-との誤差にカルマンゲインｋ_tを乗じた値によってオフセット事前推定値ｘ^^-が修正され、オフセット推定値ｘ^_tが算出される。また式（１４）により誤差共分散事前推定値Ｐ^^- _tが修正されて、誤差共分散推定値Ｐ^_tが算出される。これらの演算によって事前推定更新と修正を演算周期ごとに繰り返すことにより、オフセット推定値が算出される。

以上のように構成されたカルマンフィルタについて、システムノイズσ_x、観測ノイズσ_z、三脚検知状態ノイズσ_t、パンニング検知状態ノイズσ_pの大きさが変化することによる、カルマンフィルタのオフセット推定動作の変化について、式（１１）、式（１２）、式（１３）および、図５を用いて説明する。図５は振れの大きさ、撮影状態によるシステムノイズ、観測ノイズ、三脚検知状態ノイズ、パンニング検知状態ノイズの大きさの関係を表した図である。

＜システムノイズ、三脚検知状態ノイズの作用＞
まず、図５（ａ）で示すように、積分フィルタ３０６で算出された振れ角度信号のうち、低周波成分が大きくなるにつれてシステムノイズσ_xが大きくなる。これはレンズ側振れ検出部１７のオフセット値と加算器３０５で減算しているオフセット推定値がまだ誤差を持っているため、積分フィルタ３０６による積分後のノイズ算出用振れ角度信号の低周波成分のドリフトが大きいことを表している。つまりオフセット推定部が正しくオフセットを推定できていない状態であることを示している。

次に、図５（ｃ）で示すように、三脚状態検出部３１７による三脚の検知時の揺れ状態が小さくなるにつれて三脚検知状態ノイズを大きくする。これはカメラシステム１００が三脚に置かれているような静定状態にあることを表している。

これらのシステムノイズ、三脚検知状態ノイズにより、まず式（１１）では誤差共分散事前推定値Ｐ^^- _tの値が大きくなる。観測ノイズ及びパンニング検知状態ノイズが変化していない状態を考えると、これにより式（１２）で算出するカルマンゲインｋ_tは、算出式の分母に比べて分子の値の割合が大きくなることで１に近づく。逆にシステムノイズ及び三脚検知状態ノイズが小さくなるにつれて、式（１２）で算出されるカルマンゲインｋ_tは０に近づく。以上のことから、式（１３）で算出されるオフセット推定値ｘ^_tは、カルマンゲインが１に近づくにつれて、観測された振れ量ｚ_tに近づくように補正され、カルマンゲインが０に近づくにつれて、オフセット事前推定値ｘ^^-を維持するように更新される。このような動作によって、レンズ側振れ検出部１７のオフセット誤差が大きい間、あるいはオフセット推定値が真のオフセット値から誤差を持っている間はステップＳ３７におけるオフセット推定部３０４でのオフセット推定演算で、カルマンゲインが１に近づく。これにより、観測された振れ量と推定値との誤差を式（１３）で補正するようにオフセット推定値を更新するように働く。また三脚検知状態の振れ振幅が小さくなるにつれて、式（１１）における動作モデルのノイズの分散がさらに大きくなることによりカルマンゲインが１に近づく。これにより、観測された振れ量にオフセット推定値が近づくように働く。これは三脚状態で振れの小さい状態であれば、観測した振れ量に実際の撮影者の振れによる振れ周波数成分が含まれないため、観測された振れ量の低周波成分はオフセット成分が主であり、オフセット推定の精度が高まるためである。そのため積極的にオフセットの推定値を観測した振れ量に近づけるように更新処理を行う。

＜観測ノイズ、パンニング検知状態ノイズの作用＞
まず図５（ｂ）で示すように、積分フィルタ３０６で算出された振れ角度信号のうち、高周波成分が大きくなるにつれて観測ノイズσ_zが大きくなる。これはレンズ側振れ検出部１７で検出した振れ量のうち、手振れ周波数帯域を含む高周波成分が大きいことを表している。つまり、歩きながらの撮影のような、振れの大きい撮影条件でカメラシステム１００が保持されている状態であることを示している。

次に、図５（ｄ）で示すように、パンニング検出部３１９によるパンニング検知時の揺れ状態が大きくなるにつれてパンニング検知状態ノイズを大きくする。これは撮影者が意図的に構図変更を行うパンニングあるいはチルティング動作を行っている状態でありカメラシステム１００の振れが大きいことを表している。パンニング検知の判定は、振れが大きい状態という点で観測ノイズの判定で代用可能であるが、パンニング動作のように一定方向に所定時間の動きなど単に振れの大きさだけを見ている場合に比べて動き変化の検知の精度が高いというメリットがある。

システムノイズ及び三脚検知状態ノイズが変化していない状態を考えると、まず式（１１）は、誤差共分散事前推定値Ｐ^^- _tの値は変化しない。次に式（１２）で算出するカルマンゲインｋ_tは、観測ノイズおよびパンニング検知状態ノイズが大きくなると、算出式の分子に比べて分母の値の割合が大きくなることで０に近づく。逆に観測ノイズ及びパンニング検知状態ノイズが小さくなるにつれて式（１２）で算出されるカルマンゲインｋ_tは１に近づく。

以上のことから式（１３）で演算されるオフセット推定値ｘ^_tは、カルマンゲインが１に近づくにつれて、観測された振れ量ｚ_tに近づくように補正される。また、カルマンゲインが０に近づくにつれて、オフセット事前推定値ｘ^^-を維持するように更新される。このような動作によって、レンズ側振れ検出部１７による振れ量が大きくなるにつれて、ステップＳ３７におけるオフセット推定部３０４でのオフセット推定演算で、カルマンゲインが０に近づく。これにより、観測された振れ量と推定値との誤差を式（１３）で補正しないようにオフセット推定値の更新を遅くする（あるいは更新しない）ように働く。また同様にパンニング動作を検知した場合にも、式（１２）における観測モデルのノイズの分散がさらに大きくなることでカルマンゲインが０に近づき、オフセット推定の更新を遅くするように働く。オフセット推定部が以上のような動きとなることにより、レンズ側振れ検出部１７による振れ量に撮影者の動きによって大きな振れが含まれるような撮影条件であっても、撮影者の動きによる振れ成分を誤ってオフセットとして抽出してしまうことを避けることができる。そして、撮影条件、状態によらず、正確にオフセット推定を行うことができる。

また、三脚状態のように撮像装置の静定状態でオフセット推定の更新を早め、カメラシステム１００の電源が投入された直後などオフセット推定値が真のオフセット値から大きく誤差を持っている状態においてオフセット推定の更新を早める。これにより、オフセット推定が完了するまでの速度を早めつつ、誤まった推定を避けることで振れ補正の性能を向上することが可能である。

上記のような各撮影状況でのオフセット推定値の時系列変化の一例を図６、図７、図８に示す。

図６は、カメラシステム１００が三脚に置かれているような静定状態での横軸を時間[ｍｓｅｃ]としたレンズ側振れ検出部１７による振れ角速度信号とオフセット推定値およびオフセット推定値を減算した後の振れ角速度信号の時系列変化を表した図である。

図６（ａ）は、従来の手法による振れ検出手段のオフセットを固定のカットオフ周波数のローパスフィルタにより抽出し、オフセットを除去した場合の波形例であり、図６（ｂ）は本実施形態の手法を用いた場合の波形例を表している。

従来の手法によると、振れ補正の低周波性能を向上させるため、極低周波なカットオフ周波数（例えば０．０１Ｈｚなど）のローパスフィルタを用いてオフセットを推定している。そのため、図６（ａ）で示すように、オフセット推定値がオフセットを除去するまでに約２２０ｍｓｅｃ程度と非常に時間がかかってしまい、正しくオフセットを除去できるまで振れ補正性能が低下してしまう問題がある。

一方、本実施形態では、動きベクトルの信頼度が高い場合、図６（ｂ）の下図で示すように、オフセット推定に用いる振れ角速度の値から撮影による振れ周波数成分があらかじめ取り除かれている。このため、システムノイズを大きく、観測ノイズを小さく設定でき、オフセット推定の更新速度を早めることができる。

次に、図７は歩き撮り撮影のような振れが大きい撮影条件での波形例を示した図である。

図７（ａ）は従来の手法による波形例である。振れが大きい状態においては、振れ補正部材の制御端への突き当たりを防止するため、低周波成分除去のためにローパスフィルタのカットオフ周波数が静定時に比べて高く設定される。そのため、ローパスフィルタによるオフセット推定値は、図で示したように、除去したい一定値のオフセット成分のみならず撮影の振れによる周波数成分も含んだ時系列で振幅方向に変動の大きいオフセット推定値となる。その結果、オフセット除去後の角速度は、本来振れ補正したい撮影による振れ成分であるオフセット以外の周波数成分が振れ検出値から除去されてしまい、振れ補正の性能が低下してしまう。

一方、図７（ｂ）は本実施形態による波形例であり、図６（ｂ）の場合と同様の効果が得られることが分かる。

次に、図８は、撮影者によるパンニング動作による構図変更時の波形例を表した図である。

図８（ａ）は、従来の手法による波形例である。想定している撮影者の動作は、グラフの横軸時間に対して７０ｍｓｅｃ付近で一方向にパンニングし、１２０ｍｓｅｃ付近で停止するものである。従来の手法における静定状態においては、良好に振れ補正できているが、パンニング開始と同時にパンニング中の角速度変化もオフセットとして誤抽出してしまい、パンニングが停止した後に、正しいオフセットに戻るまでに時間がかかってしまっている。そのため、オフセット除去後の角速度値は、パンニング停止後にパンニング方向と逆方向の振れ角速度変化として算出されてしまう。この逆振れは振れ補正の不具合のいわゆる揺り戻しの動きとなってしまう。

一方、図８（ｂ）の本実施形態による波形例では、動きベクトルによりパンニング動作による角速度変化も検出し、この検出された値がオフセット推定に用いる振れ角速度から取り除かれるためオフセット推定の精度をより高めることができる。

次に、動きベクトルの信頼度と、オフセット推定に用いるシステムノイズ及び観測ノイズの大きさの関係を図９を用いて説明する。

図９（ａ）は、ゲイン部３１０により算出されるノイズ算出用振れ角度情報の低周波成分の大きさとシステムノイズの関係を表した図である。また、図９（ｂ）はゲイン部３１５により算出されるノイズ算出用振れ角度情報の高周波成分の大きさと観測ノイズの関係を表した図である。実線は動きベクトル情報を用いない場合のシステムノイズおよび観測ノイズの大きさを、点線は動きベクトルの信頼度が高いと判定された場合、一点鎖線は動きベクトルの信頼度が低いと判定された場合を表している。

動きベクトル情報を用いない場合の例については、ここでは詳細は省略するが、帯域制限フィルタを用いて手振れの主要帯域を除去したジャイロ信号からオフセット推定する方法などが挙げられる。本実施形態では、そのようなオフセットを推定する方法を除外して説明を行っているが、これには限定されず、帯域制限フィルタを用いつつ、さらに動きベクトル情報を用いるものであっても構わない。

動きベクトル信頼度判定部４０４により、動きベクトルの信頼度が高い場合には、信頼度が低い場合に比べて同じノイズ算出用振れ角度信号値に対してシステムノイズを大きく、観測ノイズを小さく設定する。これは、動きベクトルの信頼度が高い場合には、加算器４０１により算出されるカメラシステム１００の振れを正確に検出できるからである。前述したようにレンズ側振れ検出部１７が検出した撮影動作による振れを含む振れ量から動きベクトルから算出したカメラシステム１００の振れを減算することにより、レンズ側振れ検出部１７のオフセット成分の分離を正確に行うことができる。そのため式（１３）におけるカルマンフィルタへ入力される観測された振れ量ｚ_tは、レンズ側振れ検出部１７のオフセット成分の周波数成分を抽出できる。そのため、システムノイズを大きくすること、または観測ノイズを小さくすることにより、カルマンゲインを１に近づけ、観測された振れ量にオフセット推定値が近づくように補正を進める。

また一方、動きベクトル信頼度判定部４０４により、動きベクトルの信頼度が低い場合には、信頼度が高い場合に比べて同じノイズ算出用振れ角度信号値に対してシステムノイズを小さく、観測ノイズを大きく設定する。これは、動きベクトルの信頼度が低い場合には、加算器４０１により算出されるカメラシステム１００の振れに誤差が大きく、正確に検出できていない状態であるからである。そのため、レンズ側振れ検出部１７が検出した撮影動作による振れを含む振れ量から動きベクトルから算出したカメラシステム１００の振れを減算すると、レンズ側振れ検出部１７のオフセット成分以外の動きベクトル検出誤差が重畳した振れ信号となる。式（１３）において、システムノイズを小さくすること、または観測ノイズを大きくすることによりカルマンゲインを０に近づけ、オフセット推定値の更新を遅くする。あるいは更新しないようにすることにより、オフセット推定値の更新速度と精度を向上させることができる。

次に、前述した動きベクトル信頼度判定部４０４による動きベクトルの信頼度判定について、信頼度が低いと判定される条件を以下に説明する。

（１）移動被写体が撮影画像全体に対して所定値以上を占めている場合
本実施形態では、動きベクトルによりカメラシステムの振れを検出することが目的であるが、撮影画像中に移動する被写体が存在し、移動被写体が撮影画面全体を占めている場合には、動きベクトルは移動被写体の移動速度を検出してしまう。

（２）カメラ側操作部９により撮影者によって設定されたＩＳＯ感度設定が所定値よりも高い場合
公知のように、ＩＳＯ感度設定を高くすると撮像部による電気信号を増幅する際にノイズ成分も増幅してしまうため、ＩＳＯ感度を高くするほどノイズにより画像から検出した動きベクトルにノイズが混入してしまい、動きベクトルの信頼度が低下する。
（３）被写体のコントラスト値が所定値よりも低い場合
動きベクトルを算出する際の公知のブロックマッチングによりマッチング処理を行う際に、コントラストが低いと画像の類似点の判定が困難となり、マッチング結果に誤差が発生する。
（４）繰り返しパターンのある被写体が撮影画像全体に対して所定値以上を占めている場合
画像中に周期的なパターン（縞模様のような繰り返しパターン）が存在し、撮影画像全体を占めていると、ブロックマッチングにより誤った動きベクトルを検出することがある。
（５）撮像装置から第１の被写体までの距離と撮像装置から第１の被写体とは異なる被写体までの距離との差が所定値以上離れている被写体が撮影画像全体の領域に対して所定値以上を占めている場合
被写体までの距離によって撮像面での画像の動き量と、実際の被写体の移動速度の関係が異なる。そのため、動きベクトルを検出する画像中にカメラシステム１００からの距離が遠い被写体と近い被写体が混在し、撮影画像全体を占めている場合に動きベクトルによる動き量に誤差が生じることがある。
（６）ローリングシャッタ歪みが所定値よりも大きい場合
撮像部にＣＭＯＳセンサを用いた際、高速に動く被写体を撮影すると取り込む時間差により画像に差異が生じ、高速に移動しているものを動画で撮影すると歪みが生じる。この公知の問題により、歪んだ画像を用いて動きベクトルを検出すると、動きベクトルの検出に誤差が生じることがある。
（７）被写体のテクスチャの相関値の最大値が低い場合
動きベクトル検出時にマッチングの基準領域とサーチ領域の相関値の最大値が低い場合には、基準領域とサーチ領域の類似度が低いと考えられ、信頼度が低いと判定される。
（８）被写体のテクスチャの相関値の最大値と最小値の差分に対する、相関の最小値と平均値との差分の比率が小さい場合
相関値の最小値と最大値の差分に対する、最小値と平均値の差分との比率は相関値ピークの急峻性を表わしており、比率が小さい場合、基準領域とサーチ領域の類似度が低いと考えられ、信頼度が低いと判定される。

なお、相関値の算出方法には既知の差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略す）など、どのような算出方法を用いても構わない。

本実施形態におけるカメラシステム１００では、オフセット推定部３０４が、レンズ側振れ検出部１７のオフセット成分を、シフトブレの影響を除去して推定している。一方で、シフトブレの影響が発生するシーンには特定の条件が伴うことが知られている。そこで、本実施形態ではシフトブレの影響があることが想定されるシーンに限定して、図４で説明したようなシフトブレ演算部２３の出力を利用するか否かを以下の条件で切り替え可能である。

一つ目の条件は、「撮影秒時」である。撮影に際して、撮影者やカメラシステム１００が設定する撮影秒時（露光秒時）に応じて、露光期間が決定される。これは前述のカメラ側操作部９を用いて撮影者が行ったりカメラシステム１００の設定状態によってはカメラシステム１００が自ら行ったりする。レンズシステム制御部１５は、カメラ本体１で設定された撮影秒時が所定よりも長い場合、図４で説明したシフトブレ演算部２３の出力を利用し、短い場合はシフトブレ演算部２３の出力を利用しない。これは、被写体距離がきわめて近いマクロ撮影でない場合であっても、撮影秒時が長い場合には、シフトブレの影響が大きくなり、短い場合はシフトブレの影響が小さくなるためである。

二つ目の条件は、「被写体距離情報」である。カメラシステム１００は、撮像素子６から得られる撮影画像から、画像処理部７を介して被写体距離情報を距離マップとして取得可能である。より具体的には、撮像素子６が位相差検出用画素を備えており、被写体の位相差を検出する。この位相差から得られる被写体距離情報の集合を用いて、画像処理部７の一部である距離マップ生成部（不図示）が距離マップを生成する。レンズシステム制御部１５は、この距離マップに基づいて、主被写体の距離を取得し、所定距離よりも短い場合、図４で説明したシフトブレ演算部の出力を利用し、長い場合は利用しない。これは、被写体距離が所定距離よりも短い場合には、シフトブレの影響が大きくなり、長い場合はシフトブレの影響が小さくなるためである。

以上説明したように、上記の実施形態によれば、動きベクトル検出部から得られるカメラシステムのブレ量から、オフセット推定のためには不要であるシフトブレ成分を除去することにより、より適正なオフセット推定が可能となる。

（一実施形態の変形例）
上記の実施形態では、シフトブレの検出のために、図４で説明したような、角速度信号と加速度信号との比較を行うブロックが用意されていた。本発明の目的達成において上記構成は必須のものではなく、たとえば、加速度信号を二階積分することで得られる位置信号をシフトブレ成分として、ベクトル情報から差し引いても構わない。

また、シフトブレ成分の検出は、必ずしもカメラシステム１００内部でなされなくてはならないものではない。たとえば外部測定系が存在し、カメラシステム１００の絶対空間内における位置情報が、無線通信によって得られるような構成であっても構わない。

一実施形態およびその変形例においては、像ブレ補正手段として撮影光学系の一部がシフト駆動されるタイプを採用している。しかし、本発明はこれに限定されず、撮像素子６がシフト駆動されるものであったり、レンズがチルト駆動されるものであったり、またそれらの組み合わせであっても構わない。

また、上記の実施形態においては、レンズユニット２に配設されるレンズ側振れ検出部１７と加速度センサ２４を用いてシフトブレ量を算出し、レンズ側振れ検出部１７であるジャイロセンサのオフセット誤差を除去した。しかしながら、本発明はこれには限定されず、カメラ本体１内に内蔵されるジャイロセンサや加速度センサを用いて算出したシフトブレ量にも基づいてレンズ側振れ検出部１７のオフセット誤差を除去してもよい。

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１：カメラ本体、２：レンズユニット、３：撮影光学系、５：カメラシステム制御部、６：撮像素子、１５：レンズシステム制御部、１７：レンズ側振れ検出部、１８：レンズ側振れ補正駆動部、１９：振れ補正ユニット、２０：レンズ位置検出部

Claims (19)

1. 被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルを用いて、撮像装置の振れ量を検出する第１の振れ検出手段から第１の振れ検出結果を取得する第１の取得手段と、
   前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する像ブレ補正手段の補正量の情報を取得する第２の取得手段と、
   前記撮像装置の回転角速度を検出する第２の振れ検出手段から第２の振れ検出結果を取得する第３の取得手段と、
   前記撮像装置のシフト振れを検出するシフト振れ検出手段からシフト振れ検出結果を取得する第４の取得手段と、
   前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定する推定手段と、
   を備えることを特徴とする像ブレ補正装置。
2. 前記推定手段は、前記第１の振れ検出結果から前記シフト振れ検出結果を差し引いた値と、前記第２の振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定することを特徴とする請求項１に記載の像ブレ補正装置。
3. 前記推定手段は、前記シフト振れ検出結果が所定値より大きい場合に、前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定することを特徴とする請求項１または２に記載の像ブレ補正装置。
4. 前記シフト振れ検出手段は、加速度を検出する加速度検出手段と、該加速度検出手段の出力を積分した値と前記第２の振れ検出手段の出力とを比較する比較手段と、を有することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
5. 前記比較手段は、前記加速度検出手段の出力を積分した値を前記第２の振れ検出手段の出力で除算することにより前記撮像装置の回転振れの半径を求め、前記シフト振れ検出手段は、前記半径と前記第２の振れ検出手段の出力を積分した値を乗算することにより前記シフト振れを検出することを特徴とする請求項４に記載の像ブレ補正装置。
6. 前記シフト振れ検出手段は、加速度を検出する加速度検出手段と、該加速度検出手段の出力を積分した値と前記第１の振れ検出手段の出力とを比較する比較手段と、を有することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
7. 前記シフト振れ検出手段は、加速度を検出する加速度検出手段を備え、該加速度検出手段の出力を二階積分することにより、前記シフト振れを検出することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
8. 前記シフト振れ検出手段は、前記撮像装置の外部から得られる前記撮像装置の位置情報により、前記シフト振れを検出することを特徴とする請求項１乃至３のいずれか１項に記載の像ブレ補正装置。
9. 被写体の距離情報である距離マップを生成する距離マップ生成手段をさらに備え、前記推定手段は、前記距離マップ生成手段により生成される距離マップが所定の条件を満たした場合に、前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出結果に含まれるオフセット量を推定することを特徴とする請求項１乃至８のいずれか１項に記載の像ブレ補正装置。
10. 前記推定手段は、撮影の際に設定される露光秒時が所定の時間以上に設定された場合に、前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出結果に含まれるオフセット量を推定することを特徴とする請求項１乃至９のいずれか１項に記載の像ブレ補正装置。
11. 前記撮像装置の向きの変更動作を検知するパンニング検知手段をさらに備え、前記推定手段は、前記パンニング検知手段による振れ量が第１の量の場合の前記オフセット量の推定の更新速度を、前記パンニング検知手段による振れ量が前記第１の量よりも小さい第２の量の場合の前記オフセット量の推定の更新速度よりも遅くすることを特徴とする請求項１乃至１０のいずれか１項に記載の像ブレ補正装置。
12. 前記撮像装置の振れが所定時間、所定振幅内に収まった状態である三脚状態を検知する三脚検知手段をさらに備え、前記推定手段は、前記三脚状態での振れ量が第３の量の場合の前記オフセット量の推定の更新速度を、前記三脚状態での振れ量が前記第３の量よりも大きい第４の量の場合の前記オフセット量の推定の更新速度よりも早くすることを特徴とする請求項１乃至１１のいずれか１項に記載の像ブレ補正装置。
13. 前記推定手段は、
    前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定するモードと、
    前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定するモードとを実行可能であることを特徴とする請求項１乃至１２のいずれか１項に記載の像ブレ補正装置。
14. 前記推定手段は、前記オフセット量を、前記第２の振れ検出手段の検出結果に基づいて補正量を算出する算出手段に出力することを特徴とする請求項１乃至１３のいずれか１項に記載の像ブレ補正装置。
15. 請求項１乃至１４のいずれか１項に記載の像ブレ補正装置と、
    前記像ブレ補正手段と
    撮影光学系とを備え、
    前記像ブレ補正手段は、前記撮影光学系に設けられ、該撮影光学系の光軸と異なる方向に移動するシフトレンズを有することを特徴とする撮影レンズ。
16. 請求項１乃至１４のいずれか１項に記載の像ブレ補正装置と、
    前記像ブレ補正手段と、
    前記撮像素子とを備え、
    前記像ブレ補正手段は、前記撮像素子を撮影光学系の光軸と異なる方向に移動させる駆動手段を有することを特徴とする撮像装置。
17. 撮像装置と前記撮像装置に着脱可能に装着されるレンズユニットとを備える撮像システムであって、
    被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルを用いて、撮像装置の振れ量を検出する第１の振れ検出手段から第１の振れ検出結果を取得する第1の取得手段と、
    前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する像ブレ補正手段の補正量の情報を取得する第２の取得手段と、
    前記撮像装置の回転角速度を検出する第２の振れ検出手段から第２の振れ検出結果を取得する第３の取得手段と、
    前記撮像装置のシフト振れを検出するシフト振れ検出手段からシフト振れ検出結果を取得する第４の取得手段と、
    前記第１の振れ検出結果と、前記第２の振れ検出結果と、前記シフト振れ検出結果と、前記像ブレ補正手段の補正量とに基づいて、前記第２の振れ検出手段の検出結果に含まれるオフセット量を推定する推定手段と、
    を備えることを特徴とする撮像システム。
18. 被写体像を光電変換する撮像素子から出力された複数の画像信号から得られる動きベクトルを用いて検出された、撮像装置の第１の振れ量を取得する第１の振れ取得工程と、
    前記被写体像と前記撮像素子の相対位置を変更することにより、前記撮像装置の振れに起因する像ブレを補正する像ブレ補正手段の補正量の情報を取得する補正量取得工程と、
    前記撮像装置の回転角速度を取得する第２の振れ取得工程と、
    前記撮像装置のシフト振れを取得するシフト振れ取得工程と、
    前記第１の振れ量と、前記回転角速度と、前記シフト振れと、前記像ブレ補正手段の補正量とに基づいて、前記回転角速度に含まれるオフセット量を推定する推定工程と、
    を備えることを特徴とする像ブレ補正装置の制御方法。
19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images