JP2017219635A - 画像処理装置及び方法、撮像装置、及び撮像システム - Google Patents

Abstract

【課題】 複数の装置に搭載された防振機能が通信を介して協調して防振制御する場合に、通信エラーが発生したり、通信に遅れが生じた場合であっても、防振効果の低下を抑制すること。【解決手段】 通信手段を介して外部から取得したブレ情報に基づいて、ブレ補正量を求める取得手段（１２６、３０１）と、過去に用いたブレ補正量に基づいて、ブレ補正量を予測する予測手段（３０６）と、前記取得手段により求めたブレ補正量と、前記予測手段により予測されたブレ補正量のいずれかを選択する選択手段（３０７）と、前記選択手段により選択されたブレ補正量に基づいて、ブレを補正する補正手段（３１０）と、を有し、前記選択手段は、前記ブレ情報が取得できた場合に、前記取得手段により求めたブレ補正量を選択し、前記ブレ情報が取得できなかった場合に、前記予測手段により予測したブレ補正量を選択する。【選択図】 図３

Description

本発明は、画像処理装置及び方法、及び、画像処理装置を搭載した撮像装置及び撮像システムに関する。

振れを検出して、検出した振れに起因する像ブレを補正するように移動可能なレンズ、または撮像素子を駆動するブレ補正装置を備えた撮像装置や交換レンズが知られている。このような方式の手ブレ補正機能を光学式手ブレ補正という。また近年では、動画において、振れをキャンセルする方向にフレーム画像を切り出して出力する手ブレ補正機能もあり、小型・軽量の撮像装置や撮像装置付き携帯電話などに用いられている。このような方式の手ブレ補正を、電子式手ブレ補正という。

ブレを検出する方式としては、角速度センサ（ジャイロセンサ）が一般的であり、検出した角速度をもとにブレをキャンセルする方向にレンズまたは撮像素子を駆動する。また近年では、撮像装置のフレームレートの高速化と画像処理の高度化により、フレーム間の画像のブレを解析し、動きベクトルを求めることでブレを検出する技術も知られている。

動きベクトルによるブレ検出においては、次のようにして、画像ノイズによる動きベクトルの誤算出や被写体ブレによる手ブレ以外の要素の除去を行う技術がある。まず、画像を小さなブロックごとに分割し、分割したブロックごとに動きベクトルを算出し、算出した複数個の動きベクトルから、全体の動きベクトルを求める。

また、交換レンズ方式のカメラシステムにおいては、交換レンズ側に光学式手ブレ補正を行う機能を備え、カメラ側に光学式手ブレ補正または電子式手ブレ補正を行う機能を備えた組み合わせが考えられる。このように、カメラとレンズでそれぞれ独立したブレ補正を行う機能を備えたシステムにおいては、レンズとカメラが独立にブレ補正を制御するのではなく、通信を介してそれぞれが協調し合って制御し、補正効果を高めるという技術もある。

特許文献１では、カメラ側に角速度センサを有し、交換レンズ側にブレ補正手段を有するカメラシステムにおいて、カメラから交換レンズに対して一定周期間隔でブレ補正データ送信を行って交換レンズ側でブレ補正をすることが開示されている。しかしながら、データ送信が必ずしも一定間隔でできるとは限らないため、データ送信が遅れた場合には、前回のブレ補正データを使ってブレ補正を実施することが開示されている。

特開２００３−１８６０７４号公報

上述したように、レンズとカメラが通信を介して協調して手ブレ補正を制御するシステムにおいては、通信エラーが起こった場合や通信が遅れた場合、受信する側が適切なブレ補正の処理タイミングで補正量の設定ができないという課題がある。

また特許文献１に記載された技術では、前回のブレ補正量を用いてブレ補正を実施するだけなので、ブレ補正の精度が大きく低下してしまうという課題がある。

本発明は上記問題点を鑑みてなされたものであり、複数の装置に搭載された防振機能が通信を介して協調して防振制御する場合に、通信エラーが発生したり、通信に遅れが生じた場合であっても、防振効果の低下を抑制することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、通信手段を介して外部から取得したブレ情報に基づいて、ブレ補正量を求める取得手段と、過去に用いたブレ補正量に基づいて、ブレ補正量を予測する予測手段と、前記取得手段により求めたブレ補正量と、前記予測手段により予測されたブレ補正量のいずれかを選択する選択手段と、前記選択手段により選択されたブレ補正量に基づいて、ブレを補正する補正手段と、を有し、前記選択手段は、前記ブレ情報が取得できた場合に、前記取得手段により求めたブレ補正量を選択し、前記ブレ情報が取得できなかった場合に、前記予測手段により予測したブレ補正量を選択する。

本発明によれば、複数の装置に搭載された防振機能が通信を介して協調して防振制御する場合に、通信エラーが発生したり、通信に遅れが生じた場合であっても、防振効果の低下を抑制することができる。

本発明の第１の実施形態に係る撮像システムの機能構成を示すブロック図。 実施形態に係る防振制御の機能構成を示すブロック図。 実施形態に係る電子防振制御部の構成を示すブロック図。 実施形態に係る電子防振補正量演算処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る像ブレ補正装置を含む撮像システムの機能構成を示すブロック図である。この撮像システムは、主に静止画像と動画像の撮影を行うためのレンズ交換式デジタルカメラシステムであり、着脱可能なレンズユニット１０と、カメラ本体２０とを含む。

図１において、レンズユニット１０に含まれる光学系は、変倍を行うズームレンズを含むズームユニット１０１、絞りユニット１０３、像ブレ補正ユニット１０５、焦点調節を行うレンズを含むフォーカスユニット１０７を含んで構成される。ズームユニット１０１は、ズーム駆動制御部１０２により駆動制御され、絞りユニット１０３は、絞り駆動制御部１０４により駆動制御される。また、像ブレ補正ユニット１０５は、像ブレ補正制御部１０６により駆動制御され、フォーカスユニット１０７は、フォーカス駆動制御部１０８により駆動制御される。

操作部１０９は、レンズユニット１０を操作するために用いられる。手ブレ検出部１１０は、主にジャイロセンサを用いてレンズに加わる手ブレ量を角速度として検出し、電圧（角速度データ）に変換して出力する角速度センサである。レンズシステム制御部１１１は、レンズ全体を制御する。カメラ通信制御部１１２は、カメラ本体２０との通信を制御する。

一方、カメラ本体２０において、シャッターユニット１１３は、シャッター駆動制御部１１４により駆動される。撮像部１１５は、上述した光学系及びシャッターユニット１１３を通過して入射した光像を電気信号に光電変換する。撮像部１１５から出力された電気信号は、撮像信号処理部１１６により映像信号に変換処理され、更に、用途に応じて映像信号処理部１１７により加工される。表示部１１８は、映像信号処理部１１７から出力された信号に基づいて、必要に応じて画像表示を行う。

記憶部１１９は、映像情報など様々なデータを記憶する。電源部１２０は、撮像システム全体に、用途に応じて電力を供給する。操作部１２１は、撮像システムを操作するために用いられる。

なお、操作部１０９，１２１には、手ブレ補正ＯＮ／ＯＦＦを選択可能にする防振ＯＮ／ＯＦＦスイッチが含まれる。少なくとも操作部１０９，１２１のいずれか一方の防振ＯＮ／ＯＦＦスイッチにより手ブレ補正ＯＮが選択されると、レンズシステム制御部１１１及びカメラシステム制御部１２５はそれぞれ、像ブレ補正制御部１０６及び電子防振制御部１２４に防振動作を指示する。そして、これを受けた像ブレ補正制御部１０６及び電子防振制御部１２４は、防振ＯＦＦの指示がなされるまで防振動作を行う。

また、操作部１２１には、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように構成されたシャッタレリーズボタンが含まれる。シャッタレリーズボタンが約半分押し込まれたときに第１スイッチＳＷ１がオンし、シャッタレリーズボタンが最後まで押し込まれたときに第２スイッチＳＷ２がオンする構造となっている。第１スイッチＳＷ１がオンされると、フォーカス駆動制御部１０８がフォーカスユニット１０７を駆動して焦点調節を行うとともに、絞り駆動制御部１０４が絞りユニット１０３を駆動して適正な露光量に設定する。第２スイッチＳＷ２がオンされると、撮像部１１５に露光された光像から得られた画像データが記憶部１１９に記憶される。

更に、操作部１２１には動画記録スイッチが含まれる。スイッチ押下により動画撮影が開始され、記録中に再度スイッチが押下されると記録を終了する。動画撮影中に第１スイッチＳＷ１および第２スイッチＳＷ２を押すことで、動画記録中の静止画撮影にも対応できる。また、操作部１２１には再生モードを選択できる再生モード選択スイッチも含まれており、再生モード時には防振動作を停止する。

手ブレ検出部１２２は、主にジャイロセンサにより構成され、カメラ本体２０に加わる手ブレ量の角速度データを出力する。動きベクトル検出部１２３は、映像信号のフレーム間のブレを解析して、動きベクトルを検出する。電子防振制御部１２４は、画像の切り出し位置をシフトすることによる電子式手ブレ補正の制御を行う。カメラシステム制御部１２５は、撮像システム全体を制御する。レンズ通信制御部１２６は、レンズユニット１０（外部）との通信を制御する。なお、本発明は電子式手ブレ補正に限るものではなく、例えば、撮像部１１５を光軸に垂直な方向にシフトすることにより手ブレを補正する構成であっても良い。

図２は、上述した撮像システムにおける防振制御に関する構成を示すブロック図である。なお、Ｐｉｔｃｈ方向及びａｗ方向で防振制御の構成は同じであるため、いずれか一方の方向の構成についてのみ説明を行う。

図２において、上述したようにレンズユニット１０に設けられた手ブレ検出部１１０は、レンズユニット１０に加わる手ブレ量の角速度データを出力する。ＡＤ変換部２０１は、手ブレ検出部１１０が出力した角速度データをデジタルデータに変換する。

ハイパスフィルタ（ＨＰＦ）２０２は、ＡＤ変換部２０１により変換された角速度データから、手ブレ検出部１１０のオフセット成分や、温度ドリフト成分を除去する。積分部２０３は、主にローパスフィルタによる疑似積分を行って、角速度データを積分して角度データに変換する。光学式手ブレ補正敏感度乗算部２０４は、積分部２０３により得られた角度データを、像ブレ補正ユニット１０５に含まれる補正レンズのシフト量（ブレ補正量）に変換する。この敏感度は焦点距離毎に異なった値を持ち、焦点距離が変わるごとに敏感度も変更される。また、手ブレ検出部１１０の感度調整による補正量も反映することで、感度バラツキを吸収している。

像ブレ補正信号分割部２０５は、ブレ補正量を２つに分割する。ここで分割された補正量のうち、光学式ブレ補正に適用するブレ補正量を第１のブレ補正量と呼び、電子式ブレ補正に適用するブレ補正量を第２のブレ補正量と呼ぶ。一例として、ここでの分割は、レンズユニット１０側の像ブレ補正ユニット１０５によるブレ補正最大角度と、カメラ本体２０側の電子防振制御部１２４による電子ぶれ補正最大角度の比率で行う。例えば、像ブレ補正ユニット１０５によるブレ補正最大角度が０．５度、電子防振制御部１２４による電子ぶれ補正最大角度が２度である場合、１：４の比率で分割する。なお、上述したように、電子式ブレ補正の代わりに、撮像部１１５をシフトすることにより補正しても良く、その場合、撮像部１１５の最大シフト量との比率によって分割すればよい。

光学式像ブレ補正量リミッタ部２０６は、第１のブレ補正量を光学式の像ブレ補正ユニット１０５の補正レンズの可動範囲でクランプする。ＰＩＤ制御部２０７は、補正レンズの位置制御するためのコントローラである。ドライバ部２０８は、第１のブレ補正量を電圧に変換し、補正レンズを駆動するための電流を供給する。位置検出部２０９は、補正レンズの位置を検出し、電圧として出力する。２１０はブレ補正位置ＡＤ変換部であり、補正レンズの位置を示すアナログの電圧をデジタルデータに変換する。変換されたデジタルデータは、光学式像ブレ補正量リミッタ部２０６によりクランプされた第１のブレ補正量から差分される。なお、位置検出部２０９とＡＤ変換部２１０は必ずしも必要な構成ではなく、オープン制御としても構わない。

一方、第２のブレ補正量（ブレ情報）は、角度変換部２１１で角度データに変換される。この変換係数は焦点距離毎に異なった値を持ち、焦点距離が変わるごとに変更される。変換されたデータはカメラ通信制御部１１２、レンズ通信制御部１２６を介して、電子防振制御部１２４に伝達される。電子防振制御部１２４は、第２のブレ補正量と手ブレ検出部１２２で得られたブレ量と、動きベクトル検出部１２３で得られたブレ量とに基づいて、電子式像ブレ補正量を生成し、制御を行う。

図３は本実施形態に係る電子防振制御部１２４の詳細を示すブロック図である。レンズ通信制御部１２６は、レンズユニット１０から通信を介して受信した第２のブレ補正量を伝達する。画素変換部３０１は、角度データに換算されて伝達された第２のブレ補正量を、画素シフト量に換算する。この変換にかかる変換係数は焦点距離毎に異なった値を持ち、焦点距離が変わるごとに変更される。変換された画素シフト量は、信号選択部３０７に入力される。

動きベクトル検出部１２３は、上述したように撮像信号のフレーム間輝度差分をとることで、画面内の複数のブロックで動きベクトル（以下、「ローカル動きベクトル」と呼ぶ。）を算出する。グローバルベクトル算出部３０２は、算出された複数のローカル動きベクトルから、ノイズや被写体ブレを除き、手ブレ成分であるグローバルベクトルを生成する。生成されたグローバルベクトルは、電子防振補正量予測部３０６に入力される。ここで、ローカル動きベクトルを生成する際に、信頼性を求めておく。例えば、急峻なブレが生じた場合や、画像が繰り返しパターンである場合、画像が低コントラストである場合などは、信頼性を低くする。

また、カメラ本体２０側の手ブレ検出部１２２は、上述したようにカメラ本体２０に加わる手ブレ量の角速度データを出力し、ハイパスフィルタ（ＨＰＦ）３０３により、手ブレ検出部１２２のオフセットやドリフト成分が除去される。ローパスフィルタ（ＬＰＦ）３０４は、高周波ノイズをカットする。画素変換部３０５は画素変換部３０１と同様に、角速度データを画素シフト量に換算して、電子防振補正量予測部３０６に出力する。電子防振補正量予測部３０６は、過去の第２のブレ補正量とグローバルベクトルと、カメラ本体２０側の手ブレ検出部１２２が検知した手ブレ量から、電子防振補正量を予測して、電子防振補正予測値を出力する。

信号選択部３０７は、画素シフト量に変換された第２のブレ補正量と電子防振補正予測値のいずれかを選択し、リミッタ３０８は、選択された第２のブレ補正量または電子防振補正予測値の画素シフト量を、電子防振切り出し範囲でクランプする。リミッタ３０８によりクランプされた画素シフト量は、遅延部３０９により１フレーム分遅延される（過去のデータとして保存）と共に、電子防振補正量設定部３１０により、電子防振における画像の切り出し範囲として設定される。

次に、電子防振補正量予測部３０６における予測演算の内容について詳細を説明する。

過去の第２のブレ補正量または電子防振補正量をＥz、最新のグローバルベクトルをＶ、手ブレ検出部１２２で取得した最新のブレ量をＧとすると、現在の第２のブレ補正量または電子防振補正量の予測値ＥpvとＥpgは以下のように表現することができる。
Ｅpv = Ｅz + Ａv×Ｖ …（１）
Ｅpg = Ｅz + Ａg×Ｇ …（２）
これは単純な線形予測モデルであり、式（１）はグローバルベクトルによる予測で、式（２）はカメラ本体２０の手ブレ検出部１２２で検知した像ブレ量による予測である。Ａv、Ａgはそれぞれ予測ゲインである。

このモデルをカルマンフィルタ、若しくは、逐次最小二乗法に適用することで、予測ゲインＡv、Ａgを同定し、予測値を算出することができるが、それが可能な状況はカメラをパンニングしていない状態である。その状況下ではブレを忠実に補正しようとし、手ブレに反してセンタリングなどしないため、上記モデルの誤差は小さい。逆にパンニングなどをするとセンタリングなどのブレ補正制御以外の動作が含まれるため、上記モデルは誤差が大きくなる。

ただし、カルマンフィルタ、若しくは、逐次最小二乗法の中間変数である予測誤差分散値Ｐv、Ｐgをモニタリングすることで、予測ゲインＡv、Ａgの同定精度が確認できる。そのため、パンニングしていない時、すなわち予測誤差分散値が小さい時は、予測ゲインＡv、Ａgの同定値をそのまま用いることで予測値Ｅpv，Ｅpgを算出する。一方、パンニングしている時、すなわち予測誤差分散値が大きくなった時は、予測ゲインＡv、Ａgを小さくすることで、過去の第２のブレ補正量または電子防振補正量Ｅzを徐々に０に近づけ、センタリングを行う。

本実施形態では、予測値を２つ説明したが、得られたローカル動きベクトルの信頼性や状況に応じて、予測値Ｅpv，Ｅpgのいずれか選択する。ローカル動きベクトルの信頼性が低いと考えられる場合は、式（２）による像ブレ量に基づく予測値Ｅpgを選択し、そうでない場合は、式（１）によるグローバルベクトルに基づく予測値Ｅpvを選択する。またカメラ本体２０に手ブレを検知する機能が無い、若しくは動きベクトルを検出する機能が無い場合は、どちらか一方のみの予測値を算出する。両方共無い場合は、レンズユニット１０から受信する第２のブレ補正量の２フレーム前の値も使うことで、線形予測モデルを適用することができるが、過去のデータだけから予測した予測値は高周波の精度が低いという課題がある。

次に、予測のフィルタリングステップであるカルマンフィルタについて説明する。以下のような単純な線形予測モデル（式（３））の場合、カルマンフィルタによる予測ステップは式（４）、式（５）、式（６）の３ステップをとる。

y = ax …（３）

a(k) = a(k-1) + K(k)×{y(k)-x(k)×a(k-1)} …（５）

上記式（３）〜（６）において、kはフィルタリングステップ数、yは予測値、xは状態変数、aは予測ゲイン、Kはカルマンゲイン、Ｐは予測誤差分散値、σ_ω ²は観測ノイズ分散値、Rvはシステムノイズ分散値である。また予測誤差分散値Ｐの初期値Ｐ(0)には適当な大きな値を代入しておき、予測ゲインaの初期値a(0)には０以上１以下の値を代入しておく。

なお、上記式（３）〜（６）におけるy、x、a、Ｐは、動きベクトルＶを用いて予測する場合と、ブレ量Ｇを用いて予測する場合のそれぞれにおいて、以下のように置き換えればよい。

なお、観測ノイズ分散値σ_ω ²=１、システムノイズ分散値Ｒv=０とすると逐次最小二乗法のフィルタリングステップとなるが、適応性が無くなるため、望ましくない。

以上の処理を図４のフローチャートを用いて説明する。この一連の処理はフレームレート毎に行われる。

Ｓ４０１では、グローバルベクトル算出部３０２により算出された最新のグローバルベクトルと、カメラ本体２０側の手ブレ検出部１２２で検出したブレ量と、前回の第２のブレ補正量または電子防振補正量Ｅzの３つを取得する。Ｓ４０２ではカルマンゲインＫvを更新し、Ｓ４０３では予測ゲインＡvを更新して予測値Ｅpvを算出し、Ｓ４０４では予測誤差分散値Ｐvを更新する。以上の処理は、式（１）に基づく予測モデルでのカルマンフィルタステップである。続いて、Ｓ４０５においてカルマンゲインＫgを更新し、Ｓ４０６において予測ゲインＡgを更新して予測値Ｅpgを算出し、Ｓ４０７において予測誤差分散値Ｐgを更新する。以上の処理は、式（２）に基づく予測モデルでのカルマンフィルタステップである。なお、Ｓ４０３〜Ｓ４０４の処理と、Ｓ４０５〜Ｓ４０７の処理の順番は逆であっても、同時に行っても良い。

Ｓ４０８では、電子防振処理を行うタイミングに、レンズユニット１０から通信を介して伝達される最新の電子防振補正量（第２のブレ補正量）が間に合ったかどうかを判定する。この判定は、通信エラーが起きたり、レンズユニット１０とカメラ本体２０間で防振に関する情報以外の情報（例えば、ＡＦや絞り等に制御に関する情報等）の通信によりデータ量が一時的に多くなって、遅延が生じるといったことがあるために行われる。間に合った場合は、Ｓ４０９においてその最新の電子防振補正量が選択される。

間に合わなかった場合は、Ｓ４１０で最新のローカル動きベクトルの信頼性が、予め決められた閾値ＴＨｒ以下かどうかを判定する。信頼性が閾値ＴＨｒより高い場合は、Ｓ４１１でグローバルベクトルを用いた予測誤差分散値Ｐvが予め決められた閾値αより小さいかどうかを判定する。閾値αより小さい場合は予測信頼性が高いので、Ｓ４１２において信号選択部３０７によりグローバルベクトルによる予測値Ｅpvが選択される。閾値α以上の場合は予測信頼性が低いため、Ｓ４１５で予測ゲインＡvを小さくし、過去の第２のブレ補正量または電子防振補正量Ｅzを徐々に０に近づけることで、画像の切り出し位置を中心（基準状態）に移行していくセンタリングを行う。

一方、Ｓ４１０でローカル動きベクトルの信頼性が閾値ＴＨｒ以下と判定された場合は、Ｓ４１３で、カメラ本体２０側の手ブレ検出部１２２で検出したブレ量を用いた予測誤差分散値Ｐgが、予め決められた閾値βより小さいかどうかを判定する。閾値βより小さい場合は予測信頼性が高いので、Ｓ４１４でカメラ本体２０側の手ブレ検出部１２２で検出したブレ量Ｇによる予測値Ｅpgを選択する。閾値β以上の場合は予測の信頼性が低いため、Ｓ４１５で予測ゲインＡgを小さくし、過去の第２のブレ補正量または電子防振補正量Ｅzを徐々に０に近づけることで、センタリングを行う。最後にＳ４１６において、選択された電子防振補正量を設定し、画像を切り出し、映像信号を処理する。

上記の通り本実施形態によれば、レンズユニットの防振機能とカメラ本体の防振機能が通信を介して協調して防振制御する場合に、通信エラーが発生したり、通信に遅れが生じた場合であっても、防振効果の低下を抑制することができる。

１０：レンズユンット、２０：カメラ本体、１０５：像ブレ補正ユニット、１０６：像ブレ補正制御部、１１０：手ブレ検出部、１１１：レンズシステム制御部、１１２：カメラ通信制御部、１１５：撮像部、１２２：手ブレ検出部、１２３：動きベクトル検出部、１２４：電子防振制御部、１２５：カメラシステム制御部、１２６：レンズ通信制御部、３０１：画素変換部、３０２：グローバルベクトル算出部、３０６：電子防振補正量予測部、３０７信号選択部、３０９：遅延部３０９、３１０：電子防振補正量設定部

Claims (12)

1. 通信手段を介して外部から取得したブレ情報に基づいて、ブレ補正量を求める取得手段と、
   過去に用いたブレ補正量に基づいて、ブレ補正量を予測する予測手段と、
   前記取得手段により求めたブレ補正量と、前記予測手段により予測されたブレ補正量のいずれかを選択する選択手段と、
   前記選択手段により選択されたブレ補正量に基づいて、ブレを補正する補正手段と、を有し、
   前記選択手段は、前記ブレ情報が取得できた場合に、前記取得手段により求めたブレ補正量を選択し、前記ブレ情報が取得できなかった場合に、前記予測手段により予測したブレ補正量を選択することを特徴とする画像処理装置。
2. ブレ量を検出する検出手段を更に有し、
   前記予測手段は、前記検出手段により検出したブレ量を更に用いて、ブレ補正量を予測することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、撮影して得られた画像のフレーム間の動きベクトルを求めて、ブレ量を検出する第１の検出手段を含むことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、角速度センサによりブレ量を検出する第２の検出手段を含むことを特徴とする請求項２に記載の画像処理装置。
5. 前記検出手段は、更に、角速度センサによりブレ量を検出する第２の検出手段を含み、
   前記予測手段は、前記動きベクトルの信頼性が予め決められた信頼性よりも高い場合に、前記第１の検出手段により検出されたブレ量を用いてブレ補正量を予測し、前記動きベクトルの信頼性が前記予め決められた信頼性以下の場合に、前記第２の検出手段により検出されたブレ量を用いてブレ補正量を予測することを特徴とする請求項３に記載の画像処理装置。
6. 前記予測手段は、カルマンフィルタまたは最小二乗法を用いて予測することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記予測手段により予測した予測値の確からしさを測るための予測誤差分散値が、予め決められた閾値以上の場合に、前記補正手段を予め決められた基準状態に徐々に移行させることを特徴とする請求項５に記載の画像処理装置。
8. 前記選択手段により選択されたブレ補正量に基づいて、ブレを補正する補正手段を用いて、撮像して得られた画像の切り出し位置を変えることで、ブレを補正することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記選択手段により選択されたブレ補正量に基づいて、ブレを補正する補正手段を用いて、撮像素子を光軸に対して垂直な方向にシフトすることでブレを補正することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 画像を撮影するための撮像素子と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
11. 着脱可能なレンズユニットと撮像装置とを含む撮像システムであって、
    前記レンズユニットは、
    ブレ量を検出する検出手段と、
    前記検出手段により検出されたブレ量に基づいてブレ補正量を求め、レンズユニットで用いる第１の補正量と、前記撮像装置で用いる第２の補正量とに分割する分割手段と、
    前記第２の補正量をブレ情報として前記撮像装置に送信する送信手段と、
    前記第１の補正量に基づいてブレを補正する補正手段と、を有し、
    前記撮像装置は、
    画像を撮影するための撮像素子と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と、を有する
    ことを特徴とする撮像システム。
12. 取得手段が、レンズユニットと通信するための通信手段を介して、前記レンズユニットから取得したブレ情報に基づいて、ブレ補正量を求める取得工程と、
    予測手段が、過去に用いたブレ補正量に基づいて、ブレ補正量を予測する予測工程と、
    選択手段が、前記取得工程で求めたブレ補正量と、前記予測工程で予測されたブレ補正量のいずれかを選択する選択工程と、
    補正手段が、前記選択工程で選択されたブレ補正量に基づいて、ブレを補正する補正工程と、を有し、
    前記選択工程では、前記ブレ情報が取得できた場合に、前記取得工程で求めたブレ補正量を選択し、前記ブレ情報が取得できなかった場合に、前記予測工程で予測したブレ補正量を選択することを特徴とする画像処理方法。

Images