JP2020061687A - ブレ補正装置、撮像装置、ブレ補正方法、及びプログラム - Google Patents

Abstract

【課題】歪曲収差のある光学系を用いて撮影された画像の手ブレに起因する画像ブレを効果的に低減する技術を提供する。【解決手段】撮像装置のブレを検出する検出手段と、前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動手段と、前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を取得する取得手段と、前記画像の前記ブレ残り成分を低減する画像処理を行う画像処理手段と、を備えることを特徴とするブレ補正装置を提供する。【選択図】図２

Description

本発明は、ブレ補正装置、撮像装置、ブレ補正方法、及びプログラムに関する。

近年、撮像装置の高性能化に伴い、多くの撮像装置及び撮影レンズに手ブレ補正機構が搭載されている。撮像装置で手ブレ補正を行う場合は、加速度、角加速度、角速度などを検出する手ブレ検出センサ（例えばジャイロセンサ）を用い、このセンサの出力信号に基づいて、撮像素子を駆動させる。また、撮影レンズで手ブレ補正を行う場合は、同様の手ブレ検出センサの出力信号に基づいて、撮影レンズを構成するレンズの一部を駆動させる。このように、手ブレによるブレを打ち消すように撮像素子やレンズを駆動させることで、手ブレ補正を行うことが可能である。

一方で、撮像装置及び撮影レンズに手ブレ補正機構を搭載せず、撮影した画像に対して画像処理を行うことによりブレ画像を復元する画像復元方法がある。多数存在する画像復元方法の中でも、ブレ方向やブレ量等のブレ情報から想定した劣化関数を用いてブレ画像を復元する手法が、一般的に知られている。

以下に、ブレ画像を復元する手法で用いる劣化関数について説明する。ｆ（ｘ，ｙ）を理想画像、ｇ（ｘ，ｙ）を劣化画像とするとき、
g(x,y)=∬h(x,y,x',y')f(x',y')dx'dy'+v(x,y) …(1)
の関係があると仮定する。ここで、ｈ（ｘ，ｙ，ｘ’，ｙ’）は劣化関数、ｖ（ｘ，ｙ）は出力画像におけるランダム雑音を表す。
平行移動を除いて、点の劣化した像がその点の位置に依存しないならば、点像分布関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）は、ｈ（ｘ−ｘ’，ｙ−ｙ’）の形となり、式（１）は、
g(x,y)=∬h(x-x',y-y')f(x',y')dx'dy'+v(x,y) …(2)
となる。雑音がないとき、式（２）の両辺のフーリエ変換を行うと、畳み込み定理より、
G(u,v)=H(u,v)F(u,v) …(3)
となる。ここで、Ｇ（ｕ，ｖ）、Ｈ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれ、ｇ（ｘ，ｙ）、ｈ（ｘ，ｙ）、ｆ（ｘ，ｙ）のフーリエ変換を表す。また、Ｈ（ｕ，ｖ）は、理想画像ｆ（ｘ，ｙ）を劣化画像ｇ（ｘ，ｙ）に変換するシステムの伝達関数である。

ここでは、カメラと被写体との相対的な運動による劣化（いわゆるブレ画像）についてのみ取り上げるため、その劣化モデルについて以下に説明する。運動を除いて画像は時間的に不変であると仮定する。もし、相対運動が平面内における記録用フィルムの運動によるものと近似的に等しいならば、フィルム上の点における露光量の総計は、瞬時的な露光量をシャッタが開いている時間だけ積分することによって求められる。この場合、シャッタの開閉に要する時間は無視できるものとする。α（ｔ）、β（ｔ）をそれぞれ変位のｘ方向、ｙ方向の成分であるとすると、

という式が得られる。この場合、Ｔは露光時間であり、便宜的に−Ｔ／２からＴ／２までであるとした。式（４）の両辺をフーリエ変換すると、

となる。ｘ−α（ｔ）＝ξ、ｙ−β（ｔ）＝ηと置くと、式（４ｆ）は、

となる。この式（５）から、劣化は式（３）又はこれに等しい式（２）でモデル化されることがわかる。この劣化の伝達関数Ｈ（ｕ，ｖ）は、

という式で与えられる。

従って、Ｘ軸に対して、角度θ、一定の速度Ｖで時間Ｔだけブレた場合の点応答関数は、
H(u,v)=sinπωT/πω …(7)
で与えられる。ここで、
ω=(u-u0)Vcosθ+(v-v0)Vsinθ …(8)
であり、ｕ0、ｖ0は画像の中心座標である。なお、ωが微小な場合、Ｈ（ｕ、ｖ）＝Ｔと近似する。

点像分布関数ｈ（ｘ−ｘ’，ｙ−ｙ’）は、一般に画像（ＰＳＦ画像）として表現される。

ここで、上述した劣化関数を用いた画像復元方法の一例として、基本的な画像復元アルゴリズムである逆フィルタを用いた画像復元方法について説明する。劣化画像ｇ（ｘ，ｙ）と元画像ｆ（ｘ，ｙ）が上記式（２）のモデルに従うと仮定する。

このとき、雑音が無いならば、ｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）及びＰＳＦ、ｈ（ｘ、ｙ）のフーリエ変換は上記式（３）を満たす。ここで、式（３）を変形すると、
F(u,v)=G(u,v)/H(u,v) …(9)
となる。この式（９）から、Ｈ（ｕ，ｖ）が既知であれば、劣化画像のフーリエ変換Ｇ（ｕ，ｖ）に１／Ｈ（ｕ，ｖ）をかけて逆フーリエ変換することによって、ｆ（ｘ，ｙ）を復元できることがわかる。

ここで、式（９）の１／Ｈを逆フーリエ変換したものを復元フィルタＲとすると、以下の式（１０）のように実面での画像に対するコンボリューション処理を行うことで同様に元の画像を得ることができる。
f(x,y)=g(x,y)*R(x,y) …(10)

しかし、実際の画像にはノイズ成分があるため、上記のようにブレ画像の点応答関数Ｈ（ｕ，ｖ）の完全な逆数をとって作成した復元フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい、一般には良好な画像は得られない。この点については、例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。このように、点応答関数Ｈ（ｕ，ｖ）の完全な逆数を用いることはできないため、画像処理による復元処理は手ブレの影響を低減することが可能であるが、完全な復元を行うことはできない。従って、一般的に画像処理による手ブレ補正は、撮像装置及び撮影レンズに搭載した手ブレ補正機構を用いる場合に比べて補正精度が劣る。

一方で、上述の撮像装置及び撮影レンズに搭載した手ブレ補正機構を用いる場合は、撮影に用いるレンズの歪曲収差が補正精度を低下させる問題がある。画像周辺部に写る被写体の大きさ及び形状は、レンズの歪曲収差の特性によって異なる。また、同一の被写体が画像中央部と周辺部にそれぞれ写る場合、画像上の被写体の大きさ及び形状は、歪曲収差によって画像中央部と周辺部で異なる。このように、撮影した画像における被写体の大きさ及び形状が歪曲収差によって異なるため、手ブレが発生した場合に画像上に見られるブレの大きさ及び形状も、歪曲収差の特性によって異なる。歪曲収差によって、画像中央部のブレと画像周辺部のブレの影響が異なるため、撮像素子又はレンズを駆動させても、適切な補正ができない。例えば、画像中央部は適切な補正がされるが、画像周辺部では補正不足、又は過補正が発生し、手ブレの影響が残存する。

特許文献１では、歪曲収差補正を適用した画像に対して、画像処理による手ブレ補正を行うことで、手ブレの影響を軽減する方法が提案されている。また、特許文献２では、上述の歪曲収差の影響により発生する撮影画像の周辺部の伸び縮みの発生を抑えるため、歪曲補正の基準位置を変更する方法が提案されている。

特開２００６−３３７５９号公報 特開２００６−１２９１７５号公報

しかしながら、特許文献１の方法は、画像処理による手ブレ補正を行う方法であるため、上述の通り手ブレ補正の精度が低くなる問題がある。また、特許文献２の方法は、歪曲収差によって動画などのフレーム間で発生する画像周辺部の伸び縮みには対処できるが、１回の露光期間中に発生する手ブレを補正する場合において歪曲収差に起因する補正残りを低減させることができない。

本発明はこのような状況に鑑みてなされたものであり、歪曲収差のある光学系を用いて撮影された画像の手ブレに起因する画像ブレを効果的に低減する技術を提供することを目的とする。

上記課題を解決するために、本発明は、撮像装置のブレを検出する検出手段と、前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動手段と、前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を取得する取得手段と、前記画像の前記ブレ残り成分を低減する画像処理を行う画像処理手段と、を備えることを特徴とするブレ補正装置を提供する。

本発明によれば、歪曲収差のある光学系を用いて撮影された画像の手ブレに起因する画像ブレを効果的に低減することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

カメラシステムの中央断面図。 カメラシステムの電気的構成を示すブロック図。 第１の実施形態に係る手ブレ補正処理のフローチャート。 Ｓ１０２において取得される手ブレ補正駆動情報の例を示す図。 Ｓ１０３において取得される歪曲収差情報の例を示す図。 ブレ残りの発生原理を示した図。 ブレ残り成分を示す図。 （ａ）撮像素子６の手ブレ補正駆動の変位を示した図、（ｂ）手ブレ補正駆動の軌跡を、駆動する平面において示した図、（ｃ）手ブレ補正駆動に対応するブレ残り成分ｍ［ｔ］、ｎ［ｔ］を示した図、（ｄ）ブレ残りの軌跡を、駆動する平面において示した図。 第２の実施形態に係る手ブレ補正処理のフローチャート。 ブレ残り成分を算出する画面内の箇所を示した図。 第３の実施形態に係る画像処理部７の構成を示したブロック図。 ある領域で歪曲収差の発生方向を不変と見なした場合のブレ残りの軌跡を示す図。 第３の実施形態に係る手ブレ補正処理のフローチャート。 選択する復元フィルタを示したテーブルの一例を示す図。 （ａ）手ブレ補正駆動の軌跡と歪曲収差発生方向の例を示す図、（ｂ）手ブレ補正駆動の歪曲収差発生方向での変位γ［ｔ］の例を示す図。 補正データとして予め算出したブレ残りの点応答関数を保持する構成における、手ブレ補正処理のフローチャート。 第４の実施形態に係る手ブレ補正処理のフローチャート。

以下、添付図面を参照して、本発明の実施形態を説明する。添付図面の全体を通じて、同一の参照符号が付与された要素は、同一又は同様の要素を表す。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
図１Ａは、カメラシステムの中央断面図である。図１Ａにおいて、１は撮像装置を、２は撮像装置１に装着するレンズユニットを、３は複数のレンズからなる撮影光学系を、４は撮影光学系３の光軸を、６は撮像素子を、９ａは背面表示装置を、９ｂはＥＶＦを、それぞれ示す。また、１１は撮像装置１とレンズユニット２の電気接点を、１２はレンズユニット２に設けられたレンズ制御回路を、１４はブレ補正部を、１５はブレ検出部を、１６はシャッタ機構をそれぞれ示す。撮像装置１は、ブレ補正装置としても機能する。

図１Ｂは、図１Ａのカメラシステムの電気的構成を示すブロック図である。図１Ｂにおいて、５はカメラ制御回路を、７は画像処理部を、８はメモリ部を、９は表示部を、１０は操作検出部を、１３はレンズ駆動部を、それぞれ示す。表示部９は、図１Ａの背面表示装置９ａ及びＥＶＦ９ｂを含む。レンズ駆動部１３は、焦点レンズ、絞りなどを駆動することができる。ブレ検出部１５は、撮像装置１のブレを検出可能である。例えば、ブレ検出部１５として振動ジャイロなどを用いることができる。ブレ補正部１４は、撮像素子６を光軸４に直交する平面内で並進させる機構である。

物体からの光は、撮影光学系３を介して撮像素子６の撮像面に結像する。撮像素子６からは、ピント評価量及び適当な露光量が得られる。撮像装置１は、この情報に基づいて適切に撮影光学系３を調整することで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍に被写体像を結像させることができる。また、シャッタ機構１６は、シャッタ幕を走行させることで撮像素子６に被写体像が届くか否かを制御する。シャッタ機構１６は、少なくとも被写体像を遮るための幕（メカ後幕）を備えており、露光の完了はシャッタ機構１６によってなされる。

画像処理部７は、Ａ／Ｄ変換、ホワイトバランス調整、ガンマ補正、補間演算等を行い、記録用の画像を生成することができる。画像処理部７のその他画像処理部２２は、Ａ／Ｄ変換、ホワイトバランス調整、ガンマ補正、補間演算等を行い、記録用の画像を生成する。画像処理部７のブレ残り成分生成部２０は、ブレ補正部１４による撮像素子６の並進制御では補正できなかった後述のブレ残り成分を生成する。画像処理部７の画像復元部２１は、画像処理部７でＡ／Ｄ変換された画像に対して、生成されたブレ残り成分に基づいて後述の画像処理を行うことにより、ブレ残りを補正する。

メモリ部８は、記録部を含む。カメラ制御回路５は、メモリ部８の記録部へ画像を出力する。また、カメラ制御回路５は、ユーザに提示する画像を表示部９に表示する。

カメラ制御回路５は、撮像の際のタイミング信号などを生成して出力する。カメラ制御回路５は、外部操作に従って撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、カメラ制御回路５は、撮像素子６の駆動制御や、画像処理部７の制御などを行う。また、カメラ制御回路５は、表示部９に含まれる情報表示を行うための情報表示装置の各セグメントの状態を制御する。背面表示装置９ａはタッチパネルを含み、タッチパネルは操作検出部１０に接続されている。

撮影光学系３の調整動作について説明する。カメラ制御回路５には画像処理部７が接続されており、カメラ制御回路５は、撮像素子６からの信号を基に適切な焦点位置、絞り値を求める。即ち、カメラ制御回路５は、撮像素子６からの信号を基に測光・測距動作を行い、露出条件（Ｆナンバーやシャッタ速度等）を決定する。操作検出部１０へのユーザ操作に応じて、撮像装置１の各部の動作を制御することで、静止画及び動画の撮影が可能となっている。

撮像装置１のブレ補正部１４を制御するにあたっては、カメラ制御回路５は、ブレ検出部１５からの信号に基づいてブレ補正部１４を動作させる。カメラ制御回路５は、ブレ検出部１５の出力に基づいて目標値を生成し、ブレ補正部１４の駆動制御を行う。

図２は、第１の実施形態に係る手ブレ補正処理のフローチャートである。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、本フローチャートの処理が開始する。

Ｓ１０１で、カメラ制御回路５は、撮像素子６を用いて露光を行う。露光期間中（画像の撮影中）、カメラ制御回路５は、ブレ検出部１５により検出された撮像装置１のブレに基づいて、ブレ補正部１４を用いて手ブレ補正のために撮像素子６を駆動する。露光により得られた信号は、Ａ／Ｄ変換されて画像データとして取得される。

Ｓ１０２で、ブレ残り成分生成部２０は、撮像素子６の露光期間中に行われたブレ補正部１４による撮像素子６の駆動情報を、カメラ制御回路５から取得する。

図３は、Ｓ１０２において取得される手ブレ補正駆動情報の例を示す図である。図３（ａ）において、横軸は時刻を示し、縦軸は撮像素子６のｘ方向の変位α［ｔ］を示す。図３（ｂ）において、横軸は時刻を示し、縦軸は撮像素子６のｙ方向の変位β［ｔ］を示す。図３（ｃ）は、手ブレ補正駆動の軌跡を、駆動する平面において示した図である。変位α［ｔ］、β［ｔ］が直線の形状をしていることから分かるように、この例では、撮像素子６の駆動は等速で直線である。図３（ｃ）におけるｂ０〜ｂ３は、それぞれ、図３（ａ）図３（ｂ）で示した露光期間中の時刻ｔ０〜ｔ３に対応している。

なお、この例では、取得される手ブレ補正駆動情報はブレ検出部１５で検出した手ブレ情報に対応しており、ここで示した手ブレ補正駆動は、撮像素子６上の光軸４の近傍に結像する像の、手ブレに起因するブレと同等であるものとする。従って、ブレ残り成分生成部２０は、手ブレ補正駆動情報を取得する代わりに、ブレ検出部１５で検出した手ブレ情報を取得してもよい。この場合、ブレ残り成分生成部２０は、手ブレ情報を手ブレ補正駆動情報として用いることができる。即ち、ブレ残り成分生成部２０が手ブレ情報を取得することは、ブレ残り成分生成部２０が手ブレ補正駆動情報を取得することと技術的に同等である。従って、本明細書において手ブレ補正駆動情報を用いる処理について言及する場合、その処理は、手ブレ情報を手ブレ補正駆動情報として用いる処理を含む。

次に、Ｓ１０３で、ブレ残り成分生成部２０は、撮影光学系３における撮影時の歪曲収差情報を取得する。例えば、ブレ残り成分生成部２０は、予めメモリ部８に格納された歪曲収差情報から、撮影時の焦点位置などの撮影条件に応じた歪曲収差情報を読み込んでもよい。或いは、ブレ残り成分生成部２０は、撮影時の歪曲収差情報を、レンズユニット２から電気接点１１を経由してカメラ制御回路５から取得してもよい。

図４は、Ｓ１０３において取得される歪曲収差情報の例を示す図である。図４において、横軸は光軸４からの距離を示す像高を示し、縦軸は歪曲収差による歪率を示す。この例では、歪率が負の値であり、更に像高が大きくなるに従って歪率は小さい値をとるため、樽型の歪曲収差を示している。

次に、Ｓ１０４で、ブレ残り成分生成部２０は、Ｓ１０２及びＳ１０３において取得した手ブレ補正駆動情報（撮像素子６の駆動量）と歪曲収差情報に基づいてブレ残り成分を算出する。

図５は、ブレ残りの発生原理を示した図であり、撮像素子６が駆動する平面上における座標を示している。ここでは着目位置Ｓ０について考える。位置Ｓ０’は、着目位置Ｓ０に結像している像が、歪曲収差が発生していない場合に結像する位置を示している。位置Ｓ０’は、Ｓ１０３で取得した歪曲収差情報に基づいて求めることができる。また、位置Ｓ１’は、位置Ｓ０’に対して、図３で示した時刻ｔ１のときの撮像素子６の駆動変位を反映した位置である。即ち、歪曲収差が発生していなかった場合に位置Ｓ０’に結像する像が、手ブレによって時刻ｔ１の時に位置Ｓ１’に結像していることを意味する。また、位置Ｓ１は、位置Ｓ１’の像が歪曲収差によって結像する位置を示している。つまり、露光開始時に着目位置Ｓ０に結像していた像は、時刻ｔ１の時には手ブレによって位置Ｓ１に結像する。また、位置ｂ１’は、着目位置Ｓ０に対して、図３で示した時刻ｔ１のときの撮像素子６の位置変位を反映した位置である。手ブレによって着目位置Ｓ０に結像していた像が時刻ｔ１の時に位置ｂ１’に結像していれば、撮像素子６の手ブレ補正駆動により、手ブレの影響を相殺することができるが、実際には位置ｂ１’ではなく位置Ｓ１に結像している。つまり、時刻ｔ１の時は、この位置Ｓ１と位置ｂ１’の差異が撮像素子６の手ブレ補正駆動では補正できず、ブレ残りとして発生する。時刻に対するブレ残り成分のｘ、ｙ方向の変位をそれぞれｍ［ｔ］、ｎ［ｔ］とすると、時刻ｔ１の時のｍ［ｔ１］、ｎ［ｔ１］はそれぞれ次式で算出される。
m[t1]=x1-(x0+α[t1]) …(11)
n[t1]=y1-(y0+β[t1]) …(12)

ここでは、時刻ｔ１の時のブレ残り成分の求め方について説明したが、時刻ｔ２、ｔ３についても同様の考え方で算出することができる。図６は、このように算出したｍ［ｔ］、ｎ［ｔ］の例を示す図である。

ここまでは手ブレ及び手ブレ補正駆動が等速で直線の場合の例を示したが、実際の手ブレはそうはならないことが多い。図７は、発生した手ブレが等速ではなく、また軌跡が曲線になった場合の手ブレ補正駆動と、ブレ残り成分を示した図である。図７（ａ）は、撮像素子６の手ブレ補正駆動の変位を示した図である。図７（ａ）において、横軸は時刻を示し、縦軸はｘ方向の変位α［ｔ］及びｙ方向の変位β［ｔ］をそれぞれ示す。図７（ｂ）は、手ブレ補正駆動の軌跡を、駆動する平面において示した図である。図７（ｃ）は、図７（ａ）及び図７（ｂ）で示した手ブレ補正駆動に対応するブレ残り成分ｍ［ｔ］、ｎ［ｔ］を示した図である。図７（ｄ）は、ブレ残りの軌跡を、駆動する平面において示した図である。

なお、ブレ残り成分生成部２０は、算出によりブレ残り成分を取得する代わりに、他の方法によりブレ残り成分を取得してもよい。例えば、ブレ残り成分生成部２０は、手ブレ補正駆動情報と歪曲収差情報とを入力として保持しブレ残り成分を出力として保持するルックアップテーブル（ＬＵＴ）からブレ残り成分を取得してもよい。このＬＵＴは、例えばメモリ部８に格納される。

次に、Ｓ１０５で、画像復元部２１は、Ｓ１０４において算出されたブレ残り成分ｍ［ｔ］、ｎ［ｔ］に基づき、ブレ残りの点像分布関数ｈ（ｘ，ｙ）を生成する。点像分布関数の形状は、ブレ残りの軌跡に対応する形状となる。また、点像分布関数の強度は、ブレによって移動する点像が留まった時間が長い場所ほど高い値になるため、ブレ残り成分の時間に対する変化量に応じて設定する。

Ｓ１０６で、画像復元部２１は、ブレ残りの点像分布関数に基づいて、ブレ残りを補正するための復元フィルタを生成する。点像分布関数から復元フィルタを生成する方法には複数の技術が知られているが、本実施形態ではウィーナーフィルターを使用する。画像復元部２１は、点像分布関数ｈ（ｘ，ｙ）をフーリエ変換した点応答関数Ｈ（ｕ，ｖ）を算出し、点応答関数から生成したウィーナーフィルターを逆フーリエ変換し、復元フィルタとする。

Ｓ１０７で、画像復元部２１は、生成した復元フィルタをＳ１０１において取得した画像データに畳み込むことにより、ブレ残りを低減させる。

このように、手ブレ補正駆動情報と歪曲収差情報から、手ブレ補正駆動により手ブレを補正した画像におけるブレ残り成分を算出し、算出したブレ残り成分に基づく画像処理によりブレ残りを低減させることが可能である。

上の説明では１つ着目位置のブレ残り成分について説明したが、歪曲収差は画像の位置によって異なるため、ブレ残り成分も画像の位置によって異なる。そのため、画像の位置に応じて上述の処理を行うことで画像全体のブレ残りを補正することが可能である。

また、本実施形態では露光期間中に撮像素子６を駆動させる例について説明したが、ブレ補正のために撮影光学系３のブレ補正レンズを駆動させる場合に対しても同様に本実施形態を適用可能である。具体的には、撮影光学系３がブレ補正レンズを有し、レンズ制御回路１２は、ブレ検出部１５からの信号に基づいて、レンズ駆動部１３を介してブレ補正レンズを適切に駆動させる。この場合、上の説明において、撮像素子６の駆動をブレ補正レンズの駆動による被写体の変位に置き換える。また、ブレ残り成分生成部２０は、ブレ補正レンズが駆動された撮影光学系３に基づく歪曲収差情報を使用する。これにより、ブレ残り成分生成部２０は、撮像素子６を駆動させる場合と同様にブレ残り成分を算出することができる。

以上説明したように、第１の実施形態によれば、撮像装置１は、手ブレ補正駆動情報と歪曲収差情報から、手ブレ補正駆動により手ブレを補正した画像におけるブレ残り成分を算出し、算出したブレ残り成分に基づく画像処理によりブレ残りを低減させる。これにより、歪曲収差のある光学系を用いて撮影された画像の手ブレに起因する画像ブレを効果的に低減することが可能となる。

［第２の実施形態］
第２の実施形態では、ブレ残り及び収差の両方を補正する構成について説明する。また、ブレ残り成分を算出する処理の負荷を低減する構成についても説明する。本実施形態において、カメラシステムの基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。

一般的に、撮像装置により被写体を撮像するとき、得られた画像は、特に撮影光学系の収差によって少なからず劣化している。劣化した画像のぼけ成分は、撮影光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の１点から出た光束が撮像面上で再度１点に集まるべきものが広がりをもって像を結んでいるものを指している。これは、光学的には点像分布関数と呼ぶものである。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特に、ピントが合っていても上記の撮影光学系の収差の影響でぼけてしまうものを指すことにする。また、カラー画像での色にじみも撮影光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違と言うことができる。

このような収差による画質劣化を補正する場合は、収差に対応する点像分布関数をフーリエ変換した光学伝達関数を式（９）におけるＨ（ｕ，ｖ）とすれば、式（９）と式（１０）で説明した方式で補正することが可能である。

図８は、第２の実施形態に係る手ブレ補正処理のフローチャートである。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、本フローチャートの処理が開始する。

Ｓ２０４で、ブレ残り成分生成部２０は、Ｓ１０２及びＳ１０３において取得した手ブレ補正駆動情報と歪曲収差情報に基づいてブレ残り成分を算出する。本実施形態では、ブレ残り成分を算出する画面内の箇所を、処理負荷低減の観点から限定する。

図９は、第２の実施形態におけるブレ残り成分を算出する画面内の箇所（対象位置）を示した図である。図９においてプロットした点で示すように、ブレ残り成分生成部２０は、縦７箇所、横９箇所の全６３箇所でのみブレ残り成分を計算するものとする。ブレ残り成分の算出は、第１の実施形態で説明した方法と同様の方法により、ブレ残り成分ｍ［ｔ］、ｎ［ｔ］を算出することのより行われる。

次に、Ｓ２０５で、画像復元部２１は、Ｓ２０４において算出されたブレ残り成分ｍ［ｔ］、ｎ［ｔ］に基づき、６３箇所のブレ残りの点像分布関数ｈ（ｘ，ｙ）を生成する。

Ｓ２０６で、画像復元部２１は、撮影時の撮影光学系３の収差に対応する点像分布関数を取得する。例えば、画像復元部２１は、予めメモリ部８に格納された点像分布関数のデータから、撮影時の焦点位置などの撮影状態に応じた点像分布関数を読み込んでもよい。或いは、画像復元部２１は、撮影時の点像分布関数を、レンズユニット２から電気接点１１を経由してカメラ制御回路５から取得してもよい。このとき、画像復元部２１は、取得した点像分布関数を必要に応じて補正しても構わない。この補正とは、予め用意しておく点像分布関数のデータ数を低減するために、離散的な撮影状態に対応するデータを用意しておいて、実際に処理を実行する際に点像分布関数を補正することである。収差の特性は画面内の位置によって異なるため、画像復元部２１は、図９に示した６３箇所に対応する点像分布関数を取得する。

Ｓ２０７で、画像復元部２１は、ブレ残りに対応する点像分布関数と収差に対応する点像分布関数に基づいて、ブレ残りと収差によるボケを補正するための復元フィルタを生成する。画像復元部２１は、ブレ残りに対応する点像分布関数ｈ（ｘ，ｙ）をフーリエ変換した点応答関数Ｈ（ｕ，ｖ）を算出し、収差に対応する点像分布関数ｈ’（ｘ，ｙ）をフーリエ変換した点応答関数Ｈ’（ｕ，ｖ）を算出する。そして、次式で示したＩ（ｕ，ｖ）を、ブレ残りと収差による劣化の伝達関数とする。
I(u,v)=H(u,v)H’(u,v) …(13)

上述の通り、このＩの逆数を使うことでブレ残りと収差による劣化を復元することが可能であるが、本実施形態ではＩから生成したウィーナーフィルターを用い、ウィーナーフィルターを逆フーリエ変換した実空間上のフィルタを復元フィルタとする。

なお、上の説明では、Ｓ２０６において画像復元部２１が収差に対応する点像分布関数を取得するものとした。しかしながら、点像分布関数ｈ’（ｘ，ｙ）をフーリエ変換した点応答関数Ｈ’（ｕ，ｖ）の状態で予めメモリ部８などに保持し、Ｓ２０６で画像復元部２１がこの点応答関数Ｈ’（ｕ，ｖ）を取得してもよい。この場合、Ｓ２０７において復元フィルタを生成する際に収差に対応する点像分布関数ｈ’（ｘ，ｙ）に対するフーリエ変換が不要になる。

次に、Ｓ２０８で、画像復元部２１は、生成した復元フィルタをＳ１０１において取得した画像データに畳み込むことにより、ブレ残りと収差によるボケを低減させる。生成した復元フィルタは画面内の６３箇所であるため、対応する復元フィルタが存在しない領域が画面内に存在する。そのような領域（ブレ残り成分の取得の対象位置以外の位置）については、画像復元部２１は、復元フィルタが存在する周囲４箇所の復元フィルタ（近傍の対象位置の復元フィルタ）を補間することにより、対象画素に対応する復元フィルタを生成して使用する。補間方法としては、線形補間などの既存の方法によって復元フィルタの係数を補間生成する方法を用いることができる。

以上説明したように、第２の実施形態によれば、撮像装置１は、ブレ残り成分に加えて収差を考慮した復元フィルタを生成する。これにより、画像データに復元フィルタを畳み込む処理を１回行うだけで、ブレ残り成分と共に収差に起因するボケを低減することが可能となる。また、画面内で復元フィルタを生成する箇所を限定することで、処理負荷の低減が可能となる。

［第３の実施形態］
第３の実施形態では、画像のブレ残り成分を低減するための補正データを用いてブレ残り成分を低減する構成について説明する。本実施形態において、カメラシステムの基本的な構成は第１の実施形態と同様である（図１参照）が、画像処理部７の構成が第１の実施形態とは異なる。以下、主に第１の実施形態と異なる点について説明する。

図１０は、第３の実施形態に係る画像処理部７の構成を示したブロック図である。その他画像処理部２２は、Ａ／Ｄ変換、ホワイトバランス調整、ガンマ補正、補間演算等を行い、記録用の画像を生成する。ブレ残り補正データ選択部２３は、ブレ補正部１４による撮像素子６の並進制御では補正できなかったブレ残り成分を補正するためのデータを選択する。この処理については後述する。画像復元部２１は、画像処理部７でＡ／Ｄ変換された画像に対して後述の画像処理を行うことにより、ブレ残りを補正する。

第１の実施形態では、ブレ残り成分の生成方法について図５を用いて説明した。また、生成したブレ残りの軌跡情報を図７（ｄ）に示した。本実施形態では、画像上の近傍の領域では歪曲収差の発生する方向は不変と見なして、ブレ残り成分の発生を考える。つまり、図５において、着目位置Ｓ０から位置Ｓ０’への方向と、位置Ｓ１からＳ１’への方向とが同じものとして考える。この場合、位置ｂ１’から位置Ｓ１への方向も同じである。上述の通り、位置ｂ１’と位置Ｓ１の差異が時刻ｔ１におけるブレ残り成分であるが、同様に時刻ｔ２、ｔ３の時のブレ残り成分も同じ方向を示す。このように、ある領域で歪曲収差の発生方向を不変と見なした場合、ブレ残り成分の発生方向は各時刻において同じであり、ブレ残りの軌跡は図１１で示したように直線として考えることが可能である。実際は位置によって歪曲収差の発生方向は異なるが、歪曲収差が大きくなり易い画像周辺部では近傍領域の歪曲収差発生方向は概ね似た傾向であるため、不変と見なすことでブレ残りの発生方向を直線として考える。

このブレ残り成分の大きさ（ブレ残りの軌跡の長さ）は、手ブレ補正機構（例えば撮像素子６）の駆動量と撮影光学系３の歪曲収差の特性によって異なることは図５で示したブレ残りの発生原理から明らかである。手ブレ補正機構の駆動範囲が大きいほど、また像高に対する歪曲収差歪率の変化が大きいほど、ブレ残り成分は大きくなる。また、ブレ残り成分の点像分布関数の強度は、手ブレ補正機構の駆動によって異なる。そのため、複数の大きさのブレ残りや代表的な強度の点像分布関数に対応する復元フィルタを予め用意しておけば、復元フィルタを選択することでブレ残りを低減することが可能である。

図１２は、第３の実施形態に係る手ブレ補正処理のフローチャートである。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、本フローチャートの処理が開始する。

Ｓ３０４で、ブレ残り補正データ選択部２３は、Ｓ１０２及びＳ１０３において取得した手ブレ補正駆動情報と歪曲収差情報に基づいて復元フィルタ（ブレ残り成分を低減するための補正データ）を選択して取得する。

図１３は、選択する復元フィルタを示したテーブルの一例を示す図である。この例では、ブレ残り補正データ選択部２３は、手ブレ補正機構の駆動量ｅと、歪曲率の像高に対する傾きｄに基づいて、画面内の領域毎に復元フィルタを選択する。ここで、手ブレ補正機構の駆動量ｅは、手ブレ補正駆動の歪曲収差発生方向での変位から求める値とする。図１４（ａ）は、手ブレ補正駆動の軌跡と歪曲収差発生方向を示した例であり、図１４（ｂ）は、手ブレ補正駆動の歪曲収差発生方向での変位γ［ｔ］を示した例である。手ブレ補正機構の駆動量ｅとしては、変位γ［ｔ］の最大値と最小値の差分を使用してもよいし、変位γ［ｔ］のばらつきを示す標準偏差を使用してもよい。歪曲率の像高に対する傾きｄとしては、図４で示した歪曲収差情報の対象像高における傾きを使用する。

次に、各復元フィルタについて説明する。図１３の復元フィルタは、歪曲率の像高に対する傾きｄが大きいほど大きなブレ残りを補正するように構成されている。即ち、補正対象のブレ残り成分の大きさはフィルタ００＜フィルタ０１＜フィルタ０２＜フィルタ０３である。また、図１３の復元フィルタは、手ブレ補正機構の駆動量ｅが大きいほど大きなブレ残りを補正するように構成されている。即ち、補正対象のブレ残り成分の大きさはフィルタ００＜フィルタ１０＜フィルタ２０＜フィルタ３０である。また、各復元フィルタは、ブレ残りの発生方向は１方向であり、かつ軌跡は直線を想定したものである。復元フィルタを生成する基になっている点像分布関数の強度は、ここでは一律とする。即ち、手ブレ補正機構が等速で駆動した場合を代表条件として保持する。

図１３で示したテーブルは、手ブレ補正機構の駆動量ｅと、歪曲率の像高に対する傾きｄの値によって使用する復元フィルタを定義したものであり、それぞれ判定閾値Ｋ［］とｌ［］とに対する比較を行うことで使用する復元フィルタを選択することができる。この判定閾値Ｋ［］とｌ［］やフィルタ００〜３３は、手ブレ補正機構や撮影光学系３の特性から予め設定しておく値である。

次に、Ｓ３０５で、画像復元部２１は、Ｓ３０４において取得した復元フィルタを、歪曲収差発生方向に応じて回転する。これは、Ｓ３０４において取得した復元フィルタは、ブレ残りの発生方向が１方向固定の復元フィルタであるため、画面内の位置に応じて歪曲収差が発生する方向に合わせて復元フィルタを回転処理する必要があるからである。

Ｓ３０６で、画像復元部２１は、Ｓ３０５において回転した復元フィルタをＳ１０１において取得した画像データに畳み込むことにより、ブレ残りを低減させる。

このように、予め生成した複数の復元フィルタを（例えばメモリ部８に）保持しておき、手ブレ補正駆動情報と歪曲収差情報に基づいて復元フィルタを選択することで、ブレ残りを低減させることが可能である。

なお、上では、ブレ残り補正データ選択部２３が選択する補正データとして、予め生成しておいた復元フィルタを保持する構成について説明した。しかしながら、ブレ残り補正データ選択部２３が選択する補正データは、復元フィルタを生成するための点像分布関数や、点像分布関数をフーリエ変換した点応答関数（ブレ残りの点応答関数）であってもよい。

図１５は、補正データとして予め算出したブレ残りの点応答関数を保持する構成における、手ブレ補正処理のフローチャートである。図１５の手ブレ補正処理では、ブレ残り及び収差の両方を補正するものとする。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、本フローチャートの処理が開始する。

Ｓ４０４で、ブレ残り補正データ選択部２３は、Ｓ１０２及びＳ１０３において取得した手ブレ補正駆動情報と歪曲収差情報に基づいてブレ残りの点応答関数を選択する。撮像装置１は、図１３を参照して前述した復元フィルタに対応する点応答関数を同様のテーブルの形式でメモリ部８に保持している。ブレ残り補正データ選択部２３は、手ブレ補正機構の駆動量ｅと、歪曲率の像高に対する傾きｄに基づいて、点応答関数を選択する。この時、図９に示すように、選択を行う画面内の箇所を処理負荷低減の観点から限定してもよい。図９においてプロットした点で示すように、ブレ残り補正データ選択部２３は、縦７箇所、横９箇所の全６３箇所でのみ点応答関数を選択するものとする。

Ｓ４０５で、画像復元部２１は、撮影時の撮影光学系３の収差に対応する点応答関数を取得する。例えば、画像復元部２１は、予めメモリ部８に格納された点応答関数のデータから、撮影時の焦点位置などの撮影状態に応じた点像分布関数を読み込んでもよい。或いは、画像復元部２１は、撮影時の点応答関数を、レンズユニット２から電気接点１１を経由してカメラ制御回路５から取得してもよい。このとき、画像復元部２１は、取得した点応答関数を必要に応じて補正しても構わない。この補正とは、予め用意しておく点応答関数のデータ数を低減するために、離散的な撮像状態に対応するデータを用意しておいて、実際に処理を実行する際に点応答関数を補正することである。収差の特性は、画面内の位置によって異なるために、画像復元部２１は、図９に示した６３箇所に対応する点応答関数を取得する。

Ｓ４０６で、画像復元部２１は、ブレ残りに対応する点応答関数と収差に対応する点応答関数に基づいて、ブレ残りと収差によるボケを補正するための復元フィルタを生成する。画像復元部２１は、ブレ残りに対応する点応答関数Ｈ（ｕ，ｖ）と、収差に対応する点応答関数Ｈ’（ｕ，ｖ）から、式（１３）によってブレ残りと収差による劣化の伝達関数Ｉ（ｕ，ｖ）を算出する。そして、画像復元部２１は、図８のＳ２０７と同様の処理により、Ｉ（ｕ，ｖ）を基に復元フィルタを生成する。

Ｓ４０７で、画像復元部２１は、生成した復元フィルタをＳ１０１において取得した画像データに畳み込むことにより、ブレ残りと収差によるボケを低減させる。作成した復元フィルタは画面内の６３箇所であるため、対応する復元フィルタが存在しない領域が画面内に存在する。そのような領域については、画像復元部２１は、復元フィルタが存在する周囲４箇所の復元フィルタを補間することにより、対象画素に対応する復元フィルタを生成して使用する。補間方法としては、線形補間などの既存の方法によって復元フィルタの係数を補間生成する方法を用いることができる。

以上説明したように、第３の実施形態によれば、撮像装置１は、予め生成した複数の補正データ（復元フィルタ、点応答関数、点像分布関数など）を保持し、手ブレ補正駆動情報と歪曲収差情報に基づいて補正データを取得する。そして、撮像装置１は、取得した補正データに基づいて、画像のブレ残り成分を低減する。これにより、歪曲収差のある光学系を用いて撮影された画像の手ブレに起因する画像ブレを効果的に低減することが可能となる。

［第４の実施形態］
第４の実施形態では、ブレ補正のためにブレ補正レンズと撮像素子６の両方を駆動させる構成について説明する。本実施形態において、カメラシステムの基本的な構成は第３の実施形態と同様である（図１及び図１０参照）。以下、主に第３の実施形態と異なる点について説明する。

本実施形態では、撮影光学系３はブレ補正レンズを有し、レンズ制御回路１２は、ブレ検出部１５からの信号に基づいて、レンズ駆動部１３を介してブレ補正レンズを駆動させる。また、ブレ補正部１４は、ブレ検出部１５からの信号に基づいて、撮像素子６を光軸４に直交する平面内において並進させる。

手ブレ補正時に、ブレ補正レンズと撮像素子６の両方を駆動することで、どちらか一方を駆動する場合よりも大きな手ブレを補正することとが可能になる。一方で、ブレ補正レンズを持たないレンズユニットが撮像装置１に装着される場合もある。この場合は、補正可能な手ブレ量は小さくなるが、撮像素子６のみを駆動させることで手ブレを補正することができる。

ブレ補正レンズを駆動させた場合、撮影光学系３を構成するレンズの一部（ブレ補正レンズ）がシフトされるため、ブレ補正レンズの駆動量によっては撮影光学系３で発生する歪曲収差の特性が異なる場合がある。光軸４がずれることによって歪曲収差の発生中心がずれるだけではなく、光軸４からの距離を示す像高に対する歪曲収差の特性も、ブレ補正レンズの駆動量によって異なる特性を示す場合がある。これは、歪曲収差に起因して発生するブレ残り成分が、撮像素子６を駆動させた場合とブレ補正レンズを駆動させた場合とで異なることを意味する。従って、ブレ残りを補正する場合に、ブレ補正の方式によって異なる補正データを用いることで、補正精度が向上する。

図１６は、第４の実施形態に係る手ブレ補正処理のフローチャートである。例えば、シャッターレリーズ釦（不図示）の押下を操作検出部１０が検出すると、本フローチャートの処理が開始する。

Ｓ５０１で、カメラ制御回路５は、撮像素子６を用いて露光を行う。露光期間中、カメラ制御回路５は、ブレ補正部１４を用いて手ブレ補正のために撮像素子６を駆動する。また、撮影光学系３がブレ補正レンズを有する場合、カメラ制御回路５は、レンズ駆動部１３を介してブレ補正レンズを駆動させる。この時、手ブレ量によっては、カメラ制御回路５は、撮像素子６を駆動させずブレ補正レンズのみ駆動させる制御や、それぞれの駆動で特性を異ならせる制御を行ってもよい。露光により得られた信号は、Ａ／Ｄ変換されて画像データとして取得される。

Ｓ５０２で、ブレ残り補正データ選択部２３は、撮像素子６の露光期間中に行われたブレ補正部１４による撮像素子６の駆動情報を、カメラ制御回路５から取得する。取得する駆動情報は、第１の実施形態において図２のＳ１０２について説明した情報と同様のものとする。

Ｓ５０３で、ブレ残り補正データ選択部２３は、撮像素子６の露光期間中に行われたレンズ駆動部１３によるブレ補正レンズの駆動情報を、電気接点１１を介してレンズユニット２から撮像装置１に送信される情報としてカメラ制御回路５から取得する。取得する駆動情報は、Ｓ５０２で取得する撮像素子６の駆動情報の構成と同様に、ブレ補正レンズのｘ方向、ｙ方向の時刻に対する変位情報を含む。

Ｓ５０４で、ブレ残り補正データ選択部２３は、Ｓ５０３において取得したブレ補正レンズの駆動情報を基に、ブレ補正レンズの駆動の有無を判定する。レンズユニット２がブレ補正レンズを持たない場合、ここでは駆動なしとして判定される。また、レンズユニット２がブレ補正レンズを持つ場合であっても、ブレ補正レンズを駆動させない制御が行われた場合は、駆動なしとして判定される。ブレ補正レンズの駆動ありと判定された場合、処理はＳ５０５に進み、そうでない場合、処理はＳ５０７に進む。

Ｓ５０５で、ブレ残り補正データ選択部２３は、ブレ補正レンズの駆動情報に応じた歪曲収差情報を取得する。例えば、ブレ残り補正データ選択部２３は、予めメモリ部８に格納された歪曲収差情報から、撮影時の焦点位置などに撮影条件に応じた歪曲収差情報を読み込んでもよい。或いは、ブレ残り補正データ選択部２３は、撮影時の歪曲収差情報を、レンズユニット２から電気接点１１を経由してカメラ制御回路５から取得してもよい。露光期間中は、ブレ補正レンズの駆動により歪曲収差特性は連続的に変化している。そのため、ここで取得する歪曲収差情報としては、露光期間中の平均値を用いてもよいし、ブレ補正レンズの駆動情報から決定した代表的な歪曲収差情報を用いてもよい。

Ｓ５０６で、ブレ残り補正データ選択部２３は、Ｓ５０２及びＳ５０３において取得した手ブレ補正駆動情報と、Ｓ５０５において取得した歪曲収差情報とに基づいて、復元フィルタを選択する。選択の方法は、図１３を参照して説明した第３の実施形態の方法と同様であるが、撮像素子６とブレ補正レンズの両方が駆動していることを考慮して選択する必要がある。従って、ブレ残り補正データ選択部２３は、歪曲率の像高に対する傾きｄを求める場合の像高については、撮像素子６とブレ補正レンズの駆動を考慮して光軸中心からの距離を算出する。また、ブレ残り補正データ選択部２３は、手ブレ補正機構の駆動量ｅについては、撮像素子６とブレ補正レンズの駆動量の合算を用いるなどして算出する。

一方、Ｓ５０４においてブレ補正レンズの駆動なしと判定された場合、Ｓ５０７で、ブレ残り補正データ選択部２３は、ブレ補正レンズの駆動が行われていない状態に対応する歪曲収差情報を取得する。

Ｓ５０８で、ブレ残り補正データ選択部２３は、Ｓ５０２において取得した手ブレ補正駆動情報と、Ｓ５０７において取得した歪曲収差情報とに基づいて、復元フィルタを選択する。

次に、Ｓ５０９で、画像復元部２１は、Ｓ５０６又はＳ５０８において取得した復元フィルタを、歪曲収差発生方向に応じて回転する。これは、Ｓ５０６又はＳ５０８で取得した復元フィルタは、ブレ残りの発生方向が１方向固定の復元フィルタであるため、画面内の位置に応じて歪曲収差が発生する方向に合わせて復元フィルタを回転処理する必要があるからである。

Ｓ５１０で、画像復元部２１は、Ｓ５０９において回転した復元フィルタを、Ｓ５０１において取得した画像データに畳み込むことにより、ブレ残りを低減させる。

以上説明したように、第４の実施形態によれば、撮像装置１は、手ブレ補正の方式によって異なるブレ残り補正データを取得する。これにより、複数のブレ補正方式を有する撮像装置においてブレ残りを効果的に低減させることが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…撮像装置、２…レンズユニット、３…撮影光学系、５…カメラ制御回路、６…撮像素子、７…画像処理部、８…メモリ部、１３…レンズ駆動部、１４…ブレ補正部、１５…ブレ検出部、２０…ブレ残り成分生成部、２１…画像復元部、２３…ブレ残り補正データ選択部

Claims (18)

1. 撮像装置のブレを検出する検出手段と、
   前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動手段と、
   前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を取得する取得手段と、
   前記画像の前記ブレ残り成分を低減する画像処理を行う画像処理手段と、
   を備えることを特徴とするブレ補正装置。
2. 前記取得手段は、前記補正手段の駆動量、及び前記光学系の歪曲収差に基づいて、前記ブレ残り成分を算出することにより、前記ブレ残り成分を取得する
   ことを特徴とする請求項１に記載のブレ補正装置。
3. 前記画像処理手段は、前記ブレ残り成分に基づいて復元フィルタを生成し、前記復元フィルタを前記画像に適用することにより、前記画像の前記ブレ残り成分を低減する
   ことを特徴とする請求項１又は２に記載のブレ補正装置。
4. 前記取得手段は、前記画像の一部の対象位置について前記ブレ残り成分を取得し、
   前記画像処理手段は、前記対象位置については、前記ブレ残り成分に基づいて前記復元フィルタを生成し、前記対象位置以外の位置については、近傍の対象位置の復元フィルタを補間することにより前記復元フィルタを生成する
   ことを特徴とする請求項３に記載のブレ補正装置。
5. 前記画像処理手段は、前記ブレ残り成分に加えて前記光学系の収差に基づいて前記復元フィルタを生成し、前記復元フィルタを前記画像に適用することにより、前記画像の前記ブレ残り成分と共に、前記光学系の前記収差に起因する前記画像のボケを低減する
   ことを特徴とする請求項３又は４に記載のブレ補正装置。
6. 前記補正手段は、前記撮像装置の撮像素子、又は前記光学系が有するブレ補正レンズを含む
   ことを特徴とする請求項１乃至５のいずれか１項に記載のブレ補正装置。
7. 撮像装置のブレを検出する検出手段と、
   前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動手段と、
   前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を低減するための補正データを取得する取得手段と、
   前記補正データに基づいて、前記画像に対して前記ブレ残り成分を低減する画像処理を行う画像処理手段と、
   を備えることを特徴とするブレ補正装置。
8. 前記補正データは、前記ブレ残り成分に対応する復元フィルタを含み、
   前記画像処理手段は、前記復元フィルタを前記画像に適用することにより、前記画像の前記ブレ残り成分を低減する
   ことを特徴とする請求項７に記載のブレ補正装置。
9. 前記取得手段は、前記画像の一部の対象位置について前記復元フィルタを含む前記補正データを取得し、
   前記画像処理手段は、前記対象位置以外の位置については、近傍の対象位置の復元フィルタを補間することにより前記復元フィルタを取得する
   ことを特徴とする請求項８に記載のブレ補正装置。
10. 前記補正データは、前記ブレ残り成分に対応する点応答関数、又は前記ブレ残り成分に対応する点像分布関数を含み、
    前記画像処理手段は、前記補正データに基づいて復元フィルタを生成し、前記復元フィルタを前記画像に適用することにより、前記画像の前記ブレ残り成分を低減する
    ことを特徴とする請求項７に記載のブレ補正装置。
11. 前記取得手段は、前記画像の一部の対象位置について前記補正データを取得し、
    前記画像処理手段は、前記対象位置については、前記補正データに基づいて前記復元フィルタを生成し、前記対象位置以外の位置については、近傍の対象位置の復元フィルタを補間することにより前記復元フィルタを生成する
    ことを特徴とする請求項１０に記載のブレ補正装置。
12. 前記画像処理手段は、前記補正データに加えて前記光学系の収差に基づいて前記復元フィルタを生成し、前記復元フィルタを前記画像に適用することにより、前記画像の前記ブレ残り成分と共に、前記光学系の前記収差に起因する前記画像のボケを低減する
    ことを特徴とする請求項１０又は１１に記載のブレ補正装置。
13. 前記補正手段は、前記撮像装置の撮像素子、又は前記光学系が有するブレ補正レンズを含む
    ことを特徴とする請求項７乃至１２のいずれか１項に記載のブレ補正装置。
14. 請求項１乃至１３のいずれか１項に記載のブレ補正装置と、
    前記画像を撮影する撮像手段と、
    を備えることを特徴とする撮像装置。
15. ブレ補正装置が実行するブレ補正方法であって、
    撮像装置のブレを検出する検出工程と、
    前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動工程と、
    前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を取得する取得工程と、
    前記画像の前記ブレ残り成分を低減する画像処理を行う画像処理工程と、
    を備えることを特徴とするブレ補正方法。
16. ブレ補正装置が実行するブレ補正方法であって、
    撮像装置のブレを検出する検出工程と、
    前記撮像装置による画像の撮影中に、前記撮像装置のブレに基づいて前記画像のブレを低減するように補正手段を駆動する駆動工程と、
    前記補正手段の駆動量、及び前記画像の撮影に用いられた光学系の歪曲収差に基づいて、前記画像のブレ残り成分を低減するための補正データを取得する取得工程と、
    前記補正データに基づいて、前記画像に対して前記ブレ残り成分を低減する画像処理を行う画像処理工程と、
    を備えることを特徴とするブレ補正方法。
17. コンピュータを、請求項１乃至６のいずれか１項に記載のブレ補正装置の各手段として機能させるためのプログラム。
18. コンピュータを、請求項７乃至１３のいずれか１項に記載のブレ補正装置の各手段として機能させるためのプログラム。

Images