JP2016161884A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 振れ補正に伴って生じる片ボケを、リフォーカス処理により適切に補正できるようにすること。
【解決手段】 撮像装置に加わる振れを検出して振れ信号を出力するジャイロセンサ（１１３）と、複数のマイクロレンズ（２０１）それぞれに対して複数の光電変換部を備え、振れを補正する防振光学系（１０１、１０２）を含む撮像光学系を介して入射する光束を光電変換する撮像素子（１０４）と、撮像素子の出力に基づいてリフォーカス処理を行うリフォーカス部（１０７）と、防振光学系の駆動により発生する、撮像素子の各位置におけるデフォーカス量のばらつきが、リフォーカス部により移動可能なデフォーカス量の範囲に収まる範囲内で、ジャイロセンサからの振れ信号に基づいて、振れを補正するための防振光学系の駆動量を決定する決定手段（１１０）とを有し、防振光学系は、前記決定された駆動量に基づいて駆動される。
【選択図】 図１

Description

本発明は撮像装置及びその制御方法に関し、特に手振れ補正機能及びリフォーカス機能を有する撮像装置及びその制御方法に関する。

従来より、手振れ補正機能を持つデジタルカメラが提案されている。手振れ補正機能を持つデジタルカメラにおいては、検出した手振れ量に応じて光学部材や撮像素子の姿勢を所望の方向に変化させることにより、手振れ補正機能を実現している。光学部材を姿勢変化させる方式においては、複数の光学部材を用いてそれぞれ独立な方向に変化させることにより、補正可能な角度を増加させることができる。

特許文献１では、固定部材を挟んで前後にそれぞれ第１の光学部材を保持する第１の可動鏡筒と、第２の光学部材を保持する第２の可動鏡筒を配置することで、それぞれの可動鏡筒を独立に駆動して振れを補正する方法が開示されている。また、特許文献２では、光学部材を光軸上の１点を回転中心として弧を描くように駆動して振れを補正する方法が開示されている。

一方、撮像素子の前面に複数の画素に対して一つの割合でマイクロレンズアレイを配置することで、光の２次元強度分布だけではなく撮像素子に入射する光線の入射方向の情報を取得し、被写体空間の３次元的な情報を得ることが可能である。このような被写体空間の３次元的な情報を得ることが可能なカメラはライトフィールドカメラと呼ばれている。また、被写体空間の３次元的な情報はライトフィールドデータと呼ばれ、ライトフィールドデータの取得と撮影後の画像再構成処理によって、画像のピント位置の変更や、撮影視点の変更、被写界深度の調節などのリフォーカスと呼ばれる画像処理が可能となる。

このようなライトフィールドカメラにおいて、プレノプティク方式が広く知られている。プレノプティク方式とは、マイクロレンズアレイの各マイクロレンズの下に分割された撮像用光電変換素子（ＰＤ）が二次元状に配置されており、光学系が有するフォーカスレンズは、各マイクロレンズの射出瞳の役割を有する。このような構成の撮像装置において、各マイクロレンズの下に存在する複数のＰＤから得られた信号は、被写体からの複数の光線情報を有することが知られている。この光線情報を利用して、マイクロレンズの下に存在するＰＤ群から得られた信号のうち、各マイクロレンズに対して同一位置に存在するＰＤから得られた信号のみで形成した複数の二次元画像は、通常の二次元画像と異なり、互いに視差を有している。このような視差を有する２次元画像同士を合成することによって、画像のフォーカス面を仮想的に移動させることができる（特許文献３参照）。

また、特許文献４ではライトフィールドカメラにおいて、各視差画像の任意領域が重なるように変形し、各視差画像を加算することで画像を再構成することで、奥行き斜め方向に仮想的な焦点面を設定する技術が開示されている。

特開２００９−２５８３８９号公報 特許第３００３３７０号公報 特開２００９−２５８６１０号公報 国際公開第２００８／０５０９０４号パンフレット

しかしながら、振れ補正のために特許文献２に記載されているような光軸上の１点を回転中心として弧を描くようにレンズの一群を駆動させた場合、像面に傾きが生じることで結像先の撮像素子に像高に応じたボケ（片ボケ）が生じてしまう。このような片ボケが動画撮影中に各フレームで発生すると、撮影動画の品質を著しく低下させてしまうという問題がある。

この課題に対して、特許文献４で開示されているリフォーカス技術を使用して片ボケを補正する場合、リフォーカス限界が存在するため、無制限に補正を行うことはできないという問題がある。

本発明は上記問題点を鑑みてなされたものであり、振れ補正に伴って生じる片ボケを、リフォーカス処理により適切に補正できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮像装置に加わる振れを検出して振れ信号を出力する振れ検出手段と、複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、前記振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子と、前記撮像素子の出力に基づいてリフォーカス処理を行うリフォーカス手段と、前記防振光学系の駆動により発生する、前記撮像素子の各位置におけるデフォーカス量のばらつきが、前記リフォーカス手段により移動可能なデフォーカス量の範囲に収まる範囲内で、前記振れ検出手段からの前記振れ信号に基づいて、前記振れを補正するための前記防振光学系の駆動量を決定する決定手段とを有し、前記防振光学系は、前記決定された駆動量に基づいて駆動されることを特徴とする。

本発明によれば、振れ補正に伴って生じる片ボケを、リフォーカス処理により適切に補正することが可能となる。

本発明における撮像装置の概略構成を示すブロック図。 第１の実施形態で使用される撮像素子の単位画素セルの構成及び、得られる画像の一例を示した図。 第一補正レンズと第二補正レンズと撮像素子の位置関係を示す図。 各単位画素セルが６×６に分割された場合のリフォーカス可能範囲を説明するための図。 第一補正レンズの駆動による焦点位置の変化を示す図。 第一補正レンズの駆動によるデフォーカス量の差を示す図。 第１の実施形態における防振光学系の駆動制御を示すフローチャート。 第一補正レンズと第二補正レンズの駆動によって発生したデフォーカス量を表した図。 画素の加算に応じて決定されるリフォーカス可能範囲を説明するための図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における撮像装置１の構成を示すブロック図である。図１において、光学系ユニット１００は少なくとも、第一補正レンズ１０１と第二補正レンズ１０２とからなる防振光学系と、絞り１０３を含む。光学系ユニット１００は更に、不図示のズームレンズやフォーカスレンズを有し、レンズ駆動制御部１１２の出力に基づいて駆動され、第一補正レンズ１０１、第二補正レンズ１０２、絞り１０３と共に撮像光学系を構成する。

本第１の実施形態では、第一補正レンズ１０１は光軸の1点を中心に、光軸に垂直な平面に対して弧を描くように傾ける（チルト）ことで、入射した光束を屈折することができる。一方、第二補正レンズ１０２は光軸に対して垂直な方向に移動（シフト）することで、入射した光束を平行移動することができる。

ジャイロセンサ１１３（振れ検出手段）は、撮像装置１の３次元方向の加速度を検知し、ＣＰＵ１１０に出力する。レンズ駆動制御部１１２はＣＰＵ１１０の出力に応じて、光学系ユニット１００の防振駆動を行い、第一補正レンズ１０１のチルト角の制御、及び、第二補正レンズ１０２の垂直移動量の制御を行う。なお、具体的なチルト角の制御については詳細に後述する。

また、ＣＰＵ１１０はレンズ駆動制御部１１２を介して光学系ユニット１００に含まれる絞り１０３及び不図示のシャッターの制御を行うことで、露光量の制御を行う。光学系ユニット１００を介して入射した光束は、撮像素子１０４の受光面上に結像し、光電変換される。撮像素子１０４は、１つのマイクロレンズと、光電変換部である複数のフォトダイード（ＰＤ）とをそれぞれ含む単位画素セルが、２次元マトリクス状に配列されている。そして、撮像素子駆動制御部１１１の出力に応じて、各ＰＤに蓄積された電荷を加算もしくは非加算で読み出し、Ａ／Ｄ変換部１０５に出力する。撮像素子駆動制御部１１１はＣＰＵ１１０により制御され、撮像素子１０４の加算もしくは非加算読み出しの切り換えの他に、ＩＳＯ感度などを設定する。

ここで図２を参照して、第１の実施形態における撮像素子１０４に配置されている単位画素セルについて説明する。図２（ａ）に示すように、単位画素セルはマイクロレンズアレイに含まれる１つのマイクロレンズ２０１あたり、６×６のＰＤ１Ａ〜６Ｆを有している。このような単位画素セルが撮像素子１０４上にベイヤー配列で２次元状に配置されている。

Ａ／Ｄ変換部１０５は、撮像素子１０４から出力されるアナログ電気信号を不図示のアナログ信号処理部でアナログ信号処理を行った上で、デジタル電気信号（画素信号）に変換し、キャプチャー部１０６に出力する。なお、アナログ信号処理部は、例えば、伝送路上のノイズを除去するＣＤＳ回路や非線形増幅回路等である。

キャプチャー部１０６は画素信号の有効期間及び種別を判定し、ＰＤ１Ａ〜６Ｆをそれぞれ読み出した信号、または、ＰＤ１Ａ〜６Ｆを加算読み出しして得た信号を、ライトフィールド（ＬＦ）データとしてリフォーカス部１０７に出力する。

リフォーカス部１０７は、ＣＰＵ１１０から設定されるＰＤの分割数に応じてリフォーカス処理を行い、第一補正レンズ１０１の駆動によって生じたボケに対して補正を行う。

デジタル信号処理部１０８では、ベイヤー配列で入力された画像信号に対して、公知の同時化処理、ガンマ処理、ノイズリダクション処理に代表されるデジタル信号処理を行う。デジタル信号処理部１０８の出力は、ＳＤカードに代表されるメモリカード等により構成される画像記録部１０９に記録したり、不図示の画像表示部に出力する。

ＣＰＵ１１０は、撮像装置１全体のシステム制御を行う中央演算装置であって、不図示のＲＯＭに記録されているプログラムに基づいて動作を行う。本第１の実施形態ではリフォーカス部１０７、撮像素子駆動制御部１１１、レンズ駆動制御部１１２に対して、防振及び画像補正用のパラメータの演算及び設定を行う。

次に図３を用いて、防振制御における第一補正レンズ１０１と第二補正レンズ１０２の制御方法について説明する。

図３は、防振動作中の第一補正レンズ１０１及び第二補正レンズ１０２の動作を示す概念図であり、第一補正レンズ１０１、第二補正レンズ１０２及び撮像素子１０４の姿勢を示している。防振動作中は、光学系ユニット１００に含まれるズームレンズが望遠側か広角側かに応じて、動き方の異なる各補正レンズを有効に活用して、像振れが最小限になるように制御を行う。

図３（ａ）は像振れの無い状態を示しており、第一補正レンズ１０１と第二補正レンズ１０２ともにレンズ中心が光軸上に位置している。

次に、防振動作中について説明する。ズームレンズが広角側に位置する場合、像振れの主たる要因はカメラのシフトによるものとなる。よって第二補正レンズ１０２を図３（ｃ）に示すようにカメラのシフトによって起こる光軸に対する像ずれを打ち消すように制御し、像振れを補正する。

一方、ズームレンズが望遠側に位置する場合においては、像振れの主たる要因はカメラのチルトによるものとなる。よって第一補正レンズ１０１を図３（ｂ）に示すように、カメラのチルトによって起こる光軸に対する像ずれを打ち消すように制御して、像振れを補正する。

このように第一補正レンズ１０１と第二補正レンズ１０２を駆動することによって、防振することができる。なお、図３に示す例では、第一補正レンズ１０１と第二補正レンズ１０２のいずれか一方のみを制御した場合について説明したが、第一補正レンズ１０１と第二補正レンズ１０２を組み合わせて制御してもよい。

次に、図２（ａ）に示す構成を有する撮像素子１０４から得られる信号を用いてリフォーカス画像を生成する場合の、リフォーカス可能な範囲について説明する。

撮像素子１０４に含まれる単位画素セルにおいて、各マイクロレンズに対して同一位置に存在するＰＤからの信号のみで構成された二次元画像は、他の同一位置に存在するＰＤからの信号のみで構成された２次元画像に対して、視差を有する。例えば、図２（ａ）のＰＤ１Ａの信号のみで構成された画像と、ＰＤ２Ａの信号のみで構成された画像は異なる視差を有する。つまり、６×６のＰＤで構成された撮像素子１０４からは、合計３６の異なる視差の画像を得ることができる。

一般的にライトフィールドカメラでは、これらの分割画素数に応じた異なる視差の画素を合成してリフォーカス画像を得ることとなる。リフォーカス画像を得るための原理として、図２（ｂ）の画像の例においては、花の位置に視差を有さないように合成した場合には、花の位置には合焦しており、葉の位置では視差を有する画像同士を加算して合成するためにボケた画像を得ることとなる。また葉の位置に視差を有さないように合成した場合には、葉の位置に合焦しており、花の位置ではボケた画像を得ることとなる。

この時、リフォーカス可能な範囲は各視差画像の合焦範囲のみである。これは、ボケた各視差画像に対して視差を有さないように加算したとしても、元の像がシャープではないために、ボケた像しか得ることができないことによる。つまり、リフォーカス可能な範囲は各位置のＰＤから構成された視差画像の焦点深度に基づいて決まる。

図４を使用して、具体的にリフォーカス可能な範囲について説明する。図４において、許容錯乱円をδとし、絞り１０３の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、図２（ａ）に示すように６×６に分割されて狭くなった瞳部分領域５０１の水平及び垂直方向の実行絞り値Ｆ０１は、Ｆ０１＝６Ｆ（６は分割数）と暗くなる。その結果、各視差画像の実効的な被写界深度は±６Ｆδと６倍深くなり、合焦範囲が６倍に広がる。即ち、各視差画像において、実効的な被写界深度±６Ｆδの範囲内で合焦した被写体像が取得される。ライトフィールドにおけるリフォーカス画像は各画素の合成によって得られる像であるため、各画素で構成される像は少なくとも合焦している必要がある。よって、撮影後のリフォーカス処理により、デフォーカス量ｄは式（１）により示される範囲で仮想的に移動可能となる。
｜d｜ ≦ 6Fδ …（１）
なお、許容錯乱円δは、δ＝２ΔＸ（ΔＸは画素周期）のナイキスト周波数１／（２ΔＸ）の逆数などで規定される。このように射出瞳を共有する分割画素の数に応じて、各視差画像の焦点深度が決まる。

次に、図５を参照して、第一補正レンズ１０１の駆動によって生じるボケについて説明する。図５はシャインフリュークの法則について説明を行った図であり、被写体面における点Ａ、Ｂは第一補正レンズ１０１を介して、撮像素子１０４上の点Ａ’、Ｂ’に結像する。この時、像面、レンズ主面、被写体面は一点のＳで交わることが知られている。つまり、第一補正レンズ１０１のチルト動作によって防振動作を行った際に、撮像素子１０４の像高中心の焦点面と周辺部の焦点面が異なり、像高中心では合焦していても周辺部では合焦していない、いわゆる片ボケが発生することがある。

リフォーカス部１０７は、このようなボケに対して各視差画像に対して像高中心の被写体の領域が一致するように射影変換を行い、奥行き斜め方向に焦点面を設定することができる。このように入力された視差画像に対してリフォーカス処理を行うことで、第一補正レンズ１０１の駆動によって生じる奥行き斜め方向の片ボケを補正し、補正した結果の画像データをデジタル信号処理部１０８に出力する。なお、奥行き斜め方向にリフォーカスする技術は公知であり、例えば特許文献４に記載されている方法を用いることができる。

なお、ＣＰＵ１１０を介してレンズ駆動制御部１１２で制御する第一補正レンズ１０１のチルト角に基づいて、奥行き斜め方向の焦点面に仮想的な焦点面を移動させるようにリフォーカスを行っても良い。

次に、図６を参照して、リフォーカスにより片ボケの補正処理を行う際の補正限界について説明する。図６は第一補正レンズ１０１が、撮像素子１０４に対して平行でない状態において、像高最周辺部の像高中心に対するデフォーカス量について説明した図である。点Ａ、Ｂ、Ａ’、Ｂ’、Ｓはそれぞれ図５と同一であり、ＣＡは像高中心から撮像素子１０４の端部Ａ’までの距離、θ１は第一補正レンズ１０１のチルト角、Δｄは像高中心と点Ａ’でのデフォーカス量の差を表すデフォーカス量差分値である。デフォーカス量差分値Δｄは、下記の式（２）で表すことができる。
Δd = CA×tanθ1 …（２）

このデフォーカス量差分値Δｄが式（３）の条件を満たす場合、リフォーカス処理によって補正が可能であると考えることができる。
6Fδ ≧ Δd …（３）

次に、第１の実施形態におけるレンズ駆動制御部１１２の第一補正レンズ１０１の駆動限界角度（駆動量の限界値）について説明する。レンズ駆動制御部１１２は、撮像素子１０４の読み出し方法に変更があると、ＣＰＵ１１０から第一補正レンズ１０１の駆動限界角度を設定する。この駆動限界角度は、リフォーカス処理により片ボケを補正する際の補正限界によって決まる角度であり、式（２）及び式（３）に基づいて、θ１について解くことにより、下記の式（４）により求めることができる。
θ1 ≦ tan^-1（6Fδ／CA） …（４）

なお、撮像素子１０４からクロップ読み出しを行う際には、クロップ読み出しを行う撮像素子１０４上の端部位置までの距離をＣＡとすることで、常に撮像素子１０４上の端部をＣＡとする場合よりも、駆動限界角度を大きくすることができる。

防振動作中、レンズ駆動制御部１１２には、ＣＰＵ１１０を介してジャイロセンサ１１３からの出力に基づいて、第一補正レンズ１０１のシフト量及び第二補正レンズ１０２のチルト角が設定される。なお、ジャイロセンサ１１３を用いたシフト量及びチルト角の設定については、公知の技術を用いることができるため、ここでは説明を省略する。

次に、図７のフローチャートを参照して、第１の実施形態における防振動作について説明する。本防振動作は不図示の動画撮影ＳＷをユーザーが操作することでスタートする。

Ｓ７０１で、ＣＰＵ１１０は撮像素子駆動制御部１１１に、ＰＤ１Ａ〜６Ｆの非加算読み出しを設定する。Ｓ７０２で、ＣＰＵ１１０は絞り１０３のＦ値を読み出し、レンズ駆動制御部１１２に対してＦ値と分割画素数とに応じて、式（４）に基づいて第一補正レンズ１０１の駆動限界角度を設定する。

次にＳ７０３で、ＣＰＵ１１０はジャイロセンサ１１３の出力に基づいて、第一補正レンズ１０１のチルト角を求める。Ｓ７０４において、レンズ駆動制御部１１２は、ＣＰＵ１１０から出力されたチルト角と駆動限界角度を比較し、チルト角より駆動限界角度の方が大きければＳ７０５に進み、レンズ駆動制御部１１２は駆動限界角度を選択して、Ｓ７０７に進む。一方、チルト角が駆動限界角度以下であればＳ７０６に進み、レンズ駆動制御部１１２はＣＰＵ１１０からのチルト角を選択して、Ｓ７０７に進む。

Ｓ７０７において、第一補正レンズ１０１は、Ｓ７０５またはＳ７０６で選択された角度となるように第一補正レンズ１０１を駆動し、Ｓ７０８に進む。Ｓ７０８でＣＰＵ１１０は不図示の動画撮影ＳＷの状況を確認し、停止が指示されていれ防振動作を終了し、停止が指示されていなければ、Ｓ７０３に戻って上記処理を繰り返す。

なお、上述した例では、動画撮影を行う場合に防振動作を行うものとして説明したが、静止画撮影を行う場合の所謂ライブビュー時に実行してもよい。

上記の通り本第１の実施形態によれば、防振レンズを駆動する場合に、駆動量を制御することにより片ボケが発生した場合にも、補正可能な範囲で防振を行うことができる。

なお、上述した第１の実施形態では防振レンズのチルト角のみについて説明を行ったが、例えば第二補正レンズ１０２のようなシフトレンズを駆動することによってチルトが起こり、片ボケが発生する場合がある。第一補正レンズ１０１及び第二補正レンズ１０２の駆動により発生する像高別のデフォーカス量を不図示のＲＯＭに有し、駆動量制御に使用することで、片ボケが補正可能な範囲内で撮像装置１を制御することが可能となる。

図８は、ある焦点距離における第一補正レンズ１０１及び第二補正レンズ１０２を駆動中の、異なる像高におけるデフォーカス量の一例を表した図であって、像高をｈ、デフォーカス量をｄｅｆとして表している。図８（ａ）、（ｂ）、（ｃ）は各々像高ｈが１５、−１５、０の場合のデフォーカス量ｄｅｆを表している。

このように第一補正レンズ１０１及び第二補正レンズ１０２を駆動することで、撮像素子１０４において像高別に焦点面が異なり、像高中心では合焦していても像高によっては合焦していない、いわゆる片ボケが発生する状態が存在する。そのような場合において、像高ｈが１５、−１５、０の場合のデフォーカス量ｄｅｆが式（１）の範囲に収まるように、第一補正レンズ１０１及び第二補正レンズ１０２の駆動範囲を抑えることで、片ボケの補正がが可能となる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、撮像素子１０４の各単位画素セルから非加算読み出しにより、６×６のＰＤそれぞれから独立に電荷を読み出す場合について説明した。撮像素子が６×６のＰＤを有している場合において、６×６のＰＤそれぞれから独立に電荷の読み出しを行うことで、リフォーカスによる補正可能範囲を最も大きく取ることが可能である。しかしながら、処理量も比例して増加するため、消費電力の問題が発生する。

そこで、本第２の実施形態では、第一補正レンズ１０１の防振量を最大限確保しつつも消費電力の削減を図る為に、第一補正レンズ１０１のチルト角に応じて、ＰＤの読み出し方法を切り換える。なお、第２の実施形態における撮像装置の構成は、第１の実施形態において図１及び図２を参照して説明したものと同様であるので、ここでは説明を省略する。

図９を使用して、第２の実施形態における読み出し方法を変更した時のリフォーカス可能範囲について説明する。図９（ａ）は、６×６のＰＤを２×２単位で加算して読み出す場合を示している。この場合、瞳部分領域は８００となり、デフォーカス量ｄは式（５）で表すことができ、このデフォーカス量ｄの範囲で仮想的に焦点面を移動することができる。
｜d｜ ≦ 3Fδ …（５）

図９（ｂ）は、６×６のＰＤを３×３単位で加算して読み出す場合を示している。この場合、瞳部分領域は８０１となり、デフォーカス量ｄは式（６）で表すことができ、このデフォーカス量ｄの範囲で仮想的に焦点面を移動することができる。
｜d｜ ≦ 2Fδ …（６）

このように撮像素子駆動制御部１１１の出力に応じて、加算読み出しの加算単位を切り換えることで、リフォーカス可能範囲を変更することが可能となる。この場合、図７のＳ７０１において、非加算読み出しに設定する代わりに、加算読み出しの加算単位を取得することにより、Ｓ７０２において駆動限界範囲を求めることができる。

第１の実施形態で説明を行った通り、第一補正レンズ１０１の駆動量によって生じた片ボケを補正する場合において、ボケの補正限界角度はリフォーカス可能範囲に応じて決定される。つまり、チルト角θ１が式（７）に示す範囲であれば、図９（ｂ）で説明した３×３単位でＰＤの電荷を加算して読み出したとしても、片ボケを補正することができる。
θ1 ≦ tan^-1（2Fδ／CA） …（７）

また、補正角θ１が式（８）に示す範囲であれば、図９（ａ）で説明した２×２単位でＰＤの電荷を加算して読みだしたとしても、片ボケを補正することができる。
tan^-1（2Fδ／CA） ＜ θ1 ≦ tan^-1（8Fδ／CA） …（８）
式（７）、（８）の範囲外であれば図４で説明を行った非加算読み出しを行う。

このように、ジャイロセンサ１１３からの出力に基づいて得られたチルト角θ１の大きさに応じて、ＣＰＵ１１０から撮像素子駆動制御部１１１を介してＰＤの読み出し方法を変えることで、消費電力の削減を行いつつも、片ボケの補正を行うことが可能になる。

また、第１の実施形態と同様に、第一補正レンズ１０１及び第二補正レンズ１０２の駆動によって、図８に示すようなデフォーカス量が発生するような場合が存在する。そのような場合において、各像高のデフォーカス量ｄｅｆと、式（７）及び（８）の条件判定に基づいて加算読み出しを切り換えることで片ボケの補正が可能となる。

また、上記第１及び第２の実施形態では、光学系ユニット１００が撮像装置１に含まれるものとして説明したが、光学系ユニット１００を着脱可能に構成してもよい。

また、第１及び第２の実施形態では、ジャイロセンサ１１３により撮像装置１の振れを検知する構成について説明したが、振れを検知する方法はこれに限るものではなく、公知の方法を利用することが可能である。例えば、連続するフレーム間の画像の動きを検知することにより、撮像装置１の振れを検知する構成としても良いし、ジャイロセンサ１１３との組み合わせにより検知する構成としても良い。

なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：光学系ユニット、１０１：第一補正レンズ、１０２：第二補正レンズ、１０３：絞り、１０４：撮像素子、１０７：リフォーカス部、１１０：ＣＰＵ、１１１：撮像素子駆動制御部、１１２：レンズ駆動制御部、１１３：ジャイロセンサ、２０１：マイクロレンズ

Claims (12)

1. 撮像装置に加わる振れを検出して振れ信号を出力する振れ検出手段と、
   複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、前記振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子と、
   前記撮像素子の出力に基づいてリフォーカス処理を行うリフォーカス手段と、
   前記防振光学系の駆動により発生する、前記撮像素子の各位置におけるデフォーカス量のばらつきが、前記リフォーカス手段により移動可能なデフォーカス量の範囲に収まる範囲内で、前記振れ検出手段からの前記振れ信号に基づいて、前記振れを補正するための前記防振光学系の駆動量を決定する決定手段とを有し、
   前記防振光学系は、前記決定された駆動量に基づいて駆動されることを特徴とする撮像装置。
2. 前記決定手段は、前記複数の光電変換部の読み出し方法と、前記撮像光学系の絞り値とに基づいて、前記リフォーカス手段により移動可能なデフォーカス量の範囲を求めることを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、前記撮像素子の最周辺部の像高と、前記リフォーカス手段により移動可能なデフォーカス量の範囲とに基づいて、前記防振光学系の駆動量の限界値を設定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記決定手段は、前記撮像素子から信号を読み出す範囲における最周辺部の像高と、前記リフォーカス手段により移動可能なデフォーカス量の範囲とに基づいて、前記防振光学系の駆動量の限界値を設定することを特徴とする請求項１または２に記載の撮像装置。
5. 前記決定手段は、前記振れ検出手段からの前記振れ信号に基づいて求められた駆動量が前記限界値を超える場合に、前記限界値を前記防振光学系の駆動量として決定することを特徴とする請求項３または４に記載の撮像装置。
6. 前記防振光学系は、前記入射する光束を屈折することにより防振を行う第一の補正レンズを有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記防振光学系は、前記入射する光束を平行移動することにより防振を行う第二の補正レンズを有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記複数の光電変換部からの信号の読み出し方法を変更して駆動する駆動手段を更に有し、
   前記読み出し方法は、前記各マイクロレンズに対する前記複数の光電変換部をそれぞれ読み出す方法、該複数の光電変換部を複数の領域に分割し、分割した領域ごとに加算して読み出す方法を含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記駆動手段は、前記振れ信号に基づいて決定された駆動量に基づいて、前記読み出し方法を変更することを特徴とする請求項８に記載の撮像装置。
10. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、振れを補正する防振光学系を含む撮像光学系を介して入射する光束を光電変換する撮像素子と、前記撮像素子の出力に基づいてリフォーカス処理を行うリフォーカス手段とを有する撮像装置の制御方法であって、
    振れ検出手段が、撮像装置に加わる振れを検出して振れ信号を出力する振れ検出工程と、
    決定手段が、前記防振光学系の駆動により発生する、前記撮像素子の各位置におけるデフォーカス量のばらつきが、前記リフォーカス手段により移動可能なデフォーカス量の範囲に収まる範囲内で、前記振れ検出手段からの前記振れ信号に基づいて、前記振れを補正するための前記防振光学系の駆動量を決定する決定工程と、
    補正手段が、前記決定された駆動量に基づいて前記防振光学系を駆動する補正工程と
    を有することを特徴とする撮像装置の制御方法。
11. 撮像装置のコンピュータに、請求項１０に記載の制御方法の各工程を実行させるためのプログラム。
12. 請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。