JP2017194569A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】簡易な手法によって防振用光学系の偏心による像面上での歪曲収差の形状変化をも考慮した精度のよい歪曲収差補正を行うことができる画像処理装置、撮像装置及び画像処理方法を提供すること。【解決手段】画像処理装置は、撮像光学系１００の光軸に対して直交する方向の防振用光学系１０４の駆動量を取得する防振用光学系駆動量取得部２１２と、光軸と撮像画像の画像中心とのずれ量を用いて、ずれ量に基づく像面上での歪曲収差の補正を撮像画像に対して行う歪曲収差補正部２１６と、防振用光学系１０４の駆動量に応じた像面上での歪曲収差の形状と、ずれ量に応じた像面上での歪曲収差の形状との相関関係に基づいて換算中心ずれ量を算出するずれ量換算部２１４とを備える。歪曲収差補正部２１６は、ずれ量として換算中心ずれ量を用いて歪曲収差の補正を行う。【選択図】図７

Description

本発明は、画像処理装置、撮像装置及び画像処理方法に関する。

撮像装置における手ぶれ等に起因する撮像画像におけるぶれ（像ぶれ）を抑制するための手法として、撮像光学系の一部を構成するように設けられた防振用光学系を発生したぶれに応じて駆動する光学式のぶれ抑制処理が知られている。また、撮像光学系を介して得られる撮像画像は、撮像光学系の歪曲収差等の影響によって歪む。このような歪曲収差等は、通常、幾何変換処理によって補正される。特許文献１において提案されている撮像装置は、防振用光学系の駆動量及び駆動方向に応じて幾何変換処理の基準座標を決定することにより、収差補正の精度を向上させようとしている。

特開２０１５−０２２０２７号公報

特許文献１の手法は、防振用光学系の偏心によって生じる撮像素子の像面上での歪曲収差の形状と、同じ駆動量だけ撮像素子を駆動したときの画像中心と光軸中心とのずれによって生じる撮像素子の像面上での歪曲収差の形状とが同じであることを前提にしている。しかしながら、実際には、防振用光学系の偏心によって生じる撮像素子の像面上での歪曲収差の形状は、同じ駆動量だけ撮像素子を駆動したときの画像中心と光軸中心とのずれによって生じる撮像素子の像面上での歪曲収差の形状と同じにならないことが多い。このため、特許文献１の手法では歪曲収差の補正の際に補正残りが生じる可能性がある。

本発明は、前記の事情に鑑みてなされたもので、簡易な手法によって防振用光学系の偏心による像面上での歪曲収差の形状変化をも考慮した精度のよい歪曲収差補正を行うことができる画像処理装置、撮像装置及び画像処理方法を提供することを目的とする。

本発明の第１の態様の画像処理装置は、撮像素子の像面上での像ぶれに応じて駆動される防振用光学系を有する撮像光学系によって前記像面に結像された像に基づく撮像画像を処理する画像処理装置であって、前記撮像光学系の光軸に対して直交する方向の前記防振用光学系の駆動量を取得する防振用光学系駆動量取得部と、前記光軸と前記撮像画像の画像中心とのずれ量を用いて、前記ずれ量に基づく前記像面上での歪曲収差の補正を前記撮像画像に対して行う歪曲収差補正部と、前記防振用光学系の駆動量に応じた前記像面上での歪曲収差の形状と、前記ずれ量に応じた前記像面上での歪曲収差の形状との相関関係に基づいて、前記防振用光学系駆動量取得部で取得された駆動量と対応する前記ずれ量を換算中心ずれ量として算出するずれ量換算部とを備え、前記歪曲収差補正部は、前記ずれ量として前記換算中心ずれ量を用いて前記歪曲収差の補正を行う。

本発明の第２の態様の撮像装置は、第１の態様に記載の画像処理装置と、前記撮像光学系により結像された像を撮像する前記撮像素子とを備える。

本発明の第３の態様の画像処理方法は、撮像素子の像面上での像ぶれに応じて駆動される防振用光学系を有する撮像光学系によって前記像面に結像された像に基づく撮像画像を処理する画像処理方法であって、前記撮像光学系の光軸に対して直交する方向の前記防振用光学系の駆動量を取得することと、前記防振用光学系の駆動量に応じた前記像面上での歪曲収差の形状と、前記ずれ量に応じた前記像面上での歪曲収差の形状との相関関係に基づいて、前記防振用光学系の駆動量と対応する前記ずれ量を換算中心ずれ量として算出することと、前記換算中心ずれ量を前記ずれ量として用いて前記歪曲収差の補正を行うこととを備える。

本発明によれば、簡易な手法によって防振用光学系の偏心による像面上での歪曲収差の形状変化をも考慮した精度のよい歪曲収差補正を行うことができる画像処理装置、撮像装置及び画像処理方法を提供することができる。

像ぶれについて説明するための図である。 図２（ａ）は光学系シフト式のぶれ抑制処理について説明するための図であり、図２（ｂ）は撮像素子シフト式のぶれ抑制処理について説明するための図であり、図２（ｃ）は電子式のぶれ抑制処理について説明するための図である。 図３（ａ）は像ぶれが発生していない撮像画像を示す図であり、図３（ｂ）は像ぶれが発生した撮像画像を示す図であり、図３（ｃ）は図３（ｂ）の像ぶれに対して撮像素子シフト式又は電子式のぶれ抑制処理が適用された後の撮像画像を示す図である。 図３（ｂ）の像ぶれに対して光学系シフト式のぶれ抑制処理が適用された後の撮像画像を示す図である。 防振用光学系の偏心による歪曲収差の形状変化と画像中心と光軸中心とのずれによる歪曲収差の形状変化との関係の一例を示す図である。 像面上での歪曲収差の形状が類似している防振用光学系の駆動量と撮像素子の駆動量との相関関係の一例を示す図である。 第１の実施形態に係る撮像システムの構成を示す図である。 第１の実施形態における撮影動作を示すフローチャートである。 係数αを求めるための考え方について説明するための図である。 係数αを求めるときの測定系について説明するための図である。 撮像画像における同一ライン上にある点と点の間の傾きの求め方について説明するための図である。 撮像画像における同一ライン上にある点と点の間の傾きの一例である。 防振用光学系の駆動量に対して格子が直線になる点の高さをプロットして得られる一例の直線を示す図である。 第２の実施形態に係る撮像システムの構成を示す図である。 第２の実施形態における撮影動作を示すフローチャートである。 （手順１）及び（手順２）で取得された各撮像画像の格子点を示す図である。 防振用光学系１０４の駆動量と撮像素子２０２の駆動量との関係をプロットして得られる一例の曲線を示す図である。 第３の実施形態に係る撮像システムの構成を示す図である。 第３の実施形態における撮影動作を示すフローチャートである。 防振用光学系の駆動量に基づく像面上の歪曲収差形状と画像中心と光軸中心とのずれ量に基づく像面上の歪曲収差の形状との相関関係を示すテーブルの例である。 第４の実施形態に係る撮像システムの構成を示す図である。 第４の実施形態における撮影動作を示すフローチャートである。 光学状態と係数αとが対応付けられたテーブルの例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。まず、本発明の各実施形態に係る画像処理方法の原理を説明する。このために、像ぶれの抑制処理について説明する。図１（ａ）及び図１（ｂ）は、像ぶれについて説明するための図である。図１（ａ）は、撮像装置にぶれが生じていないときの被写体と撮像装置との関係を示している。図１（ｂ）は、撮像装置の画像中心に角θの角度ぶれが生じているときの被写体と撮像装置との関係を示している。図１（ａ）及び図１（ｂ）のｚ軸は例えば地面に水平な方向であり、ｙ軸は例えば地面に垂直な方向である。

被写体の任意の物点からの光束は、瞳位置で像を結び、その後に防振用光学系２を通って、撮像素子１の像面において再結像される。これらの光束の入射角と射出角はともにωである。ここで、撮像装置にぶれが生じていないときには、撮像光学系の光軸中心と撮像素子の像面中心（画像中心と一致しているとする）とのｙ軸位置は一致する。したがって、撮像光学系の光軸中心を通る光は、防振用光学系２の光軸中心を通って撮像素子１の像面中心ＰＯに入射する。一方、撮像装置に角θの像ぶれが生じると、撮像光学系の光軸中心のｙ軸位置と撮像素子１の像面中心のｙ軸位置との間にはずれが生じる。このずれの大きさにより、被写体の同一の物点から射出された光束は、撮像素子の異なる位置に結像する。この結像位置のずれによって像ぶれが生じる。なお、このような像ぶれは、角度ぶれに限らずに撮像装置が像面と平行な方向に移動する並進ぶれによっても生じる。

像ぶれを抑制するためのぶれ抑制方法としては、主に、光学系シフト式、撮像素子シフト式、電子式の３つの方法が知られている。光学系シフト式のぶれ抑制処理は、図２（ａ）に示すように、検出されたぶれに応じて撮像光学系の一部である防振用光学系２を撮像光学系の光軸に直交する面内で駆動することでぶれを抑制する処理である。すなわち、光学系シフト式のぶれ抑制処理では、像面中心ＰＯは移動せずに光束の結像位置がＰ１に移動される。撮像素子シフト式のぶれ抑制処理は、図２（ｂ）に示すように、検出されたぶれに応じて撮像素子１を撮像光学系の光軸に直交する面内で駆動することでぶれを抑制する処理である。すなわち、撮像素子シフト式のぶれ抑制処理では、像面中心ＰＯがＰ１に移動される。電子式のぶれ抑制処理は、図２（ｃ）に示すように、検出されたぶれに応じて撮像画像（光軸に直交する面内）の切り出し範囲を変更することでぶれを抑制する処理である。すなわち、電子式のぶれ抑制処理では、像面中心ＰＯも結像位置も移動せずに撮像画像の切り出し範囲のみが変更される。

図３（ａ）は、像ぶれが発生していない撮像画像を示している。撮像光学系の光軸が被写体に合わせられているとすると、像ぶれがない場合には、像面上での被写体Ｏの位置は画像中心ＰＯの位置と一致する。また、撮像光学系の光軸と像面の交点位置は、画像中心ＰＯと一致する。たる型の歪曲収差であっても糸巻型の歪曲収差であっても、収差は、撮像光学系の光軸を中心に点対称に発生する。したがって、図３（ａ）の場合、撮像画像に影響を与える収差Ｄは、画像中心ＰＯを中心として点対称形状をしている。

図３（ｂ）は、像ぶれが発生した撮像画像を示している。撮像装置のぶれによって撮像光学系の光軸が被写体から外れてしまうので、像面上での被写体Ｏの位置は画像中心ＰＯの位置から移動してしまう。一方、ぶれ抑制処理が行われていないときには、撮像光学系の光軸と像面の交点位置は、画像中心ＰＯと一致する。したがって、図３（ｂ）の場合、撮像画像に影響を与える収差Ｄは、画像中心ＰＯを中心として点対称形状をしている。

図３（ｂ）は像ぶれが発生した撮像画像を示す図であり、図３（ｃ）は図３（ｂ）の像ぶれに対して撮像素子シフト式又は電子式のぶれ抑制処理が適用された後の撮像画像を示している。ぶれ抑制処理により、画像中心ＰＯは被写体Ｏの位置に合わせられる。一方、撮像光学系の光軸と像面の交点位置Ｐ１は、画像中心ＰＯとずれてしまう。したがって、図３（ｃ）の場合、撮像画像に影響を与える収差Ｄは、非点対称形状になる。図３（ｃ）の収差Ｄと図３（ａ）及び図３（ｂ）の収差Ｄとを比較すると、図３（ｃ）の収差Ｄの形状はぶれ抑制処理によって変形したように見えてしまう。

一方、図４は、図３（ｂ）の像ぶれに対して光学系シフト式のぶれ抑制処理が適用された後の撮像画像を示している。図４に示すように、光学系シフト式のぶれ抑制処理の場合、ぶれ抑制処理により、撮像光学系の光軸と像面の交点位置ＰＯは被写体Ｏの位置に合わせられる。前述したように、収差は、撮像光学系の光軸を中心に点対称に発生する。このため、ぶれ抑制処理前は防振用光学系２の駆動前の光軸と像面との交点Ｐ２を中心に点対称に発生していた収差Ｄは、ぶれ抑制処理の結果として防振用光学系２の駆動後の光軸と像面との交点ＰＯを中心に非点対称に発生してしまう。図４の収差Ｄと図３（ａ）又は図３（ｂ）の収差Ｄとを比較すると、図４の収差Ｄの形状はぶれ抑制処理によって変形したように見えてしまう。

ぶれ抑制処理に伴う歪曲収差の形状変化を正確に補正するための方法として、歪曲収差形状の変化を考慮して歪曲収差補正をする方法が考えられる。通常の歪曲収差補正では、理想像高Y（補正後の像高）と実像高Y’（補正前の像高）との関係が予め定義されている。この関係は、例えば式（１）のような近似多項式で定義される。そして、実際の処理では予め定義された関係を用いた座標変換によって歪曲収差補正が行われる。具体的には、定義式を用いて補正前の画像と補正後の画像との対応座標が算出され、この対応座標に従って補正前の画像における各画素を再配置することで補正が行われる。
Y ＝ D0 ＋ D1Y' ＋ D2Y'² ＋ D3Y'³ ＋ … 式（１）

撮像素子シフト式又は電子式のぶれ抑制処理の後の撮像画像に対する歪曲収差補正では、画像中心と光軸中心とのずれ量（本来の歪曲収差の発生中心）を考慮した通常通りの歪曲収差補正によって収差形状の変化を含めた補正が可能である。一方、防振用光学系の偏心による歪曲収差の形状変化と画像中心と光軸中心とのずれによる歪曲収差の形状変化とはその発生原理において異なっているため、仮に画像中心と光軸中心とのずれ量を考慮した通常通りの歪曲収差補正をしたとしても補正残りが生じる。

ここで、防振用光学系の偏心による歪曲収差の形状変化と画像中心と光軸中心とのずれによる歪曲収差の形状変化とはその発生原理において異なっているものの、概ね似たような性質を持つ。図５は、防振用光学系の偏心による歪曲収差の形状変化と画像中心と光軸中心とのずれによる歪曲収差の形状変化との関係の一例を示す図である。ここで、図５では歪曲収差形状の変化のみを分かり易く示すために、撮影対象の被写体は格子模様の被写体であるとする。また、図５の左側は、撮像システム（撮像光学系が装着された状態の撮像装置）を垂直0mm、垂直0.05mm、垂直0.1mmだけシフトさせ、これらのシフトによる像ぶれが補正されるように撮像素子を垂直0mm、垂直0.05mm、垂直0.1mmだけ駆動した状態で被写体を撮像したときの撮像画像における歪曲収差形状を示している。図５の右側は、撮像システム（撮像光学系が装着された状態の撮像装置）を図５の左側と同じ条件である垂直0mm、垂直0.05mm、垂直0.1mmだけシフトさせ、これらのシフトによる像ぶれが補正されるように防振用光学系を垂直0mm、垂直0.05mm、垂直0.1mmだけ駆動した状態で被写体を撮像したときの撮像画像における歪曲収差形状を示している。なお、図５では、説明の簡略化のため、防振用光学系が1mm駆動された際には像面上で像は1mm移動することを想定している。防振用光学系の構造によっては、防振用光学系の駆動量dと像面上での移動量mは必ずしも一致せず、式（２）で表すような比例関係になる。図５においては、式（２）の像面移動量感度sが１であると考えている。このとき、同じぶれを抑制するために必要な駆動量は、撮像素子と防振用光学系とで等しくなる。
m ＝s × d 式（２）
ただし、s ＝（1−β２）×β３ 式（３）
（β２：防振用光学系の倍率、β３：撮像光学系の防振用光学系より後群の倍率）

図５から分かるように、撮像素子の駆動量と防振用光学系の駆動量とが同一となる条件で歪曲収差形状を比較しても両者の歪曲収差形状は一致しない。しかしながら、図５の場合、防振用光学系が0.05mm駆動された状態と撮像素子が0.1mm駆動された状態の両者の歪曲収差形状は似ている。

したがって、防振用光学系を0.05mm駆動した状態の撮像画像を補正したい場合、式（１）等の「光軸中心に対して点対称に発生する歪曲収差を画像中心と光軸中心とのずれを考慮して補正できる機構」があれば、この機構に対し、画像中心と光軸中心とのずれ量として0.1mmを与えればよい。これにより、防振用光学系の駆動に伴う歪曲収差の形状変化（歪曲収差形状の非点対称化）を概ね補正することが可能である。

具体的な処理では、例えば、像面上での歪曲収差の形状が類似している防振用光学系の駆動量と撮像素子の駆動量との相関関係を予め定義しておき、防振用光学系の駆動が行われたときには、防振用光学系の駆動量が対応する撮像素子の駆動量に換算し、換算後の駆動量に従って例えば式（１）に基づく歪曲収差補正を行う。図６（ａ）及び図６（ｂ）は、像面上での歪曲収差の形状が類似している防振用光学系の駆動量と撮像素子の駆動量との相関関係の一例である。図６（ａ）は、相関関係が線形になる例である。相関関係が線形の場合には、歪曲収差補正の際には、防振用光学系の駆動量に所定の係数が乗算されることで換算が行われる。一方、図６（ｂ）は、相関関係が非線形になる例である。非線形の場合には、その曲線を表す近似式が予め定義される。そして、歪曲収差補正の際には、防振用光学系の駆動量は近似式を用いて換算される。図６（ｂ）の関係は、例えば二次式で近似される。しかしながら、必ずしも二次式で近似される必要はない。図６（ｂ）の関係は、三次式以上の適切な次数の式で近似しているが、これに限らない。また、多項式に限らず適切な数式で近似されてよい。

［第１の実施形態］
図７は、第１の実施形態に係る撮像システムの構成を示す図である。撮像システム１０は、撮像光学系１００と、撮像装置２００とを有している。撮像光学系１００は、撮像装置２００に装着される。撮像光学系１００が撮像装置２００に装着されたときに、撮像光学系１００と撮像装置２００とは通信自在に接続される。このとき、撮像光学系１００は、撮像装置２００の制御に従って動作する。

撮像光学系１００は、光学系防振機構１０２と、ぶれ量検出部１０６と、相関情報記録部１０８とを有している。

光学系防振機構１０２は、被写体からの光束を撮像素子の像面上に結ばせるための光学系を含む。また、光学系防振機構１０２は、防振用光学系１０４を有している。光学系防振機構１０２は、ぶれ量検出部１０６で検出された撮像光学系１００のぶれ量に応じて、光学系防振機構１０２の光軸に直交する面内で防振用光学系１０４を駆動する。防振用光学系１０４によって、被写体からの光束の結像位置を変えることによってぶれが抑制される。

ぶれ量検出部１０６は、例えばジャイロセンサ又は加速度センサであり、撮像光学系１００に発生したぶれ量を検出する。このぶれは、例えば撮像光学系１００に定義される直交３軸周りの角度ぶれ・回転ぶれを含む。また、このぶれは、例えば撮像光学系１００に定義される直交３軸に沿った並進ぶれを含んでいてもよい。

相関情報記録部１０８は、例えばフラッシュメモリである。相関情報記録部１０８には、防振用光学系１０４の駆動量に応じた撮像素子２０２の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子２０２の像面上での歪曲収差の形状との相関関係を示す情報が記録される。例えば、相関関係を示す情報として、例えば防振用光学系の駆動量を撮像素子の駆動量に換算するための係数αを記録しておくことができる。この係数αの詳細については後で説明する。

撮像装置２００は、撮像素子２０２と、記録部２０４と、入力部２０６と、制御部２１０とを有している。

撮像素子２０２は、画素によって構成された像面を有している。画素は、フォトダイオード等の光電変換素子によって構成されており、入射光の量に応じた電荷を生成する。このような構成の撮像素子２０２は、像面に入射した光束に応じた画像信号（撮像画像）を生成する。本実施形態において、撮像素子２０２の方式は、ＣＣＤ方式とＣＭＯＳ方式の何れであってもよい。また、画素の前にカラーフィルタやマイクロレンズが置かれてもよい。

記録部２０４は、撮像装置２００に内蔵された又は撮像装置２００に装着されるメモリである。記録部２０４には、撮影処理の結果として得られた画像ファイルが記録される。

入力部２０６は、例えば撮影者が撮像装置２００に対して各種の指示を行うための操作部材である。入力部２０６は、例えば記録開始釦２０８を含む。記録開始釦２０８は、画像記録開始の指示を撮像装置２００に与えるための操作部材である。なお、入力部２０６は、タッチパネル等のその他の操作部材を有していてもよい。

制御部２１０は、例えばＣＰＵ、ＡＳＩＣといった制御回路として構成されている。制御部２１０は、撮像装置２００の各種の動作を制御する。本実施形態における制御部２１０は、防振用光学系駆動量取得部２１２と、ずれ量換算部２１４と、歪曲収差補正部２１６とを有している。

防振用光学系駆動量取得部２１２は、防振用光学系１０４からその駆動量を取得する。駆動量は、エンコーダ等によって検出される。

ずれ量換算部２１４は、相関情報記録部１０８に記録されている相関関係の情報を用いて、防振用光学系１０４の駆動量を撮像素子２０２の駆動に伴う画像中心と光軸中心とのずれ量に換算する。

歪曲収差補正部２１６は、撮像素子２０２で得られた撮像画像に対して歪曲収差補正を行う。歪曲収差補正は、前述の式（１）に従って行われる。なお、歪曲収差補正部２１６は、歪曲収差補正とともに歪曲収差補正以外の各種の画像処理（ホワイトバランス補正、階調補正等）を行うように構成されていてもよい。

以上のような制御部２１０の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部２１０と別個に設けられていてもよい。さらには、一部の機能は、撮像装置２００とも別個に設けられていてもよい。例えば、防振用光学系駆動量取得部２１２、ずれ量換算部２１４、歪曲収差補正部２１６は、撮像装置２００と通信可能に構成された画像処理装置に設けられていてもよい。この画像処理装置は、撮像機能を有していてもよいし、有していなくてもよい。

以下、第１の実施形態における撮像システム１０の動作を説明する。図８は、第１の実施形態における画像処理方法を含む撮影動作を示すフローチャートである。ここで、図８は、動画撮影動作のフローチャートである。しかしながら、以下の動画撮影動作中に説明する歪曲収差補正は、静止画撮影動作中であっても適用され得る。

図８の動作は、例えば撮影者によって記録開始釦２０８が押されることによって開始される。図８の動作が開始されると、ステップＳ１において、制御部２１０は、撮影動作を開始する。具体的には、制御部２１０は、撮像素子２０２による繰り返し露光動作を開始させる。

ステップＳ２において、ぶれ量検出部１０６は、撮像光学系１００のぶれ量を検出する。ステップＳ３において、光学系防振機構１０２は、ぶれ量検出部１０６で検出された撮像光学系１００のぶれをキャンセルするように防振用光学系１０４を駆動する。これによって、撮像素子２０２の像面上でのぶれ（像ぶれ）が抑制される。

ステップＳ４において、制御部２１０は、防振用光学系駆動量取得部２１２により、防振用光学系１０４の駆動量を取得する。

ステップＳ５において、制御部２１０は、ずれ量換算部２１４により、相関情報記録部１０８に記録されている相関関係の情報を用いて、防振用光学系１０４の駆動量を撮像素子２０２の駆動に伴う画像中心と光軸中心とのずれ量に換算する。以下、この換算されたずれ量を換算中心ずれ量と記す。換算中心ずれ量は、例えば、像面上での歪曲収差の形状が類似している防振用光学系の駆動量と撮像素子の駆動量との相関関係が線形であれば、防振用光学系の駆動量に係数α（画像中心と光軸中心とのずれ量に伴う歪曲収差形状と防振用光学系の駆動に伴う歪曲収差形状との相関を示す値）を乗算することで算出される。

係数αは、防振用光学系１０４を任意の量だけ駆動したときの像面上での歪曲収差形状が画像中心と光軸中心とがどの程度ずれた（撮像素子２０２をどの程度駆動した）ときの歪曲収差形状と最も類似しているか（相関関係）を探索し、その関係を例えば線形近似することで決定される。ここで、相関関係の探索は、目視によって行われてもよいし、以下で示すような計算を用いて行われてもよい。

まず、図９（ａ）に示すような格子模様の被写体ＯＦを撮像することを想定する。本来歪曲収差は光軸を中心に点対称に発生するため、格子模様の被写体ＯＦが撮影された場合には、撮像画像の中心線（画像中心ＰＯを通る線）は図９（ａ）に示すように直線になる。

また、図９（ｂ）のようにぶれ抑制のために撮像素子２０２が駆動されると、前述したように像面上での歪曲収差の形状が変化する。この場合、撮像画像の中心線は曲がってしまう。ただし、撮像素子２０２の駆動の場合の歪曲収差の形状変化は画像中心と光軸のずれによるものだけである。したがって、図９（ｂ）のように、本来の光軸中心（収差の発生中心）がある撮像画像上の点Ｐ１を通る線は直線になる。

さらに、図９（ｃ）のようにぶれ抑制のために防振用光学系１０４が駆動されたときも、前述したように像面上での歪曲収差の形状が変化する。この場合、撮像画像の中心線は曲がってしまう。画像中心と光軸とのずれによる歪曲収差形状の変化と防振用光学系の駆動（偏心）による歪曲収差形状の変化とは異なる原理に基づいて発生する。前述した通り、画像中心と光軸とのずれによる歪曲収差形状の変化と防振用光学系の駆動（偏心）による歪曲収差形状の変化とには相関がある。すなわち、防振用光学系の駆動（偏心）によって歪曲収差形状が変化したとしても、撮像された格子が直線になる点は存在する（図９（ｃ）の点Ｐ３）。

このように、画像中心ＰＯと格子が直線に撮像される点Ｐ３とのずれ量を仮の画像中心と光軸とのずれ量として扱えば、防振用光学系の駆動に伴って変形する歪曲収差の形状を画像中心と光軸中心とのずれに伴って変形する歪曲収差の形状で近似できることになる。しかしながら、図９（ｃ）に示すように、撮像された格子が直線になる点は、防振用光学系の駆動前の像面と光軸の交点（図９（ｃ）の点Ｐ２）と対応していない場合が多い。このため、格子が直線に撮像される点の座標を、防振用光学系の駆動量から単純計算することはできない。したがって、以下のような手順で防振用光学系が駆動されたときに、撮像された格子が直線になる点の座標を探索する。
（手順１）図１０に示すような、撮像装置２００によって格子模様の被写体ＯＦを撮像する測定系を考える。このような測定系において、撮像システム１０（撮像光学系１００が装着された状態の撮像装置２００）を任意の量だけシフトさせる（任意のぶれを与える）。そして、このシフトによる像ぶれが補正されるように防振用光学系１０４を駆動する。この状態で撮像装置２００によって格子模様の被写体ＯＦを撮像する。
（手順２）図１１に示すように、同一ライン上にある点と点の間の傾き１−４を撮像画像から探索する。探索の後、傾き１−４のうちで値が0になるもの（すなわち撮像された格子が直線になっている点）を例えば回帰計算等によって推定する。例えば、傾き１−４の値が図１２に示すようにして得られたとすると、中心点から横方向0mm高さ方向2.42mmの位置に撮像された格子が直線になる点があると推定される。ここでは、回帰計算等による推定で傾きが0になる点の座標が求められている。傾きが0になる点の座標の求め方は回帰計算には限らない。例えば、格子模様をより細かくしておくことにより、傾きをより密に求めることが可能である。この場合、傾きが最も0に近づく点の座標を求めることで回帰計算等の代わりにすることができる。
（手順３）（手順１）及び（手順２）を撮像システム１０のシフト量を変えながら任意の回数だけ繰り返す。そして、図１３に示すように防振用光学系の駆動量（撮像素子の駆動量に比例）と撮像された格子が直線になる点の高さ（像高）をプロットする。このプロットした点を線形近似することで、その直線の傾きが係数αになる。

（手順１）−（手順３）では、実際の撮像画像で行われることが想定されている。これに限らず、光線追跡等を用いたシミュレーションで係数αが算出されてもよい。また、（手順１）及び（手順２）は繰り返されるものであるとして説明している。これに限らず、（手順１）及び（手順２）を１度だけ行って係数αが算出されてもよい。また、撮像素子の駆動量は、式（２）より、防振用光学系の駆動量で表すことができる。このため、撮像素子２０２の駆動量と撮像された格子が直線になる点の高さとの関係から、係数αが算出されてもよい。この場合、像面移動量感度が１でなくても相関関係の情報を記録しておくことができる。

ここで、図８の説明に戻る。ステップＳ６において、制御部２１０は、ステップＳ５において得られた換算中心ずれ量を歪曲収差補正部２１６に入力し、撮像画像に対する歪曲収差補正を行う。例えば、歪曲収差補正部２１６は、換算中心ずれ量を画像中心と光軸とのずれ量として式（１）に基づく歪曲収差補正を行う。その後、制御部２１０は、必要に応じて歪曲収差補正以外の補正を行ってから、撮像画像を記録部２０４に記録する。

ステップＳ７において、制御部２１０は、撮影動作を終了するか否かを判定する。例えば、撮影者によって記録開始釦が再び押された又は撮像装置２００の電源がオフされたときには、撮影動作を終了すると判定される。ステップＳ７において、撮影動作を終了しないと判定されたときには、処理はステップＳ２に戻る。この場合、撮影動作は継続される。ステップＳ７において、撮影動作を終了すると判定されたときには、図８の処理は終了する。

以上説明したように本実施形態では、防振用光学系の駆動量に応じた撮像素子の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子の像面上での歪曲収差の形状との相関関係を示す情報が記録部に記録されている。そして、この相関関係を示す情報に基づいて防振用光学系の駆動量は画像中心と光軸中心のずれ量に換算され、この換算されたずれ量に基づいて光軸中心に点対称に発生する歪曲収差に対する補正と同様の歪曲収差補正が行われる。これにより、近似的ではあるが単純な構成で精度よく、防振用光学系の偏心による像面上での歪曲収差の変形を考慮した歪曲収差補正をすることが可能である。

ここで、図８では、必ずぶれの抑制が行われるようになっている。ぶれの検出及び抑制は、撮影者の指示に従って開始されるものであってもよい。また、撮影動作の開始前（例えばスルー画表示のとき）に実施されてもよい。

また、相関情報記録部１０８は、必ずしも撮像光学系１００に設けられている必要はない。相関情報記録部１０８は、例えば撮像装置２００に設けられていてもよい。また、相関情報記録部１０８は、撮像光学系１００及び撮像装置２００とは別個のサーバ等に設けられていてもよい。

［第２の実施形態］
次に、第２の実施形態について説明する。図１４は、第２の実施形態に係る撮像システムの構成を示す図である。本実施形態において、撮像装置２００は、撮像光学系１００と、撮像素子防振機構２１８と、記録部２０４と、入力部２０６と、制御部２１０とを有している。このうち、記録部２０４と、入力部２０６とは、第１の実施形態で説明したものと同一のものである。したがって、これらについては図７と同一の参照符号を付すことで説明を省略する。

第２の実施形態において、撮像光学系１００は、撮像装置２００と一体的に設けられている。第２の実施形態における撮像光学系１００の基本的な構成は、第１の実施形態で説明したものと同様である。

撮像素子防振機構２１８は、像面と平行な方向に駆動可能に構成された撮像素子２０２を有している。さらに、撮像素子防振機構２１８は、ぶれ量検出部２２０を有している。ぶれ量検出部２２０は、例えばジャイロセンサ又は加速度センサであり、撮像素子２０２に発生したぶれ量を検出する。撮像素子防振機構２１８は、ぶれ量検出部２２０で検出されたぶれ量に基づいて撮像素子２０２を駆動することによって像ぶれを抑制する。

第２の実施形態における制御部２１０は、防振用光学系駆動量取得部２１２と、ずれ量換算部２１４と、歪曲収差補正部２１６に加えて、撮像素子駆動量取得部２２２を有している。

第２の実施形態におけるずれ量換算部２１４は、相関情報記録部２２４を有している。相関情報記録部２２４は、相関情報記録部１０８と対応するものである。相関情報記録部２２４には、防振用光学系１０４の駆動量に応じた撮像素子２０２の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子２０２の像面上での歪曲収差の形状との相関関係を示す情報が記録される。

撮像素子駆動量取得部２２２は、撮像素子防振機構２１８から撮像素子２０２の駆動量を取得する。

以下、第２の実施形態における撮像システム１０の動作を説明する。図１５は、第２の実施形態における撮影動作を示すフローチャートである。ここで、図１５は、動画撮影動作のフローチャートである。しかしながら、以下の動画撮影動作中に説明する歪曲収差補正は、静止画撮影動作中であっても適用され得る。また、図１５の動作において、第１の実施形態と同一の動作については、図８と同一のステップ符号を付すことで説明を適宜省略する。

図１５のステップＳ１−Ｓ４の動作は、図８のステップＳ１−Ｓ４の動作と同様であるので説明を省略する。

ステップＳ５において、制御部２１０は、ずれ量換算部２１４により、換算中心ずれ量を算出する。換算中心ずれ量の算出は、例えば第１の実施形態と同様に行われてよい。また、前述したように、相関関係の情報は、二次以上の多項式による近似式であってもよい。このような近似式は、例えば以下のような手順で得られる。
（手順１） 撮像装置２００を任意の量だけシフトさせる（任意のぶれを与える）。そして、このシフトによる像ぶれが補正されるように防振用光学系１０４を駆動する。この状態で撮像装置２００によって格子模様の被写体ＯＦを撮像する。このような撮像を撮像装置２００のシフト量を変更しながら任意の回数だけ行う。例えば、撮像装置２００を0mm〜1mmまでの範囲で0.1mmずつシフトさせながら、１１回の撮像を行う。
（手順２） 撮像装置２００を（手順１）と同じだけシフトさせる。そして、このシフトによる像ぶれが補正されるように撮像素子２０２を駆動する。この状態で撮像装置２００によって格子模様の被写体ＯＦを撮像する。このような撮像を撮像装置２００のシフト量を変更しながら（手順１）と同じ回数だけ行う。例えば、撮像装置２００を0mm〜1mmまでの範囲で0.1mmずつシフトさせながら、１１回の撮像を行う。
（手順３） 図１６に示すように、（手順１）及び（手順２）で取得された各撮像画像の格子点の位置を取得する。格子点の位置は、目視等で取得されてもよいし、パターンマッチング等の公知の技術を用いて自動的に取得されてもよい。
（手順４） 防振用光学系１０４を任意の量だけ駆動させた撮像画像内の格子点の座標位置と撮像素子２０２を任意の量だけ駆動させた撮像画像内の格子点の座標位置とのユークリッド距離の総和を算出する。そして、この総和を最も小さくする防振用光学系１０４の駆動量と撮像素子２０２の駆動量との組み合わせを求める。この組み合わせは、像面上の歪曲収差の形状が最も似ている駆動量の組み合わせである。なお、ここでは座標点のユークリッド距離の総和から防振用光学系の駆動に伴う像面上での歪曲収差形状と撮像素子の駆動に伴う像面上での歪曲収差の形状との相関を算出している。これに対し、相関は、撮像画像自体のユークリッド距離を算出することで求められてもよい。また、相関は、撮像画像全体の座標点のユークリッド距離からではなく、例えば中心線だけといった撮像画像の一部におけるユークリッド距離から算出されてもよい。
（手順５） 図１７に示すように、（手順４）で求められた防振用光学系１０４の駆動量と撮像素子２０２の駆動量との関係をプロットする。このプロットした点から最小二乗法等の公知の手法を用いて近似式を算出する。

ここで、図１５の説明に戻る。ステップＳ８において、ぶれ量検出部２２０は、撮像装置２００のぶれ量を検出する。ステップＳ９において、撮像素子防振機構２１８は、ぶれ量検出部２２０で検出された撮像素子２０２のぶれをキャンセルするように撮像素子２０２を駆動する。これによって、撮像素子２０２の像面上でのぶれ（像ぶれ）が抑制される。ステップＳ１０において、制御部２１０は、撮像素子２０２の駆動量を取得する。

本実施形態では、ステップＳ４において防振用光学系１０４も駆動される。したがって、像ぶれの補正量は、防振用光学系１０４の駆動量と撮像素子２０２の駆動量とを合わせたものになっている。この際のそれぞれの駆動量の割合は例えば予め設定されているものとする。例えば、駆動割合が１：１であれば、検出されたぶれ量に対して防振用光学系１０４の駆動量と撮像素子２０２の駆動量は５０％ずつになる。この割合は、ぶれの周波数によって決定されてもよい。例えば、光学系防振機構１０２が防振用光学系１０４を高精度に駆動でき、撮像素子防振機構２１８が撮像素子２０２を高精度に駆動できないように構成されているとき、高周波のぶれについては防振用光学系１０４の駆動によって補正し、低周波のぶれについては撮像素子２０２の駆動によって補正するように構成することもできる。

ステップＳ６において、制御部２１０は、ステップＳ５において得られた換算中心ずれ量を歪曲収差補正部２１６に入力し、撮像画像に対する歪曲収差補正を行う。例えば、歪曲収差補正部２１６は、換算中心ずれ量と撮像素子２０２の駆動による画像中心と光軸とのずれ量とを合わせた値を画像中心と光軸とのずれ量として式（１）に基づく歪曲収差補正を行う。その後、制御部２１０は、必要に応じて歪曲収差補正以外の補正を行ってから、撮像画像を記録部２０４に記録する。

ステップＳ７において、制御部２１０は、撮影動作を終了するか否かを判定する。例えば、ステップＳ７において、撮影動作を終了しないと判定されたときには、処理はステップＳ２に戻る。この場合、撮影動作は継続される。ステップＳ７において、撮影動作を終了すると判定されたときには、図１５の処理は終了する。

以上説明したように本実施形態においても、単純な構成で精度よく、防振用光学系の偏心による像面上での歪曲収差の変形を考慮した歪曲収差補正をすることが可能である。

また、第２の実施形態では防振用光学系の駆動と撮像素子の駆動の両方を用いてぶれの抑制が行われる。このため、何れかを単独で用いた場合よりも抑制可能なぶれの大きさを大きくすることが可能である。また、防振用光学系の駆動の精度と撮像素子の駆動の精度とを異ならせることにより、ぶれの周波数に応じたぶれの抑制を行うことができる。

ここで、本実施形態の撮像装置２００は、撮像光学系１００のぶれ量を検出するぶれ量検出部１０６と撮像素子２０２のぶれ量を検出するぶれ量検出部２２０の２つのぶれ量検出部を有している。これに対し、撮像光学系１００と撮像素子２０２とはともに撮像装置２００の内部に設けられていることから、撮像装置２００は１つのぶれ量検出部を有するものであってもよい。この場合、撮像光学系１００のぶれ量と撮像素子２０２のぶれ量の何れかを他方と同一であるとみなして駆動が行われる。なお、１つのぶれ量検出部で検出されたぶれ量から必要な箇所のぶれ量を推定する回路が別途に設けられていてもよい。

また、図１５では、必ずぶれの抑制が行われるようになっている。ぶれの検出及び抑制は、撮影者の指示に従って開始されるものであってもよい。また、撮影動作の開始前（例えばスルー画表示のとき）に実施されてもよい。

また、図１５では、防振用光学系１０４の駆動と撮像素子２０２の駆動とは順次に行われている。これに対し、防振用光学系１０４の駆動と撮像素子２０２の駆動とは並列に行われてもよい。

また、相関情報記録部２２４は、必ずしもずれ量換算部２１４に設けられている必要はない。相関情報記録部２２４は、制御部２１０とは別個に設けられていてもよい。また、相関情報記録部２２４は、撮像光学系１００及び撮像装置２００とは別個のサーバ等に設けられていてもよい。

［第３の実施形態］
次に、第３の実施形態について説明する。図１８は、第３の実施形態に係る撮像システムの構成を示す図である。本実施形態において、撮像装置２００は、撮像光学系１００と、撮像素子２０２と、記録部２０４と、入力部２０６と、制御部２１０と、ぶれ量検出部２２５とを有している。このうち、記録部２０４と、入力部２０６とは、第１の実施形態で説明したものと同一のものである。したがって、これらについては図７と同一の参照符号を付すことで説明を省略する。

ぶれ量検出部２２５は、例えばジャイロセンサ又は加速度センサであり、撮像装置２００の筐体に発生したぶれ量を検出する。

さらに、第３の実施形態における制御部２１０は、防振用光学系駆動量取得部２１２と、ずれ量換算部２１４と、歪曲収差補正部２１６に加えて、防振量決定部２２６と、切出範囲取得部２２８と、電子防振部２３０とを有している。

また、第３の実施形態における制御部２１０は、ずれ量換算部２１４とは別の場所に相関情報記録部２２４を有している。相関情報記録部２２４は、第２の実施形態と同様に相関情報記録部１０８と対応するものである。相関情報記録部２２４には、防振用光学系１０４の駆動量に応じた撮像素子２０２の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子２０２の像面上での歪曲収差の形状との相関関係を示す情報が記録される。

防振量決定部２２６は、ぶれ量検出部２２５で検出されたぶれ量に基づいて、防振用光学系１０４の駆動量と電子防振部２３０による切り出し範囲とのそれぞれを決定する。

切出範囲取得部２２８は、防振量決定部２２６から電子防振部２３０による切り出し範囲を取得する。

電子防振部２３０は、防振量決定部２２６で決定された切り出し範囲に従って撮像画像の一部の領域を切り出すことによって像ぶれを抑制する。

以下、第３の実施形態における撮像システム１０の動作を説明する。図１９は、第３の実施形態における撮影動作を示すフローチャートである。ここで、図１９は、動画撮影動作のフローチャートである。しかしながら、以下の動画撮影動作中に説明する歪曲収差補正は、静止画撮影動作中であっても適用され得る。また、図１９の動作において、第１の実施形態と同一の動作については、図８と同一のステップ符号を付すことで説明を適宜省略する。

図１９のステップＳ１−Ｓ２の動作は、図８のステップＳ１−Ｓ２の動作と同様であるので説明を省略する。図１９においては、ステップＳ２においてぶれ量が検出された後でステップＳ１１の処理が行われる。

ステップＳ１１において、制御部２１０は、ぶれ量検出部２２５で検出されたぶれ量に基づいて、防振量決定部２２６により、防振用光学系１０４の駆動量と電子防振部２３０による切り出し範囲とのそれぞれを決定する。この際の防振用光学系１０４の駆動によるぶれ抑制と電子防振部２３０の処理によるぶれ抑制との割合は例えば予め設定されているものとする。例えば、割合が１：１であれば、検出されたぶれ量に対して防振用光学系１０４の駆動によるぶれ抑制と電子防振部２３０の処理によるぶれ抑制と割合は５０％ずつになる。

図１９のステップＳ３−Ｓ４の動作は、図８のステップＳ３−Ｓ４の動作と同様であるので説明を省略する。

ステップＳ５において、制御部２１０は、ずれ量換算部２１４により、換算中心ずれ量を算出する。換算中心ずれ量の算出は、例えば第１の実施形態と同様に行われてよい。ここで、ステップＳ５における換算中心ずれ量の算出は、例えば第１の実施形態と同様に行われてよい。また、換算中心ずれ量は、予め相関情報記録部２２４に記録しておいた防振用光学系の駆動量に基づく像面上の歪曲収差形状と画像中心と光軸中心とのずれ量に基づく像面上の歪曲収差の形状との相関関係を示す図２０に示すようなテーブルに基づいて算出されてもよい。

図２０に示すテーブルの作成に際しての相関関係の算出の仕方は、第１の実施形態又は第２の実施形態の（手順１）−（手順５）に準じている。テーブルにない防振用光学系１０４の駆動量についての換算中心ずれ量を求める場合には、ずれ量換算部２１４は、例えば相関情報記録部２２４に記録されている情報の中で最も近い駆動量を参照して換算中心ずれ量を求めるものであってもよい。この場合、例えば、防振用光学系１０４の駆動量が0.12[mm]である場合には、ずれ量換算部２１４は、駆動量0.1[mm]に対応した換算中心ずれ量である0.3[mm]を用いる。また、ずれ量換算部２１４は、相関情報記録部２２４に記録されている情報の中で現在の駆動量と近い複数の駆動量を用いた線形補間等によって換算中心ずれ量を求めるものであってもよい。この場合、例えば、防振用光学系１０４の駆動量が0.12[mm]である場合には、ずれ量換算部２１４は、駆動量0.1[mm]の換算中心ずれ量と駆動量0.2[mm]の換算中心ずれ量との線形補間によって換算中心ずれ量を求める。

ここで、図１９の説明に戻る。ステップＳ１２において、電子防振部２３０は、決定された切り出し範囲を設定する。ステップＳ１３において、電子防振部２３０は、設定した切り出し範囲に従って撮像画像の切り出しを行う。ぶれをキャンセルするように切り出し範囲がシフトされるので、撮像素子２０２の像面上でのぶれ（像ぶれ）が抑制される。

ステップＳ６において、制御部２１０は、ステップＳ５において得られた換算中心ずれ量を歪曲収差補正部２１６に入力し、撮像画像に対する歪曲収差補正を行う。例えば、歪曲収差補正部２１６は、換算中心ずれ量と撮像素子２０２の駆動による画像中心と光軸とのずれ量とを合わせた値を画像中心と光軸とのずれ量として式（１）に基づく歪曲収差補正を行う。その後、制御部２１０は、必要に応じて歪曲収差補正以外の補正を行ってから、撮像画像を記録部２０４に記録する。

ステップＳ７において、制御部２１０は、撮影動作を終了するか否かを判定する。例えば、ステップＳ７において、撮影動作を終了しないと判定されたときには、処理はステップＳ２に戻る。この場合、撮影動作は継続される。ステップＳ７において、撮影動作を終了すると判定されたときには、図１９の処理は終了する。

以上説明したように本実施形態においても、単純な構成で精度よく、防振用光学系の偏心による像面上での歪曲収差の変形を考慮した歪曲収差補正をすることが可能である。

また、第３の実施形態では防振用光学系の駆動と電子防振の両方を用いてぶれの抑制が行われる。このため、何れかを単独で用いた場合よりも抑制可能なぶれの大きさを大きくすることが可能である。

ここで、本実施形態の撮像装置２００は、１つのぶれ量検出部２２５のみを有している。ぶれ量検出部２２５は、ぶれ量検出部１０６とぶれ量検出部２２０の何れかであってもよい。また、撮像装置２００は、ぶれ量検出部２２５に加えて、ぶれ量検出部１０６とぶれ量検出部２２０の何れか又は両方を有していてもよい。また、１つのぶれ量検出部で検出されたぶれ量から必要な箇所のぶれ量を推定する回路が別途に設けられていてもよい。

また、図１９では、必ずぶれの抑制が行われるようになっている。ぶれの検出及び抑制は、撮影者の指示に従って開始されるものであってもよい。また、撮影動作の開始前（例えばスルー画表示のとき）に実施されてもよい。

また、図１９では、防振用光学系１０４の駆動と電子防振とは順次に行われている。これに対し、防振用光学系１０４の駆動と電子防振とは並列に行われてもよい。

また、相関情報記録部２２４は、ずれ量換算部２１４に設けられていてもよい。相関情報記録部２２４は、制御部２１０とは別個に設けられていてもよい。また、相関情報記録部２２４は、撮像光学系１００及び撮像装置２００とは別個のサーバ等に設けられていてもよい。

［第４の実施形態］
次に、第４の実施形態について説明する。図２１は、第４の実施形態に係る撮像システムの構成を示す図である。本実施形態において、撮像装置２００は、第１の実施形態と同様に、撮像装置２００に装着可能な撮像光学系１００を有している。

撮像光学系１００は、光学系防振機構１０２と、光学状態変更部１１０とを有している。

光学系防振機構１０２は、被写体からの光束を撮像素子の像面上に結ばせるための光学系を含む。また、光学系防振機構１０２は、防振用光学系１０４を有している。本実施形態においては、光学系防振機構１０２は、撮像装置２００のぶれ量検出部２２５で検出されたぶれ量に応じて防振用光学系１０４を駆動する。

光学状態変更部１１０は、撮像光学系１００の光学状態（例えば焦点位置及び焦点距離）を変更する。光学状態変更部１１０は、例えば光軸方向に駆動されることによって撮像光学系１００の焦点位置を調整する合焦光学系及び光軸方向に駆動されることによって撮像光学系１００の焦点距離を調整する変倍光学系を含む。

撮像装置２００は、撮像素子防振機構２１８と、記録部２０４と、入力部２０６と、制御部２１０と、ぶれ量検出部２２５とを有している。このうち、記録部２０４と、入力部２０６とは、第１の実施形態で説明したものと同一のものである。したがって、これらについては図７と同一の参照符号を付すことで説明を省略する。

撮像素子防振機構２１８は、像面と平行な方向に駆動可能に構成された撮像素子２０２を有している。本実施形態においては、撮像素子防振機構２１８は、ぶれ量検出部２２５で検出されたぶれ量に応じて撮像素子２０２を駆動する。

第４の実施形態における制御部２１０は、防振用光学系駆動量取得部２１２と、ずれ量換算部２１４と、歪曲収差補正部２１６と、撮像素子駆動量取得部２２２と、切出範囲取得部２２８と、電子防振部２３０とを有している。ここで、防振用光学系駆動量取得部２１２と、ずれ量換算部２１４と、歪曲収差補正部２１６と、撮像素子駆動量取得部２２２と、切出範囲取得部２２８と、電子防振部２３０とは、第２又は第３の実施形態で説明したものと同一のものである。したがって、これらについては、図１４又は図１８と同一の参照符号を付すことで説明を省略する。

また、第４の実施形態における制御部２１０は、ずれ量換算部２１４とは別の場所に相関情報記録部２２４を有している。相関情報記録部２２４は、第２の実施形態と同様に相関情報記録部１０８と対応するものである。相関情報記録部２２４には、防振用光学系１０４の駆動量に応じた撮像素子２０２の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子２０２の像面上での歪曲収差の形状との相関関係を示す情報が記録される。本実施形態においては、相関関係を示す情報は、光学状態毎に記録される。詳細は後で説明する。

以下、第４の実施形態における撮像システム１０の動作を説明する。図２２は、第４の実施形態における撮影動作を示すフローチャートである。ここで、図２２は、動画撮影動作のフローチャートである。しかしながら、以下の動画撮影動作中に説明する歪曲収差補正は、静止画撮影動作中であっても適用され得る。また、図２２の動作において、第１−第３の実施形態と同一の動作については、図８、図１５又は図１９と同一のステップ符号を付すことで説明を適宜省略する。

図２２のステップＳ１−Ｓ４の動作は、図８のステップＳ１−Ｓ４の動作と同様であるので説明を省略する。第４の実施形態においては、ステップＳ４の後でステップＳ１４の動作が行われる。ステップＳ１４において、制御部２１０は、光学状態変更部１１０から撮像光学系１００の光学状態（例えば焦点位置及び焦点距離）を取得する。

ステップＳ５において、制御部２１０は、光学状態変更部１１０から取得した撮像光学系１００の光学状態をずれ量換算部２１４に入力し、換算中心ずれ量を算出する。換算中心ずれ量の算出は、例えば第１の実施形態と同様に行われてよい。ただし、第４の実施形態においては、光学状態に応じて換算中心ずれ量が算出される。この場合、ずれ量換算部２１４は、例えば図２３に示すような光学状態と係数αとが対応付けられたテーブルから光学状態に応じた係数αを取得する。

図２３のテーブルの作成に際しての相関関係の算出の仕方は、第１の実施形態又は第２の実施形態の（手順１）−（手順５）に準じている。ただし、撮像システム１０のシフト量だけでなく光学状態も変えながら相関関係を算出していく点が第１の実施形態又は第２の実施形態の（手順１）−（手順５）とは異なる。図２３では、ある程度に間引かれた光学状態における係数αのみが記録されている。どの程度の数の係数αを記録するかは例えば相関情報記録部２２４の記録容量等に応じて適宜設定され得る。相関情報記録部２２４の記録容量が許せば、例えば、焦点位置又は焦点距離を0.1mm刻みにして係数αを記録するようにしてもよい。

また、テーブルにない光学状態についての換算中心ずれ量を求める場合には、ずれ量換算部２１４は、例えば焦点位置X及び焦点距離Yと係数αとの関係を示す近似式から任意の光学状態のαを取得する。また、第３の実施形態と同様に、ずれ量換算部２１４は、例えば相関情報記録部２２４に記録されている情報の中で最も近い光学状態を参照して換算中心ずれ量を求めるものであってもよい。この場合、例えば、焦点距離が11mmで焦点位置が無限に近い中間である場合には、ずれ量換算部２１４は、焦点位置が無限で焦点距離が10mmの状態のαを用いる。また、ずれ量換算部２１４は、相関情報記録部２２４に記録されている情報の中で現在の光学状態と近い複数の光学状態を用いた線形補間等によって換算中心ずれ量を求めるものであってもよい。例えば、焦点距離が15mmで焦点位置が中間と至近の間である場合には、ずれ量換算部２１４は、焦点距離が10mmで焦点位置が至近の係数α₁₀_near、焦点距離が10mmで焦点位置が中間の係数α₁₀_middle、焦点距離が20mmで焦点位置が至近の係数α₂₀_near及び焦点距離が20mmで焦点位置が中間の係数α₂₀_middleの４つを用いた線形補間によって換算中心ずれ量（係数α）を求める。

図２２のステップＳ９−Ｓ１０の動作は図１５のステップＳ９−Ｓ１０の動作と同様であり、図２２のステップＳ１２−Ｓ１３の動作は図１９のステップＳ１２−Ｓ１３の動作と同様であるので説明を省略する。なお、本実施形態においては、像ぶれの補正量は、防振用光学系１０４の駆動量と、撮像素子２０２の駆動量と、電子防振によるシフト量とを合わせたものになっている。この際のそれぞれの駆動量の割合は例えば予め設定されているものとする。例えば、駆動割合が１：１：１であれば、検出されたぶれ量に対して防振用光学系１０４の駆動量と、撮像素子２０２の駆動量と、電子防振によるシフト量は３３％ずつになる。

ステップＳ６において、制御部２１０は、ステップＳ５において得られた換算中心ずれ量を歪曲収差補正部２１６に入力し、撮像画像に対する歪曲収差補正を行う。例えば、歪曲収差補正部２１６は、換算中心ずれ量と撮像素子２０２の駆動による画像中心と光軸とのずれ量とを合わせた値を画像中心と光軸とのずれ量として式（１）に基づく歪曲収差補正を行う。その後、制御部２１０は、必要に応じて歪曲収差補正以外の補正を行ってから、撮像画像を記録部２０４に記録する。

ステップＳ７において、制御部２１０は、撮影動作を終了するか否かを判定する。例えば、ステップＳ７において、撮影動作を終了しないと判定されたときには、処理はステップＳ２に戻る。この場合、撮影動作は継続される。ステップＳ７において、撮影動作を終了すると判定されたときには、図２２の処理は終了する。

以上説明したように本実施形態においても、単純な構成で精度よく、防振用光学系の偏心による像面上での歪曲収差の変形を考慮した歪曲収差補正をすることが可能である。また、防振用光学系の駆動量に応じた撮像素子の像面上での歪曲収差の形状と、画像中心と光軸中心とのずれに応じた撮像素子の像面上での歪曲収差の形状との相関関係は、撮像光学系の光学状態によっても変わり得るものである。本実施形態では、撮像光学系の光学状態に応じた歪曲収差の変形も考慮して歪曲収差補正をすることが可能である。

また、第４の実施形態では防振用光学系の駆動と、撮像素子の駆動と、電子防振とを用いてぶれの抑制が行われる。このため、何れかを単独で用いた場合よりも抑制可能なぶれの大きさを大きくすることが可能である。

ここで、本実施形態の撮像装置２００は、１つのぶれ量検出部２２５のみを有している。ぶれ量検出部２２５は、ぶれ量検出部１０６とぶれ量検出部２２０の何れかであってもよい。また、撮像装置２００は、ぶれ量検出部２２５に加えて、ぶれ量検出部１０６とぶれ量検出部２２０の何れか又は両方を有していてもよい。また、１つのぶれ量検出部で検出されたぶれ量から必要な箇所のぶれ量を推定する回路が別途に設けられていてもよい。

また、図２２では、必ずぶれの抑制が行われるようになっている。ぶれの検出及び抑制は、撮影者の指示に従って開始されるものであってもよい。また、撮影動作の開始前（例えばスルー画表示のとき）に実施されてもよい。

また、図２２では、防振用光学系１０４の駆動と、撮像素子の駆動と、電子防振とは順次に行われている。これに対し、防振用光学系１０４の駆動と、撮像素子の駆動と、電子防振とは並列に行われてもよい。

また、相関情報記録部２２４は、ずれ量換算部２１４に設けられていてもよい。相関情報記録部２２４は、制御部２１０とは別個に設けられていてもよい。また、相関情報記録部２２４は、撮像光学系１００及び撮像装置２００とは別個のサーバ等に設けられていてもよい。

以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、前述した実施形態による各処理は、コンピュータとしてのＣＰＵ等に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ等は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

１０ 撮像システム、１００ 撮像光学系、１０２ 光学系防振機構、１０４ 防振用光学系、１０６ ぶれ量検出部、１０８ 相関情報記録部、１１０ 光学状態変更部、２００ 撮像装置、２０２ 撮像素子、２０４ 記録部、２０６ 入力部、２０８ 記録開始釦、２１０ 制御部、２１２ 防振用光学系駆動量取得部、２１４ ずれ量換算部、２１６ 歪曲収差補正部、２１８ 撮像素子防振機構、２２０ ぶれ量検出部、２２２ 撮像素子駆動量取得部、２２４ 相関情報記録部、２２５ ぶれ量検出部、２２６ 防振量決定部、２２８ 切出範囲取得部、２３０ 電子防振部。

Claims (13)

1. 撮像素子の像面上での像ぶれに応じて駆動される防振用光学系を有する撮像光学系によって前記像面に結像された像に基づく撮像画像を処理する画像処理装置であって、
   前記撮像光学系の光軸に対して直交する方向の前記防振用光学系の駆動量を取得する防振用光学系駆動量取得部と、
   前記光軸と前記撮像画像の画像中心とのずれ量を用いて、前記ずれ量に基づく前記像面上での歪曲収差の補正を前記撮像画像に対して行う歪曲収差補正部と、
   前記防振用光学系の駆動量に応じた前記像面上での歪曲収差の形状と、前記ずれ量に応じた前記像面上での歪曲収差の形状との相関関係に基づいて、前記防振用光学系駆動量取得部で取得された駆動量と対応する前記ずれ量を換算中心ずれ量として算出するずれ量換算部と、
   を備え、
   前記歪曲収差補正部は、前記ずれ量として前記換算中心ずれ量を用いて前記歪曲収差の補正を行う
   画像処理装置。
2. 前記ずれ量換算部は、前記防振用光学系の駆動量に対し所定の係数を乗算することにより、前記換算中心ずれ量を算出する
   請求項１に記載の画像処理装置。
3. 前記ずれ量換算部は、前記防振用光学系の駆動量と前記換算中心ずれ量との関係を近似する近似式に基づいて、前記換算中心ずれ量を算出する
   請求項１に記載の画像処理装置。
4. 前記ずれ量換算部は、前記防振用光学系の駆動量と前記換算中心ずれ量との関係を示すテーブルに基づいて、前記換算中心ずれ量を算出する
   請求項１に記載の画像処理装置。
5. 前記ずれ量換算部は、前記撮像光学系の光学状態に応じた前記換算中心ずれ量を算出し、
   前記歪曲収差補正部は、前記撮像光学系の光学状態に応じた前記換算中心ずれ量を用いて前記歪曲収差の補正を行う
   請求項１に記載の画像処理装置。
6. 前記像面上での像ぶれに応じて前記撮像画像の切り出し範囲を変更する電子式防振部と、
   前記電子式防振部による前記撮像画像の切り出し範囲の変更量を取得する電子式防振切り出し範囲変更量取得部と、
   をさらに備え、
   前記歪曲収差補正部は、前記換算中心ずれ量と前記切り出し範囲の変更量とを用いて前記歪曲収差の補正を行う
   請求項１に記載の画像処理装置。
7. 請求項１に記載の画像処理装置と、
   前記撮像光学系により結像された像を撮像する前記撮像素子と、
   を備える撮像装置。
8. 前記像面上での像ぶれに応じて前記撮像素子を駆動する撮像素子防振部と、
   前記撮像素子の駆動量を取得する撮像素子駆動量取得部と、
   さらに備え、
   前記歪曲収差補正部は、さらに前記撮像素子の駆動量を用いて前記歪曲収差の補正を行う
   請求項７に記載の撮像装置。
9. 前記像面上での像ぶれに応じて前記撮像画像の切り出し範囲を変更する電子式防振部と、
   前記電子式防振部による撮像画像の切り出し範囲の変更量を取得する電子式防振切り出し範囲変更量取得部と、
   をさらに備え、
   前記歪曲収差補正部は、さらに前記切り出し範囲の変更量を用いて前記歪曲収差の補正を行う
   請求項７又は８に記載の撮像装置。
10. 前記防振用光学系を有する撮像光学系と、
    前記像面上での像ぶれに応じて前記防振用光学系を駆動する光学防振部と、
    をさらに備える
    請求項７乃至９の何れか１項に記載の撮像装置。
11. 前記撮像素子又は前記撮像光学系のぶれ量を検出するぶれ量検出部をさらに備え、
    前記防振用光学系駆動量取得部は、前記ぶれ量検出部で検出された前記ぶれ量に基づいて算出された前記防振用光学系の駆動量を取得する
    請求項１０に記載の撮像装置。
12. 前記相関関係に関する情報が記録される相関情報記録部をさらに備える
    請求項７乃至１１の何れか１項に記載の撮像装置。
13. 撮像素子の像面上での像ぶれに応じて駆動される防振用光学系を有する撮像光学系によって前記像面に結像された像に基づく撮像画像を処理する画像処理方法であって、
    前記撮像光学系の光軸に対して直交する方向の前記防振用光学系の駆動量を取得することと、
    前記防振用光学系の駆動量に応じた前記像面上での歪曲収差の形状と、前記ずれ量に応じた前記像面上での歪曲収差の形状との相関関係に基づいて、前記防振用光学系の駆動量と対応する前記ずれ量を換算中心ずれ量として算出することと、
    前記換算中心ずれ量を前記ずれ量として用いて前記歪曲収差の補正を行うことと、
    を備える画像処理方法。