以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図1の撮像装置100の各構成部とその一例の動作について具体的に説明する。
振れ検出手段としての角速度センサ102は、撮像装置100に加わる振れを角速度信号として検出し、その角速度信号をA/D変換器103に供給する。ここで角速度センサ102は、光軸方向をZ軸、鉛直上向き方向をY軸、Y,Z両軸方向に直交する方向をX軸とすると、少なくともピッチ(X軸回り)方向とヨー(Y軸回り)方向の角度振れを検出する。A/D変換器103は、角速度センサ102からの角速度信号をデジタル化して、角速度データとしてμCOM101内部のHPF104及び、ローリングシャッタ(RS)歪み補正量演算部(歪み補正量算出部)200に供給する。ここで、RSとはローリングシャッタの略称のことである。
HPF104は、任意の周波数帯域でその特性を変更し得る機能を有しており、A/D変換器103からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置100に対して、パンニング等の大きな角度振れが生じると、HPF104のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。
撮像光学系120は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子123に結像する。撮像光学系120中の補正光学系122は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する、振れ補正可能な光学系である(光学補正手段)。補正光学系122が移動した結果、撮像装置100の振れによって生じる撮像面上の被写体の並進方向の画像振れが補正された像が、撮像素子123に結像され受光される。
ズームエンコーダ119は、撮像光学系120の中の変倍光学系121の位置(ズーム位置)を検出し、μCOM101内部の敏感度演算部105、ローリングシャッタ歪み補正量演算部200に出力する。敏感度演算部105は、ズームエンコーダ119の出力に応じて、各ズーム位置において最適な補正光学系122の駆動量を算出するための係数を算出し、HPF104の出力に乗算して積分器106へと供給する。
積分器106は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部105からの出力を積分し、飽和防止制御部107に供給する。撮像装置100に対して、パンニング等の大きな角度振れが生じると、積分器106の時定数は、角度振れが小さいときよりも短い値に設定される。
飽和防止制御部107は、積分器106の出力が所定のリミット値より大きくなったときに、リミット値内に抑制するように積分器106の出力をリミットし、リミットした出力を減算器108に供給する。
減算器108は、補正光学系122の位置を検出する位置検出部117の出力をA/D変換器118にてA/D変換し、デジタル化したデータを飽和防止制御部107の出力から減算し、その結果である偏差データを制御フィルタ109に供給する。ここで、端子B114と端子B116は、各々が電気的に接続されていることを示している。
制御フィルタ109は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器108から供給された偏差データは、制御フィルタ109において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部110に出力される。
パルス幅変調部110は、制御フィルタ109を通過して供給されたデータを、パルス波のデューティー比を変化させる波形(即ちPWM波形)に変調して、モータ駆動部111に供給する。モータ112は、補正光学系122の駆動用のボイス・コイル型モータであり、モータ駆動部111に駆動されることにより、補正光学系122が光軸と垂直な方向に移動される。ここで、端子A113と端子A115は、各々が電気的に接続されていることを示している。
位置検出部117は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系122の光軸と垂直な方向への移動量を検出し、その検出結果をA/D変換器118を介して、上述した減算器108に供給する。これによって、飽和防止制御部107の出力に対して、補正光学系122の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。A/D変換器118の出力は、減算器108の他にローリングシャッタ歪み補正量演算部200及び幾何変形量演算部203にも供給される。
撮像素子123は、撮像光学系120によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部124に供給する。信号処理部124は、撮像素子123により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して画像メモリ125及び動きベクトル検出部126に供給する。
動きベクトル検出部126は、信号処理部124で生成された現在の映像信号に含まれる輝度信号と、画像メモリ125に格納された1フィールド前の映像信号に含まれる輝度信号とに基づいて、画像内の複数の点における動きベクトルを検出する。この動きベクトルは、X軸方向とY軸方向性分の大きさを持って取得される。動きベクトル検出部126によって検出された動きベクトルデータは、撮像される画像間の変形を補正するための幾何変形量を算出する幾何変形量演算部(幾何変形量算出部)203に供給される。
ローリングシャッタ歪み補正部141は、ローリングシャッタ歪み補正量演算部200の演算結果に従って、画像メモリ125に格納された撮像画像に生じたローリングシャッタ歪みを補正する。ローリングシャッタ歪み補正量演算部200及びローリングシャッタ歪み補正部141の詳細は後述する。
幾何変形部142は、ローリングシャッタ歪み補正部141によってローリングシャッタ歪みが補正された画像に対して更に、撮像装置100に振れが発生したことにより生じる撮像画像のブレを補正するための幾何変形を行う。
幾何変形部142は、幾何変形量演算部203の演算結果に従って動作し、例えばアフィン変換を用いて画像変形を行う。幾何変形量演算部203によって、動きベクトルからアフィン変換のパラメータを演算する方法は、例えば特開2005−269419号公報等に開示されている。アフィン変換では、画像の拡大縮小・回転・水平および垂直移動の幾何変形を行うことにより、ブレを補正することができる。
また、幾何変形部142は、アフィン変換の他に射影変換を用いて画像変形を行う構成にしてもよい。幾何変形量演算部203によって、動きベクトルから射影変換のパラメータを演算する方法は、例えば特開2008−217526号公報等に開示されている。射影変換では、画像の拡大縮小・回転・水平および垂直移動の他に、あおりの幾何変形を行うことができる。なお、あおりとは、撮像装置にヨーあるいはピッチ方向の振れが生じたときに、平面状の被写体が台形に歪む変形のことをいう。
幾何変形部142によって、ブレが補正された映像信号は、記録制御部128及び表示制御部130に供給される。表示制御部130は、幾何変形部142から供給された映像信号を出力して表示デバイス131に画像を表示させる。表示制御部130は表示デバイス131を駆動し、表示デバイス131は液晶表示素子(LCD)等により画像を表示する。また、記録制御部128は、記録開始や終了の指示に用いる操作部(不図示)によって映像信号の記録が指示された場合、幾何変形部142から供給された映像信号を記録媒体129に出力し、記録させる。記録媒体129は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。
なお、上記説明においては、ローリングシャッタ歪み補正部141と幾何変形部142において、画像の変形を順次行う構成として説明したが、各々のブロックで画像メモリ125からの画像読み出しアドレスのみを順次計算し、画像変形は最後にまとめて行う構成にしてもよい。
次に、本実施形態における、ローリングシャッタ歪み補正部141及びローリングシャッタ歪み補正量演算部200の動作について具体的に説明する。
図2は、ローリングシャッタ歪み補正量演算部200の構成を示したブロック図である。図2において、積分器201にはA/D変換器103からの出力のうち、ヨー方向またはピッチ方向の角速度データが供給される。積分器201は、撮像素子123の電荷蓄積のタイミングに合わせて、ヨー方向またはピッチ方向の角速度データを積分して角度データを生成する。
焦点距離演算部210は、前述したズームエンコーダ119の出力から、撮像光学系120の焦点距離を算出し、焦点距離乗算部202の演算に用いる焦点距離を設定する。焦点距離乗算部202は、積分器201の出力に、焦点距離演算部231によって算出された焦点距離fを乗算して、ヨー方向またはピッチ方向の振れによって生じる、撮像面上での被写体像の移動量を算出する。
並進補正量換算部212は、A/D変換器118の出力を用いることによって、補正光学系122によって補正された、撮像面上での並進補正量を演算する。撮像素子123には、補正光学系122によって振れが補正された後の被写体像が結像される。よって減算器203では、焦点距離乗算部202の出力から、補正光学系122によって補正された並進補正量を減算したデータをローリングシャッタ歪み補正データ生成部205に供給する。
積分器206は、A/D変換器103からの出力のうち、撮像光学系120の光軸回り(以下、ロール方向とする)の角速度データが供給される。積分器206は、撮像素子123の電荷蓄積のタイミングに合わせて、ロール方向の角速度データを積分して角度データを生成し、ローリングシャッタ歪み補正データ生成部205に供給する。
以下、ローリングシャッタ歪み補正データ生成部205の演算について、補正光学系122によって、撮像装置に発生した像振れの補正を光学的に行う場合と、行わない場合に分けて説明を行う。まず、補正光学系122による補正を行わない場合について説明する。
図3は、ローリングシャッタ歪み補正量演算部200の動作を説明するための図である。図3(a)において、左側の長方形の図形は撮像画像である。右側のグラフは、縦軸が時間、横軸が図2の減算器203の出力あるいは積分器206の出力であり、撮像装置に振れが生じたときの、撮像面上でのブレ量あるいはブレ角度の時間による変化を示している。図3(a)の撮像画像の各画像ラインL0〜L6の電荷蓄積のタイミングと、時間T0〜T6とは対応している。積分器201及び積分器206は、時間T0から角速度データの積分を開始するようにしているので、減算器203の出力あるいは積分器206の出力は、図3(a)に示すように、時間T0において0であった状態から、時間T6まで徐々にその大きさが変動していく。
ローリングシャッタ歪み補正データ生成部205は、時間T0〜T6の時点での減算器203の出力あるいは積分器206の出力である、a0〜a6を取得し、μCOM101内部のメモリ(不図示)に格納する。ここで本説明において、ローリングシャッタ歪み補正データ生成部205は、a0〜a6の7個のデータを取得するように記載を行っているが、取得個数はこれに限定されるものではない。撮像画像の各画像ラインの蓄積のタイミングに合わせて、複数個のデータを取得する方法を用いれば、いくつ取得する構成であってもよい。
ローリングシャッタ歪み補正データ生成部205は更に、減算器203の出力あるいは積分器206の出力から取得したデータa0〜a6を用いて、ローリングシャッタ歪み補正部141に設定するデータ(ローリングシャッタ歪み補正設定データ)の演算を行う。具体的には、上記取得データa0〜a6から、撮像画像の画像中心を通るラインであるL3の電荷蓄積タイミングT3のときの、減算器203の出力あるいは積分器206の出力であるa3を減算する演算を行う。図3(b)は、この演算について説明するためのグラフであり、図3(b)の縦軸と横軸は図3(a)で説明したものと同様である。a0〜a6からa3を減算した結果をa0’〜a6’とすると、その演算結果は、図3(b)に示すように、a3’=0となるようにa0〜a6がシフトされる結果となる。これは、画像の所定のラインを基準とした、他のラインの相対的な位置変化量を示している。ローリングシャッタ歪み補正データ生成部205は、このデータa0’〜a6’をローリングシャッタ歪み補正設定データとしてローリングシャッタ歪み補正部141に設定する。
図4はローリングシャッタ歪み補正データ生成部205によって演算されたローリングシャッタ歪み補正設定データに基づいて、ローリングシャッタ歪み補正部141が、ローリングシャッタ歪み補正を行う方法について説明するための図である。図4(a)は画像の横方向(左右方向)のローリングシャッタ歪み補正(第1の歪み補正)、図4(b)は画像の縦方向のローリングシャッタ歪み補正(第2の歪み補正)、図4(c)は画像の回転方向のローリングシャッタ歪み補正(第3の歪み補正)の様子を示している。図4(d)は、図4(a)(b)(c)でローリングシャッタ歪みが補正された後の出力画像を示している。
図4(a)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さいひし形の図形は、元々正方形だった被写体が、撮像装置にヨー方向に振れが加わってローリングシャッタ歪みが生じたことにより、斜めに歪んで撮像された様子を示している。図4(a)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪みの補正量(以下、ローリングシャッタ歪み補正量とする)であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、線形補完、多項式近似、最小二乗法など公知の方法を用いて、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、水平方向の画像読み出し開始位置を各画像ライン毎に変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図4(a)の大きいひし形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。
このとき、図3(b)を用いて説明したように、時間T3におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Oを含む画像ラインの水平方向の画像読み出し開始位置は、ローリングシャッタ歪み補正を行わないときは変更しない。つまり図4(a)に示したように、撮像画像の中心位置Oを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図4(d)はローリングシャッタ歪み補正が行われた後の出力画像を示しており、図4(a)においてひし形に歪んだ被写体が元の形状に補正されている。また、基準ラインの水平方向の画像読み出し開始位置は変更しないため、撮像画像の中心位置Oの出力画像上での位置も変わらない。
図4(b)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さい縦長の長方形の図形は、元々正方形だった被写体(図4(b)の点線部)が、撮像装置にピッチ方向に振れが加わってローリングシャッタ歪みが生じたことにより、縦に引き延ばされるように歪んで撮像された様子を示している。図4(b)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、上述したように、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、画像読み出しラインを上下にずらして変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図4(b)の撮像画像の範囲のすぐ内側の長方形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う(図4(b)の点線部がローリングシャッタ歪み補正を行わないときの画像読み出し範囲)。
このとき、図4(a)と同様に時間T3におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Oを含む画像ラインの垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図4(b)に示したように、撮像画像の中心位置Oを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図4(d)は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示しており、図4(b)において長方形に歪んだ被写体が元の形状に補正されている。また、基準ラインの垂直方向の画像読み出し位置は変更しないため、撮像画像の中心位置Oの出力画像上での位置も変わらない。
図4(c)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さい扇状の図形は、元々正方形だった被写体が、撮像装置にロール方向に振れが加わってローリングシャッタ歪みが生じたことにより、扇状に歪んで撮像された様子を示している。図4(c)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、上述したように、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、画像中心Oを原点として、各画像読み出しラインを回転して画像読み出し位置を変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図4(c)の大きい扇状の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。
このとき、図4(a)(b)と同様に時間T3におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Oを含む画像ラインの水平垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図4(c)に示したように、撮像画像の中心位置Oを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図4(d)は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示しており、図4(c)において扇状に歪んだ被写体が元の形状に補正されている。また、基準ラインの水平垂直方向の画像読み出し位置は変更しないため、撮像画像の中心位置Oの出力画像上での位置も変わらない。
以上のように、縦・横・回転のローリングシャッタ歪み補正を行う際の基準ラインを設定することにより、ローリングシャッタ歪み補正前後の画像において、画像中心位置Oの画像上での位置の移動が生じなくなる。ここで、ローリングシャッタ歪み補正前後で位置の移動がなく、ローリングシャッタ歪み補正の原点となる画素位置(図4の点O)を、ローリングシャッタ歪み補正の補正基準位置(基準座標)と定義する。
ここで、上記基準ライン及び補正基準位置を設定する理由を以下に説明する。ローリングシャッタ歪み補正部141によって、撮像画像に生じたローリングシャッタ歪みの補正が行われた後は、幾何変形部142によって、撮像画像のブレの幾何変形による補正が行われる。幾何変形部142における幾何変形の手法として射影変換を用いるものとすると、幾何変形部142ではあおり・回転・並進の補正が行われる。
図5(a)は、幾何変形部142によるあおりの補正を説明するための図である。図5(a)の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部141によって、ローリングシャッタ歪み補正が行われた後の画像を示している。画像内部の小さい台形の図形は、元々正方形だった被写体が、撮像装置にヨー方向に振れが加わったことによって、台形に歪んで撮像された様子を示している。幾何変形部142は、射影変換によって、図5(a)の大きい台形の図形のように、画像の読み出し範囲を変更することによってあおりの補正を行う。
図5(c)は、あおりの補正あるいは、後で説明する回転の補正が行われた後の出力画像を示しており、図5(a)において台形に歪んだ被写体が元の形状に補正されている。また、あおりの補正は図5(a)のローリングシャッタ歪み補正後の画像の中心位置Oを基準にして行い、この中心位置Oは上記ローリングシャッタ歪み補正の補正基準位置(基準座標)と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部142であおりの補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。
図5(b)は、幾何変形部142による回転の補正を説明するための図である。図5(b)の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部141によって、ローリングシャッタ歪み補正が行われた後の画像を示している。画像内部の右に傾いた正方形の図形は、元々傾いていなかった被写体が、撮像装置にロール方向(光軸周り方向)に振れが加わったことによって、傾いて撮像された様子を示している。幾何変形部142は、射影変換によって、図5(b)の傾いた長方形の図形のように、画像の読み出し範囲を変更することによって回転の補正を行う。
図5(c)は、上述したように回転あるいはあおりの補正が行われた後の出力画像を示しており、図5(b)において右に傾いた被写体が元の形状に補正されている。また、回転の補正は図5(b)のローリングシャッタ歪み補正後の画像の中心位置Oを基準にして行い、この中心位置Oは上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部142で回転の補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。
図5(d)は、幾何変形部142による並進の補正を説明するための図である。図5(b)の最も外側の四角形の範囲は、幾何変形部142によって、あおり及び回転の補正が行われた後の出力画像を示している。幾何変形部142は、図5(c)の小さい方の長方形の図形のように、画像の読み出し範囲を変更することによって並進の補正を行う。
ここで、ローリングシャッタ歪み補正及びあおり・回転の補正を行った後までは、上述したように、補正基準位置の出力画像上での位置は移動しない。よって、1フィールド前の撮像画像上の補正基準位置の画素の電荷蓄積タイミングから、現在のフィールドの撮像画像上の補正基準位置の画素の電荷蓄積タイミングまでの、ブレによる並進移動量を補正すれば、正しいブレ補正を行うことができる。
以上説明してきたように、補正光学系122による補正を行わない場合においては、ローリングシャッタ歪み補正の基準ライン上の補正基準位置と、幾何変形の基準位置(並進を除いた幾何変形前後で座標が移動しない画素位置)とを、両方とも撮像画像の中心位置とする。これによって、ローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
なお、上記説明において、補正基準位置として設定した撮像画像上の位置Oは、必ずしも撮像画像の中心位置である必要はない。補正基準位置は、撮像光学系120の光軸と直交する撮像画像上の位置近傍(略中央)に設定すればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。
また、幾何変形部142における並進の補正は、説明の便宜上、あおり・回転の補正後の画像に対して行うように説明を行ったが、実際には各々の画像変形を別々に行うわけではなく、射影変換を用いてあおり・回転・並進の変形を同時に行う構成となっている。
次に、補正光学系122による像振れの補正を行う場合の、ローリングシャッタ歪み補正データ生成部205の演算について説明する。
ローリングシャッタ歪み補正データ生成部205のローリングシャッタ歪み補正設定データの演算について、図6及び図7を用いて説明を行う。図6は、ローリングシャッタ歪み補正データ生成部205の演算処理のフローチャートを示している。図6のフローチャートの処理は、例えば10kHz等の周期で繰り返し実行される。
S100では、ローリングシャッタ歪み補正データ生成部205は、撮像画像の蓄積開始からの時間がT0〜T6と一致するかどうかの判定を行う。時間T0〜T6とは、図7(a)において、左側の撮像画像の各画像ラインL0〜L6の電荷蓄積のタイミングのことである。S100でNoと判定された場合、処理は終了となる。S100でYesと判定された場合は、S101の処理へ進む。
S101では、ローリングシャッタ歪み補正データ生成部205は、時間T0〜T6のときの減算器203の出力あるいは積分器206の出力を取得し、μCOM101内部のメモリに格納する。具体的には、図7(a)の右側に示した、図3(a)と同様の軸のグラフにおいて、時間T0〜T6の時点での減算器203の出力あるいは積分器206の出力である、b0〜b6を取得する。b0〜b6は、前述したa0〜a6と同様、撮像装置に振れが生じたときの、撮像面上でのブレ量あるいはブレ角度の時間による変化を示している。ここで本実施形態において、ローリングシャッタ歪み補正データ生成部205は、b0〜b6の7個のデータを取得するように記載を行っているが、取得個数はこれに限定されるものではない。撮像画像の各画像ラインの蓄積のタイミングに合わせて、複数個のデータを取得する方法を用いれば、いくつ取得する構成であってもよい。S101の後はS102の処理に進む。
S102では、現在の時間がT6か否か、即ち撮像画像の最後の画像ラインの電荷蓄積タイミングになったどうかの判定を行う。S102でNoと判定された場合はS103に進む。S103では、現在の時間がT3か否か、即ち撮像画像の中央の画像ラインの電荷蓄積タイミングになったどうかの判定を行う。S103でNoと判定された場合は、本処理は終了となる。S103でYesと判定された場合はS104に進む。
S104では、並進補正量換算部212の出力をμCOM101内部のメモリに記憶する。並進補正量換算部212の出力は、補正光学系122が初期位置(光軸を偏向していない状態)にあるときの撮像面上での被写体位置が、補正光学系122の位置が変化することによって、撮像面上で移動したときの相対移動量を示す。S104の処理の後は本処理は終了となる。
S102でYesと判定された場合、即ち撮像画像の最後の画像ラインの電荷蓄積タイミングになった場合はS105に進む。S105では、S101で取得したb0〜b6のデータ及びS104で取得した並進補正量換算部212の出力データを用いて、ローリングシャッタ歪み補正設定データの演算を行う。具体的には、まず並進補正量換算部212の出力データから、撮像画像の中心位置Oが、補正光学系122の位置が変化することによって移動した位置O’の位置(以下、移動中心位置とする)を算出する。次に図7(a)に示すように、移動中心位置O’が含まれる画像ラインの電荷が蓄積される時間TCを算出する。
時間TCの算出方法は、以下の通りである。まず前提として、撮像画像上での移動中心位置O’が、図7(a)に示すように画像ラインL4とL5の間にあるものとする。このとき、L4とL5の間に存在する画像ライン数をM、L4と移動中心位置O’が含まれる画像ラインとの間に存在する画像ライン数をNとすると、TCは以下の(式1)で計算することができる。
TC=T4+N/M×(T5−T4) …(式1)
時間TCの演算が終わった後は、時間TCにおける減算器203 あるいは積分器206の出力bcを、S101で取得したb0〜b6から推測する。推測方法としては、例えば線形補完を用いることができる。図7(a)に示す例においては、bcは線形補完を用いると、(式2)で計算することができる。
bc=b4+(TC−T4)/(T5−T4)×(b5−b4) …(式2)
なお、(式2)の線形補完演算はあくまでも一例であり、例えば、多項式近似や最小二乗法など、種々の方法を用いることができる。
bcの演算が終わった後、ローリングシャッタ歪み補正データ生成部205は、b0〜b6よりbcを減算する演算を行う。図7(b)は、この演算について説明するためのグラフであり、図7(b)の縦軸と横軸は図3(b)で説明したものと同様である。b0〜b6よりbcを減算した結果をb0’〜b6’とすると、その演算結果は、図7(b)に示すように、時間TCにおける横軸の値が0となるようにb0〜b6がシフトされる結果となる。このデータb0’〜b6’が、ローリングシャッタ歪み補正設定データとしてローリングシャッタ歪み補正部141に設定されるデータとなる。S105の処理の後は図6の処理は終了となる。
図8はローリングシャッタ歪み補正データ生成部205によって演算されたローリングシャッタ歪み補正設定データに基づいて、ローリングシャッタ歪み補正部141が、ローリングシャッタ歪み補正を行う方法について説明するためのグラフである。図8(a)は画像の横方向のローリングシャッタ歪み補正、図8(b)は画像の縦方向のローリングシャッタ歪み補正、図8(c)は画像の回転方向のローリングシャッタ歪み補正の様子を示している。図8(d)は、図8(a)(b)(c)でローリングシャッタ歪みが補正された後の出力画像を示している。
図8(a)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図8(a)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、上述したように、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、水平方向の画像読み出し開始位置を各画像ライン毎に変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図8(a)のひし形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。
このとき、図7(b)を用いて説明したように、時間TCにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置O’を含む画像ラインの水平方向の画像読み出し開始位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図8(a)に示したように、撮像画像の移動中心位置O’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図8(d)はローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの水平方向の画像読み出し開始位置は変更しないため、撮像画像の移動中心位置O’の出力画像上での位置も変わらない。
図8(b)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図8(b)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、上述したように、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、画像読み出しラインを上下にずらして変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図8(b)の撮像画像の範囲のすぐ内側の長方形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。
このとき、図8(a)と同様に時間TCにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置O’を含む画像ラインの垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図8(b)に示したように、撮像画像の移動中心位置O’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図8(d)は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの垂直方向の画像読み出し位置は変更しないため、移動中心位置O’の出力画像上での位置も変わらない。
図8(c)の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図8(c)の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間T0〜T6におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。
ローリングシャッタ歪み補正部141では、上述したように、離散的なデータである時間T0〜T6におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部141は、このローリングシャッタ歪み補正量に従って、移動中心位置O’を原点として、各画像読み出しラインを回転して画像読み出し位置を変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図8(c)の扇状の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。
このとき、図8(a)、(b)と同様に時間TCにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置O’を含む画像ラインの水平垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図8(c)に示したように、撮像画像の移動中心位置O’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図8(d)は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの水平垂直方向の画像読み出し位置は変更しないため、撮像画像の移動中心位置O’の出力画像上での位置も変わらない。
以上のように、撮像画像の移動中心位置O’を含む画像ラインを基準ラインとして設定することにより、縦・横・回転のローリングシャッタ歪み補正前後の画像において、撮像画像の移動中心位置O’の画像上での位置の移動が生じなくなる。補正光学系122による像振れの補正が行われる場合は、この移動中心位置O’を補正基準位置とする。
ここで、上記基準ラインを設定し、移動中心位置O’を補正基準位置とする理由を以下に説明する。ローリングシャッタ歪み補正部141によって、撮像画像に生じたローリングシャッタ歪みの補正が行われた後は、幾何変形部142によって、撮像画像のブレの幾何変形による補正が行われる。幾何変形部142における幾何変形の手法として射影変換を用いるものとすると、幾何変形部142ではあおり・回転の補正が行われる。
図9(a)は、撮像装置にヨー方向に振れが加わったことによって、被写体が台形に歪んで撮像されたときの、幾何変形部142によるあおりの補正を説明するための図である。補正光学系122によって像振れの補正が行われる場合は、撮像画像上で発生するはずであった並進方向のブレが予め補正された状態で、撮像素子123に被写体が結像される。ここで、あおりの補正は、並進方向のブレの補正が行われる前の画像に対して行う必要がある。補正光学系122によって並進の補正が行われなかったとすると、図7(a)の撮像画像において、移動中心位置O’の位置に撮像される被写体が撮像画像の中心位置となる。よって、あおりの補正は移動中心位置O’を基準にして行う必要がある。移動中心位置O’は、幾何変形量演算部203によって、A/D変換器118の出力に基づいて演算され、幾何変形部142に設定される。
図9(a)の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部141によって、ローリングシャッタ歪み補正が行われた後の画像を示している。幾何変形部142は、射影変換によって、図9(a)の台形の図形のように、移動中心位置O’を基準として画像の読み出し範囲を台形状に変更することによってあおりの補正を行う。
図9(c)は、あおりの補正あるいは、後で説明する回転の補正が行われた後の出力画像を示している。あおりの補正は図9(a)のローリングシャッタ歪み補正後の画像の移動中心位置O’を基準にして行い、この移動中心位置O’は上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部142であおりの補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。
図9(b)は、撮像装置にロール方向(光軸回り方向)に振れが加わったことによって、被写体が傾いて撮像されたときの、幾何変形部142による回転の補正を説明するための図である。回転の補正もあおりと同様、移動中心位置O’を基準にして行う必要がある。
図9(b)の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部141によって、ローリングシャッタ歪み補正が行われた後の画像を示している。幾何変形部142は、射影変換によって、図9(b)の傾いた長方形の図形のように、移動中心位置O’を基準として画像の読み出し範囲を傾けるように変更することによって回転の補正を行う。
図9(c)は、上述したように回転あるいはあおりの補正が行われた後の出力画像を示している。回転の補正は図9(b)のローリングシャッタ歪み補正後の画像の移動中心位置O’を基準にして行い、この移動中心位置O’は上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部142で回転の補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。
以上説明してきたように、補正光学系122による像振れの補正を行う場合においては、ローリングシャッタ歪み補正の基準ライン上の補正基準位置と、幾何変形の基準位置(並進を除いた幾何変形前後で座標が移動しない画素位置)とを、両方とも移動中心位置O’とする。すなわち、補正光学系122が光軸を偏向しないときの撮像画像の中心位置が、補正光学系122の位置変化によって移動した位置とする。これによって、ローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
なお、上記説明において、撮像画像上の位置Oは、必ずしも撮像画像の中心位置である必要はなく、撮像光学系120の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。
また、本実施形態においては、光学的な像振れ補正手段として、シフトレンズである補正光学系122を例にとって説明したが、これに限定されるものではない。例えば、撮像素子123を駆動する方法や、プリズム(VAP)を用いる方法等、種々の像振れ補正手段を用いることができる。
(第2の実施形態)
図10は、本発明の第2の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図10において、図1と同様の構成には同じ符号を付し、説明は省略する。図10は、図1の構成に対し、動きベクトル検出部126、幾何変形量演算部203、幾何変形部142が削除され、歪曲収差補正テーブル201、歪曲収差補正量演算部(歪曲収差補正量算出部)202、歪曲収差補正部140が追加された構成となっている。
本実施形態においては、ローリングシャッタ歪み補正部141において、ローリングシャッタ歪み補正を行う前に、歪曲収差補正部140によって、撮像光学系120の歪曲収差の補正を行う。歪曲収差補正部140の歪曲収差の補正方法としては、種々の方法が提案されており、いずれの方法を用いてもよい。例えば特開2008−259076号公報には、画像中心から放射状に歪む歪曲収差の特性を、画像中心からの距離のn次多項式で表す方法が開示されている。以下、このn次多項式を用いて歪曲収差補正を行うものとして説明を行う。
歪曲収差補正テーブル201は、フラッシュメモリ等の不揮発性のメモリ(不図示)に格納された、ズーム位置毎の上記n次多項式の係数である。歪曲収差補正量演算部202は、ズームエンコーダ119の出力に基づいて、撮像光学系120の歪曲収差を補正するために用いる、上記n次多項式の係数を参照し、歪曲収差補正部140に供給する。
歪曲収差補正部140は、歪曲収差補正量演算部202によって設定された係数に基づいて、画像メモリ125に格納された撮像画像の歪曲収差を補正する。ローリングシャッタ歪み補正部141は、歪曲収差補正部140によって、歪曲収差が補正された画像に対して、ローリングシャッタ歪み補正を行う。なお、歪曲収差補正部140とローリングシャッタ歪み補正部141の動作については、画像の変形を順次行う構成として説明したが、各々のブロックで画像メモリ125からの画像読み出しアドレスのみを順次計算し、画像変形は最後にまとめて行う構成にしてもよい。
図11(a)、(b)は、補正光学系122による像振れの補正が行われない場合の、歪曲収差補正部140による歪曲収差補正について説明するための図である。図11(a)の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の歪んだ格子状の図形は、元々図11(b)に示すような格子状の被写体が、撮像光学系120の歪曲収差によって歪んで撮像された被写体である。歪曲収差補正部140は、撮像画像の中心位置Oを基準位置として、放射状に撮像画像の読み出し位置を変更することによって、歪曲収差の補正を行う。
図11(b)は、歪曲収差補正が行われた後の出力画像を示しており、図11(a)の歪んだ格子状の被写体が元の形状に補正されている。上述したように、歪曲収差の補正は撮像画像の中心位置Oを基準にして行うため、歪曲収差の補正後において、図11(b)のように上記中心位置Oの出力画像上での位置は移動しない。
ローリングシャッタ歪み補正部141の動作は、撮像画像に対してローリングシャッタ歪み補正を行っていた点が、歪曲収差補正後の画像に対して行うように変更されること以外は、第1の実施形態で説明したものと同様である。ローリングシャッタ歪み補正部141では、図4を用いて説明したのと同様に、画像の中心を通る画像ラインを基準ラインとしてローリングシャッタ歪み補正を行う。すなわち、図11(b)の出力画像の中心位置Oを補正基準位置、中心位置Oを通る画像ラインを基準ラインとして、ローリングシャッタ歪み補正を行う。これによって、歪曲収差及びローリングシャッタ歪みの補正を行った後においても、図11(a)の撮像画像の中心位置Oの位置は移動しない構成となる。
以上のように、補正光学系122による補正を行わない場合においては、歪曲収差補正の基準位置(歪曲収差補正前後で座標が移動しない画素位置)と、ローリングシャッタ歪み補正の補正基準位置とを、両方とも撮像画像の中心位置Oとする。これによって、補正光学系122による補正を行わない場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
図12(a)、(b)は、補正光学系122による像振れの補正が行われる場合の、歪曲収差補正部140による歪曲収差補正について説明するための図である。図12(a)の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図12(a)の撮像画像上の位置O’は、図7で説明したのと同様、撮像画像の中心位置Oが、補正光学系122の位置が変化することによって移動した移動中心位置である。補正光学系122の位置が変化すると、撮像画像上の歪曲収差の中心位置も移動し、上記移動中心位置O’と略一致する。よって、図12(a)の撮像画像内部の歪んだ格子状の図形は、元々図12(b)に示すような格子状の被写体が、撮像光学系120の歪曲収差によって、移動中心位置O’を中心として放射状に歪んで撮像された被写体である。
補正光学系122による像振れの補正が行われる場合、歪曲収差補正量演算部202は、上記n次多項式の係数の他に、A/D変換器118の出力を用いて、上記移動中心位置O’の位置を演算し、歪曲収差補正部140へと設定する。歪曲収差補正部140は、歪曲収差補正量演算部202から設定された、上記移動中心位置O’を基準位置として、放射状に撮像画像の読み出し位置を変更することによって、歪曲収差の補正を行う。
図12(b)は、歪曲収差補正が行われた後の出力画像を示しており、図12(a)の歪んだ格子状の被写体が元の形状に補正されている。歪曲収差の補正は、撮像画像の移動中心位置O’を基準にして行うため、歪曲収差の補正後において、図12(b)のように移動中心位置O’の出力画像上での位置は移動しない。
ローリングシャッタ歪み補正部141では、図8を用いて説明したのと同様に、移動中心位置O’を通る画像ラインを基準ラインとしてローリングシャッタ歪み補正を行う。すなわち、図12(b)の出力画像の移動中心位置O’を補正基準位置、移動中心位置O’を通る画像ラインを基準ラインとして、ローリングシャッタ歪み補正を行う。これによって、歪曲収差及びローリングシャッタ歪みの補正を行った後においても、図12(a)の撮像画像の移動中心位置O’の位置は移動しない構成となる。
以上のように、補正光学系122による補正を行う場合においては、歪曲収差補正の基準位置(歪曲収差補正前後で座標が移動しない画素位置)と、ローリングシャッタ歪み補正の補正基準位置とを、両方とも移動中心位置O’とする。すなわち、補正光学系122が光軸を偏向しないときの撮像画像の中心位置が、補正光学系122の位置変化によって移動した位置とする。これによって、補正光学系122による補正を行う場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
なお、上記説明において、撮像画像上の位置Oは、必ずしも撮像画像の中心位置である必要はなく、撮像光学系120の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。
また、本実施形態においては、光学的な像振れ補正手段として、補正光学系122を例にとって説明したが、これに限定されるものではない。例えば、撮像素子123を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。
(第3の実施形態)
図13は、本発明の第3の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。図13の構成は、図1の構成に対し、図10の構成で説明した歪曲収差補正テーブル201、歪曲収差補正量演算部202、歪曲収差補正部140を追加したものであるため、各ブロック毎の説明は省略する。
図13の構成においては、画像メモリ125に格納された画像に対して、歪曲収差補正部140による歪曲収差補正、ローリングシャッタ歪み補正部141によるローリングシャッタ歪み補正、幾何変形部によるブレを補正するための画像変形を順次行う。なお、上記3種類の補正は、各々のブロックで画像メモリ125からの画像読み出しアドレスのみを順次計算し、画像変形を最後にまとめて行う構成にしてもよい。
本実施形態において、補正光学系122による補正を行わない場合は、歪曲収差補正の基準位置と、ローリングシャッタ歪み補正の補正基準位置、幾何変形の基準位置とを、全て撮像画像の中心位置とする。すると、図4、図5、図11を用いて説明したように、歪曲収差補正、ローリングシャッタ歪み補正及び幾何変形を行う前後において、上記中心位置の出力画像上での位置は移動しない。これによって、補正光学系122による補正を行わない場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
また、補正光学系122による補正を行う場合は、歪曲収差補正の基準位置と、ローリングシャッタ歪み補正の補正基準位置、幾何変形の基準位置とを、全て移動中心位置とする。すなわち、補正光学系122が光軸を偏向しないときの撮像画像の中心位置が、補正光学系122の位置変化によって移動した位置とする。すると、図8、図9、図12を用いて説明したように、歪曲収差補正、ローリングシャッタ歪み補正及び幾何変形を行う前後において、上記移動中心位置の出力画像上での位置は移動しない。これによって、補正光学系122による補正を行う場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。
なお、上記説明において、撮像画像の中心位置は、必ずしも撮像画像の中心位置である必要はなく、撮像光学系120の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。
また、本実施形態においては、光学的な像振れ補正手段として、補正光学系122を例にとって説明したが、これに限定されるものではない。例えば、撮像素子123を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。たとえば、ビデオカメラ(撮像装置)によって撮像した画像に対して、ローリングシャッタ歪み補正、歪曲収差補正、幾何変形補正の画像処理をPCなどの画像処理装置によって実行してもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。
本発明に係わる撮像装置は、振れ検出手段の出力に基づいて光学補正手段を駆動して、振れによる画像振れを光学的に補正する撮像装置であって、撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、前記撮像手段により撮像された画像を記憶する記憶手段と、前記撮像手段が電荷を蓄積する間の前記振れによって発生する、前記画像内のローリングシャッタ歪みを補正するための歪み補正量を、前記振れ検出手段の出力に基づいて算出する歪み補正量算出手段と、前記歪み補正量に基づいて、前記記憶手段に記憶された画像の補正を行う補正手段とを備え、前記歪み補正量算出手段は、前記光学補正手段の位置に基づいて設定された位置を基準として前記歪み補正量を算出することを特徴とする。
また、本発明に係わる撮像装置は、振れ検出手段の出力に基づいて光学補正手段を駆動して、振れによる画像振れを光学的に補正する撮像装置であって、撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、前記撮像手段により撮像された画像を記憶する記憶手段と、前記撮像手段が電荷を蓄積する間の前記振れによって発生する、前記画像内のローリングシャッタ歪みを補正するための歪み補正量を、前記振れ検出手段の出力に基づいて算出する歪み補正量算出手段と、前記歪み補正量に基づいて、前記記憶手段に記憶された画像の補正を行う補正手段とを備え、前記歪み補正量算出手段は、前記歪み補正量の基準のラインと垂直な方向について前記光学補正手段の中心位置が前記撮像光学系の光軸を基準として所定値よりも大きい量だけ移動した場合の前記歪み補正量の基準のラインの位置を、前記歪み補正量の基準のラインと垂直な方向について前記光学補正手段の中心位置が前記撮像光学系の光軸を基準として前記所定値よりも小さい量だけ移動した場合の前記歪み補正量の基準のラインの位置よりも、前記撮像画像の中心位置から離れた位置となるように前記歪み補正量を算出することを特徴とする。