JP2014064143A - 画像処理装置及びそれを備えた撮像装置、並びに画像処理装置の制御方法 - Google Patents

Abstract

【課題】ローリングシャッタ歪み補正の基準ラインを適切に設定し、振れの影響を軽減した品位の高い映像を撮影することができる撮像装置を提供する。
【解決手段】撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像部１２３と、撮像された画像を記憶する記憶部１２５と、振れを検出する振れ検出部１０２と、振れによる画像振れを光学的に補正する像振れ補正部１２２と、撮像部が電荷を蓄積する間の振れによって発生する、画像内の歪みを補正するための歪み補正量を、振れ検出部の出力に基づいて算出する歪み補正量算出部２０３と、歪み補正量に基づいて、記憶部に記憶された画像の補正を行う補正部１４１とを備え、歪み補正量算出部においては、撮像部の電荷蓄積の開始と終了の間の略中央の時間における、光学補正部の位置に基づいて設定された光学補正手段の位置に基づいて設定された位置を基準として歪み補正量を算出する。
【選択図】図１

Description

本発明は、画像処理装置において、画像を電子的に変形する方法を用いて、撮像装置の振れによって生じる撮像画像の歪みを補正する技術に関する。

近年、撮像装置に用いる撮像素子として、ＣＭＯＳイメージセンサが急速に普及してきている。ＣＭＯＳイメージセンサを用いて動画撮影を行う場合、ＣＭＯＳイメージセンサの上部から下部に向かって、１ライン毎に蓄積された電荷を読みだす制御を行う。本読み出し方法は、ローリングシャッタ方式と呼ばれ、撮像素子の上部と下部とで読み出しのタイミングが異なる。これによって、撮像装置に振れが生じ、撮像面上で被写体の位置が移動した場合に、撮像素子の電荷読み出しのタイミングが異なることに起因する撮像画像の歪み（ローリングシャッタ歪み）が生じる。

このようなローリングシャッタ歪みを補正する方法として、ＣＭＯＳイメージセンサの読み出しのタイミングに同期して、撮像装置に生じる振れ量を離散的に取得し、取得した振れ量に基づいて、ローリングシャッタ歪みを補正する方法が提案されている（例えば、特許文献１参照）。

特開２００７−２６４０７４号公報

しかし、上記従来例では、ローリングシャッタ歪み補正の基準ライン（ローリングシャッタ歪み補正において、読み出し位置を変更しないライン）が明確にされておらず、以下のような問題が生じることがあった。

図１４（ａ）は、撮像装置に振れが加わり、被写体にローリングシャッタ歪みが生じたときの、ローリングシャッタ歪み補正を行う方法について説明するための図である。図１４（ａ）の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の大きい点線の四角形は、ローリングシャッタ歪みが生じていないとしたときの画像読み出し範囲を示しており、小さい点線の四角形は、ローリングシャッタ歪みが生じていないとしたときの被写体の形状を示している。図１４（ａ）の小さいひし形の図形は、撮像装置に振れが加わったことによってローリングシャッタ歪みが生じ、被写体が縦方向に縮み、かつ斜めに歪んで撮像された様子を示している。

ローリングシャッタ歪み補正は、図１４（ａ）の大きいひし形の図形のように、画像の読み出し範囲をローリングシャッタ歪みに合わせて変更することによって行う。このとき、図１４（ａ）ではローリングシャッタ歪み補正の基準ラインを撮像画像の最も上のラインに設定している。図１４（ａ）において、基準ラインより下側のラインでは、基準ラインに対して相対的に右側に読み出し位置を変更し、斜めに歪んだ画像を元に戻すように補正を行う。また、基準ラインより下側のラインでは、読み出しライン位置を上側に少しずつずらすことによって、縦方向に縮んだ画像を拡大し元の大きさに戻すように補正を行う。これによって、図１４（ａ）においてひし形に歪んだ被写体を元の形状（ここでは長方形）に戻すことができる。

図１４（ｂ）は、上述したローリングシャッタ歪み補正を行ったときの出力を表した図である。図１４（ｂ）の最も外側の四角形の範囲は、ローリングシャッタ歪み補正を行った後の出力画像の範囲を示している。出力画像内部の実線の正方形の図形は、図１４（ａ）のひし形に歪んだ被写体に対してローリングシャッタ歪み補正が行われた後の被写体を示している。図１４（ｂ）の点線の正方形の図形は、図１４（ａ）において、ローリングシャッタ歪みが生じていないとしたときの画像読み出し範囲（図１４（ａ）の大きい点線の四角形）を読みだしたときの、出力画像上の被写体を示している。

ここで、図１４（ａ）において、ローリングシャッタ歪みが生じているひし形に歪んだ被写体の中心位置と、ローリングシャッタ歪みが生じていない正方形の被写体の中心位置が、撮像画像上で変わらないものと仮定する。実際には撮像装置に振れが生じると、撮像画像上での被写体の位置は変動するため、説明の便宜のために上記仮定を定めている。このとき、図１４（ａ）に示す位置に基準ラインを設定したローリングシャッタ歪み補正を行うと、図１４（ｂ）の実線と点線の正方形の被写体の位置のように、出力画像上で被写体位置にずれが生じる。このように、ローリングシャッタ歪み補正の基準ラインを正しく設定しないと、歪んだ被写体を元の形状に戻すことができたとしても、被写体位置がずれることによって新たなブレが発生してしまう、という問題点があった。

本発明は上述した課題に鑑みてなされたものであり、ローリングシャッタ歪み補正の基準ラインを適切に設定し、振れの影響を軽減した品位の高い映像を撮影することができる画像処理装置及びそれを備えた撮像装置、並びに画像処理装置の制御方法を提供することを目的とする。

本発明に係わる画像処理装置は、撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、前記撮像手段により撮像された画像を記憶する記憶手段と、撮像装置の振れを検出する振れ検出手段と、前記撮像手段が電荷を蓄積する間の前記撮像装置の振れによって発生する、前記画像内の歪みを補正するための歪み補正量を算出する歪み補正量算出手段と、前記撮像装置の振れによって発生する、前記撮像手段によって撮像される画像間の変形を補正するための幾何変形量を算出する幾何変形量算出手段と、前記歪み補正量と前記幾何変形量とに基づいて、前記記憶手段に記憶された画像の補正を行う補正手段と、を備え、前記歪み補正量算出手段は、前記振れ検出手段の出力に基づいて、前記記憶手段に記憶された画像の所定のラインを基準とした、他のラインの相対的な位置変化量を、前記歪み補正量として算出し、前記補正手段は、前記歪み補正量に基づいた補正と、前記所定のライン上の所定の位置を基準位置とした幾何変形とを行うことを特徴とする。

本発明によれば、ローリングシャッタ歪み補正の基準ラインを適切に設定し、振れの影響を軽減した品位の高い映像を撮影することができる画像処理装置及びそれを備えた撮像装置、並びに画像処理装置の制御方法を提供することが可能となる。

第１の実施形態における撮像装置の構成の一例を示すブロック図。 ローリングシャッタ歪み補正量演算部２００の構成の一例を示すブロック図。 光学的に像振れの補正を行わない場合の、ローリングシャッタ歪み補正量演算部２００の動作を説明するための図。 光学的に像振れの補正を行わない場合の、ローリングシャッタ歪み補正部１４１の動作を説明するための図。 光学的に像振れの補正を行わない場合の、幾何変形部１４２の動作を説明するための図。 光学的に像振れの補正を行う場合の、ローリングシャッタ歪み補正データ生成部２０５が行う処理のフローチャート。 光学的に像振れの補正を行う場合の、ローリングシャッタ歪み補正量演算部２００の動作を説明するための図。 光学的に像振れの補正を行う場合の、ローリングシャッタ歪み補正部１４１の動作を説明するための図。 光学的に像振れの補正を行う場合の、幾何変形部１４２の動作を説明するための図。 第２の実施形態における撮像装置の構成の一例を示すブロック図。 光学的に像振れの補正を行わない場合の、歪曲収差補正部１４０の動作を説明するための図。 光学的に像振れの補正を行う場合の、歪曲収差補正部１４０の動作を説明するための図。 第３の実施形態における撮像装置の構成の一例を示すブロック図。 ローリングシャッタ歪み補正の従来の課題を説明するための図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。以下、図１の撮像装置１００の各構成部とその一例の動作について具体的に説明する。

振れ検出手段としての角速度センサ１０２は、撮像装置１００に加わる振れを角速度信号として検出し、その角速度信号をＡ／Ｄ変換器１０３に供給する。ここで角速度センサ１０２は、光軸方向をＺ軸、鉛直上向き方向をＹ軸、Ｙ，Ｚ両軸方向に直交する方向をＸ軸とすると、少なくともピッチ（Ｘ軸回り）方向とヨー（Ｙ軸回り）方向の角度振れを検出する。Ａ／Ｄ変換器１０３は、角速度センサ１０２からの角速度信号をデジタル化して、角速度データとしてμＣＯＭ１０１内部のＨＰＦ１０４及び、ローリングシャッタ（ＲＳ）歪み補正量演算部（歪み補正量算出部）２００に供給する。ここで、ＲＳとはローリングシャッタの略称のことである。

ＨＰＦ１０４は、任意の周波数帯域でその特性を変更し得る機能を有しており、Ａ／Ｄ変換器１０３からの角速度データに含まれる低周波数成分を遮断して高周波数帯域の信号を出力する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、ＨＰＦ１０４のカットオフ周波数は、角度振れが小さいときよりも高い値に設定される。

撮像光学系１２０は、ズーミング、フォーカシング等の動作を行い、被写体像を撮像素子１２３に結像する。撮像光学系１２０中の補正光学系１２２は、例えばシフトレンズであり、光軸と垂直な方向に移動されることにより光軸を偏向する、振れ補正可能な光学系である（光学補正手段）。補正光学系１２２が移動した結果、撮像装置１００の振れによって生じる撮像面上の被写体の並進方向の画像振れが補正された像が、撮像素子１２３に結像され受光される。

ズームエンコーダ１１９は、撮像光学系１２０の中の変倍光学系１２１の位置（ズーム位置）を検出し、μＣＯＭ１０１内部の敏感度演算部１０５、ローリングシャッタ歪み補正量演算部２００に出力する。敏感度演算部１０５は、ズームエンコーダ１１９の出力に応じて、各ズーム位置において最適な補正光学系１２２の駆動量を算出するための係数を算出し、ＨＰＦ１０４の出力に乗算して積分器１０６へと供給する。

積分器１０６は、任意の周波数帯域でその特性を変更し得る機能を有しており、敏感度演算部１０５からの出力を積分し、飽和防止制御部１０７に供給する。撮像装置１００に対して、パンニング等の大きな角度振れが生じると、積分器１０６の時定数は、角度振れが小さいときよりも短い値に設定される。

飽和防止制御部１０７は、積分器１０６の出力が所定のリミット値より大きくなったときに、リミット値内に抑制するように積分器１０６の出力をリミットし、リミットした出力を減算器１０８に供給する。

減算器１０８は、補正光学系１２２の位置を検出する位置検出部１１７の出力をＡ／Ｄ変換器１１８にてＡ／Ｄ変換し、デジタル化したデータを飽和防止制御部１０７の出力から減算し、その結果である偏差データを制御フィルタ１０９に供給する。ここで、端子Ｂ１１４と端子Ｂ１１６は、各々が電気的に接続されていることを示している。

制御フィルタ１０９は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器１０８から供給された偏差データは、制御フィルタ１０９において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部１１０に出力される。

パルス幅変調部１１０は、制御フィルタ１０９を通過して供給されたデータを、パルス波のデューティー比を変化させる波形（即ちＰＷＭ波形）に変調して、モータ駆動部１１１に供給する。モータ１１２は、補正光学系１２２の駆動用のボイス・コイル型モータであり、モータ駆動部１１１に駆動されることにより、補正光学系１２２が光軸と垂直な方向に移動される。ここで、端子Ａ１１３と端子Ａ１１５は、各々が電気的に接続されていることを示している。

位置検出部１１７は、磁石とそれに対向する位置に備えられたホール・センサとからなり、補正光学系１２２の光軸と垂直な方向への移動量を検出し、その検出結果をＡ／Ｄ変換器１１８を介して、上述した減算器１０８に供給する。これによって、飽和防止制御部１０７の出力に対して、補正光学系１２２の光軸と垂直な方向への移動量を追従させる、フィードバック制御系を構成している。Ａ／Ｄ変換器１１８の出力は、減算器１０８の他にローリングシャッタ歪み補正量演算部２００及び幾何変形量演算部２０３にも供給される。

撮像素子１２３は、撮像光学系１２０によって結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部１２４に供給する。信号処理部１２４は、撮像素子１２３により得られた信号から、例えばＮＴＳＣフォーマットに準拠したビデオ信号（映像信号）を生成して画像メモリ１２５及び動きベクトル検出部１２６に供給する。

動きベクトル検出部１２６は、信号処理部１２４で生成された現在の映像信号に含まれる輝度信号と、画像メモリ１２５に格納された１フィールド前の映像信号に含まれる輝度信号とに基づいて、画像内の複数の点における動きベクトルを検出する。この動きベクトルは、Ｘ軸方向とＹ軸方向性分の大きさを持って取得される。動きベクトル検出部１２６によって検出された動きベクトルデータは、撮像される画像間の変形を補正するための幾何変形量を算出する幾何変形量演算部（幾何変形量算出部）２０３に供給される。

ローリングシャッタ歪み補正部１４１は、ローリングシャッタ歪み補正量演算部２００の演算結果に従って、画像メモリ１２５に格納された撮像画像に生じたローリングシャッタ歪みを補正する。ローリングシャッタ歪み補正量演算部２００及びローリングシャッタ歪み補正部１４１の詳細は後述する。

幾何変形部１４２は、ローリングシャッタ歪み補正部１４１によってローリングシャッタ歪みが補正された画像に対して更に、撮像装置１００に振れが発生したことにより生じる撮像画像のブレを補正するための幾何変形を行う。

幾何変形部１４２は、幾何変形量演算部２０３の演算結果に従って動作し、例えばアフィン変換を用いて画像変形を行う。幾何変形量演算部２０３によって、動きベクトルからアフィン変換のパラメータを演算する方法は、例えば特開２００５−２６９４１９号公報等に開示されている。アフィン変換では、画像の拡大縮小・回転・水平および垂直移動の幾何変形を行うことにより、ブレを補正することができる。

また、幾何変形部１４２は、アフィン変換の他に射影変換を用いて画像変形を行う構成にしてもよい。幾何変形量演算部２０３によって、動きベクトルから射影変換のパラメータを演算する方法は、例えば特開２００８−２１７５２６号公報等に開示されている。射影変換では、画像の拡大縮小・回転・水平および垂直移動の他に、あおりの幾何変形を行うことができる。なお、あおりとは、撮像装置にヨーあるいはピッチ方向の振れが生じたときに、平面状の被写体が台形に歪む変形のことをいう。

幾何変形部１４２によって、ブレが補正された映像信号は、記録制御部１２８及び表示制御部１３０に供給される。表示制御部１３０は、幾何変形部１４２から供給された映像信号を出力して表示デバイス１３１に画像を表示させる。表示制御部１３０は表示デバイス１３１を駆動し、表示デバイス１３１は液晶表示素子（ＬＣＤ）等により画像を表示する。また、記録制御部１２８は、記録開始や終了の指示に用いる操作部（不図示）によって映像信号の記録が指示された場合、幾何変形部１４２から供給された映像信号を記録媒体１２９に出力し、記録させる。記録媒体１２９は、半導体メモリ等の情報記録媒体やハードディスク等の磁気記録媒体である。

なお、上記説明においては、ローリングシャッタ歪み補正部１４１と幾何変形部１４２において、画像の変形を順次行う構成として説明したが、各々のブロックで画像メモリ１２５からの画像読み出しアドレスのみを順次計算し、画像変形は最後にまとめて行う構成にしてもよい。

次に、本実施形態における、ローリングシャッタ歪み補正部１４１及びローリングシャッタ歪み補正量演算部２００の動作について具体的に説明する。

図２は、ローリングシャッタ歪み補正量演算部２００の構成を示したブロック図である。図２において、積分器２０１にはＡ／Ｄ変換器１０３からの出力のうち、ヨー方向またはピッチ方向の角速度データが供給される。積分器２０１は、撮像素子１２３の電荷蓄積のタイミングに合わせて、ヨー方向またはピッチ方向の角速度データを積分して角度データを生成する。

焦点距離演算部２１０は、前述したズームエンコーダ１１９の出力から、撮像光学系１２０の焦点距離を算出し、焦点距離乗算部２０２の演算に用いる焦点距離を設定する。焦点距離乗算部２０２は、積分器２０１の出力に、焦点距離演算部２３１によって算出された焦点距離ｆを乗算して、ヨー方向またはピッチ方向の振れによって生じる、撮像面上での被写体像の移動量を算出する。

並進補正量換算部２１２は、Ａ／Ｄ変換器１１８の出力を用いることによって、補正光学系１２２によって補正された、撮像面上での並進補正量を演算する。撮像素子１２３には、補正光学系１２２によって振れが補正された後の被写体像が結像される。よって減算器２０３では、焦点距離乗算部２０２の出力から、補正光学系１２２によって補正された並進補正量を減算したデータをローリングシャッタ歪み補正データ生成部２０５に供給する。

積分器２０６は、Ａ／Ｄ変換器１０３からの出力のうち、撮像光学系１２０の光軸回り（以下、ロール方向とする）の角速度データが供給される。積分器２０６は、撮像素子１２３の電荷蓄積のタイミングに合わせて、ロール方向の角速度データを積分して角度データを生成し、ローリングシャッタ歪み補正データ生成部２０５に供給する。

以下、ローリングシャッタ歪み補正データ生成部２０５の演算について、補正光学系１２２によって、撮像装置に発生した像振れの補正を光学的に行う場合と、行わない場合に分けて説明を行う。まず、補正光学系１２２による補正を行わない場合について説明する。

図３は、ローリングシャッタ歪み補正量演算部２００の動作を説明するための図である。図３（ａ）において、左側の長方形の図形は撮像画像である。右側のグラフは、縦軸が時間、横軸が図２の減算器２０３の出力あるいは積分器２０６の出力であり、撮像装置に振れが生じたときの、撮像面上でのブレ量あるいはブレ角度の時間による変化を示している。図３（ａ）の撮像画像の各画像ラインＬ０〜Ｌ６の電荷蓄積のタイミングと、時間Ｔ０〜Ｔ６とは対応している。積分器２０１及び積分器２０６は、時間Ｔ０から角速度データの積分を開始するようにしているので、減算器２０３の出力あるいは積分器２０６の出力は、図３（ａ）に示すように、時間Ｔ０において０であった状態から、時間Ｔ６まで徐々にその大きさが変動していく。

ローリングシャッタ歪み補正データ生成部２０５は、時間Ｔ０〜Ｔ６の時点での減算器２０３の出力あるいは積分器２０６の出力である、ａ０〜ａ６を取得し、μＣＯＭ１０１内部のメモリ（不図示）に格納する。ここで本説明において、ローリングシャッタ歪み補正データ生成部２０５は、ａ０〜ａ６の７個のデータを取得するように記載を行っているが、取得個数はこれに限定されるものではない。撮像画像の各画像ラインの蓄積のタイミングに合わせて、複数個のデータを取得する方法を用いれば、いくつ取得する構成であってもよい。

ローリングシャッタ歪み補正データ生成部２０５は更に、減算器２０３の出力あるいは積分器２０６の出力から取得したデータａ０〜ａ６を用いて、ローリングシャッタ歪み補正部１４１に設定するデータ（ローリングシャッタ歪み補正設定データ）の演算を行う。具体的には、上記取得データａ０〜ａ６から、撮像画像の画像中心を通るラインであるＬ３の電荷蓄積タイミングＴ３のときの、減算器２０３の出力あるいは積分器２０６の出力であるａ３を減算する演算を行う。図３（ｂ）は、この演算について説明するためのグラフであり、図３（ｂ）の縦軸と横軸は図３（ａ）で説明したものと同様である。ａ０〜ａ６からａ３を減算した結果をａ０’〜ａ６’とすると、その演算結果は、図３（ｂ）に示すように、ａ３’＝０となるようにａ０〜ａ６がシフトされる結果となる。これは、画像の所定のラインを基準とした、他のラインの相対的な位置変化量を示している。ローリングシャッタ歪み補正データ生成部２０５は、このデータａ０’〜ａ６’をローリングシャッタ歪み補正設定データとしてローリングシャッタ歪み補正部１４１に設定する。

図４はローリングシャッタ歪み補正データ生成部２０５によって演算されたローリングシャッタ歪み補正設定データに基づいて、ローリングシャッタ歪み補正部１４１が、ローリングシャッタ歪み補正を行う方法について説明するための図である。図４（ａ）は画像の横方向（左右方向）のローリングシャッタ歪み補正（第１の歪み補正）、図４（ｂ）は画像の縦方向のローリングシャッタ歪み補正（第２の歪み補正）、図４（ｃ）は画像の回転方向のローリングシャッタ歪み補正（第３の歪み補正）の様子を示している。図４（ｄ）は、図４（ａ）（ｂ）（ｃ）でローリングシャッタ歪みが補正された後の出力画像を示している。

図４（ａ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さいひし形の図形は、元々正方形だった被写体が、撮像装置にヨー方向に振れが加わってローリングシャッタ歪みが生じたことにより、斜めに歪んで撮像された様子を示している。図４（ａ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪みの補正量（以下、ローリングシャッタ歪み補正量とする）であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、線形補完、多項式近似、最小二乗法など公知の方法を用いて、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、水平方向の画像読み出し開始位置を各画像ライン毎に変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図４（ａ）の大きいひし形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

このとき、図３（ｂ）を用いて説明したように、時間Ｔ３におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Ｏを含む画像ラインの水平方向の画像読み出し開始位置は、ローリングシャッタ歪み補正を行わないときは変更しない。つまり図４（ａ）に示したように、撮像画像の中心位置Ｏを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図４（ｄ）はローリングシャッタ歪み補正が行われた後の出力画像を示しており、図４（ａ）においてひし形に歪んだ被写体が元の形状に補正されている。また、基準ラインの水平方向の画像読み出し開始位置は変更しないため、撮像画像の中心位置Ｏの出力画像上での位置も変わらない。

図４（ｂ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さい縦長の長方形の図形は、元々正方形だった被写体（図４（ｂ）の点線部）が、撮像装置にピッチ方向に振れが加わってローリングシャッタ歪みが生じたことにより、縦に引き延ばされるように歪んで撮像された様子を示している。図４（ｂ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、上述したように、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、画像読み出しラインを上下にずらして変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図４（ｂ）の撮像画像の範囲のすぐ内側の長方形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う（図４（ｂ）の点線部がローリングシャッタ歪み補正を行わないときの画像読み出し範囲）。

このとき、図４（ａ）と同様に時間Ｔ３におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Ｏを含む画像ラインの垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図４（ｂ）に示したように、撮像画像の中心位置Ｏを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図４（ｄ）は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示しており、図４（ｂ）において長方形に歪んだ被写体が元の形状に補正されている。また、基準ラインの垂直方向の画像読み出し位置は変更しないため、撮像画像の中心位置Ｏの出力画像上での位置も変わらない。

図４（ｃ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の小さい扇状の図形は、元々正方形だった被写体が、撮像装置にロール方向に振れが加わってローリングシャッタ歪みが生じたことにより、扇状に歪んで撮像された様子を示している。図４（ｃ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、上述したように、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、画像中心Ｏを原点として、各画像読み出しラインを回転して画像読み出し位置を変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図４（ｃ）の大きい扇状の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

このとき、図４（ａ）（ｂ）と同様に時間Ｔ３におけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の中心位置Ｏを含む画像ラインの水平垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図４（ｃ）に示したように、撮像画像の中心位置Ｏを含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図４（ｄ）は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示しており、図４（ｃ）において扇状に歪んだ被写体が元の形状に補正されている。また、基準ラインの水平垂直方向の画像読み出し位置は変更しないため、撮像画像の中心位置Ｏの出力画像上での位置も変わらない。

以上のように、縦・横・回転のローリングシャッタ歪み補正を行う際の基準ラインを設定することにより、ローリングシャッタ歪み補正前後の画像において、画像中心位置Ｏの画像上での位置の移動が生じなくなる。ここで、ローリングシャッタ歪み補正前後で位置の移動がなく、ローリングシャッタ歪み補正の原点となる画素位置（図４の点Ｏ）を、ローリングシャッタ歪み補正の補正基準位置（基準座標）と定義する。

ここで、上記基準ライン及び補正基準位置を設定する理由を以下に説明する。ローリングシャッタ歪み補正部１４１によって、撮像画像に生じたローリングシャッタ歪みの補正が行われた後は、幾何変形部１４２によって、撮像画像のブレの幾何変形による補正が行われる。幾何変形部１４２における幾何変形の手法として射影変換を用いるものとすると、幾何変形部１４２ではあおり・回転・並進の補正が行われる。

図５（ａ）は、幾何変形部１４２によるあおりの補正を説明するための図である。図５（ａ）の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部１４１によって、ローリングシャッタ歪み補正が行われた後の画像を示している。画像内部の小さい台形の図形は、元々正方形だった被写体が、撮像装置にヨー方向に振れが加わったことによって、台形に歪んで撮像された様子を示している。幾何変形部１４２は、射影変換によって、図５（ａ）の大きい台形の図形のように、画像の読み出し範囲を変更することによってあおりの補正を行う。

図５（ｃ）は、あおりの補正あるいは、後で説明する回転の補正が行われた後の出力画像を示しており、図５（ａ）において台形に歪んだ被写体が元の形状に補正されている。また、あおりの補正は図５（ａ）のローリングシャッタ歪み補正後の画像の中心位置Ｏを基準にして行い、この中心位置Ｏは上記ローリングシャッタ歪み補正の補正基準位置（基準座標）と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部１４２であおりの補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。

図５（ｂ）は、幾何変形部１４２による回転の補正を説明するための図である。図５（ｂ）の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部１４１によって、ローリングシャッタ歪み補正が行われた後の画像を示している。画像内部の右に傾いた正方形の図形は、元々傾いていなかった被写体が、撮像装置にロール方向（光軸周り方向）に振れが加わったことによって、傾いて撮像された様子を示している。幾何変形部１４２は、射影変換によって、図５（ｂ）の傾いた長方形の図形のように、画像の読み出し範囲を変更することによって回転の補正を行う。

図５（ｃ）は、上述したように回転あるいはあおりの補正が行われた後の出力画像を示しており、図５（ｂ）において右に傾いた被写体が元の形状に補正されている。また、回転の補正は図５（ｂ）のローリングシャッタ歪み補正後の画像の中心位置Ｏを基準にして行い、この中心位置Ｏは上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部１４２で回転の補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。

図５（ｄ）は、幾何変形部１４２による並進の補正を説明するための図である。図５（ｂ）の最も外側の四角形の範囲は、幾何変形部１４２によって、あおり及び回転の補正が行われた後の出力画像を示している。幾何変形部１４２は、図５（ｃ）の小さい方の長方形の図形のように、画像の読み出し範囲を変更することによって並進の補正を行う。

ここで、ローリングシャッタ歪み補正及びあおり・回転の補正を行った後までは、上述したように、補正基準位置の出力画像上での位置は移動しない。よって、１フィールド前の撮像画像上の補正基準位置の画素の電荷蓄積タイミングから、現在のフィールドの撮像画像上の補正基準位置の画素の電荷蓄積タイミングまでの、ブレによる並進移動量を補正すれば、正しいブレ補正を行うことができる。

以上説明してきたように、補正光学系１２２による補正を行わない場合においては、ローリングシャッタ歪み補正の基準ライン上の補正基準位置と、幾何変形の基準位置（並進を除いた幾何変形前後で座標が移動しない画素位置）とを、両方とも撮像画像の中心位置とする。これによって、ローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

なお、上記説明において、補正基準位置として設定した撮像画像上の位置Ｏは、必ずしも撮像画像の中心位置である必要はない。補正基準位置は、撮像光学系１２０の光軸と直交する撮像画像上の位置近傍（略中央）に設定すればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。

また、幾何変形部１４２における並進の補正は、説明の便宜上、あおり・回転の補正後の画像に対して行うように説明を行ったが、実際には各々の画像変形を別々に行うわけではなく、射影変換を用いてあおり・回転・並進の変形を同時に行う構成となっている。

次に、補正光学系１２２による像振れの補正を行う場合の、ローリングシャッタ歪み補正データ生成部２０５の演算について説明する。

ローリングシャッタ歪み補正データ生成部２０５のローリングシャッタ歪み補正設定データの演算について、図６及び図７を用いて説明を行う。図６は、ローリングシャッタ歪み補正データ生成部２０５の演算処理のフローチャートを示している。図６のフローチャートの処理は、例えば１０ｋＨｚ等の周期で繰り返し実行される。

Ｓ１００では、ローリングシャッタ歪み補正データ生成部２０５は、撮像画像の蓄積開始からの時間がＴ０〜Ｔ６と一致するかどうかの判定を行う。時間Ｔ０〜Ｔ６とは、図７（ａ）において、左側の撮像画像の各画像ラインＬ０〜Ｌ６の電荷蓄積のタイミングのことである。Ｓ１００でＮｏと判定された場合、処理は終了となる。Ｓ１００でＹｅｓと判定された場合は、Ｓ１０１の処理へ進む。

Ｓ１０１では、ローリングシャッタ歪み補正データ生成部２０５は、時間Ｔ０〜Ｔ６のときの減算器２０３の出力あるいは積分器２０６の出力を取得し、μＣＯＭ１０１内部のメモリに格納する。具体的には、図７（ａ）の右側に示した、図３（ａ）と同様の軸のグラフにおいて、時間Ｔ０〜Ｔ６の時点での減算器２０３の出力あるいは積分器２０６の出力である、ｂ０〜ｂ６を取得する。ｂ０〜ｂ６は、前述したａ０〜ａ６と同様、撮像装置に振れが生じたときの、撮像面上でのブレ量あるいはブレ角度の時間による変化を示している。ここで本実施形態において、ローリングシャッタ歪み補正データ生成部２０５は、ｂ０〜ｂ６の７個のデータを取得するように記載を行っているが、取得個数はこれに限定されるものではない。撮像画像の各画像ラインの蓄積のタイミングに合わせて、複数個のデータを取得する方法を用いれば、いくつ取得する構成であってもよい。Ｓ１０１の後はＳ１０２の処理に進む。

Ｓ１０２では、現在の時間がＴ６か否か、即ち撮像画像の最後の画像ラインの電荷蓄積タイミングになったどうかの判定を行う。Ｓ１０２でＮｏと判定された場合はＳ１０３に進む。Ｓ１０３では、現在の時間がＴ３か否か、即ち撮像画像の中央の画像ラインの電荷蓄積タイミングになったどうかの判定を行う。Ｓ１０３でＮｏと判定された場合は、本処理は終了となる。Ｓ１０３でＹｅｓと判定された場合はＳ１０４に進む。

Ｓ１０４では、並進補正量換算部２１２の出力をμＣＯＭ１０１内部のメモリに記憶する。並進補正量換算部２１２の出力は、補正光学系１２２が初期位置（光軸を偏向していない状態）にあるときの撮像面上での被写体位置が、補正光学系１２２の位置が変化することによって、撮像面上で移動したときの相対移動量を示す。Ｓ１０４の処理の後は本処理は終了となる。

Ｓ１０２でＹｅｓと判定された場合、即ち撮像画像の最後の画像ラインの電荷蓄積タイミングになった場合はＳ１０５に進む。Ｓ１０５では、Ｓ１０１で取得したｂ０〜ｂ６のデータ及びＳ１０４で取得した並進補正量換算部２１２の出力データを用いて、ローリングシャッタ歪み補正設定データの演算を行う。具体的には、まず並進補正量換算部２１２の出力データから、撮像画像の中心位置Ｏが、補正光学系１２２の位置が変化することによって移動した位置Ｏ’の位置（以下、移動中心位置とする）を算出する。次に図７（ａ）に示すように、移動中心位置Ｏ’が含まれる画像ラインの電荷が蓄積される時間ＴＣを算出する。

時間ＴＣの算出方法は、以下の通りである。まず前提として、撮像画像上での移動中心位置Ｏ’が、図７（ａ）に示すように画像ラインＬ４とＬ５の間にあるものとする。このとき、Ｌ４とＬ５の間に存在する画像ライン数をＭ、Ｌ４と移動中心位置Ｏ’が含まれる画像ラインとの間に存在する画像ライン数をＮとすると、ＴＣは以下の（式１）で計算することができる。

ＴＣ＝Ｔ４＋Ｎ／Ｍ×（Ｔ５−Ｔ４） …（式１）
時間ＴＣの演算が終わった後は、時間ＴＣにおける減算器２０３ あるいは積分器２０６の出力ｂｃを、Ｓ１０１で取得したｂ０〜ｂ６から推測する。推測方法としては、例えば線形補完を用いることができる。図７（ａ）に示す例においては、ｂｃは線形補完を用いると、（式２）で計算することができる。

ｂｃ＝ｂ４＋（ＴＣ−Ｔ４）／（Ｔ５−Ｔ４）×（ｂ５−ｂ４） …（式２）
なお、（式２）の線形補完演算はあくまでも一例であり、例えば、多項式近似や最小二乗法など、種々の方法を用いることができる。

ｂｃの演算が終わった後、ローリングシャッタ歪み補正データ生成部２０５は、ｂ０〜ｂ６よりｂｃを減算する演算を行う。図７（ｂ）は、この演算について説明するためのグラフであり、図７（ｂ）の縦軸と横軸は図３（ｂ）で説明したものと同様である。ｂ０〜ｂ６よりｂｃを減算した結果をｂ０’〜ｂ６’とすると、その演算結果は、図７（ｂ）に示すように、時間ＴＣにおける横軸の値が０となるようにｂ０〜ｂ６がシフトされる結果となる。このデータｂ０’〜ｂ６’が、ローリングシャッタ歪み補正設定データとしてローリングシャッタ歪み補正部１４１に設定されるデータとなる。Ｓ１０５の処理の後は図６の処理は終了となる。

図８はローリングシャッタ歪み補正データ生成部２０５によって演算されたローリングシャッタ歪み補正設定データに基づいて、ローリングシャッタ歪み補正部１４１が、ローリングシャッタ歪み補正を行う方法について説明するためのグラフである。図８（ａ）は画像の横方向のローリングシャッタ歪み補正、図８（ｂ）は画像の縦方向のローリングシャッタ歪み補正、図８（ｃ）は画像の回転方向のローリングシャッタ歪み補正の様子を示している。図８（ｄ）は、図８（ａ）（ｂ）（ｃ）でローリングシャッタ歪みが補正された後の出力画像を示している。

図８（ａ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図８（ａ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、上述したように、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、水平方向の画像読み出し開始位置を各画像ライン毎に変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図８（ａ）のひし形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

このとき、図７（ｂ）を用いて説明したように、時間ＴＣにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置Ｏ’を含む画像ラインの水平方向の画像読み出し開始位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図８（ａ）に示したように、撮像画像の移動中心位置Ｏ’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図８（ｄ）はローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの水平方向の画像読み出し開始位置は変更しないため、撮像画像の移動中心位置Ｏ’の出力画像上での位置も変わらない。

図８（ｂ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図８（ｂ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、上述したように、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、画像読み出しラインを上下にずらして変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図８（ｂ）の撮像画像の範囲のすぐ内側の長方形の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

このとき、図８（ａ）と同様に時間ＴＣにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置Ｏ’を含む画像ラインの垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図８（ｂ）に示したように、撮像画像の移動中心位置Ｏ’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図８（ｄ）は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの垂直方向の画像読み出し位置は変更しないため、移動中心位置Ｏ’の出力画像上での位置も変わらない。

図８（ｃ）の左側の図形の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図８（ｃ）の右側のグラフは、縦軸が時間、横軸がローリングシャッタ歪み補正量であり、時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データをプロットしたグラフである。

ローリングシャッタ歪み補正部１４１では、上述したように、離散的なデータである時間Ｔ０〜Ｔ６におけるローリングシャッタ歪み補正設定データから、撮像画像の全画像ラインに対応する電荷蓄積タイミングにおけるローリングシャッタ歪み補正量を算出する。ローリングシャッタ歪み補正部１４１は、このローリングシャッタ歪み補正量に従って、移動中心位置Ｏ’を原点として、各画像読み出しラインを回転して画像読み出し位置を変更することによって、ローリングシャッタ歪みの補正を行う。即ち、図８（ｃ）の扇状の図形のように、画像の読み出し範囲を変更することによってローリングシャッタ歪みの補正を行う。

このとき、図８（ａ）、（ｂ）と同様に時間ＴＣにおけるローリングシャッタ歪み補正量をゼロにしているため、撮像画像の移動中心位置Ｏ’を含む画像ラインの水平垂直方向の画像読み出し位置は、ローリングシャッタ歪み補正を行わないときと変更しない。つまり図８（ｃ）に示したように、撮像画像の移動中心位置Ｏ’を含む画像ラインが、ローリングシャッタ歪み補正の基準ラインとなる。図８（ｄ）は上述したようにローリングシャッタ歪み補正が行われた後の出力画像を示している。基準ラインの水平垂直方向の画像読み出し位置は変更しないため、撮像画像の移動中心位置Ｏ’の出力画像上での位置も変わらない。

以上のように、撮像画像の移動中心位置Ｏ’を含む画像ラインを基準ラインとして設定することにより、縦・横・回転のローリングシャッタ歪み補正前後の画像において、撮像画像の移動中心位置Ｏ’の画像上での位置の移動が生じなくなる。補正光学系１２２による像振れの補正が行われる場合は、この移動中心位置Ｏ’を補正基準位置とする。

ここで、上記基準ラインを設定し、移動中心位置Ｏ’を補正基準位置とする理由を以下に説明する。ローリングシャッタ歪み補正部１４１によって、撮像画像に生じたローリングシャッタ歪みの補正が行われた後は、幾何変形部１４２によって、撮像画像のブレの幾何変形による補正が行われる。幾何変形部１４２における幾何変形の手法として射影変換を用いるものとすると、幾何変形部１４２ではあおり・回転の補正が行われる。

図９（ａ）は、撮像装置にヨー方向に振れが加わったことによって、被写体が台形に歪んで撮像されたときの、幾何変形部１４２によるあおりの補正を説明するための図である。補正光学系１２２によって像振れの補正が行われる場合は、撮像画像上で発生するはずであった並進方向のブレが予め補正された状態で、撮像素子１２３に被写体が結像される。ここで、あおりの補正は、並進方向のブレの補正が行われる前の画像に対して行う必要がある。補正光学系１２２によって並進の補正が行われなかったとすると、図７（ａ）の撮像画像において、移動中心位置Ｏ’の位置に撮像される被写体が撮像画像の中心位置となる。よって、あおりの補正は移動中心位置Ｏ’を基準にして行う必要がある。移動中心位置Ｏ’は、幾何変形量演算部２０３によって、Ａ／Ｄ変換器１１８の出力に基づいて演算され、幾何変形部１４２に設定される。

図９（ａ）の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部１４１によって、ローリングシャッタ歪み補正が行われた後の画像を示している。幾何変形部１４２は、射影変換によって、図９（ａ）の台形の図形のように、移動中心位置Ｏ’を基準として画像の読み出し範囲を台形状に変更することによってあおりの補正を行う。

図９（ｃ）は、あおりの補正あるいは、後で説明する回転の補正が行われた後の出力画像を示している。あおりの補正は図９（ａ）のローリングシャッタ歪み補正後の画像の移動中心位置Ｏ’を基準にして行い、この移動中心位置Ｏ’は上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部１４２であおりの補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。

図９（ｂ）は、撮像装置にロール方向（光軸回り方向）に振れが加わったことによって、被写体が傾いて撮像されたときの、幾何変形部１４２による回転の補正を説明するための図である。回転の補正もあおりと同様、移動中心位置Ｏ’を基準にして行う必要がある。

図９（ｂ）の最も外側の四角形の範囲は、ローリングシャッタ歪み補正部１４１によって、ローリングシャッタ歪み補正が行われた後の画像を示している。幾何変形部１４２は、射影変換によって、図９（ｂ）の傾いた長方形の図形のように、移動中心位置Ｏ’を基準として画像の読み出し範囲を傾けるように変更することによって回転の補正を行う。

図９（ｃ）は、上述したように回転あるいはあおりの補正が行われた後の出力画像を示している。回転の補正は図９（ｂ）のローリングシャッタ歪み補正後の画像の移動中心位置Ｏ’を基準にして行い、この移動中心位置Ｏ’は上記ローリングシャッタ歪み補正の補正基準位置と一致させている。これによって、ローリングシャッタ歪み補正後に更に幾何変形部１４２で回転の補正を行った後でも、上記補正基準位置の出力画像上での位置は移動しない。

以上説明してきたように、補正光学系１２２による像振れの補正を行う場合においては、ローリングシャッタ歪み補正の基準ライン上の補正基準位置と、幾何変形の基準位置（並進を除いた幾何変形前後で座標が移動しない画素位置）とを、両方とも移動中心位置Ｏ’とする。すなわち、補正光学系１２２が光軸を偏向しないときの撮像画像の中心位置が、補正光学系１２２の位置変化によって移動した位置とする。これによって、ローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

なお、上記説明において、撮像画像上の位置Ｏは、必ずしも撮像画像の中心位置である必要はなく、撮像光学系１２０の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。

また、本実施形態においては、光学的な像振れ補正手段として、シフトレンズである補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズム（ＶＡＰ）を用いる方法等、種々の像振れ補正手段を用いることができる。

（第２の実施形態）
図１０は、本発明の第２の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。なお、図１０において、図１と同様の構成には同じ符号を付し、説明は省略する。図１０は、図１の構成に対し、動きベクトル検出部１２６、幾何変形量演算部２０３、幾何変形部１４２が削除され、歪曲収差補正テーブル２０１、歪曲収差補正量演算部（歪曲収差補正量算出部）２０２、歪曲収差補正部１４０が追加された構成となっている。

本実施形態においては、ローリングシャッタ歪み補正部１４１において、ローリングシャッタ歪み補正を行う前に、歪曲収差補正部１４０によって、撮像光学系１２０の歪曲収差の補正を行う。歪曲収差補正部１４０の歪曲収差の補正方法としては、種々の方法が提案されており、いずれの方法を用いてもよい。例えば特開２００８−２５９０７６号公報には、画像中心から放射状に歪む歪曲収差の特性を、画像中心からの距離のｎ次多項式で表す方法が開示されている。以下、このｎ次多項式を用いて歪曲収差補正を行うものとして説明を行う。

歪曲収差補正テーブル２０１は、フラッシュメモリ等の不揮発性のメモリ（不図示）に格納された、ズーム位置毎の上記ｎ次多項式の係数である。歪曲収差補正量演算部２０２は、ズームエンコーダ１１９の出力に基づいて、撮像光学系１２０の歪曲収差を補正するために用いる、上記ｎ次多項式の係数を参照し、歪曲収差補正部１４０に供給する。

歪曲収差補正部１４０は、歪曲収差補正量演算部２０２によって設定された係数に基づいて、画像メモリ１２５に格納された撮像画像の歪曲収差を補正する。ローリングシャッタ歪み補正部１４１は、歪曲収差補正部１４０によって、歪曲収差が補正された画像に対して、ローリングシャッタ歪み補正を行う。なお、歪曲収差補正部１４０とローリングシャッタ歪み補正部１４１の動作については、画像の変形を順次行う構成として説明したが、各々のブロックで画像メモリ１２５からの画像読み出しアドレスのみを順次計算し、画像変形は最後にまとめて行う構成にしてもよい。

図１１（ａ）、（ｂ）は、補正光学系１２２による像振れの補正が行われない場合の、歪曲収差補正部１４０による歪曲収差補正について説明するための図である。図１１（ａ）の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。撮像画像内部の歪んだ格子状の図形は、元々図１１（ｂ）に示すような格子状の被写体が、撮像光学系１２０の歪曲収差によって歪んで撮像された被写体である。歪曲収差補正部１４０は、撮像画像の中心位置Ｏを基準位置として、放射状に撮像画像の読み出し位置を変更することによって、歪曲収差の補正を行う。

図１１（ｂ）は、歪曲収差補正が行われた後の出力画像を示しており、図１１（ａ）の歪んだ格子状の被写体が元の形状に補正されている。上述したように、歪曲収差の補正は撮像画像の中心位置Ｏを基準にして行うため、歪曲収差の補正後において、図１１（ｂ）のように上記中心位置Ｏの出力画像上での位置は移動しない。

ローリングシャッタ歪み補正部１４１の動作は、撮像画像に対してローリングシャッタ歪み補正を行っていた点が、歪曲収差補正後の画像に対して行うように変更されること以外は、第１の実施形態で説明したものと同様である。ローリングシャッタ歪み補正部１４１では、図４を用いて説明したのと同様に、画像の中心を通る画像ラインを基準ラインとしてローリングシャッタ歪み補正を行う。すなわち、図１１（ｂ）の出力画像の中心位置Ｏを補正基準位置、中心位置Ｏを通る画像ラインを基準ラインとして、ローリングシャッタ歪み補正を行う。これによって、歪曲収差及びローリングシャッタ歪みの補正を行った後においても、図１１（ａ）の撮像画像の中心位置Ｏの位置は移動しない構成となる。

以上のように、補正光学系１２２による補正を行わない場合においては、歪曲収差補正の基準位置（歪曲収差補正前後で座標が移動しない画素位置）と、ローリングシャッタ歪み補正の補正基準位置とを、両方とも撮像画像の中心位置Ｏとする。これによって、補正光学系１２２による補正を行わない場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

図１２（ａ）、（ｂ）は、補正光学系１２２による像振れの補正が行われる場合の、歪曲収差補正部１４０による歪曲収差補正について説明するための図である。図１２（ａ）の最も外側の四角形の範囲は、撮像装置の全撮像画像の範囲を示している。図１２（ａ）の撮像画像上の位置Ｏ’は、図７で説明したのと同様、撮像画像の中心位置Ｏが、補正光学系１２２の位置が変化することによって移動した移動中心位置である。補正光学系１２２の位置が変化すると、撮像画像上の歪曲収差の中心位置も移動し、上記移動中心位置Ｏ’と略一致する。よって、図１２（ａ）の撮像画像内部の歪んだ格子状の図形は、元々図１２（ｂ）に示すような格子状の被写体が、撮像光学系１２０の歪曲収差によって、移動中心位置Ｏ’を中心として放射状に歪んで撮像された被写体である。

補正光学系１２２による像振れの補正が行われる場合、歪曲収差補正量演算部２０２は、上記ｎ次多項式の係数の他に、Ａ／Ｄ変換器１１８の出力を用いて、上記移動中心位置Ｏ’の位置を演算し、歪曲収差補正部１４０へと設定する。歪曲収差補正部１４０は、歪曲収差補正量演算部２０２から設定された、上記移動中心位置Ｏ’を基準位置として、放射状に撮像画像の読み出し位置を変更することによって、歪曲収差の補正を行う。

図１２（ｂ）は、歪曲収差補正が行われた後の出力画像を示しており、図１２（ａ）の歪んだ格子状の被写体が元の形状に補正されている。歪曲収差の補正は、撮像画像の移動中心位置Ｏ’を基準にして行うため、歪曲収差の補正後において、図１２（ｂ）のように移動中心位置Ｏ’の出力画像上での位置は移動しない。

ローリングシャッタ歪み補正部１４１では、図８を用いて説明したのと同様に、移動中心位置Ｏ’を通る画像ラインを基準ラインとしてローリングシャッタ歪み補正を行う。すなわち、図１２（ｂ）の出力画像の移動中心位置Ｏ’を補正基準位置、移動中心位置Ｏ’を通る画像ラインを基準ラインとして、ローリングシャッタ歪み補正を行う。これによって、歪曲収差及びローリングシャッタ歪みの補正を行った後においても、図１２（ａ）の撮像画像の移動中心位置Ｏ’の位置は移動しない構成となる。

以上のように、補正光学系１２２による補正を行う場合においては、歪曲収差補正の基準位置（歪曲収差補正前後で座標が移動しない画素位置）と、ローリングシャッタ歪み補正の補正基準位置とを、両方とも移動中心位置Ｏ’とする。すなわち、補正光学系１２２が光軸を偏向しないときの撮像画像の中心位置が、補正光学系１２２の位置変化によって移動した位置とする。これによって、補正光学系１２２による補正を行う場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

なお、上記説明において、撮像画像上の位置Ｏは、必ずしも撮像画像の中心位置である必要はなく、撮像光学系１２０の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。

また、本実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。

（第３の実施形態）
図１３は、本発明の第３の実施形態に係る撮像装置の一例として、ビデオカメラの構成を示すブロック図である。図１３の構成は、図１の構成に対し、図１０の構成で説明した歪曲収差補正テーブル２０１、歪曲収差補正量演算部２０２、歪曲収差補正部１４０を追加したものであるため、各ブロック毎の説明は省略する。

図１３の構成においては、画像メモリ１２５に格納された画像に対して、歪曲収差補正部１４０による歪曲収差補正、ローリングシャッタ歪み補正部１４１によるローリングシャッタ歪み補正、幾何変形部によるブレを補正するための画像変形を順次行う。なお、上記３種類の補正は、各々のブロックで画像メモリ１２５からの画像読み出しアドレスのみを順次計算し、画像変形を最後にまとめて行う構成にしてもよい。

本実施形態において、補正光学系１２２による補正を行わない場合は、歪曲収差補正の基準位置と、ローリングシャッタ歪み補正の補正基準位置、幾何変形の基準位置とを、全て撮像画像の中心位置とする。すると、図４、図５、図１１を用いて説明したように、歪曲収差補正、ローリングシャッタ歪み補正及び幾何変形を行う前後において、上記中心位置の出力画像上での位置は移動しない。これによって、補正光学系１２２による補正を行わない場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

また、補正光学系１２２による補正を行う場合は、歪曲収差補正の基準位置と、ローリングシャッタ歪み補正の補正基準位置、幾何変形の基準位置とを、全て移動中心位置とする。すなわち、補正光学系１２２が光軸を偏向しないときの撮像画像の中心位置が、補正光学系１２２の位置変化によって移動した位置とする。すると、図８、図９、図１２を用いて説明したように、歪曲収差補正、ローリングシャッタ歪み補正及び幾何変形を行う前後において、上記移動中心位置の出力画像上での位置は移動しない。これによって、補正光学系１２２による補正を行う場合におけるローリングシャッタ歪み補正において、基準ラインを不適当に設定したことによって被写体位置がずれ、新たなブレが発生してしまうという従来の課題を解決することが可能となる。

なお、上記説明において、撮像画像の中心位置は、必ずしも撮像画像の中心位置である必要はなく、撮像光学系１２０の光軸と直交する撮像画像上の位置近傍であればよい。上記説明においては簡単のため、上記光軸と直交する撮像画像上の位置と撮像画像の中心位置が略一致している、という仮定の下で説明を行っている。

また、本実施形態においては、光学的な像振れ補正手段として、補正光学系１２２を例にとって説明したが、これに限定されるものではない。例えば、撮像素子１２３を駆動する方法や、プリズムを用いる方法等、種々の像振れ補正手段を用いることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。たとえば、ビデオカメラ（撮像装置）によって撮像した画像に対して、ローリングシャッタ歪み補正、歪曲収差補正、幾何変形補正の画像処理をＰＣなどの画像処理装置によって実行してもよい。また、上述の実施形態の一部を適宜組み合わせてもよい。

Claims (12)

1. 撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、
   前記撮像手段により撮像された画像を記憶する記憶手段と、
   振れを検出する振れ検出手段と、
   前記振れ検出手段の出力に基づいて、前記振れによる画像振れを光学的に補正する像振れ補正手段と、
   前記撮像手段が電荷を蓄積する間の前記振れによって発生する、前記画像内の歪みを補正するための歪み補正量を、前記振れ検出手段の出力に基づいて算出する歪み補正量算出手段と、
   前記歪み補正量に基づいて、前記記憶手段に記憶された画像の補正を行う補正手段とを備え、
   前記歪み補正量算出手段は、前記撮像手段の電荷蓄積の開始と終了の間の略中央の時間における、前記光学補正手段の位置に基づいて設定された位置を基準として前記歪み補正量を算出することを特徴とする撮像装置。
2. 前記撮像光学系の歪曲収差によって発生する、前記画像内の歪みを補正するための歪曲収差補正量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する歪曲収差補正量算出手段を更に有し、
   前記補正手段は、前記歪曲収差による画像内の歪みの補正と前記振れによって発生する画像内の歪みの補正を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置の振れによって発生する、前記撮像手段によって撮像される画像間の変形を補正するための幾何変形量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する幾何変形量算出手段を更に有し、
   前記補正手段は、前記振れによって発生する前記画像間の幾何変形の補正と前記振れによって発生する画像内の歪みの補正を行うことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像光学系の歪曲収差によって発生する、前記画像内の歪みを補正するための歪曲収差補正量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する歪曲収差補正量算出手段と、
   前記撮像装置の振れによって発生する、前記撮像手段によって撮像される画像間の変形を補正するための幾何変形量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する幾何変形量算出手段を更に有し、
   前記補正手段は、前記歪曲収差による画像内の歪みの補正、前記振れによって発生する画像内の歪みの補正、および前記振れによって発生する前記画像間の幾何変形の補正を行うことを特徴とする請求項１に記載の撮像装置。
5. 前記歪み補正量算出手段は、前記撮像手段の電荷蓄積の開始と終了の間の略中央の時間における前記歪み補正量をゼロとして前記歪み補正量を算出することを特徴とする請求項１ないし４の何れか１項に記載の撮像装置。
6. 前記画像間の変形とは、画像の回転またはあおりであることを特徴とする請求項１ないし５の何れか１項に記載の撮像装置。
7. 前記歪み補正量算出手段は、
   前記光学補正手段の位置に基づいて設定された位置を含むラインを基準にして他のラインを左右にずらす第１の歪み補正量と、前記他のラインを上下にずらす第２の歪み補正量と、前記他のラインを回転する第３の歪み補正量を算出することを特徴とする請求項１ないし６の何れか１項に記載の画像処理装置。
8. 撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、振れを検出する振れ検出手段と、前記振れ検出手段の出力に基づいて、前記振れによる画像振れを光学的に補正する像振れ補正手段とを有する撮像装置によって撮像された画像に対する画像処理を行う装置であって、
   前記撮像装置により撮像された画像、前記振れの情報、および前記画像を撮像したときの前記像振れ補正手段の位置を記憶する記憶手段と、
   前記撮像手段が電荷を蓄積する間の前記振れによって発生する、前記画像内の歪みを補正するための歪み補正量を、前記振れ検出手段の出力に基づいて算出する歪み補正量算出手段と、
   前記歪み補正量に基づいて、前記記憶手段に記憶された画像の補正を行う補正手段とを備え、
   前記歪み補正量算出手段は、前記撮像手段の電荷蓄積の開始と終了の間の略中央の時間における、前記光学補正手段の位置に基づいて設定された光学補正手段の位置に基づいて設定された位置を基準として前記歪み補正量を算出することを特徴とする画像処理装置。
9. 前記撮像光学系の歪曲収差によって発生する、前記画像内の歪みを補正するための歪曲収差補正量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する歪曲収差補正量算出手段を更に有し、
   前記補正手段は、前記歪曲収差による画像内の歪みの補正と前記振れによって発生する画像内の歪みの補正を行うことを特徴とする請求項８に記載の画像処理装置。
10. 前記撮像装置の振れによって発生する、前記撮像手段によって撮像される画像間の変形を補正するための幾何変形量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する幾何変形量算出手段を更に有し、
    前記補正手段は、前記振れによって発生する前記画像間の幾何変形の補正と前記振れによって発生する画像内の歪みの補正を行うことを特徴とする請求項８に記載の画像処理装置。
11. 前記撮像光学系の歪曲収差によって発生する、前記画像内の歪みを補正するための歪曲収差補正量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する歪曲収差補正量算出手段と、
    前記撮像装置の振れによって発生する、前記撮像手段によって撮像される画像間の変形を補正するための幾何変形量を、前記光学補正手段の位置に基づいて設定された位置を基準として算出する幾何変形量算出手段を更に有し、
    前記補正手段は、前記歪曲収差による画像内の歪みの補正、前記振れによって発生する画像内の歪みの補正、および前記振れによって発生する前記画像間の幾何変形の補正を行うことを特徴とする請求項８に記載の画像処理装置。
12. 撮像光学系により結像された被写体像を受光して電荷を蓄積するタイミングがラインによって異なる撮像手段と、前記撮像手段により撮像された画像を記憶する記憶手段と、を有する撮像装置の制御方法であって、
    振れを検出する振れ検出ステップと、
    前記振れ検出ステップからの出力に基づいて、前記振れによる画像振れを光学的に補正する像振れ補正ステップと、
    前記撮像手段が電荷を蓄積する間の前記振れによって発生する、前記画像内の歪みを補正するための歪み補正量を、前記振れ検出手段の出力に基づいて算出する歪み補正量算出ステップと、
    前記歪み補正量に基づいて、前記記憶手段に記憶された画像の補正を行う補正ステップとを備え、
    前記歪み補正量算出ステップにおいては、前記撮像手段の電荷蓄積の開始と終了の間の略中央の時間における、前記光学補正手段の位置に基づいて設定された光学補正手段の位置に基づいて設定された位置を基準として前記歪み補正量を算出することを特徴とする撮像装置の制御方法。

Images