JP2015070328A - 撮像装置およびその制御方法 - Google Patents

Abstract

【課題】 センサから得られる情報を用いつつ、センサで検出されない撮像装置の動きによる像振れなどを幾何変形処理の適用によって精度良く補正することが可能な撮像装置およびその制御方法を提供する。
【解決手段】 撮像素子で取得した画像間の動きベクトルと、少なくとも撮像光学系の光軸に直交する軸周りの回転方向の振れに関する振れ情報とに基づいて、画像間の変化量を算出する。そして、振れ情報および変化量に基づいて決定した振れ補正量に基づいて、撮像素子で取得した画像を幾何変形する。変化量は撮像装置の光軸に直交する方向の振れ成分であり、振れ情報に含まれる回転方向の振れによって生じる画像間の変化および、撮像素子の露光期間ずれの影響により生じる画像間の変化の少なくとも一方を除去した後で算出する。
【選択図】 図１

Description

本発明は撮像装置およびその制御方法に関し、特には防振機能を備える撮像装置およびその制御方法に関する。

従来、撮像装置の動きによって発生する撮像画像のブレ（像振れ）を補正（軽減）するいわゆる像振れ補正機能が知られており、像振れ補正機能を実現する代表的な方式として、光学式像振れ補正と、電子式像振れ補正がある（特許文献１）。光学式像振れ補正は、検出された撮像装置の振れ量に基づき、シフトレンズや撮像素子といった光学部材を光軸と直交する面内で移動させることで、被写体像の動きを抑制する方式である。また、電子式像振れ補正は、撮像可能範囲よりも小さい有効画素領域を設定し、検出された撮像装置の振れ量に基づいて有効画素領域の位置をずらすことで、被写体像の動きを抑制する方式である。これらはいずれも、被写体像の垂直、水平方向への動き（画像の並進）による撮像画像のブレ（像振れ）を抑制する技術である。

特開２０１１−１４５６０４号公報 特開２０１０−２５９６１号公報 特開２００８−２５９０７６号公報

このような光学防振機能は、ヨー軸（水平軸）周りの（左右方向の）回転運動と、ピッチ軸（垂直軸）周りの（上下方向の）回転運動を検出するセンサを用いて得られる撮像装置の動きに基づいている。一方、これらのセンサでは、撮像装置の６自由度の運動のうち、３方向の並進運動（座標軸に平行な運動）や、ロール軸（光軸）周りの回転運動は検出できない。並進運動については特許文献２に記載されているように加速度センサを設ければ検出できるが、実装上の理由や、コスト面の理由により容易ではない。また、ロール軸周りの回転運動を検出するセンサについても同様である。

一方、特許文献３には、撮像画像から検出した動きベクトルに応じた幾何変形処理を撮像画像に適用し、撮像装置の６自由度の動き（３方向の回転運動及び３方向の並進運動）による像振れを補正する技術が提案されている。幾何変形処理による画像補正技術は、撮像装置の動きによる像振れの補正以外にも、光学収差の補正や、ＣＭＯＳイメージセンサに固有なローリングシャッタ歪みの補正、被写体を下方向から撮影した場合の歪み（あおり歪み）などの補正に利用することができる。そのため、光学手振れ補正した画像（光学防振画像）に対して幾何変形処理を適用することで、より高度な防振効果を実現することが考えられる。

しかしながら、幾何変形処理を適用する際に動きベクトルを用いて画像の歪みを検出したり推定したりする方法では、シーンによって精度が低下したり、高精度の推定のために必要な計算量が多くなったり、推定自体が困難だったりする。例えば、室内で撮影された画像のようにコントラストが低い画像では、動きベクトルの検出ができなかったり、誤った動きベクトルが検出されたりしやすくなる。そのため、例えば、動体に合わせてローリングシャッタ歪補正をすると、静止しているはずの部分が歪んだり、補正後の映像の揺れが止まらないといった弊害が発生する可能性がある。

また、ロール方向のローリングシャッタ歪を動きベクトルから推定しようとした場合、撮像装置の振れも同時に推定すると推定変数が多くなり、計算量の爆発的な増加、解推定の不安定化を引き起こす。またローリングシャッタ歪を動きベクトルから高精度に推定すること自体が容易でない。さらに、放射歪(Radial Distortion)、倍率色収差等の光学収差の補正パラメータも同時に動きベクトルから推定しようとすると一層困難性が高くなる。

本発明はこのような従来技術の課題に鑑みなされたものである。本発明の目的は、センサから得られる情報を用いつつ、センサで検出されない撮像装置の動きによる像振れなどを幾何変形処理の適用によって精度良く補正することが可能な撮像装置およびその制御方法を提供することにある。

上述の目的は、撮像装置であって、撮像素子で取得した画像間の動きベクトルを検出する検出手段と、少なくとも撮像光学系の光軸に直交する軸周りの回転方向の振れに関する振れ情報を取得する取得手段と、振れ情報と動きベクトルに基づいて、画像間の変化量を算出する算出手段と、振れ情報および変化量に基づいて振れ補正量を決定する決定手段と、撮像素子で取得した画像を振れ補正量に基づいて幾何変形する変形手段とを有し、算出手段は、振れ情報に含まれる回転方向の振れによって生じる画像間の変化および、撮像素子の露光期間ずれの影響により生じる画像間の変化の少なくとも一方を除去した後、撮像装置の光軸に直交する方向の振れ成分を変化量として算出することを特徴とする撮像装置によって達成される。

本発明によれば、センサから得られる情報を用いつつ、センサで検出されない撮像装置の動きによる像振れなどを幾何変形処理の適用によって精度良く補正することが可能な撮像装置およびその制御方法を提供できる。

第１の実施形態に係る撮像装置の一例としてのデジタルカメラにおける、防振制御に関する機能構成例を示す図 ブロックマッチングを説明する模式図 実施形態における画像変化量の算出処理を説明するフローチャート 実施形態における対応点（動きベクトル）補正処理を説明するフローチャート ヨーおよびピッチ軸周りの回転運動により生じたローリングシャッタ歪（ＲＳ歪み）およびその補正例を示す図 実施形態における歪曲補正の例を説明する図 実施形態における回転動き除去処理を模式的に説明する図 姿勢変化パラメータ算出処理の幾何学的な意味を説明する図 フレーム期間ごとの姿勢変化を積分していく様子を模式的に示す図 第２の実施形態に係る撮像装置の一例としてのデジタルカメラにおける、防振制御に関する機能構成例を示す図 第２の実施形態において水平並進t_xと垂直並進t_yを２次元ヒストグラム処理により求める方法を模式的に示す図 防振レンズを用いた光学防振を説明する図 典型的な補間方法の一例であるバイリニア補間について説明するための図 振れ補正に用いる標準的な幾何変形の例を示す図 第２の実施形態における、ローリングシャッタ歪補正、歪曲補正、振れ補正それぞれの幾何変形の基準座標を画像中心とする制御を模式的に示す図

●（第１の実施形態）
以下、添付図面を参照して、本発明の例示的な実施形態について詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラ１００における、防振制御に関する機能構成例を示す図である。図１では、一般的なデジタルカメラが有する構成のうち、本発明と直接関連のない構成については図示を省略している。

光学系１は、フォーカスレンズを含む複数枚のレンズとミラーとを有し、被写体１０からの入射光を撮像素子２の撮像面上に結像させる撮像光学系である。撮像素子２はＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、複数の画素が２次元配列された構成を有する。本実施形態ではローリングシャッタ歪みを幾何変形処理によって補正する例を説明するため、撮像素子２がＣＭＯＳイメージセンサであるものとするが、ＣＣＤイメージセンサであってもよい。

振れ情報取得部３は、例えばジャイロ等の姿勢センサを有し、光学系１の光軸に直交する任意の軸に取り付けられる。振れ情報取得部３は、デジタルカメラ１００の姿勢変化を表す信号を光学防振制御部３および演算部８に出力する。例えば姿勢センサが回転センサの場合、デジタルカメラ１００のヨー方向とピッチ方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測する。

前処理部４は、撮像素子２での光電変換で得られるアナログ画像信号に対して相二重サンプリング（ＣＤＳ）によるノイズ除去、オートゲインコントロール（ＡＧＣ）でのゲインアップによる露出制御、黒レベル補正、Ａ／Ｄ変換等の基礎的な処理を行う。前処理部４は、得られたデジタル画像信号を変形処理部８に供給する。前処理部４はＡＦＥ（アナログフロントエンド）とも呼ばれる。撮像素子２がデジタル画像信号を出力する場合の前処理部はＤＦＥ（デジタルフロントエンド）と呼ばれる。

動きベクトル算出部５は、前処理部４から出力される連続した輝度フレーム、輝度及び色差フレーム、またはＲＧＢフレーム等の映像フレーム（フレーム画像）を入力とする。ただし、前処理部４が出力するフレーム画像をデジタルカメラ１００が有する画像処理部によって動きベクトル検出用に処理してから動きベクトル部５の入力としてもよい。動きベクトル検出用の画像フレームとしては、例えば微分画像フレームや、２値画像フレームなどであってよい。動きベクトル算出部５は、入力されたフレーム画像間の動きベクトル（動き情報）を検出する。

動きベクトル算出部５は、前処理部４より入力された現在のフレーム画像、すなわちカレントフレームと、それ以前に入力されて前処理部４もしくは動きベクトル算出部５のワークメモリに蓄積された過去のフレーム画像との間で動きベクトルを算出する。過去のフレーム画像はカレントフレームの直前に撮影されたフレーム画像でもよいし、それ以前に撮影されたフレーム画像でもよい。ワークメモリは、例えば、いわゆる先入れ先出しのメモリで構成することにより、メモリブロックの数で出力の遅延量を制御できる。

変化量算出部６は、
・光学系１の焦点距離（画角）や撮像素子２のピクセルサイズ等からなるカメラパラメータ、
・振れ情報取得部３から得られるデジタルカメラ１００の姿勢変化の情報、
・動きベクトル算出部５から得られる動きベクトル情報、
に基づきフレーム画像間の画像変化量を算出する。

補正量演算部７は、変化量算出部６が出力した画像変化量を時系列処理し、振れ補正のための幾何変形量、すなわち補正量を算出する。この際、補正量演算部７は、補正の強さや幾何変形のマージン量などを考慮して補正量を算出する。

変形処理部８は、補正量演算部７で算出した補正量、焦点距離やピクセルサイズ等のカメラパラメータ等に基づいて、前処理部４が出力する画像データに幾何学的な変換を実現する演算を適用する。

変形処理部８による幾何変形処理で振れの影響が抑制されたフレーム画像は、デジタルカメラ１００が有する表示部に表示されたり、必要に応じて符号化された後に記録部で半導体メモリカードや磁気記録装置などの記録媒体に記録されたりする。また、有線や無線通信を通じて外部装置に転送されてもよい。これらは撮像画像の用途の例示であり、例えばＨＤＲ画像の合成に用いられたり、他の任意の用途に用いられてよい。

各部の動作について順を追って説明する。
まず、振れ情報取得部３では、姿勢センサを構成するジャイロセンサ等からサンプリング周波数f_{s_g}に応じた頻度で得られる電圧値や電流値、もしくはデジタル値で得られるセンサ出力情報を、角度の変化量に変換して出力する。例えば、振れ情報取得部３がデジタル出力のジャイロセンサを用いた姿勢センサであるとする。この場合、振れ情報取得部３は、（式１）に示すように、座標軸方向ごとのセンサ出力値val_{x_g}に、事前のキャリブレーションで取得した補正ゲインgain_xを乗じて角速度rat_{x_g}(i)を得る。なお、軸ごとに１つのセンサを用いる必要は無く、多軸の姿勢変化を一度に計測可能なセンサを用いてもよい。

ここで、”ｘ”は光学系の光軸を基準とした直交座標系の軸方向を表し、デジタルカメラ１００のヨー方向（ｘ＝Ｙ）、ピッチ方向（ｘ＝Ｐ）、ロール方向（ｘ＝Ｒ）のいずれかである。なお、ここでは振れ情報取得部３が、ヨー方向とピッチ方向の角速度情報を検出し、ロール方向については検出しないため、ロール方向（ｘ＝Ｒ）はかっこで囲んでいる。また、”＿ｇ”は姿勢センサ（振れ情報取得部３）の計測値から得られた情報であることを示す。

また、振れ情報取得部３が算出する角速度情報は、ジャイロセンサの１サンプリング期間t_{s_g}=１/f_{s_g}における角度変化で表現されるデジタルカメラ１００の姿勢変化とみなせる。サンプリング周波数が高くて時間あたりの情報量が多すぎる場合や、用途に応じて、複数のサンプル値を積分してデータ量を削減してから補正量演算部７に供給してもよい。例えば、ローリングシャッタ歪補正量の算出に用いる場合はサンプリング周波数f_{s_rsc}に、フレーム間の姿勢変化を表す場合はサンプリング周波数f_{s_fr}に相当するよう、角速度情報を積分してよい。

例えばf_{s_g}は1kHzを超える場合もあるが、f_{s_fr}は60Hzや30Hzであってよく、この場合は２０〜３０サンプル程度が積分される。また、f_{s_rsc}は、理想的には画素の各像高に対応したタイミングとなる値とすることが好ましい。しかし、フレームレートが60fpsでHD解像度の動画撮影時には60kHzを超える周波数となってしまうため、少なくともフレームレートを超え、可能な限り高いサンプリングレートで角速度情報を取得する。角速度情報の取得タイミングと合わない像高については、予測、補間、ホールド等の技術を利用し、他のタイミングで取得したサンプル値から値を生成する。

高サンプリングレートの情報生成処理は、補正量演算部７、変形処理部８など、角速度情報を利用する機能ブロックで実行してもよい。以下、任意のサンプリング周波数をf_{s_y}(:f_{s_rsc}, f_{s_fr},...)とおく。以下の（式２）に基づく積分により、それぞれの処理に合ったサンプリング期間の姿勢変化量に変換して情報の受け渡しを行う。

ただし、dt=t_{s_y}とする。n_{y_g}は姿勢センサのサンプリング期間(1/f_{s_g})を１とした積分後のサンプリング期間(1/f_{s_y})の倍率(f_{g_y}/f_{s_y})である。rat_{x_y}(j)は、上述した軸ｘ（ヨー軸、ピッチ軸（、ロール軸））に対する、サンプリング目的ｙ、時間ｊの姿勢変化量を表す。t_{s_y}は目的別のサンプリング間隔(=1/f_{s_y})を表す。

また、振れ情報取得部３を、センサのサンプル値に対して精度を向上させる処理を適用してから出力するような構成としてもよい。例えば、ジャイロセンサを用いている場合、オフセットのドリフトを抑制する処理を適用することができる。例えば、加速度センサを追加して姿勢変化情報の比較処理を行うことで、ドリフトを抑制する構成としてもよい。であってもよい。センサ出力値の精度向上処理に特に制限は無く、任意の公知技術を用いることができる。

動きベクトル算出部５では、前処理部４で直近に処理されたカレントフレームと、過去に処理されてワークメモリに保存された過去フレームとの間で動きベクトル（動き情報）を算出する。動きベクトルの算出では、テンプレートマッチングや各フレームで算出した特徴点間のテーブルマッチング、勾配法に基づく動きベクトル推定等により、フレーム間の動きベクトルもしくは特徴点間の軌跡を算出する。

図２にテンプレートマッチングの一種であるブロックマッチングの例を示す。ここでは過去フレームを基準画像２０１、カレントフレームを探索画像２０２とする。動きベクトル算出部５は、基準画像２０１でグリッド状に配置した注目点２０４を中心とした所定サイズの部分領域をテンプレート２０３とし、探索画像２０２中で任意の探索領域２０７を設定しテンプレート２０３と最も合致する領域を探索する。具体的には、動きベクトル算出部５は、探索画像２０２の注目画素２０５を基準とした領域２０６の位置を変更しながら、基準画像２０１のテンプレート２０３との類似度を計算し、類似度が最も高い領域を探索する。類似度の指標としてはSSD(Sum of Square Difference)、SAD(Sum of Absolute Difference)、正規化相互相関(NCC: Normalized Cross-Correlation)等を用いることができる。ただし、実写映像の様にフレーム間の輝度変動が激しくなりうる場合は正規化相互相関が用いられることが多いため、本実施形態でも正規化相互相関を用いるものとする。テンプレート２０３の大きさがＮ×Ｍ（画素）の場合、正規化相互相関の類似度スコアの算出式は以下の（式３）で表される。

なお、(x, y)は基準画像(I)２０１におけるテンプレート２０３の位置を、(x’, y’)は探索画像(I’)２０２における領域２０６の位置（例えば中心である注目点２０４の座標）を示す。Ｉ_{(x, y)}(i, j)はテンプレート２０３内の画素の座標を、Ｉ’_{(x’, y’)}(i, j)は領域２０６内の画素の座標を示す。

動きベクトル算出部５は、探索領域２０７で領域２０６の位置をずらしながら類似度を一通り算出した結果、最も高い類似度が得られた領域２０６の位置を、注目点２０４の対応点とみなし、動きベクトルを算出する。オクルージョンがなければ、基準画像２０１で設定した注目点２０４の数だけ動きベクトルが算出される。動きベクトルは、それぞれ基準画像２０１の注目点を始点とし、探索画像２０２の対応点を終点とするベクトルにより表現される。

また動きベクトルは主にメモリ量の削減のため、ベクトルの変化成分に注目した次式の表現を採用することも多い

また、動きベクトル算出部５は、探索領域２０７における相関スコアに対して多項式フィッティングを実施し、より高精度に類似度のピーク位置を探索してもよい。また、動きベクトル算出部５は、テンプレート２０３と探索領域２０７を高画素化するなどしてサブピクセル精度で動きベクトルもしくは対応点の軌跡を算出してもよい。

ここでは、注目点をグリッド状に固定配置したブロックマッチングの例を説明した。しかし、動きベクトルを算出しやすい特徴点を基準画像で抽出し、抽出した特徴点を注目点として動きベクトルを探索しても良い。注目点の抽出にはHarrisオペレータ等の画像処理フィルタを用いることができる。

Harrisオペレータは画像のコーナーを検出するために用いる行列である。まず、ウィンドウサイズＷを決定し、水平および垂直方向についての微分画像（I_dx, I_dy）を計算する。微分画像の計算にはSobelフィルタ等を用いればよい。例えばｈ＝［１，√２，１］／（２＋√２）を横方向にし、縦方向に３つにならべた３×３フィルタh_x、および縦方向にし、横方向に３つならべた３×３フィルタh_yを画像に適用し、微分画像（I_dx, I_dy）を得る。

そして、画像内の全ての座標(x, y)について、ウィンドウＷを用いて、次のマトリクスＧを計算する。

マトリクスＧの最小特異値が大きい座標(x, y)の順に特徴点を抽出していく。その際、特徴点があまり密集しないほうが好ましい。そこで既に特徴点が抽出済みの座標(x, y)のウィンドウサイズＷの周辺はもう特徴点を算出しないようにしてもよい。

動きベクトル検出時にカレントフレームとして用いたフレームを過去フレームとした動きベクトル検出を行う場合、再度特徴点を求めてテンプレートマッチングを行っても良い。しかし、先に検出した動きベクトルを利用し、動きベクトルの終端（過去フレーム上の点）を注目点として用いてテンプレートマッチングを行ってもよい。
または、各フレームで算出した特徴点間で特徴量をキー情報としてテーブルマッチングを実施し、対応付けを行っても良い。例えばグラフアルゴリズムを活用することにより冗長な対応付け作業を削減することができるため効率的な対応付けが可能である。

変化量算出部６では、カメラパラメータ、振れ情報取得部３から得られる撮像装置の姿勢変化情報、動きベクトル算出部５から得られる動きベクトル情報、に基づき、フレーム画像間の変形量、つまり画像変化量を算出する。

画像変化量の算出処理は図３のフローチャートに示す、対応点（動きベクトル）補正ステップ（Ｓ１００）と、姿勢変化推定ステップ（Ｓ２００）の２つのステップにより実施される。
Ｓ１００で変化量算出部６は、動きベクトル算出部５から得られる動きベクトルを画像上の対応点に変換し、補正を行う。変化量算出部６は、振れ情報取得部３で得られた姿勢変化情報に基づき、まず各フレーム画像におけるローリングシャッタ歪、歪曲を除去した無歪画像上での座標変化に変換する。また、変化量算出部６は、姿勢変化情報からデジタルカメラ１００のヨーおよびピッチ軸周りの回転運動による座標変化を除去し、ピッチ軸（光軸）周りの回転運動および並進移動により生じる画像変化のみを座標変化として残す。並進運動により生じる画像変化は、水平および垂直方向への並進、拡大縮小、視差の変化がある。

図４は歪を含んだ動きベクトル情報から、デジタルカメラ１００の並進運動による画像変化のみを残した対応点情報を得るための処理の流れを示すフローチャートである。
最初の対応点化ステップＳ１０１で変化量算出部６は、入力情報が動きベクトルの場合、動きベクトル算出部５で動きベクトルを算出する際に利用した注目点の座標情報も併せて取得し、各フレーム画像の対応位置を表す対応点に変換する。具体的には、変化量算出部６は、動きベクトルΔx→=(Δx, Δy)を（式６）に従い、注目点x→=(x, y)と、対応点x’→=(x’, y’)に変換する。

なお、Ｓ１０１における対応点化処理および以降の処理は画像座標系で行っても良いが、画像サイズやズームによる影響が大きいため正規化画像座標系に変換した方がよい。正規化画像座標系とはピクセル単位の焦点距離で画像座標を正規化した無次元空間である。従って、実際の幾何変形処理においては以降で説明する座標変換処理Hの行列をカメラパラメータ行列Cおよびその逆変換行列C^-ではさんだ行列式CHC^-により、正規化画像座標上での幾何変形として実施する。あるいは、次式のように対応点座標をまず変換し、座標演算を行う。

ここで、fはピクセル単位の焦点距離、C_x, C_yは画像中心の位置である。以下サフィックスnは省略する

次に、Ｓ１０２で変化量算出部６は、ローリングシャッタ歪除去処理を行う。変化量算出部６は、振れ情報取得部３から得られる、フレーム間におけるデジタルカメラ１００の姿勢変化情報に基づき、対応点座標から、デジタルカメラ１００の振れによって生じたローリングシャッタ歪を除去する。なお、振れ情報取得部３でデジタルカメラ１００のヨー軸およびピッチ軸周りの回転運動のみ検出する場合、ここで除去するローリングシャッタ歪みもヨー軸、ピッチ軸周りの回転運動による歪成分である。

以下の（式８）は、ローリングシャッタ歪の発生過程を表す現象式である。

ここで、x’はローリングシャッタ歪み画像座標、x→はローリングシャッタ補正後の画像座標、m()は空間動きモデル関数である。右辺の第２項は基準ラインy₁と幾何変形の対象画素を含む水平ラインyとの露光期間のズレ(y-y₁)τの間に生じたデジタルカメラの動きによって生じる画像上の動きを表す。t₁は基準ラインの撮影（露光）時刻、tは補正対象の画素を含む水平ラインの撮影（露光）時刻、p→(t)は動き情報パラメータを表すベクトル量である。

空間動きモデル関数m()は元の画像座標ｘと運動に関する微小期間のモデルパラメータp→(t)から画像上の座標変化を表す関数である。そして、光学系１の主点周りの姿勢変化、例えば回転量を表すヨーα、ピッチβ（、ロールγ）、を動き情報パラメータとして用いることができる。また、画像上グローバルな動きを表現可能な、垂直・水平方向の並進t_x, t_yや面内回転θといった画像のレジストレーションパラメータにより動きをモデル化できるなど、幅広く利用可能なモデルである。

さらに、振れ情報取得部３から得られる姿勢変化情報が、デジタルカメラ１００のヨー、ピッチ（、ロール）方向の姿勢変化を表す場合、式（８）の簡略化が可能となり、以下の（式９）に示すように、関数m()が積分の外に括り出せる。

また、例えばヨーやピッチ方向の撮像装置の回転に対し、変化量の大きい画像の並進成分についてのローリングシャッタ歪の影響のみ考慮する。この場合、m(θ)はftanθと表現可能である。θは積分期間で積分した動き情報パラメータ（回転姿勢センサの情報ならば基準行露出時から対象行露光時までの姿勢角の変化）である。したがって、ある水平ラインに含まれる画素に対する補正式は、

といった表現が可能である。ｘ’→は歪座標、x_rsc→は各画像中の歪を含む対応座標点からローリングシャッタ歪を除去した座標点である。ローリングシャッタ歪除去および次に説明する歪曲除去処理は対応点の過去フレーム及びカレントフレームの両方に対して適用する。x'→(,l)とは、ローリングシャッター歪画像の像高lの水平ライン中の任意の画素の補正式であることを示す。つまり、同一水平ラインに含まれる画素に関しては、同一の補正量が適用されることを示している。

このような現象のモデル式の解釈や近似に基づき導出した補正式により、変化量算出部６は各フレーム内の対応点の座標値からローリングシャッタ歪の影響を除去する。本実施形態においては、ヨー、ピッチ方向の回転センサ信号に基づく補正式を（式１０）に示す。（式１０）は、基準行露出時から対象行露光時までの姿勢角の変化による画像変化を補正している。

式１０内のθ_Y(t), θ_P(t)は、ローリングシャッタの像高タイミングに合わせ（式２）で変換したフレーム期間内の撮像装置の各ヨー、ピッチ方向の姿勢変化情報である。θ_x(t)関数のサンプリング位置が存在するセンサデータのサンプリング位置の中間の場合には、前述のように予測、補間、ホールド等の技術を利用して姿勢変化の情報を生成する。図５（ａ）〜（ｂ）に、ヨーおよびピッチ軸周りの回転運動により生じたローリングシャッタ歪（ＲＳ歪み）およびその補正例を示す。図５のy1は任意に定めた基準像高である。基準像高の画素は補正量が０となるため移動しない。

次に、Ｓ１０３で変化量算出部６は、ローリングシャッタ歪を除去した座標情報x_src→から歪曲の影響を除去する歪曲補正処理を行う。歪曲補正は放射歪や倍率色収差といった光学系の収差により生じる歪を幾何変形で補正する処理であり、主に放射歪を補正する。まず、変化量算出部６は、光学系１の焦点距離、合焦距離、絞り値等の撮像パラメータを取得する。そして、変化量算出部６は、焦点距離、合焦距離、絞り値をインデックスとして検索可能な形式で歪曲補正情報を保持する、変化量算出部６内の歪曲補正情報保持部から、歪曲補正情報を幾何変形パラメータとして取得する。幾何変換パラメータとしては例えば、光学系１の設計データより出力される歪曲率、もしくはその変形である理想像高と歪像高の比のテーブル等であってよい。

ここでは、幾何変換パラメータとして理想像高と歪像高の比のテーブルを用いた場合を例に補正の座標演算の詳細を説明する。歪曲補正の座標演算は、入力座標を変換中心（座標変換の基準座標）X_0d, Y_0dを基準に極座標化して求めると効率的に演算可能となる。座標の幾何補正は（式１１）で表現することができる。変換中心X_0d, Y_0dには画像中心を用いると精度の高い補正が可能となる。

f(r)は理想像高と歪像高の比を、歪像高を引数として上述のテーブルから補間して抽出する操作を表す。３つ目の式は極座標で求めた補正量を用い直交座標上で座標変換をおこなう操作を表している。

図６に歪曲補正の例を示す。図６（ａ）は元画像であり、図中の一点鎖線は方形の被写体が歪曲して撮影されている状態を示している。図６（ｂ）は歪を補正した画像であり、被写体領域が正しい形状に補正されている。また、図６（ｃ）は、光学防振による影響を考慮し、基準座標を元画像の中心座標（×印）から、光学防振により移動した画像の中心座標（黒丸）に移動させて幾何変換を実施した例を示している。

Ｓ１０４で変化量算出部６は、ローリングシャッタ歪や歪曲を除去した無歪座標空間で残留する、デジタルカメラ１００の回転運動による対応点の座標変化を除去する回転動き除去処理を行う。無歪座標空間におけるデジタルカメラ１００は、カメラパラメータを用いてピンホールカメラモデルに置き換え可能である。そのため、変化量算出部６は、ピンホールカメラモデルに基づき、回転姿勢センサで得られたフレーム間の姿勢変化を用いて回転運動による座標変化を除去する。例えば、デジタルカメラ１００の回転運動をヨーおよびピッチの２軸周りについてのみ検知する場合を想定すると、XYZオイラー角表現を用い、（式１２）のように幾何変形パラメータのホモグラフィが与えられる。

rat_{x_fr}(j), (x=Y, P)は、それぞれ、あるフレーム間jに積分したデジタルカメラ１００のピッチ、ヨー軸周りの回転量である。

変化量算出部６は、このホモグラフィを正規化画像座標系において対応点に適用することで回転運動による画像変化を除去する。例えば、過去フレーム画像の座標にこのホモグラフィを適用し、ピッチ、ヨー軸周りの回転運動の影響を除去する。

X_０h、Y_０hは変換の中心（幾何変換の基準座標）を明示した項である。画像中心を原点にした変換では必要ない。

図７を用いて、回転動き除去処理を模式的に説明する。図７（ａ）に示すように、正方形の被写体を正面から撮影しているデジタルカメラ１００が、被写体に対し左ヨー方向に回転した状態を考える。これにより、図９（ｂ）左に示す、回転前の状態の過去フレーム画像が、図９（ｂ）右に示すカレントフレーム画像のように変化する。すなわち、画像中で被写体が右に移動するとともに、正対した状態から外れることで、あおりによる被写体形状の変化が見られる。

ここで、過去フレーム画像の注目点ｘ_iの、カレントフレーム画像における対応点がx’_iである。そのため、Ｓ１０４の回転動き除去処理において変化量算出部６は、過去フレーム画像の注目点座標ｘ_iを（式１２）のホモグラフィにより変換し、図７（ｃ）に示す、回転運動による座標の移動を除去した座標ｘ”iを得る。見方を変えれば、過去フレームの注目点x_iに、デジタルカメラ１００の回転運動による回転の画像変化を加えてx”_iを得る処理を行う。

以上説明した対応点（動きベクトル）補正ステップ（Ｓ１００）を実施することにより、変化量算出部６は、ローリングシャッタ歪、歪曲歪、およびデジタルカメラ１００の回転運動による変位の影響を除去した対応点を得ることができる。対応点間の動きには、静止シーンの場合は主にデジタルカメラ１００の並進運動による画像変位、視差による画像変位のみが含まれるようになる。

次に、Ｓ２００で変化量算出部６は、カレントフレームと過去フレーム間の補正済み対応点を入力として、これらフレーム間におけるデジタルカメラ１００の姿勢変化を推定する姿勢変化推定処理を行う。Ｓ１００の対応点（動きベクトル）補正ステップにおいて、正規化画像座標系における値へと変換し、歪の影響およびデジタルカメラ１００の回転運動による影響を除去した対応点情報に基づいて、変化量算出部６は姿勢変化推定処理を行う。

後で実施する幾何変形処理では、射影変換により映像の防振を行うので、ここでは、射影自由度の画像変化に関連するデジタルカメラ１００の姿勢変化、またはその結果である画像変化のパラメータを推定する。射影自由度に関するデジタルカメラ１００の姿勢変化と画像変化の関係は次の（式１４）で表わすことができる。

ここで、R, t→はデジタルカメラ１００の回転および並進方向の動き、dは基準面までの距離、n→は基準面のデジタルカメラ１００から離れる向きの法線、λは任意定数であり、２画像間からの算出では、空間平面の距離ｄの大きさを表す量である。図８（ａ）〜図８（ｃ）にこれらパラメータの幾何学的な意味を模式的に示す。

ここで、t→のノルムとdの値の比は２つのフレーム画像から一意に求めることができない。そこでt→は並進方向を表す単位方向ベクトルnorm(t→)=１とし、dは空間平面までの距離と並進量の大きさの積として扱う。図８（ａ）にその幾何学的関係を示す。対応点x_i→ ←→ x_i’→は過去フレームの視点Cおよびカレントフレームの始点C’で撮影された画像である。その際、x_i→ ←→ x_i’→が全て空間中の平面Π上の点Xであればデジタルカメラ１００の回転運動Ｒおよび並進運動t→によって生じる画像変化は、（式１２）のHで一意に表すことが可能である。

つまり、平面Π上の点Xの各撮影画像上への射影である対応点x_i→ ←→ x_i’→間の画像変化は以下の式で説明可能である。なお、x_i￣, x’_i￣は、各対応点を斉次座標化した３要素ベクトル値である。

ここで、空間中の平面Πはピンホールカメラでモデル化した過去フレーム座標からの距離d、法線nで定義される。

姿勢変化推定処理においては、対応点x_i→ ←→ x_i’→の一方を幾何変換によりマッピングした際のずれを以下の誤差関数として、HのパラメータであるR, t→, n→, dを推定処理により求める。

誤差関数式の｜｜は、ベクトルのノルムを表す。そして変化量算出部６は、誤差関数を最小にするR, t→, n→, dを任意の推定処理により求める。誤差関数はL1ノルム式を例示したが、L2ノルム式を用いても良い。具体的には（式１６）に直接、多変数の非線形推定処理を適用してR, t→, n→, dを求めても良い。あるいは、エピポーラ推定に基づく姿勢推定によりまずR, t→を求め、次に対応点x_i→ ←→ x_i’→、得られたR, t→に対して三角視を適用しn→, dを求めるといった一般的な推定手法の組み合わせを用いてもよい。

しかしながら、一般的なシーンにおいて、対応点x_i→ ←→ x_i’→の算出対象となる空間点Ｘが任意の空間平面上に都合よく設定できるとは限らず、むしろその可能性は低い。従って、より一般的には、図８（ｂ）に示すように、空間点Xの包絡面として平面Πは定義される。

しかし、時間方向の対応点の分布変化を考えた場合、対応点x_i→ ←→ x_i’→が得られる空間点Ｘの分布は被写体位置及び動きベクトル算出手法に依存し時々刻々と変化してしまう。つまり、平面Πの向きn→が時間方向で不安定に変化しやすく、その結果、防振の効果が高く得られる画像中の位置が刻々と、かつ撮影者の意図によらず変化してしまう恐れがあった。

この問題は、図８（ｃ）に示すように平面Πの向きn→を、過去のデジタルカメラ１００の視点Cの撮像面と平行（つまりn’→＝[０ ０ １]^T）に定義することで解決できる。この定義に従い、(式１６）の推定式を書き換えると、以下のように単純化可能である。

この定義を用いることで、図８（ｃ）に示すように、防振の基準面となる平面Πは空間点Ｘの包絡面とならなくなる。これにより、誤差関数の値が大きくなる恐れがあるが、防振の基準面が時間方向で一定するため、画像変化量を安定して算出できるという防振用途における利点が得られる。

平面Πのこの定義に加え、デジタルカメラ１００の回転運動が対応点に与える影響は、歪曲除去処理においてロール軸周りの回転運動の影響以外は除去されている（R=Rz(φ)）ものとすると、姿勢推定式は以下のように一層簡略化できる。

ただし、式変形には

および斉次の性質を用いた。

ここで（式１９）は、一般的なヘルマート変換（相似変換）パラメータの推定式であることがわかる。従って、デジタルカメラ１００のロール軸（光軸）周りの回転運動と、光軸と垂直な軸方向への並進運動による画像変化を例えば最小自乗法により求めることで、残りの画像変化のパラメータを推定できる。sは拡大縮小、θは面内回転、t’_xは水平並進、t’_yは垂直並進である。以下の説明では再度、t’_x→t_x，t’_y→t_yに戻す。

補正処理で用いた回転を表現するホモグラフィと、ここで算出したデジタルカメラ１００のヘルマートパラメータのホモグラフィの積H’が、フレーム画像間の射影自由度の画像変化を表す。これは、デジタルカメラ１００の６軸自由度の姿勢変化により生じた動きのパラメータに相当する。これにより、視差以外のフレーム間の画像の変化を表したホモグラフィが得られる。H’は以下の（式２０）で表される。

つまり、本実施形態のように、デジタルカメラ１００のヨー軸およびピッチ軸周りの回転量が既知で、防振の基準面Πの法線n→が過去フレームの視点Cの撮像面と平行と定義できる場合、対応点からの射影自由度の画像変化パラメータの推定を大幅に簡略化できる。

一方、射影自由度のホモグラフィのパラメータを直接推定することも可能であるが、上述の画像変化量算出における基準面Πのような細やかな算出はできず、防振用途に対する画像変化の推定の質は低下する。次の（式２１）が推定式である。

また、詳細な推定法は公知であるため省略するが、加えて２つの課題がある。１つは、射影の画像変化を含む画像ベクトルから全てのパラメータを直接推定するため対応点の誤対応の影響や対応点の分布の粗密の影響に敏感で、誤推定を起こしやすい点。もう一つは同次式のため、ヤコビ法などの、繰り返し演算を含んだ多くの演算が必要な点が挙げられる。

以下、（式１９）の第２項の最適パラメータの推定方法を説明する。過去フレームにおける正規化画像座標を(x_i, y_i)、カレントフレームにおける正規化画像座標を(x_i',y_i')、i = １,...,m (ｍは対応点数)とする。この場合、ヘルマートホモグラフィによる画像座標の線形変換式は（式２２）のように非同次式で表現できる。

ここで、変換式を変形することにより、（式２３）の推定式が作成できる。

そして、左辺の係数行列Ｅの転置行列Ｅ^Tを左から乗算して簡略化し、式変形により解を求める。

（式２４）に従い、係数行列を演算すると。

となる。ここでａ〜ｇは以下の通りである。

このまま推定式を解いても良いが、対応点の補正により非同次に単純化できた推定式をさらに事前に解いて計算量を圧縮可能である。そこで、事前に（式２５）を解くことにより方程式の解は、

という計算により得られる。nは点数である。
そして、ヘルマートの性質である

の関係より、デジタルカメラ１００の光軸（ピッチ軸）周りの回転θ、拡大縮小s、並進t_x, t_yによって生じるアフィン自由度の画像変化のパラメータを算出できる。ここでt_xは水平並進、t_yは垂直並進である。

実際の演算では各対応点を順次入力し、まずは加算と乗算という負荷の少ない演算により上述のａ〜ｇだけを（式２６）に従って計算する。そして最後にＡ〜Ｄの解を、それぞれ、積算と１回の除算により得ることができる。推定式上は４係数の方程式をn式解く必要があり、しかも割り算を多くため演算負荷が大きい。しかし、ここで説明したように、事前に数式を解いておくことで単純な積和の逐次演算と、４回の割り算のみで、解析的に姿勢推定解Ａ〜Ｄを得ることができる。

前述のように、撮像装置の姿勢推定と三角視による奥行推定を組み合わせ射影自由度の画像変化を推定する手法は推定が複雑で計算アルゴリズムが大規模になるという問題があった。また、直接射影行列を推定する手法は、推定の基準となる空間中の面が対応点の算出位置の分布で不安定になり易く、防振用途に対応できないという課題があった。とりわけ、対応点が少ない場合にこの影響は大きく、動画撮影時の防振処理のように実時間処理が要求される場合には大きな問題である。さらに、どちらも画像変化の射影成分を含んだ対応点間での推定のため、射影成分が大きいと推定値が不安定になり易い。

一方、本実施形態のような対応点補正ステップ（Ｓ１００）、姿勢変化推定ステップ（Ｓ２００）の組み合わせにより射影自由度の画像変化のパラメータを推定する方法には２つのメリットがある。
一つは、射影ホモグラフィの直接推定とは違い、姿勢推定ベースの手法と同様に、空間の基準面Πを考慮して推定可能な点である。またもう一つは、対応点補正ステップを含めることにより、フレーム間に残留する、回転姿勢センサで検知できないデジタルカメラ１００の並進運動により生じる画像変化のパラメータのみを、動きベクトルから推定するようになることである。そのため、ヨーおよびピッチ軸周りの回転運動の影響が大きい画像や、歪曲やローリングシャッタ歪の影響を含む画像間で取得した動きベクトルであっても、推定が容易に収束しやすいアフィンモーションへのフィッティングが可能である。その結果、推定処理に要する演算が単純ですみ、実時間処理が可能となるほか、精度の高い画像変化のパラメータが得られる。

補正量演算部７では、変化量算出部６が出力したフレーム画像間の変形量を時系列処理し、抑振の度合いや幾何変形マージン量を考慮して防振のための幾何変形量、すなわち補正量を算出する。なお、フレーム画像間の変形量の一部として、振れ情報取得部３から得られる姿勢変化情報を（式２）によってフレーム周期（サンプリング期間）の姿勢変化量に変換したものを用いても良い。

補正量演算部７は、補正量を得るために、フレーム画像間の変形量を積分フィルタリングして変化軌跡として処理する。
まず、軌跡処理の概念を図９を用いて説明する。図９（ａ）は一般的な位置合わせ（レジストレーション）用途における、初期フレームF₀を基準とした軌跡の取り扱い方法を模式的に示している。初期フレームF₀を基準として、カレントフレームF_nまで、各フレームでの姿勢の変化を数値化可能である。しかしながら、レジストレーション用途と違い防振用途では、初期フレームから累積した姿勢変化は必ずしも必要なく、逆に、累積が精度悪化の要因となる場合もある。そのため、図９（ｂ）に示すように、直近の一定期間（カレントフレームF_nから、初期フレームF₀より新しいフレームF_n-gまでの期間）の変化軌跡のみを保持する。そしてカレントフレームF_nからみて、振れと判定される高周波成分のみを補正量として扱う。

また、フレーム間の画像変形量の時系列処理をどのようなパラメータの基底に射影して行うかが一つの問題である。なぜならデジタルカメラ１００の６自由度の動きを表現したフレーム間の画像変化のホモグラフィＨ’は乗算によりフレーム間の累積変化が表現できるが、振れと判定される高周波成分を抽出しづらいためである。以下の（式２９）は、基準フレームからカレントフレームまでの累積変化をホモグラフィH’の積で表現したものである。

そのため、（１）ホモグラフィH’をデジタルカメラ１００の回転Rと並進Tの姿勢変化に分割し、Rをクォータニオンとして扱い、球面調和関数等を使って振れのない軌跡を算出し、差分から振れ（＝補正量）を求める方法がある。また、特許文献３に記載されているような、ホモグラフィを画像変化の成分として分解し、画像変化成分毎に時系列処理する方法も考えられる。特許文献３には、FIFO型のメモリを用いて一定期間のフレーム間変化を管理し、FIRフィルタを用いて、動きの高周波成分（補正対象＝振れ）を選択する手法が記述されている。

本実施形態においては、デジタルカメラ１００の回転運動に関する情報は振れ情報取得部３から得られ、並進運動に関する画像変化情報（画像変化パラメータ）が変化量算出部６によって得られる。そのため、それぞれの情報を時系列フィルタリング処理する。例えば、得られたフレーム間の画像変化パラメータをIIRのLPFによって積分し、各フレーム画像を過去のある時点におけるデジタルカメラ１００の姿勢状態にレジストレーションするように防振しても良い。

（式３０）は、積分に用いるIIR LPFフィルタの演算を表す式である。カットオフ周波数は光学防振の場合よりもより低周波側に設定する。IIRフィルタのフィードバックゲインを高くすると過去の状態を強く維持し、図９（ａ）のように初期フレームF₀の状態を維持するような状態となる。上述の通り、本実施形態ではカレントフレームからある程度遡ったフレームF_n-gまでの積分を行って、幾何変形のマージンを稼いでいる。そのため、補正量演算部７は積分に用いるIIRフィルタのフィードバックゲインを低めに設定し、過去の姿勢を少しずつ忘れるようにして姿勢角速度の積分を行い、幾何変形で補正する姿勢角度変化（補正量）を算出する。本実施形態の方法は、特許文献３に示されるようなFIRフィルタを用いる方法よりも演算が単純で、メモリ使用量も抑制しながら補正量を得ることができる。このような演算により、振れ補正量（振れ補正パラメータ）Y(j), P(j), s(j), θ(j), t_x(j), t_y(j))が得られる。

また、補正量演算部７では、ローリングシャッタ歪補正量を、振れ情報取得部３から得られたデジタルカメラ１００の姿勢変化情報に基づき算出するとともに、カメラパラメータからは光学収差を補正するための歪補正量を算出する。
ローリングシャッタ歪補正量は以下の（式３１）のようなマッピング式を前提に求めることができる。補正量演算部７は、基準座標を含む像高の行y₁を基準として、フレーム画像の各行について、基準行y₁からの姿勢変化および光学防振による並進移動量の変化を積分した補正量をピッチ、ヨーの各軸について算出する。補正量演算部７は、算出した補正量を変形処理部８へ出力する。

また、ロール方向のローリングシャッタ歪については、フレーム間での変化が等速であると仮定し、θ(j)から近似的な補正量、θ(j)を像高ｈで割った値を補正量θR(s)として算出する（式３２）。

ただし、バックワードマッピングを実施する場合には、ΔX, ΔP, ΔΘのデータ配列をマップしてパラメータを再構成しなおす必要がある。また、歪曲補正については、各時刻の焦点距離や絞り、被写体距離（合焦距離）といったカメラパラメータをインデックスとして、歪曲補正情報を変化量算出部６内の歪曲補正情報保持部から取得する。Ｓ１０３の説明で述べたように、歪曲補正情報は光学系設計値から事前に算出され、変化量算出部６内に格納された高次補正関数の係数である。

幾何変換をバックワードで行い、Ｓ１０３における（式１１）を用いた歪曲除去と対応付けて実施するためには、歪パラメータを（式１１）で用いたものと逆数のテーブルとする。つまり、理想像高r_nをインデックスとして、理想像高r_nに対応する歪像高r_dの像高比を返すテーブルが別途必要となる。

また、補正量演算部７では防振の程度を制御したり、確保されたマージン内に幾何変形後の画像が収まるように補正量を制限するための端処理を行う。例えば画像の周辺部にチェック座標を設定し、チェック座標が変換後の画像内に残留するように各補正量のパラメータを制限する。マージンとして十分広い領域が確保されている場合や、防振の程度を制御しない場合には端処理は必要ない。

以上説明した処理により、補正量演算部７は、変化量算出部６が出力する画像変化量から、各成分の補正量（歪曲補正パラメータf(r_n)、振れ補正パラメータ(Y(j), P(j), s(j), θ(j), t_x(j), t_y(j))、およびローリングシャッタ歪補正パラメータ(ΔX, ΔY, ΔΘ）を求める。

そして、これらの補正量に基づいて変形処理部８は、前処理部４からの出力画像に対して幾何変換を適用し、歪曲補正、ローリングシャッタ歪補正、振れ補正を実施する。なお、上述の通り、振れ補正パラメータは振れ情報取得部３および変化量算出部６で得られた厳密なフレーム間の撮像装置の姿勢変化または画像変化成分をフィルタリング処理して得た防振のための幾何変形量である。例えば動きの高周波成分であったり、高周波成分を除いた過去の任意の時点を基準とした現在までの動きの成分の積分値である。

本実施形態の変形処理部８は幾何変形による防振処理として、歪曲補正、ローリングシャッタ歪補正、振れ補正を実現する。また、本実施形態で変形処理部８は、変形後の画像座標に基づき入力画像上で画素のサンプリング及び補間を行うバックワードマッピングを用い、幾何変形後の画像に画素の欠損が生じないように幾何変換処理を行う。つまり、変形処理部８は、入力画像の画素座標を基にサンプリングし、補間により出力画素のデータを生成する。この際、補間手法に応じ、演算した入力画像上のサンプリング座標の近傍の画素値を用いる。補間処理には例えば４近傍を用い線形補間を行うバイリニア補間処理、１６近傍を用い、３次補間をおこなうバイキュービック補間処理等の補間方法を適用可能であるが、これらに限定されない。

図１３を用いて、典型的な補間方法の一例であるバイリニア補間について説明する。出力画素それぞれについて行われる後述の座標演算の結果、入力画像におけるサンプリング座標の画素データを、周辺画素値の補間により算出する。サンプリング座標は小数点以下の情報を持つ。図１３において、●がサンプリング座標であり、○が入力画像における４近傍画素（[]内の座標は整数値）である。この場合、４近傍画素からサンプリング座標における画素値をバイリニア補間方法によって算出する式は以下の（式３３）で表される。

I(x,y)が補間により生成した画素値、f()は入力画像上の画素値である。変形処理部８はこの補間処理を幾何変形後の画像（出力画像）の各画素について順次行い、出力画像を生成する。

幾何変形処理によって複数種の補正を行う場合、カメラの動きの速さや光学系の収差の大きさなどに応じて補正の適用順序を動的に変更することができる。例えば、デカメラの動きが早い場合には、ローリングシャッタ歪補正、歪曲補正、振れ補正の順で行う。幾何変形の順序の変更は、変化量算出部６がＳ２０１で行う対応点（動きベクトル）補正処理の演算順序にも反映する。一方、光学系の収差量、例えば放射歪量が大きい場合には、歪曲補正、ローリングシャッタ歪補正、振れ補正の順で行う。なお、補正処理以外に、出力画像の切り出しやリサイズ等も幾何変形処理の最後で行ってもよい。

以下、本実施形態の変形処理部８が歪曲補正、ローリングシャッタ歪補正、振れ補正を実現するために行う幾何変形処理、すなわち座標演算の内容を説明する。上述したように、本実施形態では出力画像で欠損画素が生じないよう、各補正処理を実現する座標演算を処理順とは逆の順序で実施するバックワードマッピングを行う。従って、以下では、振れ補正、ローリングシャッタ歪補正、歪曲補正、の順で説明する。

振れ補正では、カメラの回転運動や並進運動による画像振れを幾何変形処理で補正する。変形処理部８は、振れ情報取得部３で得られたデジタルカメラ１００の姿勢変化を表す情報を基に、マージンや補正効果の強弱を考慮した補正量（変形量）を有する幾何変形量（幾何変形パラメータ）を演算する。そして、変形処理部８は変形パラメータに従った幾何変形を適用して振れ補正を実施する。幾何変形は例えば射影変換であってよく、この場合、幾何変換パラメータは３×３の射影変換行列（ホモグラフィ行列）で与えられる。

例えば、振れ情報取得部３がデジタルカメラ１００のヨー方向、ピッチ方向の各軸周りの回転による姿勢変化を表す情報を取得し、マージンが十分に与えられて最大変化量を制御する必要がない場合を想定する。この場合には、以下の（式３４）で幾何変形パラメータ（ホモグラフィ行列Ｈ）が与えられる。振れ補正パラメータ(Y(j), P(j), s(j), θ(j), t_x(j), t_y(j))に基づきホモグラフィ行列Hを計算する。フレームごとのインデックス(j)を省略して幾何変換の座標変換式と合わせ次式に示す。

P、Yはそれぞれ光軸に対するピッチ、ヨー方向の回転を表し、αは抑振率を表す。αは補正量演算部７のIIRフィルタのゲインや画像マージンに依存して決まる値であり、成分ごとに異なるが説明の単純化のために全ての成分で同一記号で表現した。逆行列演算は積分した動きを抑振に利用することを表す。また、負の符号は抑制を表す。また、X_0h、Y_0hは幾何変形の中心（座標変換の基準座標）である。

図１４に、振れ補正に用いる標準的な幾何変形の例として、並進、拡大縮小、面内回転、あおり方向（ヨー、ピッチ）の幾何変形を示す。並進以外の幾何変形については、図１４中に黒丸で示した幾何変形の基準座標との関係が重要である。デジタルカメラ１００の動きが回転運動のみで、振れ情報取得部３からの姿勢変化情報に基づき（式３４）で振れ補正する場合には、幾何変形の基準座標（変換の中心）を画像中心と合わせる必要がある。
説明した幾何変形は正規化画像座標を用いたものである。そのため、実際の変形処理においては正規化を行うための、以下の（式３５）で示すカメラパラメータ行列Cとその逆行列Ｃ⁻でホモグラフィー行列Ｈを挟んだ行列式ＣＨＣ⁻で幾何変形を実施する

fは光学系１の焦点距離である。

ローリングシャッタ歪みは、スキャンライン（水平画素ライン）間の露光タイミングが異なる撮像素子を用いた場合、１枚の撮影画像（フレーム）の露光期間中にカメラや被写体が移動した際に生じる撮影画像の歪みである。ローリングシャッタ歪補正は、この歪みを幾何変形により補正する。図５（ａ）〜（ｃ）の左側にローリングシャッタ歪の例を示す。図５（ａ）〜（ｃ）の順に、カメラが露光期間中にヨー、ピッチ、ロール方向に等速運動をした場合に生じるローリングシャッタ歪の例である。ヨー、ピッチ方向の歪の例は、水平および垂直方向のへカメラの平行移動によって生じるひずみと同様である。振れ情報取得部３の姿勢センサで得られた姿勢変化情報から補正量演算部７が計算した幾何変形パラメータに従い、変形処理部８で座標演算を行う。

（式３６）に補正式を示す。ΔX(y_h), ΔY(y_h)は画像中心を含む基準行Y0wを基準に像高hの行（水平ライン）に対する補正量をデジタルカメラ１００の回転量から算出したものである。Ｘ_h, Ｙ_hはローリングシャッタ歪のない座標、Ｘ’_w, Ｙ’_wはローリングシャッタ歪を含んだ座標である。

同様に、ロール方向のローリングシャッタ歪の補正式を（式３７）に示す。図５（ｃ）の右側にロール方向のローリングシャッタ歪除去補正の例を示す。ロール方向のローリングシャッタ歪除去処理については、（式３７）に従って、光学防振を考慮した画像中心座標を基準に行毎に回転量が変化する回転補正によりローリングシャッタ歪の影響を除去する。

また、ローリングシャッタ歪の発生メカニズムは振れとほぼ同じである。そのため、デジタルカメラ１００の振れが回転方向成分のみで、姿勢変化情報に基づき射影変換（ホモグラフィ）のみを用いてローリングシャッタ歪補正を行う場合、ロール、そしてパンまたはチルトの順で補正処理を行う必要がある。バックワードマッピングを行う場合には逆順となる。

基準ラインY0wはローリングシャッタ歪補正において移動しない。基準ラインY0wの位置は、ローリングシャッタ歪補正を単独で実施する場合には特に意識する必要はない。しかし、他の補正変換と組み合わせて一括処理を実施する場合、基準ラインY0wを変化させると補正後の像位置が平行移動したり、拡大縮小によりスケールが変化したりして画像中心が移動する。そのため、本実施形態のように、複数の幾何変形を組み合わせて複数種の補正を行う場合には、基準ラインを適切に管理する必要がある。

歪曲補正は放射歪や倍率色収差といった光学系の収差により生じる歪を幾何変形で補正する処理であり、主に放射歪を補正する。変形処理部８は、カメラパラメータ（焦点距離、合焦距離、絞り値）をインデックスとして検索可能な形式で歪曲補正情報を保持する、変化量算出部６内の歪曲補正情報保持部から、歪曲補正情報を幾何変形パラメータとして取得する。歪曲補正情報は例えば、設計データより出力される歪曲率、もしくはその変形である理想像高と歪像高の比のテーブル等であってよい。

以下、歪曲補正情報として像高比のテーブルを用いた場合を例に、歪曲補正の詳細を説明する。歪曲補正を実現する座標演算は、幾何変換前の座標を、幾何変形の中心（座標変換の基準座標）X0d、Y0dを基準に極座標化して求め、（式３８）で表現することができる。基準座標（X0d，Y0d）には画像中心を用いた場合の方が精度の高い補正が可能である。

f(r_n)は理想像高と歪像高の比の値を、理想像高を引数として像高比のテーブルから補間して取得する操作を表す。３つ目の式は、極座標から直交座標への座標変換操作を表している。歪曲補正の例は図６を用いて上述したとおりである。

以上で説明した歪曲補正、ローリングシャッタ歪補正、振れ補正を補正量演算部７で算出した補正量に基づき変形処理部８で実施することにより、振れを防振し、歪を補正したフレーム画像を得ることができる。

以上説明した本実施形態によれば、撮像光学系の光軸に直交する軸周りの回転運動および撮像素子の露光期間ずれの少なくとも一方の影響により生じる画像変化を、動きベクトルを用いて除去する。そのため、撮像光学系の光軸に直交する方向の振れ成分、光軸周りの回転運動の振れ成分、および拡大縮小の振れ成分の少なくとも１つを算出することができる。
また、動きベクトルから算出した振れ成分の情報に、ピッチおよびヨー軸周りの回転運動量を検出するセンサ出力を合成することで、カメラの３軸周りの回転運動および３軸方向の並進運動の６自由度移動による画像変化を効率的かつ精度良く算出することができる。

●（第２の実施形態）
以下、図１０を参照して本発明の第２の実施形態について説明する。図１０は、本発明の第２の実施形態に係る撮像装置の一例としてのデジタルカメラ２００の機能構成例を模式的に示すブロック図である。デジタルカメラ２００のうち、第１の実施形態と同様の構成については同様の参照数字を付して説明を省略する。

光学系２１は、フォーカスレンズや防振レンズ２０１１を含む複数枚のレンズを有し、被写体１０からの入射光を撮像素子２の撮像面上に結像させる撮像光学系である。撮像素子２はＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、複数の画素が２次元配列された構成を有する。デジタルカメラ２００は、防振レンズ２０１１を光軸に直交する面内で移動させることにより、光学像の撮像面上の位置を平行移動させ、デジタルカメラ２００の振れによる映像の振れを抑振する光学防振機能を有する。なお、防振レンズ２０１１の代わりに撮像素子２を光軸に直交する平面内で移動させる光学防振機能を有してもよい。防振レンズ２０１１や撮像素子２はピエゾ素子等を用いたアクチュエータや電磁石などを用いて駆動することができる。ここでは、光軸に直交する平面内で移動可能に構成された防振レンズや撮像素子を防振部材と呼ぶ。

光学防振制御部２００９は、防振部材の平行移動を制御して光学防振を行う。光学防振制御部２００９は、防振部材が防振レンズ２０１１である場合には防振レンズ２０１１の平行移動を制御し、防振部材が撮像素子２である場合は撮像素子２の平行移動を制御する。

監視部２０１０は、ホール素子またはエンコーダ等を有し、防振レンズ２０１１の平行移動量を計測する。また監視部２０１０は、光学防振制御部２００９の制御情報を振れ情報取得部２３の代わりに取得しても良い。

振れ情報取得部２３は、例えばジャイロ等の姿勢センサを有し、光学系２１の光軸に直交する任意の軸に取り付けられる。振れ情報取得部２３は、デジタルカメラ２００の姿勢変化を表す信号を光学防振制御部２００９および変化量算出部２６に出力する。例えば姿勢センサが回転センサの場合、デジタルカメラ２００のヨー方向、ピッチ方向、ロール方向の各軸に取り付けられ、各軸周りの回転による姿勢変化を計測する。だたし、姿勢センサは必ずしも３軸に設けられる必要はなく、第１の実施形態と同様にヨー軸およびピッチ軸周りの回転を検出するものであってもよい。光学防振制御部２００９は計測されたデジタルカメラ２００の姿勢変化に基づき、防振レンズ２０１１（または撮像素子２）を光軸に直交する平面内で移動させることにより、デジタルカメラ２００の振れによる撮像画像の振れを抑制する。

補正量演算部２７は、第１の実施形態の補正量演算部７とほぼ同様の役割を担う。加えて監視部２０１０から得られる後述の光学防振の制御情報に基づいて、変形処理部８における幾何変換の基準となる画像中心位置をフレーム毎に得る役割を新たに担う。

本実施形態のデジタルカメラ２００の要部の処理について、順を追って説明する。
監視部２０１０は、光学防振制御部２００９の制御に従った防振レンズ２０１１の実移動量を計測し、変化量算出部２６、および補正量演算部２７に出力する。監視部２０１０は具体的には、防振レンズ２０１１の平行移動により移動した画像中心の位置と、画像中心位置の変化速度を監視するための情報を算出する。画像中心とは、光学系２１の光軸と撮像素子２の交点である。従って、防振部材の移動による光学像の平行移動量と画像中心の平行移動量は等価である。監視部２０１０は、ホール素子やエンコーダ等による防振レンズ２０１１の平行移動量の測定値を出力する。なお、振れ情報取得部２３の姿勢センサにおける（式１）と同様、補正ゲインのようなキャリブレーション係数を用いたり、測定値の精度を向上させるための処理を適用するなどして、測定値の精度を向上させてから出力してもよい。一方で、測定値に高い精度が不要な場合には、測定を行わずに、光学防振制御部２００９が出力する防振レンズ２０１１の駆動制御情報を移動量に換算した値を出力してもよい。

まず、防振レンズ２０１１を平行移動させる光学防振について図１２を用いて説明する。光学系２１は、被写体１０の光学像を撮像素子２の撮像面に結像するように構成される。図１２（ａ）において、破線は防振部材である防振レンズ２０１１の移動前の位置にある場合の光路を、実線は防振レンズ２０１１を上方へ平行移動させた際の光路を示している。防振レンズ２０１１を上方に移動させることにより、被写体像は撮像素子２の中央方向に移動している。つまり、図１２（ｂ）に点線および実線で示したように、防振レンズ２０１１の移動により、撮像素子２における被写体像の結像位置を、下方周辺部から中央方向に平行移動させることができる。なお、図１２（ｂ）において×は防振レンズ２０１１の移動前の画像中心を、●は移動後の画像中心を示している。このように、光学像の平行移動とともに画像中心も移動する。

防振部材が撮像素子２である場合、防振レンズ２０１１の代わりに撮像素子２を光軸に直交する面内で移動させる。この場合、撮像領域は撮像素子２の有効画素領域よりも小さい。図１２（ｃ）に、防振部材が撮像素子２である場合の光学像および画像中心（撮像領域２１の中心）の位置変化を模式的に示す。図１２（ｂ）と同様、×は撮像素子２の移動前の画像中心を、●は移動後の画像中心を示している。撮像素子２と防振レンズ２０１１とでは移動方向が光軸を挟んで対称となるが、効果は同様であるため、以下の画像幾何変換の説明においては、防振部材が防振レンズ２０１１か撮像素子２かについて区別していない。防振部材が撮像素子２である場合には、光学防振制御部２００９は撮像素子２を平行移動させ、監視部２０１０は撮像素子２の平行移動量を測定する。

本実施形態では、光学防振制御の監視情報の一例として、幾何変換処理で扱いやすい物理量であることから、撮影画像の平行移動情報sh_x(x=Y, P)を用いる。上述したように、画像の平行移動量は防振部材の平行移動量と等価（あるいは防振部材の平行移動量から換算可能）であるため、実際には防振部材の平行移動量を使用する。なお、以下の（式３９）で示すように、撮影画像の平行移動情報をカメラパラメータである焦点距離により正規化し、焦点距離１の正規化空間での平行移動量にして用いてもよい。

（式３９）において、sh_x' (x=Y, P)は[mm]または[pixel]を単位とする画像の平行移動量、fは[mm]または[pixel]を単位とする光学系２１の焦点距離である。sh_x (x=Y, P)は正規化された平行移動量である。

また、各時刻iにおける平行移動量sh_x(i)に加え、平行移動量sh_x(i)の変化速度

もローリングシャッタ歪に影響を与えるため、重要な光学防振制御の監視情報の１つである。
なお、sh_x(i), Δsh_x(i)のサンプリングレートはそれぞれ上述したf_{s_fr}, f_{s_rsc}以上であることが好ましい。

監視部２０１０は、変化量算出部２６には、防振レンズ２０１１の平行移動量とその変化速度を、光学防振制御の監視情報である画像の平行移動量sh_x(i)とその変化速度Δsh_x(i)として出力する。また、監視部２０１０は、補正量演算部２７に、防振レンズ２０１１の平行移動量を、光学防振制御の監視情報である画像の平行移動量sh_x(i)として出力する。

変化量算出部２６は、
・光学系２１の焦点距離（画角）や撮像素子２のピクセルサイズ等からなるカメラパラメータ、
・振れ情報取得部２３から得られるデジタルカメラ２００の姿勢変化の情報、
・動きベクトル算出部５から得られる動きベクトル情報、
・監視部２１０から得られる、光学防振による画像の平行移動量とその変化速度の情報
に基づきフレーム画像間の画像変化量を算出する。

画像変化量の算出処理は第１の実施形態（図３）と同様、対応点（動きベクトル）補正ステップと姿勢変化推定ステップの２ステップにより実施される。また、そのため、以下の説明では処理が同一かどうかを問わず、便宜上図３と同じ参照数字を用いる。

対応点（動きベクトル）補正ステップ（Ｓ１００）で変化量算出部２６は、動きベクトル算出部５から得られる動きベクトルを画像上の対応点に変換し、補正を行う。振れ情報取得部２３で得られた姿勢変化情報に基づき、まず各フレーム画像におけるローリングシャッタ歪、歪曲を除去した無歪画像上での座標変化に変換する。また、変化量算出部２６は、光学防振による画像中心の移動の影響と、デジタルカメラ２００の、ヨー、ピッチ、ロールの全軸周りの回転の影響を除去し、並進運動により生じる画像変化のみを座標変化として残す処理を行う。デジタルカメラ２００の並進運動により生じる画像変化としては水平・垂直方向の並進、拡大縮小、視差の動きがある。

対応点（動きベクトル）補正ステップ（Ｓ１００）は、第１の実施形態（図４）と同様、対応点化、ローリングシャッタ歪除去、歪曲除去、および回転動き除去の４ステップからなる。以下の説明では処理内容が同一で無くても便宜上図４と同じ参照数字を用いる。
対応点化ステップは第１の実施形態のＳ１０１と同様であるため、説明を省略する。ここで変化量算出部２６は、動きベクトルΔx→=(Δx, Δy)を上述の（式６）に従い、注目点x→=(x, y)と、対応点x’→=(x’, y’)に変換する。

次に、変化量算出部２６は、正規化処理において、光学防振の影響を除去する。

ここで、sh_Y(i)、sh_P(i)は光学防振の影響を除去するために用いる、光学防振により移動した画像中心の平行移動量である。

次に変化量算出部２６は、ローリングシャッタ歪を除去する（Ｓ１０２）。変化量算出部２６は、
・振れ情報取得部２３からのフレーム間の撮像装置の姿勢変化情報
・監視部２１０からの画像中心の平行移動量sh_Y(i)、sh_P(i)、および平行移動の変化速度Δsh_Y(i)、Δsh_P(i)
に基づき、対応点座標から、デジタルカメラ２００の振れによって生じたローリングシャッタ歪を除去する。

なお、姿勢センサがデジタルカメラ２００のヨー、ピッチ、ロールの３軸全てについて設けられている場合、変化量算出部２６は、全ての軸方向についてローリングシャッタ歪を除去する。また、ヨーやピッチ軸については、実施形態１で説明した姿勢変化量の考慮に加え、光学防振の影響を減算するため、ヨーやピッチ方向の式において、各フレームの各行について、光学防振の平行移動の変化速度Δsh_x(l) (x: Y, P)を減算する。ロール方向については実施形態１の考え方と同様でよい。移動した画像中心を補正処理の基準として演算を行う。以下の（式４２）により、ローリングシャッタ歪補正量(ΔX, ΔY, ΔΘ）を求める。

図５（ｃ）にロール方向のローリングシャッタ歪補正の例を示す。変化量算出部２６は、（式４２）の第３および４式に従って、光学防振を考慮した画像中心座標を基準に、行ごとに回転量が変化する回転補正によってロール方向のローリングシャッタ歪の影響を除去する。

歪曲除去ステップ（Ｓ１０３）では、ローリングシャッタ歪を除去した座標情報x_rsc→から歪曲の影響を除去する。歪曲補正の座標演算は、基本的に第１の実施形態の方法と同じであるが、光学防振により移動する画像中心を補正処理の基準として演算を行うため、以下の（式４３）で示される。

回転動き除去ステップ（Ｓ１０４）は、ローリングシャッタ歪や歪曲を除去した無歪座標空間で残留する、デジタルカメラ２００の回転運動による対応点の座標変化を除去するステップである。第１の実施形態と同様、変化量算出部２６は、ピンホールカメラモデルに基づき、回転姿勢センサで得られたフレーム間の姿勢変化を用いて回転運動による座標変化を除去する。その際、光学防振による画像中心の移動を考慮して補正を行う。

例えば、デジタルカメラ２００の回転運動をヨー、ピッチ、ロールの３軸周りについて検知する場合を想定すると、XYZオイラー角表現を用い、（式４４）のように幾何変形パラメータのホモグラフィが与えられる。

rat_{x_fr}(j) (x = Y, P, R)は、それぞれあるフレーム間jで積分したデジタルカメラ２００のヨー、ピッチ、およびロール軸周りの回転量である。そして、変化量算出部２６は、姿勢変化の状態から算出した振れ補正量から、以下の（式４５）に示すように、既に光学的に補正済みの光学防振の効果を減算する

また、変化量算出部２６は、光学防振効果の減算の前に、行列のスケーリングのため、H(i)の３行３列要素で行列全体を割り算し、正規化する。ここでsh_x(i) (x: Y, P)は、監視部２１０から得られた、時刻iの光学防振による画像の正規化平行移動量である。

前述のように、このホモグラフィを正規化画像座標空間で対応点に適用することにより、回転運動による影響を除去することができる。例えば、過去フレーム上の座標にこのホモグラフィを適用し、回転運動の影響を除去することができる。演算は基本的に第１の実施形態の考え方と同様であるが、（式４６）に示すように、移動した画像中心を補正処理の基準として演算を行う。

ここで、X_0h+sh_Y(i)、Y_0h+sh_P(i)は変換の中心（幾何変換の基準座標）を明示した項である。対応点化ステップＳ１０１における正規化において光学防振による画像中心の移動を考慮して変換処理を行っている場合には、これらの項は不要である。

次に、Ｓ２００で変化量算出部６は、カレントフレームと過去フレーム間の補正済み対応点を入力として、これらフレーム間におけるデジタルカメラ１００の姿勢変化を推定する姿勢変化推定処理を行う。Ｓ１００の対応点（動きベクトル）補正ステップにおいて、正規化画像座標系における値へと変換し、歪の影響およびデジタルカメラ１００の回転運動による影響を除去した対応点情報に基づいて、変化量算出部６は姿勢変化推定処理を行う。

姿勢変化推定ステップ（Ｓ２００）で変化量算出部２６は、カレントフレームと過去フレーム間の補正済み対応点を入力として、これらフレーム間におけるデジタルカメラ１００の姿勢変化を推定する姿勢変化推定処理を行う。Ｓ１００の対応点（動きベクトル）補正ステップにおいて、正規化画像座標系における値へと変換し、歪の影響およびデジタルカメラ１００の回転運動による影響を除去した対応点情報に基づいて、変化量算出部６は姿勢変化推定処理を行う。

第１の実施形態と同様に、基準面Πの向きを規定するn→をデジタルカメラ２００の過去の視点Cの撮像面と平行(つまりn’→＝[０ ０ １]^T)に定義し、また回転運動が対応点に与える影響は前ステップで除去済み（R=Rz(φ)）ものとする。そして、この前提に基づいて姿勢推定式を書き換える。さらに、本実施形態では、防振の特徴として、画像変化の拡大縮小は考慮しない場合が多いことも前提に加えると（式４７）のようになる。

ただし、式変形には

および斉次の性質を用いた。

この変形により、姿勢推定式は一般的な並進パラメータの推定式となる。並進移動による画像変化を例えば最小自乗法により求めることで、残りの画像変化のパラメータを推定できる。または図１１に示すような２次元ヒストグラム処理によりグローバルモーション(GM)を求め、これを水平並進t_xと垂直並進t_yとしても良い。

補正処理で用いた回転を表現するホモグラフィと、ここで算出したデジタルカメラ２００の並進パラメータのホモグラフィの積H’が、フレーム画像間の射影自由度の画像変化となる。換言すれば、デジタルカメラ２００の５軸自由度の姿勢変化により生じた動きのパラメータに相当する。これにより、拡大縮小および視差以外のフレーム間の画像変化を表したホモグラフィ（式４８）が得られる。

補正量演算部７は、第１の実施形態と同様に変化量算出部２６が出力した画像フレーム間の画像変化量を時系列処理し、抑振の度合いや幾何変形マージン量を考慮し防振のための幾何変形量、すなわち補正量を算出する。振れ情報取得部２３からの情報にロール軸に関する情報が含まれる３軸になったこと、画像ベクトルから得られる動き情報が並進のみになったこと、光学防振により画像中心が移動することを除き、第１の実施形態と同様の処理である。ローリングシャッタ歪については、全ての軸周りの回転について、センサ情報に基づき補正量を算出する。

このようにして、本実施形態の補正量演算部７は、各成分の補正量（歪曲補正パラメータf(r)、振れ補正パラメータ(Y(j), P(j), R(j), s(j), θ(j), t_x(j), t_y(j))、およびローリングシャッタ歪補正パラメータ(ΔX, ΔY, ΔΘ）を求める。

そして、変形処理部８では、補正量演算部７で得られたこれらの補正量と、光学防振による画像中心の移動量X_sh, Y_shに基づき、前処理部４からの出力画像に幾何変換を適用する。
幾何変換では、ローリングシャッタ補正、歪曲補正、振れ補正を行い、デジタルカメラ２００の動きによる画像変化を補正（防振）する。実際の幾何変換は、第１の実施形態と同様、画素の欠陥を防ぐためにバックワードマッチングで実施される。また、図１５に示すように、幾何変換の基準座標として光学防振の動作に従って移動する画像中心を考慮することで光学防振の影響を考慮する。ローリングシャッタ補正、歪曲補正、振れ補正の基準座標を光学防振で移動した画像中心として補正演算を実行し各補正間の整合を取る。

第２の実施形態によれば、光学防振済みの画像から算出した動きベクトルを用いて、少なくとも撮像光学系の光軸に直交する軸および光軸周りの回転、または撮像素子の露光期間ずれの影響により生じる画像動き、光学防振の影響を除去する変換を行う。これにより、少なくとも光軸に直交する方向の振れ成分を算出することができる。
また、動きベクトルから算出した振れ成分の情報に回転センサ情報を合成し、撮像装置の３軸に関する回転および２軸に関する並進の計５軸移動によるフレーム間画像変化を算出することができる。

また、本実施形態は、光学防振済みの画像に対して、さらに幾何変形処理を適用することで、歪曲補正、撮像素子の露光期間ずれの影響により生じる画像動き補正、振れ補正といった異なる複数の補正を実現する。そして、このような高度な防振において、動きベクトルを用いて、少なくとも撮像光学系の光軸に直交する軸周りの回転または撮像素子の露光期間ずれの影響により生じる画像動きを除去する変換を行う。これにより、少なくとも光軸に直交する方向の振れ成分、光軸周りの回転方向の振れ成分、および拡大縮小の振れ成分の少なくとも１つを算出することができる。その結果、動きベクトルから得られる情報と回転センサから得られる情報の両方を用いて補正量を算出しても、補正量が過剰なることを抑制できる。

さらに本実施形態によれば、撮像光学系の光軸および光軸に直交する軸周りの回転、および撮像光学系の光軸および光軸に直交する軸方向への並進により生じる画像変化成分を、光学防振済みの画像に対しても光学防振の影響を除去して常に算出できる。すなわち、撮像装置の回転および並進からなる姿勢情報が、光学防振の影響を受けることなく正しく得られる。このため、撮像装置の姿勢情報を画像の位置合わせに利用するAR(Augmented Reality)等の用途において有用である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 撮像装置であって、
   撮像素子で取得した画像間の動きベクトルを検出する検出手段と、
   少なくとも撮像光学系の光軸に直交する軸周りの回転方向の振れに関する振れ情報を取得する取得手段と、
   前記振れ情報と前記動きベクトルに基づいて、前記画像間の変化量を算出する算出手段と、
   前記振れ情報および前記変化量に基づいて振れ補正量を決定する決定手段と、
   前記撮像素子で取得した画像を前記振れ補正量に基づいて幾何変形する変形手段とを有し、
   前記算出手段は、前記振れ情報に含まれる回転方向の振れによって生じる画像間の変化および、前記撮像素子の露光期間ずれの影響により生じる画像間の変化の少なくとも一方を除去した後、前記撮像装置の前記光軸に直交する方向の振れ成分を前記変化量として算出することを特徴とする撮像装置。
2. 前記振れ情報に、前記光軸周りの回転方向の振れに関する情報が含まれていない場合、前記算出手段は、前記変形を除去した後、前記撮像装置の前記光軸周りの回転方向の振れ成分を前記変化量としてさらに算出することを特徴とする請求項１記載の撮像装置。
3. 前記算出手段は、前記撮像光学系の光学収差により生じる画像間の変化をさらに除去してから、前記変化量を算出することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記算出手段は、前記撮像光学系のパラメータに応じた幾何変形パラメータを用いて前記光学収差により生じる画像間の変化を除去することを特徴とする請求項３記載の撮像装置。
5. 防振部材を前記光軸に直交する面内で駆動し、画像の振れを抑制する光学防振機能をさらに有し、
   前記算出手段は、前記光学防振機能による振れの抑制が画像間の変化に与える影響を除去した後、前記振れ成分を算出することを特徴とする請求項１から請求項４のいずれか１項に記載の撮像装置。
6. 前記振れ情報は、前記撮像装置のヨー軸およびピッチ軸周りの回転量を測定するセンサの出力に基づくものであることを特徴とする請求項１から請求項５のいずれか１項に記載の撮像装置。
7. 前記撮像装置の前記光軸に直交する方向の振れ成分が、前記撮像装置の並進運動によって生じる振れ成分であることを特徴とする請求項１から請求項６のいずれか１項に記載の撮像装置。
8. 前記撮像素子がＣＭＯＳイメージセンサであり、前記撮像素子の露光期間ずれの影響により生じる画像間の変化が、ローリングシャッタ歪みであることを特徴とする請求項１から請求項７のいずれか１項に記載の撮像装置。
9. 撮像装置の制御方法であって、
   検出手段が、撮像素子で取得した画像間の動きベクトルを検出する検出工程と、
   取得手段が、少なくとも撮像光学系の光軸に直交する軸周りの回転方向の振れに関する振れ情報を取得する取得工程と、
   算出手段が、前記振れ情報と前記動きベクトルに基づいて、前記画像間の変化量を算出する算出工程と、
   決定手段が、前記振れ情報および前記変化量に基づいて振れ補正量を決定する決定工程と、
   変形手段が、前記撮像素子で取得した画像を前記振れ補正量に基づいて幾何変形する変形工程とを有し、
   前記算出工程において前記算出手段は、前記振れ情報に含まれる回転方向の振れによって生じる画像間の変化および、前記撮像素子の露光期間ずれの影響により生じる画像間の変化の少なくとも一方を除去した後、前記撮像装置の前記光軸に直交する方向の振れ成分を前記変化量として算出することを特徴とする撮像装置の制御方法。
10. 撮像装置が有するコンピュータに、請求項９に記載の撮像装置の制御方法の各工程を実施させるためのプログラム。

Images