JP2012114809A - 撮像装置及び電子機器 - Google Patents

Abstract

【課題】並進ぶれ補正及び回転ぶれ補正の強度バランスを良好化する。
【解決手段】ぶれ量算出部２０において、ヨー方向又はピッチ方向のぶれである並進ぶれを検出すると共にロール方向のぶれである回転ぶれを検出し、画像処理部１５において、並進ぶれ及び回転ぶれを画像処理によって補正する。画像処理部１５は、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱く設定する。例えば、並進ぶれの積算量が基準量ＴＨ_１を超えるまで並進ぶれに対する補正を停止する第１コアリング制御と、回転ぶれの積算量が基準量ＴＨ_２を超えるまで回転ぶれに対する補正を停止する第２コアリング制御とを実施し、基準量ＴＨ_２を基準量ＴＨ_１よりも大きく設定することで、回転ぶれ補正を並進ぶれ補正よりも働きにくくする。即ち、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くする。
【選択図】図２

Description

本発明は、デジタルビデオカメラ等の撮像装置に関する。また、本発明は、撮像装置、携帯情報端末等の電子機器に関する。

撮像装置を手で支持した状態で動画像の撮影を行うと、手ぶれによって動画像にぶれが混入することがある。撮像装置に作用するぶれは、ヨー方向のぶれ、ピッチ方向のぶれ及びロール方向のぶれに大別される。

ヨー方向及びピッチ方向のぶれは、撮像素子の撮像面上における被写体像の並進ぶれに近似できる。このため、ヨー方向及びピッチ方向のぶれの検出結果に応じた光学式又は電子式の並進ぶれ補正によって、画質劣化を全く或いは殆ど伴うことなく、ヨー方向及びピッチ方向のぶれを補正することが可能である。光学式の並進ぶれ補正は、例えば、ヨー方向及びピッチ方向のぶれの検出結果に応じて光学系内の補正レンズを並進駆動させることで又は撮像素子を並進駆動させることで実現される。電子式の並進ぶれ補正は、例えば、ヨー方向及びピッチ方向のぶれの検出結果に応じてフレーム間の位置ずれを電子的に補正することで実現される。

一方、ロール方向のぶれは、撮像面上において被写体像を回転させる回転ぶれである。撮像装置に作用したロール方向のぶれ（撮像装置の傾き）を傾斜センサで検出し、その検出結果に応じ、光軸を回転軸にして撮像素子を回転駆動することで画面の水平性を保つ方法も提案されている（例えば下記特許文献１参照）。しかしながら、この方法では、画面の水平性を保つ以外の回転ぶれ補正が不可能である。また、撮像素子を回転駆動する機構の搭載によって、撮像装置の大型化、消費電力増大等を招く。

これを考慮し、ロール方向のぶれは、電子式の回転ぶれ補正によって実現されることが一般的である。電子式の回転ぶれ補正では、例えば、フレーム間の回転ぶれ量を画像処理（ブロックマッチングなど）によって検出し、フレーム間の回転ぶれがキャンセルされるように、画像信号の読み出し時に回転補正を行う（例えば下記特許文献２参照）。

この回転補正は幾何学的変換によって実現されるが、周知の如く、回転補正のための幾何学的変換は、多少なりとも画質劣化を招く。例えば、画像の再標本化に伴う補間処理によって、ジャギーが発生したり（図２５（ａ）参照）、解像度劣化が発生したりすることが多い（図２５（ｂ）参照）。

特開平６−３０３２７号公報 特開２００８−９８９１６号公報

並進ぶれ及び回転ぶれを補正することの有益性は言うまでもないが、回転ぶれ補正によって発生しうる画質劣化を考慮すれば、それらの補正のバランスを図ることは肝要である。

そこで本発明は、画質及びぶれ補正について良好なバランスを有する撮像装置及び電子機器を提供することを目的とする。

本発明に係る撮像装置は、レンズ部を介して入射した光に応じた信号を出力する撮像素子を用いて動画像を撮影する撮像装置において、当該撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれを並進ぶれとして検出する並進ぶれ検出部と、前記光軸を回転軸として当該撮像装置を回転させる回転ぶれを検出する回転ぶれ検出部と、前記並進ぶれ検出部の検出結果に基づく並進用画像処理によって、又は、前記並進ぶれ検出部の検出結果に基づく前記レンズ部若しくは前記撮像素子の駆動によって、前記動画像の並進ぶれを補正する並進ぶれ補正部と、前記回転ぶれ検出部の検出結果に基づく回転用画像処理によって、前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱いことを特徴とする。

これにより、回転ぶれ補正に伴う画質劣化を比較的低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。

具体的には例えば、前記並進ぶれ補正部は、前記並進ぶれの積算量が所定の並進用基準量を超えるまで前記並進ぶれに対する補正を停止する第１コアリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれの積算量が所定の回転用基準量を超えるまで前記回転ぶれに対する補正を停止する第２コアリング制御を実行し、当該撮像装置は、前記回転用基準量を前記並進用基準量よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。

或いは例えば、前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を当該撮像装置に更に設けてもよい。そして例えば、前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記切り出し領域の位置を並進移動させることにより前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記切り出し領域の位置を時間経過と共に所定の初期位置へと戻す並進用センタリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記切り出し領域の位置を前記初期位置へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。

或いは例えば、前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を当該撮像装置に更に設けてもよい。そして例えば、前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記レンズ部又は前記撮像素子を駆動することで前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記レンズ部又は前記撮像素子の状態を時間経過と共に所定の初期状態へと戻す並進用センタリング制御を実行し、前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記レンズ部又は前記撮像素子の状態を前記初期状態へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める。

本発明に係る電子機器は、撮像装置の撮影によって得られた動画像の画像データを取得する画像データ取得部と、前記動画像の撮影時における並進ぶれの検出結果を表す並進ぶれ検出データ及び前記動画像の撮影時における回転ぶれの検出結果を表す回転ぶれ検出データを取得するぶれ検出データ取得部と、前記並進ぶれ検出データに基づく並進用画像処理によって前記動画像の並進ぶれを補正する並進ぶれ補正部と、前記回転ぶれ検出データに基づく回転用画像処理によって前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、前記並進ぶれは、前記撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれであり、前記回転ぶれは、前記光軸を回転軸として前記撮像装置を回転させるぶれであり、前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱いことを特徴とする。

これにより、回転ぶれ補正に伴う画質劣化を比較的低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。

本発明によれば、画質及びぶれ補正について良好なバランスを有する撮像装置及び電子機器を提供することが可能である。

本発明の第１実施形態に係る撮像装置の外観図である。 図１に示される撮像装置のブロック図である。 画像空間とＸ軸及びＹ軸との関係を示す図である。 入力フレーム画像、切り出し領域及び出力フレーム画像の関係を示す図（ａ）と、切り出し領域の中心線を説明するための図（ｂ）である。 入力フレーム画像列と出力フレーム画像列との関係を示す図である。 実空間上で静止している点光源が撮像装置の撮影範囲内に位置している様子を示す図（ａ）と、点光源に対応する点像が画像空間内に形成される様子を示す図（ｂ）である。 回転ぶれ検出処理によって求められる回転角の意義を説明するための図である。 時間的に隣接する入力フレーム画像に対して、並進動きベクトル及び回転角が求められる様子を示す図である。 並進ぶれ補正の基本原理を説明するための図である。 回転ぶれ補正の基本原理を説明するための図である。 並進ぶれ補正のコアリング制御の採用時における、入力フレーム画像列及び出力フレーム画像列の例を示す図である。 並進ぶれ補正のコアリング制御に関し、補正ベクトル（ＷＢ_ｎ）に応じて切り出し領域が設定される様子を示す図である。 並進ぶれ補正のコアリング制御に関し、積算ベクトル（ＷＡ_ｎ）と補正ベクトル（ＷＢ_ｎ）との関係を示す図である。 回転ぶれ補正のコアリング制御の採用時における、入力フレーム画像列及び出力フレーム画像列の例を示す図である。 回転ぶれ補正のコアリング制御に関し、補正回転角（ＷＤ_ｎ）に応じて切り出し領域が設定される様子を示す図である。 回転ぶれ補正のコアリング制御に関し、積算回転角（ＷＣ_ｎ）と補正回転角（ＷＤ_ｎ）との関係を示す図である。 ヨー方向のぶれにより画像空間上において点像が移動する様子を示した図（ａ）と、ロール方向のぶれにより画像空間上において点像が移動する様子を示した図（ｂ）である。 ロール方向のぶれにより各画素が回転移動する様子を示した図である。 本発明の第２実施形態に係り、レンズ部に補正レンズが設けられる様子を示した図である。 本発明の第３実施形態に係り、並進ぶれ補正によって切り出し領域の端部が入力フレーム画像の端部と接触している様子を示す図（ａ）及び回転ぶれ補正によって切り出し領域の角部分が入力フレーム画像の端部と接触している様子を示す図（ｂ）である。 並進ぶれ補正のセンタリング制御に関し、積分ベクトル（Ｓ_ｎ）に応じて切り出し領域が設定される様子を示す図である。 回転ぶれ補正のセンタリング制御に関し、積分回転角（φ_ｎ）に応じて切り出し領域が設定される様子を示す図である。 本発明の第３実施形態に係り、減衰係数のズーム倍率依存性を示す図である。 本発明の第４実施形態に係り、並進ぶれ補正のために補正レンズの位置が制御される様子を示した図である。 電子式の回転ぶれ補正の様子を表す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、第１実施形態に係る撮像装置１の外観図である。図２は、撮像装置１のブロック図である。撮像装置１は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。

撮像装置１は、丸みを帯びた直方体状の主筐体２と板状の副筐体３とを連結部を介して接合して形成される。副筐体３には、表示装置としてのモニタ１６が備え付けられている。ユーザは、通常、主筐体２を手で持った状態で、静止画像又は動画像の撮影を撮像装置１に行わせる。この際、主筐体２を把持する手がぶれることにより主筐体２がぶれ、結果、撮影によって得られる静止画像又は動画像にぶれが発生しうる。このようなぶれは、一般に手ぶれとも呼ばれる。以下では、主筐体２のぶれを、撮像装置１のぶれとも呼ぶ。

レンズ部１１及び撮像素子１２は主筐体２内に配置される。図１において、軸３００は、撮像装置１の光軸を表している。軸３０１及び軸３０２は主筐体２を通過する軸である。光軸３００並びに軸３０１及び３０２は、互いに直交する。軸３０１及び３０２は撮像素子１２の撮像面に平行である。光軸３００は、撮像素子１２の撮像面に直交し、光軸３００並びに軸３０１及び３０２は、撮像素子１２の撮像面の中心で交わる。

撮像装置１の初期姿勢（換言すれば、主筐体２の初期姿勢）を以下のように定義する。撮像装置１の初期姿勢では、軸３０１が重力の働く方向である鉛直線と平行であって、光軸３００及び３０２が水平線（鉛直線に直交する線）と平行である。

撮像装置１のぶれには、ヨー方向のぶれ、ピッチ方向のぶれ及びロール方向のぶれが含まれる。
ヨー方向のぶれは、軸３０１を回転軸として主筐体２を回転させるぶれである。
ピッチ方向のぶれは、軸３０２を回転軸として主筐体２を回転させるぶれである。
ロール方向のぶれは、光軸３００を回転軸として主筐体２を回転させるぶれである。

初期姿勢を基準として撮像装置１にヨー方向のぶれを与えれば、光軸３００は水平面に平行な面上で回転し、初期姿勢を基準として撮像装置１にピッチ方向のぶれを与えれば、光軸３００は鉛直面に平行な面上で回転する。撮像装置１にて様々なぶれ補正を行うことができるが、ぶれ補正を行わない場合、ヨー方向のぶれによって撮像素子１２上に結像する像は左右方向（撮像素子１２の水平方向）に移動し、ピッチ方向のぶれによって撮像素子１２上に結像する像は上下方向（撮像素子１２の垂直方向）に移動し、ロール方向のぶれによって撮像素子１２上に結像する像は撮像素子１２上で回転する。

図２に示される各部位の機能説明の前に、図３、図４（ａ）及び（ｂ）等を参照して、ぶれ補正の方法について説明する。以下の説明において、任意の画像を表すデータを画像データと呼ぶ。画像データは、映像信号の一種である。

図３には、二次元の画像空間３２０が示されている。画像空間３２０は、Ｘ軸及びＹ軸を座標軸として有する、空間領域（spatial domain）の二次元座標系上に定義される。ここでは、画像空間３２０が、撮像素子１２の有効画素領域と一致していると考える。有効画素領域に形成された画像を表すデータが、図２の画像メモリ１４に格納される。従って、画像空間３２０は、画像メモリ１４に形成されたメモリ空間であるとも言える。

画像空間３２０内の画像データから形成される１フレーム分の画像を、入力フレーム画像ＦＩと呼ぶ。図４（ａ）に、入力フレーム画像ＦＩの例が示されている。Ｘ軸は、画像空間３２０及び入力フレーム画像ＦＩの水平方向に沿った軸であり、Ｙ軸は、画像空間３２０及び入力フレーム画像ＦＩの垂直方向に沿った軸である。画像空間３２０の中心を記号Ｏにて表す。原点Ｏは、入力フレーム画像ＦＩの中心でもあると共に、Ｘ軸及びＹ軸間の交点でもある。画像空間３２０内に配置された何れかの画素である画素３２１の位置を（ｘ，ｙ）にて表す。画素３２１は、入力フレーム画像ＦＩの画素でもある。本明細書では、画素の位置を、単に画素位置とも言う。ｘ及びｙは、夫々、画素３２１のＸ軸及びＹ軸方向の座標値である。画像空間３２０及び入力フレーム画像ＦＩにおいて、或る画素の位置が右側に１画素分ずれると該画素のＸ軸方向における座標値は１だけ増大し、或る画素の位置が下側に１画素分ずれると該画素のＹ軸方向における座標値は１だけ増大する。従って、画素３２１の位置が（ｘ，ｙ）である場合、画素３２１の右側、左側、下側及び上側に隣接する画素の位置は、夫々、（ｘ＋１，ｙ）、（ｘ−１，ｙ）、（ｘ，ｙ＋１）及び（ｘ，ｙ―１）にて表される。

撮像装置１は電子式ぶれ補正を実行することができる。電子式ぶれ補正においては、入力フレーム画像ＦＩ内に切り出し領域ＣＲが設定される。そして、矩形領域である切り出し領域ＣＲ内の画像を出力フレーム画像ＦＯとして切り出し（換言すれば、切り出し領域ＣＲ内の画像データを出力フレーム画像ＦＯの画像データとして抽出し）、出力フレーム画像ＦＯを動画像を形成するフレーム画像として生成することでぶれ補正を実現する。切り出し領域ＣＲは、入力フレーム画像ＦＩの全画像領域よりも小さい。このため、切り出し領域ＣＲ及び出力フレーム画像ＦＯの画像サイズは入力フレーム画像ＦＩの画像サイズよりも小さい（換言すれば、切り出し領域ＣＲ及び出力フレーム画像ＦＯの画角は入力フレーム画像ＦＩの画角よりも小さい）。

切り出し領域ＣＲの外形である矩形の４辺の内、互いに対向しあう２辺の夫々の中点を、図４（ｂ）に示す如く、記号ＣＲ_ＬＣ１及びＣＲ_ＬＣ２にて表す。中点ＣＲ_ＬＣ１及びＣＲ_ＬＣ２間を結ぶ方向は、切り出し領域ＣＲの垂直方向に対応すると共に出力フレーム画像ＦＯの垂直方向にも対応する。中点ＣＲ_ＬＣ１及びＣＲ_ＬＣ２間を結ぶ直線を中心線ＣＲ_Ｃと呼ぶ。

撮像装置１は、所定のフレーム周期（例えば、１／６０秒）にて次々と静止画像の撮影を行うことにより、時系列で並んだ入力フレーム画像を次々と生成することができる。時刻を表す記号ｔ_ｉを導入する（ｉは整数）。時刻ｔ_ｉは時刻ｔ_ｉ−１よりも後の時刻であり、時刻ｔ_ｉ−１及びｔ_ｉ間の時間間隔はフレーム周期と一致しているものとする。図５に示す如く、時刻ｔ_ｉにおける撮影によって得られた入力フレーム画像ＦＩを特に記号ＦＩ［ｉ］によって表し、入力フレーム画像ＦＩ［ｉ］に設定される切り出し領域ＣＲを特に記号ＣＲ［ｉ］によって表し、切り出し領域ＣＲ［ｉ］内の画像である出力フレーム画像ＦＯを特に記号ＦＯ［ｉ］にて表す。

時系列で並んだ画像の集まりを画像列とも呼ぶ。従って、入力フレーム画像列は、複数の入力フレーム画像（例えば、ＦＩ［１］〜ＦＩ［ｎ］）から成り、出力フレーム画像列は、複数の出力フレーム画像（例えば、ＦＯ［１］〜ＦＯ［ｎ］）から成る。画像列は動画像であるとも言える。入力フレーム画像列としての動画像を特に入力動画像と呼び、出力フレーム画像列としての動画像を特に出力動画像と呼ぶ。

今、図６（ａ）に示す如く、実空間上で静止している点光源Ｐ_ＲＥＡＬが撮像装置１の撮影範囲内に位置していることを想定する。そして、図６（ｂ）に示す如く、点光源Ｐ_ＲＥＡＬが撮像素子１２の有効画素領域上で形成する像、即ち、画像空間３２０における点光源Ｐ_ＲＥＡＬの像を点像Ｐ_Ｉと呼ぶ。尚、説明の便宜上、点像Ｐ_Ｉは画像空間３２０の原点Ｏには位置していないものとする。

第１実施形態では、光学式ぶれ補正が成されないことを想定する。そうすると、ヨー方向のぶれが撮像装置１に作用したとき、点像Ｐ_Ｉは画像空間３２０上及び入力動画像上において水平方向に沿って移動し、ピッチ方向のぶれが撮像装置１に作用したとき、点像Ｐ_Ｉは画像空間３２０上及び入力動画像上において垂直方向に沿って移動し、ロール方向のぶれが撮像装置１に作用したとき、点像Ｐ_Ｉは画像空間３２０上及び入力動画像上において原点Ｏ周りに回転する。

ヨー方向及びピッチ方向のぶれを、まとめて並進ぶれとも呼び、ロール方向のぶれを回転ぶれとも呼ぶ。撮像装置１は、並進ぶれの向き及び大きさを所定の検出周期で検出する並進ぶれ検出処理と、回転ぶれの向き及び大きさを所定の検出周期で検出する回転ぶれ検出処理と、を実行可能である。図２のぶれ量算出部２０において、並進ぶれ検出処理及び回転ぶれ検出処理を成すことができる。従って、ぶれ量算出部２０には、並進ぶれ検出部と回転ぶれ検出部が含まれていると考えることができる。

並進ぶれ検出処理では、並進ぶれの向き及び大きさを表す並進動きベクトルが求められる。時刻ｔ_ｉ−１及びｔ_ｉ間の並進動きベクトルは、時刻ｔ_ｉ−１及びｔ_ｉ間において撮像装置１に作用した並進ぶれの向き及び大きさを表すベクトル量であると共に、画像空間３２０上及び入力動画像上における、時刻ｔ_ｉ−１及びｔ_ｉ間の点像Ｐ_Ｉの移動の向き及び大きさを表す。図２の画像メモリ１４に、入力フレーム画像の画像データを必要枚数分だけ保存しておくことができ、保存されている画像データはぶれ量算出部２０及び画像処理部１５に送られる。

回転ぶれ検出処理では、回転ぶれによる回転角（回転ぶれ角）θが求められる。時刻ｔ_ｉ−１及びｔ_ｉ間の回転角θは、時刻ｔ_ｉ−１及びｔ_ｉ間において撮像装置１に作用したロール方向のぶれを表す。図７を参照して回転角θの意義を更に説明する。今、時刻ｔ_ｉ−１における点像Ｐ_Ｉの位置が位置３４１であり、時刻ｔ_ｉ−１及びｔ_ｉ間に作用した回転ぶれによって、時刻ｔ_ｉにおける点像Ｐ_Ｉの位置が位置３４１から位置３４２へと変化した場合を想定する。線分３５１は原点Ｏ及び位置３４１間を結ぶ線分であり、線分３５２は原点Ｏ及び位置３４２間を結ぶ線分である。このとき、画像空間３２０において、線分３５１と線分３５２とが成す鋭角が回転角θである。線分３５１から時計回り方向に線分３５２を見たときの角度が正の値を持ち、線分３５１から反時計回り方向に線分３５２を見たときの角度が負の値を持つものとする。即ち、図７において、原点Ｏを支点として線分３５１を時計回り方向に１８０度未満だけ回転させることで線分３５１が線分３５２に一致する場合、回転角θは正であり、原点Ｏを支点として線分３５１を反時計回り方向に１８０度未満だけ回転させることで線分３５１が線分３５２に一致する場合、回転角θは負である。

ぶれ量算出部２０は、時間的に隣接する入力フレーム画像の画像データに基づき、時間的に隣接する入力フレーム画像間のオプティカルフローを導出し、導出したオプティカルフローから並進動きベクトルを求めることができる。また、撮像装置１に作用したヨー方向のぶれを検出する第１センサ（角速度センサなど；不図示）及び撮像装置１に作用したピッチ方向のぶれを検出する第２センサ（角速度センサなど；不図示）をぶれ量算出部２０に設けておき、第１及び第２センサの検出結果から並進動きベクトルを求めるようにしてもよい。ぶれ量算出部２０は、上述のオプティカルフローから回転角θを導出することもでき、その導出に任意の公知の方法（例えば、特開平１１−１９５１２５号公報又は特開２００８-２３６２８９号公報に記載の方法）を用いることができる。また、撮像装置１に作用したロール方向のぶれを検出する第３センサ（角速度センサなど；不図示）をぶれ量算出部２０に設けておき、第３センサの検出結果から回転角θを求めるようにしてもよい。

図８に示す如く、時刻ｔ_ｉ−１及びｔ_ｉ間の並進動きベクトル（換言すれば、入力フレーム画像ＦＩ［ｉ−１］及びＦＩ［ｉ］間の並進動きベクトル）を、特に記号Ｖ_ｉにて表し、時刻ｔ_ｉ−１及びｔ_ｉ間の回転角θ（換言すれば、入力フレーム画像ＦＩ［ｉ−１］及びＦＩ［ｉ］間の回転角θ）を、特に記号θ_ｉにて表す。

図２の各部位の動作について説明する。撮像装置１には、図２の符号１１〜２４によって参照される各部位を備える。被写体からの光はレンズ部１１を通過して撮像素子１２に入射する。レンズ部１１は、複数のレンズから成り、被写体の光学像を撮像素子１２上に結像させる。撮像素子１２は、レンズ部１１を介して入射した被写体を表す光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ（Analog Front End）１３に出力する。ＡＦＥ１３は、撮像素子１２から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１３は、このデジタル信号をＲＡＷデータとして出力する。ＲＡＷデータも画像データの一種である。画像メモリ１４は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、ＲＡＷデータによって表される入力フレーム画像を必要枚数分だけ保存する。ＲＡＷデータに対して所定の画像処理（デモザイキング処理など）を施すことで、ＲＡＷデータ形式の画像データを、輝度信号及び色差信号から成るＹＵＶ形式の画像データに変換し、ＹＵＶ形式の画像データを画像メモリ１４に保存するようにしても良い。

ぶれ量算出部２０は、上述の並進ぶれ検出処理及び回転ぶれ検出処理を実行することで、時間的に隣接する入力フレーム画像間の並進動きベクトル及び回転角を求める。ぶれ量積算部２１は、ぶれ量算出部２０にて求められた複数個分の並進動きベクトルを積算する処理と、ぶれ量算出部２０にて求められた複数個分の回転角を積算する処理と、を実行することができる。ぶれ量補正量決定部２２は、ぶれ量積算部２１の積算結果に基づき、ぶれに対する補正量を決定する。補正量の決定に、ぶれ量算出部２０にて求められた並進動きベクトル及び回転角を利用することもできる。上述の積算の方法及び補正量の決定方法については後に詳説する。

画像処理部１５は、ぶれ量補正量決定部２２にて決定された補正量に応じて切り出し領域を入力フレーム画像内に設定することで、電子式ぶれ補正を実現する。電子式ぶれ補正の成されたフレーム画像が出力フレーム画像である。画像処理部１５は、電子式ぶれ補正の他、様々な画像処理（ノイズ低減処理など）も行い、その画像処理後の出力フレーム画像の画像データを出力する。画像メモリ１４に保存されている画像データがＲＡＷデータ形式の画像データである場合には、ＲＡＷデータ形式の画像データをＹＵＶ形式の画像データに変換する処理も、画像処理部１５にて実行される。

モニタ１６は、液晶ディスプレイパネル等から成る表示装置であり、画像処理部１５から出力される画像データに基づく静止画像又は動画像を表示することができる。例えば、電子式ぶれ補正の成された出力動画像をモニタ１６に表示することができる。圧縮部１７は、画像処理部１５から出力される画像データを所定の圧縮方式を用いて圧縮する。記録媒体１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮部１７によって圧縮された画像データを記録することができる。伸張部１９は、記録媒体１８から読み出された圧縮画像データを伸張する。伸張後の画像データをモニタ１６に送ることで、記録媒体１８に記録された任意の画像をモニタ１６にて表示することができる。操作部２３は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン、静止画像の撮影及び記録を指示するためのシャッタボタン等を有し、ユーザによる各種操作を受け付ける。操作部２３に対する操作内容は主制御部２４に伝達される。主制御部２４は、操作部２３に対する操作の内容に従いつつ、撮像装置１内の各部位の動作を統括的に制御する。

画像処理部１５にて成される電子式ぶれ補正には、並進ぶれ補正と回転ぶれ補正が含まれる。並進用画像処理によって並進ぶれ補正を成す並進ぶれ補正部と、回転用画像処理によって回転ぶれ補正を成す回転ぶれ補正部とが、画像処理部１５に内包されていると考えることができる。更に、切り出し領域ＣＲ内の画像データから出力フレーム画像ＦＯを生成するフレーム生成部も、画像処理部１５に内包されていると考えることができる。出力動画像は、並進ぶれ補正及び回転ぶれ補正が成された後の動画像に相当する。

[並進及び回転ぶれ補正の基本原理]
図９を参照して、並進ぶれ補正の基本原理を説明する。図９において、画像４０１及び４０２はそれぞれ入力フレーム画像ＦＩ［１］及びＦＩ［２］の例である。領域４１１及び４１２は、夫々、入力フレーム画像４０１及び４０２に設定された切り出し領域である。画像４２１及び４２２は、夫々、切り出し領域４１１内の画像及び切り出し領域４１２内の画像である。即ち、画像４２１及び４２２は、夫々、入力フレーム画像４０１及び４０２に基づく出力フレーム画像である。尚、図９の例に限らず、時刻ｔ_ｉにおける切り出し領域ＣＲ［ｉ］の中心位置を（ｘ_ｉ，ｙ_ｉ）にて表す。位置（ｘ_ｉ，ｙ_ｉ）は、画像空間３２０及び任意の入力フレーム画像ＦＩにおける位置である（図３及び図４（ａ）参照）。図９の例に限らず、時刻ｔ_１において、切り出し領域ＣＲの中心位置は原点Ｏと一致している。入力フレーム画像４０１及び４０２間の並進動きベクトルがＶ_Ａであるとき、位置（ｘ_１，ｙ_１）から並進動きベクトルＶ_Ａの向きに並進動きベクトルＶ_Ａの大きさだけ移動した位置に、切り出し領域４１２の中心位置（ｘ_２，ｙ_２）が設定される。これにより、並進ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消される。即ち、並進ぶれの補正が成される。

このように、並進ぶれ補正では、並進ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消されるように、並進動きベクトルに基づき切り出し領域ＣＲの中心位置を並進移動させる。図９の例では、並進ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されているが、その動きの一部のみを打ち消すようにしても良い。

図１０を参照して、回転ぶれ補正の基本原理を説明する。図１０において、画像４５１及び４５２はそれぞれ入力フレーム画像ＦＩ［１］及びＦＩ［２］の例である。領域４６１及び４６２は、夫々、入力フレーム画像４５１及び４５２に設定された切り出し領域である。画像４７１及び４７２は、夫々、切り出し領域４６１内の画像及び切り出し領域４６２内の画像である。即ち、画像４７１及び４７２は、夫々、入力フレーム画像４５１及び４５２に基づく出力フレーム画像である。図１０の例に限らず、時刻ｔ_１において、切り出し領域ＣＲの中心線ＣＲ_Ｃ（図４（ｂ）参照）は入力フレーム画像ＦＩの垂直方向を向いている。図１０の例において、時刻ｔ_１及びｔ_２間に並進ぶれは発生しておらず、結果、切り出し領域４６１の中心位置（ｘ_１，ｙ_１）と切り出し領域４６２の中心位置（ｘ_２，ｙ_２）は同じである。また上述したように、時刻ｔ_１において切り出し領域ＣＲの中心位置（ｘ_１，ｙ_１）は原点Ｏと一致している。入力フレーム画像４０１及び４０２間の回転角がθ_Ａであるとき、原点Ｏを支点として切り出し領域４６１を回転角θ_Ａだけ回転させ、その回転後の切り出し領域４６１を切り出し領域４６２として入力フレーム画像４５２に設定する。これにより、回転ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消される。即ち、回転ぶれの補正が成される。

このように、回転ぶれ補正では、回転ぶれに基づく被写体の動きが出力フレーム画像列上において打ち消されるように、回転角θに基づき切り出し領域ＣＲを原点Ｏを支点にして回転させる。図１０の例では、回転ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されているが、その動きの一部のみを打ち消すようにしても良い。

[並進ぶれ補正のコアリング制御]
画像処理部１５は、上述の基本原理に従う並進ぶれ補正及び回転ぶれ補正を実行しつつ、コアリング制御を実行することができる。

図１１〜図１３を参照して、並進ぶれ補正に対するコアリング制御を説明する。図１１において、画像５０１〜５０４はそれぞれ入力フレーム画像ＦＩ［１］〜ＦＩ［４］の例である。領域５１１〜５１４は、夫々、入力フレーム画像５０１〜５０４に設定された切り出し領域である。画像５２１〜５２４は、夫々、切り出し領域５１１〜５１４内の画像である。即ち、画像５２１〜５２４は、夫々、入力フレーム画像５０１〜５０４に基づく出力フレーム画像である。

図２のぶれ量積算部２１は、並進ぶれ補正に対するコアリング制御に必要な積算ベクトルＷＡ_ｎを算出する。積算ベクトルＷＡ_ｎは、時刻ｔ_１及びｔ_ｎ間における並進ぶれの積算量を表し、下記式（Ａ１）に従って求められる。即ち、積算ベクトルＷＡ_ｎは、並進動きベクトルＶ_２〜Ｖ_ｎの合成ベクトルである。従って、並進動きベクトルＶ_２が得られた時点における積分ベクトルＷＡ_ｎ（＝ＷＡ_２）はベクトルＶ_２であり、並進動きベクトルＶ_３が得られた時点における積分ベクトルＷＡ_ｎ（＝ＷＡ_３）はベクトル（Ｖ_２＋Ｖ_３）であり、並進動きベクトルＶ_４が得られた時点における積分ベクトルＷＡ_ｎ（＝ＷＡ_４）はベクトル（Ｖ_２＋Ｖ_３＋Ｖ_４）である。

ぶれ補正量決定部２２は、積算ベクトルＷＡ_ｎから、並進ぶれの補正量を表す補正ベクトルＷＢ_ｎを求める。画像処理部１５は、補正ベクトルＷＢ_ｎに応じた位置に切り出し領域を設定する。即ち、図１２に示す如く、原点Ｏ（即ち、位置（ｘ_１，ｙ_１））から補正ベクトルＷＢ_ｎの向きに補正ベクトルＷＢ_ｎの大きさだけ移動した位置に、切り出し領域ＣＲ［ｎ］の中心位置（ｘ_ｎ，ｙ_ｎ）を設定する。仮に、積算ベクトルＷＡ_ｎと補正ベクトルＷＢ_ｎとが同じであるならば、並進ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されることとなる。

しかしながら、並進ぶれ補正にコアリング制御を含める場合、ベクトルＷＡ_ｎ及びＷＢ_ｎは互いに異なりうる。図１３に、ベクトルＷＡ_ｎ及びＷＢ_ｎ間の関係例を示す。並進ぶれ補正に対するコアリング制御では、積算ベクトルＷＡ_ｎの大きさが所定の基準量ＴＨ_１以下であるとき、補正ベクトルＷＢ_ｎの大きさをゼロに設定する（ＴＨ_１＞０）。即ち、並進ぶれ補正にコアリング制御では、並進ぶれの積算量を表す積算ベクトルＷＡ_ｎの大きさが所定の基準量（並進用基準量）ＴＨ_１を超えるまで並進ぶれに対する補正が停止される。

積算ベクトルＷＡ_ｎの大きさが基準量ＴＨ_１よりも大きいとき、下記式（Ａ２）に従って補正ベクトルＷＢ_ｎを求めることができる。ここで、ｋ_Ａは、不等式「０＜ｋ_Ａ≦１」を満たすスカラー係数である。積算ベクトルＷＡ_ｎの大きさが基準量ＴＨ_１より増大するに従って、補正ベクトルＷＢ_ｎ及び積算ベクトルＷＡ_ｎ間の差が徐々に減少してゆくように係数ｋ_Ａの値を積算ベクトルＷＡ_ｎに応じて変化させても良い。
ＷＢ_ｎ＝ｋ_Ａ・ＷＡ_ｎ …（Ａ２）

図１１の例では、ベクトルＶ_２の大きさ及びベクトル（Ｖ_２＋Ｖ_３）の大きさが共に基準量ＴＨ_１以下であるため、それらのベクトルの大きさがゼロでなくとも、切り出し領域５１２の中心位置（ｘ_２，ｙ_２）及び切り出し領域５１３の中心位置（ｘ_３，ｙ_３）は、切り出し領域５１１の中心位置（ｘ_１，ｙ_１）と一致せしめられている。但し、ベクトル（Ｖ_２＋Ｖ_３＋Ｖ_４）の大きさが基準量ＴＨ_１よりも大きいため、切り出し領域５１４の中心位置（ｘ_４，ｙ_４）は、補正ベクトルＷＢ_４分だけ中心位置（ｘ_１，ｙ_１）から移動せしめられる。

[回転ぶれ補正のコアリング制御]
次に、図１４〜図１６を参照して、回転ぶれ補正に対するコアリング制御を説明する。図１４において、画像５５１〜５５４はそれぞれ入力フレーム画像ＦＩ［１］〜ＦＩ［４］の例である。領域５６１〜５６４は、夫々、入力フレーム画像５５１〜５５４に設定された切り出し領域である。画像５７１〜５７４は、夫々、切り出し領域５６１〜５６４内の画像である。即ち、画像５７１〜５７４は、夫々、入力フレーム画像５５１〜５５４に基づく出力フレーム画像である。

図２のぶれ量積算部２１は、回転ぶれ補正に対するコアリング制御に必要な積算回転角ＷＣ_ｎを算出する。積算回転角ＷＣ_ｎは、時刻ｔ_１及びｔ_ｎ間における回転ぶれの積算量を表し、下記式（Ａ３）に従って求められる。即ち、積算回転角ＷＣ_ｎは、回転角θ_２〜θ_ｎの合成角である。従って、回転角θ_２が得られた時点における積算回転角ＷＣ_ｎ（＝ＷＣ_２）は回転角θ_２であり、回転角θ_３が得られた時点における積算回転角ＷＣ_ｎ（＝ＷＣ_３）は角度（θ_２＋θ_３）であり、回転角θ_４が得られた時点における積算回転角ＷＣ_ｎ（＝ＷＣ_４）は角度（θ_２＋θ_３＋θ_４）である。

ぶれ補正量決定部２２は、積算回転角ＷＣ_ｎから、回転ぶれの補正量を表す補正回転角ＷＤ_ｎを求める。画像処理部１５は、補正回転角ＷＤ_ｎに応じて切り出し領域を設定する。即ち、図１５に示す如く、原点Ｏを支点として、初期角度状態の切り出し領域ＣＲを補正回転角ＷＤ_ｎだけ回転させ、その回転後の切り出し領域ＣＲを入力フレーム画像ＦＩ［ｎ］の切り出し領域ＣＲ［ｎ］に設定する。入力フレーム画像ＦＩ上における中心線ＣＲ_Ｃの傾き状態を切り出し領域ＣＲの角度状態と呼び、中心線ＣＲ_Ｃが入力フレーム画像ＦＩの垂直方向に向いており且つ中点ＣＲ_ＬＣ１のＹ座標値が負である角度状態を、初期角度状態と呼ぶ（図３、図４（ａ）及び（ｂ）参照）。時刻ｔ_１における切り出し領域ＣＲの角度状態は初期角度状態である。故に、入力フレーム画像ＦＩ［１］の切り出し領域ＣＲ［１］（図１４の例において切り出し領域５６１）の角度状態は初期角度状態である。仮に、積算回転角ＷＣ_ｎと補正回転角ＷＤ_ｎとが同じであるならば、回転ぶれに基づく被写体の動きが出力フレーム画像列上において完全に打ち消されることとなる。

しかしながら、回転ぶれ補正にコアリング制御を含める場合、回転角ＷＣ_ｎ及びＷＤ_ｎは互いに異なりうる。図１６に、回転角ＷＣ_ｎ及びＷＤ_ｎ間の関係例を示す。回転ぶれ補正に対するコアリング制御では、積算回転角ＷＣ_ｎの大きさが所定の基準量ＴＨ_２以下であるとき、補正回転角ＷＤ_ｎをゼロに設定する（ＴＨ_２は正の角度を有する）。即ち、回転ぶれ補正にコアリング制御では、回転ぶれの積算量を表す積算回転角ＷＣ_ｎの大きさが所定の基準量（回転用基準量）ＴＨ_２を超えるまで回転ぶれに対する補正が停止される。

積算回転角ＷＣ_ｎの大きさが基準量ＴＨ_２よりも大きいとき、下記式（Ａ４）に従って補正回転角ＷＤ_ｎを求めることができる。ここで、ｋ_Ｃは、不等式「０＜ｋ_Ｃ≦１」を満たすスカラー係数である。積算回転角ＷＣ_ｎの大きさが基準量ＴＨ_２より増大するに従って、補正回転角ＷＤ_ｎ及び積算回転角ＷＣ_ｎ間の差が徐々に減少してゆくように係数ｋ_Ｃの値を積算回転角ＷＣ_ｎに応じて変化させても良い。
ＷＤ_ｎ＝ｋ_Ｃ・ＷＣ_ｎ …（Ａ４）

図１４の例では、回転角θ_２の大きさ及び合成角度（θ_２＋θ_３）の大きさが共に基準量ＴＨ_２以下であるため、それらの角度の大きさがゼロでなくとも、入力フレーム画像５５１〜５５３間において切り出し領域は回転せしめられない。但し、合成角度（θ_２＋θ_３＋θ_４）の大きさが基準量ＴＨ_２よりも大きいため、入力フレーム画像５５１の切り出し領域５６１の角度を基準として、補正回転角ＷＤ_４だけ入力フレーム画像５５４の切り出し領域５６４が回転せしめられている。

[基準量ＴＨ_１及びＴＨ_２の関係について]
撮像装置１では、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くするべく、回転ぶれ用の基準量ＴＨ_２を並進ぶれ用の基準量ＴＨ_１よりも大きく設定している。基準量ＴＨ_１及びＴＨ_２間の大小関係について説明を加える。説明の簡略化のため、並進ぶれがヨー方向のぶれであることを想定する。

時刻ｔ_１及びｔ_ｎ間において撮像装置１をヨー方向に基準角度ε_１だけ回転させるケース（以下、第１ケースという）を考える。第１ケースでは、時刻ｔ_ｎにおいて積算ベクトルＷＡ_ｎが基準量ＴＨ_１と一致するものとする。また、第１ケースでは、図１７（ａ）に示す如く、画像空間３２０上の点像Ｐ_Ｉの位置が時刻ｔ_１及びｔ_ｎ間で位置６０１から位置６０２へと移動する（図６（ｂ）も参照）。位置６０１及び６０２間の距離は、積算ベクトルＷＡ_ｎの大きさと一致すると共に基準量ＴＨ_１とも一致する。位置６０１及び６０２間の距離は、基準角度ε_１に相当する距離である。つまり、基準角度ε_１を、画像空間３２０上の距離に換算した値が基準量ＴＨ_１である。逆に考えれば、基準量ＴＨ_１を撮像装置１の回転角に換算した値が基準角度ε_１である。

次に、時刻ｔ_１及びｔ_ｎ間において撮像装置１をロール方向に基準角度ε_２だけ回転させるケース（以下、第２ケースという）を考える。第２ケースでは、時刻ｔ_ｎにおいて積算回転角ＷＣ_ｎが基準量ＴＨ_２と一致するものとする。第２ケースでは、図１７（ｂ）に示す如く、画像空間３２０上の点像Ｐ_Ｉの位置が時刻ｔ_１及びｔ_ｎ間で位置６１１から位置６１２へと移動する。位置６１１及び６１２間の直線距離、又は、点像Ｐ_Ｉの位置が位置６１１から６１２へ至る過程における点像Ｐ_Ｉの軌跡の長さは、基準角度ε_２に相当する距離である。つまり、基準角度ε_２を、画像空間３２０上の距離に換算した値が基準量ＴＨ_２である。逆に考えれば、基準量ＴＨ_２を撮像装置１の回転角に換算した値が基準角度ε_２である。

撮像素子１２のサイズ及びレンズ部１１の焦点距離が与えられれば、基準角度ε_１及びε_２を基準量ＴＨ_１及びＴＨ_２に変換することができると共に基準量ＴＨ_１及びＴＨ_２を基準角度ε_１及びε_２に変換することができる。

並進ぶれをヨー方向のぶれに限定した場合、並進ぶれ補正に対するコアリング制御とは、撮像装置１のヨー方向への回転角が基準角度ε_１を超えるまで並進ぶれに対する補正を停止する処理に相当する。一方、回転ぶれ補正に対するコアリング制御とは、撮像装置１のロール方向への回転角が基準角度ε_２を超えるまで回転ぶれに対する補正を停止する処理に相当する。ここで、“ε_１＜ε_２”が成立するように基準量ＴＨ_１及びＴＨ_２が設定されている。従って、基準角度ε_２に相当する基準量ＴＨ_２は基準角度ε_１に相当する基準量ＴＨ_１よりも大きい。例えば、ε_１＝３°且つε_２＝５°であり、基準量ＴＨ_１は６画素分の距離であると共に基準量ＴＨ_２は１０画素分の距離に相当する。

並進ぶれに対する補正は、撮像装置１のヨー方向への回転角が比較的小さな基準角度ε_１を超えると実行されるのに対し、回転ぶれに対する補正は、撮像装置１のロール方向への回転角が比較的大きな基準角度ε_２を超えるまで停止される。このため、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱いと言える。

尚、積算回転角ＷＣ_ｎを基準量ＴＨ_２とそのまま比較する場合、基準量ＴＨ_２の単位は角度に設定されるが、積算回転角ＷＣ_ｎを、距離を単位とする動き量ＷＣ’_ｎに変換してから基準量ＴＨ_２と比較するようにしても良い。入力フレーム画像上の注目画素を積算回転角ＷＣ_ｎだけ回転させると、当該注目画素は入力フレーム画像上で距離ＤＤだけ移動する。入力フレーム画像の全画素に対する距離ＤＤの平均値を動き量ＷＣ’_ｎとして求めることできる。図１８において、軌跡６３１は、入力フレーム画像上の注目画素を積算回転角ＷＣ_ｎだけ回転させたときの当該注目画素の移動軌跡であり、軌跡６３１の長さは、多数存在する距離ＤＤの１つである。撮像素子１２のサイズ及びレンズ部１１の焦点距離を用いれば、積算回転角ＷＣ_ｎを距離ＤＤに変換することができる。積算回転角ＷＣ_ｎを動き量ＷＣ’_ｎに変換してから基準量ＴＨ_２と比較する場合、基準量ＴＨ_２を画像上の距離として定義することができる。この場合も、勿論、“ＴＨ_１＜ＴＨ_２”であり、故に、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱い。

本実施形態によれば、コアリング制御における基準量を適切に設定することで回転ぶれに対する補正強度が比較的弱く設定される。このため、回転ぶれ補正に伴う画質劣化を低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態では、第１実施形態に適用可能な変形技術を説明する。並進ぶれ補正が電子式ぶれ補正によって実現される方法を第１実施形態にて述べたが、第１実施形態において並進ぶれ補正は光学式ぶれ補正であっても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、画像処理部１５において並進ぶれ補正のための画像処理（即ち、切り出し領域ＣＲの並進移動）は成されない。

光学式ぶれ補正の方法として、公知の方法を利用可能である。例えば、図１９に示す如くレンズ部１１に補正レンズＬＣを設けておき、補正レンズＬＣを光軸３００の直交面に沿って移動できるようにレンズ部１１を形成しておく。光軸３００の直交面に沿って補正レンズＬＣを移動させると点光源Ｐ_ＲＥＡＬの点像Ｐ_Ｉの位置が画像空間３２０上で移動し、点像Ｐ_Ｉの移動の向き及び大きさは、補正レンズＬＣの移動の向き及び大きさに依存して定まる。従って、補正ベクトルＷＢ_ｎに基づき補正レンズＬＣを光軸３００の直交面に沿って移動させることで、並進ぶれに基づく被写体の動きを入力フレーム画像列上において完全に又は部分的に打ち消すことができる。

補正ベクトルＷＢ_ｎに応じて補正レンズＬＣを移動させる代わりに、補正ベクトルＷＢ_ｎに応じて撮像素子１２を光軸３００の直交面に沿って移動させ、これによって、補正ベクトルＷＢ_ｎに応じて補正レンズＬＣを移動させたときと同様の光学式ぶれ補正を実現しても良い。或いは、レンズ部１１内に補正レンズＬＣの代わりにバリアングルプリズム（不図示）を設けておき、補正ベクトルＷＢ_ｎに応じてバリアングルプリズムの屈折角を制御することで光学式ぶれ補正を実現しても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、並進ぶれ補正を成す並進ぶれ補正部は、補正レンズＬＣ、撮像素子１２若しくはバリアングルプリズムを駆動するドライバ（不図示）によって構成される、又は、該ドライバを制御する主制御部２４によって構成される。

尚、並進ぶれ補正を光学式ぶれ補正にて実現する場合においても、第１実施形態と同様、時刻ｔ_ｉ−１及びｔ_ｉ間の並進動きベクトルは、時刻ｔ_ｉ−１及びｔ_ｉ間において撮像装置１に作用した並進ぶれの向き及び大きさを表すベクトル量である。但し、並進ぶれ補正を光学式ぶれ補正にて実現する場合、入力フレーム画像の形成時点において並進ぶれ補正が既に成されるため、第１実施形態と異なり、並進動きベクトルは、画像空間３２０上及び入力動画像上における点像Ｐ_Ｉの移動の向き及び大きさを表してはいない。

並進ぶれをヨー方向のぶれに限定した場合、並進ぶれ補正に対するコアリング制御とは、撮像装置１のヨー方向への回転角が基準角度ε_１を超えるまで光学式ぶれ補正を停止する（即ち、補正レンズＬＣ又は撮像素子１２の位置を固定する、或いは、バリアングルプリズムの屈折角を固定する）制御に相当する。一方、回転ぶれ補正に対するコアリング制御とは、撮像装置１のロール方向への回転角が基準角度ε_２を超えるまで回転ぶれに対する電子式ぶれ補正を停止する制御に相当する。基準角度ε_１及びε_２の大小関係及びそれらに対応する基準量ＴＨ_１及びＴＨ_２の大小関係は、第１実施形態で述べた通りである。従って、回転ぶれに対する補正強度は、並進ぶれに対する補正強度よりも弱い。

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。第３実施形態及び後述の他の実施形態の撮像装置の基本的な構成は、第１実施形態に係る撮像装置１のそれと同様であり、第３実施形態及び後述の他の実施形態において、特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が適用される。

第３実施形態では、光学式ぶれ補正が成されず、電子式ぶれ補正によって並進ぶれ補正及び回転ぶれ補正が成されるものとする。

[並進ぶれ補正のセンタリング制御]
画像処理部１５は、上述の基本原理に従う並進ぶれ補正及び回転ぶれ補正を実行しつつ、センタリング制御を実行することができる。センタリング制御の方法として、公知の方法（例えば、特開２００８−２７０９８３号公報に記載の方法）を利用することができる。

並進ぶれ補正に対するセンタリング制御（並進用センタリング制御）を説明する。切り出し領域ＣＲの中心位置を原点Ｏから一定方向に向かって遠ざけて行くと、図２０（ａ）に示す如く、最終的には切り出し領域ＣＲの端部が入力フレーム画像ＦＩの端部に至り、それ以上、切り出し領域ＣＲを上記一定方向へ移動させることができなくなる。即ち、切り出し領域ＣＲの移動余裕領域がなくなって、並進ぶれに対する電子式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、並進ぶれ補正に対するセンタリング制御では、並進動きベクトルを考慮しつつも、切り出し領域ＣＲの中心位置を時間経過と共にそれの初期位置である原点Ｏに向かって徐々に移動させる。

具体的には例えば、図２のぶれ量積算部２１において、並進ぶれ補正に対するセンタリング制御に必要な積分ベクトルＳ_ｎを算出する。積分ベクトルＳ_ｎは、下記式（Ｂ１）によって表される。積分ベクトルＳ_ｎは、図２のぶれ補正量決定部２２にて決定されるべき並進ぶれの補正量を表すため、ぶれ補正量決定部２２が積分ベクトルＳ_ｎを算出しても良い。
Ｓ_ｎ＝ζ_１×Ｓ_ｎ−１＋Ｖ_ｎ …（Ｂ１）

Ｓ_ｎが現在の入力フレーム画像に対する積分ベクトルであると捉えたならば、Ｓ_ｎ−１は、前回の入力フレーム画像に対する積分ベクトルである。積分ベクトルの初期値（即ち、積分ベクトルＳ_１の大きさ）はゼロである。画像処理部１５は、積分ベクトルＳ_ｎに応じた位置に切り出し領域ＣＲ［ｎ］を設定する。即ち、図２１に示す如く、原点Ｏから積分ベクトルＳ_ｎの向きに積分ベクトルＳ_ｎの大きさだけ移動した位置に、切り出し領域ＣＲ［ｎ］の中心位置（ｘ_ｎ，ｙ_ｎ）を設定する。ζ_１は減衰係数と呼ばれるスカラー量であり、０＜ζ_１＜１を満たす。

例えば、時刻ｔ_１及びｔ_２間の並進動きベクトルＶ_２の大きさがゼロではなく、且つ、時刻ｔ_２以降に求められる各並進動きベクトルの大きさがゼロである場合、積分ベクトルＳ_ｎの大きさは、時刻ｔ_２を起点として時間が経過するごとに（フレーム数を重ねるごとに）減衰し、ゼロに向かって収束してゆく。このようなセンタリング制御により、切り出し領域ＣＲの移動余裕領域をより多く確保することが可能となる。

[回転ぶれ補正のセンタリング制御]
回転ぶれ補正に対するセンタリング制御（回転用センタリング制御）を説明する。切り出し領域ＣＲの中心線ＣＲ_Ｃ（図４（ｂ）参照）が入力フレーム画像ＦＩの垂直方向と一致している状態を起点として、入力フレーム画像ＦＩ上で切り出し領域ＣＲを原点Ｏを支点にして一定方向へ回転させてゆくと、図２０（ｂ）に示す如く、最終的には切り出し領域ＣＲの角部分が入力フレーム画像ＦＩの端部に至り、それ以上、切り出し領域ＣＲを上記一定方向へ回転させることができなくなる。即ち、切り出し領域ＣＲの回転余裕領域がなくなって、回転ぶれに対する電子式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、回転ぶれ補正に対するセンタリング制御では、順次求められる回転角θを考慮しつつも、切り出し領域ＣＲの角度状態を時間経過と共に初期角度状態へと徐々に戻す。

具体的には例えば、図２のぶれ量積算部２１において、回転ぶれ補正に対するセンタリング制御に必要な積分回転角φ_ｎを算出する。積分回転角φ_ｎは、下記式（Ｂ２）によって表される。積分回転角φ_ｎは、図２のぶれ補正量決定部２２にて決定されるべき回転ぶれの補正量に相当するため、ぶれ補正量決定部２２が積分回転角φ_ｎを算出しても良い。
φ_ｎ＝ζ_２×φ_ｎ−１＋θ_ｎ …（Ｂ２）

φ_ｎが現在の入力フレーム画像に対する積分回転角であると捉えたならば、φ_ｎ−１は、前回の入力フレーム画像に対する積分回転角である。積分回転角の初期値（即ち、積分回転角φ_１）はゼロである。画像処理部１５は、積分回転角φ_ｎに応じて切り出し領域ＣＲ［ｎ］を設定する。即ち、図２２に示す如く、原点Ｏを支点として、初期角度状態の切り出し領域ＣＲを積分回転角φ_ｎだけ回転させ、その回転後の切り出し領域ＣＲを入力フレーム画像ＦＩ［ｎ］の切り出し領域ＣＲ［ｎ］に設定する。ζ_２は減衰係数と呼ばれるスカラー量であり、０＜ζ_２＜１を満たす。

例えば、時刻ｔ_１及びｔ_２間の回転角θ_２の大きさがゼロではなく、且つ、時刻ｔ_２以降に求められる各回転角の大きさがゼロである場合、積分回転角φ_ｎは、時刻ｔ_２を起点として時間が経過するごとに（フレーム数を重ねるごとに）減衰し、ゼロに向かって収束してゆく。このようなセンタリング制御により、切り出し領域ＣＲの回転余裕領域をより多く確保することが可能となる。

[減衰係数ζ_１及びζ_２の関係について]
撮像装置１では、回転ぶれに対する補正強度を並進ぶれに対する補正強度よりも弱くするべく、回転ぶれ用の減衰係数ζ_２を並進ぶれ用の減衰係数ζ_１よりも小さく設定している。これについて、更に説明を加える。

図２３において、実線６６１は、減衰係数ζ_１と入力フレーム画像を得る際におけるズーム倍率との関係を表しており、実線６６２は、減衰係数ζ_２と入力フレーム画像を得る際におけるズーム倍率との関係を表している。

並進ぶれ補正に対するセンタリング制御において、減衰係数ζ_１は、切り出し領域ＣＲの中心位置を原点Ｏへと戻す速度を定める。減衰係数ζ_１が１に近いと切り出し領域ＣＲの中心位置がなかなか中心Ｏに戻らず、減衰係数ζ_１が０に近いと切り出し領域ＣＲの中心位置が素早く中心Ｏに戻る。図２３の実線６６１から分かるように、ズーム倍率の増大に伴って（即ち、入力フレーム画像の撮影画角の減少に伴って）、減衰係数ζ_１は減少せしめられる。ズーム倍率が比較的大きいときには、比較的小さな手ぶれによっても容易に切り出し領域ＣＲの移動余裕領域がなくなる。これを考慮し、ズーム倍率の増大に伴って減衰係数ζ_１を減少させる。これにより、ズーム倍率が比較的大きいときには切り出し領域ＣＲの中心位置が原点Ｏへと戻る速度が比較的大きくなる。

回転ぶれ補正に対するセンタリング制御において、減衰係数ζ_２は、切り出し領域ＣＲの角度状態を初期角度状態へと戻す速度を定める。減衰係数ζ_２が１に近いと切り出し領域ＣＲの角度状態がなかなか初期角度状態に戻らず、減衰係数ζ_２が０に近いと切り出し領域ＣＲの角度状態が素早く初期角度状態に戻る。ズーム倍率の増大に伴って減衰係数ζ_１が減少しても常に「ζ_１＞ζ_２」が成立するように、減衰係数ζ_２もズーム倍率の増大に伴って減少せしめられる。

尚、減衰係数ζ_１及びζ_２の内、少なくとも一方は、ズーム倍率に依存しない固定値であっても良い。但し、この場合も、常に「ζ_１＞ζ_２」が成立する。

減衰係数ζ_２を減衰係数ζ_１よりも小さく設定することで、切り出し領域ＣＲの角度状態が初期角度状態へと戻る速度（以下、回転用センタリング速度とも呼ぶ）は、切り出し領域ＣＲの中心位置が原点Ｏへと戻る速度（以下、並進用センタリング速度とも呼ぶ）よりも大きくなる。ロール方向のぶれが発生した後、逆方向のぶれが発生していないのにも関わらず、切り出し領域ＣＲの角度状態を初期角度状態に戻すという処理は、回転ぶれに対する補正を解消する処理に相当する。同様に、ヨー又はピッチ方向のぶれが発生した後、逆方向のぶれが発生していないのにも関わらず、切り出し領域ＣＲの中心位置を原点Ｏに戻すという処理は、並進ぶれに対する補正を解消する処理に相当する。ぶれ補正の解消が比較的速く行われる状態は、ぶれ補正が比較的弱い状態に相当する。故に、上記のような減衰係数ζ_１及びζ_２の設定によって、回転ぶれに対する補正強度が並進ぶれに対する補正強度よりも弱められている、と言える。

回転用センタリング速度と並進用センタリング速度の相違を説明するための具体的な例として、時刻ｔ_１及びｔ_２間において撮像装置１をヨー方向に所定角度εだけ回転させた後、撮像装置１を完全に静止させるケース（以下、第３ケースと呼ぶ）と、時刻ｔ_１及びｔ_２間において撮像装置１をロール方向に上記角度εだけ回転させた後、撮像装置１を完全に静止させるケース（以下、第４ケースと呼ぶ）と、を想定する。

第３ケースにおいては、所定角度εに相当する量だけ切り出し領域ＣＲの中心位置が原点Ｏから移動せしめられた後、並進ぶれ補正に対するセンタリング制御によって、その移動のＱパーセントがｔ_Ａ秒かけて解消される。第４ケースにおいては、所定角度εだけ切り出し領域ＣＲの中心線ＣＲ_Ｃが回転せしめられた後、回転ぶれ補正に対するセンタリング制御によって、その回転のＱパーセントがｔ_Ｂ秒かけて解消される。ここで、０＜Ｑ≦１００であって、且つ、ｔ_Ｂ秒はｔ_Ａ秒よりも短い。

本実施形態によれば、センタリング制御の減衰係数を適切に設定することで回転ぶれに対する補正強度が比較的弱く設定される。このため、回転ぶれ補正に伴う画質劣化を低く抑えることが可能となり、画質及びぶれ補正について良好なバランスを持たせることが可能となる。

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第４実施形態では、第３実施形態に適用可能な変形技術を説明する。並進ぶれ補正が電子式ぶれ補正によって実現される方法を第３実施形態にて述べたが、第３実施形態において並進ぶれ補正は光学式ぶれ補正であっても良い。並進ぶれ補正に光学式ぶれ補正が用いられる場合、画像処理部１５において並進ぶれ補正のための画像処理（即ち、切り出し領域ＣＲの並進移動）は成されない。

並進ぶれに対する光学式ぶれ補正の方法は、第２実施形態で述べた通りである。例えば、図１９に示す如くレンズ部１１に補正レンズＬＣを設けておき、積分ベクトルＳ_ｎに基づき補正レンズＬＣを光軸３００の直交面に沿って移動させることで、並進ぶれに基づく被写体の動きを入力フレーム画像列上において完全に又は部分的に打ち消すことができる。図２４（ａ）に示す如く、時刻ｔ_１において補正レンズＬＣの中心は基準位置Ｏ_ＲＥＦに配置されている。補正レンズＬＣの中心が基準位置Ｏ_ＲＥＦに配置されている状態が補正レンズＬＣの初期状態である。補正レンズＬＣの中心は、基準位置Ｏ_ＲＥＦを中心とする破線円７００内でのみ移動可能である。尚、図２４（ａ）及び（ｂ）が描かれた紙面は、光軸３００の直交面に平行である。

補正レンズＬＣの中心を基準位置Ｏ_ＲＥＦから一定方向に向かって遠ざけて行くと、最終的には補正レンズＬＣの中心が破線円７００に至り、それ以上、補正レンズＬＣを上記一定方向に移動させることができなくなる。即ち、補正レンズＬＣの移動余裕領域がなくなって、並進ぶれ補正に対する光学式ぶれ補正を実行できなくなる。このような事態の発生をなるだけ回避すべく、並進ぶれ補正に対するセンタリング制御（並進用センタリング制御）では、並進動きベクトルを考慮しつつも、補正レンズＬＣの中心を時間経過と共にそれの初期位置である基準位置Ｏ_ＲＥＦに向かって徐々に移動させる。

補正レンズＬＣの中心が基準位置Ｏ_ＲＥＦから移動すると点像Ｐ_Ｉは画像空間３２０上で移動し、基準位置Ｏ_ＲＥＦからの補正レンズＬＣの移動量が増大すれば画像空間３２０上における点像Ｐ_Ｉの移動量も増大する。第４実施形態では、図２４（ｂ）に示す如く、基準位置Ｏ_ＲＥＦから積分ベクトルＳ_ｎの向きに積分ベクトルＳ_ｎの大きさだけ移動した位置に、時刻ｔ_ｎにおける補正レンズＬＣの中心が配置される。

尚、積分ベクトルＳ_ｎに応じて補正レンズＬＣを移動させる代わりに、積分ベクトルＳ_ｎに応じて撮像素子１２を光軸３００の直交面に沿って移動させ、これによって、積分ベクトルＳ_ｎに応じて補正レンズＬＣを移動させたときと同様の光学式ぶれ補正を実現しても良い。或いは、レンズ部１１内に補正レンズＬＣの代わりにバリアングルプリズム（不図示）を設けておき、積分ベクトルＳ_ｎに応じてバリアングルプリズムの屈折角を制御することで光学式ぶれ補正を実現しても良い。時刻ｔ_１における補正レンズＬＣの位置状態及び時刻ｔ_１におけるバリアングルプリズムの屈折角状態をレンズ部１１の初期状態（又は光学系の初期状態）と呼ぶことができ、時刻ｔ_１における撮像素子１２の位置状態を撮像素子１２の初期状態と呼ぶことができる。

並進ぶれ補正に対するセンタリング制御において、減衰係数ζ_１は、レンズ部１１又は撮像素子１２の状態を初期状態へと戻す速度を定める。減衰係数ζ_２を減衰係数ζ_１よりも小さく設定することで、切り出し領域ＣＲの角度状態が初期角度状態へと戻る速度（回転用センタリング速度）は、レンズ部１１又は撮像素子１２の状態が初期状態へと戻る速度よりも大きくなる。即ち、第３実施形態と同様、回転ぶれに対する補正強度が並進ぶれに対する補正強度よりも弱められる、と言える。

＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。上述したように、ヨー方向又はピッチ方向のぶれは、画像空間３２０上において点像Ｐ_Ｉを並進移動させる（図６（ｂ）参照）。但し、画像空間３２０上において点像Ｐ_Ｉを並進移動させるぶれは、ヨー方向又はピッチ方向のぶれに限定されない。即ち、光軸３００を並進移動させるぶれ（換言すれば、光軸３００の直交面に沿って撮像装置１を並進移動させるぶれ）も、画像空間３２０上において点像Ｐ_Ｉを並進移動させるぶれの一種である。光軸３００を並進移動させるぶれによって生じる点像Ｐ_Ｉの移動は、ヨー方向又はピッチ方向のぶれによるそれと同様である。

上述の第１〜第４実施形態では、説明の便宜上、ヨー方向及びピッチ方向のぶれを総称したものを並進ぶれと呼んだが、検出及び補正されるべき並進ぶれには、光軸３００を並進移動させるぶれ（換言すれば、光軸３００の直交面に沿って撮像装置１を並進移動させるぶれ）も含まれる。ヨー方向及びピッチ方向のぶれは、光軸３００の直交面上の軸である軸３０１又は３０２周りに光軸３００を回転させるぶれと表現することができる。

＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。入力動画像の画像データを記録媒体１８に一旦記録しておき、入力動画像の再生時などにおいて、入力動画像から出力動画像を生成するための画像処理を行うようにしても良い。入力動画像から出力動画像を生成するための画像処理の内容は、第１又は第３実施形態で述べたものと同様である。第６実施形態では、光学式ぶれ補正が成されることなく入力動画像が取得されているものとする。

具体的には例えば、入力動画像の撮影時において、並進ぶれ検出処理及び回転ぶれ検出処理を行うことで並進ぶれ検出データ及び回転ぶれ検出データを求め、並進ぶれ検出データ及び回転ぶれ検出データを入力動画像の画像データに関連付けて記録媒体１８に記録しておく。そして、その後の任意のタイミングにおいて、画像処理部１５が、記録媒体１８から並進ぶれ検出データ及び回転ぶれ検出データと入力動画像の画像データとを読み出し、並進ぶれ検出データ及び回転ぶれ検出データを用いて入力動画像から出力動画像を生成する。

この場合、画像処理部１５に、入力動画像の画像データを取得する画像データ取得部と、並進ぶれ検出データ及び回転ぶれ検出データを取得するぶれ検出データ取得部と、並進ぶれ補正を成す並進ぶれ補正部と、回転ぶれ補正を成す回転ぶれ補正部と、が含まれていると考えることができる。但し、画像データ取得部は、レンズ部１１及び撮像素子１２によって構成されていると考えることもできるし、ぶれ検出データ取得部は、ぶれ量算出部２０によって、或いは、ぶれ量算出部２０及びぶれ量積算部２１によって、或いは、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２によって構成されていると考えることもできる。出力動画像の生成、基準量ＴＨ_１及びＴＨ_２の決定又は減衰係数ζ_１及びζ_２の決定に入力動画像の撮影条件情報（例えば、撮像素子１２のサイズ及びレンズ部１１の焦点距離）が必要な場合には、その撮影条件情報も入力動画像の画像データに関連付けて記録媒体１８に記録しておくと良い。

並進ぶれ検出データは、第１実施形態で述べた補正ベクトルＷＢ_ｎ、又は、補正ベクトルＷＢ_ｎの元となるデータ（例えば、並進動きベクトルＶ_ｎ若しくは積算ベクトルＷＡ_ｎ）である。或いは、並進ぶれ検出データは、第３実施形態で述べた積分ベクトルＳ_ｎ、又は、積分ベクトルＳ_ｎの元となるデータ（例えば、並進動きベクトルＶ_ｎ）である。
回転ぶれ検出データは、第１実施形態で述べた補正回転角ＷＤ_ｎ、又は、補正回転角ＷＤ_ｎの元となるデータ（例えば、回転角θ_ｎ若しくは積算回転角ＷＣ_ｎ）である。或いは、回転ぶれ検出データは、第３実施形態で述べた積分回転角φ_ｎ、又は、積分回転角φ_ｎの元となるデータ（例えば、回転角θ_ｎ）である。

並進ぶれ検出処理及び回転ぶれ検出処理による並進ぶれ検出データ及び回転ぶれ検出データの取得を、入力動画像の撮影後の任意のタイミングにて行うようにしても良い。即ち例えば、入力動画像の画像データを記録媒体１８に記録しておき、その後の任意のタイミングにおいて入力動画像から出力動画像を生成する際に、入力動画像の画像データに基づく並進ぶれ検出処理及び回転ぶれ検出処理により並進ぶれ検出データ及び回転ぶれ検出データを生成するようにしても良い。

入力動画像から出力動画像を得るための部位を、撮像装置１以外の電子機器（不図示）に設けておき、その電子機器上において入力動画像から出力動画像を生成させても良い。入力動画像から出力動画像を得るための部位には、少なくとも画像処理部１５が含まれ、更に、記録媒体１８、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２が含まれうる。電子機器は、例えば、パーソナルコンピュータ、携帯情報端末、携帯電話機である。尚、撮像装置１も、電子機器の一種である。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の各実施形態では、説明の便宜上、コアリング制御とセンタリング制御を個別に説明したが、コアリング制御とセンタリング制御とを組み合わせて実施するようにしても良い。即ち、上述の第１及び第３実施形態を組み合わせて実施することも可能であるし、上述の第２及び第４実施形態を組み合わせて実施することも可能である。

［注釈２］
図１の撮像装置１及び上記電子機器を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１及び電子機器を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。特に、図２の画像処理部１５、ぶれ量算出部２０、ぶれ量積算部２１及びぶれ補正量決定部２２にて実現される機能の全部又は一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。

１ 撮像装置
１１ レンズ部
１２ 撮像素子
１５ 画像処理部
２０ ぶれ量算出部
２１ ぶれ量積算部
２２ ぶれ補正量決定部
ＦＩ 入力フレーム画像
ＣＲ 切り出し領域
ＦＯ 出力フレーム画像
ＬＣ 補正レンズ

Claims (5)

1. レンズ部を介して入射した光に応じた信号を出力する撮像素子を用いて動画像を撮影する撮像装置において、
   当該撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれを並進ぶれとして検出する並進ぶれ検出部と、
   前記光軸を回転軸として当該撮像装置を回転させる回転ぶれを検出する回転ぶれ検出部と、
   前記並進ぶれ検出部の検出結果に基づく並進用画像処理によって、又は、前記並進ぶれ検出部の検出結果に基づく前記レンズ部若しくは前記撮像素子の駆動によって、前記動画像の並進ぶれを補正する並進ぶれ補正部と、
   前記回転ぶれ検出部の検出結果に基づく回転用画像処理によって、前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、
   前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱い
   ことを特徴とする撮像装置。
2. 前記並進ぶれ補正部は、前記並進ぶれの積算量が所定の並進用基準量を超えるまで前記並進ぶれに対する補正を停止する第１コアリング制御を実行し、
   前記回転ぶれ補正部は、前記回転ぶれの積算量が所定の回転用基準量を超えるまで前記回転ぶれに対する補正を停止する第２コアリング制御を実行し、
   当該撮像装置は、前記回転用基準量を前記並進用基準量よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を更に備え、
   前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記切り出し領域の位置を並進移動させることにより前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記切り出し領域の位置を時間経過と共に所定の初期位置へと戻す並進用センタリング制御を実行し、
   前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、
   当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記切り出し領域の位置を前記初期位置へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記撮像素子の出力に基づく入力フレーム画像内に前記入力フレーム画像の画角よりも小さな画角を有する切り出し領域を設定し、前記切り出し領域内の画像データを抽出することにより前記動画像を形成する各フレーム画像を生成するフレーム生成部を更に備え、
   前記並進ぶれ補正部は、前記並進ぶれ検出部の検出結果に応じて前記レンズ部又は前記撮像素子を駆動することで前記並進ぶれを補正し、一方で、前記並進ぶれの補正の際、前記レンズ部又は前記撮像素子の状態を時間経過と共に所定の初期状態へと戻す並進用センタリング制御を実行し、
   前記回転ぶれ補正部は、前記回転ぶれ検出部の検出結果に応じて前記切り出し領域を回転させることで前記回転ぶれを補正し、一方で、前記回転ぶれの補正の際、前記切り出し領域の角度状態を時間経過と共に所定の初期角度状態へと戻す回転用センタリング制御を実行し、
   当該撮像装置は、前記切り出し領域の角度状態を前記初期角度状態へと戻す速度を、前記レンズ部又は前記撮像素子の状態を前記初期状態へと戻す速度よりも大きくすることで、前記回転ぶれに対する補正強度を前記並進ぶれに対する補正強度よりも弱める
   ことを特徴とする請求項１に記載の撮像装置。
5. 撮像装置の撮影によって得られた動画像の画像データを取得する画像データ取得部と、
   前記動画像の撮影時における並進ぶれの検出結果を表す並進ぶれ検出データ及び前記動画像の撮影時における回転ぶれの検出結果を表す回転ぶれ検出データを取得するぶれ検出データ取得部と、
   前記並進ぶれ検出データに基づく並進用画像処理によって前記動画像の並進ぶれを補正する並進ぶれ補正部と、
   前記回転ぶれ検出データに基づく回転用画像処理によって前記動画像の回転ぶれを補正する回転ぶれ補正部と、を備え、
   前記並進ぶれは、前記撮像装置の光軸を並進移動させるぶれ又は前記光軸の直交面上の軸周りに前記光軸を回転させるぶれであり、
   前記回転ぶれは、前記光軸を回転軸として前記撮像装置を回転させるぶれであり、
   前記回転ぶれに対する補正強度は、前記並進ぶれに対する補正強度よりも弱い
   ことを特徴とする電子機器。