JP2013251862A - 撮像装置とその制御方法およびプログラム - Google Patents

Abstract

【課題】画質の良好な振れ補正画像を容易に得られるようにする。
【解決手段】姿勢変化検出部１６は、撮像装置本体の姿勢変化を検出する。振れ補正部１５は、撮像装置本体の姿勢変化によって生じる撮像画像の振れを補正する。歪補正部１４ａは、撮像装置本体の姿勢変化によって生じる撮像画像の歪みを補正する。制御部２０ａは、姿勢変化検出部１６で検出された姿勢変化に基づいて振れ補正部１５で振れの補正を行わせる。また、制御部２０ａは、姿勢変化検出部１６で検出された姿勢変化に対する制限処理を行い、制限処理後の姿勢変化に基づき歪補正部１４ａで歪みの補正を行わせる。
制限処理後の姿勢変化に基づき歪補正を行うことで、歪補正後の画像における画像の無い領域の広がりが制限されるので、振れ補正画像の画角が小さくなってしまうことを防止して、画像の拡大による画質の劣化を軽減する。
【選択図】 図２

Description

この技術は、撮像装置とその制御方法およびプログラムに関し、画質の良好な振れ補正画像を容易に得られるようにする。

デジタルカメラやビデオカメラ等の撮像装置では、手振れや振動等によってイメージセンサの撮像面に結像される光学像の位置が変動して、撮像画像の画像ぶれを生じてしまう。このような画像振れを補正するため、シフトレンズ等の振れ補正光学系や画像シフト等の電気的な像振れ補正機能が撮像装置に設けられている。

また、手振れや振動等で撮像装置の姿勢が変化することにより、被写体に対するイメージセンサの撮像面の角度が変化して、撮像画像に台形状の画像歪みが発生する。また、シフトレンズを撮像装置の姿勢変化に応じて移動させることで画像ぶれを補正する振れ補正光学系が設けられている場合、シフトレンズの移動によって光学系歪みの形状が変形する場合がある。また、撮像画像の画像信号を用いて画像シフト等処理を行うことで画像ぶれを補正する電子的な像振れ補正部が設けられている場合、歪みを生じた撮像画像をシフトさせる。このため、像振れ補正後の画像では光学系歪みの形状が変形することによる画像歪みが発生する場合がある。

このような歪みに対して、特許文献１では、歪みの変化量を記憶させておき、電気的に補正する技術が提案されている。

特開２００４−２９６４０号公報

ところで、撮像装置の姿勢変化により生じた撮像画像の台形状の画像歪みを画像処理で補正する場合、画像の無い部分が発生する。また、歪補正後の撮像画像において、画像の無い部分が見えないようにするためには、画像の無い部分が含まれないように画像を抽出する必要があり、ユーザーに提供される画角（撮像画像の視野範囲）が狭くなってしまう。

図１は、撮像装置の振れ補正画像生成動作を説明するための図である。例えば、図１の（Ａ）に示すように撮像装置９０で被写体ＯＢの撮像を行い、図１の（Ｂ）に示す撮像画像が得られるとする。ここで、図１の（Ｃ）に示すように撮像装置９０の姿勢が変化すると、撮像画像は図１の（Ｄ）に示すように台形状の歪みを生じた画像となる。ここで、画像処理によって台形状の歪みを補正すると撮像画像は例えば図１の（Ｅ）に示す画像となり、画像の無い領域ＡＲｚが生じてしまう。したがって、画像の無い部分が含まれないように画像を抽出すと、点線で囲まれた画像抽出領域ＡＲｃの画像を抽出すことになり、ユーザーに提供される画角が狭くなってしまう。また、画角が狭いことから画像を拡大して所望の画像サイズとして画像表示や画像記録をすると、表示される画像や記録される画像は画質の劣化した画像となってしまう。

そこで、この技術では、画質の良好な振れ補正画像を容易に得ることができる撮像装置とその制御方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、撮像装置本体の姿勢変化を検出する姿勢変化検出部と、前記姿勢変化によって生じる撮像画像の振れを補正する振れ補正部と、前記姿勢変化によって生じる撮像画像の歪みを補正する歪補正部と、前記姿勢変化検出部で検出された姿勢変化に基づいて前記振れ補正部で振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づき前記歪補正部で歪みの補正を行わせる制御部とを備える撮像装置にある。

この技術においては、センサを用いて構成された姿勢変化検出部によって撮像装置本体の姿勢変化が検出される。振れ補正部では、画像抽出領域を姿勢変化に応じて移動させて、または撮像素子や振れ補正光学系を姿勢変化に応じて移動させて振れ補正が行われる。歪補正部では、撮像装置本体の姿勢変化によって生じる撮像画像の歪みを補正する。制御部は、検出された姿勢変化に基づいて振れ補正部で振れの補正を行わせて、検出された姿勢変化に対する制限処理後の姿勢変化に基づき歪補正部で歪みの補正を行わせる。姿勢変化に対する制限では、姿勢変化を所定の規定量までの範囲に制限する。例えば、振れの補正と歪みの補正が行われた所望の画像サイズの撮像画像に、歪みの補正によって生じた画像の無い領域が含まれない姿勢変化の最大変化量までに制限する。さらに、姿勢変化の制限では、所定の規定量を下回る第１の規定量から所定の規定量を上回る第２の規定量までで、姿勢変化を第１の規定量から所定の規定量までに制限する。また、撮像画像の長手方向についての姿勢変化と短手方向についての姿勢変化に対して個々に規定量を設定して姿勢変化に対する制限を行う。姿勢変化に対する歪補正では、例えば姿勢変化によって生じる台形状の歪みや撮像光学系に基づく撮像画像の歪みの補正を行う。また、振れ補正光学系を駆動して振れ補正を行う場合、振れ補正光学系によって生じる撮像画像の歪みの補正を行う。

この技術の第２の側面は、撮像装置本体の姿勢変化を検出する工程と、前記姿勢変化によって生じる撮像画像の振れを補正する工程と、前記姿勢変化によって生じる撮像画像の歪みを補正する工程と、検出された前記姿勢変化に基づいて前記振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づいて前記歪みの補正を行わせる工程とを含む撮像装置の制御方法にある。

この技術の第３の側面は、撮像装置の制御をコンピュータで実行させるプログラムであって、前記撮像装置本体の姿勢変化によって生じる撮像画像の振れを補正する手順と、前記撮像装置本体の姿勢変化によって生じる撮像画像の歪みを補正する手順と、姿勢変化検出部によって検出された前記撮像装置本体の姿勢変化に基づいて前記振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づいて前記歪みの補正を行わせる手順とを前記コンピュータで実行させるプログラム。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、撮像装置本体の姿勢変化が検出されて、検出された姿勢変化に基づいて、姿勢変化によって生じる撮像画像の振れが補正される。また、検出された姿勢変化に対する制限処理後の姿勢変化に基づいて、姿勢変化によって生じる撮像画像の歪みの補正が行われる。したがって、姿勢変化に対する歪補正の補正量が制限されて、歪補正後の画像に現れる画像の無い領域を少なくすることが可能となり、ユーザーに提供される画角が狭くなってしまうことを制限できる。また、ユーザーに提供される画角が狭くなってしまう、すなわち最終的に得られる画像の画角が狭くなってしまうことを制限できるので、画像の拡大による画質劣化を軽減して画質の良好な振れ補正画像を容易に得ることができる。

撮像装置の振れ補正画像生成動作を説明するための図である。 第１の実施の形態の構成を示す図である。 第１の実施の形態における振れ補正画像生成動作を示すフローチャートである。 歪補正姿勢変化量の設定動作を説明するための図である。 第１の振れ補正画像生成動作を説明するための図である。 歪補正姿勢変化量を用いて画像抽出位置を決めた場合の画像抽出中心位置の移動範囲を示す図である。 第２の振れ補正画像生成動作を説明するための図である。 第２の実施の形態の構成を示す図である。 第２の実施の形態における振れ補正画像生成動作を示すフローチャートである。 第２の実施の形態における振れ補正画像生成動作を説明するための図である。 第３の実施の形態の構成を示す図である。 第３の実施の形態における振れ補正画像生成動作を示すフローチャートである。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１−１．第１の実施の形態の構成
１−２．第１の実施の形態の動作
１−２−１．第１の振れ補正画像生成動作
１−２−２．第２の振れ補正画像生成動作
２．第２の実施の形態
２−１．第２の実施の形態の構成
２−２．第２の実施の形態の動作
３．第３の実施の形態

＜１．第１の実施の形態＞
［１−１．第１の実施の形態の構成｝
図２は、本技術の撮像装置の第１の実施の形態の構成を示す図である。撮像装置１０ａは、撮像光学系１１ａ、撮像部１２、画像処理部１３、歪補正部１４ａ、振れ補正部１５、姿勢変化検出部１６を有している。さらに、撮像装置１０ａは、記録再生処理部１７、ユーザーインタフェース（ユーザーＩ／Ｆ）部１８、制御部２０ａを有している。

撮像光学系１１ａは、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１４、ユニット駆動部１１５等で構成されている。

ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。すなわち、ズーム機能を実現する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１４は、アイリスを用いて構成されている。絞りユニット１１４は、アイリスの開口量を可変させて、撮像部１２に入射される被写体光学像の光量調整を行う。ユニット駆動部１１５は、制御部２０ａからの制御信号に基づき、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１４を駆動する。

撮像部１２は、撮像素子１２１、前処理部１２２、撮像駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１ａによって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

撮像駆動部１２３は、制御部２０ａからの制御信号に基づき、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

画像処理部１３は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪補正部１４ａは、画像処理部１３から出力された画像信号に対して、制御部２０ａからの制御信号に基づき歪補正を行う。手振れや振動等で撮像装置の姿勢が変化して、例えば被写体のフォーカス面と撮像素子１２１の撮像面が平行でなくなることにより撮像画像では台形的な歪みが発生する。また、撮像光学系１１ａの光学系歪みによって撮像画像に歪みが発生する。歪補正部１４ａは、撮像装置の姿勢変化によって生じた撮像画像の歪みや撮像光学系１１ａの光学系歪みによって生じた撮像画像の歪みを補正する。

歪補正部１４ａは、例えば撮像装置の姿勢変化量に応じた歪補正データテーブルを予め有しており、制御部２０ａからの制御信号によって示された歪補正姿勢変化量に対する歪補正データを選択する。その歪補正データを用いて、歪み成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪みが除去または軽減された画像の画像信号を生成する。このように、歪補正データテーブルを用いるようにすれば、演算処理を行って歪補正を行う場合に比べて高速かつ容易に歪補正を行うことができる。

振れ補正部１５は、歪補正部１４ａから出力された画像信号を用いて振れ補正処理を行い、振れ補正画像の画像信号を生成する。振れ補正部１５は、制御部２０ａからの制御信号によって示された振れ補正姿勢変化量に基づき、歪補正部１４ａから出力された画像信号に対して画像抽出領域を設定する。振れ補正部１５は、設定した画像抽出領域の画像信号を抽出して振れ補正画像の画像信号として記録再生処理部１７や外部機器に出力する。振れ補正部１５は、振れ補正姿勢変化量に基づき画像抽出領域を移動させることで、撮像装置１０ａの姿勢変化が生じても静止している被写体が画面上で一定位置となるように画像の抽出を行う。

姿勢変化検出部１６は、撮像装置１０ａのＰｉｔｃｈ方向とＹａｗ方向の姿勢変化を検出して、検出結果を制御部２０ａに出力する。姿勢変化検出部１６は、例えば角速度センサ１６１や検出信号処理部１６２を有している。

角速度センサ１６１は、Ｐｉｔｃｈ方向の振れに応じた検出信号とＹａｗ方向の姿勢変化に応じた検出信号を生成して、検出信号処理部１６２に出力する。検出信号処理部１６２は、検出信号に対してノイズ除去処理やゲイン調整、直流成分除去処理、Ａ／Ｄ変換処理等を行い、処理後の検出信号を制御部２０ａに出力する。

記録再生処理部１７は、振れ補正部１５から出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１７に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１８は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１８は、ユーザー操作に応じた操作信号を生成して制御部２０ａに出力する。

制御部２０ａは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。

制御部２０ａは、ユーザーインタフェース部１８からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ａで行わせる。また、制御部２０ａは、歪補正部１４ａで行われる歪補正動作と振れ補正部１５で行われる振れ補正動作の制御を行う。制御部２０ａは、姿勢変化検出部１６から出力された検出信号に基づき振れ補正姿勢変化量を設定して、振れ補正部１５に通知する。例えば、姿勢変化検出部１６で角速度センサ１６１が用いられている場合、制御部２０ａは、姿勢変化検出部１６からの検出信号を積分することで姿勢変化量（角度）を算出する。また、手持ち撮影時の姿勢変化では、姿勢変化の周波数が高くないことから、制御部２０ａは、検出信号に対して手振れの周波数成分のみを通過させるフィルタ処理を行う。このようなフィルタ処理を行うことで、制御部２０ａは、撮像装置本体の姿勢変化に応じた姿勢変化量を精度よく算出できるようになる。制御部２０ａは、算出した姿勢変化量を振れ補正姿勢変化量として振れ補正部１５に出力する。また、制御部２０ａは、算出した姿勢変化量（振れ補正姿勢変化量に相当）に対して、水平方向と垂直方向の画角（撮像画像の視野範囲）の違いを考慮した制限処理を行い、制限処理後の姿勢変化量を歪補正姿勢変化量として歪補正部１４ａに出力する。

［１−２．第１の実施の形態の動作｝
図３は、第１の実施の形態における振れ補正画像生成動作を示すフローチャートである。ステップＳＴ１で撮像装置１０ａは、姿勢変化検出部１６の出力を用いて振れ補正姿勢変化量を算出してステップＳＴ２に進む。

ステップＳＴ２で撮像装置１０ａは、歪補正姿勢変化量を設定する。撮像装置１０ａは、台形歪補正を行う際に画角が狭くなることを抑えるように姿勢変化量を制限して、制限処理後の姿勢変化量を歪補正姿勢変化量に設定してステップＳＴ３に進む。例えば、撮像装置１０ａは、振れ補正姿勢変化量に対して制限を行って歪補正姿勢変化量に変換する変換処理を行う。

ステップＳＴ３で撮像装置１０ａは、歪補正処理を行う。撮像装置１０ａは、歪補正姿勢変化量に基づき撮像画像の歪補正を行い、歪補正画像を生成してステップＳＴ４に進む。

ステップＳＴ４で撮像装置１０ａは、振れ補正処理を行う。撮像装置１０ａは、歪補正画像から画像の抽出を行い、画像抽出位置を振れ補正姿勢変化量に基づき制御することで、振れ補正画像を生成する。

図４は、歪補正姿勢変化量の設定動作を説明するための図であり、振れ補正姿勢変化量を所定の規定量までの範囲に制限した歪補正姿勢変化量に変換する場合を例示している。

撮像装置１０ａは、歪補正を行った場合に画像の無い領域が増加して画角が狭くなってしまうことを抑えるように歪補正姿勢変化量を設定する。例えば、図４の（Ａ）に示すように、振れ補正姿勢変化量が補正角０から補正角Ｃの範囲内である場合には、歪補正姿勢変化量を振れ補正姿勢変化量と等しくする。また、振れ補正姿勢変化量が所定の規定量である補正角Ｃを超える場合に、歪補正姿勢変化量を補正角Ｃに制限する。このようにすれば、振れ補正姿勢変化量が大きくなっても歪補正姿勢変化量は補正角Ｃに制限されるので、歪補正姿勢変化量に基づいて歪補正を行うことで、振れ補正姿勢変化量が大きくなっても画角が狭くなってしまうことを抑えることができる。

所定の規定量は、振れの補正と歪みの補正が行われた所望の画像サイズの撮像画像に、歪みの補正によって生じた画像の無い領域が含まれない姿勢変化の最大変化量とする。このように所定の規定量を設定すれば、振れの補正と歪みの補正が行われた所望の画像サイズの撮像画像を生成する場合に、補正可能な姿勢変化を最大とすることができる。

振れ補正姿勢変化量から歪補正姿勢変化量への変換は、図４の（Ｂ）に示すように行ってもよい。すなわち、振れ補正姿勢変化量が補正角０から補正角Ｄの範囲内である場合には、歪補正姿勢変化量を振れ補正姿勢変化量と等しくする。また、振れ補正姿勢変化量が補正角Ｄから補正角Ｂ（なお、Ｂは「Ｃ＜Ｂ≦Ａ」）の範囲内である場合には、振れ補正姿勢変化量が補正角Ｄから補正角Ｂまでの範囲で振れ補正姿勢変化量が補正角Ｄから補正角Ｃまで変化させる。また、振れ補正姿勢変化量が補正角Ｂを超える場合に、歪補正姿勢変化量を補正角Ｃに制限する。このようにすれば、振れ補正姿勢変化量から歪補正姿勢変化量への変換を行った場合に、変換が滑らかに行われる。したがって、図４の（Ａ）に示すように、振れ補正姿勢変化量が補正角Ｃを超えるまでと補正角Ｃを超えた場合とで補正動作が大きく相違してしまうことを防止できる。

さらに、撮像画像の長手方向と短手方向のサイズが異なる場合、すなわち水平方向と垂直方向の画角が異なる場合、それぞれの方向に対して異なる特性で変換を行うようにすれば、画角が狭くなってしまうことを効率よく抑えることができる。例えば、画角が垂直方向に対して水平方向が広い場合、水平方向に対しては、図４の（Ｃ）に示す特性で、水平方向についての振れ補正姿勢変化量を水平方向の歪補正姿勢変化量へ変換する。また、垂直方向に対しては、図４の（Ｄ）に示す特性で、垂直方向についての振れ補正姿勢変化量を垂直方向の歪補正姿勢変化量へ変換する。

また、画角の狭い方向に対しては図４の（Ａ）に示す特性で変換を行い、画角の広い方向に対しては図４の（Ｂ）に示す特性で変換を行うようにしてもよい。例えば水平方向（Ｘ方向）の画角が垂直方向（Ｙ方向）よりも広い場合、垂直方向に対して振れ補正姿勢変化量の最大（Ｙｍ）を補正角Ｃとして、図４の（Ａ）に示す特性で歪補正姿勢変化量を補正角Ｃ（＝Ｙｍ）までに制限する。また、垂直方向よりも画角が広い水平方向に対しては図４の（Ｂ）に示す特性で補正を行い、水平方向に対して振れ補正姿勢変化量の最大（Ｘｍ）を補正角Ａまでとして、歪補正姿勢変化量を補正角Ｃ（＝Ｙｍ）までに制限する。このようにすれば、垂直方向については、算出された姿勢変化量（振れ補正姿勢変化量に相当）に応じて歪補正を行うことが可能となる。また、水平方向の画角が垂直方向よりも広い場合には、垂直方向よりも大きい振れ補正姿勢変化量まで歪補正を行うことができ、また振れ補正姿勢変化量の変化に対して歪補正の変化を滑らかとすることができる。

［１−２−１．第１の振れ補正画像生成動作］
次に、第１の実施の形態における第１の振れ補正画像生成動作について説明する。第１の振れ補正画像生成動作では、撮像画像に歪みを生じない理想レンズを用いた場合の振れ補正画像生成動作について説明する。

図５は、第１の振れ補正画像生成動作を説明するための図である。図５の（Ａ）は、撮像画像からの画像抽出領域ＡＲｂを例示している。なお、画像抽出領域ＡＲｂは、振れ補正姿勢変化量に基づき、振れを補正するように位置が移動される。

撮像装置１０ａでＹａｗ方向（例えば左方向）の振れを生じた場合、撮像画像は図５の（Ｂ）に示すように台形歪みが生ずる。また、画像抽出領域ＡＲｂは、Ｙａｗ方向（例えば左方向）の振れを生じたことにより、図５の（Ａ）の位置に対して、右方向に移動した位置となる。なお、移動量は、振れ補正姿勢変化量に応じて決定される。

撮像装置１０ａの歪補正部１４ａで撮像画像に生じている台形歪みの補正を行うと、図５の（Ｃ）に示すように、有効画像の無い領域ＡＲｚを生じる。したがって、振れ補正部１５は、振れ補正姿勢変化量に応じて移動した画像抽出領域ＡＲｂの中心を基準として、有効画像の無い領域を含まないように画像抽出領域の縮小を行い、縮小後の画像抽出領域ＡＲｃの画像信号を振れ補正後の画像信号として出力する。

また、歪補正部１４ａは、図４に示す処理を行うことにより得られた歪補正姿勢変化量に基づいて台形歪みの補正を行う。したがって、台形歪補正後の撮像画像は、振れ補正姿勢変化量が大きくなっても歪補正姿勢変化量が所定の姿勢変化量に制限されるため、有効画像の無い領域ＡＲｚの広がりを制限できる。このため、振れ補正部１５から抽出される画像すなわち画像抽出領域ＡＲｃの画像が画角の小さい画像となってしまうことを防止できる。

図６は、歪補正姿勢変化量を用いて画像抽出位置を決めた場合の画像抽出中心位置の移動範囲を示しており、図６の（Ａ）は歪補正姿勢変化量を制限しない場合、図６の（Ｂ）は歪補正姿勢変化量を制限する場合をそれぞれ示している。

歪補正姿勢変化量を制限しない場合、振れ補正姿勢変化量が大きくなるほど有効画像の無い領域が広くなり、図６の（Ａ）に示すように、有効画像の無い領域ＡＲz1が生じる。また、歪補正姿勢変化量を用いて画像抽出位置を決めた場合の画像抽出中心位置の移動範囲は、例えば領域ＡＲm1の範囲となる。

歪補正姿勢変化量を制限する場合、振れ補正姿勢変化量が大きくなると歪補正姿勢変化量が制限されることになるから、有効画像の無い領域ＡＲz2は、図６の（Ｂ）に示すように、歪補正姿勢変化量を制限しない場合の領域ＡＲz1に比べて小さくなる。また、歪補正姿勢変化量を用いて画像抽出位置を決めた場合の画像抽出中心位置の移動範囲は、領域ＡＲm1よりも狭い領域ＡＲm2の範囲となる。

以上にように、画像の無い領域を含まないように画像抽出領域を設定して画像の抽出を行うことで振れ補正画像を生成する場合、歪補正姿勢変化量を制限することで振れ補正画像の画角が小さくなってしまうことを制限できるようになる。したがって、画像の拡大による画質劣化を軽減して画質の良好な振れ補正画像を容易に得ることができる。また、画角を固定して歪補正姿勢変化量を制限した場合、歪補正姿勢変化量を制限しない場合に比べて、振れ補正範囲を広くすることができる。また、歪補正データテーブルを用いて、歪みが除去または軽減された画像の画像信号を生成する場合、歪補正姿勢変化量を制限することで、制限を行わない場合に比べて歪補正データテーブルのデータ量が少なくなるため、歪補正データテーブルを記憶するメモリ等の記憶容量を削減できる。

［１−２−２．第２の振れ補正画像生成動作］
次に、第１の実施の形態における第２の振れ補正画像生成動作について説明する。第２の振れ補正画像生成動作では、撮像画像に撮像光学系の光学系歪みが生じている場合の振れ補正画像生成動作について説明する。

図７は、第２の振れ補正画像生成動作を説明するための図である。図７の（Ａ）は、撮像画像からの画像抽出領域ＡＲｂを例示している。なお、画像抽出領域ＡＲｂは、振れ補正姿勢変化量に基づき、振れを補正するように位置が移動される。

撮像装置１０ａでＹａｗ方向（例えば左方向）の振れを生じた場合、撮像画像は図７の（Ｂ）に示すように台形歪みが生ずる。また、画像抽出領域ＡＲｂは、Ｙａｗ方向（例えば左方向）の振れを生じたことにより、図７の（Ａ）の位置に対して、右方向に移動した位置となる。なお、移動量は、振れ補正姿勢変化量に応じて決定される。

撮像装置１０ａの歪補正部１４ａは、撮像画像の光学系歪補正を行い、図７の（Ｃ）に示すように、光学系歪補正画像を生成する。さらに、撮像装置１０ａの歪補正部１４ａは、光学系歪補正画像に生じている台形歪みの補正を行うと、図７の（Ｄ）に示すように、有効画像の無い領域ＡＲｚを生じる。したがって、振れ補正部１５は、振れ補正姿勢変化量に応じて移動した画像抽出領域ＡＲｂの中心を基準として、有効画像の無い領域を含まないように画像抽出領域ＡＲｂの縮小を行い、縮小後の画像抽出領域ＡＲｃの画像信号を振れ補正後の画像信号として出力する。

また、歪補正部１４ａは、図４に示す処理を行うことにより得られた歪補正姿勢変化量に基づいて台形歪みの補正を行う。したがって、台形歪補正後の撮像画像は、振れ補正姿勢変化量が大きくなっても歪補正姿勢変化量が所定の姿勢変化量に制限されるため、有効画像の無い領域ＡＲｚの広がりを制限できる。このため、振れ補正部１５から抽出される画像すなわち画像抽出領域ＡＲｃの画像が画角の小さい画像となってしまうことを防止できる。

以上にように、第２の振れ補正画像生成動作でも、画像の無い領域を含まないように画像抽出領域を設定して画像の抽出を行うことで振れ補正画像を生成する場合、歪補正姿勢変化量を制限することで振れ補正画像の画角が小さくなってしまうことを制限できる。したがって、画像の拡大による画質劣化を軽減して画質の良好な振れ補正画像を容易に得ることができる。さらに、画像抽出中心位置の移動範囲を広くすることが可能となり、歪補正姿勢変化量を制限しない場合に比べて、振れ補正範囲を広くすることができる。なお、図７の説明では、光学系歪補正を行ってから台形歪みの補正を行っているが、台形歪みの補正を行ってから光学系歪補正を行うようにしてもよい。また、予め補正データテーブルを用意しておき、補正データテーブルを用いることで、図７の（Ａ）に示す撮像画像から図７の（Ｄ）に示す補正後の画像を直接得られるようにしてもよい。また、撮像光学系１１ａが交換可能である場合、補正データテーブルを切り換え可能として、交換後の撮像光学系１１ａの光学特性に応じた補正データテーブルを用いて補正を行うようにする。
＜２．第２の実施の形態＞
ところで、第１の実施の形態は、撮像部で生成された画像から振れ補正姿勢変化量に応じての画像抽出位置を移動させることで振れ補正を行う所謂電子振れ補正を用いる場合について説明した。しかし、振れ補正は、電子振れ補正に限らず撮像光学系に設けた振れ補正光学系を駆動して振れ補正を行う光学振れ補正を用いてもよい。

［２−１．第２の実施の形態の構成］
次に、第２の実施の形態では、光学振れ補正を用いた場合について説明する。図８は、第２の実施の形態の構成を例示している。第２の実施の形態の撮像装置１０ｂは、撮像光学系１１ｂ、撮像部１２、画像処理部１３、歪補正部１４ｂ、姿勢変化検出部１６、記録再生処理部１７、ユーザーインタフェース（ユーザーＩ／Ｆ）部１８、制御部２０ｂを有している。

撮像光学系１１ｂは、ズームユニット１１１、フォーカスユニット１１２、振れ補正光学系である振れ補正ユニット１１３、絞りユニット１１４、ユニット駆動部１１５等で構成されている。

ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。すなわち、ズーム機能を実現する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。

振れ補正ユニット１１３は、例えばシフトレンズを用いて構成されている。振れ補正ユニット１１３は、シフトレンズを光軸と垂直方向に移動して光軸をずらし、像振れをキャンセルする。なお、振れ補正ユニット１１３は、光学的に振れ補正が可能であればシフトレンズに限られず例えばプリズム頂角を自在にコントロールできる振れ補正光学系であってもよい。

絞りユニット１１４は、アイリスを用いて構成されている。絞りユニット１１４は、アイリスの開口量を可変させて、撮像部１２に入射される被写体光学像の光量調整を行う。ユニット駆動部１１５は、制御部２０ｂからの制御信号に基づき、ズームユニット１１１、フォーカスユニット１１２、振れ補正ユニット１１３、絞りユニット１１４を駆動する。また、ユニット駆動部１１５は、制御部２０ｂからの制御信号で示された振れ補正姿勢変化量に応じて振れ補正ユニット１１３を駆動して、撮像画像の振れ補正動作を行う。

撮像部１２は、撮像素子１２１、前処理部１２２、撮像駆動部１２３等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１ｂによって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

撮像駆動部１２３は、制御部２０ｂからの制御信号に基づき、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

画像処理部１３は、撮像部１２から出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪補正部１４ｂは、画像処理部１３から出力された画像信号に対して、制御部２０ｂからの制御信号に基づき歪補正を行う。撮像画像では撮像光学系１１ｂの光学系歪みによって画像の歪みが発生する。手振れや振動等で撮像装置の姿勢が変化して、振れ補正ユニット１１３が振れに応じて駆動されると、例えば振れ補正ユニット１１３のシフトレンズの位置に応じて光学系歪みが変化する。さらに、手振れや振動等で撮像装置の姿勢が変化して、例えば被写体のフォーカス面と撮像素子１２１の撮像面が平行でなくなることにより撮像画像で台形的な歪みが発生する場合もある。歪補正部１４ｂは、撮像光学系１１ｂの光学系歪みによって生じた画像の歪み、撮像装置の姿勢変化に応じて生じた光学系歪みの変化に基づく画像の歪み、撮像装置の姿勢変化に伴う画像の歪み等を補正する。さらに、歪補正部１４ｂは、歪補正が行われた画像から画像抽出領域の画像信号を抽出して振れ補正画像の画像信号とする。なお、画像抽出領域は歪補正後の画像信号において、画像が存在する範囲である。

歪補正部１４ｂは、例えば撮像装置の姿勢変化量や撮像光学系１１ｂの光学系歪みおよび光学系歪みの変化に応じた歪補正データテーブルを予め有している。歪補正部１４ｂは、制御部２０ｂからの制御信号に基づき撮像光学系１１ｂの光学系歪みおよび光学系歪みの変化に応じた歪補正データテーブルを選択する。さらに、歪補正部１４ｂは、選択した歪補正データテーブルに基づき、制御部２０ｂからの制御信号によって示された歪補正姿勢変化量に対する歪補正データを選択する。その歪補正データを用いて、歪み成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪みが除去または軽減された画像の画像信号を生成する。このように、歪補正データテーブルを用いるようにすれば、演算処理を行って歪補正を行う場合に比べて高速かつ容易に歪補正を行うことができる。

姿勢変化検出部１６は、Ｐｉｔｃｈ方向とＹａｗ方向の姿勢変化を検出して、検出結果を制御部２０ｂに出力する。姿勢変化検出部１６は、例えば角速度センサ１６１や検出信号処理部１６２を有している。

角速度センサ１６１は、撮像装置１０ｂのＰｉｔｃｈ方向の振れに応じた検出信号とＹａｗ方向の姿勢変化に応じた検出信号を生成して、検出信号処理部１６２に出力する。検出信号処理部１６２は、検出信号に対してノイズ除去処理やゲイン調整、直流成分除去処理、Ａ／Ｄ変換処理等を行い、処理後の検出信号を制御部２０ｂに出力する。

記録再生処理部１７は、歪補正部１４ｂから出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。
記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１７に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１８は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１８は、ユーザー操作に応じた操作信号を生成して制御部２０ｂに出力する。

制御部２０ｂは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。

制御部２０ｂは、ユーザーインタフェース部１８からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ｂで行わせる。また、制御部２０ｂは、歪補正部１４ｂで行われる歪補正動作と振れ補正ユニット１１３で行われる振れ補正動作の制御を行う。制御部２０ｂは、姿勢変化検出部１６から出力された検出信号に基づき振れ補正姿勢変化量を設定して、ユニット駆動部１１５に通知する。例えば、姿勢変化検出部１６で角速度センサ１６１が用いられている場合、制御部２０ｂは、姿勢変化検出部１６からの検出信号を積分することで姿勢変化量（角度）を算出する。また、手持ち撮影時の姿勢変化では、姿勢変化の周波数が高くないことから、制御部２０ｂは、検出信号に対して手振れの周波数成分のみを通過させるフィルタ処理を行う。このようなフィルタ処理を行うことで、制御部２０ｂは、撮像装置本体の姿勢変化に応じた姿勢変化量を精度よく算出できるようになる。制御部２０ｂは、算出した姿勢変化量を振れ補正姿勢変化量としてユニット駆動部１１５に出力する。また、制御部２０ｂは、算出した姿勢変化量（振れ補正姿勢変化量に相当）に対して、水平方向と垂直方向の画角の違いを考慮した制限処理を行い、制限処理後の姿勢変化量を歪補正姿勢変化量として歪補正部１４ｂに出力する。

［２−２．第２の実施の形態の動作｝
図９は、第２の実施の形態における振れ補正画像生成動作を示すフローチャートである。ステップＳＴ１１で撮像装置１０ｂは、姿勢変化検出部１６の出力を用いて振れ補正姿勢変化量を算出してステップＳＴ１２，１５に進む。

ステップＳＴ１２で撮像装置１０ｂは、歪補正姿勢変化量を設定する。撮像装置１０ｂは、歪補正を行う際に画角が狭くなることを抑えるように姿勢変化量を制限して、制限処理後の姿勢変化量を歪補正姿勢変化量に設定してステップＳＴ１３に進む。例えば、撮像装置１０ｂは、振れ補正姿勢変化量に対して制限を行って歪補正姿勢変化量に変換する変換処理を行う。

ステップＳＴ１３で撮像装置１０ｂは、歪補正処理を行う。撮像装置１０ｂは、歪補正姿勢変化量に基づき撮像画像の歪補正を行い、歪補正画像を生成してステップＳＴ１４に進む。

ステップＳＴ１４で撮像装置１０ｂは、画像抽出処理を行う。撮像装置１０ｂは、歪補正画像から歪補正処理によって生じた画像の無い領域が含まれないように画像抽出処理を行う。なお、第２の実施の形態では、振れ補正ユニット１１３によって振れ補正が行われることから、撮像画像の中心位置を基準として画像の抽出を行う。撮像装置１０ｂは、抽出した画像を振れ補正画像とする。

ステップＳＴ１５で撮像装置１０ｂは、振れ補正ユニットの駆動処理を行う。撮像装置１０ｂは、ステップＳＴ１１で算出された振れ補正姿勢変化量に基づき、振れ補正ユニット１１３のシフトレンズを駆動して振れ補正を行う。

次に、第２の実施の形態における振れ補正画像生成動作について説明する。図１０は、第２の実施の形態における振れ補正画像生成動作を説明するための図である。図１０の（Ａ）は撮像画像を例示している。

撮像装置１０ｂでＹａｗ方向（例えば左方向）の振れを生じた場合、撮像画像は例えば図１０の（Ｂ）に示すように、振れ補正ユニット１１３のシフトレンズの移動と振れ補正ユニット１１３の姿勢変化に伴う歪みが生ずる。

撮像装置１０ｂの歪補正部１４ｂで撮像画像に生じている歪みの補正を行うと、図１０の（Ｃ）に示すように、歪補正画像では画像の無い領域ＡＲｚｂを生じる。したがって、歪補正部１４ｂは、画像の無い領域が含まれないように画像抽出領域ＡＲｃｂを設定して画像の抽出を行い振れ補正画像の画像信号として出力する。

また、歪補正部１４ｂは、図４に示す変化量変換動作を行うことにより得られた歪補正姿勢変化量に基づいて歪補正を行う。したがって、歪補正後の撮像画像は、振れ補正姿勢変化量が大きくなっても歪補正姿勢変化量が所定の姿勢変化量に制限されるため、画像の無い領域の広がりも制限される。このため、歪補正部１４ｂで抽出される画像の画角が小さくなってしまうことを制限できる。

以上のように第２の実施の形態においても、画像の無い領域を含まないように振れ補正画像を生成する場合、歪補正姿勢変化量を制限することで振れ補正画像の画角が小さくなってしまうことを制限できるようになる。したがって、画像の拡大による画質劣化を軽減して画質の良好な振れ補正画像を容易に得ることができる。また、振れ補正光学系を用いたことにより、光学系歪みが変化しても、光学系歪みの変化に応じて歪補正を行うことができるので、歪みの少ない振れ補正画像が得られるようになる。
＜３．第３の実施の形態＞
次に、第３の実施の形態では、撮像素子を振れ補正姿勢変化量に応じて移動させて振れ補正画像を生成する場合について説明する。

図１１は、本技術の撮像装置の第３の実施の形態の構成を示す図である。撮像装置１０ｃは、撮像光学系１１ｃ、撮像部１２ｃ、画像処理部１３、歪補正部１４ｃ、姿勢変化検出部１６を有している。さらに、撮像装置１０ｃは、記録再生処理部１７、ユーザーインタフェース（ユーザーＩ／Ｆ）部１８、制御部２０ｃを有している。

撮像光学系１１ｃは、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１４、ユニット駆動部１１５等で構成されている。

ズームユニット１１１は、ズームレンズを用いて構成されている。ズームユニット１１１は、ズームレンズを光軸方向に移動して焦点距離を可変する。すなわち、ズーム機能を実現する。フォーカスユニット１１２はフォーカスレンズを用いて構成されている。フォーカスユニット１１２は、フォーカスレンズを光軸方向に移動して、フォーカス調整を行う。絞りユニット１１４は、アイリスを用いて構成されている。絞りユニット１１４は、アイリスの開口量を可変させて、撮像部１２に入射される被写体光学像の光量調整を行う。ユニット駆動部１１５は、制御部２０ｃからの制御信号に基づき、ズームユニット１１１、フォーカスユニット１１２、絞りユニット１１４を駆動する。

撮像部１２ｃは、撮像素子１２１、前処理部１２２、撮像駆動部１２３、撮像素子移動処理部１２４等で構成されている。撮像素子１２１は、光電変換処理を行い、撮像光学系１１ｃによって撮像面に結像された光学像を電気信号に変換する。撮像素子１２１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等が用いられる。

前処理部１２２は、撮像素子１２１で生成された電気信号に対してＣＤＳ（correlated double sampling：相関２重サンプリング）等のノイズ除去処理を行う。また、前処理部１２２は、電気信号の信号レベルを所望の信号レベルとするゲイン調整を行う。さらに、前処理部１２２は、Ａ／Ｄ変換処理を行い、ノイズ除去処理やゲイン調整が行われた電気信号であるアナログの画像信号をディジタルの画像信号に変換して出力する。

撮像駆動部１２３は、制御部２０ｃからの制御信号に基づき、撮像素子１２１を駆動するために必要な動作パルス等の生成を行う。例えば、電荷を読み出すための電荷読出パルス、垂直方向や水平方向の転送を行うための転送パルス、電子シャッター動作を行うためのシャッターパルス等の生成を行う。

撮像素子移動処理部１２４は、制御部２０ｃからの制御信号によって示された振れ補正姿勢変化量に基づき撮像素子１２１を移動させて振れ補正処理を行う。すなわち、撮像素子移動処理部１２４は、振れ補正姿勢変化量に基づき、撮像装置１０ｃの姿勢変化が生じても静止している被写体が画面上で一定位置となるように撮像素子１２１を移動させて、撮像部１２ｃから振れ補正が行われた画像の画像信号を出力させる。

画像処理部１３は、撮像部１２ｃから出力されたディジタルの画像信号に対してカメラプロセス処理等を行う。画像処理部１３は、例えば画像信号に対してガンマ補正やニー補正等の非線形処理、色補正処理、輪郭強調処理等を行う。

歪補正部１４ｃは、画像処理部１３から出力された画像信号に対して、制御部２０ｃからの制御信号に基づき歪補正を行う。手振れや振動等で撮像装置の姿勢が変化して、例えば被写体のフォーカス面と撮像素子１２１の撮像面が平行でなくなることにより撮像画像では台形的な歪みが発生する。また、撮像光学系１１ｃの光学系歪みによって撮像画像に歪みが発生する。歪補正部１４ｃは、撮像装置の姿勢変化によって生じた撮像画像の歪みや撮像光学系１１ｃの光学系歪みによって生じた撮像画像の歪みを補正する。さらに、歪補正部１４ｃは、歪補正が行われた画像から画像抽出領域の画像信号を抽出して振れ補正画像の画像信号とする。

歪補正部１４ｃは、例えば撮像装置の姿勢変化量に応じた歪補正データテーブルを予め有しており、制御部２０ｃからの制御信号によって示された歪補正姿勢変化量に対する歪補正データを選択する。その歪補正データを用いて、歪み成分を含んだ画像信号の各画素の座標を補正後の座標に変換して、歪みが除去または軽減された画像の画像信号を生成する。このように、歪補正データテーブルを用いるようにすれば、演算処理を行って歪補正を行う場合に比べて高速かつ容易に歪補正を行うことができる。

姿勢変化検出部１６は、撮像装置１０ｃのＰｉｔｃｈ方向とＹａｗ方向の姿勢変化を検出して、検出結果を制御部２０ｃに出力する。姿勢変化検出部１６は、例えば角速度センサ１６１や検出信号処理部１６２を有している。

角速度センサ１６１は、Ｐｉｔｃｈ方向の振れに応じた検出信号とＹａｗ方向の姿勢変化に応じた検出信号を生成して、検出信号処理部１６２に出力する。検出信号処理部１６２は、検出信号に対してノイズ除去処理やゲイン調整、直流成分除去処理、Ａ／Ｄ変換処理等を行い、処理後の検出信号を制御部２０ｃに出力する。

記録再生処理部１７は、歪補正部１４５ｃから出力された画像信号を記録媒体に記録する。また、記録媒体に記録されている画像信号を読み出して、外部機器に出力する。記録媒体としては、メモリカードや光ディスク、磁気テープ等のように着脱可能であってもよく、固定タイプのＨＤＤや半導体メモリモジュール等であってもよい。また、記録再生処理部１７に、エンコーダやデコーダを設けて画像信号の圧縮符号化や伸張復号化を行い、記録媒体には符号化信号を記録するようにしてもよい。

ユーザーインタフェース部１８は、操作スイッチや操作ボタン等で構成されている。ユーザーインタフェース部１８は、ユーザー操作に応じた操作信号を生成して制御部２０ｃに出力する。

制御部２０ｃは、例えばＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read Only Memory)と、ＲＡＭ(Random Access Memory)を備えている。ＣＰＵは、ＲＯＭに格納されている制御プログラムを必要に応じて読み出して実行する。ＲＯＭには、上述のように、ＣＰＵにおいて実行されるプログラムや各種の処理において必要となるデータ等が予め記憶されている。ＲＡＭは、処理の途中結果などを一時記憶するいわゆる作業領域として用いられるメモリである。また、ＲＯＭまたはＲＡＭは、各種の設定パラメータ等の情報や補正データ等を記憶する。

制御部２０ｃは、ユーザーインタフェース部１８からの操作信号等に応じて各部の制御を行い、ユーザー操作に応じた動作を撮像装置１０ｃで行わせる。また、制御部２０ｃは、撮像素子移動処理部１２４で行われる撮像素子の移動処理動作と、歪補正部１４ｃで行われる歪補正動作の制御を行う。制御部２０ｃは、姿勢変化検出部１６から出力された検出信号に基づき振れ補正姿勢変化量を設定して、撮像素子移動処理部１２４に通知する。例えば、姿勢変化検出部１６で角速度センサ１６１が用いられている場合、制御部２０ｃは、姿勢変化検出部１６からの検出信号を積分することで姿勢変化量（角度）を算出する。また、手持ち撮影時の姿勢変化では、姿勢変化の周波数が高くないことから、制御部２０ｃは、検出信号に対して手振れの周波数成分のみを通過させるフィルタ処理を行う。このようなフィルタ処理を行うことで、制御部２０ｃは、撮像装置本体の姿勢変化に応じた姿勢変化量を精度よく算出できるようになる。制御部２０ｃは、算出した姿勢変化量を振れ補正姿勢変化量として撮像素子移動処理部１２４に出力する。また、制御部２０ｃは、算出した姿勢変化量（振れ補正姿勢変化量に相当）に対して、水平方向と垂直方向の画角の違いを考慮した制限処理を行い、制限処理後の姿勢変化量を歪補正姿勢変化量として歪補正部１４ｃに出力する。

図１２は、第３の実施の形態における振れ補正画像生成動作を示すフローチャートである。ステップＳＴ２１で撮像装置１０ｃは、姿勢変化検出部１６の出力を用いて振れ補正姿勢変化量を算出してステップＳＴ２２に進む。

ステップＳＴ２２で撮像装置１０ｃは、歪補正姿勢変化量を設定する。撮像装置１０ｃは、台形歪補正を行う際に画角が狭くなることを抑えるように姿勢変化量を制限して、制限処理後の姿勢変化量を歪補正姿勢変化量に設定してステップＳＴ２３に進む。例えば、撮像装置１０ｃは、振れ補正姿勢変化量に対して制限を行って歪補正姿勢変化量に変換する変換処理を行う。

ステップＳＴ２３で撮像装置１０ｃは、振れ補正処理を行う。撮像装置１０ｃは、振れ補正姿勢変化量に基づき撮像素子１２１を移動させて撮像画像の振れ補正を行い、振れ補正画像を生成してステップＳＴ２４に進む。

ステップＳＴ２４で撮像装置１０ｃは、歪補正処理を行う。撮像装置１０ｃは、歪補正姿勢変化量に基づき撮像画像の歪補正を行う。また、撮像装置１０ｃは、歪補正が行われた画像から画像抽出領域の画像を抽出することで振れ補正画像を生成する。

このように、第３の実施の形態では、撮像装置の振れに応じて撮像素子を移動して振れ補正を行い、振れ補正画像に対して上述のように歪補正姿勢変化量を制限して歪補正を行うことで、歪補正が行われた振れ補正画像の画角が小さくなってしまうことを制限できるようになり、画質の良好な振れ補正画像を容易に得ることができる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 撮像装置本体の姿勢変化を検出する姿勢変化検出部と、
前記姿勢変化によって生じる撮像画像の振れを補正する振れ補正部と、
前記姿勢変化によって生じる撮像画像の歪みを補正する歪補正部と、
前記姿勢変化検出部で検出された姿勢変化に基づいて前記振れ補正部で振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づき前記歪補正部で歪みの補正を行わせる制御部と
を備える撮像装置。
（２） 前記制御部は、前記姿勢変化検出部で検出された姿勢変化を所定の規定量までの範囲に制限する（１）に記載の撮像装置。
（３） 前記制御部は、前記所定の規定量を下回る第１の規定量から前記所定の規定量を上回る第２の規定量までで、前記姿勢変化検出部で検出される姿勢変化を前記第１の規定量から前記所定の規定量までに制限する（２）に記載の撮像装置。
（４） 前記制御部は、撮像画像の長手方向についての姿勢変化と短手方向についての姿勢変化に対して個々に前記規定量を設定して、前記検出された姿勢変化に対する制限を行う（２）または（３）に記載の撮像装置。
（５） 前記制御部は、所定の規定量は、前記振れの補正と歪みの補正が行われた所望の画像サイズの撮像画像に、前記歪みの補正によって生じた画像の無い領域が含まれない姿勢変化の最大変化量とする（２）乃至（４）の何れかに記載の撮像装置。
（６） 前記歪補正部は、前記姿勢変化によって生じる台形状の歪みを補正する（１）乃至（５）の何れかに記載の撮像装置。
（７） 前記歪補正部は、撮像光学系に基づく撮像画像の歪みの補正を行う（１）乃至（６）の何れかに記載の撮像装置。
（８） 前記撮像光学系は振れ補正光学系を有し、
前記振れ補正部は、前記振れ補正光学系を駆動して振れ補正を行い、
前記歪補正部は、前記振れ補正光学系によって生じる撮像画像の歪みの補正を行う（７）に記載の撮像装置。

この技術の撮像装置とその制御方法およびプログラムでは、撮像装置本体の姿勢変化が検出されて、検出された姿勢変化に基づいて、姿勢変化によって生じる撮像画像の振れが補正される。また、検出された姿勢変化に対する制限処理後の姿勢変化に基づいて、姿勢変化によって生じる撮像画像の歪みの補正が行われる。このため、姿勢変化に対する歪補正の補正量が制限されて、歪補正後の画像に現れる画像の無い領域を少なくすることが可能となり、ユーザーに提供される画角が狭くなってしまうことを制限できる。また、ユーザーに提供される画角が狭くなってしまうことを制限できるので、画像の拡大による画質の劣化を防止して画質の良好な振れ補正画像を容易に得ることができる。したがって、撮像機能を有する電子機器、例えばビデオカメラやデジタルカメラ、携帯端末装置等に適している。

１０ａ，１０ｂ，１０ｃ，９０・・・撮像装置
１１ａ，１１ｂ，１１ｃ・・・撮像光学系
１２，１２ｃ・・・撮像部
１３・・・画像処理部
１４ａ，１４ｂ，１４ｃ・・・歪補正部
１５・・・振れ補正部
１６・・・姿勢変化検出部
１７・・・記録再生処理部
１８・・・ユーザーインタフェース部
２０ａ，２０ｂ，２０ｃ・・・制御部
１１１・・・ズームユニット
１１２・・・フォーカスユニット
１１３・・・振れ補正ユニット
１１４・・・絞りユニット
１１５・・・ユニット駆動部
１２１・・・撮像素子
１２２・・・前処理部
１２３・・・撮像駆動部
１２４・・・撮像素子移動処理部
１６１・・・角速度センサ
１６２・・・検出信号処理部

Claims (10)

1. 撮像装置本体の姿勢変化を検出する姿勢変化検出部と、
   前記姿勢変化によって生じる撮像画像の振れを補正する振れ補正部と、
   前記姿勢変化によって生じる撮像画像の歪みを補正する歪補正部と、
   前記姿勢変化検出部で検出された姿勢変化に基づいて前記振れ補正部で振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づき前記歪補正部で歪みの補正を行わせる制御部と
   を備える撮像装置。
2. 前記制御部は、前記姿勢変化検出部で検出された姿勢変化を所定の規定量までの範囲に制限する
   請求項１記載の撮像装置。
3. 前記制御部は、前記所定の規定量を下回る第１の規定量から前記所定の規定量を上回る第２の規定量までで、前記姿勢変化検出部で検出される姿勢変化を前記第１の規定量から前記所定の規定量までに制限する
   請求項２記載の撮像装置。
4. 前記制御部は、撮像画像の長手方向についての姿勢変化と短手方向についての姿勢変化に対して個々に前記規定量を設定して、前記検出された姿勢変化に対する制限を行う
   請求項２記載の撮像装置
5. 前記制御部は、所定の規定量は、前記振れの補正と歪みの補正が行われた所望の画像サイズの撮像画像に、前記歪みの補正によって生じた画像の無い領域が含まれない姿勢変化の最大変化量とする
   請求項２記載の撮像装置
6. 前記歪補正部は、前記姿勢変化によって生じる台形状の歪みを補正する
   請求項１記載の撮像装置
7. 前記歪補正部は、撮像光学系に基づく撮像画像の歪みの補正を行う
   請求項１記載の撮像装置
8. 前記撮像光学系は振れ補正光学系を有し、
   前記振れ補正部は、前記振れ補正光学系を駆動して振れ補正を行い、
   前記歪補正部は、前記振れ補正光学系によって生じる撮像画像の歪みの補正を行う
   請求項７記載の撮像装置
9. 撮像装置本体の姿勢変化を検出する工程と、
   前記姿勢変化によって生じる撮像画像の振れを補正する工程と、
   前記姿勢変化によって生じる撮像画像の歪みを補正する工程と、
   検出された前記姿勢変化に基づいて前記振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づいて前記歪みの補正を行わせる工程と
   を含む撮像装置の制御方法。
10. 撮像装置の制御をコンピュータで実行させるプログラムであって、
    前記撮像装置本体の姿勢変化によって生じる撮像画像の振れを補正する手順と、
    前記撮像装置本体の姿勢変化によって生じる撮像画像の歪みを補正する手順と、
    姿勢変化検出部によって検出された前記撮像装置本体の姿勢変化に基づいて前記振れの補正を行わせて、前記検出された姿勢変化に対する制限処理後の姿勢変化に基づいて前記歪みの補正を行わせる手順と
    を前記コンピュータで実行させるプログラム。