JP2011114649A - 撮像装置 - Google Patents

Abstract

【課題】フォーカルプレーン歪み（ＦＰ歪み）を安定的に補正する。
【解決手段】撮像装置は、ＣＭＯＳイメージセンサを用いて得られた入力画像のＦＰ歪み及び手ぶれを補正して出力画像を生成する。前回の入力画像及び今回の入力画像３５０間のオプティカルフローに基づき、手ぶれによる画像ぶれが打ち消されるように入力画像３５０上の基準枠３５１の位置を調整する。入力画像３５０のＦＰ歪みを除去するための歪み補正ベクトルを上記オプティカルフローから導出し、歪み補正ベクトルに基づいて基準枠３５１を変形することで抽出枠３５２ａを設定する。抽出枠３５２ａが入力画像３５０内に収まらない場合、抽出枠３５２ａが入力画像３５０内に収まるように歪み補正ベクトル及び抽出枠を修正し、修正後の抽出枠３５２ｂ内の画像から出力画像を生成する。
【選択図】図１７

Description

本発明は、デジタルビデオカメラ、デジタルスチルカメラ等の撮像装置に関し、特にフォーカルプレーン歪みを除去する技術に関する。

固体撮像素子に用いられる電子シャッタは、撮像面の全受光画素が共通タイミングで露光されるグローバルシャッタと、異なる水平ライン間で露光タイミングが異なるローリングシャッタに大別される。ローリングシャッタは、画素単位で受光画素の出力信号を読み出すことのできるＸＹアドレス型の固体撮像素子、例えば、ＣＭＯＳイメージセンサで利用される。

ローリングシャッタを採用した撮像装置では、撮影者の手ブレ等の影響によって撮影時に固体撮像素子に位置的変化が生じると、原理上、撮影画像にフォーカルプレーン歪み（以下、ＦＰ歪みという）が発生することが知られている。但し、撮影画像に対して適切な画像処理を行えば、ＦＰ歪みを除去することが可能である（例えば下記特許文献１参照）。

例えば、撮像装置を水平方向に振りながら直立した人物を撮影した場合、水平方向のＦＰ歪みが発生し、図３０に示すような入力画像９００が得られる。画像処理部は、入力画像９００に対し、手ぶれ補正用の基準枠９０１を設定した後、ＦＰ歪みの補正量に応じて基準枠９０１を変形することで抽出枠９０２を設定し、入力画像９００を保存したメモリから抽出枠９０２内の画像の画像データを読み出すことでＦＰ歪みが除去された出力画像９０３を得ることが可能である。ＦＰ歪みの補正量は、例えば、画像データに基づくオプティカルフローより、又は、撮像装置１の動きを検出するセンサの出力より求められる。

上述のようにして、画像処理によりＦＰ歪みを除去することが可能であるが、入力画像９００の画像サイズは撮像素子のサイズ以下であるため、撮像素子のサイズを超えるようなＦＰ歪みを除去することはできない。例えば、図３１に示す如く、ＦＰ歪みの補正量に応じて基準枠９０１を変形することで、入力画像９００からはみ出した抽出枠９０２ａが設定された場合、はみ出した部分には画像データが存在しないため、抽出枠９０２ａをそのまま用いると補正が破綻する。これは、特許文献１の方法においても当てはまる。即ち、従来方法では、撮影画像に含まれるＦＰ歪みの安定的な低減が困難になる場合がある。

特開２００６−１８６４８１号公報

そこで本発明は、撮影画像に含まれる歪みの安定的な低減に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、互いに異なる水平ライン間で露光タイミングを異ならせつつ撮影を行う撮像素子を用いて出力画像を生成する撮像装置において、当該撮像装置の動き又は被写体の動きを検出する動き検出部と、前記動き検出部の検出結果に基づいて、前記露光タイミングの相違に基づく歪みの補正を行うことにより前記出力画像を生成する補正部と、を備え、前記補正部は、前記動き検出部の検出結果に基づく歪み補正量に応じて、前記出力画像の生成方法を変更することを特徴とする。

これにより、歪み補正量が大き過ぎて補正の破綻が懸念される場合には、出力画像の生成方法を破綻の回避される方法に変更することが可能となり、結果、破綻の回避された安定的な画像補正を実現することが可能となる。

具体的には例えば、前記補正部は、前記歪み補正量が歪み補正の限界量を超えるか否かに応じて、前記出力画像の生成方法を変更する。

より具体的には例えば、前記補正部は、前記歪み補正量が歪み補正の限界量以下である場合、前記歪みの全部を補正することで前記出力画像を生成し、前記歪み補正量が歪み補正の限界量よりも大きい場合、前記歪みの一部を補正することで前記出力画像を生成する。

歪み補正量が歪み補正の限界量よりも大きい場合、補正の破綻が懸念されるが、この場合には、補正対象を歪みの一部にすることで補正の破綻を回避することができる。

或いは具体的には例えば、前記補正部は、前記歪み補正量が歪み補正の限界量以下である場合、前記歪みを補正する歪み補正処理と、当該撮像装置の動き又は前記被写体の動きによる画像ぶれを前記動き検出部の検出結果に基づいて補正するぶれ補正処理と、を介して前記出力画像を生成し、前記歪み補正量が歪み補正の限界量より大きい場合、前記ぶれ補正処理による画像ぶれの補正量を変更してから、前記歪み補正処理及び前記ぶれ補正処理を介して前記出力画像を生成する。

これによれば、歪み補正量が歪み補正の限界量よりも大きい場合、多少の画像ぶれが出力画像に残存することとなるが、破綻なく安定的に歪みの補正を成すことが可能となる。

また具体的には例えば、前記補正部は、前記撮像素子により生成される入力画像内に基準枠を設定するとともに前記歪み補正量に基づいて前記基準枠を変形させることで抽出枠を設定し、前記歪み補正の限界量は、前記入力画像の外枠と前記基準枠との位置関係から規定され、前記歪み補正量が歪み補正の限界量以下である場合は、前記入力画像の外枠内に前記抽出枠が収まる一方で、前記歪み補正量が歪み補正の限界量を超える場合は、前記入力画像の外枠から前記抽出枠がはみ出し、前記補正部は、前記歪み補正量が歪み補正の限界量以下である場合は、前記抽出枠内の画像データから前記出力画像を生成する一方、前記歪み補正量が歪み補正の限界量を超える場合は、前記抽出枠が前記入力画像の外枠内に収まるように前記抽出枠を修正し、修正後の抽出枠の画像データから前記出力画像を生成する。

また例えば、前記補正部は、当該撮像装置の動き又は前記被写体の動きによる画像ぶれが前記出力画像上において打ち消されるように、前記動き検出部の検出結果に基づいて前記基準枠の位置を決定する。

本発明によれば、撮影画像に含まれる歪みの安定的な低減に寄与する撮像装置を提供することが可能となる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

本発明の一実施形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図２の撮像素子の有効画素領域における水平ライン配列を示す図である。 図２の撮像素子における露光タイミング及び信号読み出しタイミングを表す図である。 本発明の一実施形態に係る画像補正機能部の内部ブロック図である。 有効画素領域と入力画像用のメモリ領域との関係を示す図である。 時系列上に並ぶ複数の入力画像と、各入力画像の露光タイミング及び信号読み出しタイミングと、を表す図である。 入力画像の全体画像領域内に９つの動き検出ブロックが設定される様子を示す図である。 ２枚の入力画像間のオプティカルフローを示す図である。 オプティカルフローから、手ぶれ補正ベクトル及び歪み補正ベクトルが算出される様子を示す図である・ 入力画像列、各入力画像に設定される基準枠及び抽出枠、並びに、出力画像列を示す図である。 ＦＰ歪みの現れ方を説明するための図である。 入力画像に水平ＦＰ歪み（水平方向のＦＰ歪み）が含まれている場合における、抽出枠の設定方法を説明するための図である。 入力画像に垂直ＦＰ歪み（垂直方向のＦＰ歪み）が含まれている場合における、抽出枠の設定方法を説明するための図である。 入力画像に垂直ＦＰ歪みが含まれている場合における、ＦＰ歪み補正処理を説明するための図である。 入力画像に垂直ＦＰ歪みが含まれている場合における、ＦＰ歪み補正処理を説明するための図である。 本発明の第１実施例に係り、補正限界量を超える水平ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第２実施例に係り、補正限界量を超える水平ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第３実施例に係り、補正限界量を超える水平ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第３実施例に係り、係数ｋと手ぶれ補正ベクトルの大きさとの関係を示す図である。 本発明の第４実施例に係り、補正限界量を超える垂直ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第４実施例に係るＦＰ歪み補正処理を説明するための図である。 本発明の第５実施例に係り、補正限界量を超える垂直ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第５実施例に係るＦＰ歪み補正処理を説明するための図である。 本発明の第６実施例に係り、補正限界量を超える垂直ＦＰ歪みが入力画像に含まれている場合における、抽出枠の設定方法を説明するための図である。 本発明の第６実施例に係るＦＰ歪み補正処理を説明するための図である。 本発明の第７実施例に係る撮像装置の動作手順を表すフローチャートである。 本発明の第８実施例に係る画像補正機能部の内部ブロック図である。 本発明の第９実施例に係り、ぶれ補正及びＦＰ歪み補正に関与する部位のブロック図である。 従来技術に係り、ＦＰ歪みを含む入力画像からＦＰ歪みが除去された出力画像が生成される様子を示す図である。 従来のＦＰ歪み補正の問題点を説明するための図である。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。

図１は、本発明の実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、符号１１〜２８によって参照される各部位を有する。撮像装置１は、デジタルビデオカメラであり、動画像及び静止画像を撮影可能となっていると共に動画像撮影中に静止画像を同時に撮影することも可能となっている。撮像装置１内の各部位は、バス２４又は２５を介して、各部位間の信号（データ）のやり取りを行う。尚、表示部２７及び／又はスピーカ２８は撮像装置１の外部装置（不図示）に設けられたものである、と解釈するようにしても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、固体撮像素子である撮像素子３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。光学系３５は、撮像部１１の画角を調節するためのズームレンズ３０及び焦点を合わせるためのフォーカスレンズ３１を含む複数枚のレンズから形成される。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。ＣＰＵ２３からの制御信号に基づき、光学系３５内におけるズームレンズ３０及びフォーカスレンズ３１の位置並びに絞り３２の開度が制御されることによって、撮像部１１の焦点距離（画角）及び焦点位置並びに撮像素子３３への入射光量が制御される。

撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成される。撮像素子３３の各受光画素は、光学系３５及び絞り３２を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２（Analog Front End）に出力する。

ＡＦＥ１２は、撮像素子３３（各受光画素）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換してから映像信号処理部１３に出力する。ＡＦＥ１２における信号増幅の増幅度はＣＰＵ（Central Processing Unit）２３によって制御される。映像信号処理部１３は、ＡＦＥ１２の出力信号によって表される画像に対して必要な画像処理を施し、画像処理後の画像についての映像信号を生成する。マイク１４は、撮像装置１の周辺音をアナログの音声信号に変換し、音声信号処理部１５は、このアナログの音声信号をデジタルの音声信号に変換する。

圧縮処理部１６は、映像信号処理部１３からの映像信号及び音声信号処理部１５からの音声信号を、所定の圧縮方式を用いて圧縮する。内部メモリ１７は、ＤＲＡＭ（Dynamic Random Access Memory）などから成り、各種のデータを一時的に保存する。記録媒体としての外部メモリ１８は、半導体メモリや磁気ディスクなどの不揮発性メモリであり、圧縮処理部１６による圧縮後の映像信号及び音声信号を記録する。

伸張処理部１９は、外部メモリ１８から読み出された圧縮された映像信号及び音声信号を伸張する。伸張処理部１９による伸張後の映像信号又は映像信号処理部１３からの映像信号は、表示処理部２０を介して、液晶ディスプレイ等から成る表示部２７に送られて画像として表示される。また、伸張処理部１９による伸張後の音声信号は、音声出力回路２１を介してスピーカ２８に送られて音として出力される。

ＴＧ（タイミングジェネレータ）２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。ＴＧ２２は、更に、ＣＰＵ２３の制御の下、撮像素子３３の駆動パルスを生成して撮像素子３３に供給する。ＣＰＵ２３は、撮像装置１内の各部位の動作を統括的に制御する。操作部２６は、動画像の撮影及び記録の開始／終了を指示するための録画ボタン２６ａ、静止画像の撮影及び記録を指示するためのシャッタボタン２６ｂ、並びに、ズーム倍率を指定するためのズームボタン２６ｃ等を有し、ユーザによる各種操作を受け付ける。操作部２６に対する操作内容はＣＰＵ２３に伝達される。

撮像素子３３は、電子シャッタ機能を備えており、所謂ローリングシャッタによって各受光画素の露光を実施する。撮像素子３３には、複数の受光画素によって形成される撮像面が設けられており、撮像面上に定義された複数の水平ライン及び複数の垂直ラインに沿って受光画素が二次元配列されている。ローリングシャッタでは、撮像面の各受光画素が露光されるタイミングが水平ラインごとに異なる。つまり、撮像面における異なる水平ライン間で受光画素の露光タイミングが異なる。

図３及び図４を参照しつつ、撮像素子３３のローリングシャッタについて説明を補足する。図３に示す如く、撮像面において、垂直ラインに沿った方向（即ち撮像面の垂直方向）が上下方向であり、撮像面の有効画素領域３３_Aの最上端に配置された水平ラインが第１水平ラインであって且つ有効画素領域３３_Aの最下端に配置された水平ラインが第Ｍ水平ラインであるとする（Ｍは、２以上の整数であり、一般的には数１００から数１０００である）。そうすると、図４に示す如く、或る１つの注目フレームについて、第（ｉ＋１）水平ライン上の受光画素における露光の開始時刻は、第ｉ水平ライン上の受光画素における露光の開始時刻よりもΔｔ秒だけ遅い（Δｔ＞０且つｉは整数）。１つのフレームにおいて、第ｉ水平ライン上の受光画素の露光が行われる時間の長さは第（ｉ＋１）水平ライン上の受光画素のそれと同じであると共に、Δｔはｉの値に依存せず一定である。各受光画素の露光の終了後に、各受光画素の出力信号を読み出すことができ、読み出された出力信号はＡＦＥ１２に送られる。

Δｔ及びΔｔの整数倍を、異なる水平ライン間における露光タイミング差という。Δｔは、隣接水平ライン間における露光タイミング差である。

尚、第１〜第Ｍ水平ラインの内、露光タイミングが互いに同じとなる複数の水平ラインが存在していても構わない。例えば、２本の水平ラインごとに露光タイミングが異なっていても構わない。この場合、第２水平ラインの露光タイミングと第３水平ラインの露光タイミングが異なるものの、第１及び第２水平ラインの露光タイミングが同じであって且つ第３及び第４水平ラインの露光タイミングが同じとなる。また、１つの水平ラインにおいても各受光画素の露光タイミングは順次ずれるが、１つの水平ライン上の異なる受光画素間の露光タイミング差は、異なる水平ライン間のそれよりも十分小さいため、１つの水平ライン上における各受光画素の露光タイミングを同じとみなすことができる。

撮像素子３３は、例えば、ＸＹアドレス型のＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。ＣＭＯＳを形成可能な半導体基板上に、複数の受光画素から成る撮像面、垂直走査回路、水平走査回路及び画素信号出力回路等を形成することによって、ＣＭＯＳイメージセンサが形成される。但し、撮像素子３３がローリングシャッタによって各受光画素の露光を実施するものであるならば、撮像素子３３は、ＸＹアドレス走査型のＣＭＯＳイメージセンサでなくても構わない。

背景技術の説明でも述べたように、ローリングシャッタにて撮影された画像には、ＦＰ歪み（フォーカルプレーン歪み）が発生する。ＦＰ歪みは、Δｔが０よりも大きいことに起因して生じ、Δｔが大きいほどＦＰ歪みは増加する傾向にある。撮像装置１には、このＦＰ歪みを適切に除去する機能が備えられている。

図５に、ＦＰ歪みの除去機能を担う画像補正機能部５０のブロック図を示す。画像補正機能部５０は撮像装置１に設けられ、画像補正機能部５０は、符号５１〜５５によって参照される各部位を含む。フレームメモリ５１は、図１の内部メモリ１７にて実現される。動き検出部５２及び補正処理部５５は、例えば、図１の映像信号処理部１３に設けられる。手ぶれ検出部５３及びＦＰ歪み検出部５４は、映像信号処理部１３によって、或いは、ＣＰＵ２３によって、或いは、映像信号処理部１３及びＣＰＵ２３によって実現される。後述の入力画像にはＦＰ歪みが発生しているが、画像処理部５５にてＦＰ歪みが低減されて出力画像が生成される。

所定のフレームレート（例えば、３０フレーム／秒）にて撮像素子３３の各受光画素の出力信号が読み出され、撮像素子３３の各受光画素の出力信号は、入力画像の画像信号としてフレームメモリ５１に保存される。但し、各受光画素の出力信号に必要な信号処理を施して得た信号が入力画像の画像信号であるとする。ここにおける信号処理には、ＡＦＥ１２における信号増幅及び信号デジタル化が含まれ、更に、画像信号の信号形式をＲＡＷデータ形式からＹＵＶ形式に変換するデモザイキング処理等も含まれうる。ＹＵＶ形式の画像信号は、輝度信号と色差信号から形成される。

上記信号処理の内容は本発明の特徴的機能に特に関与しないため、以下の説明では、説明の簡略化上、上記信号処理の存在を無視する。本明細書において、画像信号と映像信号は同義である。また、或る受光画素又は画素についての画像信号を特に画素信号とも言う。以下の説明では、画像信号及び画素信号を画像データとも称する。また、本明細書では、符号又は記号を付記することによって符号又は記号に対応する名称を略記又は省略することがある。例えば、後述の図８等にて参照される、記号ＢＬ［１］に対応する動き検出ブロックを、ブロックＢＬ［１］又は単にＢＬ［１］と称することがある。

フレームメモリ５１において、１枚の入力画像に対するメモリ空間として二次元のメモリ領域５１_Aが割り当てられる。図６に示す如く、メモリ領域５１_Aは撮像素子３３の有効画素領域３３_Aと同じ構造を有しており、有効画素領域３３_A上の位置（ｘ，ｙ）における受光画素の出力信号は、メモリ領域５１_A上のアドレス（ｘ，ｙ）に保存される（ｘ及びｙは整数）。撮像素子３３において、位置（ｘ，ｙ）における受光画素とは、第ｘ垂直ライン上であって且つ第ｙ水平ライン上に位置する受光画素である。有効画素領域３３_Aの左端に配置された垂直ラインは第１垂直ラインであって、有効画素領域３３_Aにおいて、第（ｉ＋１）垂直ラインは第ｉ垂直ラインの右側に隣接する垂直ラインである（ｉは整数）。有効画素領域３３_A上に水平及び垂直ラインが配列される方法と同様の方法にて、メモリ領域５１_Aにも水平及び垂直ラインが定義される。メモリ領域５１_A上に表現される二次元画像は、有効画素領域３３_A上に結像する画像と同じものである。尚、入力画像に代表される任意の二次元画像、撮像素子３３、有効画素領域３３_A及びメモリ領域５１_Aにおいて、左右方向は水平方向及び水平ラインと平行であって上下方向は垂直方向及び垂直ラインと平行である。

フレームメモリ５１に、メモリ領域５１_Aを複数個設けておくことにより、複数枚の入力画像の画像データをフレームメモリ５１に保存しておくことができる。フレームメモリ５１に保存された各入力画像の画像データは、動き検出部５２に送られる。

今、図７に示す如く、単位時間Ｔ_Aが経過するごとに、現在時刻が時刻ｔ_n-1、ｔ_n、ｔ_n+1、・・・になるものとする（ｎは整数）。従って、時刻ｔ_n-1から単位時間Ｔ_Aが経過した時刻が時刻ｔ_nである。単位時間Ｔ_Aは上記フレームレートの逆数であるフレーム周期である。但し、単位時間Ｔ_Aはフレーム周期の整数倍であってもよい。時刻ｔ_nを起点としてｎ番目の入力画像の撮影が行われる。ｎ番目の入力画像を符号Ｉ_nにて表す。時刻ｔ_n-1及びｔ_n-1’は、それぞれ入力画像Ｉ_n-1を取得するための露光期間の開始時刻及び終了時刻であり、時刻ｔ_n及びｔ_n’は、それぞれ入力画像Ｉ_nを取得するための露光期間の開始時刻及び終了時刻である（時刻ｔ_n+1及びｔ_n+1’等についても同様）。時刻ｔ_n-1及びｔ_n-1’間の時間長さや時刻ｔ_n及びｔ_n’間の時間長さに等しい、各入力画像の露光期間の時間長さをＴ_Bにて表す。本実施形態において、Ｔ_B（例えば約１０ｍｓｅｃ）はＴ_A（例えば約３３ｍｓｅｃ）よりも短いものとする。但し、Ｔ_B＝Ｔ_Aであっても構わない。

また、時系列上に並ぶ複数の画像の集まりを画像列と呼ぶ。従って例えば、入力画像Ｉ_n-1、Ｉ_n及びＩ_n+1から成る画像列は入力画像列と称される。画像列は、動画像であるとも言える。

図５の動き検出部５２は、時間的に隣接する２枚の入力画像の画像データに基づいて当該２枚の入力画像間におけるオプティカルフローを算出することで、当該２枚の入力画像についての動き検出情報を生成して出力する。オプティカルフローの算出に当たり、動き検出部５２では、各入力画像の全体画像領域が複数の領域に分割され、各分割領域に動き検出ブロックが設定される。

図８の符号２１０は、或る１枚の入力画像を表している。例として、入力画像２１０の全体画像領域を水平及び垂直方向の夫々において３等分して９つの分割領域を定義することにより計９つの動き検出ブロックＢＬ［１］〜ＢＬ［９］を設定することを想定する。ｉを０、１又は２とした場合、ＢＬ［ｉ＋１］〜ＢＬ［ｉ＋３］は水平方向に並ぶ動き検出ブロックであって、且つ、ＢＬ［ｉ＋１］、ＢＬ［ｉ＋４］及びＢＬ［ｉ＋７］は垂直方向に並ぶ動き検出ブロックである。従って、ｉを０、１又は２とした場合、動き検出ブロックに内包される水平ラインはブロックＢＬ［ｉ＋１］〜ＢＬ［ｉ＋３］間で同じであり、動き検出ブロックに内包される垂直ラインはブロックＢＬ［ｉ＋１］、ＢＬ［ｉ＋４］及びＢＬ［ｉ＋７］間で同じである。更に、ｉを０、１又は２とした場合、ＢＬ［ｉ＋１］は入力画像２１０の左端側に配置され、ＢＬ［ｉ＋３］は入力画像２１０の右端側に配置され、ＢＬ［ｉ＋２］はＢＬ［ｉ＋１］及びＢＬ［ｉ＋３］間に配置され、ＢＬ［ｉ＋１］は入力画像２１０の上端側に配置され、ＢＬ［ｉ＋７］は入力画像２１０の下端側に配置され、ＢＬ［ｉ＋４］はＢＬ［ｉ＋１］及びＢＬ［ｉ＋７］間に配置される。

図９を参照し、時間的に隣接する２枚の入力画像を符号２２０及び２３０によって表した上で、動き検出情報の生成方法を説明する。入力画像２３０は入力画像２２０の次に生成される入力画像であり、例えば、入力画像２２０がＩ_n-1であるなら入力画像２３０はＩ_nであり、入力画像２２０がＩ_nであるなら入力画像２３０はＩ_n+1である。

動き検出部５２によって求められる、入力画像２２０及び２３０間のオプティカルフローは、複数の動きベクトルから成る。動き検出部５２は、ブロックマッチング法、代表点マッチング法又は勾配法等を用いて、動き検出ブロックごとに動きベクトルを算出する。図９に示す如く、ＢＬ［１］〜ＢＬ［９］に対して求められた動きベクトルを、夫々、記号ＭＶ［１］〜ＭＶ［９］によって表す（図９では、図示の煩雑化防止のため、記号ＭＶ［１］〜ＭＶ［９］の内、一部のみを図示）。動きベクトルは、入力画像２２０を基準として求められる。従って、入力画像２２０のブロックＢＬ［ｉ］内の特徴点の位置が第１位置であって、且つ、該特徴点に対応する点の、入力画像２３０上の位置が第２位置である場合、動きベクトルＭＶ［ｉ］は、第１位置を始点とし第２位置を終点とするベクトルとなる。

動き検出部５２は、入力画像が取得される度に、最新の２枚の入力画像に対してオプティカルフロー検出を行う。動き検出部５２は、ベクトルＭＶ［１］〜ＭＶ［９］を表す情報を動き検出情報に含め、該動き検出情報を手ぶれ検出部５３及びＦＰ歪み検出部５４に送る。

入力画像２２０及び２３０に対して求められた動きベクトルＭＶ［ｉ］は、入力画像２２０及び２３０の撮影期間中における撮像装置１の動きの向き及び大きさに依存するベクトル量であると共に、入力画像２２０及び２３０の撮影期間中における被写体の動きの向き及び大きさに依存するベクトル量でもある（ここにおける撮像装置１の動き及び被写体の動きは、実空間上における動きを指す）。従って、動き検出部５２は、実空間上における撮像装置１の動きを検出する部位とも言えるし、実空間上における被写体の動きを検出する部位とも言える。

図５の手ぶれ検出部５３は、動き検出情報から撮像装置１の動きを検出し、撮像装置１の動きに起因する画像ぶれ（像のぶれ）が出力画像上で生じないようにするための手ぶれ補正ベクトルを算出する。撮像装置１の動きとは、撮像装置１を把持するユーザの手ぶれ等によって引き起こされる。従って、本実施形態では、撮像装置１の動きを手ぶれとも称する。入力画像Ｉ_n-1及びＩ_nに対する動き検出情報から入力画像Ｉ_nに対する手ぶれ補正ベクトルが算出され、入力画像Ｉ_n及びＩ_n+1に対する動き検出情報から入力画像Ｉ_n+1に対する手ぶれ補正ベクトルが算出される（それら以外の入力画像についても同様）。

尚、実空間上において撮像装置１の撮影範囲に収まる全被写体が同じ速度で同じ方向に動いたならば撮像装置１が静止していたとしても、入力画像列において手ぶれが生じた場合と同様の画像変化が表れる。これを考慮すれば、手ぶれ検出部５３は、撮影範囲に収まる全被写体の動きを動き検出情報から検出するものであるとも言え、且つ、手ぶれ補正ベクトルは、その全被写体の動きに起因する画像ぶれ（像のぶれ）が出力画像上で生じないようにするためのベクトルであるとも言える（但し、これは、センサ部５６を利用する後述の第８及び第９実施例には当てはまらない）。以下の説明では、説明の簡略化等を考慮して、空間上において撮像装置１の撮影範囲に収まる全被写体が同じ速度で同じ方向に動くという状況を無視し、手ぶれ検出部５３が、動き検出情報から撮像装置１の動きを検出して、撮像装置１の動きに起因する画像ぶれ（像のぶれ）が出力画像上で生じないようにするための手ぶれ補正ベクトルを算出する、と考える。

図１０は、手ぶれ検出部５３による手ぶれ補正ベクトルの算出方法及びＦＰ歪み検出部５４による歪み補正ベクトルの算出方法の概念図である。図１０に示す如く、入力画像２３０に対する手ぶれ補正ベクトル２４１は、入力画像２２０及び２３０に対して求められた動きベクトルＭＶ［１］〜ＭＶ［９］の平均ベクトルである。手ぶれ補正ベクトル２４１は、入力画像２２０及び２３０の撮影期間中における撮像装置１の動きの向き及び大きさ（より詳細には例えば、入力画像２２０の露光期間の中間時点と入力画像２３０の露光期間の中間時点との間における撮像装置１の動きの向き及び大きさ）を表すベクトルの逆ベクトルとして求められる。図１０に例示される右向きの手ぶれ補正ベクトル２４１は、入力画像２２０及び２３０の撮影期間中に撮像装置１が左方向に振られたときに得られる。

図５のＦＰ歪み検出部５４は、動き検出情報から入力画像に生じているＦＰ歪みを検出し、そのＦＰ歪みを打ち消すための歪み補正ベクトルを算出する。入力画像Ｉ_n-1及びＩ_nに対する動き検出情報から入力画像Ｉ_nに対する歪み補正ベクトルが算出され、入力画像Ｉ_n及びＩ_n+1に対する動き検出情報から入力画像Ｉ_n+1に対する歪み補正ベクトルが算出される（それら以外の入力画像についても同様）。

図１０を参照して、入力画像２３０に対する歪み補正ベクトルの算出方法を説明する。まず、ＦＰ歪み検出部５４は、入力画像２２０及び２３０に対して求められた動きベクトルＭＶ［１］〜ＭＶ［９］に基づき、動きベクトルＭＶ［１］〜ＭＶ［３］の平均ベクトル２５１、動きベクトルＭＶ［４］〜ＭＶ［６］の平均ベクトル２５２及び動きベクトルＭＶ［７］〜ＭＶ［９］の平均ベクトル２５３を求める。つまり、水平方向に並ぶ動き検出ブロックＢＬ［ｉ＋１］〜ＢＬ［ｉ＋３］の合成領域についての動きベクトルを、ＭＶ［ｉ＋１］〜ＭＶ［ｉ＋３］を平均化することで求める。ベクトル２５１、２５２及び２５３は、夫々、ＢＬ［１］〜ＢＬ［３］の合成領域２６１、ＢＬ［４］〜ＢＬ［６］の合成領域２６２及びＢＬ［７］〜ＢＬ［９］の合成領域２６３に対する動きベクトルである。

ＦＰ歪み検出部５４は、ベクトル２５１を、合成領域２６１の中心を通る水平ライン２７１に対する歪み補正ベクトルであるとみなす。同様に、ベクトル２５２を、合成領域２６２の中心を通る水平ライン２７２に対する歪み補正ベクトルであるとみなすと共に、ベクトル２５３を、合成領域２６３の中心を通る水平ライン２７３に対する歪み補正ベクトルであるとみなす。図１０には、水平ライン２７１〜２７３の一部が一点鎖線にて示されている。

その上で、歪み補正ベクトル２５１〜２５３に基づき、補間を用いて水平ラインごとの歪み補正ベクトルを求める。補間の方法として、線形補間に代表される任意の補間の方法を用いることができる。ここでは、線形補間を用いることを想定する。そうすると、例えば、水平ライン２７１及び２７２間の中間に位置する水平ラインに対する歪み補正ベクトルは、歪み補正ベクトル２５１及び２５２の平均ベクトルとされ、水平ライン２７２及び２７３間の中間に位置する水平ラインに対する歪み補正ベクトルは、歪み補正ベクトル２５２及び２５３の平均ベクトルとされる。入力画像の最上部に位置する第１水平ラインについての歪み補正ベクトルＶ_TOPの大きさはゼロとされる。従って例えば、第１水平ライン及び水平ライン２７１間の中間に位置する水平ラインに対する歪み補正ベクトルは、歪み補正ベクトルＶ_TOP及び２５１の平均ベクトルとされる。入力画像において水平ライン２７３よりも下方側に位置する各水平ラインの歪み補正ベクトルは、歪み補正ベクトル２５２及び２５３に基づく線形補間によって求められる。

上述の補間の結果、入力画像２３０に対して、水平ラインの本数分の歪み補正ベクトルが求められる。全ての水平ラインに対して求められた全ての歪み補正ベクトルを、まとめて歪み補正情報とも呼ぶ。尚、上述の例では、１つの水平ラインごとに１つの歪み補正ベクトルが求められているが、複数の水平ラインごとに１つの歪み補正ベクトルを求めるようにしても構わない。

図５の補正処理部５５は、手ぶれ補正ベクトル及び歪み補正情報に基づき、撮像装置１の動きに起因する画像ぶれ（像のぶれ）が出力画像上で生じないようにするためのぶれ補正処理及びＦＰ歪みを低減するためのＦＰ歪み補正処理を実行することで、入力画像から出力画像を生成する。出力画像を外部メモリ１８に記録することができると共に表示部２７に表示することができる。

図１１を参照して、補正処理部５５によるぶれ補正処理及びＦＰ歪み補正処理の動作を説明する。入力画像Ｉ_iにぶれ補正処理及びＦＰ歪み補正処理を施すことで得られた出力画像を記号ＩＯ_iによって参照する（上述したようにｉは、整数であって、１、２、・・・、ｎ−１、ｎ、ｎ＋１、・・・の何れにもなりうる）。

補正処理部５５は、各入力画像に対して手ぶれ補正用の基準枠を設定した後、基準枠をＦＰ歪み補正用に変形させる。この変形後の基準枠を抽出枠と呼ぶ。基準枠の外形は矩形であるが、抽出枠の外形は矩形とは限らない。入力画像Ｉ_iに対して設定された基準枠を記号Ｆａ_iによって参照し、入力画像Ｉ_iに対して設定された抽出枠を記号Ｆｂ_iによって参照する。水平及び垂直方向の夫々において基準枠の大きさは入力画像の大きさよりも小さく、且つ、基準枠の全体は常に入力画像の全体画像領域内に収まる。従って、基準枠Ｆａ_i内の画像は、入力画像Ｉ_iの一部の画像である。即ち、基準領域とも言うべき、基準枠Ｆａ_i内の画像領域は、入力画像Ｉ_iの全体画像領域の一部である。異なる入力画像間において、基準枠の大きさは一定であるとする。

１番目の入力画像に対する基準枠の中心位置は入力画像の中心位置と一致している。今、入力画像Ｉ_n-1に対する基準枠Ｆａ_n-1及び抽出枠Ｆｂ_n-1が既に定まっていることを前提として、入力画像Ｉ_nに対する基準枠Ｆａ_n及び抽出枠Ｆｂ_nの設定方法を説明する。補正処理部５５は、入力画像Ｉ_n-1及びＩ_n間のオプティカルフロー検出に基づいて得られた入力画像Ｉ_nに対する手ぶれ補正ベクトルＶＣ_nと、入力画像Ｉ_n-1上における基準枠Ｆａ_n-1の中心位置３０１とに基づいて、入力画像Ｉ_n上における基準枠Ｆａ_nの中心位置３０２を決定する。この際、中心位置３０１を手ぶれ補正ベクトルＶＣ_nの向きに手ぶれ補正ベクトルＶＣ_nの大きさだけ移動させた位置が中心位置３０２として設定される。これにより、基準枠Ｆａ_n-1内の画像と基準枠Ｆａ_n内の画像とから成る画像列上において、撮像装置１の動きに起因する画像ぶれはなくなる（但し、検出誤差等を無視）。つまり、撮像装置１の動きに起因する画像ぶれが出力画像列上において打ち消されるように基準枠の位置が調整され、この調整によって上記ぶれ補正処理が実現される。

基準枠Ｆａ_nの設定後、補正処理部５５は、入力画像Ｉ_n-1及びＩ_n間のオプティカルフロー検出に基づいて得られた入力画像Ｉ_nに対する歪み補正情報ＦＣ_nに基づき、基準枠Ｆａ_nを変形させることで抽出枠Ｆｂ_nを設定する。この変形の方法は、入力画像に水平方向のＦＰ歪み（以下、水平ＦＰ歪みという）が発生している場合と、入力画像に垂直方向のＦＰ歪み（以下、垂直ＦＰ歪みという）が発生している場合とで異なる。水平ＦＰ歪みは、入力画像の露光期間中に撮像装置１を水平方向に動かした場合又はヨー方向に回転させた場合に生じ、垂直ＦＰ歪みは、入力画像の露光期間中に撮像装置１を垂直方向に動かした場合又はピッチ方向に回転させた場合に生じる。

ここで、図１２（ａ）〜（ｃ）を用いてＦＰ歪みの現れ方について説明する。実空間上において垂直方向に伸びる棒状被写体を撮像装置１にて撮影することで入力画像が取得されることを考える。棒状被写体は、実空間上で静止しているものとする。図１２（ａ）の画像３１０は、入力画像の露光期間中に撮像装置１が静止していた場合に得られる入力画像であり、図１２（ｂ）の画像３２０は、入力画像の露光期間中に撮像装置１が左方向に動いた場合に得られる入力画像であり、図１２（ｃ）の画像３３０は、入力画像の露光期間中に撮像装置１が上方向に動いた場合に得られる入力画像である。入力画像３２０の露光期間中における撮像装置１の水平方向（本例では左方向）の動きにより、入力画像３２０上において棒状被写体は傾く。入力画像３３０の露光期間中における撮像装置１の上方向の動きにより、入力画像３１０との比較において、棒状被写体は入力画像３３０上において垂直方向に伸びる。尚、周囲の如く、入力画像の露光期間中に撮像装置１が下方向に動いたのならば、得られた入力画像上で棒状被写体は本来の姿よりも縮んで現れることとなる。入力画像３２０に生じているような、入力画像３１０を水平方向に歪ませるＦＰ歪みが水平ＦＰ歪みであり、入力画像３３０に生じているような、入力画像３１０を垂直方向に歪ませるＦＰ歪みが垂直ＦＰ歪みである。図１１に示す例では、入力画像Ｉ_nに水平ＦＰ歪みのみが発生していることが想定されている。

図１３（ａ）及び（ｂ）を参照し、入力画像Ｉ_nに水平ＦＰ歪みのみが発生している場合の抽出枠Ｆｂ_nの設定方法を説明する。水平ＦＰ歪みのみが発生している入力画像Ｉ_nを入力画像３５０と呼び、入力画像３５０に設定される基準枠及び抽出枠を夫々符号３５１及び３５２によって参照する。矩形形状を有する基準枠３５１の上辺及び下辺は水平ラインに平行であり、基準枠３５１の右辺及び左辺は垂直ラインに平行である。図１３（ｂ）に示す如く、基準枠３５１の上辺及び下辺に沿った水平ラインが夫々第ｐ及び第（ｐ＋ｑ）水平ラインであるとする（ｐ及びｑは整数であって、１＜ｐ＜ｐ＋ｑ＜Ｍ；図３参照）。

第ｉ水平ラインに対する歪み補正ベクトルをＦＶ_iにて表す。補正処理部５５は、入力画像３５０に対する歪み補正情報から第ｐ〜第（ｐ＋ｑ）水平ラインに対する歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを抽出し、抽出した歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを用いて基準枠３５１を水平方向に変形することで抽出枠３５２を形成する。図１３（ａ）に示す例では、入力画像３５０の露光期間中に撮像装置１が左方向へ動いたことが想定されており、この結果、入力画像３５０に対する歪み補正ベクトルは何れも右向きとなっている。また、抽出枠３５２の形状は平行四辺形以外にもなりうるが、本例では、抽出枠３５２の形状が平行四辺形になったことを想定している（水平ＦＰ歪みのみを含む、他の入力画像に対する抽出枠についても同様）。

基準枠３５１と同様、抽出枠３５２の上辺及び下辺は水平ラインに平行であって、抽出枠３５２の上辺及び下辺に沿った水平ラインは夫々第ｐ及び第（ｐ＋ｑ）水平ラインである。尚、基準枠３５１と抽出枠３５２を区別して示すため、図１３（ａ）では両者の枠を上下に若干ずらして示している（後述の図１７（ａ）等においても同様）。抽出枠３５２の左辺及び右辺と第ｐ水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第ｐ水平ラインとの交点位置から歪み補正ベクトルＦＶ_pの向きに歪み補正ベクトルＦＶ_pの大きさだけ移動した位置である。同様に、抽出枠３５２の左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置から歪み補正ベクトルＦＶ_p+1の向きに歪み補正ベクトルＦＶ_p+1の大きさだけ移動した位置である。第（ｐ＋２）〜第（ｐ＋ｑ）水平ラインについても同様である。

基準枠３５１の右辺と入力画像３５０の外枠の右辺との距離又は基準枠３５１の左辺と入力画像３５０の外枠の左辺との距離を、補正限界量Ｈ_LIMと呼ぶ。補正限界量Ｈ_LIMは、水平方向のＦＰ歪みに対する補正限界量（換言すれば、水平方向のＦＰ歪み補正の限界量）である。このように、補正限界量Ｈ_LIMは、入力画像３５０の外枠と基準枠３５１との位置関係から規定される。有効画素領域３３_Aが矩形領域であることに対応して（図３参照）、入力画像の外枠は矩形である。また、説明の簡略化上、特に記述なき限り、本実施形態では、水平ＦＰ歪みの発生時における歪み補正ベクトルとして、右向きの歪み補正ベクトルのみを考える。基準枠３５１から抽出枠３５２を設定するために用いられる歪み補正ベクトルの向きが右向きであるときには、基準枠３５１の右辺と入力画像３５０の外枠の右辺との距離が補正限界量Ｈ_LIMであり、それが左向きであるときには、基準枠３５１の左辺と入力画像３５０の外枠の左辺との距離が補正限界量Ｈ_LIMである。従って、入力画像３５０に対しては、前者の距離が補正限界量Ｈ_LIMとなる（図１３（ｂ）参照）。

歪み補正ベクトルＦＶ_p〜ＦＶ_p+qの内、最大の大きさを有する歪み補正ベクトルの大きさを基準歪み補正量Ｈ_REFと呼ぶ。図１３（ａ）に示す例では、歪み補正ベクトルＦＶ_p+qの大きさが基準歪み補正量Ｈ_REFとなっている。基準歪み補正量Ｈ_REFは、水平方向のＦＰ歪みを補正する時における基準の補正量（換言すれば、動き検出情報から定まる、水平ＦＰ歪みの歪み補正量の基準値）を表す。

基準歪み補正量Ｈ_REFが補正限界量Ｈ_LIM以下である時、補正処理部５５は、抽出枠３５２をそのまま用い、入力画像３５０を保存したメモリ領域５１_Aから抽出枠３５２内の画像の画像データを読み出すことで、入力画像３５０としての入力画像Ｉ_nに対する出力画像ＩＯ_nを得る（Ｈ_REF＞Ｈ_LIMの場合の動作は後述）。この際、出力画像ＩＯ_nが矩形画像となるように、各画素の座標変換を伴いつつ画像データを読み出すと良い。上述の如くして得られた、入力画像３５０に基づく出力画像ＩＯ_nには、入力画像３５０に含まれていた水平ＦＰ歪みが存在しない（但し、補正誤差等を無視）。つまり、歪み補正ベクトルに基づく抽出枠３５２の設定及び抽出枠３５２内の画像の切り出しによって、水平ＦＰ歪みに対するＦＰ歪み補正処理が実現されている。

図１４（ａ）及び（ｂ）を参照し、入力画像Ｉ_nに垂直ＦＰ歪みのみが発生している場合の抽出枠Ｆｂ_nの設定方法を説明する。垂直ＦＰ歪みのみが発生している入力画像Ｉ_nを入力画像３７０と呼び、入力画像３７０に設定される基準枠及び抽出枠を夫々符号３７１及び３７２によって参照する。入力画像３７０に設定される基準枠３７１は、入力画像３５０に設定される基準枠３５１と同じものであるとする（図１３（ａ）及び（ｂ）参照）。従って、図１４（ｂ）に示す如く、基準枠３７１の上辺及び下辺に沿った水平ラインは夫々第ｐ及び第（ｐ＋ｑ）水平ラインである。

補正処理部５５は、入力画像３７０に対する歪み補正情報から第（ｐ＋ｑ）水平ラインに対する歪み補正ベクトルＦＶ_p+qを抽出し、抽出した歪み補正ベクトルＦＶ_p+qを用いて基準枠３７１を垂直方向に伸張又は縮小することで抽出枠３７２を形成する。歪み補正ベクトルＦＶ_p+qの向きが下向きであるとき、基準枠３７１は垂直方向に伸張され、それが上向きであるとき、基準枠３７１は垂直方向に縮小される。図１４（ａ）に示す例では、入力画像３７０の露光期間中に撮像装置１が上方向へ動いたことが想定されており、この結果、入力画像３７０に対する歪み補正ベクトルＦＶ_p+qは下向きとなっている。故に、基準枠３７１が垂直方向に伸張されることで抽出枠３７２が形成される。

基準枠３７１と同様、抽出枠３７２の上辺及び下辺は水平ラインに平行であって、且つ、抽出枠３７２の外形形状は矩形である。また、基準枠３７１と抽出枠３７２の左辺同士は重なり合い、基準枠３７１と抽出枠３７２の右辺同士は重なり合う。更に、図１４（ａ）に示す例では、説明の簡略化上、入力画像３７０に対して求められた第１〜第ｐ水平ラインについての歪み補正ベクトルＦＶ₁〜ＦＶ_pの大きさは全てゼロであるとする。仮に、それらの大きさがゼロでないのであれば、抽出枠３７２の上辺位置は基準枠３７１の上辺位置と異なってくるのであるが、今、それがゼロであることを考えるため、抽出枠３７２の上辺は基準枠３７１の上辺と一致している。尚、基準枠３７１及び抽出枠３７２を区別して示すため、図１４（ａ）では、両者の枠を本来位置から若干ずらして示している（後述の図２１（ａ）等においても同様）。

抽出枠３７２の下辺は、基準枠３７１の下辺を歪み補正ベクトルＦＶ_p+qの向きに歪み補正ベクトルＦＶ_p+qの大きさだけ移動したものである。

基準枠３７１の下辺と入力画像３７０の外枠の下辺との距離又は基準枠３７１の上辺と入力画像３７０の外枠の上辺との距離を、補正限界量Ｖ_LIMと呼ぶ。補正限界量Ｖ_LIMは、垂直方向のＦＰ歪みに対する補正限界量（換言すれば、垂直方向のＦＰ歪み補正の限界量）である。このように、補正限界量Ｖ_LIMは、入力画像３７０の外枠と基準枠３７１との位置関係から規定される。説明の簡略化上、特に記述なき限り、本実施形態では、垂直ＦＰ歪みの発生時における歪み補正ベクトルとして、下向きの歪み補正ベクトルのみを考える。基準枠３７１から抽出枠３７２を設定するために用いられる歪み補正ベクトルの向きが下向きであるときには、基準枠３７１の下辺と入力画像３７０の外枠の下辺との距離が補正限界量Ｖ_LIMであり、それが上向きであるときには、基準枠３７１の上辺と入力画像３７０の外枠の上辺との距離が補正限界量Ｖ_LIMである。従って、従って、入力画像３７０に対しては、前者の距離が補正限界量Ｖ_LIMとなる（図１４（ｂ）参照）。

また、歪み補正ベクトルＦＶ_p+qの大きさと一致する、基準枠３７１の下辺と抽出枠３７２の下辺との距離を基準歪み補正量Ｖ_REFと呼ぶ。基準歪み補正量Ｖ_REFは、垂直方向のＦＰ歪みを補正する時における基準の補正量（換言すれば、動き検出情報から定まる、垂直ＦＰ歪みの歪み補正量の基準値）を表す。

基準歪み補正量Ｖ_REFが補正限界量Ｖ_LIM以下である時、補正処理部５５は、抽出枠３７２をそのまま用い、入力画像３７０を保存したメモリ領域５１_Aから抽出枠３７２内の画像の画像データを読み出すことで、抽出枠３７２内の画像を入力画像３７０から切り出す（Ｖ_REF＞Ｖ_LIMの場合の動作は後述）。この切り出しによって得られた画像を抽出画像３８２と呼ぶ（図１５参照）。この後、抽出画像３８２の画像サイズが基準枠３７１内の画像３８１の画像サイズと同じとなるように抽出画像３８２の画像サイズを垂直方向に縮小し、縮小後の抽出画像３８２’を、入力画像３７０としての入力画像Ｉ_nに対する出力画像ＩＯ_nとする。上述の如くして得られた、抽出画像３８２’としての出力画像ＩＯ_nには、入力画像３７０に含まれていた垂直ＦＰ歪みが存在しない（但し、補正誤差等を無視）。つまり、歪み補正ベクトルに基づく抽出枠３７２の設定及び抽出枠３７２内の画像の縮小によって、垂直ＦＰ歪みに対するＦＰ歪み補正処理が実現されている。

抽出画像３８２から抽出画像３８２’を得るための縮小は、入力画像３７０に対する歪み補正ベクトルＦＶ_p〜ＦＶ_p+qに基づいて行われる。即ち、図１２（ｃ）の入力画像３３０が入力画像３７０であると考えた場合、図１２（ａ）の入力画像３１０の基準枠内の画像が垂直ＦＰ歪みにより抽出画像３８２へと歪んだこととなり、この歪みは入力画像３１０の基準枠内の画像を抽出画像３８２に変換する幾何学的変換であると考えることできる。そして、この幾何学的変換の内容は入力画像３７０の歪み補正ベクトルＦＶ_p〜ＦＶ_p+qによって規定されている。従って、入力画像３７０の歪み補正ベクトルＦＶ_p〜ＦＶ_p+qに基づき、抽出画像３８２に対して上記幾何学的変換の逆変換を行うことができ、この逆変換によって出力画像ＩＯ_nとしての抽出画像３８２’を得ることができる。第ｉ水平ラインを歪み補正ベクトルＦＶ_iの向きに歪み補正ベクトルＦＶ_iの大きさだけ移動した水平ラインが第ｉ_A水平ラインであるとすると、入力画像３７０の第ｉ水平ラインを第ｉ_A水平ラインに変換する幾何学的変換の逆変換を抽出画像３８２に対して施すことで抽出画像３８２’が得られる。例えば、入力画像３７０の露光期間中に継続的に撮像装置１が上方向に動いていたのならば、図１６に示す如くｉが大きいほど歪み補正ベクトルＦＶ_iの大きさが大きくなるので、結果、抽出画像３８２の下方側の画像部分ほど縮小度合いが大きくなり、抽出画像３８２の上方側の画像部分ほど縮小度合いが小さくなる。

尚、垂直ＦＰ歪みの発生時における歪み補正ベクトルとして、上向きの歪み補正ベクトルが得られた場合には、入力画像に設定した抽出枠内の画像を垂直方向に伸張することで出力画像が得られる。

また、水平ＦＰ歪みの発生時におけるＦＰ歪み補正処理及び垂直ＦＰ歪みの発生時におけるＦＰ歪み補正処理を別個に説明したが、入力画像Ｉ_nに水平ＦＰ歪みと垂直ＦＰ歪みが発生している場合には、水平ＦＰ歪みと垂直ＦＰ歪みが共に補正されることで出力画像が生成される（後述の各実施例においても同様）。この際、水平ＦＰ歪みと垂直ＦＰ歪みを同時に補正するようにしても良いし、水平ＦＰ歪みと垂直ＦＰ歪みを順番に補正するようにしても良い。

撮像装置１における上述の動作を基本動作と呼ぶ。ところで、基本動作だけでは、基準歪み補正量Ｈ_REFが補正限界量Ｈ_LIMよりも大きい場合に問題が生じる。図１３（ａ）及び（ｂ）の例における基準歪み補正量Ｈ_REFは歪み補正ベクトルＦＶ_p+qの大きさであるが、それが距離Ｈ_LIMよりも大きければ抽出枠３５２の一部が入力画像３５０の外枠からはみ出すからである。同様に、上述のＦＰ歪み補正処理だけでは、基準歪み補正量Ｖ_REFが補正限界量Ｖ_LIMよりも大きい場合に問題が生じる。図１４（ａ）及び（ｂ）の例における基準歪み補正量Ｖ_REFは歪み補正ベクトルＦＶ_p+qの大きさであるが、それが距離Ｖ_LIMよりも大きければ抽出枠３７２の一部が入力画像３７０の外枠からはみ出すからである。

補正処理部５５は、不等式「Ｈ_REF＞Ｈ_LIM」又は「Ｖ_REF＞Ｖ_LIM」が成立する時、基本動作と異なる特異な動作を行うことで、ＦＰ歪みの補正を行う。以下、この特異な動作、基本動作の変形例又は画像補正機能部の構成の変形例を説明する実施例として、第１〜第９実施例を説明する。後述の各実施例において、特に述べない事項に関しては、矛盾が生じない限り、上述の基本動作の説明が適用される。従って、後述の各実施例において、不等式「Ｈ_REF≦Ｈ_LIM」が成立する時の水平ＦＰ歪みに対するＦＰ歪み補正処理は、基本動作の通りであり、不等式「Ｖ_REF≦Ｖ_LIM」が成立する時の垂直ＦＰ歪みに対するＦＰ歪み補正処理は、基本動作の通りである。また、矛盾なき限り、或る実施例に記載した事項と他の実施例に記載した事項を組み合わせて実施することも可能である。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、水平ＦＰ歪みのみを含む入力画像３５０（図１３（ａ）参照）が得られた場合において不等式「Ｈ_REF＞Ｈ_LIM」が成立することを想定し、この想定下におけるＦＰ歪み補正処理を説明する。

図１７（ａ）には、不等式「Ｈ_REF＞Ｈ_LIM」が成立する時に、動き検出情報に基づき、入力画像３５０に対して設定される抽出枠３５２ａが示されている。図１７（ａ）において、入力画像３５０及び基準枠３５１は、図１３（ａ）及び（ｂ）に示すものと同じである。従って、入力画像３５０に対する歪み補正ベクトルＦＶ_p〜ＦＶ_p+qの内、最大の大きさを有する歪み補正ベクトルの大きさが基準歪み補正量Ｈ_REFである。抽出枠３５２ａの形成方法は、基本動作にて述べた通りである。即ち、入力画像３５０に対する歪み補正情報から第ｐ〜第（ｐ＋ｑ）水平ラインに対する歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを抽出し、抽出した歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを用いて基準枠３５１を水平方向に変形することで抽出枠３５２ａを形成する。尚、上述したように且つ図１７（ａ）にも示されているように、水平ＦＰ歪みの発生時における歪み補正ベクトルの向きは右向きであるとする。

図１３（ａ）に示した例では、不等式「Ｈ_REF≦Ｈ_LIM」が成立するため、即ち、水平方向の歪み補正量とも言うべき基準歪み補正量Ｈ_REFが補正限界量Ｈ_LIM以下であるため、入力画像３５０の外枠内に抽出枠３５２が収まる。しかしながら、第１実施例の想定下では、不等式「Ｈ_REF＞Ｈ_LIM」が成立するため、図１７（ａ）に示す如く、抽出枠３５２ａが入力画像３５０の外枠内に収まりきらず、抽出枠３５２ａの一部が入力画像３５０の外枠からはみ出している。

はみ出した部分には画像データが存在しないため、抽出枠３５２ａをそのまま用いて出力画像を生成するわけにはいかない（抽出枠３５２ａをそのまま用いると、補正が破綻するとも言える）。

そこで、補正処理部５５は、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合、修正係数（Ｈ_LIM／Ｈ_REF）を用いて各歪み補正ベクトルを修正することで抽出枠の修正を行う。即ち、式「ＦＶ_i’＝ＦＶ_i×（Ｈ_LIM／Ｈ_REF）」に従って歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを修正することで歪み補正ベクトルＦＶ_p’〜ＦＶ_p+q’を求め、歪み補正ベクトルＦＶ_p’〜ＦＶ_p+q’を用いて基準枠３５１を水平方向に変形することで、図１７（ｂ）の抽出枠３５２ｂを形成する。図１７（ｂ）に示す如く、抽出枠３５２ｂの外形の最右端は入力画像３５０の外枠の右辺と接触し、入力画像３５０の外枠内に抽出枠３５２ｂの全てが収まっている。

基準枠３５１及び抽出枠３５２と同様、抽出枠３５２ｂの上辺及び下辺は水平ラインに平行であって、抽出枠３５２ｂの上辺及び下辺に沿った水平ラインは夫々第ｐ及び第（ｐ＋ｑ）水平ラインである。抽出枠３５２ｂの左辺及び右辺と第ｐ水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第ｐ水平ラインとの交点位置から歪み補正ベクトルＦＶ_p’の向きに歪み補正ベクトルＦＶ_p’の大きさだけ移動した位置である。同様に、抽出枠３５２ｂの左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置から歪み補正ベクトルＦＶ_p+1’の向きに歪み補正ベクトルＦＶ_p+1’の大きさだけ移動した位置である。第（ｐ＋２）〜第（ｐ＋ｑ）水平ラインについても同様である。

補正処理部５５は、入力画像３５０を保存したメモリ領域５１_Aから抽出枠３５２ｂ内の画像の画像データを読み出すことで、入力画像３５０としての入力画像Ｉ_nに対する出力画像ＩＯ_nを得る。この際、出力画像ＩＯ_nが矩形画像となるように、各画素の座標変換を伴いつつ画像データを読み出すと良い。

不等式「Ｈ_REF≦Ｈ_LIM」が成立する場合には、上述の基本動作によって、動き検出情報にて指し示されている水平ＦＰ歪みの全部が入力画像３５０から除去されて出力画像が生成される。これに対し、不等式「Ｈ_REF＞Ｈ_LIM」の成立を想定した第１実施例では、動き検出情報にて指し示されている水平ＦＰ歪みの一部のみが入力画像３５０から除去されて出力画像が生成されることになる。

第１実施例によれば、ＦＰ歪みの一部が出力画像に残存することにはなるが、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例は、第１実施例を変形したものであり、第２実施例にて特に述べない事項に関しては、第１実施例の記載が第２実施例にも適用される。基準枠３５１及び抽出枠３５２ａが定義された入力画像３５０（図１７（ａ））が得られた場合を考える。以下、第１実施例との相違点のみ説明する。

第２実施例における補正処理部５５は、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合、入力画像３５０の外枠内に抽出枠３５２ａがちょうど収まるように、抽出枠３５２ａを平行移動する。即ち、入力画像３５０上において抽出枠３５２ａを距離（Ｈ_REF−Ｈ_LIM）だけ左方向に平行移動させる。この平行移動後の抽出枠３５２ａを抽出枠３５２ｃと呼ぶ。図１８（ａ）に示す如く、抽出枠３５２ｃの外形の最右端は入力画像３５０の外枠の右辺と接触し、入力画像３５０の外枠内に抽出枠３５２ｃの全てが収まっている。

この方法は、入力画像３５０上において基準枠３５１を距離（Ｈ_REF−Ｈ_LIM）だけ左方向に平行移動させる方法であるとも言える。図１８（ｂ）の基準枠３５１ｃは、入力画像３５０上において基準枠３５１を距離（Ｈ_REF−Ｈ_LIM）だけ左方向に平行移動させた枠である。このように考えたとしても、結局、得られる抽出枠３５２ｃは不変である。

補正処理部５５は、入力画像３５０を保存したメモリ領域５１_Aから抽出枠３５２ｃ内の画像の画像データを読み出すことで、入力画像３５０としての入力画像Ｉ_nに対する出力画像ＩＯ_nを得る。この際、出力画像ＩＯ_nが矩形画像となるように、各画素の座標変換を伴いつつ画像データを読み出すと良い。

不等式「Ｈ_REF≦Ｈ_LIM」が成立する場合には、上述の基本動作によって、動き検出情報にて指し示されている水平ＦＰ歪みの全部を除去するためのＦＰ歪み補正処理と、動き検出情報にて指し示されている手ぶれ（撮像装置１の動きによる画像ぶれ）の全部を除去するためのぶれ補正処理とが入力画像３５０に成されることで出力画像が得られる。これに対し、不等式「Ｈ_REF＞Ｈ_LIM」の成立を想定した第２実施例では、ぶれ補正を犠牲にして水平ＦＰ歪みの除去を確保する。即ち、動き検出情報にて指し示されている水平ＦＰ歪みの補正が可能となるように（Ｈ_REF分のＦＰ歪み補正が可能となるように）ぶれ補正処理による画像ぶれの補正量を変更してから、ＦＰ歪み補正処理及びぶれ補正処理を介して出力画像が生成されることなる。第２実施例において、画像ぶれの補正量の変更量は、距離（Ｈ_REF−Ｈ_LIM）である。

第２実施例によれば、手ぶれ成分の一部（場合によっては、手ぶれ成分の全部）が出力画像に残存することにはなるが、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例は、第１実施例を基礎とする実施例であり、第３実施例にて特に述べない事項に関しては、第１実施例の記載が第３実施例にも適用される。基準枠３５１及び抽出枠３５２ａが定義された入力画像３５０（図１７（ａ））が得られた場合を考える。第３実施例では、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合に、第１実施例の方法と第２実施例の方法を組み合わせて出力画像を生成する。

具体的には例えば、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合、修正係数（Ｈ_LIM／Ｈ_REF）及びｋを用いて各歪み補正ベクトルを修正する。ここで、ｋは「０≦ｋ≦１」を満たす。即ち、式「ＦＶ_i’’＝ｋ×ＦＶ_i×（Ｈ_LIM／Ｈ_REF）＋（１−ｋ）×ＦＶ_i」に従って歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを修正することで歪み補正ベクトルＦＶ_p’’〜ＦＶ_p+q’’を求め、歪み補正ベクトルＦＶ_p’’〜ＦＶ_p+q’’を用いて基準枠３５１を水平方向に変形することで、図１９（ａ）の抽出枠３５２ｄを形成する。

基準枠３５１及び抽出枠３５２と同様、抽出枠３５２ｄの上辺及び下辺は水平ラインに平行であって、抽出枠３５２ｄの上辺及び下辺に沿った水平ラインは夫々第ｐ及び第（ｐ＋ｑ）水平ラインである。抽出枠３５２ｄの左辺及び右辺と第ｐ水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第ｐ水平ラインとの交点位置から歪み補正ベクトルＦＶ_p’’の向きに歪み補正ベクトルＦＶ_p’’の大きさだけ移動した位置である。同様に、抽出枠３５２ｄの左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置は、夫々、基準枠３５１の左辺及び右辺と第（ｐ＋１）水平ラインとの交点位置から歪み補正ベクトルＦＶ_p+1’’の向きに歪み補正ベクトルＦＶ_p+1’’の大きさだけ移動した位置である。第（ｐ＋２）〜第（ｐ＋ｑ）水平ラインについても同様である。

今、０＜ｋである場合を考える。そうすると、図１９（ａ）に示す如く、抽出枠３５２ｄの一部は依然として入力画像３５０の外枠からはみ出す。入力画像３５０の外枠の右辺から入力画像３５０の右側へとはみ出す抽出枠３５２ｄのはみ出し量は、ｋの値に依存する。

補正処理部５５は、入力画像３５０の外枠内に抽出枠３５２ｄがちょうど収まるように、抽出枠３５２ｄを平行移動する。即ち、入力画像３５０上において抽出枠３５２ｄを上記はみ出し量分だけ左方向に平行移動させる。この平行移動後の抽出枠３５２ｄを抽出枠３５２ｅと呼ぶ。図１９（ｂ）に示す如く、抽出枠３５２ｅの外形の最右端は入力画像３５０の外枠の右辺と接触し、入力画像３５０の外枠内に抽出枠３５２ｅの全てが収まっている。

この方法は、基準枠３５１を上記はみ出し量分だけ左方向に平行移動させる方法であるとも言える。図１９（ｂ）の基準枠３５１ｅは、入力画像３５０上において基準枠３５１を上記はみ出し量分だけ左方向に平行移動させた枠である。このように考えたとしても、結局、得られる抽出枠３５２ｅは不変である。

補正処理部５５は、入力画像３５０を保存したメモリ領域５１_Aから抽出枠３５２ｅ内の画像の画像データを読み出すことで、入力画像３５０としての入力画像Ｉ_nに対する出力画像ＩＯ_nを得る。この際、出力画像ＩＯ_nが矩形画像となるように、各画素の座標変換を伴いつつ画像データを読み出すと良い。

このように、不等式「Ｈ_REF＞Ｈ_LIM」且つ「０＜ｋ＜１」の成立時には、第１実施例と同様、動き検出情報にて指し示されている水平ＦＰ歪みの一部のみが入力画像３５０から除去されて出力画像が生成されることになり、第２実施例と同様、ぶれ補正処理による画像ぶれの補正量が変更されてから、ＦＰ歪み補正処理及びぶれ補正処理を介して出力画像が生成されることなる。

第３実施例によれば、０＜ｋ＜１の場合、ＦＰ歪みの一部及び手ぶれ成分の一部が出力画像に残存することにはなるが、不等式「Ｈ_REF＞Ｈ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。ｋ＝１の場合における第３実施例の動作は、第１実施例のそれと同じであり、ｋ＝０の場合における第３実施例の動作は、第２実施例のそれと同じである。

ｋの値は、予め定めておいた固定値であっても良いが、様々な指標に応じてｋの値を「０≦ｋ≦１」を満たす範囲内で変化させても良い。例えば、入力画像３５０に対する手ぶれの大きさに応じてｋの値を変化させても良い。即ち例えば、入力画像３５０に対する手ぶれの大きさが比較的大きい場合には入力画像３５０に含まれるＦＰ歪みが比較的大きいことが想定されるため、ぶれ補正よりもＦＰ歪み補正を優先すべく、ｋの値を比較的小さくしても良い。逆に、入力画像３５０に対する手ぶれの大きさが比較的小さい場合には入力画像３５０に含まれるＦＰ歪みが比較的小さいことが想定されるため、ＦＰ歪み補正よりもぶれ補正を優先すべく、ｋの値を比較的大きくしても良い。

実際の処理としては、以下のようにすると良い。即ち例えば、図２０に示す如く、入力画像３５０に対する手ぶれ補正ベクトルを参照し、該手ぶれ補正ベクトルの大きさが大きくなるに従ってｋの値を小さく設定する。参照した手ぶれ補正ベクトルの大きさが所定の第１基準値Ｖ_TH1よりも小さければｋの値を１に設定するようにしても良いし、参照した手ぶれ補正ベクトルの大きさが所定の第２基準値Ｖ_TH2よりも大きければｋの値を０に設定するようにしても良い。ここで、０＜Ｖ_TH1＜Ｖ_TH2である。

＜＜第４実施例＞＞
第４実施例を説明する。第４実施例の方法は、第１実施例の方法を垂直ＦＰ歪みの補正に適用したものである。同様に、後述の第５及び第６実施例の方法は、第２及び第３実施例の方法を垂直ＦＰ歪みの補正に適用したものである。

第４実施例では、垂直ＦＰ歪みのみを含む入力画像３７０（図１４（ａ）参照）が得られた場合において不等式「Ｖ_REF＞Ｖ_LIM」が成立することを想定し、この想定下におけるＦＰ歪み補正処理を説明する。

図２１（ａ）には、不等式「Ｖ_REF＞Ｖ_LIM」が成立する時に、動き検出情報に基づき、入力画像３７０に対して設定される抽出枠３７２ａが示されている。図２１（ａ）において、入力画像３７０及び基準枠３７１は、図１４（ａ）及び（ｂ）に示すものと同じである。従って、入力画像３７０に対する歪み補正ベクトルＦＶ_p+qの大きさが基準歪み補正量Ｖ_REFである。抽出枠３７２ａの形成方法は、基本動作にて述べた通りである。即ち、補正処理部５５は、入力画像３７０に対する歪み補正情報から第（ｐ＋ｑ）水平ラインに対する歪み補正ベクトルＦＶ_p+qを抽出し、抽出した歪み補正ベクトルＦＶ_p+qを用いて基準枠３７１を垂直方向に伸張又は縮小することで抽出枠３７２ａを形成する。尚、上述したように且つ図２１（ａ）にも示されているように、垂直ＦＰ歪みの発生時における歪み補正ベクトルの向きは下向きであるとする。故に、基準枠３７１が垂直方向に伸張されることで抽出枠３７２ａが形成される。

図１４（ａ）に示した例では、不等式「Ｖ_REF≦Ｖ_LIM」が成立するため、即ち、垂直方向の歪み補正量とも言うべき基準歪み補正量Ｖ_REFが補正限界量Ｖ_LIM以下であるため、入力画像３７０の外枠内に抽出枠３７２が収まる。しかしながら、第４実施例の想定下では、不等式「Ｖ_REF＞Ｖ_LIM」が成立するため、図２１（ａ）に示す如く、抽出枠３７２ａが入力画像３７０の外枠内に収まりきらず、抽出枠３７２ａの一部が入力画像３７０の外枠からはみ出している。

はみ出した部分には画像データが存在しないため、抽出枠３７２ａをそのまま用いて出力画像を生成するわけにはいかない（抽出枠３７２ａをそのまま用いると、補正が破綻するとも言える）。

そこで、補正処理部５５は、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合、修正係数（Ｖ_LIM／Ｖ_REF）を用いて各歪み補正ベクトルを修正することで抽出枠の修正を行う。即ち、式「ＦＶ_i’＝ＦＶ_i×（Ｖ_LIM／Ｖ_REF）」に従って歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを修正することで歪み補正ベクトルＦＶ_p’〜ＦＶ_p+q’を求め、歪み補正ベクトルＦＶ_p+q’を用いて基準枠３７１を垂直方向に伸張することで、図２１（ｂ）の抽出枠３７２ｂを形成する。図２１（ｂ）に示す如く、抽出枠３７２ｂの下辺は入力画像３７０の外枠の下辺と重なり合い、入力画像３７０の外枠内に抽出枠３７２ｂの全てが収まっている。尚、両者の下辺を区別して示すべく、図２１（ｂ）では、両者の下辺を上下に若干ずらして示している（後述の図２２等においても同様）。

基準枠３７１及び抽出枠３７２と同様、抽出枠３７２ｂの上辺及び下辺は水平ラインに平行であって、且つ、抽出枠３７２ｂの外形形状は矩形である。また、基準枠３７１と抽出枠３７２ｂの左辺同士は重なり合い、基準枠３７１と抽出枠３７２ｂの右辺同士は重なり合う。更に、説明の簡略化上、入力画像３７０に対して求められた第１〜第ｐ水平ラインについての歪み補正ベクトルＦＶ₁〜ＦＶ_pの大きさは全てゼロであるとする。仮に、それらの大きさがゼロでないのであれば、抽出枠３７２ｂの上辺位置は基準枠３７１の上辺位置と異なってくるのであるが、今、それがゼロであることを考えるため、抽出枠３７２ｂの上辺は基準枠３７１の上辺と一致している。

抽出枠３７２ｂの下辺は、基準枠３７１の下辺を歪み補正ベクトルＦＶ_p+q’の向きに歪み補正ベクトルＦＶ_p+q’の大きさだけ移動したものである。

補正処理部５５は、入力画像３７０を保存したメモリ領域５１_Aから抽出枠３７２ｂ内の画像の画像データを読み出すことで、抽出枠３７２ｂ内の画像を入力画像３７０から切り出す。この切り出しによって得られた画像を抽出画像３９２ｂと呼ぶ（図２２参照）。この後、抽出画像３９２ｂの画像サイズが基準枠３７１内の画像３８１の画像サイズと同じとなるように抽出画像３９２ｂの画像サイズを垂直方向に縮小し、縮小後の抽出画像３９２ｂ’を、入力画像３７０としての入力画像Ｉ_nに対する出力画像ＩＯ_nとする。

抽出画像３９２ｂから抽出画像３９２ｂ’を生成するための縮小は、入力画像３７０に対する修正後の歪み補正ベクトル、即ち歪み補正ベクトルＦＶ_p’〜ＦＶ_p+q’に基づいて行われる。抽出画像３９２ｂには、実際には歪み補正ベクトルＦＶ_p〜ＦＶ_p+qに相当する垂直ＦＰ歪みが含まれているのであるが、抽出画像３９２ｂに含まれる垂直ＦＰ歪みが歪み補正ベクトルＦＶ_p’〜ＦＶ_p+q’に相当する垂直ＦＰ歪みであるとみなして抽出画像３９２ｂ’を生成する。第ｉ水平ラインを歪み補正ベクトルＦＶ_i’の向きに歪み補正ベクトルＦＶ_i’の大きさだけ移動した水平ラインが第ｉ_B水平ラインであるとすると、入力画像３７０の第ｉ水平ラインを第ｉ_B水平ラインに変換する幾何学的変換の逆変換を抽出画像３９２ｂに対して施すことで抽出画像３９２ｂ’が得られる。

不等式「Ｖ_REF≦Ｖ_LIM」が成立する場合には、上述の基本動作によって、動き検出情報にて指し示されている垂直ＦＰ歪みの全部が入力画像３７０から除去されて出力画像が生成される。これに対し、不等式「Ｖ_REF＞Ｖ_LIM」の成立を想定した第４実施例では、動き検出情報にて指し示されている垂直ＦＰ歪みの一部のみが入力画像３７０から除去されて出力画像が生成されることになる。

第４実施例によれば、ＦＰ歪みの一部が出力画像に残存することにはなるが、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。

＜＜第５実施例＞＞
第５実施例を説明する。第５実施例は、第４実施例を変形したものであり、第５実施例にて特に述べない事項に関しては、第４実施例の記載が第５実施例にも適用される。基準枠３７１及び抽出枠３７２ａが定義された入力画像３７０（図２１（ａ））が得られた場合を考える。以下、第４実施例との相違点のみ説明する。

第５実施例における補正処理部５５は、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合、入力画像３７０の外枠内に抽出枠３７２ａがちょうど収まるように、抽出枠３７２ａを平行移動する。即ち、入力画像３７０上において抽出枠３７２ａを距離（Ｖ_REF−Ｖ_LIM）だけ上方向に平行移動させる。この平行移動後の抽出枠３７２ａを抽出枠３７２ｃと呼ぶ。図２３（ａ）に示す如く、抽出枠３７２ｃの下辺は入力画像３７０の外枠の下辺と重なり合い、入力画像３７０の外枠内に抽出枠３７２ｃの全てが収まっている。

この方法は、入力画像３７０上において基準枠３７１を距離（Ｖ_REF−Ｖ_LIM）だけ上方向に平行移動させる方法であるとも言える。図２３（ｂ）の基準枠３７１ｃは、入力画像３７０上において基準枠３７１を距離（Ｖ_REF−Ｖ_LIM）だけ上方向に平行移動させた枠である。このように考えたとしても、結局、得られる抽出枠３７２ｃは不変である。

補正処理部５５は、入力画像３７０を保存したメモリ領域５１_Aから抽出枠３７２ｃ内の画像の画像データを読み出すことで、抽出枠３７２ｃ内の画像を入力画像３７０から切り出す。この切り出しによって得られた画像を抽出画像３９２ｃと呼ぶ（図２４参照）。この後、抽出画像３９２ｃの画像サイズが基準枠３７１内の画像３８１の画像サイズと同じとなるように抽出画像３９２ｃの画像サイズを垂直方向に縮小し、縮小後の抽出画像３９２ｃ’を、入力画像３７０としての入力画像Ｉ_nに対する出力画像ＩＯ_nとする。

抽出画像３９２ｃから抽出画像３９２ｃ’を生成するための縮小は、基本動作と同様、入力画像３７０に対する歪み補正ベクトルＦＶ_p〜ＦＶ_p+qに基づいて行われる。従って、抽出画像３９２ｃ’を得るために抽出画像３９２ｃに成される縮小処理（幾何学的変換）は、基本動作にて実施される、抽出画像３８２’を得るために抽出画像３８２に成される縮小処理（幾何学的変換）と同じである（図１５参照）。

不等式「Ｖ_REF≦Ｖ_LIM」が成立する場合には、上述の基本動作によって、動き検出情報にて指し示されている垂直ＦＰ歪みの全部を除去するためのＦＰ歪み補正処理と、動き検出情報にて指し示されている手ぶれ（撮像装置１の動きによる画像ぶれ）の全部を除去するためのぶれ補正処理とが入力画像３７０に成されることで出力画像が得られる。これに対し、不等式「Ｖ_REF＞Ｖ_LIM」の成立を想定した第５実施例では、ぶれ補正を犠牲にして垂直ＦＰ歪みの除去を確保する。即ち、動き検出情報にて指し示されている垂直ＦＰ歪みの補正が可能となるように（Ｖ_REF分のＦＰ歪み補正が可能となるように）ぶれ補正処理による画像ぶれの補正量を変更してから、ＦＰ歪み補正処理及びぶれ補正処理を介して出力画像が生成されることなる。第５実施例において、画像ぶれの補正量の変更量は、距離（Ｖ_REF−Ｖ_LIM）である。

第５実施例によれば、手ぶれ成分の一部（場合によっては、手ぶれ成分の全部）が出力画像に残存することにはなるが、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。

＜＜第６実施例＞＞
第６実施例を説明する。第６実施例は、第４実施例を基礎とする実施例であり、第６実施例にて特に述べない事項に関しては、第４実施例の記載が第６実施例にも適用される。基準枠３７１及び抽出枠３７２ａが定義された入力画像３７０（図２１（ａ））が得られた場合を考える。第６実施例では、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合に、第４実施例の方法と第５実施例の方法を組み合わせて出力画像を生成する。

具体的には例えば、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合、修正係数（Ｖ_LIM／Ｖ_REF）及びｋを用いて各歪み補正ベクトルを修正する。ここで、ｋは「０≦ｋ≦１」を満たす。即ち、式「ＦＶ_i’’＝ｋ×ＦＶ_i×（Ｖ_LIM／Ｖ_REF）＋（１−ｋ）×ＦＶ_i」に従って歪み補正ベクトルＦＶ_p〜ＦＶ_p+qを修正することで歪み補正ベクトルＦＶ_p’’〜ＦＶ_p+q’’を求め、歪み補正ベクトルＦＶ_p+q’’を用いて基準枠３７１を垂直方向に伸張することで、図２５（ａ）の抽出枠３７２ｄを形成する。

基準枠３７１及び抽出枠３７２と同様、抽出枠３７２ｄの上辺及び下辺は水平ラインに平行であって、且つ、抽出枠３７２ｄの外形形状は矩形である。また、基準枠３７１と抽出枠３７２ｄの左辺同士は重なり合い、基準枠３７１と抽出枠３７２ｄの右辺同士は重なり合う。更に、説明の簡略化上、入力画像３７０に対して求められた第１〜第ｐ水平ラインについての歪み補正ベクトルＦＶ₁〜ＦＶ_pの大きさは全てゼロであるとする。仮に、それらの大きさがゼロでないのであれば、抽出枠３７２ｄの上辺位置は基準枠３７１の上辺位置と異なってくるのであるが、今、それがゼロであることを考えるため、抽出枠３７２ｄの上辺は基準枠３７１の上辺と一致している。

抽出枠３７２ｄの下辺は、基準枠３７１の下辺を歪み補正ベクトルＦＶ_p+q’’の向きに歪み補正ベクトルＦＶ_p+q’’の大きさだけ移動したものである。

今、０＜ｋである場合を考える。そうすると、図２５（ａ）に示す如く、抽出枠３７２ｄの一部は依然として入力画像３７０の外枠からはみ出す。入力画像３７０の外枠の下辺から入力画像３７０の下方へとはみ出す抽出枠３７２ｄのはみ出し量は、ｋの値に依存する。

補正処理部５５は、入力画像３７０の外枠内に抽出枠３７２ｄがちょうど収まるように、抽出枠３７２ｄを平行移動する。即ち、入力画像３７０上において抽出枠３７２ｄを上記はみ出し量分だけ上方向に平行移動させる。この平行移動後の抽出枠３７２ｄを抽出枠３７２ｅと呼ぶ。図２５（ｂ）に示す如く、抽出枠３７２ｅの下辺は入力画像３７０の外枠の下辺と重なり合い、入力画像３７０の外枠内に抽出枠３７２ｅの全てが収まっている。

この方法は、入力画像３７０上において基準枠３７１を上記はみ出し量分だけ上方向に平行移動させる方法であるとも言える。図２５（ｂ）の基準枠３７１ｅは、入力画像３７０上において基準枠３７１を上記はみ出し量分だけ上方向に平行移動させた枠である。このように考えたとしても、結局、得られる抽出枠３７２ｅは不変である。

補正処理部５５は、入力画像３７０を保存したメモリ領域５１_Aから抽出枠３７２ｅ内の画像の画像データを読み出すことで、抽出枠３７２ｅ内の画像を入力画像３７０から切り出す。この切り出しによって得られた画像を抽出画像３９２ｅと呼ぶ（図２６参照）。この後、抽出画像３９２ｅの画像サイズが基準枠３７１内の画像３８１の画像サイズと同じとなるように抽出画像３９２ｅの画像サイズを垂直方向に縮小し、縮小後の抽出画像３９２ｅ’を、入力画像３７０としての入力画像Ｉ_nに対する出力画像ＩＯ_nとする。

抽出画像３９２ｅから抽出画像３９２ｅ’を生成するための縮小は、入力画像３７０に対する修正後の歪み補正ベクトル、即ち歪み補正ベクトルＦＶ_p’’〜ＦＶ_p+q’’に基づいて行われる。抽出画像３９２ｅには、実際には歪み補正ベクトルＦＶ_p〜ＦＶ_p+qに相当する垂直ＦＰ歪みが含まれているのであるが、抽出画像３９２ｅに含まれる垂直ＦＰ歪みが歪み補正ベクトルＦＶ_p’’〜ＦＶ_p+q’’に相当する垂直ＦＰ歪みであるとみなして抽出画像３９２ｅ’を生成する。第ｉ水平ラインを歪み補正ベクトルＦＶ_i’’の向きに歪み補正ベクトルＦＶ_i’’の大きさだけ移動した水平ラインが第ｉ_C水平ラインであるとすると、入力画像３７０の第ｉ水平ラインを第ｉ_C水平ラインに変換する幾何学的変換の逆変換を抽出画像３９２ｅに対して施すことで抽出画像３９２ｅ’が得られる。

第６実施例によれば、０＜ｋ＜１の場合、ＦＰ歪みの一部及び手ぶれ成分の一部が出力画像に残存することにはなるが、不等式「Ｖ_REF＞Ｖ_LIM」が成立する場合でも確実に出力画像を生成することが可能となる（補正の破綻が回避される）。ｋ＝１の場合における第６実施例の動作は、第４実施例のそれと同じであり、ｋ＝０の場合における第６実施例の動作は、第５実施例のそれと同じである。第６実施例におけるｋは、第３実施例におけるｋと同じである。故に、第６実施例におけるｋの値も、第３実施例と同様、固定値又は可変値である。

＜＜第７実施例＞＞
第７実施例を説明する。第７実施例では、上述の基本動作と第１〜第６実施例の何れかの動作を実現する撮像装置１の動作手順を説明する。図２７は、この動作手順を表すフローチャートである。

まず、ステップＳ１１において入力画像の取得及び該入力画像に基づく動き検出情報の生成が成され、続くステップＳ１２において補正処理部５５は手ぶれ補正機能が有効とされているか否かをチェックする。ユーザは、図１の操作部２６等を介して手ぶれ補正機能を有効とするか或いは無効とするかを自由に撮像装置１に指示することができる。手ぶれ補正機能を有効とすることが指示されている場合にはステップＳ１２からステップＳ１３に移行するが、それを無効とすることが指示されている場合にはステップＳ１２から直接ステップＳ１８に移行し、入力画像をそのまま表示部２７に表示すると共に、必要に応じて入力画像を外部メモリ１８に記録する。

ステップＳ１３では、動き検出情報に基づいて手ぶれ補正ベクトル及び歪み補正ベクトルの算出並びに基準枠の設定が成され、更に、基準歪み補正量（Ｈ_REF及びＶ_REF）と補正限界量（Ｈ_LIM及びＶ_LIM）の算出が成される。この後、ステップＳ１４において、基準歪み補正量と補正限界量が比較され、第１不等式「Ｈ_REF≦Ｈ_LIM」及び第２不等式「Ｖ_REF≦Ｖ_LIM」が成立するか否かがチェックされる。

第１及び第２不等式の双方が成立する場合には、ステップＳ１４からステップＳ１５に移行して、基本動作に従い、基準枠と歪み補正ベクトルから抽出枠を決定する。第１及び第２不等式の一方又は双方が不成立の場合には、ステップＳ１４からステップＳ１６に移行して、第１〜第６実施例の何れかの方法に従い、歪み補正ベクトルの修正及び／又は基準枠の位置修正を介して抽出枠を決定する（この決定に際し、例えば、暫定的に設定された図１７（ａ）の抽出枠３５２ａが図１７（ｂ）の抽出枠３５２ｂへと修正される）。

ステップＳ１５又はＳ１６にて抽出枠が決定されるとステップＳ１７に移行する。ステップＳ１７では、決定された抽出枠に従ってぶれ補正処理及びＦＰ歪み補正処理を行う。即ち、決定された抽出枠内の画像を入力画像から抽出することで出力画像を生成する。入力画像に垂直ＦＰ歪みが含まれる場合には、抽出画像を垂直方向に伸張又は縮小する幾何学的変換を実行することで出力画像が得られる。ステップＳ１７にて得られた出力画像はステップＳ１８において表示部２７に表示され、必要に応じて外部メモリ１８に記録される。ステップＳ１１〜Ｓ１８から成るループ処理は、入力画像が取得される度に繰り返し実行される。

尚、図２７の動作手順では、手ぶれ補正機能が無効とされている時に、ぶれ補正処理だけでなくＦＰ歪み補正処理も成されないが、手ぶれ補正機能が無効とされていてもＦＰ歪み補正処理だけは実施するようにしても良い。即ち、手ぶれ補正機能が無効とされている場合、手ぶれ補正ベクトルの大きさが常にゼロであるとみなした上で、補正処理部５５においてＦＰ歪み補正処理のみを実行するようにしても良い。

補正処理部５５においてＦＰ歪み補正処理のみを実行するという方法は、様々な状況下において有効となりうる。例えば、撮像装置１にパンニング又はチルティングが成されている期間（以下、パン・チルト期間という）中、手ぶれ補正機能の有効／無効に関わらず且つ手ぶれ補正ベクトルの向き及び大きさに関わらず、補正処理部５５は、通常、基準枠の位置を不変とする。パンニング又はチルティングはユーザの意図による動きであるため、その動きを出力画像に反映した方が自然だからである。但し、パン・チルト期間中には、大きなＦＰ歪みが発生する。そこで、パン・チルト期間中には、基準枠の位置を不変としつつ、上述してきたＦＰ歪み補正処理だけを実行すると良い。動き検出情報に基づいて撮像装置１にパンニング又はチルティングが成されているか否かを判定するパン・チルト判定部（不図示）を撮像装置１に設けておくことができ、その判定結果から、任意の時刻がパン・チルト期間に属しているか否かを判断することができる。この判定の方法として、公知の方法を含む任意の方法（例えば、特開２００８−１２９５５４号公報又は特開平１１−１８７３０８号公報に記載の方法）を利用することが可能である。尚、一般的に理解されているように、パンニングとは、ユーザが撮像装置１を水平方向に意図的に振る操作を指し、チルティングとは、ユーザが撮像装置１を垂直方向に意図的に振る操作を指す。

＜＜第８実施例＞＞
第８実施例を説明する。基本動作の実現に用いられる図５の画像補正機能部５０では、入力画像の画像データに基づいて動き検出情報が生成されているが、角速度センサ等から成るセンサ部を用いて動き検出情報を生成するようにしても良い。

図２８に、画像補正機能部５０の代わりに用いられる、第８実施例に係る画像補正機能部５０ａの内部ブロック図を示す。画像補正機能部５０における動き検出部５２を、センサ部５６に置き換えることで画像補正機能部５０ａが形成される。センサ部５６を含む画像補正機能部５０ａは、撮像装置１に設けられる。

動き検出部としてのセンサ部５６は、撮像装置１の角速度を検出する複数の角速度センサを備え、該複数の角速度センサを用いて撮像装置１の動き（換言すれば、手ぶれの向き及び大きさ）を検出する。複数の角速度センサは、互いに異なる方向の角速度を検出して検出角速度を表す信号を出力する。各角速度センサがフレーム周期（例えば約３３ｍｓｅｃ）よりも十分に短いサンプリング間隔（例えば、１ｍｓｅｅｃ間隔）で角速度を検出することで、センサ部５６は任意の期間における手ぶれの向き及び大きさを検出する。センサ部５６によって検出された、手ぶれの向き及び大きさを表すベクトルを、センサ手ぶれベクトルと呼ぶ。センサ部５６は、１つのサンプリング間隔におけるセンサ手ぶれベクトルを生成することもできるし、サンプリング間隔の整数倍の期間におけるセンサ手ぶれベクトルを生成することもできる。センサ部５６は、各角速度センサの出力信号及びセンサ手ぶれベクトルを動き検出情報に含めることができる。尚、センサ部５６に設けられるセンサは、角速度センサ以外（例えば加速度センサ）であっても良い。

画像補正機能部５０ａにおいて、手ぶれ検出部５３は、センサ部５６と協働して入力画像２３０に対する手ぶれ補正ベクトル（図１０参照）を、以下のようにして求めることができる。入力画像２２０の露光期間の中間時刻と入力画像２３０の露光期間の中間時刻との間に得られた全てのセンサ手ぶれベクトルを順次繋ぎ合わせた合成ベクトルを算出し、その合成ベクトルの逆ベクトルを入力画像２３０に対する手ぶれ補正ベクトルとして求める。

また、画像補正機能部５０ａにおいて、ＦＰ歪み検出部５４は、センサ部５６と協働して入力画像２３０に対する歪み補正ベクトル（図１０参照）を、以下のようにして求めることができる。入力画像２３０の各水平ラインの露光期間中におけるセンサ手ぶれベクトルを各角速度センサの出力信号から算出し、第ｉ水平ラインに対するセンサ手ぶれベクトルの逆ベクトルを第ｉ水平ラインに対する歪み補正ベクトルとして求める。

手ぶれ補正ベクトル及び歪み補正ベクトルが求められた後の動作は、画像補正機能部５０及び５０ａ間で同じである。

＜＜第９実施例＞＞
第９実施例を説明する。センサ部５６を用いた場合には、撮像素子３３から信号を読み出す段階で、ＦＰ歪みの補正及び手ぶれに起因する画像ぶれの補正を行うことも可能である。即ち、図２９に示す如く、撮像装置１に、センサ部５６、読み出し制御部５７及び画像サイズ変換部５８を設けておくようにしても良い。読み出し制御部５７は、例えば、図１のＣＰＵ２３によって実現され、画像サイズ変換部５８は、例えば、図１の映像信号処理部１３に設けられる。

図２９のセンサ部５６は、図２８のそれと同じものであり、角速度センサ等を用いて動き検出情報を生成する。読み出し制御部５７は、第８実施例で述べた方法に基づいて動き検出情報から手ぶれ補正ベクトル及び歪み補正ベクトルを算出する。そして、基本動作及び上述の各実施例において手ぶれ補正ベクトル及び歪み補正ベクトルに基づき入力画像上に基準枠及び抽出枠を設定する方法と同様の方法にて、読み出し制御部５７は、撮像素子３３の有効画素領域３３_A上に基準枠及び抽出枠を設定し、有効画素領域３３_Aの抽出枠内に位置している各受光画素の出力信号を読み出す。この読み出された信号から形成される画像（即ち、有効画素領域３３_A上に設定された抽出枠内の画像）をＩＳ出力画像と呼ぶ。

ＩＳ出力画像の露光期間中における撮像装置１の動きに垂直方向の動き成分が含まれていない場合には、上述の如く有効画素領域３３_A上に抽出枠を設定した段階で、ＦＰ歪みの補正及び手ぶれに起因する画像ぶれの補正は完了する。即ち、ＩＳ出力画像の露光期間中における撮像装置１の動きに垂直方向の動き成分が含まれていない場合には、ＩＳ出力画像が、ＦＰ歪みの補正及び手ぶれに起因する画像ぶれの補正がなされた画像である。

ＩＳ出力画像の露光期間中における撮像装置１の動きに垂直方向の動き成分が含まれている場合、垂直方向におけるＩＳ出力画像の大きさは、垂直方向の動き成分がない場合のそれと異なっており、ＩＳ出力画像には垂直ＦＰ歪みが含まれている（例えば、図１５の抽出画像３８２と同じ画像がＩＳ出力画像として撮像素子３３から読み出される）。従って、ＩＳ出力画像の露光期間中における撮像装置１の動きに垂直方向の動き成分が含まれている場合、画像サイズ変換部５８は、動き検出情報に基づいてＩＳ出力画像に含まれる垂直ＦＰ歪みが除去されるように、垂直方向におけるＩＳ出力画像の大きさを伸張又は縮小し、伸張又は縮小後のＩＳ出力画像を出力画像として生成する。

尚、画像サイズ変換部５８の存在をも考慮すると、図２９の構成は図２８の構成と等価なものとも言える。撮像素子３３から一旦読み出したＩＳ出力画像を動き検出情報に基づいて補正することで最終的な出力画像を生成するからである。

＜＜変形等＞＞
上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の例では、入力画像の全体画像領域を９つに分割することで入力画像に９つの動き検出ブロックを設定しているが、入力画像に設定されるべき動き検出ブロックの個数は９以外であっても良い。

［注釈２］
図６を参照して上述した例では、有効画素領域３３_A上の位置（ｘ，ｙ）における受光画素の出力信号は、入力画像用のメモリ領域５１_A上のアドレス（ｘ，ｙ）に保存される。即ち、上述の例では、有効画素領域３３_A上の各受光画素の出力信号を全て個別に読み出すことで入力画像が生成されることを想定している。但し、有効画素領域３３_Aの各受光画素の出力信号を間引き読み出し又は加算読み出しすることで入力画像を生成するようにしても構わない。

間引き読み出しでは、有効画素領域３３_A内の一部の受光画素の出力信号のみが入力画像の画像データとして読み出される。加算読み出しでは、有効画素領域３３_A内の複数の受光画素の出力信号の加算信号を１つの受光画素の出力信号とみなした上で受光画素の出力信号の読み出しが成される。間引き読み出し又は加算読み出しを用いて入力画像を生成する場合、入力画像の画素数は有効画素領域３３_Aの受光画素数よりも小さくなる。

［注釈３］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。

１ 撮像装置
１１ 撮像部
３３ 撮像素子
３３_A 有効画素領域
５０、５０ａ 画像補正機能部
５１ フレームメモリ
５１_A メモリ領域
５２ 動き検出部
５３ 手ぶれ検出部
５４ ＦＰ歪み検出部
５５ 補正処理部
５６ センサ部
５７ 読み出し制御部
５８ 画像サイズ変換部

Claims (6)

1. 互いに異なる水平ライン間で露光タイミングを異ならせつつ撮影を行う撮像素子を用いて出力画像を生成する撮像装置において、
   当該撮像装置の動き又は被写体の動きを検出する動き検出部と、
   前記動き検出部の検出結果に基づいて、前記露光タイミングの相違に基づく歪みの補正を行うことにより前記出力画像を生成する補正部と、を備え、
   前記補正部は、前記動き検出部の検出結果に基づく歪み補正量に応じて、前記出力画像の生成方法を変更する
   ことを特徴とする撮像装置。
2. 前記補正部は、前記歪み補正量が歪み補正の限界量を超えるか否かに応じて、前記出力画像の生成方法を変更する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記補正部は、
   前記歪み補正量が歪み補正の限界量以下である場合、前記歪みの全部を補正することで前記出力画像を生成し、
   前記歪み補正量が歪み補正の限界量よりも大きい場合、前記歪みの一部を補正することで前記出力画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記補正部は、
   前記歪み補正量が歪み補正の限界量以下である場合、前記歪みを補正する歪み補正処理と、当該撮像装置の動き又は前記被写体の動きによる画像ぶれを前記動き検出部の検出結果に基づいて補正するぶれ補正処理と、を介して前記出力画像を生成し、
   前記歪み補正量が歪み補正の限界量より大きい場合、前記ぶれ補正処理による画像ぶれの補正量を変更してから、前記歪み補正処理及び前記ぶれ補正処理を介して前記出力画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
5. 前記補正部は、前記撮像素子により生成される入力画像内に基準枠を設定するとともに前記歪み補正量に基づいて前記基準枠を変形させることで抽出枠を設定し、
   前記歪み補正の限界量は、前記入力画像の外枠と前記基準枠との位置関係から規定され、
   前記歪み補正量が歪み補正の限界量以下である場合は、前記入力画像の外枠内に前記抽出枠が収まる一方で、前記歪み補正量が歪み補正の限界量を超える場合は、前記入力画像の外枠から前記抽出枠がはみ出し、
   前記補正部は、前記歪み補正量が歪み補正の限界量以下である場合は、前記抽出枠内の画像データから前記出力画像を生成する一方、前記歪み補正量が歪み補正の限界量を超える場合は、前記抽出枠が前記入力画像の外枠内に収まるように前記抽出枠を修正し、修正後の抽出枠の画像データから前記出力画像を生成する
   ことを特徴とする請求項２に記載の撮像装置。
6. 前記補正部は、当該撮像装置の動き又は前記被写体の動きによる画像ぶれが前記出力画像上において打ち消されるように、前記動き検出部の検出結果に基づいて前記基準枠の位置を決定する
   ことを特徴とする請求項５に記載の撮像装置。

Images