JP2011205442A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】動体を含む画像についてその動体の歪みを適切に補正する。
【解決手段】動体検出部２２０は、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて動体を検出する。動体画像生成部２６０は、動体検出部２２０により検出された動体の動体画像を生成する。補正動体画像生成部２７０は、動体画像の歪みを補正して動体補正画像を生成する。静止体画像生成部２８０は、検出された動体と、補正対象画像と、時間軸において隣接または近接する他の画像とに基づいて、静止体画像を生成する。画像合成部２９０は、動体補正画像および静止体画像を合成して補正画像を生成する。
【選択図】図２

Description

本発明は、画像処理装置に関し、特に、撮像した画像を補正する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、撮像素子を用いて人物や動物等の被写体を撮像して画像データを生成し、この画像データを記録するデジタルスチルカメラおよびデジタルビデオカメラ等の撮像装置が普及している。この撮像素子として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いる撮像装置が広く普及している。

このＣＭＯＳセンサは、ｘ軸（横方向）とｙ軸（縦方向）とを指定することにより、画素回路ごとに画像信号を読み出すｘ−ｙアドレス型のセンサである。このため、撮像装置においては、一般的に、ライン（水平または垂直）ごとに画像信号が読み出され、このラインごとの読出しにより、ラインごとに画素回路が順次露光する。これにより、ラインごとに露光のタイミングが異なり、動体を撮像する際に、動体の像が歪んでしまう現象（フォーカルプレーン現象）が生じる。

このフォーカルプレーン現象は、例えば、静止画像を撮像する際に、撮像装置に機械式シャッタを備えて画素回路の露光のタイミングを同一にすることにより、軽減することができる。しかしながら、例えば、動画撮像動作や静止画の高速連続撮像動作を行う場合においては、被写体を連続して撮像する必要があるため、その撮像動作中において機械式シャッタを開閉することができない。このため、動画撮像動作や静止画の高速連続撮像動作を行う場合においては、フォーカルプレーン現象が生じてしまう。

そこで、例えば、動画撮像時における手ぶれによるフォーカルプレーン現象を、水平方向の歪みについて補正処理をした後、垂直方向の歪みについての補正処理を行うことにより補正する撮像装置が提案されている（例えば、特許文献１参照。）。

特開２００７−２０８５８０号公報（図１）

上記の撮像装置では、撮像画像を矩形領域に分割してブロックマッチングにより手ぶれによる動きを検出し、その動きをライン単位で補正することにより、手ぶれによるフォーカルプレーン現象を補正することができる。

しかしながら、このような撮像装置では、ラインごとに動きベクトルを算出してライン単位で歪み補正を行うため、動体だけでなく、補正を必要としない静止体にも歪み補正処理が行われる。その結果、このような撮像装置では、補正により動体の歪みが補正されるが、その補正により静止体が歪んでしまうおそれがある。

本発明はこのような状況に鑑みてなされたものであり、動体を含む画像についてその動体の歪みを適切に補正することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、上記補正対象画像に含まれる動体を検出する動体検出部と、上記補正対象画像に含まれる上記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、上記補正対象画像に含まれる上記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成部と、上記検出された動体と上記補正対象画像と上記他の画像とに基づいて、上記補正対象画像における上記動体画像を上記他の画像における上記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成部と、上記生成された動体補正画像および上記生成された静止体画像を合成して補正画像を生成する補正画像生成部とを具備する画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、補正対象画像から動体画像と静止体画像を生成し、補正対象画像の動体画像の歪みを補正した後に、補正した動体画像を静止体画像に重ね合わせることにより補正画像を生成させるという作用をもたらす。

また、この第１の側面において、上記動体補正画像生成部は、フォーカルプレーン現象による歪みを補正して上記動体補正画像を生成するようにしてもよい。これにより、フォーカルプレーン現象による歪みを補正して動体補正画像を生成させるという作用をもたらす。

また、この第１の側面において、上記動体検出部は、上記補正対象画像に複数の動体が含まれている場合には上記複数の動体ごとに上記動体を検出し、上記動体補正画像生成部は、上記複数の動体ごとに上記動体補正画像を生成し、上記補正画像生成部は、上記複数の動体ごとの動体補正画像と上記生成された静止体画像とに基づいて補正画像を生成するようにしてもよい。これにより、補正対象画像に複数の動体が含まれている場合には、動体ごとに歪みを補正して動体ごとの動体補正画像を生成することにより上記補正画像を生成させるという作用をもたらす。

また、この第１の側面において、被写体を撮像して上記補正対象画像および上記他の画像を生成する撮像部と、上記補正画像を用いて合焦判定を行う合焦判定部と、上記合焦判定の結果に基づいてフォーカス制御を行う制御部とをさらに備えるようにしてもよい。これにより、補正画像を用いてフォーカス制御を行わせるという作用をもたらす。

また、この第１の側面において、上記動体検出部は、上記動体画像をモデル化して当該モデル化した画像に基づいて上記動体の移動量を算出するようにしてもよい。これにより、動体画像をモデル化した画像を用いて動体の移動速度を算出させるという作用をもたらす。

また、この第１の側面において、上記動体検出部は、上記補正対象画像と当該補正対象画像に時間軸において連続する上記他の画像とに基づいて上記補正対象画像に含まれる動体を検出するようにしてもよい。これにより、補正対象画像と、その補正対象画像に時間軸において連続する他の画像を用いて動体を検出させるという作用をもたらす。

また、この第１の側面において、上記補正画像生成部は、上記静止体画像における上記動体画像に対応する領域に上記動体補正画像を上書き合成することにより上記補正画像を生成するようにしてもよい。これにより、静止体画像における動体画像に対応する領域に動体補正画像を上書き合成することにより補正画像を生成させるという作用をもたらす。

本発明によれば、動体を含む画像についてその動体の歪みを適切に補正することができるという優れた効果を奏し得る。

本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における画像処理部２００の機能構成例を示すブロック図である。 本発明の第１の実施の形態における動体検出部２２０による動体検出の一例を示す模式図である。 本発明の第１の実施の形態におけるモデル化部２２５によるモデル化の一例を示す模式図である。 本発明の第１の実施の形態における動体移動量算出部２３０による動体移動量算出の一例を示す模式図である。 本発明の第１の実施の形態における動体画像生成部２６０による動体画像生成の一例を示す模式図である。 本発明の第１の実施の形態における撮像部１３０への入射光の一例および撮像装置１００により撮像される１フレームの画像の一例を示す模式図である。 本発明の第１の実施の形態における露光タイミング差情報保持部２４０が保持する露光タイミング差情報の一例を示す模式図である。 本発明の第１の実施の形態における動体歪み補正量算出部２５０による歪み補正量の算出例を示す模式図である。 本発明の第１の実施の形態における補正動体画像生成部２７０による補正動体画像生成の一例を示す模式図である。 本発明の第１の実施の形態における静止体画像生成部２８０による静止体画像を生成する際に用いられる静止体画像抽出情報の生成の一例を示す模式図である。 本発明の第１の実施の形態における静止体画像生成部２８０による静止体画像抽出情報を用いた静止体画像抽出の一例を示す模式図である。 本発明の第１の実施の形態における静止体画像生成部２８０による抽出した静止体画像を用いた静止体画像合成の一例を示す模式図である。 本発明の第１の実施の形態における画像合成部２９０による補正画像の合成の一例を示す模式図である。 本発明の第１の実施の形態における撮像装置１００による動画像を記録する際の記録処理手順例を示すフローチャートである。 本発明の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。 本発明の第２の実施の形態における合焦判定部６１０による合焦判定の一例を示す模式図である。 本発明の第２の実施の形態における撮像装置６００による動画像を記録する際の記録処理手順例を示すフローチャートである。 複数の動体がある場合における動体検出部２２０による動体検出例およびモデル化部２２５によるモデル化例を示す模式図である。 複数の動体がある場合における動体画像生成部２６０による動体画像生成例および補正動体画像生成部２７０による補正動体画像生成例を示す模式図である。 複数の動体がある場合における画像合成部２９０による補正画像の合成の一例を示す模式図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像制御：画像を動体と静止体とに分けて動体の歪みを補正する例）
２．第２の実施の形態（撮像制御：補正した画像を用いてフォーカス制御を行う例）
３．応用例

＜１．第１の実施の形態＞
［撮像装置の機能構成例］
図１は、本発明の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。

撮像装置１００は、操作受付部１１０と、制御部１２０と、撮像部１３０と、画像処理部２００と、記録制御部１４０と、記録部１５０と、表示部１６０と、鏡胴１７０とを備える。

なお、本発明の第１の実施の形態においては、撮像装置１００は、動画像データ（動画像コンテンツ）を記録することができるデジタルビデオカメラであることを想定する。また、撮像部１３０が撮像した画像信号に対するノイズの除去、信号の増幅、ホワイトバランスの補正、ガンマ補正、黒レベル補正などの信号処理については、従来の撮像装置と同様のものであるため、便宜上、説明を省略する。また、説明の便宜上、被写体を撮像する際には、イメージセンサの全面（最大の解像度）を使用して画像を生成することとする。

操作受付部１１０は、ユーザからの操作を受け付けるものである。この操作受付部１１０は、受け付けた操作に関する信号（操作信号）を制御部１２０に供給する。

制御部１２０は、撮像装置１００における各部動作を制御するものである。この制御部１２０は、例えば、動画像の記録を開始するための操作信号を受け付けた場合には、動画像の記録開始に関する信号を、撮像部１３０および記録制御部１４０に供給する。また、制御部１２０は、動画像の記録を終了させるための操作信号を受け付けた場合には、動画像の記録終了に関する信号を撮像部１３０および記録制御部１４０に供給する。

撮像部１３０は、被写体からの入射光を電気信号に光電変換して画像信号を生成するものである。この撮像部１３０は、例えば、ＣＭＯＳセンサなどのｘ−ｙアドレス型のセンサをイメージセンサ（撮像素子）として備えることにより実現される。また、撮像部１３０は、制御部１２０から供給される動画像の記録の開始および終了に関する信号に基づいて、動画像を撮像するための動作の開始および終了を行う。また、撮像部１３０は、生成した画像信号を、１つの画像（フレーム）単位で画像処理部２００に供給する。

画像処理部２００は、撮像部１３０から供給された画像信号にフォーカルプレーン現象を補正するための信号処理を施して、記録および表示に用いる画像データを生成するものである。この画像処理部２００は、撮像部１３０から供給された画像を用いて、フォーカルプレーン現象を補正するための信号処理を行う。また、画像処理部２００は、補正した画像（補正画像）を、補正画像データとして記録制御部１４０および表示部１６０に供給する。なお、画像処理部２００については、図３乃至図１３を参照して説明する。

記録制御部１４０は、記録部１５０における動画像データの記録の制御を行うものである。この記録制御部１４０は、画像処理部２００から供給された補正画像データと、周囲の音を電気信号に変換した音データ（図示せず）とに基づいて、動画像データを生成し、この生成した動画像データの記録の制御を行う。また、記録制御部１４０は、制御部１２０から供給される動画像の記録の開始および終了に関する信号に基づいて、動画像データを記録するための動作の開始および終了を行う。この記録制御部１４０は、生成した動画像データを記録部１５０に供給する。

記録部１５０は、記録制御部１４０から供給された動画像データを記録するものである。例えば、この記録部１５０は、メモリカードにより実現される。

表示部１６０は、画像を表示するものである。この表示部１６０は、例えば、カラー液晶パネルにより実現される。この表示部１６０は、撮像された画像、記録済みの画像およびモードの設定画面などを表示する。

鏡胴１７０は、撮像部１３０への入射光を光学的に制御するレンズ群および絞りなどが備え付けられている部位である。この鏡胴１７０には、説明の便宜上、ズームレンズ１７１およびフォーカスレンズ１７２のみが示されている。

ズームレンズ１７１は、鏡胴１７０の中を光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。

フォーカスレンズ１７２は、鏡胴１７０の中を光軸方向に移動することによりフォーカスを調整するものである。

［画像処理部の機能構成例］
図２は、本発明の第１の実施の形態における画像処理部２００の機能構成例を示すブロック図である。

画像処理部２００は、フレームバッファ２１０と、動体検出部２２０と、モデル化部２２５と、動体移動量算出部２３０と、露光タイミング差情報保持部２４０とを備える。また、画像処理部２００は、動体歪み補正量算出部２５０と、動体画像生成部２６０と、補正動体画像生成部２７０と、静止体画像生成部２８０と、画像合成部２９０とを備える。

フレームバッファ２１０は、撮像部１３０から供給された画像信号をフレーム単位で保持するものである。例えば、フレームバッファ２１０は、補正対象のフレーム（補正対象フレーム）と、その補正対象フレームに対して時間軸において１つ前のフレーム（前フレーム）と、時間軸において１つ後のフレーム（後フレーム）との計３枚の連続したフレームを保持する。また、フレームバッファ２１０は、その保持したフレームを動体検出部２２０と、動体画像生成部２６０と、静止体画像生成部２８０とに供給する。

動体検出部２２０は、フレームにおける動体領域を、そのフレームの画像と、時間軸において隣接または近接する他のフレームの画像とを比較することにより検出するものである。この動体検出部２２０は、例えば、補正対象フレームおよび前フレームにおける動体領域を、補正対象フレームと前フレームとを比較することにより検出する。この動体検出部２２０は、補正対象フレームおよび前フレームにおける動体領域に関する情報を、動体領域情報として、モデル化部２２５および動体画像生成部２６０に供給する。なお、動体検出部２２０による動体検出の一例については。図３を参照して説明する。

モデル化部２２５は、動体領域をモデル化する（例えば、動体領域を簡単な図形に置換する）ものである。すなわち、モデル化部２２５は、動体移動量算出部２３０における処理を簡便にするために、動体領域をモデル化する。例えば、モデル化部２２５は、動体領域が車の形状である場合には、この車を囲む長方形にこの動体領域をモデル化する。また、モデル化部２２５は、そのモデル化した動体領域を、動体移動量算出部２３０に供給する。なお、モデル化部２２５によるモデル化の一例については、図４を参照して説明する。なお、モデル化部２２５は、特許請求の範囲に記載の動体検出部の一例である。

動体移動量算出部２３０は、動体の移動量（動体移動量）を算出するものである。この動体移動量算出部２３０は、例えば、モデル化した動体領域における複数の箇所の移動量を平均化して動体移動量を算出する。また、動体移動量算出部２３０は、算出した動体移動量を、動体歪み補正量算出部２５０に供給する。なお、動体移動量算出部２３０による動体移動量の算出の一例については、図５を参照して説明する。

露光タイミング差情報保持部２４０は、イメージセンサ（撮像素子）における画素回路の露光のタイミングの差に関する情報（露光タイミング差情報）を保持するものである。ここで、露光タイミング差情報とは、イメージセンサにおいて最初に露光が開始されるライン（水平ライン）と、最後に露光が開始されるライン（水平ライン）との間の時間差に関する情報である。なお、この露光タイミング差情報が示す時間差は、イメージセンサ（撮像素子）からの画像信号の転送（読出し）における時間差でもある。この露光タイミング差情報保持部２４０は、保持する露光タイミング差情報を、動体歪み補正量算出部２５０に供給する。なお、露光タイミング差情報については、図８を参照して説明する。

動体歪み補正量算出部２５０は、フォーカルプレーン現象による動体の歪みを補正するための補正量（歪み補正量）を算出するものである。また、この動体歪み補正量算出部２５０は、撮像部１３０（図１参照）により生成される画像の横幅および縦幅に関する情報（イメージセンサ情報）を保持する。この動体歪み補正量算出部２５０は、露光タイミング差情報保持部２４０から供給された露光タイミング差情報と、動体移動量算出部２３０から供給された動体移動量と、イメージセンサ情報とに基づいて、歪み補正量を算出する。動体歪み補正量算出部２５０は、算出した歪み補正量を、補正動体画像生成部２７０に供給する。なお、歪み補正量の算出については、図９を参照して説明する。

動体画像生成部２６０は、補正対象フレームにおける動体領域の画像情報（輝度や色情報など）を抽出して、抽出された動体領域の画像情報のみで構成される画像である動体画像を生成するものである。この動体画像生成部２６０は、動体検出部２２０から供給される動体領域情報と、フレームバッファ２１０から供給される補正対象フレームとに基づいて動体画像を生成する。また、動体画像生成部２６０は、生成した動体画像を、補正動体画像生成部２７０および静止体画像生成部２８０に供給する。なお、動体画像の生成については、図６を参照して説明する。なお、動体画像生成部２６０は、特許請求の範囲に記載の動体検出部の一例である。

補正動体画像生成部２７０は、フォーカルプレーン現象による動体画像の歪みを補正するものである。この補正動体画像生成部２７０は、動体歪み補正量算出部２５０から供給された歪み補正量と、動体画像生成部２６０から供給された動体画像とに基づいて、動体画像の歪みを補正する。この補正動体画像生成部２７０は、補正した動体画像（補正動体画像）を、画像合成部２９０に供給する。なお、補正動体画像の生成については、図１０を参照して説明する。なお、補正動体画像生成部２７０は、特許請求の範囲に記載の動体補正画像生成部の一例である。

静止体画像生成部２８０は、補正対象フレームの静止体画像を生成するものである。ここで、静止体画像とは、補正対象フレームの画像から動体の画像を除去して、その除去した画像における静止体の情報を他のフレームの情報を用いて補完したものである。すなわち、静止体画像生成部２８０は、補正対象フレームにおける動体に対応する領域の画像を、他のフレームにおけるその画像に対応する領域の画像に置換することにより静止体画像を生成する。この静止体画像生成部２８０は、例えば、動体画像生成部２６０から供給された動体画像と、フレームバッファから供給された補正対象フレームと、前フレームまたは後フレームとに基づいて静止体画像を生成する。静止体画像生成部２８０は、生成した静止体画像を画像合成部２９０に供給する。なお、静止体画像の生成については、図１１乃至１３を参照して説明する。

画像合成部２９０は、動体画像と静止体画像とを合成して、補正対象フレームの補正された画像（補正画像）を生成するものである。この画像合成部２９０は、例えば、静止体画像の上に動体画像を重ね合わせることにより補正画像を生成する。なお、画像合成部２９０による補正画像の生成の一例については、図１４を参照して説明する。なお、画像合成部２９０は、特許請求の範囲に記載の補正画像生成部の一例である。

このように、画像処理部２００では、まず、フォーカルプレーン現象が補正された補正動体画像と、動体が存在しない静止体画像とが生成される。そして、補正動体画像と静止体画像とを合成することにより、フォーカルプレーン現象が補正された画像が生成される。

なお、ここでは、撮像装置に組み込まれている画像処理部２００について説明したが、これに限定されるものではない。例えば、撮像部１３０により生成された動画データを記録媒体に記録しておき、この動画データを再生する際に、上述した補正を行うようにしてもよい。この場合には、その動画データの撮像動作時に関するイメージセンサ情報および露光タイミング差情報を、動画データに関連付けて記憶しておく。また、他の撮像装置において記録された動画データを、画像処理部２００を備える画像処理装置により再生する場合についても同様に、上述した補正を行うことができる。

また、同図においては、動体の移動量を簡便に算出するためにモデル化をして動体移動量を算出する例について説明したが、これに限定されるものではない。例えば、動体検出部２２０においてブロックマッチング等を用いて動体を検出する場合には、動体の移動量を算出する際にブロックマッチングにおいて算出した動きベクトルを用いる場合なども考えられる。

［動体検出部による動体検出例］
図３は、本発明の第１の実施の形態における動体検出部２２０による動体検出の一例を示す模式図である。

この例では、説明の便宜上、１つの動体が水平方向に移動している場合を想定する。

図３（ａ）には、補正対象フレーム（ｎ＋１フレーム）と、１つ前の前フレーム（ｎフレーム）とを用いた動体検出処理の一例が模式的に示されている。

同図（ａ）には、補正対象フレームの１つ前の前フレームを示す画像（画像（ｎフレーム）３１０）と、補正対象フレームを示す画像（画像（ｎ＋１フレーム）３２０）と、検出された動体を示す画像（動体情報画像３４０）とが示されている。

なお、本発明の第１の実施の形態では、イメージセンサのデータ転送（すなわち、露光）は、左上隅の画素回路（画像の左上隅の画素の画像信号を取得する画素回路）から開始して、水平方向（水平ラインごと）に順次転送する。そして、その水平ラインが終了したら、１つ下のラインのデータ転送を左隅から順次行い、最後は、右下隅の画素回路で終了するものとする。

画像（ｎフレーム）３１０は、補正対象フレームの１つ前のフレーム（前フレーム）の画像を示すイメージ図である。この画像（ｎフレーム）３１０には、動体を示す領域（動体領域３１２）と、静止体を示す領域（静止体領域３１１）とが示されている。また、静止体領域３１１および動体領域３１２以外の背景も静止体を示す領域として示されている。

静止体領域３１１は、画像（ｎフレーム）３１０における街路樹が撮像された領域である。この静止体領域３１１は、画像（ｎフレーム）３１０の中央付近に、垂直に立つ木として示されている。

動体領域３１２は、画像（ｎフレーム）３１０における自動車が撮像された領域である。この動体領域３１２は、画像（ｎフレーム）３１０の右端付近に、右側から左側に向けて走行する自動車として示されている。また、動体領域３１２は、動いている自動車（動体）であるため、フォーカルプレーン現象により自動車の形状が歪んでいる。この動体領域３１２は、自動車の下側が左側へ向けて飛び出しているように歪んでいる。

画像（ｎ＋１フレーム）３２０は、補正対象フレームの画像を示すイメージ図である。この画像（ｎ＋１フレーム）３２０には、動体画像として動体領域３２２が示され、静止体画像として、画像（ｎフレーム）３１０の静止体領域３１１と同様のものである静止体領域３２１が示されている。

動体領域３２２は、画像（ｎ＋１フレーム）３２０における自動車が撮像された領域である。この動体領域３２２は、画像（ｎフレーム）３１０の動体領域３１２より時系列的に後であるため、走行が進行した状態の自動車（静止体領域３２１の前に位置する自動車）を示す。また、動体領域３２２は、画像（ｎフレーム）３１０の動体領域３１２と同様のフォーカルプレーン現象による歪みが生じている。

動体情報画像３４０は、画像（ｎフレーム）３１０および画像（ｎ＋１フレーム）３２０を用いて検出された動体の情報を示すイメージ図である。この動体情報画像３４０には、検出された動体の領域を示す情報（動体領域情報３４１および３４２）が白色の領域で示されている。また、動体情報画像３４０には、動体領域情報３４１および３４２を囲む領域３４５が示されている。そして、静止体の領域が、動体領域情報３４１および３４２以外の網目の領域で示されている。

動体領域情報３４１および３４２は、画像（ｎフレーム）３１０および画像（ｎ＋１フレーム）３２０における動体と判定された画素の領域を示す情報である。すなわち、動体領域情報３４１および３４２は、画像（ｎフレーム）３１０の動体領域３１２および画像（ｎ＋１フレーム）３２０の動体領域３２２が動体の領域として検出されたものである。

ここで、動体検出部２２０による動体検出の方法の一例について説明する。動体情報画像３４０は、同一の画素位置における画像（ｎフレーム）３１０と画像（ｎ＋１フレーム）３２０との間の差分絶対値を画素ごとに算出する。この場合において、静止体を表す画素は同一の画素値であるため、差分値は「０」に近い値になる。一方、動体を示す画素は、フレーム間において画素値が異なるため、差分値は大きな値になる。そこで、動体情報画像３４０は、所定値を基準にして差分値を分類することにより、動体を検出する。

そして、動体情報画像３４０は、所定値を基準にして画素の画像情報を２値化して、静止体領域と動体領域とを分離する。例えば、動体と動体以外の領域とが「０」および「１」で表される場合には、静止体（動体情報画像３４０の網目の領域）は「０」で示され、動体（動体領域情報３４１および３４２）は「１」で示される。そして、動体検出部２２０は、この動体に関する情報（動体情報画像）を動体領域情報として、モデル化部２２５および動体画像生成部２６０に供給する。

図３（ｂ）には、補正対象フレーム（ｎ＋１フレーム）と、１つ後の後フレーム（ｎ＋２フレーム）とを用いた動体検出処理の一例が模式的に示されている。

同図（ｂ）には、補正対象フレームを示す画像である画像（ｎ＋１フレーム）３２０と、補正対象フレームの１つ後の後フレームを示す画像である画像（ｎ＋２フレーム）３３０と、検出された動体を示す画像（動体情報画像３５０）とが示されている。

画像（ｎ＋２フレーム）３３０は、補正対象フレームの１つ後の後フレームの画像を示すイメージ図である。この画像（ｎ＋２フレーム）３３０には、他のフレームと同様に、動体を示す領域（動体領域３３２）と、静止体を示す領域（静止体領域３３１）が示されている。なお、動体領域３３２は、画像（ｎ＋１フレーム）３２０より時系列的に後のフレームにおける動体の領域であるため、動体領域３２２よりも走行が進んだ状態（静止体領域３３１の右側を走行している状態）の自動車を示す。

動体情報画像３５０は、画像（ｎ＋１フレーム）３２０および画像（ｎ＋２フレーム）３３０を用いて検出された動体の情報を示すイメージ図である。この動体情報画像３５０には、検出された動体の領域を示す情報（動体領域情報３５２および３５３）が白色の領域で示されている。また、動体情報画像３５０には、動体領域情報３５２および３５３を囲む領域３５５が示されている。そして、静止体の領域が、動体領域情報３５２および３５３以外の網目の領域で示されている。なお、動体領域情報３５２および３５３は、図３（ａ）において示した動体領域情報３４１および３４２に対応するため、ここでの詳細な説明を省略する。

このように、動体検出部２２０によって、動体の領域が検出される。なお、ここでは一例として、時系列的に連続するフレーム（隣接するフレーム）を用いて検出する例について説明したが、これに限定されるものではない。例えば、時系列的に近いフレーム（近接するフレーム）を用いて行う場合なども考えられる。

なお、ここでは、差分絶対値を算出して動体を検出したが、これに限定されるものではない。動体検出部２２０による動体の検出は、種々の一般的に知られている手法を用いることができる。例えば、動体を検出する方法として、ブロックマッチングを用いる場合なども考えられる。

［モデル化部によるモデル化例］
図４は、本発明の第１の実施の形態におけるモデル化部２２５によるモデル化の一例を示す模式図である。同図では、図３（ｂ）において示した動体情報画像３５０における動体領域をモデル化する例について説明する。

図４には、動体情報画像３５０と、モデル化の過程の画像（モデル化過程画像３６９）と、モデル化により生成されるモデル化画像（モデル化画像３６０）とが示されている。

モデル化過程画像３６９は、動体領域情報３５２および３５３のモデル化の過程を示すイメージ図である。このモデル化過程画像３６９には、動体領域情報３５２および３５３と、モデル化した動体の範囲を示す枠（枠３６３および３６４）が示されている。

枠３６３および３６４は、動体領域情報３５２および３５３のモデル化画像の領域を示す枠である。この枠３６３は、例えば、動体領域情報３５３を囲むように設定される長方形の領域である。また、枠３６４は、例えば、動体領域情報３５２を囲むように設定される長方形の領域である。これらの枠は、動体の大きさに応じて設定される。なお、図４に示す例では、説明の容易のため、動体よりも比較的大きな長方形を設定する例を示す。ただし、少なくとも動体の全部を含む長方形を設定することにより、モデル化を行うことができる。このように、モデル化部２２５によって、動体領域の大きさに基づいて、モデル化が行われる。

モデル化画像３６０は、動体領域情報３５２および３５３をモデル化した画像を示すイメージ図である。このモデル化画像３６０には、動体領域情報３５２および３５３をモデル化した画像であるモデル化画像領域３７０および３８０が示されている。

モデル化画像領域３７０および３８０は、動体領域情報３５２および３５３のモデル化により生成された画像の領域である。このモデル化画像領域３７０および３８０は、枠３６３および３６４により囲まれた領域を画像にすることにより生成される。

このように、モデル化部２２５によって、動体の移動量の算出などを簡便にするために、動体領域のモデル化が行われる。

［動体移動量算出部による動体移動量算出例］
図５は、本発明の第１の実施の形態における動体移動量算出部２３０による動体移動量算出の一例を示す模式図である。

同図には、動体移動量の算出方法が、モデル化画像領域３７０および３８０を用いて示されている。また、同図において、モデル化画像領域３７０および３８０には、モデル化した動体の移動量を算出するために選出した領域（第１移動量算出領域乃至第４移動量算出領域）が示されている。モデル化画像領域３７０には、左上隅に第１移動量算出領域３７１が示され、右上隅に第２移動量算出領域３７２が示され、左下隅に第３移動量算出領域３７３が示され、右下隅に第４移動量算出領域３７４が示されている。

同様に、モデル化画像領域３８０には、第１移動量算出領域３７１乃至第４移動量算出領域３７４にそれぞれ対応する位置に、第１移動量算出領域３８１乃至第４移動量算出領域３８４が示されている。さらに、第１移動量算出領域３７１乃至第４移動量算出領域３７４の第１移動量算出領域３８１乃至第４移動量算出領域３８４への移動量を示す動きベクトルＶ１乃至Ｖ４が示されている。

ここで、動体移動量算出部２３０による動体移動量の算出について説明する。まず、動体移動量算出部２３０は、動体の移動量を算出するために、モデル化画像領域３７０における複数の領域（例えば、特徴点）を選択する。そして、その選択した複数の領域に対応するモデル化画像領域３８０の領域を選択する。この領域の選択の一例として、同図には、第１移動量算出領域３７１および３８１と、第２移動量算出領域３７２および３８２と、第３移動量算出領域３７３および３８３と、第４移動量算出領域３７４および３８４との４つの領域が示されている。

そして、動体移動量算出部２３０は、選択した領域の移動量（動きベクトル）を算出する。同図には、算出された移動量として、動きベクトルＶ１乃至Ｖ４が示されている。その後、動体移動量算出部２３０は、算出された４つの動きベクトルの平均値を算出し、その算出した平均値を動体移動量としいて動体歪み補正量算出部２５０に供給する。

このように、動体移動量算出部２３０によって、動体領域をモデル化した画像を用いて動体の移動量が算出される。

なお、同図では、モデル化画像領域３７０および３８０を用いて動体移動量を算出したが、これに限定されるものではない。モデル化は、動体移動量の算出を間便にするために行うものであり、他の方法を用いるようにしてもよい。例えば、パーソナルコンピュータにフォーカルプレーン現象の補正を行わせる場合などには、正確な移動量を算出するために、モデル化をしないで複数の特徴点を検出し、その検出した特徴点の移動量の平均値を動体移動量とするようにしてもよい。

［動体画像生成部による動体画像生成例］
図６は、本発明の第１の実施の形態における動体画像生成部２６０による動体画像生成の一例を示す模式図である。

同図には、図３において示した画像（ｎ＋１フレーム）３２０と、動体情報画像３４０と、動体情報画像３５０と、動体画像生成部２６０により算出される動体画像（動体画像４２０）が示されている。

動体画像４２０は、画像（ｎ＋１フレーム）３２０と、動体情報画像３４０と、動体情報画像３５０とに基づいて、動体画像生成部２６０により算出される画像である。この動体画像４２０には、画像（ｎ＋１フレーム）３２０における動体の画像である動体領域４２２が示されている。なお、動体領域４２２は、特許請求の範囲に記載の動体画像の一例である。

ここで、動体画像生成部２６０による動体画像の生成方法の一例について説明する。

まず、動体画像生成部２６０は、フレームバッファ２１０から画像（ｎ＋１フレーム）３２０を取得し、動体検出部２２０から動体情報画像３４０および動体情報画像３５０を取得する。そして、動体画像生成部２６０は、例えば、動体情報画像３４０と動体情報画像３５０と、画像（ｎ＋１フレーム）３２０とを乗算して一枚の画像を生成することにより算出される。

ここで、この乗算について、まず、動体情報画像３４０と動体情報画像３５０との間の乗算に着目して説明する。図３において説明したように、動体情報画像３４０において動体領域情報３４１および３４２における画素の値は「１」であり、動体領域情報３４１および３４２以外の領域の画素の値は「０」である。同様に、動体情報画像３５０において動体領域情報３５２および３５３における画素の値は「１」であり、動体領域情報３５２および３５３以外の領域の画素の値は「０」である。すなわち、動体情報画像３４０と動体情報画像３５０とのそれぞれの画素における値の乗算により、動体領域情報３４２および動体領域情報３５２に対応する画素のみが「１」の値の画像になる。すなわち、動体情報画像３４０と動体情報画像３５０とに共通するフレームである画像（ｎ＋１フレーム）３２０の動体の領域（補正対象フレーム動体領域情報）が算出される。

次に、補正対象フレーム動体領域情報と、画像（ｎ＋１フレーム）３２０との間の乗算に着目して説明する。補正対象フレーム動体領域情報は、画像（ｎ＋１フレーム）３２０の動体の領域の画素の値が「１」である。このため、この補正対象フレーム動体領域情報と画像（ｎ＋１フレーム）３２０とを乗算することにより、動体領域のみが画像情報を保持する画像（動体画像４２０）が生成される。

なお、ここでは、動体情報画像を用いて、動体領域のみが画像情報を保持する動体画像（動体画像４２０）を生成する例について説明したが、これに限定されるものではない。例えば、ブロックマッチングを用いて、動体と判定されたブロックを抽出して動体画像を生成するようにしてもよい。

［動体歪み補正量算出部による動体歪み補正例］
ここで、撮像装置１００により補正されるフォーカルプレーン現象について、図７を参照して説明する。

図７は、本発明の第１の実施の形態における撮像部１３０への入射光の一例および撮像装置１００により撮像される１フレームの画像の一例を示す模式図である。

ここでは、便宜上、撮像部１３０におけるイメージセンサの水平ラインの数が「１１」ラインであることを想定する。

図７（ａ）は、１つのフレームを撮像する際におけるイメージセンサへの入射光を、そのフレームの水平ラインごとに、時系列の画像として模式的に示す。また、図７（ｂ）は、図７（ａ）に示した入射光に基づいて生成される１フレームの画像を、時系列の画像として模式的に示す。

図７（ａ）には、最初（１番目）の水平ライン（水平ラインＬ１）を撮像する際における入射光に対応する画像（画像４５１）と、８番目の水平ライン（水平ラインＬ２）を撮像する際における入射光に対応する画像（画像４５２）とが示されている。さらに、９番目の水平ライン（水平ラインＬ３）を撮像する際における入射光に対応する画像（画像４５３）と、１０番目の水平ライン（水平ラインＬ４）を撮像する際における入射光に対応する画像（画像４５４）とが示されている。また、１１番目の水平ライン（水平ラインＬ５）を撮像する際における入射光に対応する画像（画像４５５）が示されている。なお、画像４５２乃至４５５における動体領域（自動車）の位置の差が破線Ｋ１乃至破線Ｋ４により示されている。

図７（ｂ）には、図７（ａ）に示した画像４５１乃至４５５の画像が入射する際におけるイメージセンサの撮像画像（画像４６１乃至４６５）が示されている。なお、画像４６１乃至４６５に示されている水平ラインＬ１１乃至Ｌ１５は、画像４５１乃至４５５における水平ラインＬ１乃至Ｌ５にそれぞれ対応する。

同図（ｂ）に示すように、イメージセンサは、ラインごと（ここでは、水平ライン）に画像信号が読み出され、ラインごとに画素回路が順次露光するため、被写体に動体がある場合には、その動体の像が歪む現象（フォーカルプレーン現象）が発生する。そこで、以下では、動体の像の歪みを適切に補正する例を示す。

［露光タイミング差情報の一例］
図８は、本発明の第１の実施の形態における露光タイミング差情報保持部２４０が保持する露光タイミング差情報の一例を示す模式図である。

なお、ここでは、同一の水平ラインにおける画素回路の露光時間（転送）のズレは、影響を無視できるほど小さいため、ズレは無いものとする。

同図には、露光タイミング差情報保持部２４０が保持する露光タイミング差情報を模式的に示すグラフが示されている。このグラフでは、縦軸を水平ラインを示す軸とし、横軸を露光時間を示す軸として、各水平ラインの画素回路の露光時間が矩形（矩形Ｅ１乃至Ｅ１１）で模式的に示されている。また、このグラフには、最初の水平ラインの画素回路の露光開始と、最後の水平ラインの画素回路の露光開始との差の時間（露光タイミング差情報Ｔ１）が示されている。

矩形Ｅ１乃至Ｅ１１は、各水平ラインの画素回路の露光時間を水平ラインごとに示すものである。矩形Ｅ１は図７における水平ラインＬ１１の露光時間を示し、矩形Ｅ８は図７の水平ラインＬ１２の露光時間を示している。同様に、矩形Ｅ９は水平ラインＬ１３の露光時間を示し、矩形Ｅ１０は水平ラインＬ１４を示し、矩形Ｅ１１は水平ラインＬ１５を示している。

露光タイミング差情報Ｔ１は、最初の水平ラインの画素回路の露光開始と、最後の水平ラインの画素回路の露光開始との差の時間である。この露光タイミング差情報Ｔ１は、露光タイミング差情報保持部２４０に露光タイミング差情報として保持される。なお、露光タイミング差情報Ｔ１が示す時間差の時間が短いほど、フォーカルプレーン現象は軽減される。

［歪み補正量生成例］
図９は、本発明の第１の実施の形態における動体歪み補正量算出部２５０による歪み補正量の算出例を示す模式図である。なお、ここでは、動体移動量は、図５において示すように右側から左側への動きに関する動体移動量を、正の値とする。

図９（ａ）には、補正対象フレーム（画像（ｎ＋１フレーム）３２０）を矩形（フレーム４７１）により模式的に示す。このフレーム４７１には、補正対象フレームの横方向の幅を示す横Ｗ１および補正対象フレームの縦方向の幅を示す縦幅Ｈ１が示されている。

動体歪み補正量算出部２５０は、この横Ｗ１および縦幅Ｈ１に関する情報を、イメージセンサ情報として予め保持する。そして、動体歪み補正量算出部２５０は、動体移動量算出部２３０から供給される動体移動量と、露光タイミング差情報保持部２４０から供給される露光タイミング差情報と、イメージセンサ情報とに基づいて、歪み補正量を算出する。

図９（ｂ）には、補正量算出部２５０により算出される歪み補正量を模式的に示す。なお、同図（ｂ）では、図９（ａ）に示すフレーム４７１を補正する場合における補正方法を示しながら説明する。同図（ｂ）には、フレーム４７１と、補正されたフレーム４７１の形状を示すフレーム４７２とが示されている。また、同図（ｂ）には、縦幅Ｈ１における水平ラインの歪み補正量（歪み補正量Ｄ１）と、縦幅Ｈ２における水平ラインの歪み補正量（歪み補正量Ｄ２）と、縦幅Ｈ３における水平ラインの歪み補正量（歪み補正量Ｄ３）とが示されている。

ここで、動体歪み補正量算出部２５０による歪み補正量の算出方法の一例について、図９（ｂ）と、式１と、式２とを用いながら説明する。

まず、動体歪み補正量算出部２５０は、歪み補正量を算出するために、動体移動量から動体移動速度を算出する。この動体移動速度Ｓの算出は、例えば、次の式１を用いて算出される。
Ｓ＝Ｍ×（１／Ｆ） ・・・式１
ここで、Ｍは、動体移動量である。例えば、動体移動量Ｍは、動体移動量を示すピクセル数である。また、Ｆは、フレームレートである。すなわち、１／Ｆは、撮像部１３０のイメージセンサが生成するフレームの間隔（時間）である。

ここで、式１について説明する。本発明の第１の実施の形態では、図３に示すように、連続するフレームを用いて動体移動量を算出している。すなわち、動体移動量（ピクセル）をフレーム間隔（秒）で除算することにより、１秒当たりの移動量を示す動体移動速度（ピクセル／秒）を算出することができる。

そして、動体歪み補正量算出部２５０は、算出した動体移動速度およびＣＭＯＳセンサ情報を用いて、歪み補正量を水平ラインごとに算出する。この水平ラインごとの歪み補正量Ｃ_ｎの算出は、例えば、次の式２を用いて算出される。
Ｃ_ｎ＝Ｓ×Ｔ×ｎ／Ｖ ・・・式２
ここで、ｎは、水平ラインの補正対象フレームにおける位置（最下位の水平ラインからの高さを示すピクセル数）である。また、Ｓは、式１において示した動体移動速度Ｓである。Ｔは、露光タイミング差情報保持部２４０から供給される露光タイミング差情報である。Ｖは、補正対象フレームの縦方向の幅（ピクセル数）である。

ここで、式２について説明する。撮像装置１００において発生するフォーカルプレーン現象では、動体の移動速度（動体移動速度Ｓ）が大きいほど動体の画像が大きく歪む。なお、フォーカルプレーン現象の発生する原因となる露光のズレ（露光タイミング差情報Ｔ）は、イメージセンサに固有の値である。すなわち、式２に示すように、動体の移動速度（動体移動速度Ｓ）と、水平ラインごと露光のズレの時間（Ｔ×ｎ／Ｖ）とを用いることにより、水平ラインごとの歪み補正量を算出することができる。

ここで、動体歪み補正量算出部２５０による歪み補正量算出について、図９（ｂ）および式２を用いて説明する。動体歪み補正量算出部２５０は、上述した動体移動速度Ｓを算出した後に、この上述した動体移動速度Ｓと、露光タイミング差情報Ｔと、イメージセンサ情報とに基づいて水平ラインごとの歪み補正量を順次算出する。例えば、最上位の水平ラインから歪み補正量を算出する場合には、図９（ｂ）に示す縦幅Ｈ１を位置ｎおよび縦幅Ｖとして、式２を用いて歪み補正量Ｄ１（歪み補正量Ｃ_ｎ）が算出される。同様に、２番目以降の水平ラインについても、位置ｎをその水平ラインを示す値にすることにより、式２を用いて順次算出される。この順次算出される歪み補正量の一例として、位置ｎが縦幅Ｈ２の水平ラインにおける歪み補正量Ｄ２と、位置ｎが縦幅Ｈ３の水平ラインにおける歪み補正量Ｄ３とが図９（ｂ）に示されている。

このように、動体歪み補正量算出部２５０によって、水平ラインごとの歪み補正量が算出され、その算出された歪み補正量が補正動体画像生成部２７０に供給される。

なお、同図においては、水平方向に移動する動体の歪み補正量を算出する一例について説明したが、本発明はこれに限定されるものではない。フォーカルプレーン現象においては、縦方向に移動する動体については、その動体の画像が伸びたり、縮んだりする（動体の縦方向の歪み）問題が生じる。この場合においても、例えば、次の式３を用いて補正する倍率を算出することにより、動体の縦方向の歪みを補正するための歪み補正量を算出することができる。なお、この縦方向の歪みの補正に関する式においては、下側から上側への動きに関する動体移動量を正の値とする。
Ｍ＝Ｖ／（Ｖ−Ｓ_ｈ×Ｔ） ・・・式３
ここで、Ｍは、動体画像の縦方向の補正率である。また、Ｓ_ｈは、下側から上側への動きに関する動体移動量を用いて算出した動体移動速度（縦）である。

例えば、動体が下側から上側へ動く場合については、「（Ｖ−Ｓ_ｈ×Ｔ）」が小さな値になり、補正率Ｍは、拡大する割合を示す値になる。また、動体が上側から下側へ動く場合においては、動体移動量Ｓ_ｈが負の値になり「（Ｖ−Ｓ_ｈ×Ｔ）」が大きな値になり、補正率Ｍは、縮小する割合を示す値になる。

このように、縦方向の動きに関する移動量を動体移動量算出部２３０が算出し、動体の修正率を動体歪み補正量算出部２５０が算出することにより、縦方向に移動する動体についても、フォーカルプレーン現象の歪みの補正をすることができる。

［補正動体画像生成部による補正動体画像生成例］
図１０は、本発明の第１の実施の形態における補正動体画像生成部２７０による補正動体画像生成の一例を示す模式図である。

同図には、図６において示した動体画像４２０と、歪み補正量に基づいて動体画像４２０を補正した画像（補正動体画像４３０）とが示されている。また、補正動体画像４３０には、動体画像４２０の補正に伴って補正された動体の画像の領域（動体領域４３２）が示されている。

補正動体画像４３０は、動体歪み補正量算出部２５０から供給される歪み補正量に基づいて、動体画像４２０の動体領域４３２のフォーカルプレーン現象を補正したものである。この補正動体画像４３０は、水平ラインごとに算出された歪み補正量に基づいて、動体画像４２０の画像を水平ラインごとにずらすことにより生成される。すなわち、補正動体画像４３０は、フォーカルプレーン現象を発生させないで撮像した場合における動体のみの画像と同様のものである。

このように、動体歪み補正量算出部２５０によって、フォーカルプレーン現象による動体の画像の歪みが補正される。

［静止体画像生成部による静止体画像生成例］
図１１乃至図１３は、本発明の第１の実施の形態における静止体画像生成部２８０による静止体画像生成の一例を示す模式図である。ここでは、静止体画像生成部２８０による静止体画像生成を３つの過程（静止体画像抽出情報の生成、静止体画像抽出および静止体画像合成）に分けて説明する。

図１１は、本発明の第１の実施の形態における静止体画像生成部２８０による静止体画像を生成する際に用いられる静止体画像抽出情報の生成の一例を示す模式図である。同図には、図６において示した動体画像４２０と、静止体画像を生成する際に用いられる静止体画像抽出情報とが示されている。なお、同図では、静止体画像抽出情報については、これらに対応する２つの画像（第１静止体画像抽出情報５１０および第２静止体画像抽出情報５２０）を模式的に示して説明する。

第１静止体画像抽出情報５１０は、補正対象フレームにおける動体領域に対応する静止体画像を抽出するための情報である。この第１静止体画像抽出情報５１０は、静止体画像生成部２８０によって、動体画像４２０に基づいて生成される。例えば、第１静止体画像抽出情報５１０は、動体画像４２０における動体領域４２２の画素の値を「１」とし、動体領域４２２以外の領域の画素の値を「０」とする（すなわち、動体領域４２２以外の領域の画素の値は動体画像４２０のまま）ことにより生成される。なお、第１静止体画像抽出情報５１０には、動体領域４２２の画素の値を「１」とした領域が、白色の領域の動体領域５１２として示されている。

第２静止体画像抽出情報５２０は、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出するための情報である。この第２静止体画像抽出情報５２０は、静止体画像生成部２８０によって、動体画像４２０に基づいて生成される。例えば、第２静止体画像抽出情報５２０は、動体画像４２０における動体領域４２２の画素の値を「０」とし、動体領域４２２以外の領域の画素の値を「１」とすることにより生成される。なお、第２静止体画像抽出情報５２０には、動体領域４２２の画素の値を「０」とした領域が、網目の領域の動体領域５１２として示されている

図１２は、本発明の第１の実施の形態における静止体画像生成部２８０による静止体画像抽出情報を用いた静止体画像抽出の一例を示す模式図である。

図１２（ａ）には、図３において示した画像（ｎフレーム）３１０と、図１１において示した第１静止体画像抽出情報５１０と、画像（ｎ＋１フレーム）３２０における動体領域の静止体画像を補完するための画像（静止体画像補完画像５３０）とが示されている。

静止体画像補完画像５３０は、補正対象フレームにおける動体領域に対応する静止体画像を抽出した画像である。この静止体画像補完画像５３０は、補正対象フレームにおける静止体画像を補完するために用いられる。静止体画像補完画像５３０は、例えば、静止体画像生成部２８０によって、画像（ｎフレーム）３１０と第１静止体画像抽出情報５１０とにおけるそれぞれの画素の値を乗算することにより生成される。なお、静止体画像補完画像５３０には、画像（ｎフレーム）３１０から抽出された領域が、動体領域５３２として示されている。

ここで、静止体画像補完画像５３０の生成の一例について説明する。第１静止体画像抽出情報５１０の動体領域５１２の画素の値は「１」であり、動体領域５１２以外の領域の画素の値は「０」である。このため、画像（ｎフレーム）３１０と第１静止体画像抽出情報５１０とにおけるそれぞれの画素の値の乗算により、画像（ｎフレーム）３１０から、第１静止体画像抽出情報５１０の動体領域５１２に対応する画素の値が抽出される。すなわち、静止体画像生成部２８０は、画像（ｎフレーム）３１０と第１静止体画像抽出情報５１０とに基づいて、動体領域５３２における画素のみが画像情報を有する画像（静止体画像補完画像５３０）を生成する。

図１２（ｂ）には、図３において示した画像（ｎ＋１フレーム）３２０と、図１１において示した第２静止体画像抽出情報５２０と、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出した画像（補正対象フレーム静止体画像５４０）とが示されている。

補正対象フレーム静止体画像５４０は、補正対象フレームにおける動体領域以外の領域の静止体画像を抽出した画像である。この補正対象フレーム静止体画像５４０は、例えば、静止体画像生成部２８０によって、画像（ｎ＋１フレーム）３２０と第２静止体画像抽出情報５２０とにおけるそれぞれの画素の値を乗算することにより生成される。なお、補正対象フレーム静止体画像５４０には、画像（ｎ＋１フレーム）３２０の動体領域３２２の画素の画像情報を「０」とした領域が、網目の領域の動体領域５４２として示されている。また、補正対象フレーム静止体画像５４０には、補正対象フレーム静止体画像５４０における動体領域５４２以外の領域は、画像（ｎ＋１フレーム）３２０と同様に示されている。すなわち、補正対象フレーム静止体画像５４０には、画像（ｎ＋１フレーム）３２０の静止体領域３２１と同様に、静止体領域５４１に街路樹が示されている。なお、補正対象フレーム静止体画像５４０の生成については、用いた画像が異なるものの、静止体画像補完画像５３０の生成方法と同様のものであるため、ここでの説明を省略する。

図１３は、本発明の第１の実施の形態における静止体画像生成部２８０による抽出した静止体画像を用いた静止体画像合成の一例を示す模式図である。

同図には、図１２において示した静止体画像補完画像５３０および補正対象フレーム静止体画像５４０と、補正対象フレームの静止体画像（静止体画像５５０）とが示されている。

静止体画像５５０は、静止体画像補完画像５３０および補正対象フレーム静止体画像５４０に基づいて、補正対象フレームにおける静止体画像を合成した画像である。この静止体画像５５０は、例えば、静止体画像補完画像５３０と補正対象フレーム静止体画像５４０とのそれぞれの画素の画像情報を加算することにより生成される。すなわち、動体画像が存在しない場合における画像が静止体画像生成部２８０により合成される。

このように、静止体画像生成部２８０によって、補正対象フレームの動体領域の画像が静止体画像で補完された静止体画像が合成される。

［画像合成部による補正画像合成例］
図１４は、本発明の第１の実施の形態における画像合成部２９０による補正画像の合成の一例を示す模式図である。

同図には、図１３において示した静止体画像５５０と、図１０において示した補正動体画像４３０と、静止体画像５５０および補正動体画像４３０に基づいて画像合成部２９０により生成される画像（補正画像（ｎ＋１フレーム）５６０）とが示されている。

補正画像（ｎ＋１フレーム）５６０は、補正対象フレーム（画像（ｎ＋１フレーム）３２０）におけるフォーカルプレーン現象を補正した画像である。この補正画像（ｎ＋１フレーム）５６０は、補正対象フレームの静止体画像である静止体画像５５０に、フォーカルプレーン現象を補正した動体画像である補正動体画像４３０を重ね合わせることにより生成される。

このように、画像合成部２９０によって、補正対象フレームにおけるフォーカルプレーン現象が補正された画像が、静止体画像および補正動体画像に基づいて生成される。

［撮像装置の動作例］
次に、本発明の第１の実施の形態における撮像装置１００の動作について図面を参照して説明する。

図１５は、本発明の第１の実施の形態における撮像装置１００による動画像を記録する際の記録処理手順例を示すフローチャートである。この同図では、動画像を撮像装置１００に記録させるための操作をユーザが実行してから、その動画像の記録を終了させるまでの処理手順例を示す。

まず、動画像の記録を開始させるための操作を受け付けたか否かが、制御部１２０により判断される（ステップＳ９０１）。そして、動画像の記録を開始させるための操作を受け付けていないと判断された場合には（ステップＳ９０１）、ステップＳ９０１に戻り、動画像の記録を開始させるための操作を受け付けるまで待機する。

一方、動画像の記録を開始させるための操作を受け付けたと判断された場合には（ステップＳ９０１）、画像（フレーム）が撮像部１３０により生成される（ステップＳ９０２）。なお、この生成された画像は、フレームバッファ２１０により保持される。

続いて、フレームバッファ２１０により保持された画像を用いて、補正対象の画像における動体を検出する動体検出処理が動体検出部２２０により行われる（ステップＳ９０３）。次に、その動体検出処理結果に基づいて、動体が検出されたか否かが、動体検出部２２０により判断される（ステップＳ９０４）。そして、動体が検出されなかったと判断された場合には（ステップＳ９０４）、ステップＳ９１３に進む。

一方、動体が検出されたと判断された場合には（ステップＳ９０４）、検出された動体をモデル化するモデル化処理がモデル化部２２５により行われる（ステップS９０５）。続いて、動体をモデル化した画像を用いて、動体の移動量を算出する動体移動量算出処理が動体移動量算出部２３０により行われる（ステップＳ９０６）

次に、算出した動体移動量を用いて、フォーカルプレーン現象による動体の歪みを補正するための補正量を算出する処理（動体歪み補正量算出処理）が動体歪み補正量算出部２５０により行われる（ステップＳ９０７）。続いて、補正対象の画像における動体を抽出して動体画像を生成する動体画像生成処理が動体画像生成部２６０により行われる（ステップＳ９０８）。次に、動体画像および歪み補正量を用いて、動体の歪みが補正された補正動体画像を生成する補正動体画像生成処理が補正動体画像生成部２７０により行われる（ステップＳ９０９）。なお、ステップＳ９０３，９０４、９０５および９０８は、特許請求の範囲に記載の動体検出手順の一例である。また、ステップＳ９０９は、特許請求の範囲に記載の動体補正画像生成手順の一例である。

続いて、フレームバッファ２１０により保持された画像を用いて、補正対象の画像における静止体を抽出して静止体画像を生成する静止体画像生成処理が静止体画像生成部２８０により行われる（ステップＳ９１１）。そして、動体画像および静止体画像を用いて、補正対象の画像におけるフォーカルプレーン現象を補正した合成画像（補正画像）を生成する合成画像生成処理が、画像合成部２９０により行われる（ステップＳ９１２）。なお、ステップＳ９１１は、特許請求の範囲に記載の動体補正画像生成手順の一例である。また、ステップＳ９１２は、特許請求の範囲に記載の補正画像生成手順の一例である。

次に、その合成画像を記録部１５０に記録する記録処理が記録制御部１４０により行われる（ステップＳ９１３）。続いて、動画像の記録を終了させるための操作を受け付けたか否か制御部１２０により判断される（ステップＳ９１４）。そして、動画像の記録を終了させるための操作を受け付けていない場合には（ステップＳ９１４）、ステップＳ９０２に戻り、動画像の記録処理が継続される。

一方、動画像の記録を終了させるための操作を受け付けたと判断された場合には（ステップＳ９１４）、動画像の記録処理例手順は終了する。

このように、本発明の第１の実施の形態によれば、時系列的に近接した画像を用いて、画像を動体画像と静止体画像に分けて動体画像のゆがみを補正することにより、フォーカルプレーン現象による動体の画像の歪みを効率よく補正することができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、フォーカルプレーン現象を補正した画像（補正画像）により構成される動画像データを記録部１５０に記録する例について説明した。このフォーカルプレーン現象を補正した画像は、動体の画像における歪みが補正されている。このため、補正した画像を記録のためにだけに用いるのではなく、例えば、撮像時における撮像処理に用いることにより、その処理がより精度よく行なわれる。

そこで、本発明の第２の実施の形態では、補正画像を用いてオートフォーカス処理を行う例について、図１６乃至図１８を参照して説明する。

［撮像装置の機能構成例］
図１６は、本発明の第２の実施の形態における撮像装置６００の機能構成例を示すブロック図である。

撮像装置６００は、図１において示した撮像装置１００と同様に、操作受付部１１０と、制御部１２０と、撮像部１３０と、画像処理部２００と、記録制御部１４０と、記録部１５０と、表示部１６０と、鏡胴１７０とを備える。さらに、撮像装置６００は、合焦判定部６１０と、レンズ駆動量生成部６２０と、レンズ駆動部６３０とを備える。なお、合焦判定部６１０、レンズ駆動量生成部６２０およびレンズ駆動部６３０以外の各構成は、図１と同様のものであるため、ここでの説明を省略する。

合焦判定部６１０は、フォーカスが合焦しているか否か判定するものである。この合焦判定部６１０は、画像処理部２００が生成した補正画像データに基づいて、フォーカスが合焦しているか否か判定する。この合焦判定部６１０は、例えば、コントラスト検出方式により合焦を判定する。合焦判定部６１０は、フォーカスが合焦している場合には、合焦していることを示す情報を合焦判定結果情報としてレンズ駆動量生成部６２０に供給する。また、この合焦判定部６１０は、フォーカスが合焦していない場合には、フォーカスのズレの量を示す情報を算出し、その算出したフォーカスのズレの量を合焦判定結果情報としてレンズ駆動量生成部６２０に供給する。

レンズ駆動量生成部６２０は、合焦判定部６１０から供給された合焦判定結果情報に基づいて、フォーカスレンズ１７２の駆動量を示す駆動量信号を生成するものである。このレンズ駆動量生成部６２０は、フォーカスが合焦している場合には、フォーカスレンズ１７２の現在の位置を維持させる信号を生成する。また、レンズ駆動量生成部６２０は、フォーカスがズレている場合には、フォーカスのズレの量を示す合焦判定結果情報に基づいて、フォーカスレンズ１７２の駆動量（移動距離）を算出する。そして、レンズ駆動量生成部６２０は、その算出した駆動量だけフォーカスレンズ１７２を移動させるための信号を生成する。このレンズ駆動量生成部６２０は、生成した信号を、駆動量信号としてレンズ駆動部６３０に供給する。

レンズ駆動部６３０は、レンズ駆動量生成部６２０から供給される駆動量信号に基づいて、フォーカスレンズ１７２を移動させるものである。

このように、合焦判定部６１０において補正画像を用いて合焦判定が行われることにより、フォーカルプレーン現象が補正された補正画像を用いたフォーカスの自動制御処理（オートフォーカス処理）を行うことができる。

［合焦判定部による合焦判定例］
図１７は、本発明の第２の実施の形態における合焦判定部６１０による合焦判定の一例を示す模式図である。

図１７（ａ）には、フォーカルプレーン現象を補正していない画像を用いた合焦判定の一例が示されている。同図（ａ）の画像（画像６５０）は、フォーカルプレーン現象を補正していない画像を示す。また、画像６５０には、フォーカルプレーン現象により歪んだ自動車を示す領域（動体領域６５１）と、フォーカスを合焦させたい領域（オートフォーカスの判定領域）を示す矩形（矩形領域６５２）とが示されている。

矩形領域６５２において合焦判定を行う場合、合焦判定部６１０は、矩形領域６５２に示されている画像に基づいて合焦判定を行う。しかしながら、矩形領域６５２における画像は、動体（自動車）の画像であるため、フォーカルプレーン現象により歪んでいる。このため、実際とは異なる画像に基づいて合焦判定を行うため、合焦判定および算出するフォーカスのズレの量に誤差が生じるおそれがある。

図１７（ｂ）には、本発明の第２の実施の形態における合焦判定部６１０による補正画像を用いた合焦判定の一例が示されている。同図（ｂ）の画像（画像６６０）は、画像処理部２００により生成されるフォーカルプレーン現象が補正された画像を示す。また、画像６６０には、図１７（ａ）に示した動体領域６５１の画像が補正された領域（動体領域６６１）と、フォーカスを合焦させたい領域（オートフォーカスの判定領域）を示す矩形（矩形領域６６２）とが示されている。

矩形領域６６２において合焦判定を行う場合、合焦判定部は、矩形領域６６２に示されている画像に基づいて合焦判定を行う。この矩形領域６６２には、フォーカルプレーン現象が補正された自動車と、背景とが示されている。この矩形領域６６２における画像は実際の画像に近い画像であるため、合焦判定および算出するフォーカスのズレの量の誤差を減少させることができ、フォーカス制御の精度を向上させることができる。例えば、同図（ｂ）に示すように、高周波成分が多いような動体の端などにおいては、高周波成分が補正により回復することにより、フォーカスが合いやすくなる。

［撮像装置の動作例］
次に、本発明の第２の実施の形態における撮像装置６００の動作について図面を参照して説明する。

図１８は、本発明の第２の実施の形態における撮像装置６００による動画像を記録する際の記録処理手順例を示すフローチャートである。この処理手順は、図１５の変形例であり、オートフォーカス処理を補正画像を用いて行う点が異なる。また、この点以外については、図１５と同一であるため、図１５と共通する部分については、同一の符号を付してこれらの説明を省略する。

合成画像（補正画像）の記録処理が記録制御部１４０により行われた後に（ステップＳ９１３）、補正画像を用いてフォーカスを自動的に制御するオートフォーカス処理が行われ（ステップＳ９２１）、ステップＳ９１４に進む。なお、このオートフォーカス処理は、合焦判定部６１０、レンズ駆動量生成部６２０およびレンズ駆動部６３０により行われる。

このように、本発明の第２の実施の形態によれば、フォーカルプレーン現象が補正された画像を用いて精度よくフォーカスの制御を行うことができる。

＜３．応用例＞
本発明の第１および第２の実施の形態では、動体が１つの場合を想定して説明した。しかしながら、本発明の第１および第２の実施の形態で示したフォーカルプレーン現象の補正は、複数の動体がある場合においても適用することができる。

そこで、動体が複数ある場合における補正画像の生成について、図１９乃至図２１を参照して説明する。

［動体検出例およびモデル化例］
図１９は、複数の動体がある場合における動体検出部２２０による動体検出例およびモデル化部２２５によるモデル化例を示す模式図である。

図１９（ａ）には、補正対象フレーム（画像（ｎ＋１フレーム）７２０）と、時間軸において補正対象フレームの１つ後のフレーム（画像（ｎ＋２フレーム）７３０）とが示されている。

画像（ｎ＋１フレーム）７２０は、補正対象フレームの画像であり、図３において示した画像（ｎ＋１フレーム）３２０に相当する。この画像（ｎ＋１フレーム）７２０には、自動車が示されている領域（動体領域７２２）と、飛行機が示されている領域（動体領域７２３）とが動体の領域として示されている。また、街路樹が示されている領域（静止体領域７２１）が示されている。

画像（ｎ＋２フレーム）７３０は、補正対象フレームの１つ後の後フレームの画像であり、図３において示した画像（ｎ＋２フレーム）３３０に相当する。この画像（ｎ＋２フレーム）７３０は、他のフレームと同様に、自動車が示されている領域（動体領域７３２）と、飛行機が示されている領域（動体領域７３３）とが動体の領域として示されている。また、街路樹が示されている領域（静止体領域７３１）が示されている。

図１９（ｂ）には、複数の動体がある場合における動体検出部２２０による動体検出例を示す模式図が示されている。

同図（ｂ）には、動体検出部２２０により検出された動体を示す画像（動体情報画像７４０）が示されている。

動体情報画像７４０は、画像（ｎ＋１フレーム）７２０および画像（ｎ＋２フレーム）７３０を用いて検出された動体の情報を示すイメージ図であり、図３において示した動体情報画像３５０に相当する図である。この動体情報画像７４０には、検出された動体の領域を示す情報（動体領域情報７４１乃至７４４）が白色の領域で示されている。また、動体情報画像７４０には、動体領域情報７４１および７４２を囲む領域７４５が示されている。さらに、動体情報画像７４０には、動体領域情報７４３および７４４を囲む領域７４６が示されている。

ここで、領域７４５および領域７４６について説明する。動体検出部２２０は、動体が複数（この場合においては動体領域情報が４つ以上）検出された場合には、面積が近いもの同士をグループ化する。すなわち、動体検出部２２０は、同図（ｂ）に示す例においては、動体領域情報７４１および７４２を１つのグループ（領域７４５）とし、動体領域情報７４３および７４４を別の１つのグループ（領域７４６）とする。そして、動体検出部２２０は、そのグループに関する情報とともに、動体情報画像７４０を、モデル化部２２５および動体画像生成部２６０に供給する。

図１９（ｃ）には、複数の動体がある場合におけるモデル化部２２５によるモデル化例を示す模式図が示されている。

同図（ｃ）には、モデル化部２２５によりモデル化されたモデル化画像７５０および７６０が示されている。

モデル化画像７５０は、領域７４５の動体をモデル化した画像である。また、モデル化画像７６０は、領域７４６の動体をモデル化した画像である。

このように、モデル化部２２５は、動体が複数ある場合には、動体検出部２２０が生成した動体のグループごとにモデル化を行う。

［動体画像生成例および補正動体画像生成例］
図２０は、複数の動体がある場合における動体画像生成部２６０による動体画像生成例および補正動体画像生成部２７０による補正動体画像生成例を示す模式図である。

図２０（ａ）は、複数の動体がある場合における動体画像生成部２６０による動体画像生成例を示す模式図を示す。

同図（ａ）には、動体画像生成部２６０により生成された動体画像８１０および８２０が示されている。動体画像８１０は、領域７４５における動体領域情報を用いて生成した動体画像である。また、動体画像８２０は、領域７４６における動体領域情報を用いて生成した動体画像である。

このように、動体画像生成部２６０は、動体が複数ある場合には、動体検出部２２０が生成した動体のグループごとに動体画像の生成を行う。

図２０（ｂ）は、複数の動体がある場合における補正動体画像生成部２７０による補正動体画像生成例を示す模式図を示す。

同図（ｂ）には、補正動体画像生成部２７０により生成された補正動体画像８３０および８４０が示されている。補正動体画像８３０は、図２０（ａ）における動体画像８２０のフォーカルプレーン現象による歪みを補正した画像である。この補正動体画像８３０は、図１９（ｂ）において示したモデル化画像７５０のモデル化画像領域の動体移動量に基づいて算出された歪み補正量に基づいて補正される。

また、補正動体画像８４０は、図２０（ａ）における動体画像８１０のフォーカルプレーン現象による歪みを補正した画像である。この補正動体画像８４０は、図１９（ｂ）において示したモデル化画像７６０のモデル化画像領域の動体移動量に基づいて算出された歪み補正量に基づいて補正される。

このように、補正動体画像生成部２７０は、動体が複数ある場合には、動体ごとに歪みを補正する。

［画像合成部による補正画像合成例］
図２１は、複数の動体がある場合における画像合成部２９０による補正画像の合成の一例を示す模式図である。

同図には、図１３において示した静止体画像５５０と、図２０（ｃ）において示した補正動体画像８３０および８４０と、これらの画像に基づいて生成される合成画像（補正画像（ｎ＋１フレーム）８５０）とが示されている。

同図に示すように、補正画像（ｎ＋１フレーム）８５０は、動体が複数ある場合には、動体ごとに歪みが補正された画像（補正動体画像８３０および８４０）を用いて補正画像を生成する。

このように、画像内に複数の動体がある場合においても、時系列的に近接した画像を用いて、画像を動体画像と静止体画像に分けて動体画像のゆがみを補正することにより、フォーカルプレーン現象による動体の画像の歪みを効率よく補正することができる。

このように、本発明の実施の形態によれば、画像を動体画像と静止体画像に分けて動体画像の歪みを補正することにより、露光のタイミングの差に起因する像の歪みを効率よく補正することができる。すなわち、本発明の実施の形態によれば、動体を含む画像についてその動体の歪みを適切に補正することができる。これにより、動体の歪みのみを補正し、補正する必要の無い静止体には歪み補正をしないようにすることができる。また、この歪み補正は、比較的に簡単な演算で実行することができる。

なお、本発明の実施の形態では、動画像データを記録することができるデジタルビデオカメラの例について説明したが、これに限定されるものではない。例えば、静止画の高速連続撮像においても、補正対象の画像と、隣接または近接する他の画像とを用いることにより、同様に補正することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 撮像装置
１１０ 操作受付部
１２０ 制御部
１３０ 撮像部
１４０ 記録制御部
１５０ 記録部
１６０ 表示部
１７０ 鏡胴
１７１ ズームレンズ
１７２ フォーカスレンズ
２００ 画像処理部
２１０ フレームバッファ
２２０ 動体検出部
２２５ モデル化部
２３０ 動体移動量算出部
２４０ 露光タイミング差情報保持部
２５０ 動体歪み補正量算出部
２６０ 動体画像生成部
２７０ 補正動体画像生成部
２８０ 静止体画像生成部
２９０ 画像合成部
６００ 撮像装置
６１０ 合焦判定部
６２０ レンズ駆動量生成部
６３０ レンズ駆動部

Claims (9)

1. 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出部と、
   前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成部と、
   前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成部と、
   前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成部と
   を具備する画像処理装置。
2. 前記動体補正画像生成部は、フォーカルプレーン現象による歪みを補正して前記動体補正画像を生成する請求項１記載の画像処理装置。
3. 前記動体検出部は、前記補正対象画像に複数の動体が含まれている場合には前記複数の動体ごとに前記動体を検出し、
   前記動体補正画像生成部は、前記複数の動体ごとに前記動体補正画像を生成し、
   前記補正画像生成部は、前記複数の動体ごとの動体補正画像と前記生成された静止体画像とに基づいて前記補正画像を生成する
   請求項１記載の画像処理装置。
4. 被写体を撮像して前記補正対象画像および前記他の画像を生成する撮像部と、
   前記補正画像を用いて合焦判定を行う合焦判定部と、
   前記合焦判定の結果に基づいてフォーカス制御を行う制御部と
   をさらに具備する請求項１記載の画像処理装置。
5. 前記動体検出部は、前記動体画像をモデル化して当該モデル化した画像に基づいて前記動体の移動量を算出する請求項１記載の画像処理装置。
6. 前記動体検出部は、前記補正対象画像と当該補正対象画像に時間軸において連続する前記他の画像とに基づいて前記補正対象画像に含まれる動体を検出する請求項１記載の画像処理装置。
7. 前記補正画像生成部は、前記静止体画像における前記動体画像に対応する領域に前記動体補正画像を上書き合成することにより前記補正画像を生成する請求項１記載の画像処理装置。
8. 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出手順と、
   前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成手順と、
   前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成手順と、
   前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成手順と
   を具備する画像処理方法。
9. 補正対象画像と、当該補正対象画像に時間軸において隣接または近接する他の画像とに基づいて、前記補正対象画像に含まれる動体を検出する動体検出手順と、
   前記補正対象画像に含まれる前記検出された動体の移動量と、撮像素子における画素回路の露光タイミングの差に関する情報とに基づいて、前記補正対象画像に含まれる前記検出された動体に対応する領域の画像である動体画像の歪みを補正して動体補正画像を生成する動体補正画像生成手順と、
   前記検出された動体と前記補正対象画像と前記他の画像とに基づいて、前記補正対象画像における前記動体画像を前記他の画像における前記動体画像に対応する領域の画像に置換して静止体画像を生成する静止体画像生成手順と、
   前記生成された動体補正画像および前記生成された静止体画像を合成して補正画像を生成する補正画像生成手順と
   をコンピュータに実行させるプログラム。