JP2011135409A - 画像処理装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることができる。
【解決手段】原フレーム記憶部１２１は、被写動体に対する連続撮影によって得られる複数の原フレーム画像の画像データを記憶する。明るさ判定部１０４により撮影環境の明るさが一定未満と判定された場合、被写動体抽出部１０６は、暗用被写動体検出部１０９の検出結果に基づいて、複数の原フレーム画像の各々から、被写動体を抽出する。また、暗用背景フレーム生成部１１０は、複数の原フレーム画像の各々を加算平均して得られる加算平均合成画像を、背景フレーム画像として生成する。画像合成部１０８は、当該背景フレーム画像に対して、複数の原フレーム画像毎に抽出された被写動体の各々を重ね合わせることによって、動体連写合成画像を生成する。
【選択図】図５

Description

本発明は、画像処理装置及び方法、並びにプログラムに関し、特に、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることを可能にする技術に関する。

従来より、移動する被写体（以下、「被写動体」と呼ぶ）を連続して撮影することができるデジタルカメラが存在する。このようなデジタルカメラの連続撮像により、その画角の範囲内で、被写動体の配置位置が移動方向に徐々に変化していく複数の画像が得られる。なお、このようにしてデジタルカメラにより撮影された画像であって、画角の範囲内の１枚の画像を、以下、「フレーム画像」と呼ぶ。

近年、このようなデジタルカメラが実行できる処理として、連続撮影により得られた複数のフレーム画像内の被写動体を、各々の配置位置を保持したまま合成する処理が知られている（例えば特許文献１，２参照）。なお、このような処理を、以下、「動体連写合成処理」と呼び、動体連写合成処理により得られる画像を、以下、「動体連写合成画像」と呼ぶ。

動体連写合成処理に用いるフレーム画像は、被写動体を含むため、連続撮影時のシャッタ速度は高速な方が好適である。低速のシャッタ速度の場合には、モーションブラーと呼ばれる現象、即ち被写動体が引き伸ばされて写る現象の影響によって、被写動体をくっきりと撮影することができないからである。また、連続撮影時の各撮影の時間間隔もできるだけ高速なＦＰＳで撮影した方が被写動体の動きの速度に影響されなくなるからである。

特開平０９−１０２９１０号公報 特開平０８−２２１５７７号公報

しかしながら、このように高速なシャッタ速度で連続撮影された複数のフレーム画像を用いて、動体連写合成処理を実行した場合、撮影環境の明るさが一定未満のとき、即ち撮影環境が暗いときに得られる動体連写合成画像は、ノイズを多く含む品質が劣化した画像となる。

そこで、本発明は、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることを目的とする。

本発明の第１の観点によると、
移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データを記憶する記憶手段と、
前記記憶手段に記憶された前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出手段と、
前記被写動体に対する前記連続撮影のときの撮影環境の明るさを判定する判定手段と、
前記判定手段により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成手段と、
前記生成手段により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出手段により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
を備える画像処理装置を提供する。

本発明の第２の観点によると、
前記生成手段は、さらに、
前記判定手段により判定された前記明るさに応じて、生成した前記背景画像の明るさを調整する、
画像処理装置を提供する。

本発明の第３の観点によると、
前記生成手段は、前記複数の原画像のうち背景領域の画像データの各々を加算平均して得られる画像データを、前記背景画像の画像データとして生成する、
画像処理装置を提供する。

本発明の第４の観点によると、
前記生成手段は、さらに、
前記判定手段により前記明るさが一定以上であると判定された場合、前記複数の原画像のうちの所定の１つの画像データを、前記背景画像の画像データとして生成する、
画像処理装置を提供する。

本発明の第５の観点によると、
前記生成手段は、複数の前記背景画像の画像データを生成し、
前記生成手段により生成された前記画像データにより表現される前記複数の背景画像を表示する表示手段と、
前記表示手段に表示された前記複数の背景画像のうちの１つを選択する選択手段と、
をさらに備え、
前記合成手段は、前記選択手段により選択された前記背景画像の画像データを用いて、前記動体連写合成画像の画像データを生成する
画像処理装置を提供する。

本発明の第６の観点によると、
自動露出の機能を用いて、前記複数の原画像を撮像する撮像手段をさらに備え、
前記判定手段は、
前記撮像手段により前記複数の原画像が撮像されたときの前記自動露出の値を用いて、前記明るさを判定する、
画像処理装置を提供する。

本発明の第７の観点によると、
前記判定手段は、
前記記憶手段に記憶された前記複数の原画像の画像データの少なくとも１つを用いて、前記明るさを判定する、
画像処理装置を提供する。

本発明の第８の観点によると、
画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなうための画像処理方法において、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出ステップと、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定ステップと、
前記判定ステップの処理により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成ステップと、
前記生成ステップの処理により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出ステップの処理により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
を含む画像処理方法を提供する。

本発明の第９の観点によると、
移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなう機能を有する画像処理装置を制御するコンピュータに、
前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出機能と、
前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定機能と、
前記判定機能の実現により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成機能と、
前記生成機能の実現により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出機能の実現により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
を実現させるためのプログラムを提供する。

本発明によれば、撮影環境の明るさによらず、良好な品質の動体連写合成画像を得ることができる。

本発明の画像処理装置の一実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。 図１のデジタルカメラの撮影環境の一例を示す図である。 図２の撮影環境の下で図１のデジタルカメラの連続撮影によって得られた複数のフレーム画像の一例を示す図である。 図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。 図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。 撮影環境の明るさが一定以上であると判定された場合に図５のデータ処理部により生成される動体連写合成画像の模式図である。 撮影環境の明るさが一定未満であると判定された場合に図５のデータ処理部により生成される動体連写合成画像の模式図である。 図５のデータ処理部が実行する動体連写合成処理の流れの一例を示すフローチャートである。 図８の動体連写合成処理のうち明用動体連写合成処理の流れの詳細例を示すフローチャートである。 図８の動体連写合成処理のうち暗用動体連写合成処理の流れの詳細例を示すフローチャートである。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。

デジタルカメラ１は、撮像部１１と、データ処理部１２と、ユーザインタフェース部１３と、を備える。

撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。

光学レンズ部２１は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。

イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１２に供給される。

データ処理部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、表示制御部３５と、画像処理部３６と、を備えている。

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

本実施の形態では、後述する図５の位置ズレ補正部１０１乃至暗用背景フレーム生成部１１０の各機能を実行するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、位置ズレ補正部１０１乃至暗用背景フレーム生成部１１０の各機能を実現することができる。

メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データを一時記憶する。また、メモリ３４は、各種画像処理に必要な画像データ、各種フラグの値、閾値なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しをおこなうための表示メモリ領域も含まれている。

表示制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１３の表示部４１に表示させる制御を実行する。例えば、表示制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４１に供給することにより、表示画像を表示部４１に表示させる。なお、表示制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１３の通信部４３によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。

画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図５の位置ズレ補正部１０１乃至暗用背景フレーム生成部１１０が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図５の位置ズレ補正部１０１乃至暗用背景フレーム生成部１１０は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。

ユーザインタフェース部１３は、液晶ディスプレイなどで構成される表示部４１と、ユーザの指示操作を受け付ける操作部４２と、外部機器との間での通信を制御する通信部４３と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４４と、を備えている。

このような構成を有するデジタルカメラ１は、動体連写合成処理を実行することができる。そこで、以下、図２乃至図１０を参照して、動体連写合成処理について説明する。

図２は、デジタルカメラ１の撮影環境の一例を示す模式図である。

図３は、図２の撮影環境の下でデジタルカメラ１の連続撮影によって得られた複数のフレーム画像の一例を示している。

図２に示すように、実世界の定位置に固定されたデジタルカメラ１は、実世界の空間のうち画角６１に含まれる背景６２及び被写動体６３を連続して撮影することができる。この場合、固定状態のデジタルカメラ１の視点からすると、画角６１の範囲内で、背景６２は固定しており、被写動体６３のみが移動することになる。これにより、図３に示すように、背景６２の像７２が固定された状態で、被写動体６３の像７３のみが移動方向（図３中右方向）に徐々に移動していく様子を示す、複数のフレーム画像８１乃至８５が得られることになる。

なお、以下、実世界に存在するものと、フレーム画像内の対応する像とを個々に区別する必要が無い場合、実世界に存在するものの呼称に統一して表現する。即ち、以下、背景６２の像７２を、単に「背景７２」と呼び、被写動体６３の像７３を、単に「被写動体７３」と呼ぶ。

図４は、図３の複数のフレーム画像に対して動体連写合成処理が実行されたことによって得られた動体連写合成画像の一例を示している。

図４の動体連写合成画像９１において、被写動体７３Ａ乃至７３Ｅの各々は、図３の別々のフレーム画像８１乃至８５の各々に含まれる被写動体７３を示している。このように、背景７２が固定された状態で、被写動体７３のみが移動方向（図３や図４中右方向）に徐々に移動していく様子が、１枚の動体連写合成画像９１によって表わされる。

図５は、このような動体連写合成処理を実行するためのデータ処理部１２の機能的構成を示す機能ブロック図である。

データ処理部１２は、位置ズレ補正部１０１と、フレーム縮小部１０２と、切替部１０３と、明るさ判定部１０４と、明用被写動体検出部１０５と、被写動体抽出部１０６と、明用背景フレーム生成部１０７と、画像合成部１０８と、暗用被写動体検出部１０９と、暗用背景フレーム生成部１１０と、を備えている。

また、データ処理部１２のメモリ３４内には、原フレーム記憶部１２１と、背景フレーム記憶部１２２と、抽出被写動体記憶部１２３と、動体連写合成画像記憶部１２４と、が設けられている。

原フレーム記憶部１２１には、撮像部１１の連続撮影により得られた複数のフレーム画像の画像データ、例えば上述した図３のフレーム画像８１乃至８５の各々の画像データが記憶されている。なお、以下、原フレーム記憶部１２１に記憶されている画像データにより表現されるフレーム画像を、「原フレーム画像」と呼ぶ。

位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された画像データに対して、各原フレーム画像の位置ズレを補正する処理を実行する。このような位置ズレ補正部１０１の処理を、以下、「補正処理」と呼ぶ。

フレーム縮小部１０２は、位置ズレ補正部１０１から出力された各原フレーム画像の画像データに対して、画像サイズを縮小させる処理を実行する。このようなフレーム縮小部１０２の処理を、以下、「縮小処理」と呼ぶ。また、縮小処理後の原フレーム画像を、以下、「縮小原フレーム画像」と呼ぶ。本実施形態では、このような縮小原フレーム画像から被写動体が検出される。検出の処理速度が向上しつつ、十分な検出精度を得ることが可能だからである。

切替部１０３は、明るさ判定部１０４の判定結果に基づいて、入力データの出力先を切り替える。本実施形態では、切替部１０３には、フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データが第１の入力データとして入力され、位置ズレ補正部１０１から出力された各原フレーム画像の画像データが第２の入力データとして入力される。そして、明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合、第１の入力データの出力先は明用被写動体検出部１０５に切り替えられ、第２の入力データの出力先は明用背景フレーム生成部１０７に切り替えられる。これに対して、明るさ判定部１０４により撮影環境の明るさが一定未満であると判定された場合、第１の入力データの出力先は暗用被写動体検出部１０９に切り替えられ、第２の入力データの出力先は暗用背景フレーム生成部１１０に切り替えられる。

明るさ判定部１０４は、各原フレーム画像の撮影時の撮影環境の明るさを判定する。明るさの判定手法は、特に限定されないが、本実施形態では、撮影時のＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ、自動露出）の値に従って判定する手法が採用されている。

明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合、フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データが、切替部１０３を介して明用被写動体検出部１０５に供給される。

明用被写動体検出部１０５は、各縮小原フレーム画像の画像データを用いて、被写動体を含まずに背景のみを含む画像（以下、「疑似背景フレーム画像」と呼ぶ）の画像データを生成する。ここで、各縮小フレーム画像における被写動体の画角内の各々の配置位置はばらばらになっている。従って、各縮小フレーム画像の同一画素位置の各画素値のメディアンを取ることによって、被写動体を示す画素値を除外すること、即ち、被写動体を含まない画像を生成することが可能になる。そこで、本実施形態では、明用被写動体検出部１０５は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。

次に、明用被写動体検出部１０５は、各縮小フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、明用被写動体検出部１０５は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域（画素群）を被写動体の領域としてそれぞれ検出する。当該検出結果として、各縮小原フレーム画像における被写動体の相対的な存在位置（座標）が、被写動体抽出部１０６に供給される。

このようにして、被写動体抽出部１０６には、明用被写動体検出部１０５の検出結果が供給されると共に、位置ズレ補正部１０１から出力された各原フレーム画像の画像データも供給される。

被写動体抽出部１０６は、明用被写動体検出部１０５の検出結果に基づいて、各原フレーム画像の画像データの各々から被写動体の画像データを抽出し、抽出被写動体記憶部１２３に記憶させる。この場合、原フレーム画像における被写動体の相対的な存在位置、即ち、明用被写動体検出部１０５の検出結果も、抽出被写動体記憶部１２３に記憶される。

また、明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合には、位置ズレ補正部１０１から出力された各原フレーム画像の画像データが、切替部１０３を介して明用背景フレーム生成部１０７に供給される。

明用背景フレーム生成部１０７は、各原フレーム画像のうちの所定の１枚、例えば最初に撮影された原フレーム画像を、動体連写合成画像の生成の際の基礎となる背景を含む画像（以下、「背景フレーム画像」と呼ぶ）として、その背景フレーム画像の画像データを生成して、背景フレーム記憶部１２２に記憶させる。

画像合成部１０８は、明用背景フレーム生成部１０７により生成された背景フレーム画像の画像データを、背景フレーム記憶部１２２から読み出す。また、画像合成部１０８は、被写動体抽出部１０６により各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部１２３から読み出す。そして、画像合成部１０８は、これらの読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、画像合成部１０８から出力されて動体連写合成画像記憶部１２４に記憶される。

図６は、このように、明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合に生成される動体連写合成画像の模式図である。

上述したした通り、連続撮影により得られた原フレーム画像８１乃至８５のうちの所定の１枚、例えば図６の例では最初に撮影された原フレーム画像８１が、背景フレーム画像として採用される。従って、図６に示すように、残りの原フレーム画像８２乃至８５の各々から被写動体７３の画像データが抽出され、抽出元の原フレーム画像８２乃至８５の各々における存在位置を保持したまま、背景フレーム画像となった原フレーム画像８１の画像データに合成される。

ところで、動体連写合成画像を生成するための原フレーム画像は、その性質上、シャッタ速度優先ＡＥのモード、即ちシャッタ速度がある程度高速になるモードにて撮影された画像である場合が多い。上述したように、シャッタ速度がある程度高速でなければ、被写動体にモーションブラーが生じてしまい、動体連写合成画像になった際に品質が低下するからである。

このような場合、シャッタ速度が高速でも低感度で良好な撮影が出来る程度に、十分に明るい撮影環境であれば、図６に示すようにして動体連写合成画像が生成された場合であっても、良好な品質を確保することが可能になる。

これに対して、暗い撮影環境の場合などは、高速なシャッタ速度では十分な露光を得ることができないため、絞りや感度を高感度に調節して露光を得ることになる。しかしながら、このような場合には、高感度であるが故原フレーム画像にはノイズが多く含まれることになる。その結果、図６に示すようにして動体連写合成画像が生成されると、ノイズを多く含む原フレーム画像がそのまま背景フレーム画像として採用されるため、動体連写合成画像の品質を良好な状態で確保することが困難になる。

そこで、本実施形態では、暗い撮影環境の場合などでも動体連写合成画像の品質を良好な状態のまま確保すべく、暗用被写動体検出部１０９及び暗用背景フレーム生成部１１０が設けられているのである。

即ち、明るさ判定部１０４により撮影環境の明るさが一定未満であると判定された場合、フレーム縮小部１０２から出力された各縮小原フレーム画像の画像データは、切替部１０３を介して暗用被写動体検出部１０９に供給されると共に、位置ズレ補正部１０１から出力された各原フレーム画像の画像データは、切替部１０３を介して暗用背景フレーム生成部１１０に供給される。

暗用被写動体検出部１０９は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。ただし、暗用被写動体検出部１０９による疑似背景フレーム画像の画像データの生成手法は、明用被写動体検出部１０５による生成手法とは異なる。即ち、明用被写動体検出部１０５においては各画素値のメディアンを取ることによって、疑似背景フレーム画像の画像データが生成されたのに対して、暗用被写動体検出部１０９においては、次のようにして、疑似背景フレーム画像の画像データが生成される。即ち、暗用被写動体検出部１０９は、各縮小フレーム画像の同一画素位置の各画素値の加算平均値を演算することによって、各々の加算平均値を各々の画素値として有する画像（以下、「加算平均合成画像」と呼ぶ）の画像データを、疑似背景フレーム画像の画像データとして生成する。換言すると、暗用被写動体検出部１０９において疑似背景フレーム画像として採用される加算平均合成画像の画像データとは、複数の画像データを加算し、加算した画像データの数で除することによって合成された画像データをいう。

次に、暗用被写動体検出部１０９は、各縮小フレーム画像の各々の画像データと、疑似背景フレーム画像の画像データとの差分を画素毎に求める。そして、暗用被写動体検出部１０９は、各縮小原フレーム画像の各々について、差分量が一定以上大きくなっている領域（画素群）を被写動体の領域としてそれぞれ検出する。当該検出結果として、各縮小原フレーム画像における被写動体の相対的な存在位置（座標）が、被写動体抽出部１０６に供給される。

このようにして、被写動体抽出部１０６には、暗用被写動体検出部１０９の検出結果が供給されると共に、位置ズレ補正部１０１から出力された各原フレーム画像の画像データも供給される。

被写動体抽出部１０６は、暗用被写動体検出部１０９の検出結果に基づいて、各原フレーム画像の画像データの各々から被写動体の画像データを抽出し、抽出被写動体記憶部１２３に記憶させる。この場合、原フレーム画像における被写動体の相対的な存在位置、即ち、暗用被写動体検出部１０９の検出結果も、抽出被写動体記憶部１２３に記憶される。

ここで注意すべき点は、被写動体抽出部１０６の抽出対象は、暗用被写動体検出部１０９の検出結果を用いる場合と、明用被写動体検出部１０５の検出結果を用いる場合とでは異なる点である。

即ち、明用被写動体検出部１０５の検出結果が用いられる場合、明用背景フレーム生成部１０７により生成される背景フレーム画像の画像データは、各原フレーム画像のうちの所定の１枚の画像データがそのまま採用されたものである。従って、背景フレーム画像として採用される原フレーム画像については、被写動体の抽出は不要である。即ち、被写動体抽出部１０６は、背景フレーム画像を除いた原フレーム画像の画像データのみから、被写動体の画像データを抽出する。

これに対して、暗用被写動体検出部１０９の検出結果が用いられる場合、後述するように、各原フレーム画像に基づいて新たな背景フレーム画像の画像データが暗用背景フレーム生成部１１０により生成される。従って、被写動体抽出部１０６は、各原フレーム画像の全ての画像データから被写動体領域の画像データをそれぞれ抽出する。

このようにして、暗用被写動体検出部１０９の検出結果が用いられて、被写動体抽出部１０６によって、各原フレーム画像の全ての画像データから被写動体領域の画像データが抽出される場合、即ち、明るさ判定部１０４により撮影環境の明るさが一定未満であると判定された場合、上述したように、位置ズレ補正部１０１から出力された各原フレーム画像の画像データが、切替部１０３を介して暗用背景フレーム生成部１１０に供給される。

暗用背景フレーム生成部１１０は、各原フレーム画像の画像データを用いて、加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。即ち、暗用背景フレーム生成部１１０は、各フレーム画像の同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。背景フレーム画像の画像データは、背景フレーム記憶部１２２に記憶される。

画像合成部１０８は、暗用背景フレーム生成部１１０により生成された背景フレーム画像の画像データを、背景フレーム記憶部１２２から読み出す。また、画像合成部１０８は、被写動体抽出部１０６により各原フレーム画像からそれぞれ抽出された各被写動体の画像データを、抽出被写動体記憶部１２３から読み出す。そして、画像合成部１０８は、これらの読み出した画像データに対して、背景フレーム画像の上に、複数の被写動体の各々を、抽出元の原フレーム画像における存在位置を保持したまま合成させるような合成処理を実行する。これにより、動体連写合成画像の画像データが得られ、画像合成部１０８から出力されて動体連写合成画像記憶部１２４に記憶される。

図７は、このように、明るさ判定部１０４により撮影環境の明るさが一定未満であると判定された場合に生成される動体連写合成画像の模式図である。

上述した通り、連続撮影により得られた原フレーム画像８１乃至８５を用いて生成された加算平均合成画像が、例えば図７の例では加算平均合成画像１８１が、背景フレーム画像として採用される。従って、図７に示すように、全ての原フレーム画像８１乃至８５の各々から被写動体７３の画像データが抽出され、抽出元の原フレーム画像８１乃至８５の各々における存在位置を保持したまま、背景フレーム画像となった加算平均合成画像１８１の画像データに合成される。

このように、明るさ判定部１０４により撮影環境の明るさが一定未満であると判定された場合、例えば撮影環境が暗い状態でシャッタ速度優先ＡＥのモードを用いたために感度が高く設定された場合には、加算平均合成画像が背景フレーム画像として採用される。この加算平均合成画像とは、各原フレーム画像が加算されて平均化された画像であるため、各原フレーム画像に含まれているノイズも平均化されて、その影響が低減する。従って、暗い撮影環境の状態で、高感度での撮影が行われた場合であっても、ノイズが除去された背景フレーム画像が採用されることになり、その結果、良好な品質の動体連射合成画像を得ることが可能になる。

なお、明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合にも、加算平均合成画像を背景フレーム画像として採用することも当然可能である。しかしながら、この場合には、原フレーム画像をそのまま背景フレーム画像として用いる場合と比較して処理時間が長くなる。従って、処理時間の短縮を考慮するならば、明るさ判定部１０４により撮影環境の明るさが一定以上であると判定された場合には、原フレーム画像に乗っているノイズも少ないので、上述の通り、原フレーム画像をそのまま背景フレーム画像として用いた方が好適である。

なお、動体連写合成画像記憶部１２４に記憶された動体連写合成画像の画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納されると、表示制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、動体連写合成画像を表示部４１に表示させる制御を実行する。

次に、図８のフローチャートを参照して、このようなデジタルカメラ１が実行する動体連写合成処理について説明する。

図８は、動体連写合成処理の流れの一例を示すフローチャートである。

動体連写合成処理は、撮像部１１により連続撮影がされて、各原フレーム画像が図５の原フレーム記憶部１２１に記憶された後、例えばユーザが所定の操作を図１の操作部４２に対して行った場合、その操作を契機として開始される。即ち、次のような処理が実行される。

ステップＳ１において、デジタルカメラ１は、連続撮影がされたときの撮影環境の明るさが一定以上か否かを判定する。

図５の明るさ判定部１０４により明るさが一定以上であると判定された場合、上述したように、切替部１０３の出力先が、明用背景フレーム生成部１０７及び明用被写動体検出部１０５に切り替えられ、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、デジタルカメラ１は、図６を用いて上述したように、各原フレームの所定の１枚、例えば最初に撮影された１枚を背景フレーム画像の画像データとして、残りの原フレームの各々から抽出された被写動体の画像データを合成することによって、動体連写合成画像の画像データを生成する。このようなステップＳ２の処理を、以下、「明用動体連写合成処理」と呼ぶ。「明用動体連写合成処理」の詳細については、図９のフローチャートを参照して後述する。

これに対して、明るさ判定部１０４により明るさが一定未満であると判定された場合、上述したように、切替部１０３の出力先が、暗用背景フレーム生成部１１０及び暗用被写動体検出部１０９に切り替えられ、ステップＳ１においてＮＯであると判定されて、処理はステップＳ３に進む。

ステップＳ３において、デジタルカメラ１は、図７を用いて上述したように、各原フレームの加算平均合成画像を背景フレーム画像として、当該背景フレーの画像のデータに対して、各原フレームの全てから抽出された被写動体の画像データを合成することによって、動体連写合成画像の画像データを生成する。このようなステップＳ３の処理を、以下、「暗用動体連写合成処理」と呼ぶ。「暗用動体連写合成処理」の詳細については、図１０のフローチャートを参照して後述する。

ステップＳ２の明用動体連写合成処理又はステップＳ３の暗用動体連写合成処理によって動体連写合成画像が生成されると、動体連写合成処理が終了する。

次に、図９のフローチャートを参照して、図８の動体連写合成処理のうち、ステップＳ２の明用動体連写合成処理の詳細について説明する。

図９は、明用動体連写合成処理の流れの詳細例を示すフローチャートである。

明用動体連写合成処理は、ステップＳ１の処理で明るさが一定以上であると判定された場合に、ステップＳ２の処理として実行される。即ち、次のような処理が実行される。

ステップＳ２１において、位置ズレ補正部１０１は、原フレーム記憶部１２１に記憶された各原フレーム画像の画像データに対して、位置ズレ補正処理を実行する。本実施形態では、位置ズレ補正部１０１は、当該補正処理として、各原フレーム画像の各々から特徴点を抽出し、それらの特徴点が重なり合うように各原フレーム画像の射影変換する処理を実行する。

ステップＳ２２において、フレーム縮小部１０２は、ステップＳ２１の処理で位置ズレ補正処理が実行された各原フレーム画像の画像データに対して、画像サイズを縮小させる縮小処理を実行する。これにより、各原フレーム画像の各々に対応する縮小原フレーム画像が得られる。

このようなステップＳ２２の縮小処理により得られた各縮小原フレーム画像の画像データが、切替部１０３を介して明用被写動体検出部１０５に供給されると共に、ステップＳ２１の位置ズレ補正処理が実行された各原フレーム画像の画像データが、切替部１０３を介して明用背景フレーム生成部１０７に供給されると、処理はステップＳ２３に進む。

ステップＳ２３において、明用背景フレーム生成部１０７は、各原フレーム画像のうちの所定の１枚の原フレーム画像の画像データを、背景フレーム画像の画像データとして生成して、背景フレーム記憶部１２２に記憶させる。例えば、図３の原フレーム画像８１乃至８５に対して明用動体連写合成処理が実行される場合には、図６に示すように、最初に撮影された原フレーム画像８１が背景フレーム画像として採用され、その画像データが背景フレーム記憶部１２２に記憶される。

ステップＳ２４において、明用被写動体検出部１０５は、各縮小原フレーム画像の画像データを用いて、疑似背景フレーム画像の画像データを生成する。上述したように、本実施形態では、明用被写動体検出部１０５は、各縮小フレーム画像の同一画素位置の各画素値のメディアン値を演算し、各々のメディアン値を各々の画素値として有する画像の画像データを、疑似背景フレーム画像の画像データとして生成する。

ステップＳ２５において、明用被写動体検出部１０５は、全ての原フレーム画像−１枚について被写動体を抽出する処理が終了したか否かを判定する。

ここで、「全ての原フレーム画像−１枚」における「１枚」とは、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像、例えば上述の図６の例では原フレーム画像８１を指す。従って、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像を除いて、被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１を除いた原フレーム画像８２乃至８５の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップＳ２５においてＮＯであると判定されて、処理はステップＳ２６に進む。

ステップＳ２６において、明用被写動体検出部１０５は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体の領域を検出する（縮小原フレーム画像−疑似背景フレーム画像＝被写動体領域）。すると、被写動体抽出部１０６は、このような明用被写動体検出部１０５の検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出し、抽出被写動体記憶部１２３に記憶させる。この場合、注目画像における被写動体の相対的な存在位置、即ち、明用被写動体検出部１０５の検出結果も、抽出被写動体記憶部１２３に記憶される。

このようにしてステップＳ２６の処理が終了すると、処理はステップＳ２５に戻され、それ以降の処理が繰り返される。即ち、ステップＳ２５ＮＯ，Ｓ２６のループ処理が繰り返されることによって、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像を除いて、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図６の例では、最初に撮影された原フレーム画像８１が背景フレーム画像として採用されているので、それ以外の原フレーム画像８２乃至８５の画像データの各々から被写動体７３の画像データが抽出される。これにより、次のステップＳ２５においてＹＥＳであると判定されて、処理はステップ２７に進む。

なお、ステップＳ２３の処理と、ステップＳ２４乃至Ｓ２６の処理とは相互に独立した処理であるため、それらの処理の順番は、特に図９の例に限定されない。即ち、ステップＳ２３の処理と、ステップＳ２４乃至Ｓ２６の処理とはほぼ同時に並行して実行されてもよいし、ステップＳ２４乃至Ｓ２６の処理後に、ステップＳ２３の処理が実行されてもよい。何れにしても、背景フレーム画像の画像データが背景フレーム記憶部１２２に記憶され、各原フレーム画像の各々から抽出された被写動体の画像データが抽出被写動体記憶部１２３に記憶されると、処理はステップＳ２７に進む。

ステップＳ２７において、画像合成部１０８は、全ての原フレーム画像−１枚について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。

ここで、「全ての原フレーム画像−１枚」における「１枚」とは、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像、例えば上述の図６の例では原フレーム画像８１を指す。従って、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像を除いて、被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図６の例では原フレーム画像８１を除いた原フレーム画像８２乃至８５の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップＳ２７においてＮＯであると判定されて、処理はステップＳ２８に進む。

ステップＳ２８において、画像合成部１０８は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部１０８は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。

このようにしてステップＳ２８の処理が終了すると、処理はステップＳ２７に戻され、それ以降の処理が繰り返される。即ち、ステップＳ２７ＮＯ，Ｓ２８のループ処理が繰り返されることによって、ステップＳ２４の処理で背景フレーム画像として採用された原フレーム画像の画像データに対して、それ以外の各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図６の例では、最初に撮影された原フレーム画像８１が背景フレーム画像として採用されているので、当該原フレーム画像８１の画像データに対して、それ以外の原フレーム画像８２乃至８５の各々から抽出された被写動体７３の画像データが、元の配置位置と同一位置に順次合成されていく。その結果、動体連写合成画像、例えば図４の動体連写合成画像９１の画像データが生成されて動体連写合成画像記憶部１２４に記憶される。これにより、次のステップＳ２７においてＹＥＳであると判定されて、明用動体連写合成処理が終了となる。即ち、図８のステップＳ２の処理も終了し、動体連写合成処理全体も終了となる。

以上、図９のフローチャートを参照して、図８の動体連写合成処理のうち、ステップＳ２の明用動体連写合成処理の詳細について説明した。次に、図１０のフローチャートを参照して、図８の動体連写合成処理のうち、ステップＳ３の暗用動体連写合成処理の詳細について説明する。

図１０は、暗用動体連写合成処理の流れの詳細例を示すフローチャートである。

暗用動体連写合成処理は、ステップＳ１の処理で明るさが一定未満であると判定された場合に、ステップＳ３の処理として実行される。即ち、次のような処理が実行される。

なお、暗用動体連写合成処理のステップＳ４１，Ｓ４２の各処理は、明用動体連写合成処理のステップＳ２１，Ｓ２２の各処理と同様の処理であるため、これらの説明については省略する。

ステップＳ４２の縮小処理により得られた各縮小原フレーム画像の画像データが、切替部１０３を介して暗用被写動体検出部１０９に供給されると共に、ステップＳ４１の位置ズレ補正処理が実行された各原フレーム画像の画像データが、切替部１０３を介して暗用背景フレーム生成部１１０に供給されると、処理はステップＳ４３に進む。

ステップＳ４３において、暗用被写動体検出部１０９は、各縮小原フレーム画像の加算平均合成画像の画像データを、疑似背景フレーム画像の画像データとして生成する。即ち、上述したように、暗用被写動体検出部１０９は、各縮小フレーム画像の同一位置の各画素値の加算平均値を演算し、各々の加算平均値を各々の画素値として有する加算平均合成画像の画像データを、疑似背景フレーム画像の画像データとして生成する。

ステップＳ４４において、暗用被写動体検出部１０９は、全ての原フレーム画像について被写動体を抽出する処理が終了したか否かを判定する。

被写動体が未だ抽出されていない原フレーム画像が存在する場合、例えば上述の図７の例では原フレーム画像８１乃至８５の中に、被写動体が未だ抽出されていない原フレーム画像が存在する場合、ステップＳ４４においてＮＯであると判定されて、処理はステップＳ４５に進む。

ステップＳ４５において、暗用被写動体検出部１０９は、被写動体が未だ抽出されていない原フレーム画像を注目画像に設定し、注目画像に対応する縮小原フレーム画像の画像データと、疑似背景フレーム画像の画像データとの差分を取ることで、被写動体を検出する（縮小原フレーム画像−疑似背景フレーム画像＝被写動体領域）。すると、被写動体抽出部１０６は、このような暗用被写動体検出部１０９の検出結果に基づいて、注目画像の画像データから被写動体の画像データを抽出し、抽出被写動体記憶部１２３に記憶させる。この場合、注目画像における被写動体の相対的な存在位置、即ち、暗用被写動体検出部１０９の検出結果も、抽出被写動体記憶部１２３に記憶される。

このようにしてステップＳ４５の処理が終了すると、処理はステップＳ４４に戻され、それ以降の処理が繰り返される。即ち、ステップＳ４４ＮＯ，Ｓ４５のループ処理が繰り返されることによって、各原フレーム画像の画像データ各々から被写動体の画像データが抽出される。例えば図３の原フレーム画像８１乃至８５に対して明用動体連写合成処理が実行される場合には、図７に示すように、原フレーム画像８１乃至８５の画像データの各々から被写動体７３の画像データが抽出される。これにより、次のステップＳ４４においてＹＥＳであると判定されて、処理はステップ４６に進む。

ステップＳ４６において、暗用背景フレーム生成部１１０は、各原フレーム画像の加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成して、背景フレーム記憶部１２２に記憶させる。例えば、図７に示すように、原フレーム画像８１乃至８５の加算平均合成画像１８１が背景フレーム画像として採用され、その画像データが背景フレーム記憶部１２２に記憶される。

なお、ステップＳ４３乃至Ｓ４５の処理と、ステップＳ４６の処理とは相互に独立した処理であるため、それらの処理の順番は、特に図１０の例に限定されない。即ち、ステップＳ４３乃至Ｓ４５の処理と、ステップＳ４６の処理とはほぼ同時に並行して実行されてもよいし、ステップＳ４６の処理後に、ステップＳ４３乃至Ｓ４５の処理が実行されてもよい。何れにしても、背景フレーム画像の画像データが背景フレーム記憶部１２２に記憶され、各原フレーム画像の各々から抽出された被写動体の画像データが抽出被写動体記憶部１２３に記憶されると、処理はステップＳ４７に進む。

ステップＳ４７において、画像合成部１０８は、全ての原フレーム画像について被写動体を背景フレーム画像に合成する合成処理が終了したか否かを判定する。

被写動体が未だ合成されていない原フレーム画像が存在する場合、例えば上述の図７の例では原フレーム画像８１乃至８５の中に、被写動体が未だ合成されていない原フレーム画像が存在する場合、ステップＳ４７においてＮＯであると判定されて、処理はステップＳ４８に進む。

ステップＳ４８において、画像合成部１０８は、被写動体が未だ合成されていない原フレーム画像を注目画像に設定し、注目画像に対する合成処理を実行する。即ち、画像合成部１０８は、前回までに合成された被写動体を含む背景フレーム画像の画像データに対して、注目画像から抽出された被写動体の画像データを合成する。

このようにしてステップＳ４８の処理が終了すると、処理はステップＳ４７に戻され、それ以降の処理が繰り返される。即ち、ステップＳ４７ＮＯ，Ｓ４８のループ処理が繰り返されることによって、ステップＳ４６の処理で背景フレーム画像として採用された各原フレーム画像の加算平均合成画像の画像データに対して、各原フレーム画像の各々から抽出された被写動体の画像データが、元の配置位置と同一位置に順次合成されていく。例えば図７の例では、原フレーム画像８１乃至８５の加算平均合成画像１８１が背景フレーム画像として採用されているので、当該加算平均合成画像１８１の画像データに対して、各原フレーム画像８１乃至８５の各々から抽出された被写動体７３の画像データが、元の配置位置と同一位置に順次合成されていく。その結果、動体連写合成画像、例えば図４の動体連写合成画像９１の画像データが生成されて動体連写合成画像記憶部１２４に記憶される。これにより、次のステップＳ４７においてＹＥＳであると判定されて、暗用動体連写合成処理が終了となる。即ち、図８のステップＳ３の処理も終了し、動体連写合成処理全体も終了となる。

以上説明したように、本実施形態に係るデジタルカメラ１は、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原フレーム画像として、複数の原フレーム画像の画像データを記憶する。デジタルカメラ１は、記憶された複数の原フレーム画像の画像データの各々から、被写動体の画像データを抽出する。デジタルカメラ１は、被写動体に対する連続撮影のときの撮影環境の明るさを判定し、明るさが一定未満であると判定した場合、複数の原フレーム画像の画像データの各々を加算平均して得られる加算平均合成画像の画像データを、背景フレーム画像の画像データとして生成する。そして、デジタルカメラ１は、生成された背景フレーム画像の画像データに対して、複数の原フレーム画像毎に抽出された被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する。

このように、撮影環境の明るさが一定未満であると判定された場合、例えば撮影環境が暗い状態でシャッタ速度優先ＡＥのモードを用いたために感度が高く設定された場合には、加算平均合成画像が背景フレーム画像として採用される。この加算平均合成画像とは、各原フレーム画像が加算されて平均化された画像であるため、各原フレーム画像に含まれているノイズも平均化されて、その影響が低減する。従って、暗い撮影環境の状態で、高感度での撮影が行われた場合であっても、ノイズが除去された背景フレーム画像が採用されることになり、良好な品質を確保することが可能になる。

また、本実施形態に係るデジタルカメラ１は、撮影環境の明るさが一定以上であると判定した場合、複数の原フレーム画像のうちの所定の１枚の原フレーム画像の画像データをそのまま、背景フレーム画像の画像データとして採用することができる。これにより、処理時間の短縮を図ることが可能になる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

例えば、上述した実施形態では、撮影環境の明るさの判定手法は、複数の原フレーム画像が撮像されたときの自動露出（ＡＥ）の値を用いる手法が採用されていたが、特にこれに限定されない。例えば、記憶後の複数の原フレーム画像の画像データの少なくとも１つを用いる手法を採用してもよい。

例えば、上述した実施形態では、撮影環境の明るさの判定結果は、明用動体連写合成処理と暗用動体連写合成処理とのうちの何れを実行する用途で用いられていたが、特にこれに限定されない。例えば、当該判定結果は、撮影環境の明るさに応じて背景フレーム画像の明るさ（輝度）を調整する用途で用いてもよい。

例えば、上述した実施形態では、明用動体連写合成処理又は暗用動体連写合成処理が実行されると、自動的に生成された１枚の背景フレーム画像が用いられていたが、特にこれに限定されない。例えば、図５の明用背景フレーム生成部１０７又は暗用背景フレーム生成部１１０は、複数の背景フレーム画像の画像データを生成してもよい。この場合、表示制御部３５は、これらの複数の背景フレーム画像を表示部４１に表示させることによって、ユーザに、図１の操作部４２を操作させることによって、複数の背景フレーム画像のうちの所定の１つを選択させるようにしてもよい。これにより、図５の画像合成部１０８は、選択された背景フレーム画像の画像データを用いて、動体連写合成画像の画像データを生成することができる。

例えば、上述した実施形態では、明るさが一定未満の場合に生成される背景フレーム画像は、複数の原フレーム画像全体の加算平均合成画像が採用されたが、特にこれに限定されず、例えば複数の原フレーム画像のうち背景領域の加算平均合成画像を採用してもよい。

例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

１・・・デジタルカメラ、１１・・・撮像部、１２・・・データ処理部、１３・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・表示制御部、３６・・・画像処理部、１０１・・・位置ズレ補正部、１０２・・・フレーム縮小部、１０３・・・切替部、１０４・・・明るさ判定部、１０５・・・明用被写動体検出部、１０６・・・被写動体抽出部、１０７・・・明用背景フレーム生成部、１０８・・・画像合成部、１０９・・・暗用被写動体検出部、１１０・・・暗用背景フレーム生成部、１２１・・・原フレーム記憶部、１２２・・・背景フレーム記憶部、１２３・・・抽出被写動体記憶部、１２４・・・動体連写合成画像記憶部

Claims (9)

1. 移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データを記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出手段と、
   前記被写動体に対する前記連続撮影のときの撮影環境の明るさを判定する判定手段と、
   前記判定手段により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成手段と、
   前記生成手段により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出手段により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成手段と、
   を備える画像処理装置。
2. 前記生成手段は、さらに、
   前記判定手段により判定された前記明るさに応じて、生成した前記背景画像の明るさを調整する、
   請求項１に記載の画像処理装置。
3. 前記生成手段は、前記複数の原画像のうち背景領域の画像データの各々を加算平均して得られる画像データを、前記背景画像の画像データとして生成する、
   請求項１又は２の何れか１項に記載の画像処理装置。
4. 前記生成手段は、さらに、
   前記判定手段により前記明るさが一定以上であると判定された場合、前記複数の原画像のうちの所定の１つの画像データを、前記背景画像の画像データとして生成する、
   請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記生成手段は、複数の前記背景画像の画像データを生成し、
   前記生成手段により生成された前記画像データにより表現される前記複数の背景画像を表示する表示手段と、
   前記表示手段に表示された前記複数の背景画像のうちの１つを選択する選択手段と、
   をさらに備え、
   前記合成手段は、前記選択手段により選択された前記背景画像の画像データを用いて、前記動体連写合成画像の画像データを生成する、
   請求項１乃至４の何れか１項に記載の画像処理装置。
6. 自動露出の機能を用いて、前記複数の原画像を撮像する撮像手段をさらに備え、
   前記判定手段は、
   前記撮像手段により前記複数の原画像が撮像されたときの前記自動露出の値を用いて、前記明るさを判定する、
   請求項１に記載の画像処理装置。
7. 前記判定手段は、
   前記記憶手段に記憶された前記複数の原画像の画像データの少なくとも１つを用いて、前記明るさを判定する、
   請求項１に記載の画像処理装置。
8. 画像処理装置によって、移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなうための画像処理方法において、
   前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出ステップと、
   前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定ステップと、
   前記判定ステップの処理により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成ステップと、
   前記生成ステップの処理により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出ステップの処理により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成ステップと、
   を含む画像処理方法。
9. 移動する被写動体に対する連続撮影によって得られる複数の画像の各々を原画像として、複数の前記原画像の画像データに対して画像処理をおこなう機能を有する画像処理装置を制御するコンピュータに、
   前記複数の原画像の画像データの各々から、前記被写動体の画像データを抽出する抽出機能と、
   前記被写動体に対する前記連続撮影のときの撮像環境の明るさを判定する判定機能と、
   前記判定機能の実現により前記明るさが一定未満であると判定された場合、前記複数の原画像の画像データの各々を加算平均して得られる画像データを、前記被写動体の背景を含む背景画像の画像データとして生成する生成機能と、
   前記生成機能の実現により生成された前記背景画像の画像データに対して、前記複数の原画像毎に前記抽出機能の実現により抽出された前記被写動体の画像データの各々を重ね合わせることによって、動体連写合成画像の画像データを生成する合成機能と、
   を実現させるためのプログラム。

Images