JP2012109898A - 撮影装置、撮影方法、およびプログラム - Google Patents

Abstract

【課題】連続して撮影された複数の画像のそれぞれから抽出された複数の動体が合成された画像をより迅速に生成することができる撮影装置、撮影方法、およびプログラムを提供する。
【解決手段】シャッタボタンが押されたとき、そのときメモリに記憶されているプレビュー画像ｐ１−ｐｎが読み出され、プレビュー画像ｐ１−ｐｎに基づいて１枚の背景画像が生成される。また、撮影画像Ｐ１がメモリから読み出されたとき、撮影画像Ｐ１と背景画像との差が求められ、差がある画素からなる動体画像が撮影画像Ｐ１から抽出される。撮影画像Ｐ１から抽出された動体画像が背景画像に合成され、合成画像Ｃ１が生成される。
【選択図】図２

Description

本発明は、撮影装置、撮影方法、およびプログラムに関し、例えば、連続して撮影された複数の画像のそれぞれから抽出された複数の動体が合成された画像をより迅速に生成することができるようにした撮影装置、撮影方法、およびプログラムに関する。

CMOS(Complementary Metal Oxide Semiconductor)などの撮像素子や、撮像素子により取り込まれた画像を処理するICチップの性能の向上に伴い、連写機能によって単位時間あたりに撮影可能な画像の数が増えてきている。近年販売されているデジタルカメラの中には、１秒間に数十枚の画像を撮影することができるものもある。

そこで、連写機能を使ったデジタルカメラの各種の機能が提案されている。例えば、短時間に連続して撮影した複数の画像を解析することによって動きのある物体（動体）を抽出し、各画像から抽出した動体を１枚の画像に重ねて合成する技術がある。

この技術においては、一連の撮影によって得られた複数の画像の同じ位置にある画素の画素値の中央値を各画素の画素値とする中央値画像を作成し、各画像の画素のうち、中央値画像の画素との差分が大きい画素を動体部分の画素として、中央値画像の画素に置き換えることによって中央値画像と動体部分の画像の合成が行われるようになされている。

特開２００９−０５９０６０号公報

上述した技術においては、一連の撮影によって得られた複数の画像を全て用いて中央値画像を生成するようになされていることから、当然、一連の撮影が終わるまでは中央値画像を生成することができない。従って、ユーザは、どのような画像に対して、各画像から抽出された動体が合成されるのかを、一連の撮影が終わり、中央値画像の生成が終わるまで確認することができない。

また、撮像素子の有効画素数と同じ画素数の画像であるいわゆるフル画像を用いて上述した合成処理が行われるとした場合、それぞれの処理に時間がかかってしまい、一連の撮影が終了してからしばらく時間がたたないと合成結果の画像を確認することができない。

本発明の目的は、連続して撮影された複数の画像のそれぞれから抽出された複数の動体が合成された画像をより迅速に生成することができる撮影装置、撮影方法、およびプログラムを提供することである。

本発明の一側面は、連続撮影を行う撮影手段と、シャッタボタンが押される前に前記撮影手段により撮影された複数の第１の画像と、前記シャッタボタンが押された後に前記撮影手段により撮影された複数の第２の画像とを記憶する記憶手段と、少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成手段とを備えることを特徴とする。

本発明の一側面は、連続撮影を行う撮影ステップと、シャッタボタンが押される前に撮影した複数の第１の画像と、前記シャッタボタンが押された後に撮影した複数の第２の画像とを記憶する記憶ステップと、少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成ステップとを含むことを特徴とする。

本発明の一側面は、連続撮影を行う撮影ステップと、シャッタボタンが押される前に撮影した複数の第１の画像と、前記シャッタボタンが押された後に撮影した複数の第２の画像とを記憶する記憶ステップと、少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明によれば、連続して撮影された複数の画像のそれぞれから抽出された複数の動体が合成された画像をより迅速に生成することができる。

本実施形態に係る撮影装置の構成例を示すブロック図である。 動体合成モードの設定時に行われる処理の流れを示す図である。 図１の画像処理部の構成例を示す図である。 撮影装置の撮影処理について説明するフローチャートである。 図４のステップＳ４において行われるクイックビュー画像生成処理について説明するフローチャートである。 図４のステップＳ５において行われる本画像生成処理について説明するフローチャートである。 撮影画像に基づいて生成した背景画像を用いて合成画像を生成する処理の流れを示す図である。

［本発明の実施の形態］
図１は、本実施形態に係る撮影装置１の構成例を示すブロック図である。撮影装置１は、デジタルスチルカメラ、デジタルビデオカメラ、携帯電話機などの、静止画の撮影機能を有する装置である。

CPU(Central Processing Unit)１１は、所定のプログラムを実行し、撮影装置１の全体の動作を制御する。例えば、CPU１１は、連続して撮影した複数の画像から抽出した動体を１枚の画像に合成するモードである動体合成モードが選択された場合、CMOSセンサ１２を制御し、シャッタボタンが押される前に複数の画像を連続して撮影（以下、適宜、プレビュー撮影と称する）させるとともに、シャッタボタンが押されたとき、複数の画像を連続して撮影（以下、連写撮影と称する）させる。

CMOSセンサ１２は、レンズにより取り込まれた光の光電変換を行い、光電変換によって得られた画像信号のA/D(Analog/Digital)変換を行う。CMOSセンサ１２は、A/D変換によって得られた画像データをメモリ１３に記憶させる。

メモリ１３には、シャッタボタンが押される前に撮影された画像であるプレビュー画像を複数記憶することが可能な領域と、シャッタボタンが押された後に撮影された画像である撮影画像を複数記憶することが可能な領域が設けられている。

プレビュー画像用の領域には、撮影順にプレビュー画像が記憶され、空き領域がなくなった場合、時間的に古い画像に上書きする形でプレビュー画像が順次記憶される。プレビュー画像用の領域には、シャッタボタンが押される直前に撮影された複数のプレビュー画像が常に記憶されていることになる。メモリ１３に記憶されたプレビュー画像は、画像処理部１４により適宜読み出され、LCD(Liquid Crystal Display)１６に表示される。ユーザは、LCD１６に表示されるプレビュー画像を見て構図を確認したりすることができる。

画像処理部１４は、動体合成モードが選択されている場合、メモリ１３に記憶されている画像を読み出し、画像の合成などを行う。画像処理部１４により行われる処理の内容と画像処理部１４の詳細な構成については後述する。

記憶部１５は、撮影装置１に対して着脱可能なメモリカードなどよりなり、画像処理部１４により生成された画像を記憶する。LCD１６は、画像処理部１４から供給されたプレビュー画像や合成画像を表示する。操作部１７はシャッタボタンなどの各種のボタンにより構成され、ボタンが操作されたとき、ユーザの操作の内容を表す信号をCPU１１に出力する。

［動体合成モード時の処理］
図２は、動体合成モードの設定時に行われる処理の流れを示す図である。

図２の横軸は時刻を表し、時刻ｔ１はシャッタボタンが押された時刻である。すなわち時刻ｔ１の前のプレビュー撮影によりプレビュー画像が得られ、時刻ｔ１の後の連写撮影によって複数の撮影画像が得られる。例えば、プレビュー画像と撮影画像の撮影は、撮影装置１を固定にした状態で行われる。それぞれのプレビュー画像と撮影画像には、同じ風景が背景として写っているとともに、その風景の手前側（撮影装置１側）で動く動体が写っている。

シャッタボタンが押されたとき、画像処理部１４は、図２の左方に示すように、そのときメモリ１３に記憶されているプレビュー画像ｐ１−ｐｎを読み出し、プレビュー画像ｐ１−ｐｎに基づいて１枚の背景画像を生成する。背景画像は、撮影画像から抽出された動体画像の合成先となる画像であり、例えば、プレビュー画像ｐ１−ｐｎの同じ位置にある画素の画素値の中央値を各画素の画素値とするようにして生成される。背景画像は、動体が写らずに、背景だけが写っている画像になる。

背景画像が生成された場合、直ちにLCD１６に背景画像が表示されるようにし、動体の合成先となる画像をユーザが確認することができるようにしてもよい。

シャッタボタンが押されることによって撮影された撮影画像がメモリ１３に記憶されたとき、画像処理部１４は、撮影画像を撮影順に１枚ずつメモリ１３から読み出す。撮影画像の読み出しは、例えば一連の撮影が終了する前に、撮影画像の撮影と並行して開始される。

図２の例においては、７枚の画像が撮影され、１枚おきに選択された撮影画像Ｐ１−Ｐ４の４枚の撮影画像が順にメモリ１３から読み出されている。撮影画像Ｐ１−Ｐ４には、それぞれ、同じ風景を背景として動いている人物の、各画像の撮影時における状態を表す被写体Ｈ１−Ｈ４が写っている。

撮影画像Ｐ１をメモリ１３から読み出したとき、画像処理部１４は、撮影画像Ｐ１の下に示すように、撮影画像Ｐ１と背景画像との差を求める。撮影画像Ｐ１には被写体Ｈ１が写っており、被写体Ｈ１の背景は背景画像に写る風景と同じであるから、撮影画像Ｐ１の画素のうち、背景画像との差がある画素は被写体Ｈ１の部分の画素となる。

画像処理部１４は、被写体Ｈ１の部分の画素からなる動体画像を撮影画像Ｐ１から抽出し、背景画像に重ねて合成することによって、矢印＃１の先に示す合成画像Ｃ１を生成する。合成画像Ｃ１の生成は、背景画像の画素のうちの被写体Ｈ１が重なる画素を、撮影画像Ｐ１から抽出した被写体Ｈ１の部分の画素で置き換えることによって行われる。合成画像Ｃ１は被写体Ｈ１が写っている画像になる。合成画像Ｃ１の生成が終了したとき、画像処理部１４は、合成画像Ｃ１をLCD１６に表示させる。これにより、ユーザに合成状態を確認することができる。

撮影画像Ｐ１に続けて撮影された撮影画像Ｐ２をメモリ１３から読み出したとき、画像処理部１４は、撮影画像Ｐ２の下に示すように、撮影画像Ｐ２と背景画像との差を求める。撮影画像Ｐ２には被写体Ｈ２が写っており、被写体Ｈ２の背景は背景画像に写る風景と同じであるから、撮影画像Ｐ２の画素のうち、背景画像との差がある画素は被写体Ｈ２の部分の画素となる。

画像処理部１４は、被写体Ｈ２の部分の画素からなる動体画像を撮影画像Ｐ２から抽出し、直前に生成した合成画像である合成画像Ｃ１に重ねて合成することによって、矢印＃２の先に示す合成画像Ｃ２を生成する。合成画像Ｃ２の生成は、合成画像Ｃ１の画素のうちの被写体Ｈ２が重なる画素を、撮影画像Ｐ２から抽出した被写体Ｈ２の部分の画素で置き換えることによって行われる。合成画像Ｃ２は、被写体Ｈ１と被写体Ｈ２が写っている画像になる。合成画像Ｃ２の生成が終了したとき、画像処理部１４は、合成画像Ｃ１に代えて、合成画像Ｃ２をLCD１６に表示させる。

撮影画像Ｐ２に続けて撮影された撮影画像Ｐ３をメモリ１３から読み出したとき、画像処理部１４は、撮影画像Ｐ３の下に示すように、撮影画像Ｐ３と背景画像との差を求める。撮影画像Ｐ３には被写体Ｈ３が写っており、被写体Ｈ３の背景は背景画像に写る風景と同じであるから、撮影画像Ｐ３の画素のうち、背景画像との差がある画素は被写体Ｈ３の部分の画素となる。

画像処理部１４は、被写体Ｈ３の部分の画素からなる動体画像を撮影画像Ｐ３から抽出し、直前に生成した合成画像である合成画像Ｃ２に重ねて合成することによって、矢印＃３の先に示す合成画像Ｃ３を生成する。合成画像Ｃ３の生成は、合成画像Ｃ２の画素のうちの被写体Ｈ３が重なる画素を、撮影画像Ｐ３から抽出した被写体Ｈ３の部分の画素で置き換えることによって行われる。合成画像Ｃ３は、被写体Ｈ１−Ｈ３が写っている画像になる。合成画像Ｃ３の生成が終了したとき、画像処理部１４は、合成画像Ｃ２に代えて、合成画像Ｃ３をLCD１６に表示させる。

撮影画像Ｐ３に続けて撮影された撮影画像Ｐ４をメモリ１３から読み出したとき、画像処理部１４は、撮影画像Ｐ４の下に示すように、撮影画像Ｐ４と背景画像との差を求める。撮影画像Ｐ４には被写体Ｈ４が写っており、被写体Ｈ４の背景は背景画像に写る風景と同じであるから、撮影画像Ｐ４の画素のうち、背景画像との差がある画素は被写体Ｈ４の部分の画素となる。

画像処理部１４は、被写体Ｈ４の部分の画素からなる動体画像を撮影画像Ｐ４から抽出し、直前に生成した合成画像である合成画像Ｃ３に重ねて合成することによって、矢印＃４の先に示す合成画像Ｃ４を生成する。合成画像Ｃ４の生成は、合成画像Ｃ３の画素のうちの被写体Ｈ４が重なる画素を、撮影画像Ｐ４から抽出した被写体Ｈ４の部分の画素で置き換えることによって行われる。合成画像Ｃ４は、被写体Ｈ１−Ｈ４が写っている画像になる。合成画像Ｃ４を生成したとき、画像処理部１４は、合成画像Ｃ３に代えて合成画像Ｃ４をLCD１６に表示させる。

以上のように、シャッタボタンが押される前に撮影されたプレビュー画像を用いて、動体画像の合成先となる背景画像を生成しておくことによって、撮影画像の撮影直後に動体画像を抽出し、背景画像と合成して合成画像を生成することが可能になる。

すなわち、シャッタボタンが押された後に撮影された撮影画像を用いて背景画像を生成するとした場合、図２の例を用いて説明すると撮影画像Ｐ４の撮影が終わるまで背景画像を生成することができず、よって、合成画像の生成を開始することができるのもその後のタイミングになってしまうが、以上のようにプレビュー画像を用いて背景画像を生成することによって、撮影画像Ｐ１の撮影が終わった直後に合成画像Ｃ１の生成を開始することが可能になる。

なお、シャッタボタンが押されたときに背景画像の生成が行われるのではなく、プレビュー画像が撮影され、メモリ１３に記憶される毎に、メモリ１３に記憶されている複数のプレビュー画像を用いて背景画像が生成されるようにしてもよい。シャッタボタンが押されたとき、予め生成されていた背景画像を用いて合成画像の生成が開始される。このようにすることにより、たとえば、より迅速に合成画像を生成することができる。

また、以上の処理により、合成画像の生成が終わる毎に、LCD１６に合成画像を表示し、ユーザに提示することが可能となる。合成画像の表示は、上述したように先に生成した合成画像に代えて１枚ずつ表示されるようにしてもよいし、先に生成した合成画像と並べて表示されるようにしてもよい。このようにすることにより、たとえば、合成具合を容易に確認することができる。

合成画像の生成が、低解像度の画像と高解像度の画像の両方の画像を用いて行われるようにすることも可能である。ここでいう高解像度の画像（いわゆる、フル画像）は、CMOSセンサ１２により撮影された、CMOSセンサ１２の有効画素数と同じ画素数の画像であり、低解像度の画像（たとえば、撮影直後に撮影画像を確認するために用いられるクイックビュー画像）は、高解像度の画像に対して解像度変換を行うことによって得られた画像である。

低解像度の画像を用いて合成画像の生成を行うことにより、高解像度の画像を用いて合成画像を生成する場合に較べて、処理をより迅速に行うことができ、合成画像をより早いタイミングで表示するクイックビュー表示が可能になる。低解像度の画像に基づいて生成されたクイックビュー表示用の合成画像であるそれぞれのクイックビュー画像は、本画像のヘッダ情報に格納され、本画像とともに記憶部１５に保存される。本画像は、例えば、高解像度の画像を用いて最終的に生成された合成画像（図２の例の場合、合成画像Ｃ４）である。

図３は、図１の画像処理部１４の構成例を示す図である。図３に示す機能部のうちの少なくとも一部は、図１のCPU１１により所定のプログラムが実行されることによって実現される。

画像処理部１４は、クイックビュー画像生成部２１、本画像生成部２２、表示処理部２３、および情報生成部２４を有する。クイックビュー画像生成部２１は、解像度変換部３１、背景画像生成部３２、動体抽出部３３、および合成部３４を有し、本画像生成部２２は、背景画像生成部４１、動体抽出部４２、および合成部４３を有する。メモリ１３から読み出されたプレビュー画像は、解像度変換部３１と背景画像生成部４１に入力され、撮影される毎にメモリ１３から読み出されたそれぞれの撮影画像は、解像度変換部３１と動体抽出部４２に入力される。

クイックビュー画像生成部２１の解像度変換部３１は、入力されたプレビュー画像と撮影画像を低解像度の画像に変換する。なおここではプレビュー画像の解像度を低解像度に変換するものとするが、ブレビュー画像の解像度によっては低解像度に変換しない場合もあり得る。解像度変換部３１は、解像度変換によって得られた低解像度のプレビュー画像を背景画像生成部３２に出力し、低解像度の撮影画像を動体抽出部３３に出力する。

背景画像生成部３２は、解像度変換部３１から供給された複数の低解像度のプレビュー画像に基づいて、複数の低解像度のプレビュー画像の同じ位置にある画素の画素値の中央値を各画素の画素値とする背景画像を生成する。背景画像生成部３２により生成された背景画像は、動体抽出部３３と合成部３４に供給される。

動体抽出部３３は、背景画像生成部３２から供給された低解像度の背景画像と、解像度変換部３１から供給された低解像度の撮影画像との差（同じ位置にある画素の画素値の差）を求める。動体抽出部３３は、背景画像との差がある画素からなる動体画像を撮影画像から抽出し、合成部３４に出力する。

合成部３４は、背景画像生成部３２から供給された低解像度の背景画像と、低解像度の撮影画像から動体抽出部３３により抽出され、供給された動体画像を合成し、クイックビュー画像となる合成画像を生成する。背景画像に対する動体画像の合成は、背景画像の画素のうちの動体の部分と重なる画素を、動体画像の画素で置き換えることによって行われる。合成部３４は、クイックビュー画像となる合成画像を生成する毎に、生成した合成画像を表示処理部２３と情報生成部２４に出力する。

上述したように、合成部３４は、１枚目の撮影画像から抽出された動体画像を背景画像に重ねて合成することによって１枚目の合成画像を生成し、２枚目以降のそれぞれの撮影画像から抽出された動体画像を、直前に生成した合成画像に重ねて合成することによって２枚目以降のそれぞれの合成画像を生成する。

表示処理部２３は、クイックビュー画像が合成部３４から供給される毎に、クイックビュー画像をLCD１６に表示させる。

また、表示処理部２３は、記憶部１５に記憶されている本画像の表示が指示された場合、表示が指示された本画像のファイルを記憶部１５から読み出す。本画像のファイルは、本画像のデータとヘッダ情報からなり、ヘッダ情報には、本画像の生成時に生成されたそれぞれのクイックビュー画像のデータが格納されている。表示処理部２３は、本画像のヘッダ情報に格納されているクイックビュー画像を例えば生成された順に１枚ずつ、または複数並べてLCD１６に表示させるとともに、本画像をLCD１６に表示させる。

本画像生成部２２の背景画像生成部４１は、入力された複数の高解像度のプレビュー画像に基づいて、複数の高解像度のプレビュー画像の同じ位置にある画素の画素値の中央値を各画素の画素値とする背景画像を生成する。背景画像生成部４１により生成された背景画像は動体抽出部４２と合成部４３に供給される。

動体抽出部４２は、背景画像生成部４１から供給された高解像度の背景画像と、入力された高解像度の撮影画像との差を求める。動体抽出部４２は、背景画像との差がある画素からなる動体画像を撮影画像から抽出し、合成部４３に出力する。

合成部４３は、背景画像生成部４１から供給された高解像度の背景画像と、高解像度の撮影画像から動体抽出部４２により抽出され、供給された動体画像に基づいて、クイックビュー画像を生成する合成部３４の処理と同様の処理を行う。

すなわち、合成部４３は、１枚目の撮影画像から抽出された動体画像を背景画像に重ねて合成することによって１枚目の合成画像を生成し、２枚目以降のそれぞれの撮影画像から抽出された動体画像を、直前に生成した合成画像に重ねて合成することによって２枚目以降のそれぞれの合成画像を生成する。合成部４３は、最後の撮影画像から抽出された動体画像を合成することによって生成した最後の合成画像を本画像として情報生成部２４に出力する。

情報生成部２４は、合成部３４から供給されたそれぞれのクイックビュー画像をヘッダ情報に格納し、ヘッダ情報と、合成部４３から供給された本画像のデータからなるファイルを生成して記憶部１５に記憶させる。

次に、図４のフローチャートを参照して、撮影装置１の撮影処理について説明する。

図４の処理は、例えば、撮影モードとして動体合成モードがユーザにより選択されたときに開始される。各ステップの処理は、図に示す順に行われるだけでなく、適宜、他の処理と並行して行われる。

ステップＳ１において、CPU１１は、CMOSセンサ１２を制御し、複数のプレビュー画像を撮影させる。撮影されたプレビュー画像はメモリ１３に供給され、プレビュー画像用の領域に記憶される。

ステップＳ２において、CPU１１は、操作部１７から供給された情報に基づいて、シャッタボタンが押されたか否かを判定し、押されていないと判定した場合、ステップＳ１に戻り、プレビュー画像の撮影を繰り返す。

一方、シャッタボタンが押されたとステップＳ２において判定した場合、ステップＳ３において、CPU１１は、CMOSセンサ１２を制御し、連写機能によって複数の画像を撮影させる。撮影された撮影画像はメモリ１３に順次供給され、撮影画像用の領域に記憶される。

ステップＳ４において、画像処理部１４のクイックビュー画像生成部２１によりクイックビュー画像生成処理が行われる。クイックビュー画像生成処理により生成された複数のクイックビュー画像は情報生成部２４に供給される。

ステップＳ５において、画像処理部１４の本画像生成部２２により本画像生成処理が行われる。本画像生成処理により生成された本画像である最後の合成画像は情報生成部２４に供給される。

ステップＳ６において、情報生成部２４は、クイックビュー画像生成処理によって生成された複数のクイックビュー画像を、本画像のヘッダ情報に格納する。

ステップＳ７において、情報生成部２４は、クイックビュー画像が格納されたヘッダ情報と、本画像生成処理によって生成された本画像のデータからなるファイルを記憶部１５に記憶させる。その後、ステップＳ１に戻り、以上の処理が行われる。

次に、図５のフローチャートを参照して、図４のステップＳ４において行われるクイックビュー画像生成処理について説明する。

ステップＳ１１において、クイックビュー画像生成部２１の解像度変換部３１は、入力されたプレビュー画像と撮影画像を低解像度の画像に変換する。

ステップＳ１２において、背景画像生成部３２は、複数の低解像度のプレビュー画像に基づいて、同じ位置にある画素の画素値の中央値を各画素の画素値とする背景画像を生成する。

ステップＳ１３において、動体抽出部３３は、解像度変換部３１により解像度変換が行われることによって得られた低解像度の撮影画像を１枚選択する。

ステップＳ１４において、動体抽出部３３は、背景画像生成部３２により生成された低解像度の背景画像と、選択している低解像度の撮影画像との差を求め、背景画像との差がある画素からなる動体画像を撮影画像から抽出する。

ステップＳ１５において、合成部３４は、背景画像生成部３２により生成された低解像度の背景画像と、低解像度の撮影画像から動体抽出部３３により抽出された動体画像を合成し、クイックビュー画像となる合成画像を生成する。合成部３４により生成されたクイックビュー画像は表示処理部２３と情報生成部２４に供給される。

ステップＳ１６において、表示処理部２３は、合成部３４により生成されたクイックビュー画像をLCD１６に表示させる。

ステップＳ１７において、動体抽出部３３は、全ての撮影画像を選択したか否かを判定し、選択していないと判定した場合、ステップＳ１３に戻り、次の撮影画像を選択して同様の処理を繰り返す。１枚目の撮影画像から抽出された動体画像を背景画像に重ねて合成することによって１枚目の合成画像が生成された後、２枚目以降のそれぞれの撮影画像から抽出された動体画像を、直前に生成した合成画像に重ねて合成することによって２枚目以降のそれぞれの合成画像が生成される。生成された合成画像は、順次、LCD１６に表示されるとともに、情報生成部２４に供給される。

全ての撮影画像を選択したとステップＳ１７において判定された場合、図４のステップＳ４に戻り、それ以降の処理が行われる。

次に、図６のフローチャートを参照して、図４のステップＳ５において行われる本画像生成処理について説明する。

ステップＳ２１において、本画像生成部２２の背景画像生成部４１は、入力された複数の高解像度のプレビュー画像に基づいて、複数の高解像度のプレビュー画像の同じ位置にある画素の画素値の中央値を各画素の画素値とする背景画像を生成する。

ステップＳ２２において、動体抽出部４２は、入力された高解像度の撮影画像を１枚選択する。

ステップＳ２３において、動体抽出部４２は、背景画像生成部４１により生成された高解像度の背景画像と、選択している高解像度の撮影画像との差を求め、背景画像との差がある画素からなる動体画像を撮影画像から抽出する。

ステップＳ２４において、合成部４３は、背景画像生成部４１により生成された高解像度の背景画像と、高解像度の撮影画像から動体抽出部４２により抽出された動体画像を合成し、合成画像を生成する。

ステップＳ２５において、動体抽出部４２は、全ての撮影画像を選択したか否かを判定し、選択していないと判定した場合、ステップＳ２２に戻り、次の撮影画像を選択して同様の処理を繰り返す。１枚目の撮影画像から抽出された動体画像を背景画像に重ねて合成することによって１枚目の合成画像が生成された後、２枚目以降のそれぞれの撮影画像から抽出された動体画像を、直前に生成した合成画像に重ねて合成することによって２枚目以降のそれぞれの合成画像が生成される。

全ての撮影画像を選択したとステップＳ２５において判定された場合、ステップＳ２６において、合成部４３は、最後の撮影画像から抽出された動体画像を合成することによって生成した最後の合成画像を本画像として情報生成部２４に出力する。その後、図４のステップＳ５に戻り、それ以降の処理が行われる。

［発明の実施の形態における効果］
１．以上の処理により、連続して撮影された複数の撮影画像のそれぞれから抽出された複数の動体が合成された画像を、より迅速に生成することが可能になる。

２．撮影前の画像と撮影後の複数の画像のそれぞれの差分から、複数の動体の画像を容易に抽出することができる。

３．プレビュー画像を用いて背景画像を生成することによって、１枚目の画像の撮影が終わった直後に合成画像の生成を開始することができる。そのため、合成画像が生成される毎に表示させることが可能となる。

４．最終的に生成された合成画像を高解像度の本画像として保存することによって、合成画像を高品質で表示させることが可能となる。

５．クイックビュー表示用の合成画像であるそれぞれのクイックビュー画像を、本画像のヘッダ情報に格納するようにしたので、クイックビュー画像を例えば生成された順に１枚ずつ、または複数並べて表示させることが可能となる。

［変形例］
以上においては、高解像度のプレビュー画像に基づいて生成された背景画像が本画像の生成に用いられるものとしたが、クイックビュー画像の生成時に低解像度のプレビュー画像に基づいて生成された低解像度の背景画像を用いて本画像が生成されるようにしてもよい。

また、以上においては、クイックビュー画像が生成される毎にLCD１６に表示され、ユーザに提示されるものとしたが、このとき、本画像の生成処理をキャンセルすることができるようにしてもよい。例えば、本画像の生成処理をキャンセルするときに操作されるキャンセルボタンがクイックビュー画像とともに表示され、操作部１７の所定のボタンが押されたとき、またはLCD１６にタッチパネルが重ねられている場合においてキャンセルボタンがユーザにより押されたとき、本画像の生成処理が中止される。このようにすることにより、無駄な処理が実行されないので、たとえば、消費電力を節約することができる。

１枚の合成画像に写るそれぞれの動体が詰まりすぎている場合（近づきすぎている場合）、合成画像からでは、動体の動きの遷移が分かりづらいことがある。それぞれの動体が詰まりすぎないようにするために、連写機能によって撮影された撮影画像のうち、何枚おきの撮影画像を用いて合成画像の生成が行われるようにするかをユーザが選択することができるようにしてもよい。このようにすることにより、たとえば、よりユーザが望む合成画像を生成することができる。

また、シャッタボタンが押されたとき、連写機能によって3n+1枚（例えば３１枚）の撮影画像を撮影し、背景画像の差を求めることによって各撮影画像から動体を抽出し、抽出した動体の重心の座標を計算し、重心の座標が移動しているか否かに応じて、背景画像に合成される動体画像が選択されるようにしてもよい。

例えば、重心の座標が移動している場合、１枚目の撮影画像、n+1枚目の撮影画像、2n+1枚目の撮影画像、および最後の撮影画像のそれぞれの撮影画像から抽出された動体画像が選択され、合成画像の生成に用いられる。また、重心の座標が移動していない場合、3n+1枚目の撮影画像から抽出されたそれぞれの動体画像が選択され、合成画像の生成に用いられる。

動体の重心が移動しているか否かに応じて合成画像の生成に用いられる動体画像を切り替えることにより、１枚の合成画像に写るそれぞれの動体が詰まりすぎてしまうのを防ぐことができる。

以上においては、シャッタボタンが押される前に撮影されたプレビュー画像に基づいて背景画像が生成されるものとしたが、シャッタボタンが押された後に撮影された撮影画像に基づいて背景画像が生成されるようにしてもよい。

図７は、撮影画像に基づいて生成した背景画像を用いて合成画像を生成する処理の流れを示す図である。

図７の例においては、シャッタボタンが押された後に撮影された撮影画像Ｐ１−Ｐ４の中央値を用いて背景画像が生成されている。また、背景画像との差を求めることによって撮影画像Ｐ１から動体画像Ｈ１が抽出され、抽出された動体画像Ｈ１が背景画像に合成されることによって、矢印＃１の先に示す合成画像Ｃ１が生成されている。

同様に、背景画像との差を求めることによって撮影画像Ｐ２−Ｐ４からそれぞれ動体画像Ｈ２、Ｈ３、Ｈ４が抽出され、抽出された動体画像Ｈ２、Ｈ３、Ｈ４が、直前に生成された合成画像に合成されることによって、矢印＃２−＃４の先に示す合成画像Ｃ２−Ｃ４が生成されている。

以上のように撮影画像を利用して背景画像を生成するようにしたので、動体が動いているときの背景に近い背景画像を生成することができる。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 撮影装置
１１ CPU
１２ CMOSセンサ
１３ メモリ
１４ 画像処理部
１５ 記憶部
１６ LCD
２１ クイックビュー画像生成部
２２ 本画像生成部
２３ 表示処理部
２４ 情報生成部
３１ 解像度変換部
３２ 背景画像生成部
３３ 動体抽出部
３４ 合成部
４１ 背景画像生成部
４２ 動体抽出部
４３ 合成部

Claims (8)

1. 連続撮影を行う撮影手段と、
   シャッタボタンが押される前に前記撮影手段により撮影された複数の第１の画像と、前記シャッタボタンが押された後に前記撮影手段により撮影された複数の第２の画像とを記憶する記憶手段と、
   少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成手段と
   を備えることを特徴とする撮影装置。
2. 請求項１に記載の撮影装置において、
   前記背景画像と前記第２の画像との差を求めることによって、それぞれの前記第２の画像に含まれる動体の画像である動体画像を抽出する抽出手段と、
   前記シャッタボタンが押された後に撮影された１枚目の前記第２の画像から抽出された前記動体画像を前記背景画像に重ねて合成することによって合成画像を生成し、２枚目以降の前記第２の画像から抽出された前記動体画像を、直前の前記第２の画像から抽出された前記動体画像を合成することによって生成した前記合成画像に重ねて合成することによって複数の前記合成画像を生成する合成手段と
   をさらに備えることを特徴とする撮影装置。
3. 請求項２に記載の撮影装置において、
   前記合成画像が生成される毎に、生成された前記合成画像を表示させる表示手段をさらに備える
   ことを特徴とする撮影装置。
4. 請求項３に記載の撮影装置において、
   前記シャッタボタンが押された後に撮影された最後の前記第２の画像から抽出された前記動体画像を合成することによって生成された前記合成画像を本画像として記録媒体に保存させる処理手段をさらに備える
   ことを特徴とする撮影装置。
5. 請求項４に記載の撮影装置において、
   前記第１の画像と前記第２の画像を、解像度の低い画像に変換する変換手段をさらに備え、
   前記生成手段は、解像度が変換された少なくとも複数の前記第１の画像に基づいて低解像度の前記背景画像を生成し、
   前記抽出手段は、解像度が変換されたそれぞれの前記第２の画像から前記動体画像を抽出し、
   前記合成手段は、解像度が変換されたそれぞれの前記第２の画像から抽出された前記動体画像を、低解像度の前記背景画像に重ねて合成することによって低解像度の前記合成画像を生成し、
   前記処理手段は、前記合成手段により生成された複数の低解像度の前記合成画像を前記本画像のヘッダ情報に格納して前記本画像を保存させる
   ことを特徴とする撮影装置。
6. 請求項５に記載の撮影装置において、
   前記表示手段は、前記記録媒体に保存された前記本画像の表示が指示された場合、前記本画像のヘッダ情報に含まれる複数の前記合成画像を、前記合成手段により生成された順に表示させる
   ことを特徴とする撮影装置。
7. 連続撮影を行う撮影ステップと、
   シャッタボタンが押される前に撮影した複数の第１の画像と、前記シャッタボタンが押された後に撮影した複数の第２の画像とを記憶する記憶ステップと、
   少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成ステップと
   を含むことを特徴とする撮影方法。
8. 連続撮影を行う撮影ステップと、
   シャッタボタンが押される前に撮影した複数の第１の画像と、前記シャッタボタンが押された後に撮影した複数の第２の画像とを記憶する記憶ステップと、
   少なくとも複数の前記第１の画像に基づいて、前記第１の画像と前記第２の画像に含まれる動体の背景の画像である背景画像を生成する生成ステップと
   を含む処理をコンピュータに実行させるプログラム。

Images