JP2008278386A - 画像処理装置、撮影装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】被写体を連写して背景画像、ストロボ画像を生成する。
【解決手段】デジタルカメラ１は、背景の前を通過する被写体を連写する。画像処理装置２０３は、連写によって得られた複数のフレーム画像から、同一座標の画素値を取得し、この複数の画素値の中央値を背景画像の画素値として、背景画像を生成する。画像処理装置２０３は、各フレーム画像と背景画像との差を座標毎に取得し、標準偏差を用いて被写体領域を示す領域マスクデータを生成する。画像処理装置２０３は、この領域マスクデータを用いて、背景画像に各フレーム画像の画素値を上書きし、複数の被写体が重なり合ったストロボ画像を生成する。
【選択図】図１

Description

本発明は、画像処理装置、撮影装置、画像処理方法及びプログラムに関するものである。

被写体を、例えば、人物として、カメラを固定して、移動する人物を連写し、連写した複数の画像を重ね合わせると、人物が移動する様子を表して、１枚の静止画像からは得られないような特徴的な連写画像を取得することができる。

このような連写画像を取得するためには、動く動体の画像と動かない静止体の画像とを分離する必要がある。従来、このように動体と静止体画像とを分離し、動体を被写体（撮影対象）として取得する装置がある（例えば、特許文献１，２参照）。

特許文献１に記載の装置は、連写画像において動体を撮影し、現フレーム画像と先行フレーム画像との差分を求め、求めた差分に基づいて両フレーム画像間の動ベクトルを求める。そして、この装置は、この動ベクトルを利用して、動体画像を抽出するようにしている。

また、特許文献２に記載の装置は、水平方向に移動する動体を撮影して得られた複数のフレーム画像において、それぞれ、垂直方向にスリットを設定し、フレーム毎のスリットに映し出されたスリット画像を時間順に並べて時空間画像を形成する。

この時空間画像には、動体が映し出されるとともに、動体後方の静止体は静止したままなので、静止体画像が水平方向に現れる。

この装置は、この時空間画像から、静止体画像だけからなる垂直方向の背景スリット画像を取得し、この背景スリット画像を水平方向に走査して時空間画像との差分を求めることにより、動体画像を静止体画像から分離して取得する。
特許第３７９３２５８号公報（第４頁、図１） 特許第３５６９９９２号公報（第５−８頁、図１，３，１３）

しかし、静止体を被写体として撮影するときに、その前を通行人が通過した場合、静止体である動かない被写体は静止体画像に含まれる。

上記特許文献１に記載の装置では、現フレーム画像と先行フレーム画像との差分を求めるため、静止体画像を取得することはできず、通行人を排除して被写体だけの画像を取得することができない。上記特許文献２に記載の装置でも、同様に静止体画像を取得することはできない。

また、動体を被写体とする場合でも、連写によって得られた被写体画像が重なっていると、上記特許文献１に記載の装置では、動ベクトルを利用しているため、前後のフレーム画像において、前後２つの画像から動ベクトルを取得することができない。動ベクトルを取得することができなければ、動体画像を取得することができない。

また、上記特許文献２に記載の装置では、背景スリット画像と時空間画像との差分を求めることにより、被写体の画像と静止体画像とを分離するため、移動する被写体は、車のように形状が変化しないものである必要がある。従って、人物のように被写体の形状が変化する場合、被写体と静止体画像とを分離することはできない。

本発明は、このような従来の問題点に鑑みてなされたもので、所望の静止体画像を生成することが可能な画像処理装置、撮影装置、画像処理方法及びプログラムを提供することを目的とする。

また、本発明は、静止体画像と複数の動体画像とが重なり合ったストロボ画像を生成することが可能な画像処理装置、撮影装置、画像処理方法及びプログラムを提供することを目的とする。

この目的を達成するため、本発明の第１の観点に係る画像処理装置は、
複数のフレーム画像を取得するフレーム画像取得部と、
前記フレーム画像取得部が取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成する静止体画像生成部と、を備えたことを特徴とする。

動体と前記静止体とを連写して得られた複数のフレーム画像を記憶する記憶部を備え、
前記フレーム画像取得部は、前記記憶部から、前記複数のフレーム画像を取得するようにしてもよい。

前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値を画素値順に並べた場合に、値が前記複数の画像値の中央となる中央値を前記静止体画素値として取得し、前記座標毎に取得した前記中央値に基づいて前記静止体画像を生成するようにしてもよい。

前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値の最頻値を前記静止体画素値として取得し、前記座標毎に取得した前記最頻値に基づいて前記静止体画像を生成するようにしてもよい。

前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値の平均値を前記静止体画素値として取得し、前記座標毎に取得した前記平均値に基づいて前記静止体画像を生成するようにしてもよい。

前記静止体画像生成部が生成した前記静止体画像と前記各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得する判別パラメータ取得部と、
前記判別パラメータ取得部が座標毎に取得した判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を前記フレーム画像毎に取得する動体領域取得部と、
前記フレーム画像毎に、前記動体領域取得部が取得した前記動体領域の座標と前記静止体画像生成部が生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成するストロボ画像生成部と、を備えてもよい。

前記ストロボ画像生成部は、前記動体領域取得部が前記フレーム画像毎に取得したすべての動体領域の座標に、前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成するようにしてもよい。

前記ストロボ画像生成部は、前記静止体画像の座標のうち、前記画素値が未登録の座標に前記フレーム画像の画素値を登録するようにしてもよい。

前記ストロボ画像生成部は、前記動体領域取得部が取得した前記フレーム画像毎に取得した複数の動体領域のうち、分離した動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記各動体画像が分離したストロボ画像を生成するようにしてもよい。

前記判別パラメータ取得部は、設定した座標毎に、
数１に従い、前記静止体画像生成部が生成した前記静止体画像と前記各フレーム画像との同一座標(x,y)における画素値の差を取得し、
数２に従い、前記静止体画像と第ｎフレーム画像との同一座標(x,y)における第１の標準偏差を前記静止体画像を判別するための判別パラメータとして取得し、
数３に従い、同一座標(x,y)における前記第１の標準偏差を超える静止体画像の画素値と前記第ｎフレーム画像の画素値との差を取得し、
数４に従い、第２の標準偏差を前記動体画像を判別するための判別パラメータとして取得し、
前記動体領域取得部は、
数５に従い、前記第ｎフレーム画像の座標(x,y)において、数１に示す前記画素値の差が、数４に従って取得した前記第２の標準偏差以上の場合には、当該画素値を有効とし、前記第２の標準偏差未満の場合には、当該画素値を無効とするデータを取得し、取得したデータを重ね合わせて、前記静止体画像の透過画素座標を特定する領域マスクデータを作成し、作成した前記領域マスクデータを用いて、前記動体領域を取得するようにしてもよい。

前記動体領域取得部は、前記数５に従って取得した前記データに対して、さらに、ラベリング処理を行い、最大面積を有する領域のデータを取得することにより、前記動体領域を取得するようにしてもよい。

前記動体領域判別部は、前記第ｎフレーム画像の座標(x,y)において当該画素値を有効、無効とするデータに対し、膨張処理、縮退処理及び穴埋め処理のうちの少なくとも１つの処理を行うことにより、取得した前記動体領域を補正するようにしてもよい。

前記静止体画像生成部は、前記記憶部から取得した前記各フレーム画像のそれぞれに対して高調波成分を濾波するフィルタ部を備え、前記フィルタ部で前記高調波成分を濾波した前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値のうちから前記静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体画像を生成するようにしてもよい。

前記静止体画像生成部は、前記記憶部から取得した前記各フレーム画像の特徴点を取得し、前記各フレーム画像の特徴点の座標を対応させることにより、前記各フレーム画像間の位置ズレ補正を行い、前記位置ズレ補正を行った前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値から前記静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体画像を生成するようにしてもよい。

本発明の第２の観点に係る撮影装置は、
動体と該動体後方の静止体とを連写して複数のフレーム画像を取得する撮影部と、
前記撮影部が取得した前記複数のフレーム画像に画像処理を行う上述の画像処理装置と、を備えたことを特徴とする。

本発明の第３の観点に係る画像処理方法は、
複数のフレーム画像を取得するステップと、
取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得するステップと、
取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得するステップと、
前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成するステップと、を備えたことを特徴とする。

動体と前記静止体とを連写して得られた複数のフレーム画像を記憶するステップを備え、
前記複数のフレーム画像を取得するステップは、記憶した前記複数のフレーム画像を取得するステップであってもよい。

さらに、
生成した前記静止体画像と各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得するステップと、
前記座標毎に取得した前記判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を取得するステップと、
前記フレーム画像毎に、取得した前記動体領域の座標と生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成するステップと、を備えてもよい。

本発明の第４の観点に係るプログラムは、
コンピュータに、
複数のフレーム画像を取得する手順、
取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得する手順、
取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得する手順、
前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成する手順、を実行させるためのものである。

上記プログラムは、動体と前記静止体とを連写して得られた複数のフレーム画像を記憶する手順を備え、
前記複数のフレーム画像を取得する手順は、記憶した前記複数のフレーム画像を取得する手順であってもよい。

上記プログラムは、さらに、コンピュータに、
生成した前記静止体画像と各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得する手順、
前記座標毎に取得した前記判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を取得する手順、
前記フレーム画像毎に、取得した前記動体領域の座標と生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成する手順、を実行させるためのものであってもよい。

本発明によれば、静止体画像を生成することができる。また、ストロボ画像を生成することができる。

以下、本発明の実施形態に係る撮影装置を図面を参照して説明する。尚、本実施形態では、撮影装置をデジタルカメラとして説明する。
（実施形態１）
実施形態１に係るデジタルカメラの構成を図１に示す。
実施形態１に係るデジタルカメラ１は、画像データ生成部２１と、データ処理部２２と、ユーザインタフェース部２３と、からなる。

このデジタルカメラ１は、動きのある動体と動体後方の動きのない静止体とを連写する機能を有するものであり、連写撮影を行うことにより、１枚の静止画像からは得られない所望の画像を生成するものである。

例えば、デジタルカメラ１は、図２に示すように、静止体３ａ，３ｂ，３ｃが画角内に収まる範囲を撮影範囲として、人間２が静止体３ａ，３ｂ，３ｃの前を通過する場合に、シャッタボタン１ａが押下されると、連写撮影を行う。

そして、デジタルカメラ１は、連写によって、図３（１）〜（７）に示すような７つのフレーム画像Ｆを取得する。連写によって得られた各フレーム画像Ｆは、人間２を示す動体画像と静止体３ａ，３ｂ，３ｃを示す静止体画像とからなり、静止体３ａ，３ｂ，３ｃは人間２の後方に位置するため、静止体画像は、動体画像に対して背景画像となる。

実施形態１に係るデジタルカメラ１は、人間２（動体）を被写体２として、背景画像に、７つの被写体２の画像を重ね合わせ、所望の画像として、図３（８）に示すようなストロボ画像Ｆstを生成する。

図１に示すユーザインタフェース部２３は、ユーザに処理経過を示し、ユーザの操作を受け付けるためのものであり、表示部３０１と、操作部３０２と、ＰＣインタフェース装置３０３と、外部記憶部３０４と、からなる。

操作部３０２は、ユーザの操作を受け付けて、その操作情報を取得するためのものであり、電源スイッチ（図示せず）と、撮影ボタン（図示せず）と、シャッタボタン１ａ（図２）と、メニューボタン（図示せず）と、コントロールキー（図示せず）と、を備える。

電源スイッチは、デジタルカメラ１の電源をオン（ＯＮ）、オフ（ＯＦＦ）するためのものである。

撮影ボタンは、撮影を行う撮影モードを選択するときに押下されるボタンである。シャッタボタン１ａは、撮影を行うときに押下されるボタンである。

メニューボタンは、メニューを表示するためのボタンである。メニューには、連写モードを選択するための撮影設定メニューがある。コントロールキーは、写真の選択、各種機能の選択を行うためのものである。

操作部３０２は、ユーザがこれらのスイッチ、ボタン、キーを操作すると、この操作情報をデータ処理部２２のＣＰＵ２０５に供給する。

表示部３０１は、画像を表示するためのものであり、液晶モニタ等を備える。表示部３０１は、ビデオ出力装置２０２から供給されたＲＧＢ信号に基づいて、プレビュー画像、ストロボ画像Ｆst等を表示する。

尚、表示部３０１は、撮影ボタンが押下されてメニューボタンが押下されると、撮影設定メニューを表示する。

ＰＣインタフェース装置３０３は、画像データ等を、ＵＳＢ（Universal Serial Bus）規格のデータに変換し、ＵＳＢケーブル等を介してコンピュータ（図示せず）に送信するとともに、コンピュータからのデータ、信号を受信するためのものである。
外部記憶部３０４は、生成されたストロボ画像Ｆstを保存するためのものである。

画像データ生成部２１は、被写体２を撮影して画像データを生成するためのものであり、光学レンズ装置１０１と、イメージセンサ１０２と、を備える。

光学レンズ装置１０１は、被写体２を撮影するために、光を集光するレンズなどで構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。

イメージセンサ１０２は、光学レンズ装置１０１が光を集光することによって結像した画像を、デジタル化した画像データとして取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。

尚、画像データ生成部２１は、高解像度画像撮影と低解像度画像撮影（プレビュー撮影）とが可能なものである。低解像度画像撮影は、画像解像度がＸＧＡ（１０２４×７６８ドット）程度で解像度は低いものの、画像を３０ｆｐｓ（フレーム/秒）の速さで動画撮影と画像読み出しが可能となる撮影である。

高解像度画像撮影は、例えば、デジタルカメラ１が撮影可能な最大画素数４００万画素のカメラである場合、その４００万画素の解像度で行う撮影である。但し、読み取り速度は遅くなる。

データ処理部２２は、画像データ生成部２１から、画像データを取得して、プロジェクタ等（図示せず）に出力するための画像を生成する処理を行うものである。データ処理部２２は、メモリ２０１と、ビデオ出力装置２０２と、画像処理装置２０３と、プログラムコード記憶装置２０４と、ＣＰＵ２０５と、から構成される。

メモリ２０１は、画像データを記憶するためのものである。メモリ２０１は、画像データを記憶する領域として、図４に示すように、センサ画像記憶領域２０１ａと、処理画像記憶領域２０１ｂと、表示画像記憶領域２０１ｃと、作業データ記憶領域２０１ｄと、を有する。

センサ画像記憶領域２０１ａは、撮影する毎にイメージセンサ１０２が取り込んだ画像データを一時記憶するための領域である。処理画像記憶領域２０１ｂは、画像処理に必要な画像データを一時記憶するための領域である。表示画像記憶領域２０１ｃは、表示用の出力画像の画像を記憶するための領域である。作業データ記憶領域２０１ｄは、作業に必要なデータを記憶するための領域である。

図１に戻り、ビデオ出力装置２０２は、ＲＧＢ信号を生成して出力するものである。ビデオ出力装置２０２は、メモリ２０１の表示画像記憶領域２０１ｃに格納された画像データを読み出してＲＧＢ信号を生成し、生成したＲＧＢ信号をユーザインタフェース部２３に供給する。

また、ビデオ出力装置２０２は、生成したＲＧＢ信号を、テレビ、ＰＣ、プロジェクタ、あるいは、それ以外の外部に供給する。

画像処理装置２０３は、ＣＰＵ２０５に制御されて、画像データに対して画像処理を行うためのものである。画像処理装置２０３は、ストロボ画像Ｆstを生成するため、画像処理として、背景画像生成処理、判別パラメータ取得処理、被写体領域取得処理、ストロボ画像生成処理を実行する。以下、各処理について説明する。

（１）背景画像生成処理
背景画像生成処理は、連写によって得られた図３（１）〜（７）に示すようなフレーム画像Ｆから、図５に示すような静止体画像としての背景画像Ｆbを生成する処理である。

画像処理装置２０３は、メモリ２０１のセンサ画像記憶領域２０１ａから、例えば、図３（１）〜（７）に示すような７つのフレーム画像Ｆを読み出し、７つのフレーム画像Ｆを取得する。

画像処理装置２０３は、取得した各フレーム画像Ｆに、それぞれ、座標を設定し、設定した座標(x,y)毎に、各フレーム画像Ｆから同一座標(x,y)の画素値（座標値）を取得し、取得した複数の画素値のうちから静止体を示す静止体画素値を取得する。そして、画像処理装置２０３は、設定した座標(x,y)毎に取得した静止体画素値に基づいて、静止体画像としての背景画像Ｆbを生成する。画像処理装置２０３は、静止体画素値として、同一座標(x,y)の各フレーム画像Ｆの画像値f(n,x,y)を画素値順に並べた場合に、値が複数の画素値の中央となる中央値を取得する。この中央値は、複数の画素値の代表値であり、この中央値を各座標毎に取得すれば、各中央値からなる画像は背景画像Ｆbになる。

この中央値を取得する処理を、ストロボ画像Ｆstを示す図６を用いて説明する。尚、ここでは、説明を簡略化するため、各フレーム画像Ｆを、白黒で表された画像とする。

例えば、座標(x1,y1)における画素値f(1,x1,y1)〜f(7,x1,y1)の場合、拡大した画素に示すように、背景画像Ｆbの画素値は白であり、被写体画像Ｆobjの画素値は、黒である。

静止体３ａ，３ｂ，３ｃ等は静止しているため、この同一座標(x1,y1)上では、背景画像Ｆbの画素値の数は、被写体画像Ｆobjの画素値の数よりも多くなる。

このため、この画素値f(1,x1,y1)〜f(7,x1,y1)を、図６に示すように、昇順（又は降順）に並べ替えると、並べ替えた画素値f(1,x1,y1)〜f(7,x1,y1)の中央値は、背景画像Ｆbの画素値となる。

この中央値を取得するため、画像処理装置２０３は、まず、同一座標(x,y)の画素値f(1,x,y)〜(n,x,y)を並べ替える。画像処理装置２０３は、次の数６に従って演算を行うことにより、この並べ替えを行う。

そして、画像処理装置２０３は、次の数７に従って演算を行って座標(x,y)におけるすべてのフレーム画像Ｆの画素値の中央値を取得する。
画像処理装置２０３は、この中央値を背景画像Ｆbの座標(x,y)における画素値fb(x,y)として、この画素値fb(x,y)を、調査する対象の調査座標(x,y)に登録する。画像処理装置２０３は、このような処理をすべての座標(x,y)について行い、背景画像Ｆbを生成する。

（２）判別パラメータ取得処理
判別パラメータ取得処理は、動く被写体２の被写体画像Ｆobjと動かない背景画像Ｆbとを判別するための判別パラメータを取得する処理である。

画像処理装置２０３は、被写体画像Ｆobjを判別するため、まず、図７（１）〜（５）に示すように、座標(x,y)毎に、同一座標(x,y)における各フレーム画像Ｆの画素値f(n,x,y)と背景画像Ｆbの画素値fb(x,y)との差を取得する。

図７（１）〜（５）に示すように、画素値f(n,x,y)と画素値fb(x,y)との差に基づいて形成される差画像Ｆｄには、被写体画像Ｆobjが含まれる。

しかし、数７に従って取得した背景画像Ｆbの画素値fb(x,y)には、バラツキがあり、画素値fb(x,y)は、図８（ａ）に示すように分布する。

画素値fb(x,y)にバラツキがある場合、差画像Ｆdのみで被写体２を判断すると、図９（１），（２）に示すように、フレームによっては、背景画像Ｆbの一部Ｆb1を被写体画像Ｆobjと誤って判別してしまう場合がある。

画像処理装置２０３は、このような誤判別を避けるため、背景画像Ｆbの各座標(x,y)の画素値fb(x,y)を確実に判別するための判別パラメータを取得する。画像処理装置２０３は、この判別パラメータを取得するため、次の数８に従って、設定した座標(x,y)に演算を行い、同一座標（x,y）における背景画像の画素値と第ｎ番目のフレーム画像Ｆの画素値との差fd(n,x,y)を取得する。

次に、画像処理装置２０３は、次の数９に従って演算を行い、座標(x,y)毎に、図８（ｂ）に示すような標準偏差fs(x,y)を取得する。
この標準偏差fs(x,y)は、同一座標(x,y)において背景画像Ｆbの画素値を中心とする各フレーム画像Ｆの画素値の分布を示すものであり、背景画像Ｆbを判別する判別パラメータとなる。画像処理装置２０３は、数８に示す差fd(n,x,y)が、この標準偏差fs(x,y)の範囲内であれば、この画素値f(n,x,y)を背景画像Ｆbの画素値fb(x,y)と判別する。

次に、画像処理装置２０３は、被写体画像Ｆobjを判別するための判別パラメータを取得する。このため、画像処理装置２０３は、次の数１０に従って演算を行うことにより、同一座標（x,y）において標準偏差fs(x,y)を超える背景画像Ｆbの画素値とｎフレーム画像Ｆの画素値との差として、座標(x,y)毎に、値over[m]を取得する。
この値over[m]は、被写体画像Ｆobjの候補となるものである。しかし、この値over[m]も、変動する。このため、画像処理装置２０３は、この差over[m]についても、被写体画像Ｆobjを判別する判別パラメータとして、座標(x,y)毎に、図８（ｃ）に示すような変動閾値moveを求める。

画像処理装置２０３は、次の数１１に従って演算を行うことにより、この変動閾値moveを取得する。

数１１に示すように、この変動閾値moveは、前記背景画像の各座標(x,y)の画素値を中心として、標準偏差fs(x,y)を超える各フレーム画像Ｆの座標(x,y)における画素値f(n,x,y)の分布を示す標準偏差である。

従って、画像処理装置２０３は、数８に示す差fd(n,x,y)が、変動閾値move以上であれば、この画素値f(n,x,y)を被写体画像Ｆobjの画素値と判別する。

（３）被写体領域取得処理
被写体領域取得処理は、フレーム画像Ｆ毎に、移動する被写体画像Ｆobjを判別してこの被写体画像Ｆobjが存在する被写体領域を取得する処理である。

画像処理装置２０３は、判別パラメータ取得処理において取得したパラメータを用い、次の数１２に従って演算を行うことによりデータfp(n,x,y)を生成する。
このデータfp(n,x,y)は、フレーム画像Ｆの座標(x,y)において、数８に示す差fd(n,x,y)が変動閾値move以上の場合には、１（有効）、変動閾値move未満の場合には、０（無効）とするデータである。このデータfp(n,x,y)によって形成される領域は、各フレーム画像Ｆの被写体領域を表している。

尚、画像処理装置２０３は、データfp(n,x,y)が不連続になる場合があるため、データfp(n,x,y)に対して、さらに、ラベリング処理、膨張、穴埋め、収縮処理を行って、被写体領域を補正する。

ラベリング処理は、生成された０（無効）と１（有効）のデータに対して、連続している領域に同じ番号を付し、離れている領域には、異なる番号を付す処理である。画像処理装置２０３は、ラベリング処理を行い、最大面積を有する領域を取得する。

膨張処理は、同じ値の画素が連結している領域の輪郭画素を外側に増やして領域を広く処理である。

穴埋め処理は、ラベリング処理後に、面積が最小面積以上最大面積以下のものを塗りつぶす処理である。

収縮処理は、同じ値の画素が連結している領域の輪郭画素を取り除いて領域を狭くする処理である。

画像処理装置２０３は、このようなラベリング処理、膨張処理、穴埋め処理、収縮処理を行うことにより、不連続になったデータfp(n,x,y)を連結させて欠損等した各フレーム画像Ｆの被写体領域を補正する。

また、画像処理装置２０３は、自然な上書を可能とするため、生成したデータfp(n,x,y)の周辺部に透過パラメータを付加する。

画像処理装置２０３は、このような処理をすべてのフレーム画像Ｆに対して行い、図１０に示すような背景画像Ｆbの領域マスクデータfpb(x,y)を生成する。この領域マスクデータfpb(x,y)は、データfp(n,x,y)がすべてのフレームで１(有効)にならなかった座標のみを１とすることにより、背景画像Ｆbの透過画素座標を特定するものである。

（４）ストロボ画像生成処理
ストロボ画像生成処理は、背景画像Ｆbに被写体画像Ｆobjを上書きすることにより、図３（８）に示すようなストロボ画像Ｆstを生成する処理である。

画像処理装置２０３は、被写体領域取得処理において生成した図１０に示すような領域マスクデータfpb(x,y)の座標と背景画像Ｆbの座標とを対応させ、被写体領域の座標にフレーム画像Ｆの座標(n,x,y)とを対応させる。

また、画像処理装置２０３は、フレーム画像Ｆ毎に、被写体領域の座標に各フレーム画像Ｆの座標を対応させて被写体画像Ｆobjありと判別される背景画像Ｆbの座標(x,y)に、各フレーム画像Ｆの画素値f(n,x,y)を上書きする。そして、画像処理装置２０３は、フレーム画像Ｆの画素値f(n,x,y)を背景座標Ｆbの座標(x,y)に登録する。

一方、画像処理装置２０３は、被写体画像Ｆobjなしと判別された座標(n,x,y)には、上書きを行わない。また、画像処理装置２０３は、一度上書きした座標(n,x,y)には、上書きを行わない。

画像処理装置２０３は、このような処理をすべてのフレーム画像Ｆのすべての座標(n,x,y)について行い、すべての画素値を埋めて、図３（８）に示すようなストロボ画像Ｆstを生成する。画像処理装置２０３は、生成したストロボ画像Ｆstのデータをメモリ２０１の処理画像記憶領域２０１ｂに一時記憶する。

そして、画像処理装置２０３は、保存するストロボ画像Ｆstをメモリ２０１の表示画像記憶領域２０１ｃに格納する。

図１に戻り、プログラムコード記憶装置２０４は、ＣＰＵ２０５が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ２０５は、プログラムコード記憶装置２０４に格納されているプログラムに従って、各部を制御する。

具体的に、ＣＰＵ２０５は、ユーザインタフェース部２３の操作部３０２から、電源ボタンが押下された旨の操作情報が供給される毎に、デジタルカメラ１の電源をオン、オフする。

ＣＰＵ２０５は、撮影設定メニューにおいて連写モードが選択され、シャッタボタン１ａが押下されると、被写体２、静止体３ａ，３ｂ，３ｃの連写を行い、シャッタボタン１ａの押下が解除されると、連写を終了するように、画像データ生成部２１を制御する。

そして、ＣＰＵ２０５は、画像データ生成部２１のイメージセンサ１０２が取りこんだ画像データを、データ処理部２２のメモリ２０１のセンサ画像記憶領域２０１ａに格納する。

ＣＰＵ２０５は、このような撮影処理が終了すると、画像処理装置２０３に、背景画像生成処理、判別パラメータ取得処理、被写体領域取得処理、ストロボ画像生成処理を実行するように指示する。

次に実施形態１に係るデジタルカメラ１の動作を説明する。
ＣＰＵ２０５は、操作部３０２から、電源ボタンが押下された旨の操作情報が供給されると、デジタルカメラ１の電源をＯＮする。

ＣＰＵ２０５は、撮影設定メニューにおいて連写モードが選択されると、プログラムコード記憶装置２０４から、連写処理のプログラムコードを読み出す。

そして、ＣＰＵ２０５は、操作部３０２から、シャッタボタン１ａが押下された旨の操作情報が供給されると、図１１に示すフローチャートに従い、連写処理を実行する。

まず、ＣＰＵ２０５は、撮影処理を実行する（ステップＳ１０１）。ＣＰＵ２０５は、この撮影処理を、図１２に示すフローチャートに従って実行する。

ＣＰＵ２０５は、撮影カウント値ｎに１をセットする（ステップＳ１１１）。
ＣＰＵ２０５は、被写体２、静止体３ａ，３ｂ，３ｃを撮影するように、画像データ生成部２１を制御する（ステップＳ１１２）。

ＣＰＵ２０５は、イメージセンサ１０２が取りこんだ画像データを、メモリ２０１のセンサ画像記憶領域２０１ａに格納する（ステップＳ１１３）。

ＣＰＵ２０５は、撮影が終了したか否かを判定する（ステップＳ１１４）。
シャッタボタン１ａが押下されている場合、ＣＰＵ２０５は、撮影が終了していないと判定する（ステップＳ１１４；Ｎｏ）。

この場合、ＣＰＵ２０５は、撮影カウント値ｎをインクリメントし（ステップＳ１１５）、再度、被写体２、静止体３ａ，３ｂ，３ｃを撮影するように、画像データ生成部２１を制御し、フレーム画像Ｆのデータを、メモリ２０１のセンサ画像記憶領域２０１ａに記憶する（ステップＳ１１２，Ｓ１１３）。

シャッタボタン１ａの押下が解除された場合、ＣＰＵ２０５は、撮影が終了したと判定する（ステップＳ１１４；Ｙｅｓ）。この場合、ＣＰＵ２０５は、撮影枚数Pageに、撮影カウント値ｎをセットする（ステップＳ１１６）。そして、ＣＰＵ２０５は、この撮影処理を終了させる。

撮影処理を終了させると、ＣＰＵ２０５は、この撮影枚数Pageをフレーム数として、Page≠１か否かを判定する（ステップＳ１０２）。

Page＝１（Page≠１ではない）と判定した場合（ステップＳ１０２；Ｎｏ）、ＣＰＵ２０５は、画像処理装置２０３に、画像処理の実行を指示せずに、ビデオ出力装置２０２に結果を表示させる（ステップＳ１０４）。

一方、Page≠１と判定した場合（ステップＳ１０２；Ｙｅｓ）、ＣＰＵ２０５は、画像処理装置２０３に、画像処理を実行するように指示する（ステップＳ１０３）。

画像処理装置２０３は、プログラムコード記憶装置２０４から、画像処理のプログラムコードを読み出し、図１３に示すフローチャートに従って、この画像処理（１）を実行する。

画像処理装置２０３は、背景画像生成処理を実行する（ステップＳ１２１）。画像処理装置２０３は、この背景画像生成処理を、図１４に示すフローチャートに従って実行する。

画像処理装置２０３は、調査座標（x,y）のｘ，ｙに、それぞれ、０をセットして、調査座標（x,y）を初期化する（ステップＳ１３１）。

画像処理装置２０３は、フレームカウント値ｎに１をセットし、フレームカウント値ｎを初期化する（ステップＳ１３２）。

画像処理装置２０３は、すべてのフレーム画像Ｆの同一座標(x,y)における画素値f(n,x,y)を取得し、取得したすべての画素値f(n,x,y)を、それぞれ、配列table[n]に格納する（ステップＳ１３３）。

画像処理装置２０３は、Page＝１か否かを判定する（ステップＳ１３４）。
Page＝１ではないと判定した場合（ステップＳ１３４；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントする（ステップＳ１３５）。そして、画像処理装置２０３は、再度、すべてのフレーム画像Ｆの同一座標(x,y)における画素値f(n,x,y)を取得する（ステップＳ１３３）。

Page＝１であると判定した場合（ステップＳ１３４；Ｙｅｓ）、画像処理装置２０３は、数６に従い、画素値f(n,x,y)を並べ替える（ステップＳ１３６）。

画像処理装置２０３は、数７に従い、並べ替えた画素値f(n,x,y)の中央値を背景画像Ｆbの調査座標(x,y)に登録する（ステップＳ１３７）。

画像処理装置２０３は、全座標について調査座標(x,y)の登録が終了したかを判定する（ステップＳ１３８）。

すべての座標について、調査座標(x,y)の登録が終了していないと判定した場合（ステップＳ１３８；Ｎｏ）、画像処理装置２０３は、次の調査座標(x,y)に調査を進める（ステップＳ１３９）。そして、画像処理装置２０３は、再度、ステップＳ１３２〜Ｓ１３７の処理を実行する。

全座標について、調査座標(x,y)の登録が終了したと判定した場合（ステップＳ１３８；Ｙｅｓ）、画像処理装置２０３は、この背景画像生成処理を終了させる。

このようにして画像処理装置２０３は、背景画像Ｆbを生成すると、図１５に示すフローチャートに従って、判別パラメータ取得処理を実行する（ステップＳ１２２）。

画像処理装置２０３は、調査座標（x,y）のｘ，ｙに、それぞれ、０をセットして、調査座標（x,y）を初期化する（ステップＳ１４１）。

画像処理装置２０３は、フレームカウント値ｎに１をセットし、フレームカウント値ｎを初期化する（ステップＳ１４２）。

画像処理装置２０３は、数８に従い、差fd(n,x,y)を求める。そして、画像処理装置２０３は、求めた差fd(n,x,y)を調査座標(n,x,y）に登録する（ステップＳ１４３）。

画像処理装置２０３は、Page＝ｎか否かを判定する（ステップＳ１４４）。
Page＝ｎではないと判定した場合（ステップＳ１４４；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントする（ステップＳ１４５）。

そして、画像処理装置２０３は、再度、同一座標(x,y)における差fd(n,x,y)を求め、求めた差fd(n,x,y)を調査座標(n,x,y）に登録する（ステップＳ１４３）。

Page＝ｎであると判定した場合（ステップＳ１４４；Ｙｅｓ）、画像処理装置２０３は、数９に従い、標準偏差fs(x,y)を求める（ステップＳ１４６）。

画像処理装置２０３は、算出した標準偏差fs(x,y)を座標標準偏差として登録する（ステップＳ１４７）。

画像処理装置２０３は、全座標について調査座標(x,y)の登録が終了した否かを判定する（ステップＳ１４８）。

全座標について座標標準偏差の登録が終了していないと判定した場合（ステップＳ１４８；Ｎｏ）、画像処理装置２０３は、次の調査座標(x,y)に調査を進める（ステップＳ１４９）。そして、画像処理装置２０３は、再度、ステップＳ１４２〜Ｓ１４７の処理を実行する。

全座標について座標標準偏差の登録が終了したと判定した場合（ステップＳ１４８；Ｙｅｓ）、画像処理装置２０３は、調査座標(x,y)の初期化を行う（ステップＳ１５０）。

画像処理装置２０３は、フレームカウント値に１をセットする（ステップＳ１５１）。

画像処理装置２０３は、数８に示す差fd(n,x,y)が、数１０に示す標準偏差fs(x,y)を超える場合には、この画素値f(n,x,y)を登録する（ステップＳ１５２）。

画像処理装置２０３は、フレームカウント値ｎがフレーム数Pageになったか否かを判定する（ステップＳ１５３）。

フレームカウント値ｎがフレーム数Pageになっていないと判定した場合（ステップＳ１５３；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントする（ステップＳ１５４）。そして、画像処理装置２０３は、再度、数８に示す差fd(n,x,y)が標準偏差fs(x,y)を超える場合の画素値f(n,x,y)を登録する（ステップＳ１５２）

カウント値ｎがフレーム数Pageになったと判定した場合（ステップＳ１５３；Ｙｅｓ）、画像処理装置２０３は、全座標についての登録が終了したか否かを判定する（ステップＳ１５５）。

全座標についての登録が終了していないと判定した場合（ステップＳ１５５；Ｎｏ）、画像処理装置２０３は、次の調査座標(x,y)に調査を進める（ステップＳ１５６）。そして、画像処理装置２０３は、再度、ステップＳ１５１〜１５４の処理を実行する。

全座標についての登録が終了したと判定した場合（ステップＳ１５５；Ｙｅｓ）、画像処理装置２０３は、数１１に従い、登録された値で変動閾値moveを取得する（ステップＳ１５７）。そして、画像処理装置２０３は、この判別パラメータ取得処理を終了させる。

画像処理装置２０３は、このように判別パラメータ取得処理を実行すると、被写体領域取得処理を実行する（ステップＳ１２３）。画像処理装置２０３は、図１６に示すフローチャートに従い、この被写体領域取得処理を実行する。

画像処理装置２０３は、フレームカウント値ｎに１をセットする（ステップＳ１６１）。

画像処理装置２０３は、調査座標（x,y）のｘ，ｙに、それぞれ、０をセットして、調査座標（x,y）を初期化する（ステップＳ１６２）。

画像処理装置２０３は、数８に示す差fd(n,x,y)が変動閾値moveを超えるか否かを判定する（ステップＳ１６３）。

この差fd(n,x,y)が変動閾値moveを超えると判定した場合（ステップＳ１６３；Ｙｅｓ）、画像処理装置２０３は、数１２に従い、座標(x,y)を有効としてデータfp(n,x,y)に１をセットする（ステップＳ１６４）。

一方、差fd(n,x,y)が変動閾値move未満と判定した場合（ステップＳ１６５；Ｎｏ）、画像処理装置２０３は、数１２に従い、座標(x,y)を無効としてデータfp(n,x,y)に０をセットする（ステップＳ１６５）。

画像処理装置２０３は、全座標について調査が終了したか否かを判定する（ステップＳ１６６）。

全座標について調査が終了していないと判定した場合（ステップＳ１６６；Ｎｏ）、画像処理装置２０３は、次の調査座標へ調査を進める（ステップＳ１６７）。そして、画像処理装置２０３は、再度、ステップＳ１６３〜Ｓ１６５の処理を実行する。

全座標について調査が終了したと判定した場合（ステップＳ１６６；Ｙｅｓ）、画像処理装置２０３は、ラベリング処理を行い、最大面積を有する被写体領域を取得する（ステップＳ１６８）。

画像処理装置２０３は、最大面積を有する被写体領域に対して膨張処理を行う（ステップＳ１６９）。

画像処理装置２０３は、膨張処理を行った被写体領域の穴埋めを行う（ステップＳ１７０）。
画像処理装置２０３は、穴埋めを行った被写体領域の収縮を行う（ステップＳ１７１）。

画像処理装置２０３は、フレームカウント値ｎがフレーム数Pageに達したか否かを判定する（ステップＳ１７２）。

フレームカウント値ｎがフレーム数Pageに達していないと判定した場合（ステップＳ１７２；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントする（ステップＳ１７３）。

そして、画像処理装置２０３は、再度、ステップＳ１６２〜１７１の処理を実行する。

フレームカウント値ｎがフレーム数Pageに達したと判定した場合（ステップＳ１７２；Ｙｅｓ）、画像処理装置２０３は、この被写体領域取得処理を終了させる。

画像処理装置２０３は、このように被写体領域取得処理を実行すると、ストロボ画像生成処理を実行する（ステップＳ１２４）。

画像処理装置２０３は、図１７に示すフローチャートに従い、ストロボ画像生成処理（１）を実行する。

画像処理装置２０３は、フレームカウント値ｎにフレーム数Pageをセットする（ステップＳ１８１）。

画像処理装置２０３は、フレームカウント値が１であるか否かを判定する（ステップＳ１８２）。

フレームカウント値ｎが１ではないと判定した場合（ステップＳ１８２；Ｎｏ）、画像処理装置２０３は、被写体領域にフレーム画像Ｆの画素値f(n,x,y)が未登録の座標にのみ、この画素値f(n,x,y)の上書を行う（ステップＳ１８３）。

画像処理装置２０３は、被写体領域の座標を登録する（ステップＳ１８４）。
画像処理装置２０３は、カウント値ｎをデンクリメントする（ステップＳ１８５）。

フレームカウント値ｎが１であると判定した場合（ステップＳ１８２；Ｙｅｓ）、画像処理装置２０３は、未登録座標の書き込みを行う（ステップＳ１８６）。そして、画像処理装置２０３は、このストロボ画像生成処理を終了させ、画像処理を終了させる。

画像処理装置２０３が、このようにストロボ画像生成処理を実行すると、ＣＰＵ２０５は、結果をビデオ出力装置２０２に表示させる（ステップＳ１０４）。
ＣＰＵ２０５は、結果を保存するか否かを判定する（ステップＳ１０５）。

結果を保存すると判定した場合（ステップＳ１０５；Ｙｅｓ）、ＣＰＵ２０５は、生成したストロボ画像Ｆstのデータを保存して（ステップＳ１０６）、このストロボ画像処理（１）を終了させる。

一方、結果を保存しないと判定した場合（ステップＳ１９５；Ｎｏ）、ＣＰＵ２０５は、生成したストロボ画像Ｆstのデータを保存せずに、このストロボ画像処理（１）を終了させる。

以上説明したように、本実施形態１によれば、画像処理装置２０３は、設定した座標(x,y)毎に、各フレーム画像Ｆの同一座(x,y)の画素値f(n,x,y)を取得し、並べ替えて、その中央値を背景画像Ｆbの画素値fb(x,y)とすることにより、背景画像Ｆbを取得する。そして、画像処理装置２０３は、値over[m]，変動閾値moveを用いて各被写体画像Ｆobjを取得し、背景画像Ｆbに重ね合わせてストロボ画像Ｆstを生成するようにした。

従って、フレーム画像Ｆ間で被写体画像Ｆobjが重なる場合や、画角中で被写体２が形状を変えながら移動する場合であっても被写体領域を取り出すことができ、所望のストロボ画像Ｆstを生成することができる。

（実施形態２）
実施形態２に係るデジタルカメラは、動きのない静止体を被写体として連写し、フレーム画像に含まれている動きのある動体画像を排除して所望の被写体画像を取得するようにしたものである。

実施形態１では、動きのある動体を被写体２とした。しかし、動きのない静止体を被写体２として、動体を排除したい場合もある。

例えば、デジタルカメラ１の前でポーズをとって停止している人２ａを被写体として静止画撮影を行う場合、シャッタボタン１ａが押下されたタイミングで別の通行人２ｂが人２ａの前を通過すると、図１８（ａ）に示すように、通行人２ｂも撮影画像に含まれてしまう。連写撮影でなければ、人２ａの画像をこの撮影画像から抽出することは困難である。

実施形態２に係るデジタルカメラ１は、連写撮影を行って図１８（ｂ）に示すような複数のフレーム画像Ｆを取得して図１８（ｃ）に示すような背景画像Ｆbを生成する。人２ａがポーズをとって停止していれば、人２ａは通行人２ｂに対して背景となるため、通行人２ｂは背景画像Ｆbから排除される。

実施形態２に係るデジタルカメラ１は、実施形態１と同様に、図１に示す構成を有する。

次に実施形態２に係るデジタルカメラ１の動作を説明する。
ＣＰＵ２０５は、画像処理装置２０３に、画像処理を実行するように指示し（ステップＳ１０３）、画像処理装置２０３は、この指示により、図１９に示すフローチャートに従って、画像処理（２）を実行し、背景画像生成処理を実行する（ステップＳ１２１）。

画像処理装置２０３が背景画像生成処理を実行すると、ＣＰＵ２０５は、結果を表示させ（ステップＳ１０４）、結果を保存すると判定した場合（ステップＳ１０５；Ｙｅｓ）、生成した背景画像Ｆbの画素値を保存して（ステップＳ１０６）、この連写処理を終了させる。

以上説明したように、本実施形態２によれば、背景画像Ｆbを生成することにより、人２ａを被写体２として、撮影画像から動体画像を排除して、所望の被写体画像Ｆobjを取得することができる。

（実施形態３）
実施形態３に係るデジタルカメラは、動体を被写体として連写し、各被写体が重ならないようなストロボ画像を生成するようにしたものである。

動体を被写体２としてストロボ画像Ｆstを生成する場合、被写体画像Ｆobjが重なった場合の方がみやすくなる場合がある一方、図２０に示すように、被写体画像Ｆobjが重ならない方がみやすい場合がある。

実施形態３に係るデジタルカメラ１は、被写体画像Ｆobjが重ならないようにストロボ画像Ｆstを作成する。

実施形態３に係るデジタルカメラ１は、図１に示す構成と同様の構成を有している。

画像処理装置２０３は、背景画像生成処理、判別パラメータ取得処理、被写体領域取得処理を実行して、図２１（１）〜（１５）に示すような被写体画像Ｆobjを生成する。

画像処理装置２０３は、ストロボ画像生成処理において、背景画像Ｆbに被写体画像Ｆobjを上書きする際、図２１（１６）に示すように、被写体画像Ｆobjが、既に登録された被写体画像Ｆobjと重なっている部分ｚを有している場合、この被写体画像Ｆobjをストロボ画像Ｆstに採用しない。

そして、画像処理装置２０３は、図２１（１７）示すような被写体画像Ｆobjを図２１（１８）に示すような背景画像Ｆb上の座標に登録し、図２１（１９）に示すような被写体画像Ｆobjが重ならないストロボ画像Ｆstを生成する。

次に実施形態３に係るデジタルカメラ１の動作を説明する。
ＣＰＵ２０５は、画像処理装置２０３に、画像処理を実行するように指示し（ステップＳ１０３）、画像処理装置２０３は、この指示により、図２２に示すフローチャートに従って、ストロボ画像生成処理（２）を実行する。

画像処理装置２０３は、フレームカウント値ｎにフレーム数Pageをセットする（ステップＳ１９１）。

画像処理装置２０３は、フレームカウント値ｎが１か否かを判定する（ステップＳ１９２）。

カウント値ｎが１ではないと判定した場合（ステップＳ１９２；Ｎｏ）、画像処理装置２０３は、登録済み座標と重なりがないか否かを判定する（ステップＳ１９３）。

登録済み座標と重なりがないと判定した場合（ステップＳ１９３；Ｙｅｓ）、画像処理装置２０３は、被写体領域にフレーム画像Ｆの画素値f(n,x,y)が未登録の座標にのみ、この画素値f(n,x,y)の上書を行う（ステップＳ１９４）。

画像処理装置２０３は、被写体領域の座標を登録する（ステップＳ１９５）。

一方、登録済み座標と重なりがあると判定した場合（ステップＳ１９３；Ｎｏ）、画像処理装置２０３は、ステップＳ１８３，１８４を実行せずに、フレームカウント値ｎをデクリメントする（ステップＳ１９６）。

そして、画像処理装置２０３は、再度、フレームカウント値ｎが１か否かを判定する（ステップＳ１９２）。

フレームカウント値ｎが１か否かを判定した場合（ステップＳ１９２；Ｙｅｓ）、画像処理装置２０３は、未登録座標の書き込みを行う（ステップＳ２００）。そして、画像処理装置２０３は、このストロボ画像生成処理（２）を終了させる。

以上説明したように、本実施形態３によれば、デジタルカメラ１は、連写撮影を行い、被写体画像Ｆobjが重なる場合には、このフレーム画像Ｆの被写体画像Ｆobjを採用しないようにした。

従って、被写体画像Ｆobjが重ならないので、撮影間隔を意識せずに連写を行うことができる。また、みやすいストロボ画像Ｆstを生成することができる。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施形態に限られるものではない。
例えば、上記実施形態では、画像処理装置２０３は、背景画像Ｆbを生成する過程で、座標毎の静止体画素値（代表値）として、中央値を取得するようにした。

しかし、代表値は、この中央値に限られるものではなく、画像処理装置２０３は、静止体画素値として、例えば、同一座標(x,y)の画素値（座標値）の最頻値を取得するようにしてもよい。

また、画像処理装置２０３は、この静止体画素値として、例えば、全フレーム画像Ｆの同一座標(x,y)の画素値（座標値）の平均値を取得するようにしてもよい。フレーム数や変動対象によっては平均値の方が演算の高速化が可能になり、また調査するフレーム画像、生成される背景画像の座標数を実際の画像サイズより縮小することで高速化が可能になる。

また、実施形態１では、被写体領域の判定に、各座標(x,y)のフレーム画像間の標準偏差を超える画素値だけを用いるようにした。しかし、この判定に、各座標(x,y)の標準偏差を用いてもよい。また、座標単位ではなく、ブロック単位で被写体領域の判定を行うようにしてもよい。

また、画像処理装置２０３は、ラベリング処理を行うことにより最大面積を有する被写体領域のみを取得するようにした。しかし、被写体領域の大きな上位複数の領域を取得し、近接する場合には、結合するか否かを判定するようにしてもよい。

また、ラベリング処理を行う前に膨張処理を行うようにしてもよく、このようにすれば、近接領域の結合が可能となる。

また、撮影直後のフレーム画像Ｆに対して、高調波の除去、撮影ブレ、画像の光学手ブレによる位置ズレ補正のような前処理を行うようにしてもよい。

高調波を除去する場合、画像処理装置２０３は、図２３（ａ）に示すような３タップのローパスフィルタ、図２３（ｂ）に示すような５タップのローパスフィルタを用いる。

画像処理装置２０３は、図２４に示すフローチャートに従い、画像処理（３）を実行する。
高調波を除去する場合、画像処理２０３は、図２５に示すフローチャートに従い、前処理（１）を実行する。

画像処理装置２０３は、フレームカウント値ｎに１をセットする（ステップＳ２１１）。

画像処理装置２０３は、図２３（ａ）に示すような３タップのローパスフィルタ又は図２３（ｂ）に示すような５タップのローパスフィルタを用いて高調波を除去する（ステップＳ２１２）。

画像処理装置２０３は、フレーム数Pageがフレームカウント値ｎになったか否かを判定する（ステップＳ２１３）。

フレーム数Pageがカウント値ｎになっていないと判定した場合（ステップＳ２１３；Ｎｏ）、画像処理装置２０３は、カウント値ｎをインクリメントし（ステップＳ２１４）、再度、高調波を除去する（ステップＳ２１２）。

フレーム数Pageがカウント値ｎになったと判定した場合（ステップＳ２１３；Ｙｅｓ）、画像処理装置２０３は、この前処理（１）を終了させる。

撮影ブレ、画像の光学手ブレによる位置ズレの影響を排除する場合、画像処理２０３は、図２６に示すフローチャートに従い、前処理（２）を実行する。

画像処理装置２０３は、フレームカウント値ｎに１をセットする（ステップＳ２２１）。

画像処理装置２０３は、フレームカウント値ｎのフレーム画像Ｆの特徴点ｐ（ｎ）を取得する（ステップＳ２２２）。

画像処理装置２０３は、フレーム（ｎ＋１）のフレーム画像Ｆの特徴点ｐ（ｎ＋１）を取得する（ステップＳ２２３）。

画像処理装置２０３は、特徴点ｐ（ｎ）と特徴点ｐ（ｎ＋１）とが対応するように、フレーム画像Ｆ間の位置補正を行う（ステップＳ２２４）。

画像処理装置２０３は、フレーム数Pageがフレームカウント値（ｎ−１）になったか否かを判定する（ステップＳ２２５）。

フレーム数Pageがフレームカウント値（ｎ−１）になっていないと判定した場合（ステップＳ２２５；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントし（ステップＳ２２６）、ステップＳ２２２〜Ｓ２２４の処理を行う。

フレーム数Pageがフレームカウント値（ｎ−１）になったと判定した場合（ステップＳ２２５；Ｙｅｓ）、画像処理装置２０３は、この前処理（２）を終了させる。

このような前処理（１）を実行することにより、高調波ノイズを除去できる。また、前処理（２）を実行することにより、撮影ブレ、画像の光学手ブレによる位置ズレの影響を排除することができる。

次に、実施形態２では、座標単位で画像処理を行うようにした。しかし、座標単位で処理を行った場合に被写体２の動きが反映されてしまう場合には、ブロック単位で画像処理を行ってもよい。これにより、ノイズの少ない画像を生成することができる。

次に、実施形態３では、撮影画像から、重ならないか否かを比較するようにした。しかし、連写画像の中から、ユーザが逃したくないフレーム画像Ｆを選択できるようにしてもよい。

この場合、画像処理装置２０３は、図２７に示すフローチャートに従って、画像処理（４）を実行する。

画像処理装置２０３は、注目するフレーム画像Ｆを選択する（ステップＳ２３０）。

画像処理装置２０３は、背景画像生成処理（ステップＳ１２１）、判別パラメータ取得処理（ステップＳ１２２）、被写体領域取得処理（ステップＳ１２３）、ストロボ画像生成処理（ステップＳ１２４）を、順次、実行する。

画像処理装置２０３は、図２８に示すフローチャートに従い、ストロボ画像生成処理（３）を実行する。

画像処理装置２０３は、フレームカウント値ｎに、注目するフレーム画像Ｆのフレーム番号targetをセットする（ステップＳ２３１）。

画像処理装置２０３は、被写体領域にフレーム画像Ｆの画素値f(n,x,y)が未登録の座標にのみ、この画素値f(n,x,y)の上書を行う（ステップＳ２３２）。

画像処理装置２０３は、被写体領域の座標を登録する（ステップＳ２３３）。
画像処理装置２０３は、フレームカウント値ｎにフレーム数Pageをセットする（ステップＳ２３４）。

画像処理装置２０３は、フレームカウント値ｎが１か否かを判定する（ステップＳ２３５）。

フレームカウント値ｎが１ではないと判定した場合（ステップＳ２３５；Ｎｏ）、画像処理装置２０３は、登録済み座標と重なりがないか否かを判定する（ステップＳ２３６）。

重なりなしと判定した場合（ステップＳ２３６；Ｙｅｓ）、画像処理装置２０３は、被写体領域で未登録の座標にのみ、フレーム画像Ｆの画素値f(n,x,y)の上書を行う（ステップＳ２３７）。
画像処理装置２０３は、被写体領域の座標を登録する（ステップＳ２３８）。

一方、重なりありと判定した場合（ステップＳ２３６；Ｎｏ）、画像処理装置２０３は、ステップ２３７，Ｓ２３８の処理を行わない。

画像処理装置２０３は、フレーム番号targetがフレームカウント値ｎ未満か否かを判定する（ステップＳ２３９）。

フレーム番号targetがフレームカウント値ｎ以上と判定した場合（ステップＳ２３９；Ｎｏ）、画像処理装置２０３は、フレームカウント値ｎをデクリメントする（ステップＳ２４０）。

そして、画像処理装置２０３は、再度、ステップＳ２３５〜２３８の処理を実行する。

フレーム番号targetがフレームカウント値ｎ未満と判定した場合（ステップＳ２３９；Ｙｅｓ）、画像処理装置２０３は、フレームカウント値ｎをインクリメントする（ステップＳ２４１）。

画像処理装置２０３は、フレームカウント値ｎがフレーム数Pageを超えたか否かを判定する（ステップＳ２４２）。

フレームカウント値ｎがフレーム数Page以下であると判定した場合（ステップＳ２４２；Ｎｏ）、画像処理装置２０３は、再度、ステップＳ２４５〜２４８の処理を実行する。

フレームカウント値ｎがフレーム数Pageを超えたと判定した場合（ステップＳ２４２；Ｙｅｓ）、画像処理装置２０３は、フレーム番号targetをデクリメントし、このデクリメントした値（target−１）をフレームカウント値ｎにセットする（ステップＳ２４３）。

そして、画像処理装置２０３は、再度、ステップＳ２４５〜２４８の処理を実行する。

フレームカウント値ｎが１であると判定した場合（ステップＳ２３５；Ｙｅｓ）、画像処理装置２０３は、未登録座標の書き込みを行う（ステップＳ２４５）。そして、画像処理装置２０３は、このストロボ画像生成処理（３）を終了させる。

このように選択したフレーム画像Ｆを中心に、前後の画像の登録を行うことにより撮影者が最も必要とする画像を中心として被写体２が重ならないストロボ画像Ｆstを生成することができる。

上記実施形態１〜３では、撮影装置として、デジタルカメラ１について説明した。しかし、撮影装置は、デジタルカメラ１に限られるものではなく、動画を撮影するビデオカメラであってもよい。

また、連写された複数のフレーム画像が図１に示す外部記憶部３０４に記憶されていれば、画像データ生成部２１を備えなくてもよく、画像処理装置２０３は、外部記憶部３０４から複数のフレーム画像を取得して上記実施形態１〜３の画像処理を行うことができる。

また、上記実施形態では、プログラムが、それぞれメモリ等に予め記憶されているものとして説明した。しかし、画像処理装置、撮影装置を、装置の全部又は一部として動作させ、あるいは、上述の処理を実行させるためのプログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical disk）などのコンピュータ読み取り可能な記録媒体に格納して配布し、これを別のコンピュータにインストールし、上述の手段として動作させ、あるいは、上述の工程を実行させてもよい。

さらに、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。

本発明の実施形態１に係るデジタルカメラの構成を示すブロック図である。 静止体と動体（被写体）とデジタルカメラとの位置関係を示す図である。 複数のフレーム画像からストロボ画像を生成する概要を示す図であり、（１）〜（７）は、それぞれ、フレーム画像を示し、（８）は、ストロボ画像を示す。 図１に示すメモリの各記憶領域を示す図である。 背景画像を示す図である。 背景画像の取得を説明するための図である。 フレーム画像と背景画像との差画像の取得を説明するための図である。 背景画像の画素値の分布と判別パラメータを示す図であり、（ａ）は、背景画像の画素値の分布を示し、（ｂ）は、背景画像を判別する判別パラメータとしての標準偏差を示し、（ｃ）は、被写体画像を判別する判別パラメータとしての標準偏差を示す。 背景画像の一部を被写体画像と誤って判別する例（１），（２）を示す図である。 各フレームの被写体画像からストロボ画像を生成する方法を示す図である。 デジタルカメラが実行する連写処理を示すフローチャートである。 図１に示すＣＰＵが実行する撮影処理を示すフローチャートである。 図１に示す画像処理装置が実行する画像処理（１）を示すフローチャートである。 図１に示す画像処理装置が実行する背景画像生成処理を示すフローチャートである。 図１に示す画像処理装置が実行する判別パラメータ取得処理（１）を示すフローチャートである。 図１に示す画像処理装置が実行する被写体領域取得処理を示すフローチャートである。 図１に示す画像処理装置が実行するストロボ画像生成処理（１）を示すフローチャートである。 実施形態２に係るデジタルカメラの処理の概要を示す図であり、（ａ）は、被写体の前を通行人が通過するときに撮影によって得られた画像を示し、（ｂ）は、連写により得られた複数のフレーム画像を示し、（ｃ）は、通行人を排除した背景画像を示す。 図１に示す画像処理装置が実行する画像処理（２）を示すフローチャートである。 動く被写体画像が重ならないようにしたストロボ画像を示す図である。 図２０に示すストロボ画像の生成を示す図であり、（１）〜（１５）は、各被写体画像に関するデータを示し、（１６）は、被写体画像が重なっている状態を示し、（１７）は、重ならないようにした被写体画像を示し、（１８）は、背景画像を示し、（１９）は、生成されたストロボ画像を示す。 図１に示す画像処理装置が実行するストロボ画像生成処理（２）を示すフローチャートである。 高調波を除去するためのローパスフィルタを示す図であり、（ａ）は、３タップのローパスフィルタを示し、（ｂ）は、５タップのローパスフィルタを示す。 図１に示す画像処理装置が実行する画像処理（３）を示すフローチャートである。 図１に示す画像処理装置が実行する前処理（１）を示すフローチャートである。 図１に示す画像処理装置が実行する前処理（２）を示すフローチャートである。 図１に示す画像処理装置が実行する画像処理（４）を示すフローチャートである。 図１に示す画像処理装置が実行するストロボ画像生成処理（３）を示すフローチャートである。

符号の説明

１・・・デジタルカメラ、２１・・・画像データ生成部、２２・・・データ処理部、２０１・・・メモリ、２０３・・・画像処理装置、２０５・・・ＣＰＵ

Claims (21)

1. 複数のフレーム画像を取得するフレーム画像取得部と、
   前記フレーム画像取得部が取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成する静止体画像生成部と、を備えた、
   ことを特徴とする画像処理装置。
2. 動体と前記静止体とを連写して得られた複数のフレーム画像を記憶する記憶部を備え、
   前記フレーム画像取得部は、前記記憶部から、前記複数のフレーム画像を取得する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値を画素値順に並べた場合に、値が前記複数の画像値の中央となる中央値を前記静止体画素値として取得し、前記座標毎に取得した前記中央値に基づいて前記静止体画像を生成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値の最頻値を前記静止体画素値として取得し、前記座標毎に取得した前記最頻値に基づいて前記静止体画像を生成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記静止体画像生成部は、設定した座標毎に前記各フレーム画像から取得した同一座標の複数の画素値の平均値を前記静止体画素値として取得し、前記座標毎に取得した前記平均値に基づいて前記静止体画像を生成する、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記静止体画像生成部が生成した前記静止体画像と前記各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得する判別パラメータ取得部と、
   前記判別パラメータ取得部が座標毎に取得した判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を前記フレーム画像毎に取得する動体領域取得部と、
   前記フレーム画像毎に、前記動体領域取得部が取得した前記動体領域の座標と前記静止体画像生成部が生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成するストロボ画像生成部と、を備えた、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記ストロボ画像生成部は、前記動体領域取得部が前記フレーム画像毎に取得したすべての動体領域の座標に、前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成する、
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記ストロボ画像生成部は、前記静止体画像の座標のうち、前記画素値が未登録の座標に前記フレーム画像の画素値を登録する、
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記ストロボ画像生成部は、前記動体領域取得部が取得した前記フレーム画像毎に取得した複数の動体領域のうち、分離した動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記各動体画像が分離したストロボ画像を生成する、
   ことを特徴とする請求項６に記載の画像処理装置。
10. 前記判別パラメータ取得部は、設定した座標毎に、
    数１に従い、前記静止体画像生成部が生成した前記静止体画像と前記各フレーム画像との同一座標(x,y)における画素値の差を取得し、
    数２に従い、前記静止体画像と第ｎフレーム画像との同一座標(x,y)における第１の標準偏差を前記静止体画像を判別するための判別パラメータとして取得し、
    数３に従い、同一座標(x,y)における前記第１の標準偏差を超える静止体画像の画素値と前記第ｎフレーム画像の画素値との差を取得し、
    数４に従い、第２の標準偏差を前記動体画像を判別するための判別パラメータとして取得し、
    前記動体領域取得部は、
    数５に従い、前記第ｎフレーム画像の座標(x,y)において、数１に示す前記画素値の差が、数４に従って取得した前記第２の標準偏差以上の場合には、当該画素値を有効とし、前記第２の標準偏差未満の場合には、当該画素値を無効とするデータを取得し、取得したデータを重ね合わせて、前記静止体画像の透過画素座標を特定する領域マスクデータを作成し、作成した前記領域マスクデータを用いて、前記動体領域を取得する、
    ことを特徴とする請求項６乃至９のいずれか１項に記載の画像処理装置。
    
11. 前記動体領域取得部は、前記数５に従って取得した前記データに対して、さらに、ラベリング処理を行い、最大面積を有する領域のデータを取得することにより、前記動体領域を取得する、
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記動体領域判別部は、前記第ｎフレーム画像の座標(x,y)において当該画素値を有効、無効とするデータに対し、膨張処理、縮退処理及び穴埋め処理のうちの少なくとも１つの処理を行うことにより、取得した前記動体領域を補正する、
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記静止体画像生成部は、前記記憶部から取得した前記各フレーム画像のそれぞれに対して高調波成分を濾波するフィルタ部を備え、前記フィルタ部で前記高調波成分を濾波した前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値のうちから前記静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体画像を生成する、
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記静止体画像生成部は、前記記憶部から取得した前記各フレーム画像の特徴点を取得し、前記各フレーム画像の特徴点の座標を対応させることにより、前記各フレーム画像間の位置ズレ補正を行い、前記位置ズレ補正を行った前記各フレーム画像から同一座標の画素値を取得し、取得した同一座標の複数の画素値のうちから前記静止体画素値を取得し、前記座標毎に取得した前記静止体画素値に基づいて前記静止体画像を生成する、
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 動体と該動体後方の静止体とを連写して複数のフレーム画像を取得する撮影部と、
    前記撮影部が取得した前記複数のフレーム画像に画像処理を行う請求項１乃至１４のいずれか１項に記載の画像処理装置と、を備えた、
    ことを特徴とする撮影装置。
16. 複数のフレーム画像を取得するステップと、
    取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得するステップと、
    取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得するステップと、
    前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成するステップと、を備えた、
    ことを特徴とする画像処理方法。
17. 動体と前記静止体とを連写して得られた複数のフレーム画像を記憶するステップを備え、
    前記複数のフレーム画像を取得するステップは、記憶した前記複数のフレーム画像を取得するステップである、
    ことを特徴とする請求項１６に記載の画像処理方法。
18. さらに、
    生成した前記静止体画像と各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得するステップと、
    前記座標毎に取得した前記判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を取得するステップと、
    前記フレーム画像毎に、取得した前記動体領域の座標と生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成するステップと、を備えた、
    ことを特徴とする請求項１６又は１７に記載の画像処理方法。
19. コンピュータに、
    複数のフレーム画像を取得する手順、
    取得した各フレーム画像にそれぞれ座標を設定し、設定した座標毎に、前記各フレーム画像から同一座標の画素値を取得する手順、
    取得した同一座標の複数の画素値のうちから静止体を示す静止体画素値を取得する手順、
    前記座標毎に取得した前記静止体画素値に基づいて前記静止体の静止体画像を生成する手順、
    を実行させるためのプログラム。
20. 動体と前記静止体とを連写して得られた複数のフレーム画像を記憶する手順を備え、
    前記複数のフレーム画像を取得する手順は、記憶した前記複数のフレーム画像を取得する手順である、
    ことを特徴とする請求項１９に記載のプログラム。
21. さらに、
    生成した前記静止体画像と各フレーム画像との同一座標の画素値の差を取得して、取得した前記画素値の差に基づいて、設定した座標毎に、前記静止体画像と前記動体を示す動体画像とを判別するための判別パラメータを取得する手順、
    前記座標毎に取得した前記判別パラメータを用いて前記フレーム画像毎に前記動体画像を判別し、判別した前記動体画像が存在する動体領域を取得する手順、
    前記フレーム画像毎に、取得した前記動体領域の座標と生成した前記静止体画像の座標とを対応させ、前記動体領域の座標に前記フレーム画像の座標を対応させて前記フレーム画像の画素値を前記静止体画像の座標に登録することにより、前記静止体画像と複数の前記動体画像とが重なり合ったストロボ画像を生成する手順、
    を実行させるための請求項１９又は２０に記載のプログラム。