JP2010066866A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】高速かつ効率的にストロボ画像を生成することが可能な画像処理装置、画像処理方法、及びプログラムを提供する。
【解決手段】連続する複数の撮影フレームを生成し、生成された撮影フレームの中から合成対象のフレームを検出し、検出された各フレームの同一座標ごとのピクセル値を取得する。そして、取得されたピクセル値を値に従って並び替え、並び替えられたピクセル値のうち中央に位置するピクセル値に基づいて背景画像を生成し、生成された背景画像と合成対象の各フレームの差に基づいて被写体のみを抽出し、抽出された被写体を合成する。
【選択図】図６

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、固定されたカメラで移動する被写体を撮影し、１枚の画像（写真）内に当該被写体の移動の経過を表したストロボ画像が知られている。フィルムカメラの時代においては、長時間露光中に移動する被写体へ複数回のストロボ発光を行うことでストロボ画像を生成していたが、デジタルカメラが普及した今日においては、カメラ内のコンピュータによる画像処理でストロボ画像を生成することが可能となっている。

上記のような画像処理によるストロボ画像生成を行っているものとして、例えば特許文献１には、連写画像の中から被写体が重ならない画像を選択し、その差を利用することで、被写体領域を抽出する技術が開示されている。
また、例えば特許文献２には、動画像上の特定の調査領域の相関パターンから背景が写っている時間区間を特定することで移動体を判別したり、被写体が写っている画像の前後の被写体が映っていない画像を利用して変動のない被写体を予想したりすることで、移動する被写体の移動速度を想定する技術が開示されている。
特許第３７９３２５８号公報 特許第３５６９９９２号公報

しかしながら、上記従来技術では、連写撮影や動画撮影におけるフレームレートが変化したり、被写体の大きさが変化したりする場合などでは、撮影画像すべてについての領域情報が取得できるまで画像内での被写体の位置を特定することができない。そのため、連写画像や動画像からストロボ画像を生成する場合、使用する画像の選択に時間がかかってしまい、ストロボ画像を高速に生成することができなかった。

本発明は、高速かつ効率的にストロボ画像を生成することが可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

請求項１に記載の発明は、上記目的を達成するためになされたものであり、画像処理装置において、連続する複数の撮影フレームの画像を生成する撮影手段と、前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定手段と、前記設定手段により設定された評価領域における前記画像の変化に基づいて、前記撮影手段により生成された複数の撮影フレームの中から合成対象フレームを検出する検出手段と、前記検出手段により検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記撮影手段は、低解像度の前記画像を生成し、前記検出手段は、前記撮影手段が生成する前記低解像度の画像を用いて前記合成対象フレームを検出することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、前記検出手段は、前記設定手段により設定された一の評価領域に変化が表れたフレームを合成開始フレームとして検出した後、前記設定手段により設定された他の評価領域の変化が終了したフレームを合成終了フレームとして検出することを特徴とする。

請求項４に記載の発明は、請求項１又は２に記載の画像処理装置において、前記検出手段は、前記設定手段により設定された評価領域に変化が表れたフレームを合成開始フレームとして検出した後、当該評価領域の変化が終了したフレームを合成終了フレームとして検出することを特徴とする。

請求項５に記載の発明は、請求項３又は４に記載の画像処理装置において、前記撮影手段は、前記検出手段により検出された前記合成開始フレームから前記合成終了フレームまでの間、高解像度の画像を生成することを特徴とする。

請求項６に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置において、前記検出手段は、前記撮影手段により生成された複数の撮影フレームの中から所定の枚数の合成対象フレームを検出することを特徴とする。

請求項７に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置において、前記検出手段により検出された前記合成対象フレームの数及び所望する合成対象フレームの数に基づいて、前記撮影手段の連写速度を算出する算出手段を備え、前記撮影手段は、次の撮影において、前記算出手段により算出された連写速度で前記画像を生成することを特徴とする。

請求項８に記載の発明は、請求項１〜５のいずれか一項に記載の画像処理装置において、前記画像合成手段は、前記検出手段により検出された合成対象フレームの画像について、同一座標ごとのピクセル値を取得し、当該取得されたピクセル値を値に従って並び替え、当該並び替えられたピクセル値のうち中央に位置するピクセル値に基づいて背景画像を生成する生成手段と、前記合成対象フレームの画像と前記生成手段により生成された背景画像との差に基づいて、被写体の画像領域を抽出する抽出手段と、前記抽出手段により抽出された被写体の画像領域を合成する被写体合成手段と、を備えることを特徴とする。

請求項９に記載の発明は、請求項８に記載の画像処理装置において、前記抽出手段により抽出された被写体の画像領域のうち、使用者が任意の被写体の画像領域を合成用画像として選択するための選択手段を更に備え、前記被写体合成手段は、前記選択手段により選択された被写体の画像領域を合成することを特徴とする。

請求項１０に記載の発明は、連続する複数の撮影フレームの画像を生成させる撮影ステップと、前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定ステップと、前記設定ステップにより設定された評価領域における前記画像の変化に基づいて、前記撮影ステップにより生成された複数の撮影フレームの中から合成対象フレームを検出する検出ステップと、前記検出ステップにより検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成ステップと、を含むことを特徴とする画像処理方法である。

請求項１１に記載の発明は、コンピュータに、連続する複数の撮影フレームの画像を生成させる撮影機能と、前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定機能と、前記設定機能により設定された評価領域における前記画像の変化に基づいて、前記撮影機能により生成された複数の撮影フレームの中から合成対象フレームを検出する検出機能と、前記検出機能により検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成機能と、を実現させるためのプログラムである。

本発明によれば、高速かつ効率的にストロボ画像を生成することが可能な画像処理装置、画像処理方法、及びプログラムを提供することができる。

以下、本発明の実施の形態を図面に基づいて説明する。本実施形態では、本発明に係る画像処理装置をデジタルスチルカメラ（以下、デジタルカメラ）に適用した場合について例示する。本実施形態に係るデジタルカメラ１は、一般的なデジタルスチルカメラが有する機能を備えているものとし、この中には、少なくとも連写機能が含まれているものとする。連写機能とは、１回のシャッタ操作で、連続した複数の撮影画像を得ることができる機能のことである。

また、本実施形態に係るデジタルカメラ１は、本発明の適用により、連写機能によって得られた撮影画像からストロボ画像（マルチストロボ画像）を生成するストロボ画像生成機能を有する。本実施形態では、デジタルカメラ１でストロボ画像を生成する際、デジタルカメラ１を固定して、移動する被写体を連写機能により撮影することとする。
なお、本実施形態では、デジタルカメラ１で撮影する対象を「被写体」、連続して撮影した写真データを「フレーム」、フレームに含まれる撮影範囲を「画角」、被写体を重ね合わせた画像を「ストロボ画像」、と呼ぶものとする。

図１は、本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。
図１に示すように、デジタルカメラ１は、画像データ生成部２１と、データ処理部２２と、ユーザインタフェース部２３と、を備えて構成される。

画像データ生成部２１は、光学レンズ部１０１と、イメージセンサ１０２と、を備えて構成され、被写体を撮影する機能を有する。
光学レンズ部１０１は、被写体を撮影するために光を集光するレンズ等で構成されたものであり、焦点、露出、ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。
イメージセンサ１０２は、例えば、ＣＣＤ（Charge Coupled Device）等で構成され、光学レンズ部１０１が光を集光することによって結像した画像を、デジタル化した画像データ（画像フレーム）として取り込む。取り込まれた画像データは、データ処理部２２のメモリ２０１に一時的に記憶される。

なお、画像データ生成部２１は、低解像度画像撮影（プレビュー撮影）と高解像度画像撮影が可能である。低解像度画像撮影は、例えば、画像解像度がＸＧＡ（Extended Graphics Array：１０２４×７６８ドット）程度と低いが、３０ｆｐｓ（フレーム／秒）の速さで動画撮影と画像読み出しが可能である。一方、高解像度画像撮影は、例えば、撮影可能な最大画素数（例えば４００万画素のカメラである場合はその４００万画素）での画像撮影を行うことができるが、画像の読み取り速度は遅くなる。

データ処理部２２は、メモリ２０１と、ビデオ出力部２０２と、画像処理部２０３と、ＣＰＵ２０４と、プログラムメモリ２０５と、を備えて構成される。
メモリ２０１は、撮影処理を行う度にイメージセンサ１０２が取り込んだ画像データを一時記憶する。また、メモリ２０１は、画像処理に必要な画像データ、各種フラグの値、閾値等も記憶する。さらに、メモリ２０１は、画像表示を行うための表示画像データの記憶と読み出しを行うための表示メモリ領域を含んでいる。
ビデオ出力部２０２は、メモリ２０１の表示メモリ領域に格納された表示画像データを読み出し、当該読み出された表示画像データに基づいてＲＧＢ信号を生成し、当該生成されたＲＧＢ信号をユーザインタフェース部２３の液晶表示部３０１に出力する。また、ＲＧＢ信号を、ユーザインタフェース部２３の外部インタフェース３０３を介して外部出力させることにより、テレビやＰＣ、プロジェクタ等の外部機器に画像表示させることも可能である。
画像処理部２０３は、メモリ２０１に一時記憶されている画像データに対して、画像表示を行うための所定の画像処理を施す。当該画像処理を施された画像データは、表示画像データとしてメモリ２０１の表示メモリ領域に格納される。

ＣＰＵ２０４は、プログラムメモリ２０５に記憶されたデジタルカメラ１用の各種処理プログラムに従って各種制御動作を行う。
プログラムメモリ２０５は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリなどの記憶装置から構成され、ＣＰＵ２０４の動作に必要な各種プログラムやデータを記憶する。具体的には、被写体を撮影し当該被写体のストロボ画像を生成するための撮影プログラム、合成処理の開始フレームを検出するための開始フレーム検出プログラム、合成処理の終了フレームを検出するための終了フレーム検出プログラム、合成フレームを特定するための合成フレーム特定プログラム、特定された合成フレームから被写体を抽出してストロボ画像を合成するための合成プログラム、背景画像を生成するための背景画像生成プログラム、被写体を判別するための被写体判別パラメータ算出プログラム、被写体のみを抽出するための被写体抽出プログラム等を記憶している。

ユーザインタフェース部２３は、液晶表示部３０１と、操作部３０２と、外部インタフェース３０３と、外部メモリ３０４と、を備えて構成される。
液晶表示部３０１は、ビデオ出力部２０２から出力されたＲＧＢ信号に基づいて被写体画像を表示する。具体的には、画像データ生成部２１により生成された複数の画像データ（画像フレーム）に基づいたライブビュー画像や録画中に外部メモリ３０４に記録される動画像を表示したり、外部メモリ３０４に記録された動画像を再生表示したりする。
なお、液晶表示部３０１は、ビデオ出力部２０２から適宜出力される表示画像データを一時的に記憶するビデオメモリ（図示せず）を備えるようにしてもよい。
操作部３０２は、ユーザがデジタルカメラ１における所定の操作を行うための機能であり、ユーザの操作に応じた操作信号をＣＰＵ２０４に出力する。操作部３０２は、例えば、シャッタボタン、選択決定用ボタン、再生ボタン、撮影ボタン等を備えている。
外部インタフェース３０３は、テレビやＰＣ、プロジェクタ等の外部機器との接続用端子であり、所定の通信ケーブルを介してデータの送受信を行う。
外部メモリ３０４は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、画像データ生成部２１により撮影された被写体画像の画像データを複数記憶する。

図２は、実際にストロボ撮影を行っている様子について示した図である。また、図３は、図２で連続撮影されたフレーム群と、当該フレーム群を合成した画像（ストロボ画像）と、を示した図である。すなわち、図２に示したように被写体をデジタルカメラ１で連続撮影すると、図３（ｂ）に示したようなストロボ画像が出来上がることとなる。
固定されたデジタルカメラ１で移動する被写体を連続撮影すると、フレーム内では被写体のみが移動することとなる。連続撮影された結果、図３（ａ）に示したような「フレーム」が生成される。このフレームの中で移動する被写体の領域（以下、移動領域）を後に述べる処理（図６に示す撮影処理）で抽出し、この抽出された移動領域を重ね合わせることで、図３（ｂ）に示したような動きのある合成画像が生成される。

ただし、すべての連写画像における移動領域を重ね合わせていくと、被写体の移動速度や連写スピードによっては、重なり具合が大きかったり、逆に撮影のタイミングが合わずに被写体がほとんど写っていなかったり、処理枚数が多くなりすぎて処理時間が増大してしまったりしてしまう。
そこで、これらの問題を解決すべく、図４において、撮影したい被写体の通過を検出する領域（評価領域）を画角内に予め設定し、当該評価領域を通過しはじめた時点から通過し終わった時点までの撮影画像を利用することで、合成に適した画像を自動選択する方法を提案する。

図４は、評価領域が設定されている画角内を被写体が通過していく様子について示した図である。なお、図４（ａ）に示すように、画角内には予め開始評価領域ｆａ＿ｉｎ（ｎ）と、終了評価領域ｆａ＿ｏｕｔ（ｎ）と、が設定表示されている。
図４（ｂ）は、画面左から右に被写体が移動し、開始評価領域ｆａ＿ｉｎ（ｎ）内に変化が生じた様子が示されている。このように、開始評価領域ｆａ＿ｉｎ（ｎ）に変化が生じると、当該変化が検出され、合成対象の開始フレームを特定することが可能となる。
一方、図４（ｃ）は、画面左から右に被写体が移動し、終了評価領域ｆａ＿ｏｕｔ（ｎ）内に変化が生じた様子が示されている。このように、終了評価領域ｆａ＿ｏｕｔ（ｎ）に変化が生じると、当該変化が検出され、当該変化が終了したフレームを合成対象の終了フレームとして特定することが可能となる。
このように、本実施形態に係るデジタルカメラ１は、変動評価領域を２箇所設定することで、合成対象の開始フレームと終了フレームを正確に検出することができる。

図４に示したように、画角内の被写体の移動を検出し、その結果特定される合成対象のフレームと、後述する図６の処理により抽出される背景フレームとの差分が、例えば、図５に示すように、フレーム毎の被写体位置を示す。
このように、被写体を撮影し、合成対象のフレームを特定し、ストロボ画像の合成処理を行うまでの一連の流れを次の図６を用いて詳細に説明する。

（第１実施形態）
図６は、デジタルカメラ１内で行われる撮影処理の一例について示したフローチャートである。この撮影処理は、ユーザによりシャッタボタンが押下操作され、画像の撮影が開始されたことを契機に、ＣＰＵ２０４がプログラムメモリ２０５に格納されている撮影プログラムを実行することにより実現される。
具体的には、ユーザにより撮影操作（シャッタボタンの押下）が行われると、当該操作に応じた入力信号がＣＰＵ２０４に入力される。ＣＰＵ２０４は当該入力信号を受け付けると、画像データ生成部２１を制御して、移動する被写体の連写撮影を行わせる。（この連写撮影動作は、ユーザがシャッタボタンを押下し続けている間行われる。）
まず、図６に示すように、撮影画像を一時的にメモリ２０１に記憶させながら（ステップＳ１０１）、停止操作が行われるまで連写撮影を行わせる（ステップＳ１０２で“Ｎｏ”）。この連写撮影中に停止操作が行われた場合（ステップＳ１０２で“Ｙｅｓ”）、撮影枚数が複数であるか否かを判別する（ステップＳ１０３）。ここで、撮影枚数が複数でなかった場合、すなわち、撮影枚数が１枚だった場合（ステップＳ１０３で“Ｎｏ”）は、そのまま撮影画像の結果を液晶表示部３０１に表示させた（ステップＳ１０８）後、当該画像を記憶させるか否かを判別し（ステップＳ１０９）、当該画像を記憶させる場合は（ステップＳ１０９で“Ｙｅｓ”）、外部メモリ３０４に記憶（ステップＳ１１０）させて終了する。一方、撮影枚数が複数だった場合（ステップＳ１０３で“Ｙｅｓ”）は、後述する開始フレーム検出処理（ステップＳ１０４）、終了フレーム検出処理（ステップＳ１０５）、合成フレーム特定処理（ステップＳ１０６）を経て、合成処理（ステップＳ１０７）を行う。当該合成処理が行われると、合成画像の結果を液晶表示部３０１に表示した（ステップＳ１０８）後、当該画像を記憶させるか否かを判別し（ステップＳ１０９）、当該画像を記憶させる場合は（ステップＳ１０９で“Ｙｅｓ”）、外部メモリ３０４に記憶（ステップＳ１１０）させて終了する。

図７は、開始フレーム検出処理の一例について示したフローチャートである。なお、評価用データには、実撮影データではなく、リアルタイム表示に使われる低解像度データ（プレビュー）が用いられる。
まず、図７に示すように、変数ｎに「０」を設定する（ステップＳ１２１）。図７において、変数ｎは撮影フレームのフレーム番号を表すものとする。そして、低解像度データにおける開始評価領域をｆａ＿ｉｎ（ｎ）として取得する（ステップＳ１２２）。ただし、最初のフレーム、すなわちｎ＝０の場合（ステップＳ１２３で“Ｙｅｓ”）は、比較対象のフレームが存在しないために取得処理のみが行われ、変数ｎに１を加算した後（ステップＳ１２８）、次のフレーム（ｎ＝１）の取得処理を行う。前回のフレームにおいて取得した開始評価領域（ｆａ＿ｉｎ（ｎ−１））と今回のフレームにおいて取得した開始評価領域（ｆａ＿ｉｎ（ｎ））とが揃った段階で比較が行われ、両者がほぼ同じ画像であれば（ステップＳ１２４で“Ｙｅｓ”）次のフレーム（ｎ＝ｎ＋１）の取得処理へと移行する。一方、両者がほぼ同じ画像とみなせない場合は（ステップＳ１２４で“Ｎｏ”）、変化があった、つまり被写体が通過したとみなすことができるので、フレーム番号ｎを開始フレーム「ｎ＿ｉｎ」として記録する（ステップＳ１２５）。ここで、撮影枚数を“ｆｒａｍｅ＿ｎｕｍ”とすると、最後のフレーム（ｎ＝ｆｒａｍｅ＿ｎｕｍ−１）まで通過を検出できなかった場合は（ステップＳ１２６で“Ｙｅｓ”）、最初のフレーム（ｎ＝０）を開始フレーム「ｎ＿ｉｎ」として記録する（ステップＳ１２７）。

このように、本実施形態に係るデジタルカメラ１は、画角内に変動評価領域を予め設定し、当該変動評価領域に変化が表れたフレームを合成開始フレームとして検出することができるので、合成対象の開始フレームを正確に検出することができる。

図８は、終了フレーム検出処理の一例について示したフローチャートである。図８において、変数ｎは撮影フレームのフレーム番号を表すものとする。
図８に示すように、図７で検出された開始フレーム「ｎ＿ｉｎ」を初期フレームに設定し（ステップＳ１３１）、さらに、フレーム内の終了評価領域をｆａ＿ｏｕｔ（ｎ）として取得する（ステップＳ１３２）。ただし、最初のフレーム、すなわちｎ＝ｎ＿ｉｎの場合（ステップＳ１３３で“Ｙｅｓ”）は、比較対象のフレームが存在しないために取得処理のみが行われ、変数ｎに１を加算した後（ステップＳ１３７）、次のフレームの取得処理を行う。前回取得した終了評価領域（ｆａ＿ｏｕｔ（ｎ−１））と今回取得した終了評価領域（ｆａ＿ｏｕｔ（ｎ））が揃った段階で比較が行われ、両者がほぼ同じ画像であれば（ステップＳ１３４で“Ｙｅｓ”）次のフレーム（ｎ＝ｎ＋１）の取得処理へと移行する。一方、両者がほぼ同じ画像とみなせない場合は（ステップＳ１３４で“Ｎｏ”）、変化があった、つまり被写体が通過したとみなすことができるので、フレーム番号ｎを終了フレーム「ｎ＿ｏｕｔ」として記録する（ステップＳ１３５）。最後のフレーム（ｎ＝ｆｒａｍｅ＿ｎｕｍ−１）まで通過を検出できなかった場合は（ステップＳ１３６で“Ｙｅｓ”）、フレーム番号ｎを終了フレーム「ｎ＿ｏｕｔ」として記録する（ステップＳ１３５）。

このように、本実施形態に係るデジタルカメラ１は、画角内に変動評価領域を予め設定し、当該変動評価領域に変化が表れた後、当該変化が終了したフレームを合成終了フレームとして検出することができるので、合成対象の終了フレームを正確に検出することができる。

図９は、合成フレーム特定処理の一例について示したフローチャートである。図９において、変数ｎは、合成フレーム特定処理において特定される合成フレームのフレーム番号を表すものとする。
図９に示すように、図７で検出された開始フレーム（ｎ＿ｉｎ）から図８で検出された終了フレーム（ｎ＿ｏｕｔ）までの被写体の存在するフレームを有効フレームとし、この有効フレームの数（（ｎ＿ｏｕｔ）−（ｎ＿ｉｎ）＋１）を有効フレーム数（ｎ＿ａｌｌ）として設定する（ステップＳ１４１）。ステップＳ１４１で設定された有効フレーム数（ｎ＿ａｌｌ）が実際に合成したいフレーム枚数（ｎｕｍ）より少ない場合（ステップＳ１４２で“Ｙｅｓ”）は、図７で検出された開始フレーム（ｎ＿ｉｎ）からのすべての有効フレームを、合成フレームとして対応付ける。すなわち、開始フレーム（ｎ＿ｉｎ）からの撮影フレームのフレーム番号を、合成フレームを参照するためのＦｒａｍｅ［ｎ］に順次設定する。まず、合成フレームのフレーム番号を表す変数ｎに初期値「０」を設定する（ステップＳ１４３）。この変数ｎの値が有効フレーム数（ｎ＿ａｌｌ）よりも小さい場合（ステップＳ１４４で“Ｙｅｓ”）は、変数ｎの値を開始フレーム（ｎ＿ｉｎ）に加算した値をＦｒａｍｅ[ｎ]に設定する（ステップＳ１４５）。その後、変数ｎに１を加算する（ステップＳ１４６）。このように、合成フレームのフレーム番号を表す変数ｎの値が有効フレーム数（ｎ＿ａｌｌ）と等しくなる（ステップＳ１４４で“Ｎｏ”）まで変数ｎの値に対応するフレームＦｒａｍｅ［ｎ］が合成フレームとして設定されるので、ｎ＿ｉｎからｎ＿ｏｕｔにかけてのすべてのフレームが合成フレームとして利用されることとなる。なお、後述する背景画像生成処理に枚数が不足する場合は、開始フレーム（ｎ＿ｉｎ）と終了フレーム（ｎ＿ｏｕｔ）の前後のデータを合成フレームとして利用することも可能である。

一方、ステップＳ１４１で設定された有効フレーム数（ｎ＿ａｌｌ）が実際に合成したいフレーム枚数（ｎｕｍ）以上の場合（ステップＳ１４２で“Ｎｏ”）は、有効フレーム数（ｎ＿ａｌｌ）を合成したいフレーム枚数（ｎｕｍ）で割った値（＝ｆ）おきのフレームを利用する（ステップＳ１４７）。まず、合成フレームのフレーム番号を表す変数ｎに「０」を設定（ステップＳ１４８）して初期化を行う（この場合、ｎｆ＝０．０となる）。変数ｎの値が合成したいフレーム枚数（ｎｕｍ）より小さい場合（ステップＳ１４９で“Ｙｅｓ”）は、変数ｍにｎｆの整数部（フレーム番号に小数は存在しないため）を代入し（ステップＳ１５０）、当該変数ｍの値を開始フレーム（ｎ＿ｉｎ）に加算した値をフレーム番号Ｆｒａｍｅ[ｎ]に設定する（ステップＳ１５１）。その後、ｎｆにｆを（ステップＳ１５２）、変数ｎに１を加算していき（ステップＳ１５３）、変数ｎの値が合成したいフレーム枚数（ｎｕｍ）以上になる（ステップＳ１４９で“Ｎｏ”）まで、ステップＳ１５０以降の処理が繰り返されることとなる。また、ステップＳ１４４で変数ｎの値が有効フレーム数（ｎ＿ａｌｌ）に達した場合（ステップＳ１４４で“Ｎｏ”）、又は、ステップＳ１４９で変数ｎの値が合成したいフレーム枚数（ｎｕｍ）に達した場合（ステップＳ１４９で“Ｎｏ”）は、変数ｎを合成フレームのフレーム数を表す合成フレーム数“Ｐａｇｅ”に代入する（ステップＳ１５４）。

このように、本実施形態に係るデジタルカメラ１は、生成された撮影フレームの中から必要な枚数のフレームのみを選択することができるので、高速かつ効率的にストロボ画像を生成することが可能となる。

図１０は、合成処理の一例について示したフローチャートである。図１０において、変数ｎは、合成フレームのフレーム番号を表す。また、合成フレームは、図９で設定されたＦｒａｍｅ［ｎ］に基づいて撮影フレームを参照するものとする。また、“Ｐａｇｅ”は合成フレームのフレーム数である。
図１０に示すように、図９で合成フレームが特定されると、後述する背景画像生成処理（ステップＳ１６１）、被写体判別パラメータ算出処理（ステップＳ１６２）を行う。その後、変数ｎに「０」を設定して初期化し（ステップＳ１６３）、全ての合成フレームに対して（ステップＳ１６５で“Ｎｏ”、ステップＳ１６６）後述する被写体抽出処理（ステップＳ１６４）を行う。そして、最後の合成フレームから順に（ステップＳ１７１）、それぞれ抽出された被写体領域のうち合成画像に未登録の部分のみを重ね合わせて登録し（ステップＳ１６９、Ｓ１７０）、最後に（ステップＳ１６７で“Ｙｅｓ”）まだ書き込まれていない合成画像の未登録座標に対して最初の合成フレーム（ｎ＝０）のデータを書き込んでいく（ステップＳ１６８）。これにより、例えば図３（ｂ）のように、すべての座標にデータが書き込まれる。このように生成された合成画像は、液晶表示部３０１でプレビュー表示され（図６のステップＳ１０８）、外部メモリ３０４に記憶されることとなる（図６のステップＳ１１０）。

図１１は、背景画像生成処理の一例について示したフローチャートである。
まず、図１１に示すように、調査座標（ｘ，ｙ）の初期化（ｘ，ｙにそれぞれ０を設定）を行う（ステップＳ１８１）。次に、合成フレームのフレーム番号を表す変数ｎに０を設定して初期化する（ステップＳ１８２）。上述した合成フレーム特定処理のステップＳ１４５又はステップＳ１５１で設定したＦｒａｍｅ［ｎ］を参照しながらすべての合成フレームの同一座標の値（ピクセル値）を取得する（ステップＳ１８３〜ステップＳ１８５）。取得されたピクセル値は、値に従って並び替えられることとなる（ステップＳ１８６）。当該並び替え処理は、例えば、数１によって表すことができる。

そして、ステップＳ１８６で並び替えられたピクセル値のうち中央に位置するピクセル値を、背景画像ｆｂ（ｘ，ｙ）の調査座標（ｘ、ｙ）に登録する（ステップＳ１８７）。当該登録処理は、例えば、数２によって表すことができる。

全調査座標について上記処理を繰り返す（ステップＳ１８８で“Ｎｏ”、ステップＳ１８９）ことで、背景画像を生成することができる。生成された背景画像はメモリ２０１に格納される。このように、背景画像の生成に調査座標ごとに取得されたピクセル値の中央値を利用することによって高速化が可能である。なお、ここでは調査座標ごとに取得されたピクセル値の中央値を利用したが、例えば、フレームの枚数や変動対象によっては平均値を取ることで高速化が可能な場合もある。また、調査画像及び生成される背景画像の座標数を実際の画像サイズより縮小する事で高速化することもできる。

図１２は、被写体判別パラメータ算出処理の一例について示したフローチャートである。
まず、図１２に示すように、調査座標（ｘ，ｙ）の初期化（ｘ，ｙにそれぞれ０を設定）を行う（ステップＳ１９１）。次に、合成フレームのフレーム番号を表す変数ｎに０を設定して初期化する（ステップＳ１９２）。ここで、調査座標（ｘ、ｙ）における合成フレームｎの値ｆ（ｎ，ｘ，ｙ）と背景画像生成によって生成された背景画像の値ｆｂ（ｘ，ｙ）との絶対値差ｆｄ（ｎ，ｘ，ｙ）を算出し、ピクセル値として登録する（ステップＳ１９３）。当該登録処理は、例えば、数３によって表すことができる。

すべての合成フレームの同一座標についてステップＳ１９３の登録処理が終了した後（ステップＳ１９４で“Ｙｅｓ”）、同一座標におけるピクセル値の標準偏差（以下、座標標準偏差）を算出して登録する（ステップＳ１９６、ステップＳ１９７）。当該座標標準偏差は、例えば、数４を演算することで算出することができる。

全調査座標について上記処理を終了すると（ステップＳ１９８で“Ｙｅｓ”）、調査座標（ｘ，ｙ）の初期化（ｘ，ｙにそれぞれ０を設定）を行う（ステップＳ２００）。次に、変数ｎに０を設定して初期化し（ステップＳ２０１）、ステップＳ１９７で登録された座標標準偏差を超えるピクセル値のみの登録データテーブルを作成する（ステップＳ２０２〜ステップＳ２０６）。そして、作成された登録データテーブルの標準偏差（以下、変動閾値ｍｏｖｅ）を算出する（ステップＳ２０７）。当該変動閾値ｍｏｖｅは、例えば、数５を演算することで算出することができる。

こうして算出されたパラメータを利用して、例えば図５に示すように、各フレームから被写体領域を抽出する。

図１３は、被写体抽出処理の一例について示したフローチャートである。
まず、図１３に示すように、調査座標（ｘ，ｙ）の初期化（ｘ，ｙにそれぞれ０を設定）を行う（ステップＳ２１１）。そして、座標（ｘ、ｙ）における合成フレームｎの値ｆ（ｎ，ｘ，ｙ）と背景画像生成によって生成された背景画像の値ｆｂ（ｘ，ｙ）との絶対値差ｆｄ（ｎ，ｘ，ｙ）が変動閾値ｍｏｖｅの値を超える座標を１、超えない座標を０とするデータｆｐ（ｎ，ｘ，ｙ）を生成する(ステップＳ２１２〜ステップＳ２１６)。当該生成されるデータｆｐ（ｎ，ｘ，ｙ）は、例えば、数６を演算することで算出することができる。

その後、生成された０と１のデータに対して、連続している領域には同じ番号を振り、離れている領域には別の番号を振るラベリングを行う。そして、ラベリングした領域のうち最大の領域のみを残し（ステップＳ２１７）、さらに、膨張（ステップＳ２１８）、穴埋め（ステップＳ２１９）、収縮（ステップＳ２２０）といった欠損を補完するための処理を行う。また、この際に、生成した領域情報の周辺部に透過パラメータを付加させることで、より自然な重ね合わせが可能となる。当該被写体抽出をすべての合成フレームに対して行うことで、すべての合成フレームの領域マスクデータが生成されることとなる。

このように、第１実施形態では、連写した画像中の特定領域の変動を見ることで、合成に有効なフレームを効率的に選択することを可能としている。さらに、合成対象フレームを必要枚数のみに絞り込むことができるので、高速にストロボ画像を生成することを可能としている。

上述したように、第１実施形態では、連写撮影後の低解像度画像に対して被写体領域の判定を行うものとしたが、低解像度画像を撮影中に取得することができれば、連写の開始と終了を撮影中に判定することも可能である。

（第２実施形態）
図１４は、撮影処理の一例（撮影処理２）について示したフローチャートである。
なお、第１実施形態とは異なり、最初は撮影を開始せず、開始評価領域の画像の変動を判別して撮影記憶を開始し、終了評価領域の画像の変動を判別して撮影記憶を終了する。
図１４に示すように、待機状態のままライブビュー画像を取得する（ステップＳ２２２）。そして、図７のステップＳ１２４で行った比較同様、前回の開始評価領域ｆａ＿ｉｎ（ｎ−１）と今回の開始評価領域ｆａ＿ｉｎ（ｎ）とを比較し（ステップＳ２２３）、開始評価領域に変動があるまでライブビュー画像の取得と表示を繰り返す（ステップＳ２２３で“Ｙｅｓ”）。その後、開始評価領域に変動があった時点（ステップＳ２２３で“Ｎｏ”）で、撮影された画像の記憶を開始する。撮影画像を一時的にメモリ２０１に記憶させながら（ステップＳ２２５）、図８のステップＳ１３４で行った比較同様、前回の終了評価領域ｆａ＿ｏｕｔ（ｎ−１）と今回の終了評価領域ｆａ＿ｏｕｔ（ｎ）とを比較し（ステップＳ２２６）、終了評価領域で変動があるまで、撮影画像の記憶を繰り返す（ステップＳ２２６で“ＹＥＳ”）。撮影終了時に撮影枚数が複数でなかった場合、すなわち、撮影枚数が１枚だった場合（ステップＳ２２８で“Ｎｏ”）は、そのまま撮影画像の結果を液晶表示部３０１に表示させた（ステップＳ２３３）後、当該画像を記憶させるか否かを判別し（ステップＳ２３４）、当該画像を記憶させる場合は（ステップＳ２３４で“Ｙｅｓ”）、外部メモリ３０４に記憶（ステップＳ２３５）させて終了する。一方、撮影枚数が複数だった場合（ステップＳ２２８で“Ｙｅｓ”）は、撮影開始フレームのフレーム番号“０”を開始フレーム「ｎ＿ｉｎ」として記録し（ステップＳ２２９）、撮影終了フレームのフレーム番号を終了フレーム「ｎ＿ｏｕｔ」として記録する（ステップＳ２３０）。さらに、合成フレーム特定処理（ステップＳ２３１）を経て、合成処理（ステップＳ２３２）を行う。当該合成処理が行われると、合成画像の結果を液晶表示部３０１に表示させた（ステップＳ２３３）後、当該画像を記憶させるか否かを判別し（ステップＳ２３４）、当該画像を記憶させる場合は（ステップＳ２３４で“Ｙｅｓ”）、外部メモリ３０４に記憶（ステップＳ２３５）させて終了する。

このように、本実施形態に係るデジタルカメラ１は、撮影フレーム生成前の低解像度の画像を用いて合成対象のフレームを検出することができる。また、デジタルカメラ１は、変動評価領域に変化が検出された後、当該変化の終了が検出されるまでの間、連続する複数の撮影フレームを生成するので、より少ない撮影枚数によって合成対象のフレームを特定することができる。
これにより、連写撮影の開始と終了を撮影中に判定することができ、より高速かつ効率的にストロボ画像を生成することが可能となる。

また、第１実施形態では、合成の開始フレームと終了フレームを特定するために開始評価領域と終了評価領域を定義したが、例えば、図１５に示すように、画角全体に渡った評価領域ｆａ＿ａｌｌ（ｎ）を定義し、この評価領域に変動があった最初のフレームをｎ＿ｉｎ、最後のフレームをｎ＿ｏｕｔとすることで、合成対象を選択するようにしてもよい。
この場合でも、第１実施形態において、図７で示した開始評価領域ｆａ＿ｉｎ（ｎ）をｆａ＿ａｌｌ（ｎ）とし、図１６に示すように、図８で示した終了評価領域ｆａ＿ｏｕｔ（ｎ）をｆａ＿ａｌｌ（ｎ）とし、前回取得したフレーム（ｆａ＿ａｌｌ（ｎ−１））といま取得したフレーム（ｆａ＿ａｌｌ（ｎ））とで差がなくなった時点（ステップＳ２４４で“Ｙｅｓ”）を終了フレームとすることで実現可能である。
同様に、図１７に示すように、上記図１４で示したｆａ＿ｉｎ（ｎ）をｆａ＿ａｌｌ（ｎ）、ｆａ＿ｏｕｔ（ｎ）をｆａ＿ａｌｌ（ｎ）とし、前回取得したフレーム（ｆａ＿ａｌｌ（ｎ−１））といま取得したフレーム（ｆａ＿ａｌｌ（ｎ））とで差がなくなった時点（ステップＳ２５５で“Ｙｅｓ”）を撮影停止地点とすることで実現可能である。

ただし、この場合、図１６のステップＳ２４７の終了フレームｎ＿ｏｕｔの値、及び図１７のステップＳ２６０の終了フレームｎ＿ｏｕｔの値は、最終評価領域ｆａ＿ａｌｌ（ｎ）の変動がなくなった時点での撮影フレームのフレーム番号であり、実際に被写体が写っているのはその２つ前のフレームまでであるため、当該撮影フレームのフレーム番号から２を減じた値となる。

第１実施形態では、撮影済みの画像又はライブビュー画像における評価領域の変動に基づいて合成対象の画像を選択するようにしていたが、これは被写体によってどのような連写速度が適切か判別できなかったためである。例えば、被写体が同じ移動速度で繰り返し撮影位置を通過する場合、ライブビュー状態で移動体を検出する第２実施形態を使えば、ライブビューの連写間隔から、どれくらいの連写速度で撮影すれば、画角内に被写体が存在するか予想することができる。

（第３実施形態）
図１８は、評価領域が設定されている画角内を被写体が通過していく様子について示した図である。なお、図１８（ａ）に示すように、画角内には予め開始評価領域ｆａ＿ｉｎ（ｎ）と、終了評価領域ｆａ＿ｏｕｔ（ｎ）と、が設定表示され、３０ｆｐｓの速度で連写撮影が行われているものとする。
図１８（ｂ）は、画面左から右に被写体が移動し、開始評価領域ｆａ＿ｉｎ（ｎ）内に変化が生じた様子が示されている。このように、開始評価領域ｆａ＿ｉｎ（ｎ）に変化が生じると、当該変化が検出され、合成対象の開始フレームを特定することが可能となる。
一方、図４（ｃ）は、画面左から右に被写体が移動し、終了評価領域ｆａ＿ｏｕｔ（ｎ）内に変化が生じた様子が示されている。このように、終了評価領域ｆａ＿ｏｕｔ（ｎ）に変化が生じると、当該変化が検出され、当該変化が終了したフレームを合成対象の終了フレームとして特定することが可能となる。

ここで、図１８（ｂ）で特定された開始フレームと、図１８（ｃ）で特定された終了フレームと、の差が３０フレームだったとすると、被写体が画角を通過した時間は３０［ｆ］÷３０［ｆｐｓ］＝１［ｓ］であることがわかる。すなわち、１ｆｐｓで撮影を行うと、１［ｆｐｓ］×１［ｓ］＝１［ｆ］撮影されることとなるため、合成したいフレーム数が例えば５フレームであれば、５［ｆ］÷１［ｓ］＝５［ｆｐｓ］で撮影すればよいことがわかる。
このように、ライブビュー画像において、開始評価領域ｆａ＿ｉｎ（ｎ）と終了評価領域ｆａ＿ｏｕｔ（ｎ）の間で変動が発生するフレームの枚数が測定できれば、数７を用いることにより、必要連写速度を特定することができる。

図１９は、撮影処理の一例（撮影処理４）について示したフローチャートである。
まず、図１９に示すように、変数ｎに０を設定して初期化した（ステップＳ２７１）後、ライブビュー画像を利用して、図１８に示す開始評価領域ｆａ＿ｉｎ（ｎ）と終了評価領域ｆａ＿ｏｕｔ（ｎ）を移動体が通過する間の有効フレーム数を取得する（ステップＳ２７２〜ステップＳ２７８）。取得された有効フレーム数（ｎ＿ａｌｌ）、合成必要枚数（ｎｕｍ）、及びライブビューの連写速度（ｓｌ）から、数７を用いて必要な連写速度（ｓ）を算出し、高解像度撮影用の連写速度として設定する（ステップＳ２７９）。設定された連写速度で撮影を行うステップＳ２８０以降の処理は、図１４の処理から合成フレーム特定処理（ステップＳ２３１）を除いたものと同じであるため、説明を省略する。

このように、本実施形態に係るデジタルカメラ１は、低解像度画像において、変動評価領域に変化が表れたフレームから変化が終了したフレームまでのフレーム数と、合成に必要なフレーム数とから、高解像度画像の撮影に必要な連写速度を算出することができるので、高速かつ効率的にストロボ画像を生成することが可能となる。

つまり、第３実施形態では、第２実施形態と同じ手法で通過フレーム数を特定し、それに合わせた連写速度で高解像度画像を撮影することを可能にすることで、例えばメモリ制限のある場合など一度に撮影可能な枚数が少ない場合であっても、連続撮影画像の効果的な合成を行うことが可能である。

なお、第３実施形態では、例えば図１８に示したように、撮影の開始位置と終了位置を特定した場合を例に挙げたが、図１５に示したような全画角に渡る評価領域を指定した場合にも対応可能である。

（第４実施形態）
図２０は、撮影処理の一例（撮影処理５）について示したフローチャートである。
まず、図２０に示すように、変数ｎに０を設定して初期化した（ステップＳ３０１）後、ライブビュー画像を利用して、図１５に示す評価領域ｆａ＿ａｌｌ（ｎ）を移動体が通過する間の有効フレーム数を取得する（ステップＳ３０２〜ステップＳ３０８）。取得された有効フレーム数（ｎ＿ａｌｌ）、合成必要枚数（ｎｕｍ）、及びライブビューの連写速度（ｓｌ）から、数７を用いて必要な連写速度（ｓ）を算出し、高解像度撮影用の連写速度として設定する（ステップＳ３０９）。設定された連写速度で撮影を行うステップＳ３１０以降の処理は、図１７の処理から合成フレーム特定処理（ステップＳ２６１）を除いたものと同じであるため、説明を省略する。

第１、第２実施形態は、撮影データから自動で合成対象の高解像度画像を選択することを目的としていたが、移動する被写体を連続撮影した場合、ユーザが任意の画像を選択できた方が有効であることも多い。そこで、撮影自体は第１実施形態の撮影手段を用いながら、合成フレーム特定処理の段階でユーザに任意の画像を選択させる手段を提供する。具体的には、合成対象のフレームから背景生成に必要なフレームを等間隔で取り出し、背景を生成し、ライブビュー画像から領域抽出し、図２１に示すように、検出フレームすべての合成結果を表示させる。その際、選択対象となるフレームの被写体のみ色を変える等、ユーザにわかりやすいように表示させる。ユーザは、カーソルキー等でフレームを切り替えながら合成対象を選択していく。ユーザが必要とするフレームを選択し終わった時点で合成フレームの特定を終了し、合成処理を行う。

（第５実施形態）
図２２は、合成フレーム特定処理の一例（合成フレーム特定処理２）について示したフローチャートである。なお、図２２は、図６のステップＳ１０６、図１４のステップＳ２３１、図１７のステップＳ２６１に示した合成フレーム特定処理を置き換えるものである。
図２２に示すように、まず従来の合成フレーム特定処理（ステップＳ３３１）、及び特定された画像から背景画像生成処理、被写体判別パラメータ算出処理、被写体抽出処理を含む合成処理（ステップＳ３３２）を行い、液晶表示部３０１に合成結果を表示する（ステップＳ３３３）。なお、被写体判別パラメータ算出処理で算出されたパラメータは、ユーザが合成フレームを選択した後に行う実際の合成の際そのまま利用することが可能である。ここで、合成表示された中からユーザが選択動作を行った（ステップＳ３３４で“Ｎｏ”、ステップＳ３３５で“Ｙｅｓ”）場合、選択された画像のみを変色して合成する（ステップＳ３４７）ことで、ユーザに選択画像を認識させる。次に、実際に合成するフレームがユーザによって決定されると（ステップＳ３３４で“Ｙｅｓ”）、選択された合成フレームをＦｒａｍｅ［ｎ］に設定し合成フレームを特定する（ステップＳ３３７）。また、合成フレーム数を取得して“Ｐａｇｅ”に代入する（ステップＳ３３８）。
以上のように、単純な選択操作で合成するフレームを容易に選択することが可能となる。

このように、本実施形態に係るデジタルカメラ１は、検出されたすべての合成対象フレームに対して、所定の被写体抽出を行い、当該抽出された被写体のうち任意の被写体を合成用画像として選択可能とすることができるので、ユーザによるフレーム選択を容易なものとすることができる。

つまり、第５実施形態では、第１実施形態で実現できなかったユーザによるフレーム選択を容易なものとしたので、ユーザが求める任意のフレームのみで合成した画像を生成することが可能である。

また、第５実施形態では、第１実施形態の合成フレーム特定処理を置き換える形で説明したが、ユーザによる選択を可能としたことで、仮に多数の高解像度画像の撮影が可能な場合に、第１実施形態のように撮影タイミングを判定しなくても有効な画像を選択することが可能である。

以上、本発明に係る実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。

なお、本発明に係る画像処理装置は、上記実施形態で例示したデジタルカメラ１のように、本発明に係る構成や機能を予め備えた画像処理装置として提供できる他、ＣＰＵ２０４の各機能と同様の機能を実現するプログラムを適用することにより、既存の画像処理装置を本発明に係る画像処理装置として機能させることもできる。

このようなプログラムの適用方法は任意であり、例えば、ＣＤ−ＲＯＭやメモリカードなどの記憶媒体に格納して適用できる他、例えば、インターネットなどの通信媒体を介して適用することもできる。

本実施形態に係るデジタルカメラ１の概略構成を示すブロック図である。 実際にストロボ撮影を行っている様子について示した図である。 図２で連続撮影されたフレーム群と、当該フレーム群を合成した画像（ストロボ画像）と、を示した図である。 評価領域が設定されている画角内を被写体が通過していく様子について示した図である。 合成対象のフレームから背景画像を差し引いて、被写体位置を抽出する様子について示した図である。 デジタルカメラ１内で行われる撮影処理の一例について示したフローチャートである。 開始フレーム検出処理の一例について示したフローチャートである。 終了フレーム検出処理の一例について示したフローチャートである。 合成フレーム特定処理の一例について示したフローチャートである。 合成処理の一例について示したフローチャートである。 背景画像生成処理の一例について示したフローチャートである。 被写体判別パラメータ算出処理の一例について示したフローチャートである。 被写体抽出処理の一例について示したフローチャートである。 撮影処理の一例（撮影処理２）について示したフローチャートである。 評価領域が設定されている画角内を被写体が通過していく様子について示した図である。 終了フレーム検出処理の一例（終了フレーム検出処理２）について示したフローチャートである。 撮影処理の一例（撮影処理３）について示したフローチャートである。 評価領域が設定されている画角内を被写体が通過していく様子について示した図である。 撮影処理の一例（撮影処理４）について示したフローチャートである。 撮影処理の一例（撮影処理５）について示したフローチャートである。 合成フレームをユーザが選択して特定する際に表示される一画面例である。 合成フレーム特定処理の一例（合成フレーム特定処理２）について示したフローチャートである。

符号の説明

１・・・デジタルカメラ、２１・・・画像データ生成部、１０１・・・光学レンズ部、１０２・・・イメージセンサ、２２・・・データ処理部、２０１・・・メモリ、２０２・・・ビデオ出力部、２０３・・・画像処理部、２０４・・・ＣＰＵ、２０５・・・プログラムメモリ、２３・・・ユーザインタフェース部、３０１・・・液晶表示部、３０２・・・操作部、３０３・・・外部インタフェース、３０４・・・外部メモリ

Claims (11)

1. 連続する複数の撮影フレームの画像を生成する撮影手段と、
   前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定手段と、
   前記設定手段により設定された評価領域における前記画像の変化に基づいて、前記撮影手段により生成された複数の撮影フレームの中から合成対象フレームを検出する検出手段と、
   前記検出手段により検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成手段と、
   を備えることを特徴とする画像処理装置。
2. 前記撮影手段は、低解像度の前記画像を生成し、
   前記検出手段は、前記撮影手段が生成する前記低解像度の画像を用いて前記合成対象フレームを検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記設定手段により設定された一の評価領域に変化が表れたフレームを合成開始フレームとして検出した後、前記設定手段により設定された他の評価領域の変化が終了したフレームを合成終了フレームとして検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検出手段は、前記設定手段により設定された評価領域に変化が表れたフレームを合成開始フレームとして検出した後、当該評価領域の変化が終了したフレームを合成終了フレームとして検出することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記撮影手段は、前記検出手段により検出された前記合成開始フレームから前記合成終了フレームまでの間、高解像度の画像を生成することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記検出手段は、前記撮影手段により生成された複数の撮影フレームの中から所定の枚数の合成対象フレームを検出することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記検出手段により検出された前記合成対象フレームの数及び所望する合成対象フレームの数に基づいて、前記撮影手段の連写速度を算出する算出手段を備え、
   前記撮影手段は、次の撮影において、前記算出手段により算出された連写速度で前記画像を生成することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
8. 前記画像合成手段は、
   前記検出手段により検出された合成対象フレームの画像について、同一座標ごとのピクセル値を取得し、当該取得されたピクセル値を値に従って並び替え、当該並び替えられたピクセル値のうち中央に位置するピクセル値に基づいて背景画像を生成する生成手段と、
   前記合成対象フレームの画像と前記生成手段により生成された背景画像との差に基づいて、被写体の画像領域を抽出する抽出手段と、
   前記抽出手段により抽出された被写体の画像領域を合成する被写体合成手段と、
   を備えることを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
9. 前記抽出手段により抽出された被写体の画像領域のうち、使用者が任意の被写体の画像領域を合成用画像として選択するための選択手段を更に備え、
   前記被写体合成手段は、前記選択手段により選択された被写体の画像領域を合成することを特徴とする請求項８に記載の画像処理装置。
10. 連続する複数の撮影フレームの画像を生成させる撮影ステップと、
    前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定ステップと、
    前記設定ステップにより設定された評価領域における前記画像の変化に基づいて、前記撮影ステップにより生成された複数の撮影フレームの中から合成対象フレームを検出する検出ステップと、
    前記検出ステップにより検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成ステップと、
    を含むことを特徴とする画像処理方法。
11. コンピュータに、
    連続する複数の撮影フレームの画像を生成させる撮影機能と、
    前記撮影フレームの少なくとも一の領域に、前記画像の変化を検出するための評価領域を設定する設定機能と、
    前記設定機能により設定された評価領域における前記画像の変化に基づいて、前記撮影機能により生成された複数の撮影フレームの中から合成対象フレームを検出する検出機能と、
    前記検出機能により検出された合成対象フレームの画像に基づいて、移動する被写体を重ね合わせたストロボ画像を合成する画像合成機能と、
    を実現させるためのプログラム。

Images