JP2014216926A - 合成画像生成装置及び合成画像生成方法 - Google Patents

Abstract

【課題】任意の被写体を追尾対象としたストロボ画像を生成する。【解決手段】撮影画像を所定の表示画面に表示する表示手段と、表示画面に表示される撮影画像内の範囲をユーザに指定させる範囲指定手段と、指定された範囲に含まれる被写体を登録する被写体登録手段と、複数の撮影画像の各々から、被写体登録手段により登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出手段と、被写体が検出された複数の撮影画像を合成する画像合成手段とを備えた画像生成装置を提供する。【選択図】図１１

Description

本発明は、複数枚の画像を合成することにより、被写体の移動軌跡を一枚の画像に収めたストロボ画像を生成することが可能な合成画像生成装置及び合成画像生成方法に関する。

移動する被写体を固定された撮影装置で連写撮影し、連写撮影によって得られた複数枚の画像を合成することにより、被写体の移動軌跡を一枚の画像に収めたストロボ画像を生成する技術が知られている。この種の技術については、例えば特許文献１に開示されている。

特許文献１には、フレーム画像の中から映像オブジェクト（被写体）の候補を抽出し、抽出された被写体の候補の画像の中から予め設定されている抽出条件に基づいて追跡対象となる被写体の位置及び特徴量を求め、求められた被写体の移動軌跡のみを作画した軌跡画像を生成し、生成された軌跡画像とフレーム画像とを合成することにより、ストロボ画像を得る構成が記載されている。抽出条件としては、面積、輝度、色、アスペクト比及び円形度が挙げられている。

特開２００５−１２３８２４号公報

特許文献１において、例えば任意の被写体を抽出するためには抽出条件を適切に設定する必要がある。具体的には、ユーザは、任意の被写体の抽出に適した項目（例えば輝度）を選択し、選択された項目について被写体の抽出に適した値（例えば輝度値）を設定する必要がある。しかし、任意の被写体の抽出に適した項目を選択すること及び値を設定することは、選択する項目の種類や設定値次第で被写体の抽出精度が変動するため、ユーザにとって容易な作業ではない。例えば、抽出条件の項目数が少ないほど被写体の抽出精度が劣化し、追跡対象の被写体が抽出される確率が低下すると共に追跡対象外の被写体が抽出される確率が上昇する。一方、抽出条件の項目数を増加させると被写体の抽出精度が向上し、追跡対象の被写体が抽出される確率が上昇すると共に追跡対象外の被写体が抽出される確率が低下する。しかし、この場合、項目の組合せを適切に選択すると共に各項目の設定値を項目の組合せ等を考慮して適切に設定しなければ、追跡対象の被写体が抽出対象から外れてしまう虞がある。また、項目数が多いほど処理演算が複雑になるという別の問題が発生する。そのため、被写体の抽出精度を向上させたい場合であっても項目数を安易には増やすことができない。このように、特許文献１では、任意の被写体に対して適切な抽出条件を設定することが難しい。そのため、任意の被写体を追尾対象としたストロボ画像を生成するには不向きであった。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、任意の被写体を追跡対象としたストロボ画像を生成するのに好適な合成画像生成装置及び画像生成方法を提供することである。

本発明の一形態に係る合成画像生成装置は、撮影画像を所定の表示画面に表示する表示手段と、表示画面に表示される撮影画像内の範囲をユーザに指定させる範囲指定手段と、指定された範囲に含まれる被写体を登録する被写体登録手段と、複数の撮影画像の各々から、被写体登録手段により登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出手段と、被写体が検出された複数の撮影画像を合成する画像合成手段とを備える。

範囲指定手段は、表示画面に表示される撮影画像に所定の枠を重畳的に表示させ、枠により囲われる撮影画像内の範囲をユーザの操作に応じて変更させ、枠により囲われる撮影画像内の範囲をユーザに指定させる構成としてもよい。枠は、例えば、ユーザの操作に応じて形及び大きさ並びに撮影画像内における位置が変更される。

また、合成画像生成装置は、撮影画像内の領域であって、被写体検出手段により被写体が検出された被写体領域と被写体領域以外の非被写体領域とに異なる合成比率を設定する合成比率設定手段を備える構成としてもよい。この場合、画像合成手段は、合成対象の撮影画像の各々に対して合成比率設定手段により設定された合成比率に基づいて重み付けを行い、重み付け後の複数の撮影画像を合成する。

合成比率設定手段は、例えば、被写体領域に設定される合成比率を第一の合成比率と定義し、非被写体領域に設定される合成比率を第二の合成比率と定義した場合に、被写体領域と非被写体領域との境界付近において合成比率が第一の合成比率から第二の合成比率へ連続的に変化するように設定する。

また、合成比率設定手段は、非被写体領域に対して被写体領域よりも低い合成比率を設定する構成としてもよい。

また、合成比率設定手段は、画像合成手段により合成される撮影画像の枚数がＮと定義される場合、非被写体領域に対して被写体領域の１／Ｎ倍の合成比率を設定する構成としてもよい。

また、合成比率設定手段は、画像合成手段により合成されると被写体領域が互いに重なることになる２つ以上の撮影画像がある場合、合成後の画像にて被写体が重なって表示されないように、２つ以上の撮影画像内の被写体領域の合成比率を設定する構成としてもよい。

また、合成比率設定手段は、２つ以上の撮影画像のうち１つの撮影画像内の被写体領域の合成比率を正の値に設定し、１つの撮影画像以外の撮影画像内の被写体領域の合成比率をゼロに設定する構成としてもよい。

また、本発明の別の形態に係る合成画像生成装置は、複数の撮影画像の中から１つの撮影画像をユーザに選択させる撮影画像選択手段と、選択された撮影画像内の範囲をユーザに指定させる範囲指定手段と、指定された範囲に含まれる被写体を登録する被写体登録手段と、撮影画像選択手段により選択されなかった撮影画像の各々から、被写体登録手段により登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出手段と、撮影画像選択手段により選択された撮影画像及び被写体検出手段により被写体が検出された撮影画像を合成する画像合成手段とを備える。

また、本発明の一形態に係る合成画像生成方法は、撮影画像を所定の表示画面に表示する表示ステップと、表示画面に表示される撮影画像内の範囲をユーザに指定させる範囲指定ステップと、指定された範囲に含まれる被写体を登録する被写体登録ステップと、複数の撮影画像の各々から、被写体登録ステップにて登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出ステップと、被写体が検出された複数の撮影画像を合成する画像合成ステップとを含む方法である。

また、本発明の別の形態に係る合成画像生成方法は、複数の撮影画像の中から１つの撮影画像をユーザに選択させる撮影画像選択ステップと、選択された撮影画像内の範囲をユーザに指定させる範囲指定ステップと、指定された範囲に含まれる被写体を登録する被写体登録ステップと、撮影画像選択ステップにて選択されなかった撮影画像の各々から、被写体登録ステップにて登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出ステップと、撮影画像選択ステップにて選択された撮影画像及び被写体検出ステップにて被写体が検出された撮影画像を合成する画像合成ステップとを含む方法である。

本発明に係る合成画像生成装置及び合成画像生成方法によれば、ユーザが任意の被写体を撮影画像から直接指定することができ、他の撮影画像からはユーザが指定した被写体と同一とみなされる被写体が検出される。そのため、任意の被写体を追跡したストロボ画像が高い精度で得られる。

本発明の実施形態の撮影装置の構成を示すブロック図である。 本発明の実施形態のストロボ画像の撮影及び生成フローを示す図である。 図２の処理ステップＳ１（被写体の登録）を示すフローチャートである。 被写体登録モードの実行時に撮影装置のＬＣＤ（Liquid Crystal Display）に表示される表示画面例を示す図である。 図２の処理ステップＳ４（被写体の検出）を説明するための図である。 図２の処理ステップＳ５（合成比率の設定）を示すフローチャートである。 初期的な合成比率配列及び領域ラベルを概念的に示す図である。 １フレーム目の撮影画像に対する合成比率配列及び領域ラベルを概念的に示す図である。 ２フレーム目の撮影画像に対する合成比率配列及び領域ラベルを概念的に示す図である。 ２フレーム目の撮影画像に対する合成比率配列及び領域ラベルを概念的に示す図である。 ストロボ画像の生成を説明するための図である。 ストロボ画像の生成を説明するための図である。 追跡対象の被写体とその周辺領域との境界付近で合成比率が連続的に変化する態様を概念的に示す図である。

以下、図面を参照して、本発明の実施形態に係る合成画像生成装置について説明する。本実施形態において、合成画像生成装置は、デジタル画像を撮影することが可能な撮影装置に搭載されている。撮影装置は、例えば、撮影レンズを交換可能なデジタル一眼レフカメラ（クイックリターンミラー付）若しくはミラーレス一眼レフカメラ、又はコンパクトデジタルカメラやカムコーダ、携帯電話端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機等である。

［撮影装置１の構成］
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、ＣＰＵ（Central Processing Unit）１００、ＤＳＰ（Digital Signal Processor）１０２、操作部１０４、撮影レンズ１０６、絞り１０８、シャッタ１１０、イメージセンサ１１２、絞り・シャッタ駆動回路１１４、ＲＯＭ（Read Only Memory）１１６、メモリカードアダプタ１１８及びＬＣＤ１２０を備えている。

操作部１０４には、電源スイッチやレリーズスイッチ、モード設定スイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。ＣＰＵ１００は電源供給後、ＲＯＭ１１６にアクセスして制御プログラムを読み出して内蔵メモリ（不図示）にロードし、ロードされた制御プログラムを実行することにより、撮影装置１全体の制御を行う。なお、図１において図面を明瞭にする便宜上、ＣＰＵ１００と他の回路との結線は省略する。

ＤＳＰ１０２は、撮影装置１に内蔵されたＴＴＬ（Through The Lens）露出計（不図示）で測定された測光値に基づき適正露出が得られるように、絞り・シャッタ駆動回路１１４を介して絞り１０８及びシャッタ１１０を駆動制御する。より詳細には、絞り１０８及びシャッタ１１０の駆動制御は、プログラムＡＥ（Automatic Exposure）、シャッタ速度優先ＡＥ、絞り優先ＡＥなど、モード設定スイッチにより指定されるＡＥ機能に基づいて行われる。また、ＤＳＰ１０２はＡＥ制御と併せてＡＦ（Autofocus）制御を行う。ＡＦ制御には、アクティブ方式、相差検出方式、コントラスト検出方式等が適用される。なお、この種のＡＥ及びＡＦの構成及び制御については周知であるため、ここでの詳細な説明は省略する。

被写体からの光束は、撮影レンズ１０６、絞り１０８、シャッタ１１０を通過してイメージセンサ１１２により受光される。イメージセンサ１１２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであり、撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、電気信号に変換する。ＤＳＰ１０２は、イメージセンサ１１２より入力される電気信号（撮影データ）に対して色補間、マトリクス演算、Ｙ／Ｃ分離等の所定の信号処理を施して輝度信号Ｙ、色差信号Ｃｂ、Ｃｒを生成し、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のフォーマットで圧縮する。圧縮画像信号（撮影画像データ）は、メモリカードアダプタ１１８に差し込まれたメモリカード２００に保存される。また、ＤＳＰ１０２は、Ｙ／Ｃ分離後の信号をフレームメモリ（不図示）にフレーム単位でバッファリングする。ＤＳＰ１０２は、バッファリングされた信号を所定のタイミングで各フレームメモリから掃き出して画像信号に変換して画像を生成し、ＬＣＤ１２０に表示させる。ユーザは、ＡＥ制御及びＡＦ制御に基づいて適正な輝度及びピントで撮影されたリアルタイムのスルー画を、ＬＣＤ１２０を通じて視認することができる。

［撮影装置１によるストロボ画像の撮影及び生成］
次に、撮影装置１によるストロボ画像の撮影について説明する。図２は、ストロボ画像の撮影及び生成フローを示す図である。ストロボ画像の撮影は、通常、背景画像等のブレを防止するため、撮影装置１を三脚等に固定させた状態で行われる。

［図２のＳ１（被写体の登録）］
ＤＳＰ１０２は、被写体登録部１０２ａを備えている。被写体登録部１０２ａは、追跡する対象となる被写体を登録することができる。図３に、本処理ステップＳ１（被写体の登録）をより詳細に説明するフローチャートを示す。図３に示されるように、被写体登録部１０２ａは、ユーザによる操作部１０４の操作に従い、被写体登録モードに遷移する（図３のＳ１０１）。図４（ａ）〜図４（ｃ）に、被写体登録モードの実行時にＬＣＤ１２０に表示される表示画面例を示す。

被写体登録部１０２ａは、被写体登録モードに遷移すると、図４（ａ）に示されるように、ＬＣＤ１２０に表示されているスルー画に枠Ａを重畳的に表示させる（図３のＳ１０２）。図４（ａ）の例では、枠Ａは、画面中央に表示される。ユーザは、例えば撮影装置１の向きを調節することにより、追跡対象の被写体Ｂを画面中央に表示された枠Ａ内に収めることができる。ユーザはまた、操作部１０４を操作することにより、枠Ａを画面内の任意の位置に移動させることができる。ユーザは、枠Ａを画面内で移動させることによっても、追跡対象の被写体Ｂを枠Ａ内に収めることができる。なお、追跡対象の被写体の大きさや形は多様である。そのため、被写体が大きい場合、被写体が枠Ａ内に収まらないことがある。また、枠Ａに対して被写体が小さすぎると場合、追跡対象の被写体と枠Ａとの間の領域に追跡対象以外の被写体が入り込んでしまう。被写体の外形輪郭と枠Ａの形とが大きく異なる場合も、追跡対象の被写体と枠Ａとの間の領域に追跡対象以外の被写体が入り込みやすい。そこで、図４（ａ）に示されるように、枠Ａのサイズは、操作部１０４を操作することにより、拡大又は縮小させることができる。また、図４（ｂ）に示されるように、枠Ａの形は、操作部１０４を操作することにより、矩形以外の形状（円形、楕円形、多角形など）に変更することができ、また、縦横比を変更することができる。また、枠Ａの形は、フリーフォームにより決定できるようにしてもよい。

被写体登録部１０２ａは、ユーザにより操作部１０４の登録ボタンが押されると、図４（ｃ）に示されるように、枠Ａにより囲われる撮影画像内の範囲を切り取って所定のメッセージ及び選択肢と共にＬＣＤ１２０に表示させる（図３のＳ１０３）。所定のメッセージは、「この被写体を登録します」である。選択肢は、「ＯＫ」及び「キャンセル」である。ユーザは、ＬＣＤ１２０の表示を視ることにより、追跡対象の被写体Ｂが選択できているか否かを確認することができる。ユーザは、追跡対象の被写体Ｂが選択できている場合「ＯＫ」を選択し、追跡対象の被写体Ｂが選択できていない場合「キャンセル」を選択する。被写体登録部１０２ａは、「ＯＫ」が選択されると（図３のＳ１０４：ＹＥＳ）、枠Ａにより囲われた被写体Ｂを登録（画像情報及び座標情報を記憶）する（図３のＳ１０５）。以下、被写体登録部１０２ａに登録された被写体を「登録被写体」と記す。これにより、被写体登録モードが終了して、撮影装置１のモードが被写体登録モードへの遷移直前のモードに復帰する。被写体登録部１０２ａは、「キャンセル」が選択されると（図３のＳ１０４：ＮＯ）、図３の処理ステップＳ１０２に処理を戻す。

［図２のＳ２（撮影操作の待機）］
ＤＳＰ１０２は、ユーザによるストロボ画像の撮影操作の入力を待機する。ＤＳＰ１０２は、操作部１０４のレリーズスイッチが押されると（図２のＳ２：ＹＥＳ）、図２の処理ステップＳ３（画像の撮影）に処理を進める。

［図２のＳ３（画像の撮影）］
ＤＳＰ１０２は、絞り１０８、シャッタ１１０及びイメージセンサ１１２を駆動制御することにより被写体を撮影し、イメージセンサ１１２より入力される撮影データを処理して画像を生成する。撮影処理は、周知の連写機能を用いて行われる。連写機能により、例えばレリーズスイッチが押されている期間中、１秒間当たり複数枚の画像が撮影される。連写速度は、操作部１０４の操作を通じて適宜変更可能である。なお、連写撮影の期間は、例えば、レリーズスイッチが押されてから所定時間が経過するまでとしてもよく、また、レリーズスイッチが押されてから所定の条件が満たされるまで（例えば、次に説明する処理ステップＳ４（被写体の検出）にて撮影画像から被写体が検出されなくなるまで）としてもよい。

［図２のＳ４（被写体の検出）］
ＤＳＰ１０２は、被写体検出部１０２ｂを備えている。図２の処理ステップＳ３（画像の撮影）にて連写機能による画像の撮影及び生成が行われる都度、撮影画像が被写体検出部１０２ｂに転送される。被写体検出部１０２ｂは、転送された撮影画像の中から、被写体登録部１０２ａに登録された登録被写体と同一とみなすことができる被写体を検出する。以下、登録被写体と同一とみなすことができる被写体を「追跡対象被写体」と記す。被写体検出部１０２ｂは、検出された追跡対象被写体の座標を記憶する。より正確には、被写体検出部１０２ｂは、追跡対象被写体の全体を含む最小の矩形範囲であり、実質的に追跡対象被写体のみを含む範囲の座標を記憶する。なお、「最小の矩形範囲」は、枠Ａの設定に応じて「最小の円形範囲」や「最小の楕円形範囲」、「最小の多角形範囲」等に置き換わる。以下、かかる範囲を「追跡対象範囲」と記す。追跡対象被写体の検出は、例えば、テンプレートマッチング法、Condensation法、パーティクルフィルタ法等の周知の手法を用いて行われる。本実施形態において登録被写体は、図４等に示されるように鳥である。鳥は羽根を畳んだり広げたりするため、撮影画像上で形が変化する。また、距離に応じて撮影画像上で大きさも変化する。しかし、Condensation法やパーティクルフィルタ法等を用いると、追跡対象の鳥が羽根を畳む又は広げる若しくは遠くへ飛ぶことによって撮影画像上の形や大きさが変化した場合も、これらの鳥を同一とみなすことができる。そのため、各撮影画像において被写体の形や大きさが変化することが追跡対象被写体を検出する上で実質問題とはならない。なお、下記文献においてCondensation法の例示的な説明を参照することができる。
（Condensation法を例示的に説明する文献）
Contour tracking by stochastic propagation of conditional density
Michael Isard and Andrew Blake
Proc. European Conference on Computer Vision, vol. 1, pp. 343--356, Cambridge UK, (1996).

図５は、本処理ステップＳ４（被写体の検出）を説明するための図である。図５の左欄の４図は撮影画像Ｉ_１〜Ｉ_４を示し、図５の右欄の４図は、撮影画像Ｉ_１〜Ｉ_４の各々における追跡対象範囲Ｉ_１’〜Ｉ_４’を示す。図５の例では、本処理ステップＳ４（被写体の検出）の実行により、各撮影画像Ｉ_１〜Ｉ_４の中から追跡対象被写体（鳥）が検出され、検出された追跡対象被写体（鳥）を含む追跡対象範囲Ｉ_１’〜Ｉ_４’の座標が記憶される。なお、撮影画像Ｉ_３及びＩ_４には、動的な被写体として自動車も含まれている。しかし、車は登録被写体でないため、本処理ステップＳ４（被写体の検出）において検出されることはない。

このように、本実施形態では、被写体検出部１０２ｂが追跡対象被写体を自動的に検出しているが、別の実施形態では、ユーザが各撮影画像から追跡対象被写体を手動操作で個別に選択するようにしてもよい。

［図２のＳ５（合成比率の設定）］
ＤＳＰ１０２は、連写機能による画像の撮影及び生成並びに生成された各撮影画像に対する追跡対象被写体の検出処理が完了すると、追跡対象被写体が検出された各撮影画像の合成比率を設定する。合成比率は、各撮影画像を合成する際の重み係数である。図６に、本処理ステップＳ５（合成比率の設定）のフローチャートを示す。

ここで、追跡対象被写体が検出された撮影画像のフレーム数をＮと定義し、ｎ（＝１〜Ｎ）フレーム目の撮影画像の画素毎の合成比率を示す合成比率配列をＷｎ（ｘ、ｙ）と定義し、追跡対象被写体の重なりを避けるために使用される領域ラベルをＬ（ｘ、ｙ）と定義し、追跡対象範囲に対応する、合成比率配列Ｗｎ（ｘ、ｙ）内及び領域ラベルＬ（ｘ、ｙ）内の領域をＲｎ（ｘ、ｙ）と定義する。「追跡対象被写体の重なり」とは、複数フレームの撮影画像を合成すると互いの追跡対象被写体（より正確には追跡対象範囲）がストロボ画像上重なることをいう。合成比率配列Ｗｎ（ｘ、ｙ）及び領域ラベルＬ（ｘ、ｙ）は、撮影画像の各画素に対応する領域を有したものであり、撮影画像と同じサイズ（同じ画素配列相当の領域）を持つ。合成比率配列Ｗｎ（ｘ、ｙ）は、各フレームの撮影画像に対して１つずつ用意されている。一方、領域ラベルＬ（ｘ、ｙ）は、全フレームの撮影画像に対して共通に使用されるものであり、１つしかない。

ＤＳＰ１０２は、合成比率設定部１０２ｃを備えている。合成比率設定部１０２ｃは、各フレームの撮影画像に対応する合成比率配列Ｗｎ（ｘ、ｙ）の全ての領域に対して合成比率（重み係数）の初期値（＝１／Ｎ）を設定する（図６のＳ２０１）。合成比率設定部１０２ｃはまた、領域ラベルＬ（ｘ、ｙ）の全ての領域に対して値ゼロを設定する。図７（ａ）に、全ての領域に対して合成比率（初期値１／Ｎ）が設定された合成比率配列Ｗｎ（ｘ、ｙ）の概念的なイメージを視覚化して示す。また、図７（ｂ）に、全ての領域に対して値（初期値ゼロ）が設定された領域ラベルＬ（ｘ、ｙ）の概念的なイメージを視覚化して示す。

合成比率配列Ｗｎ（ｘ、ｙ）に設定された合成比率１／ＮでＮフレームの撮影画像の各々を乗算し、乗算後の全てのフレーム（Ｎフレーム）の撮影画像を合成すると、合成後の画像（ストロボ画像）の各画素において合成比率の合計値が１となる。そのため、Ｎフレーム全てが重なる被写体（背景等の固定された被写体）については、ストロボ画像において通常画像と同等の輝度再現性が実現される。これに対し、追跡対象被写体はフレーム間で移動するため、基本的には画像合成時に重ならない。例えば、１フレーム目の追跡対象被写体に対応する画素について合成比率を１／Ｎ等の低い値に設定すると、ストロボ画像に現れる１フレーム目の追跡対象被写体は、輝度が通常画像の場合と比べてかなり低くなる。

そこで、合成比率設定部１０２ｃは、１フレーム目の撮影画像Ｉ_１に対応する合成比率配列Ｗ_１（ｘ、ｙ）の領域Ｒ_１（ｘ、ｙ）に設定されている合成比率を初期値１／Ｎから値ｖａｌに変更する（図６のＳ２０２）。値ｖａｌは、便宜上設定される値であり、例えば１００００など、領域Ｒ_１（ｘ、ｙ）以外の領域に設定されている合成比率（ここでは１／Ｎ）が実質的に無視できるほどの大きな正の値である。なお、値ｖａｌは、撮影画像を合成する際、例えば１に再設定される。このように、合成比率設定部１０２ｃは、領域Ｒ_１（ｘ、ｙ）の合成比率を高い値に設定することにより、ストロボ画像上での１フレーム目の追跡対象被写体の輝度を確保する。なお、領域Ｒ_１（ｘ、ｙ）以外の領域に設定されている合成比率は、初期値１／Ｎのままである。図８（ａ）に、１フレーム目の撮影画像Ｉ_１及び追跡対象範囲Ｉ_１’を示す。また、図８（ｂ）に、領域Ｒ_１（ｘ、ｙ）の合成比率が値ｖａｌに変更された合成比率配列Ｗ_１（ｘ、ｙ）の概念的なイメージを視覚化して示す。

合成比率設定部１０２ｃは、領域ラベルＬ（ｘ、ｙ）の領域Ｒ_１（ｘ、ｙ）に設定されている値を初期値ゼロから１に更新する（図６のＳ２０３）。領域ラベルＬ（ｘ、ｙ）内で値が１に設定される領域は、ストロボ画像で追跡対象被写体（より正確には追跡対象範囲）の配置が予定される領域を示す。以下、領域ラベルＬ（ｘ、ｙ）内で値が１に設定される領域を、「追跡対象配置領域」と記す。なお、領域Ｒ_１（ｘ、ｙ）以外の領域に設定されている値は、初期値ゼロのままである。図８（ｃ）に、領域Ｒ_１（ｘ、ｙ）の値が更新された領域ラベルＬ（ｘ、ｙ）の概念的なイメージを視覚化して示す。

合成比率設定部１０２ｃは、次フレームの撮影画像とそれまでのフレームの撮影画像との間で「追跡対象被写体の重なり」が生じるか否かを判定する（図６のＳ２０４）。具体的には、合成比率設定部１０２ｃは、領域ラベルＬ（ｘ、ｙ）内において追跡対象配置領域と次フレームの領域Ｒ（ｘ、ｙ）とが一部分でも重複する場合、「追跡対象被写体の重なり」が生じると判定する（図６のＳ２０４：ＹＥＳ）。合成比率設定部１０２ｃは、追跡対象配置領域と次フレームの領域Ｒ（ｘ、ｙ）とが一部分も重複しない場合、「追跡対象被写体の重なり」が生じないと判定する（図６のＳ２０４：ＮＯ）。

ここでは、２フレーム目を例に取り、「追跡対象被写体の重なり」の判定処理について説明する。この例では、１フレーム目の領域Ｒ_１（ｘ、ｙ）が追跡対象配置領域となる。合成比率設定部１０２ｃは、領域ラベルＬ（ｘ、ｙ）内において追跡対象配置領域と２フレーム目の領域Ｒ_２（ｘ、ｙ）とが一部分でも重複するか否かを判定する。

図９（ａ）に、２フレーム目の撮影画像Ｉ_２及び追跡対象範囲Ｉ_２’の一例を示す。図９（ａ）の例では、追跡対象範囲Ｉ_１’と追跡対象範囲Ｉ_２’とが一部分重なっている。この場合、領域ラベルＬ（ｘ、ｙ）内においても追跡対象配置領域と２フレーム目の領域Ｒ_２（ｘ、ｙ）とが一部分重なる。そのため、撮影画像Ｉ_２に含まれる追跡対象被写体をストロボ画像に含めると「追跡対象被写体の重なり」が生じる。合成比率設定部１０２ｃは、追跡対象配置領域と２フレーム目の領域Ｒ_２（ｘ、ｙ）とが重なると判定し（図６のＳ２０４：ＹＥＳ）、図６の処理ステップＳ２０５に処理を進める。

図６の処理ステップＳ２０５において、合成比率設定部１０２ｃは、図９（ｂ）に示されるように、２フレーム目の撮影画像Ｉ_２に対応する合成比率配列Ｗ_２（ｘ、ｙ）について領域Ｒ_２（ｘ、ｙ）の合成比率を変更する。具体的には、合成比率設定部１０２ｃは、合成比率配列Ｗ_２（ｘ、ｙ）の領域Ｒ_２（ｘ、ｙ）に設定されている合成比率を初期値１／Ｎからゼロに変更する。このように、合成比率設定部１０２ｃは、領域Ｒ_２（ｘ、ｙ）の合成比率をゼロに設定することにより、「追跡対象被写体の重なり」を生じさせる原因である２フレーム目の追跡対象被写体をストロボ画像上現れないようにする。

合成比率設定部１０２ｃは、２フレーム目の追跡対象被写体がストロボ画像に配置されないため、図９（ｃ）に示されるように、領域ラベルＬ（ｘ、ｙ）については更新しない（２フレーム目の領域Ｒ_２（ｘ、ｙ）を追跡対象配置領域として追加しない）。

また、図１０（ａ）に、２フレーム目の撮影画像Ｉ_２及び追跡対象範囲Ｉ_２’の一例を示す。図１０（ａ）の例では、追跡対象範囲Ｉ_１’と追跡対象範囲Ｉ_２’とが重ならない。この場合、領域ラベルＬ（ｘ、ｙ）内においても追跡対象配置領域と２フレーム目の領域Ｒ_２（ｘ、ｙ）とが重ならない。そのため、撮影画像Ｉ_２に含まれる追跡対象被写体をストロボ画像に含めても「追跡対象被写体の重なり」が生じない。合成比率設定部１０２ｃは、追跡対象配置領域と２フレーム目の領域Ｒ_２（ｘ、ｙ）とが重ならないと判定し（図６のＳ２０４：ＮＯ）、図６の処理ステップＳ２０６に処理を進める。

図６の処理ステップＳ２０６において、合成比率設定部１０２ｃは、１フレーム目と同様に、２フレーム目の撮影画像Ｉ_２に対応する合成比率配列Ｗ_２（ｘ、ｙ）について領域Ｒ_２（ｘ、ｙ）に設定されている合成比率を初期値１／Ｎから値ｖａｌに変更する。このように、合成比率設定部１０２ｃは、領域Ｒ_２（ｘ、ｙ）の合成比率を高い値に設定することにより、ストロボ画像上での２フレーム目の追跡対象被写体の輝度を確保する。図１０（ｂ）に、領域Ｒ_２（ｘ、ｙ）の合成比率が変更された合成比率配列Ｗ_２（ｘ、ｙ）の概念的なイメージを視覚化して示す。

合成比率設定部１０２ｃはまた、図１０（ｃ）に示されるように、領域Ｒ_１（ｘ、ｙ）を追跡対象配置領域とする領域ラベルＬ（ｘ、ｙ）について領域Ｒ_２（ｘ、ｙ）の値を初期値ゼロから１に更新する。合成比率設定部１０２ｃは、更新後の領域ラベルＬ（ｘ、ｙ）を参照することにより、領域Ｒ_１（ｘ、ｙ）及び領域Ｒ_２（ｘ、ｙ）に対応するストロボ画像上の領域に追跡対象被写体（より正確には追跡対象範囲）が配置されることを把握することができる。

合成比率設定部１０２ｃは、追跡対象被写体が検出された全ての撮影画像（Ｎフレーム）について図６の処理ステップＳ２０５又はＳ２０６が実行されたか否かを判定する（図６のＳ２０７）。合成比率設定部１０２ｃは、全ての撮影画像（Ｎフレーム）について図６の処理ステップＳ２０５又はＳ２０６が実行されたと判定した場合（図６のＳ２０７：ＹＥＳ）、図２の処理ステップＳ６（撮影画像の合成）に処理を進める。合成比率設定部１０２ｃは、図６の処理ステップＳ２０５又はＳ２０６を実行していないフレームが残っていると判定した場合（図６のＳ２０７：ＮＯ）、図６の処理ステップＳ２０４に処理を戻し、次フレームの撮影画像を対象に図６の処理ステップＳ２０４以降の処理を実行する。

なお、図６のフローチャートに示す処理では、「追跡対象被写体の重なり」が生じた場合、先に撮影された画像の追跡対象被写体ほどストロボ画像に優先して配置されるようになっている。別の実施形態では、後に撮影された画像の追跡対象被写体ほどストロボ画像に優先して配置されるようにしてもよく、また、ストロボ画像に配置される追跡対象被写体をユーザが任意に選ぶことができるようにしてもよい。

［図２のＳ６（撮影画像の合成）］
ＤＳＰ１０２は、画像合成部１０２ｄを備えている。画像合成部１０２ｄは、図２の処理ステップＳ５（合成比率の設定）にて合成比率が設定された合成比率配列Ｗｎ（ｘ、ｙ）に対応するＮフレームの撮影画像のＲＧＢ輝度値ｉ_Ｒ（ｘ、ｙ）、ｉ_Ｇ（ｘ、ｙ）、ｉ_Ｂ（ｘ、ｙ）を合成比率配列Ｗ_ｎ（ｘ、ｙ）に対する加重平均で合成する。すなわち、画像合成部１０２ｄは、ストロボ画像をＩ_Ｒ（ｘ、ｙ）、Ｉ_Ｇ（ｘ、ｙ）、Ｉ_Ｂ（ｘ、ｙ）と定義した場合に、次式によりストロボ画像を生成する。

画像合成部１０２ｄは、生成したストロボ画像をユーザに視認させるため、ＬＣＤ１２０に表示させる。画像合成部１０２ｄは、ＬＣＤ１２０へのストロボ画像の表示後、ユーザによる操作部１０４の操作に応じてストロボ画像をメモリカード２００に保存する。なお、ユーザは、ＬＣＤ１２０に表示されているストロボ画像を視認し、例えば被写体が希望通りに追跡や合成できていない場合に、ストロボ画像を調整することができる。一例として、ユーザは、図２の処理ステップＳ４（被写体の検出）にて自動検出された各フレームの撮影画像内の追跡対象範囲の位置や大きさを微調節することができる。合成比率設定部１０２ｃ及び画像合成部１０２ｄは、追跡対象範囲が微調節された撮影画像を用いて合成比率の設定及び撮影画像の合成を行う。これにより、ユーザは、自身の希望に一層応じたストロボ画像を得ることができる。

図１１及び図１２に、本実施形態によるストロボ画像の生成を説明するための図を示す。図１１の左欄の５図は、合成対象の撮影画像Ｉ_１〜Ｉ_５を示す。図１１の中央欄の５図は、撮影画像Ｉ_１〜Ｉ_５に対応する合成比率配列Ｗ_１（ｘ、ｙ）〜Ｗ_５（ｘ、ｙ）を示す。図１１の右欄の５図は、撮影画像Ｉ_１〜Ｉ_５について図６の処理ステップＳ２０５又はＳ２０６を実行する都度更新される、領域ラベルＬ（ｘ、ｙ）を示す。なお、図１１においては、説明の便宜上、合成対象の撮影画像を５フレームとする。しかし、通常、合成対象の撮影画像のフレーム数は５フレームより遙かに多い。

図１１の例では、１フレーム目について、合成比率配列Ｗ_１（ｘ、ｙ）の領域Ｒ_１（ｘ、ｙ）に設定されている合成比率が初期値１／Ｎから値ｖａｌに変更されると共に、領域ラベルＬ（ｘ、ｙ）内において領域Ｒ_１（ｘ、ｙ）が追跡対象配置領域に設定される。２フレーム目では、領域Ｒ_２（ｘ、ｙ）が追跡対象配置領域と重なると判定される。そのため、合成比率配列Ｗ_２（ｘ、ｙ）の領域Ｒ_２（ｘ、ｙ）に設定されている合成比率が初期値１／Ｎからゼロに変更される。但し、領域ラベルＬ（ｘ、ｙ）内において領域Ｒ_２（ｘ、ｙ）は追跡対象配置領域として追加されない（すなわち領域ラベルＬ（ｘ、ｙ）は更新されない。）。３フレーム目では、合成比率配列Ｗ_３（ｘ、ｙ）の領域Ｒ_３（ｘ、ｙ）に設定されている合成比率が初期値１／Ｎから値ｖａｌに変更されると共に、領域ラベルＬ（ｘ、ｙ）内において領域Ｒ_３（ｘ、ｙ）が追跡対象配置領域として追加される。４フレーム目では、領域Ｒ_４（ｘ、ｙ）が追跡対象配置領域と重なると判定される。そのため、合成比率配列Ｗ_４（ｘ、ｙ）の領域Ｒ_４（ｘ、ｙ）に設定されている合成比率が初期値１／Ｎからゼロに変更される。但し、領域ラベルＬ（ｘ、ｙ）内において領域Ｒ_４（ｘ、ｙ）は追跡対象配置領域として追加されない（すなわち領域ラベルＬ（ｘ、ｙ）は更新されない。）。５フレーム目では、合成比率配列Ｗ_５（ｘ、ｙ）の領域Ｒ_５（ｘ、ｙ）に設定されている合成比率が初期値１／Ｎから値ｖａｌに変更されると共に、領域ラベルＬ（ｘ、ｙ）内において領域Ｒ_５（ｘ、ｙ）が追跡対象配置領域として追加される。この結果、図１１の例では、次の５フレームの撮影画像が合成される。
・撮影画像Ｉ_１
追跡対象範囲Ｉ_１’の合成比率が値ｖａｌで、それ以外の画像領域の合成比率１／Ｎ
・撮影画像Ｉ_２
追跡対象範囲Ｉ_２’の合成比率がゼロで、それ以外の画像領域の合成比率１／Ｎ
・撮影画像Ｉ_３
追跡対象範囲Ｉ_３’の合成比率が値ｖａｌで、それ以外の画像領域の合成比率１／Ｎ
・撮影画像Ｉ_４
追跡対象範囲Ｉ_４’の合成比率がゼロで、それ以外の画像領域の合成比率１／Ｎ
・撮影画像Ｉ_５
追跡対象範囲Ｉ_５’の合成比率が値ｖａｌで、それ以外の画像領域の合成比率１／Ｎ

このように、図１１の例では、１フレーム目の追跡対象被写体（鳥）と２フレーム目の追跡対象被写体（鳥）とが重なるため、２フレーム目の追跡対象被写体（鳥）について合成比率をゼロとすることにより、２フレーム目の追跡対象被写体（鳥）がストロボ画像に現れないようにしている。また、３フレーム目の追跡対象被写体（鳥）と４フレーム目の追跡対象被写体（鳥）とが重なるため、４フレーム目の追跡対象被写体（鳥）について合成比率をゼロとすることにより、４フレーム目の追跡対象被写体（鳥）がストロボ画像に現れないようにしている。

図１２に、上記５フレームの撮影画像を合成することにより得られるストロボ画像を示す。２フレーム目及び４フレーム目の追跡対象被写体（鳥）について合成比率をゼロとなっている。そのため、図１２に示されるように、ストロボ画像には、互いに重ならない３フレーム分（１、３、５フレーム）の追跡対象被写体（鳥）が現れる。なお、撮影画像Ｉ_３及びＩ_４には、動的な被写体として自動車も含まれている。しかし、自動車が写る画素は、合成比率が１／Ｎに設定されている。自動車について合成比率が低い値に設定されている（一般にＮは５よりも遙かに大きいため、１／Ｎは１と比べて遙かに低い値である。）ため、ストロボ画像には、自動車が実質的に現れない（又は現れたとしても目立たない。）。このように、本実施形態によれば、「追跡対象被写体の重なり」が避けられると共に、移動する被写体が複数存在する場合であっても、追跡対象被写体の移動軌跡をストロボ画像に収めつつ他の被写体の移動軌跡をストロボ画像から排除することができる（つまりユーザにより選択された任意の被写体を確実に追跡することができる。）。

なお、ストロボ画像において追跡対象被写体が互いに重なっていることの方が都合のよい場合がある（例えばピッチャーの球筋を視認したい場合など）。この場合、ユーザは、操作部１０４の操作を通じて「追跡対象被写体の重なり」を許容することができる。具体的には、合成比率設定部１０２ｃは、図２の処理ステップＳ５（合成比率の設定）の実行時に領域ラベルＬ（ｘ、ｙ）を使用せず、各フレームの合成比率配列Ｗ_ｎ（ｘ、ｙ）の領域Ｒ_ｎ（ｘ、ｙ）について合成比率を一律に値ｖａｌに設定する。これにより、画像合成部１０２ｄにより生成されるストロボ画像は、追跡対象被写体の重なりが許容されたものとなる。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。

例えば、本実施形態では、合成比率配列Ｗ_ｎ（ｘ、ｙ）において領域Ｒ_ｎ（ｘ、ｙ）とその周辺領域とで合成比率が値ｖａｌから値１／Ｎへ無段階で変化している（例えば図８（ｂ）参照）。別の実施形態では、合成比率配列Ｗ_ｎ（ｘ、ｙ）において領域Ｒ_ｎ（ｘ、ｙ）とその周辺領域との境界付近で合成比率が値ｖａｌから値１／Ｎへ連続的に変化するようにしてもよい。図１３に、領域Ｒ_ｎ（ｘ、ｙ）とその周辺領域との境界付近で合成比率が値ｖａｌと値１／Ｎとの間で連続的に変化する態様を概念的に示す。合成比率設定部１０２ｃは、領域Ｒ_ｎ（ｘ、ｙ）とその周辺領域との境界から領域Ｒ_ｎ（ｘ、ｙ）の中心に向かう４近傍距離（City block distance）をｄと定義し、合成比率を連続的に変化させる領域の幅をｗｄと定義した場合に、幅ｗｄ内の合成比率を次式を用いて設定する。
ｗｄ_ｎ（ｘ、ｙ）＝｛ｖａｌ*ｄ＋(１／Ｎ)*（ｗｄ−ｄ）｝／ｗｄ
なお、４近傍距離に代えて、例えば、８近傍距離（Chess board distance）や８角形距離（Octagonal distance）、ユークリッド距離（Euclidean distance）を用いてもよい。この実施形態によれば、追跡対象被写体を合成したときの、追跡対象被写体と背景等との境界付近の輝度変化が滑らかとなるため、境界付近が不自然に見える虞が無くなる。

また、本実施形態では、以下に概略的に示される処理ステップ（Ａ）〜（Ｅ）によりストロボ画像が生成されている。
（Ａ）スルー画の視認を通じた被写体の登録
（Ｂ）連写撮影及び撮影画像の保存
（Ｃ）連写撮影された複数の撮影画像の各々から追跡対象被写体を検出（又は手動操作で追跡対象被写体を個別に選択）
（Ｄ）合成比率の設定
（Ｅ）設定された合成比率に基づくストロボ画像の生成及び保存

これに対し、別の実施形態では、以下に概略的に示される処理ステップ（ａ）〜（ｆ）によりストロボ画像が生成されるようにしてもよい。
（ａ）連写撮影及び撮影画像の保存
（ｂ）連写撮影された複数の撮影画像の中からユーザが１つの撮影画像（以下、「代表画像」）を選択
（ｃ）代表画像から被写体を登録
（ｄ）代表画像以外の撮影画像の各々から追跡対象被写体を検出（又は手動操作で追跡対象被写体を個別に選択）
（ｅ）合成比率の設定
（ｆ）設定された合成比率に基づくストロボ画像の生成及び保存

処理ステップ（ｂ）では、ユーザは、例えば操作部１０４を操作することにより、連写撮影により得られた全ての撮影画像の中から代表画像を選択することができる。または、所定数の撮影画像（例えば操作部１０４の操作で指定されたフレームから１０フレーム）の中から代表画像を選択できるようにしてもよい。

１ 撮影装置
１００ ＣＰＵ
１０２ ＤＳＰ
１０２ａ 被写体登録部
１０２ｂ 被写体検出部
１０２ｃ 合成比率設定部
１０２ｄ 画像合成部
１０４ 操作部
１０６ 撮影レンズ
１０８ 絞り
１１０ シャッタ
１１２ イメージセンサ
１１４ 絞り・シャッタ駆動回路
１１６ ＲＯＭ
１１８ メモリカードアダプタ
１２０ ＬＣＤ
２００ メモリカード

Claims (20)

1. 撮影画像を所定の表示画面に表示する表示手段と、
   前記表示画面に表示される撮影画像内の範囲をユーザに指定させる範囲指定手段と、
   前記指定された範囲に含まれる被写体を登録する被写体登録手段と、
   複数の撮影画像の各々から、前記被写体登録手段により登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出手段と、
   前記被写体が検出された複数の撮影画像を合成する画像合成手段と、
   を備えること
   を特徴とする、合成画像生成装置。
2. 前記範囲指定手段は、
   前記表示画面に表示される撮影画像に所定の枠を重畳的に表示させ、
   前記枠により囲われる前記撮影画像内の範囲をユーザの操作に応じて変更させ、
   前記枠により囲われる前記撮影画像内の範囲をユーザに指定させること
   を特徴とする、請求項１に記載の合成画像生成装置。
3. 前記枠は、
   ユーザの操作に応じて形及び大きさ並びに前記撮影画像内における位置が変更されること
   を特徴とする、請求項２に記載の合成画像生成装置。
4. 前記撮影画像内の領域であって、前記被写体検出手段により被写体が検出された被写体領域と該被写体領域以外の非被写体領域とに異なる合成比率を設定する合成比率設定手段
   を備え、
   前記画像合成手段は、
   合成対象の撮影画像の各々に対して前記合成比率設定手段により設定された合成比率に基づいて重み付けを行い、重み付け後の該複数の撮影画像を合成すること
   を特徴とする、請求項１から請求項３の何れか一項に記載の合成画像生成装置。
5. 前記合成比率設定手段は、
   前記被写体領域に設定される合成比率を第一の合成比率と定義し、前記非被写体領域に設定される合成比率を第二の合成比率と定義した場合に、該被写体領域と該非被写体領域との境界付近において合成比率が該第一の合成比率から該第二の合成比率へ連続的に変化するように設定すること
   を特徴とする、請求項４に記載の合成画像生成装置。
6. 前記合成比率設定手段は、
   前記非被写体領域に対して前記被写体領域よりも低い合成比率を設定すること
   を特徴とする、請求項４又は請求項５に記載の合成画像生成装置。
7. 前記合成比率設定手段は、
   前記画像合成手段により合成される撮影画像の枚数がＮと定義される場合、前記非被写体領域に対して前記被写体領域の１／Ｎ倍の合成比率を設定すること
   を特徴とする、請求項４から請求項６の何れか一項に記載の合成画像生成装置。
8. 前記合成比率設定手段は、
   前記画像合成手段により合成されると前記被写体領域が互いに重なることになる２つ以上の撮影画像がある場合、合成後の画像にて前記被写体が重なって表示されないように、該２つ以上の撮影画像内の被写体領域の合成比率を設定すること
   を特徴とする、請求項４から請求項７の何れか一項に記載の合成画像生成装置。
9. 前記合成比率設定手段は、
   前記２つ以上の撮影画像のうち１つの撮影画像内の被写体領域の合成比率を正の値に設定し、該１つの撮影画像以外の撮影画像内の被写体領域の合成比率をゼロに設定すること
   を特徴とする、請求項８に記載の合成画像生成装置。
10. 複数の撮影画像の中から１つの撮影画像をユーザに選択させる撮影画像選択手段と、
    前記選択された撮影画像内の範囲をユーザに指定させる範囲指定手段と、
    前記指定された範囲に含まれる被写体を登録する被写体登録手段と、
    前記撮影画像選択手段により選択されなかった撮影画像の各々から、前記被写体登録手段により登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出手段と、
    前記撮影画像選択手段により選択された撮影画像及び前記被写体検出手段により被写体が検出された撮影画像を合成する画像合成手段と、
    を備えること
    を特徴とする、合成画像生成装置。
11. 撮影画像を所定の表示画面に表示する表示ステップと、
    前記表示画面に表示される撮影画像内の範囲をユーザに指定させる範囲指定ステップと、
    前記指定された範囲に含まれる被写体を登録する被写体登録ステップと、
    複数の撮影画像の各々から、前記被写体登録ステップにて登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出ステップと、
    前記被写体が検出された複数の撮影画像を合成する画像合成ステップと、
    を含む、
    合成画像生成方法。
12. 前記範囲指定ステップにて、
    前記表示画面に表示される撮影画像に所定の枠を重畳的に表示させ、
    前記枠により囲われる前記撮影画像内の範囲をユーザの操作に応じて変更させ、
    前記枠により囲われる前記撮影画像内の範囲をユーザに指定させる、
    請求項１１に記載の合成画像生成方法。
13. 前記枠は、
    ユーザの操作に応じて形及び大きさ並びに前記撮影画像内における位置が変更される、
    請求項１２に記載の合成画像生成方法。
14. 前記撮影画像内の領域であって、前記被写体検出ステップにて被写体が検出された被写体領域と該被写体領域以外の非被写体領域とに異なる合成比率を設定する合成比率設定ステップ
    を含み、
    前記画像合成ステップにて、
    合成対象の撮影画像の各々に対して前記合成比率設定ステップにて設定された合成比率に基づいて重み付けを行い、重み付け後の該複数の撮影画像を合成する、
    請求項１１から請求項１３の何れか一項に記載の合成画像生成方法。
15. 前記合成比率設定ステップにて、
    前記被写体領域に設定される合成比率を第一の合成比率と定義し、前記非被写体領域に設定される合成比率を第二の合成比率と定義した場合に、該被写体領域と該非被写体領域との境界付近において合成比率が該第一の合成比率から該第二の合成比率へ連続的に変化するように設定する、
    請求項１４に記載の合成画像生成方法。
16. 前記合成比率設定ステップにて、
    前記非被写体領域に対して前記被写体領域よりも低い合成比率を設定する、
    請求項１４又は請求項１５に記載の合成画像生成方法。
17. 前記合成比率設定ステップにて、
    前記画像合成ステップにて合成される撮影画像の枚数がＮと定義される場合、前記非被写体領域に対して前記被写体領域の１／Ｎ倍の合成比率を設定する、
    請求項１４から請求項１６の何れか一項に記載の合成画像生成方法。
18. 前記合成比率設定ステップにて、
    前記画像合成ステップにて合成されると前記被写体領域が互いに重なることになる２つ以上の撮影画像がある場合、合成後の画像にて前記被写体が重なって表示されないように、該２つ以上の撮影画像内の被写体領域の合成比率を設定する、
    請求項１４から請求項１７の何れか一項に記載の合成画像生成方法。
19. 前記合成比率設定ステップにて、
    前記２つ以上の撮影画像のうち１つの撮影画像内の被写体領域の合成比率を正の値に設定し、該１つの撮影画像以外の撮影画像内の被写体領域の合成比率をゼロに設定する、請求項１８に記載の合成画像生成方法。
20. 複数の撮影画像の中から１つの撮影画像をユーザに選択させる撮影画像選択ステップと、
    前記選択された撮影画像内の範囲をユーザに指定させる範囲指定ステップと、
    前記指定された範囲に含まれる被写体を登録する被写体登録ステップと、
    前記撮影画像選択ステップにて選択されなかった撮影画像の各々から、前記被写体登録ステップにて登録された登録被写体と同一とみなすことができる被写体を検出する被写体検出ステップと、
    前記撮影画像選択ステップにて選択された撮影画像及び前記被写体検出ステップにて被写体が検出された撮影画像を合成する画像合成ステップと、
    を含む、
    合成画像生成方法。

Images