JP2014225870A - 画像合成装置、画像合成方法およびプログラム - Google Patents

Abstract

【課題】被写体の動領域が適切に合成された所望の合成画像を生成する。
【解決手段】位置合わせ後のベースターゲットとスワップターゲットとの差分画像を生成し（Ｓ１０２１）、動的輪郭モデルにより差分画像中の抽出輪郭を決定する（Ｓ１０２２）。輪郭線の内側領域と輪郭線の外側領域とを異なる色で塗りつぶして色分けし、アルファブレンド用のマスク画像を生成する（Ｓ１０２３）。このようにして生成されたマスク画像を介して、基準画像のベースターゲットと、このベースターゲットに位置合わせされたスワップターゲットとをアルファブレンドにより合成する（Ｓ１０２４）。
【選択図】図６

Description

本発明は、複数画像の合成により所望の画像を生成する画像合成装置、並びにその画像合成装置において実行される画像合成方法およびプログラムに関するものである。

被写体が人間や動物等の動作を伴うものである場合、その被写体が撮影に適した状態となったタイミングで画像を撮影することは一般に困難である。特に、集合写真等を撮影するケースにおいては、複数の被写体全てが撮影に適した状態、例えば、目線がカメラ方向を向いており、瞬きをしておらず、且つ笑顔を見せているといった状態で画像を撮影することが極めて困難であり、その結果、得られる撮影画像は、いずれかの被写体が好ましくない状態で写っているケースが多い。

これに対して、複数の被写体をあるタイミングで撮影した基準画像と、これとは異なるタイミングで撮影した他の画像（比較画像と称する）とによって、全ての被写体が好ましい状態で写っている合成画像を生成する技術が知られている。例えば、特許文献１に開示されている画像合成方法では、基準画像および比較画像から被写体の顔部の輪郭線あるいは胴体部まで含めた輪郭線を検出し、その輪郭線に含まれる領域を部分画像として抽出する。そして、基準画像において被写体が好ましい状態で写っている場合にはその被写体領域はそのままにしておき、基準画像において被写体が好ましい状態で写っていないが、比較画像においては好ましい状態で写っている場合には、当該比較画像に含まれる被写体領域を、基準画像の被写体領域にあてはめることにより、被測定者全てが好ましい状態で写っている合成画像を生成する。

また、動きを伴う被写体を複数回撮影し、取得した画像群を合成することで、画像中の所定の領域のみが動きつつ、他の領域は静止している動画像を生成するシネマグラフと呼ばれる技術が知られている（例えば、特許文献２参照）。

特開２００１−４５３５５号公報 特開２０１２−１９９６１３号公報

しかしながら、被測定者の頭部が動く場合、頭部のみが動く場合もあれば、これに伴い胴体部や腕も動く場合もある。そのため、比較画像から画一的に特定部分の輪郭線を抽出して、その輪郭線に含まれる領域を基準画像にあてはめる、さらに、あてはめる際にはエッジを暈す等の処理を行ったとしても、あてはめた領域と周囲の画像領域との不整合から合成画像が不自然になってしまうおそれがある。例えば、あてはめた領域とその周囲との不連続が生じるといった問題や、顔部と胴体部や腕との位置関係が不自然になってしまったり、部位間の方向関係が不自然になってしまうという問題がある。すなわち、従来技術では、被写体が動きを伴うものである場合に、被写体の動領域が適切に合成された所望の合成画像を生成することが困難であった。

また、シネマグラフを生成する際に、動領域を適切に合成することは困難であり、動画像において被写体の一部が欠けた状態で表示されたり、または必要以上の領域が動領域に含まれることで、意図する被写体以外の被写体が動いた状態で表示されるおそれがあるという問題がある。

本発明は上記の課題を解決する画像合成装置等を提供するものである。

上記課題を解決すべく以下の手段を採った。なお、後述する発明を実施するための形態の説明および図面で使用した符号を参考のために括弧書きで付記する。この括弧書きで付記した内容はあくまでも本発明を実現するための構成の一例に過ぎず、本発明を実現するための構成はこれらに限定されない。

第１の発明は、
異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出（差分画像に基づいて動領域を検出、正規化後の画像において隣接するブロック間の画像特徴量の差に基づいて動領域ブロックを検出）する動領域検出手段（制御部１０１）と、
動領域の検出結果に応じて前記比較画像における合成領域を設定（抽出した輪郭に応じた画像合成用マスクを生成、動領域ブロックの和に応じた画像合成マスクや比較画像毎に画像合成マスクを生成）する合成領域設定手段（制御部１０１）と、
設定された合成領域を前記基準画像に合成することにより合成画像を生成（画像合成用マスクを用いて基準画像と比較画像の合成処理を実行）する合成画像生成手段（制御部１０１）と、
を備えることを特徴とする画像合成装置である。
これによれば、被写体の動領域に応じて設定した合成領域について、比較画像における合成領域が基準画像に合成された所望の合成画像を得ることができる。

また、第２の発明として、
第１の発明の画像合成装置であって、
前記動領域検出手段は、前記基準画像と前記比較画像との差分画像における輪郭（被写体の動領域を含む輪郭）を抽出し、
前記合成領域設定手段は、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定（被写体の動領域を含む輪郭に基づいて画像合成用マスクを生成）することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像と比較画像との差分画像において抽出された輪郭に基づいて合成領域を設定することで、輪郭が適切に合成された所望の合成画像を得ることができる。

また、第３の発明として、
第２の発明の画像合成装置であって、
前記動領域検出手段は、前記差分画像において所定の被写体領域を包含する閉曲線を初期設定（初期形状である楕円の輪郭線上の輝度値の合計値が最小となる径に初期設定）し、前記閉曲線を規定するノードを、その閉曲線に対応するエネルギー関数（エネルギー関数：式（１）、式（２））が最適化する方向に移動させる（Greedy探索）ことにより輪郭の抽出を行う（ＡＣＭ（Active Contour Model））ことを特徴とする画像合成装置を構成しても良い。
これによれば、エネルギー関数を用いた最適化手法を用いることで、輪郭を正しく抽出することができる。

また、第４の発明として、
第３の発明の画像合成装置であって、
複数の被写体領域間に境界を設定（各顔領域の中心座標からの距離が等間隔となるような境界線を設定）する境界設定手段（制御部１０１）をさらに備え、
前記動領域検出手段は、前記境界との交点を有しないように前記閉曲線を初期設定（設定した境界線を交わらないように被写体領域を包含する閉曲線を初期設定）することを特徴とする画像合成装置を構成しても良い。
これによれば、被写体領域間で干渉が発生することを防止することができる。その結果、被写体領域の輪郭検出の実効性を向上させることができる。

また、第５の発明として、
第３の発明の画像合成装置であって、
前記動領域検出手段は、抽出した輪郭に含まれる被写体領域のうち、ユーザ操作（タップ操作、ドラッグ操作）に基づいて決定された被写体領域を包含する閉曲線を再度初期設定（抽出された輪郭内に複数の被写体が含まれる場合にユーザ操作により指定された被写体領域を除いて閉曲線を再設定）し、その閉曲線に基づいて再度輪郭の抽出を行うことを特徴とする画像合成装置を構成しても良い。
これによれば、所望の輪郭抽出が実行されなかった場合に、ユーザ操作を契機として再度輪郭の抽出を行うことができる。

また、第６の発明として、
第２の発明の画像合成装置であって、
前記基準画像における所定の被写体領域を含むベース領域（ベースターゲット）をユーザが選択可能な態様（ユーザがタップ操作やアイコン操作で選択可能）で表示するベース領域表示手段（表示部１０３）と、
ユーザ操作に基づいて選択されたベース領域に対応したスワップ候補領域（スワップターゲットの候補となる矩形領域）を比較画像毎に特定し、特定した各スワップ候補領域をユーザが選択可能な態様（ユーザがタップ操作やアイコン操作で選択可能）で表示するスワップ候補領域表示手段（表示部１０３）と、
をさらに備え、
前記動領域検出手段は、前記ユーザ操作に基づいて選択されたベース領域と、ユーザ操作に基づいて選択されたスワップ候補領域であるスワップ領域との差分画像における輪郭を抽出（ユーザにより選択されたベースターゲットとスワップターゲットとの差分画像から被写体の輪郭を抽出）することを特徴とする画像合成装置を構成しても良い。
これによれば、所定の被写体領域を含むベース領域と、比較画像毎に特定したスワップ候補領域とを、ユーザが選択可能に表示させることができる。そして、ユーザにより選択されたベース領域とスワップ領域との差分画像から、輪郭を適切に抽出することができる。

また、第７の発明として、
第１の発明の画像合成装置であって、
前記基準画像における所定の被写体（基準画像における所定の人物）を前記比較画像における当該所定の被写体に入れ換える場合の他の被写体との干渉度（被写体領域の輪郭線の重なり度合や輪郭領域同士の重複範囲）を判定する干渉度判定手段（制御部１０１）と、
前記干渉度に基づいて前記所定の被写体に関する入れ替え推奨度（複数段階の入れ替え推奨度）を表示する推奨度表示手段（表示部１０３）と、
をさらに備えることを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像における所定の被写体と他の被写体との干渉度を判定した上で、所定の被写体の入れ替えの推奨度をユーザが把握可能とすることができる。

また、他の発明として、
第１の発明の画像合成装置であって、
前記動領域検出手段が動領域を検出する被写体であって、前記基準画像における所定の被写体（所定の人物）を前記比較画像における当該所定の被写体に入れ換える場合の他の被写体（他の人物）との干渉度（被写体領域の輪郭線の重なり度合や輪郭領域同士の重複範囲）を判定する干渉度判定手段（制御部１０１）と、
前記干渉度に基づいて前記所定の被写体に関する入れ替え推奨度（複数段階の入れ替え推奨度）を表示する推奨度表示手段（表示部１０３）と、
をさらに備え、
前記合成領域設定手段は、前記比較画像における前記所定の被写体を前記合成領域として設定（比較画像における所定の人物を基準画像に対する入れ替え領域として設定）することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像における所定の被写体と他の被写体との干渉度を判定した上で、所定の被写体の入れ替え推奨度をユーザが把握可能とすることができる。また、比較画像における所定の被写体の領域を合成領域として設定することで、比較画像における所定の被写体領域が基準画像に合成された所望の合成画像を得ることができる。

さらに、第７の発明または上記の他の発明の画像合成装置であって、
前記基準画像における所定の被写体を含む入れ替え候補領域を設定（基準画像と比較画像との差分画像の輪郭に基づいて設定、入れ替え対象とする被写体からの距離や基準画像と比較画像の差分画像の画素値を引数とするエネルギー関数（式（４））を用いた最適解演算を行って設定）する入れ替え候補領域設定手段（制御部１０１）をさらに備え、
前記干渉度判定手段は、前記設定された入れ替え候補領域に含まれる前記所定の被写体と他の被写体との干渉度を判定することを特徴とする画像合成装置を構成しても良い。
これによれば、所定の被写体を含む入れ替え候補領域を設定し、当該入れ替え候補領域に含まれる所定の被写体と他の被写体との干渉度を判定することができる。

また、第８の発明として、
第７の発明の画像合成装置であって、
前記干渉度判定手段は、前記基準画像と前記比較画像との差分画像において抽出される入れ替え候補領域の交点（被写体の輪郭の交点）に基づいて所定の被写体と他の被写体との干渉度（輪郭線の重なり度合）を判定することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像と比較画像との差分画像において抽出される入れ替え候補領域の交点に基づくことで、所定の被写体と他の被写体との干渉度を正しく判定することができる。

また、第９の発明として、
第８の発明の画像合成装置であって、
前記干渉度判定手段は、前記基準画像と各比較画像との差分画像毎に抽出される所定の被写体の輪郭と他の被写体の輪郭との交点数（被写体の輪郭線が重なった本数）に基づいて所定の被写体と他の被写体との干渉度を判定することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像と各比較画像との差分画像毎に抽出される所定の被写体の輪郭と他の被写体の輪郭との交点数に基づくことで、所定の被写体と他の被写体との干渉度をより正しく判定することができる。

また、第１０の発明として、
第２の発明の画像合成装置であって、
基準画像および各比較画像における顔領域（画像中の人物の顔領域）を検出する顔領域検出手段（制御部１０１）と、
各比較画像において検出された顔領域毎に特徴量（顔特徴値：正面度、笑顔度、赤目度、目閉じ度、視線方向の正面度）を算出する特徴量算出手段（制御部１０１）と、
顔領域毎に算出された特徴量が最適値となる比較画像の組み合わせ（顔スコア値が最大となる比較画像の組み合わせ）を決定する比較画像決定手段（制御部１０１）と、
をさらに備えることを特徴とする画像合成装置を構成しても良い。
これによれば、各比較画像において検出された顔領域毎に算出した特徴量に基づくことで、輪郭の抽出に用いる比較画像の組み合わせを適切に決定することができる。

また、第１１の発明として、
第２の発明の画像合成装置であって、
基準画像および各比較画像における顔領域（画像中の人物の顔領域）を検出する顔領域検出手段（制御部１０１）と、
基準画像および各比較画像において検出された顔領域をユーザが選択可能な態様（ユーザがタップ操作やアイコン操作で選択可能な態様）で表示する顔領域表示手段（表示部１０３）と、
前記基準画像において選択された所定の顔領域を、いずれかの比較画像において選択された当該所定の顔領域に入れ替える場合において、当該所定の顔領域と他の顔領域との干渉が発生する場合には、当該他の顔領域について干渉が発生しておらず且つ当該他の顔領域について算出された特徴量が最適値となる比較画像（他の顔領域について干渉が発生しておらず、他の顔領域について顔スコア値が最大となる比較画像）を、当該他の顔領域についての入れ替え対象として決定する比較画像決定手段（制御部１０１）と、
をさらに備えることを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像および各比較画像において検出された顔領域を、ユーザが選択可能に表示させることができる。また、一の比較画像において所定の顔領域と他の顔領域との干渉が発生する場合に、所定の顔領域について入れ替え対象とする比較画像を適切に決定した上で入れ替えを行うことができる。

また、第１２の発明として、
第１の発明の画像合成装置であって、
前記動領域検出手段は、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出（基準画像と各比較画像それぞれとの差分画像に基づいて動領域を検出、基準画像と各比較画像との組み合わせ毎に隣接するブロック間の画像特徴量の差に基づいて動領域ブロックを検出）し、
前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定（基準画像と各比較画像の組み合わせ毎に検出された動領域に基づいて画像合成用マスクを生成）し、
前記合成画像生成手段は、各比較画像における合成領域を前記基準画像に連続的に合成（画像合成用マスクを介して比較画像を基準画像に連続的に合成）することを特徴とする画像合成装置を構成しても良い。
これによれば、各比較画像について設定された合成領域が連続的に合成される合成画像であるシネマグラフを得ることができる。

また、第１３の発明として、
第１２の発明の画像合成装置であって、
前記動領域検出手段は、前記基準画像および前記比較画像を、それぞれ判定領域（ブロック）に分割し、相互に対応する判定領域間の所定の特徴量（画像特徴量：輝度、彩度、明度、色差）の関係（画像特徴量に基づき定義される関数：式（５）、式（６））に基づいて動領域を検出することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像および比較画像の相互に対応する判定領域間の所定の特徴量に基づくことで、被写体の動領域を適切に検出することができる。

また、第１４の発明として、
第１３の発明の画像合成装置であって、
前記動領域検出手段は、前記特徴量を輝度とし、相互に対応する判定領域間（ブロック間）の輝度の関係（輝度に基づき定義される関数：式（５）、式（６））に基づいて動領域を検出することを特徴とする画像合成装置を構成しても良い。
これによれば、基準画像および比較画像の相互に対応する判定領域間の輝度の関係に基づくことで、被写体の動領域を正しく検出することができる。被写体の動きは輝度の変化に顕著に反映されるため、輝度に基づく動領域の検出は実効性が高い。

また、第１５の発明として、
第１３の発明に記載した画像合成装置であって、
前記動領域検出手段は、撮影条件（被写界深度）、撮影画像内容（基準画像と比較画像との差分画像においてエッジや輝度差が検出される領域の比率）、およびユーザ操作（タッチパネルに対するピンチ操作（ピンチイン操作／ピンチアウト操作））から選択されるいずれかに従って前記判定領域のサイズを変化させる（ブロックのサイズを変化させる）ことを特徴とする画像合成装置を構成しても良い。
これによれば、種々の条件や契機によって判定領域のサイズを変化させ、撮影画像に応じた適切な判定領域を設定することができる。

また、第１６の発明として、
第１３の発明に記載した画像合成装置であって、
前記動領域検出手段は、前記所定の特徴量の関係に基づいて前記基準画像を前記判定領域毎に正規化（ブロック毎に正規化）した正規化画像を生成し、その正規化画像における各判定領域（当該ブロック）と各判定領域に隣接する判定領域（当該ブロックに隣接する隣接ブロック）との前記特徴量の相違（画像特徴量の差）に基づいて当該判定領域が動領域であるか否かを判定（当該ブロックが被写体の動領域であるか否かを判定）することを特徴とする画像合成装置を構成しても良い。
これによれば、被写体の動領域を画像特徴量の相違に基づいて適切に検出することができる。

また、第１７の発明として、
第１３の発明の画像合成装置であって、
前記判定領域が動領域ではないと判定された場合において、当該判定領域に隣接する判定領域のうち所定数以上（当該ブロックに隣接する上下左右４つ全ての隣接ブロック）が動領域であると判定された場合には、当該判定領域について動領域と判定された場合と共通の処理を実行（動領域と判定されたものとして動領域と判定された場合と同様の処理を実行）することを特徴とする画像合成装置を構成しても良い。
これによれば、一の判定領域が実際には動領域であるにも関わらず、動領域でないと判定されてしまった場合であっても、当該判定領域を動領域として合成領域を設定することが可能となり、動領域判定の実効性を向上させることができる。

また、第１８の発明として、
第１３の発明の画像合成装置であって、
前記判定領域が動領域であると判定された場合において、当該判定領域に隣接する隣接判定領域（隣接ブロック）を対象として動領域であるか否かの判定を行う場合には、当該判定領域についての判定基準よりも動領域であると判定されやすい判定基準を適用（当該ブロックについて設定した閾値よりも低い閾値を設定）することを特徴とする画像合成装置を構成しても良い。
これによれば、動領域と判定された判定領域に隣接する隣接判定領域を動領域と判定され易くなるようにすることができる。

また、第１９の発明として、
第１３の発明の画像合成装置であって、
前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域の和（動領域と判定された領域のＯＲ領域）に基づいて、各比較画像について共通範囲の合成領域を設定（各比較画像について基準画像に合成する領域を共通に設定）することを特徴とする画像合成装置を構成しても良い。
これによれば、各比較画像について被写体の動領域の和で合成される共通範囲の合成領域を設定して基準画像への合成に用いることができる。

また、第２０の発明として、
第１３の発明の画像合成装置であって、
前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて、合成対象となる比較画像毎に当該比較画像に対応した合成領域を設定（合成対象となる比較画像毎に基準画像に合成する領域を設定、各ブロックについて基準画像との関係で動きが検出された比較画像のみを基準画像に合成）することを特徴とする画像合成装置を構成しても良い。
これによれば、合成対象となる比較画像毎に当該比較画像に対応した合成領域を設定して基準画像への合成に用いることができる。

また、第２１の発明として、
第１３の発明の記載した画像合成装置であって、
前記動領域検出手段は、ユーザ操作によって指定された領域（手動モードでユーザのドラッグ操作により指定された領域）に基づいて前記動領域の検出を実行可能であることを特徴とする画像合成装置を構成しても良い。
これによれば、ユーザ操作によって指定された領域を対象として動領域を検出することができる。

また、第２２の発明として、
第１３の発明の画像合成装置であって、
前記動領域検出手段は、ユーザ操作によらず予め定められた領域（自動モードにおいて予め設定されている領域であり、例えば全てのブロック）に基づいて前記動領域の検出を実行可能であることを特徴とする画像合成装置を構成しても良い。
これによれば、ユーザ操作によらず予め定められた領域を対象として動領域を検出することができる。

第２３の発明は、
異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出する動領域検出工程と、
動領域の検出結果に応じて前記比較画像における合成領域を設定する合成領域設定工程と、
設定された合成領域を前記基準画像に合成することにより合成画像を生成する合成画像生成工程と、
を含むことを特徴とする画像合成方法である。
これによれば、第１の発明と同様の作用効果を奏する画像合成方法を実現することができる。

また、第２４の発明として、
第２３の発明の画像合成方法であって、
前記動領域検出工程において、前記基準画像と前記比較画像との差分画像における輪郭を抽出し、
前記合成領域設定工程において、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定することを特徴とする画像合成方法を構成しても良い。
これによれば、第２の発明と同様の作用効果を奏する画像合成方法を実現することができる。

また、第２５の発明として、
第２３の発明の画像合成方法であって、
前記動領域検出工程において、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出し、
前記合成領域設定工程において、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定し、
前記合成画像生成工程において、各比較画像における合成領域を前記基準画像に連続的に合成することを特徴とする画像合成方法を構成しても良い。
これによれば、第１２の発明と同様の作用効果を奏する画像合成方法を実現することができる。

第２６の発明は、
コンピュータ（画像合成装置１０の処理装置（制御部１０１）、タブレット端末やパソコン等の各種の電子機器や情報処理装置が具備する処理装置（プロセッサ））に、
異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出する動領域検出ステップと、
動領域の検出結果に応じて前記比較画像における合成領域を設定する合成領域設定ステップと、
設定された合成領域を前記基準画像に合成することにより合成画像を生成する合成画像生成ステップと、
を実行させる（後述する実施形態で説明する画像処理を実行させる）ことを特徴とするプログラム（記憶部１０２等の記憶装置やメモリカード１０７等の記録媒体に記憶される画像処理プログラム）である。
これによれば、第１の発明と同様の作用効果を奏するプログラムを提供することができる。

また、第２７の発明として、
第２６の発明のプログラムであって、
前記動領域検出ステップにおいて、前記基準画像と前記比較画像との差分画像における輪郭を抽出し、
前記合成領域設定ステップにおいて、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定することを特徴とするプログラムを構成しても良い。
これによれば、第２の発明と同様の作用効果を奏するプログラムを提供することができる。

また、第２８の発明として、
第２６の発明のプログラムであって、
前記動領域検出ステップにおいて、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出し、
前記合成領域設定ステップにおいて、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定し、
前記合成画像生成ステップにおいて、各比較画像における合成領域を前記基準画像に連続的に合成することを特徴とするプログラムを構成しても良い。
これによれば、第１２の発明と同様の作用効果を奏するプログラムを提供することができる。

第２９の発明は、
異なるタイミングで撮像された基準画像と比較画像に基づいて、比較画像毎に前記基準画像に合成させる合成領域を設定する合成領域設定手段（基準画像と各比較画像それぞれとの差分画像に基づいて検出された動領域に対応した動領域マスク、基準画像と各比較画像との組み合わせ毎に隣接するブロック間の画像特徴量の差に基づいて判定された動領域に対応した動領域マスクを生成する制御部１０１）と、
設定された各合成領域を前記基準画像に連続的に合成することにより、前記基準画像において合成部分の画像が経時的に変化する合成画像を生成する合成画像生成手段（設定された動領域マスクを介して基準画像に各比較画像を順次合成させることにより基準画像において特定範囲の画像を変化させる制御部１０１）と、
を備えることを特徴とする画像合成装置である。
これによれば、各比較画像について設定された合成領域が連続的に合成される合成画像であるシネマグラフを得ることができる。

また、第３０の発明として、
第２９の発明の画像合成装置であって、
前記合成領域設定手段は、前記基準画像においてユーザ操作により指定された領域に基づいて前記合成領域を設定可能である（ユーザがドラッグ操作で指定した領域に対応する動領域マスクを生成する、ユーザがドラッグ操作で指定した領域を少なくとも一部に含むブロックを対象として動領域を判定して動領域マスクを生成する）ことを特徴とする画像合成装置を構成しても良い。
これによれば、所望の領域を適切に動領域化することが可能となる。

本発明によれば、被写体の動領域に応じて設定した合成領域について、比較画像における合成領域が基準画像に合成された所望の合成画像を得ることができる。

画像合成装置のハードウェア構成図である。 画像合成装置において実行される処理を示すフローチャートである。 画像合成装置において実行される処理を示すフローチャートである。 表示部に表示される基準画像の一例を示す図である。 基準画像および比較画像の矩形領域である。 合成処理を示すフローチャートである。 差分画像の一例を示す図である。 Active Contour Modelにおける輪郭線を示す図である。 Greedy探索の説明図である。 初期輪郭の設定方法を示す図である。 ノードの移動回数に応じた輪郭の収束状況を示す図である。 アルファブレンド用のマスク画像の一例を示す図である。 アルファブレンドにより得られた合成画像の一例を示す図である。 集合写真の基準画像の一例を示す図である。 集合写真の合成画像の一例（失敗例）を示す図である。 基準画像における境界線の作成例を示す図である。 集合写真の合成画像の一例（成功例）を示す図である。 画像合成装置において実行される処理を示すフローチャートである。 入れ替え推奨度判定処理を示すフローチャートである。 入れ替え推奨度の判定方法および入れ替え推奨度の表示方法の説明図である。 輪郭線をオーバーレイ表示した集合写真の基準画像の一例を示す図である。 入れ替え推奨度を表示した集合写真の基準画像の一例を示す図である。 ユーザ指定による入れ替え候補領域の一例を示す図である。 撮影画像に含まれる人物の顔およびその輪郭線を模式化した図である。 顔特徴値を定量化した結果の一例を示す図である。 画像合成装置において実行される処理を示すフローチャートである。 ブロック判定処理を示すフローチャートである。 正規化前および正規化後の基準画像の一例を示す図である。 動領域の和をオーバーレイ表示した画像の一例を示す図である。 動領域の和に基づいて生成されるマスクの一例を示す図である。 画像合成装置において実行される処理を示すフローチャートである。 各比較画像に対応した動領域に基づいて生成されるマスクの一例を示す図である。 ユーザの操作に基づいて動領域が判定される例を示す図である。 画像合成装置において実行される処理を示すフローチャートである。 ブロック判定処理を示すフローチャートである。 記録媒体の一例を示す図である。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する場合がある。また、図面の寸法比率は、説明のものと必ずしも一致していない。

以下に示す第１実施形態および第２実施形態は、いずれも動きのある被写体を異なるタイミングで撮影した複数の撮影画像を用いて、基準画像における被写体の画像領域に、比較画像における被写体の画像領域を合成して所望の合成画像を得るものである。

［第１実施形態］
この実施形態では、基準画像と比較画像との差分画像に基づいて被写体の動作の輪郭を動的に捕捉することにより、被写体の動作を反映した輪郭領域を抽出して基準画像に合成する。以下、第１実施形態に係る画像合成装置、画像合成方法、および、プログラムについて説明する。

図１は、本発明の第１実施形態に係る画像合成装置１０のハードウエア構成図である。
図１に示すように、画像合成装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等からなる制御部１０１、メモリおよびハードディスク装置等からなる記憶部１０２、表示部１０３、入力部１０４、並びに、撮像部１０５を備えている。画像合成装置１０は、記憶部１０２に記憶されているプログラムを制御部１０１が実行することにより、後述する機能を実現するように構成されている。すなわち、制御部１０１は、記憶部１０２に記憶されているプログラムを実行可能に構成されている。記憶部１０２は、上記の通り、メモリおよびハードディスク装置等からなり、前述の制御部１０１によって実行されるプログラムを格納するほか、撮像部１０５によって撮影された画像データ、およびそれら画像データを制御部１０１が実行するプログラムに処理されることにより発生するデータ（例えば、差分画像データや合成画像データ）を格納可能に構成される。表示部１０３は、記憶部１０２に格納された画像データ等を表示可能に構成される。入力部１０４は、表示部１０３と共にいわゆるタッチスクリーンとして一体に構成され、ユーザと画像表示装置１００との間の入力インターフェースとして機能する。具体的には、ユーザは、表示部１０３において表示された画像等に対し、あたかも直接触って操作を行うかのように、ユーザは指で入力部１０４にタップ操作やピンチ操作等を行い、その操作（接触態様）を探知した入力部１０４は、その接触位置や動作を判別して対応する処理を制御部１０１に行わせるものである。撮像部１０５は、画像を撮影可能に構成される。撮像部１０５によって撮影された画像は、画像データとして記憶部１０２に格納される。

図１に示されるような画像合成装置１０として、代表的な例ではいわゆるスマートフォンやタブレット端末が有るが、これに限らず、タッチスクリーンまたはマウス等により入力を行うＰＣもしくはデジタルカメラ等の情報端末装置であっても良い。

以下、第１実施形態に係る画像合成装置１０において実行される処理について、図２及び図３のフローチャートを参照して説明する。図２及び図３の処理の一部または全部を担う画像合成プログラムはメモリに読み込まれ、制御部１０１のＣＰＵにより実行される。以下では、複数の被写体が集合した画像が撮影される例を示しているが、これに限らず、被写体は単独であっても良い。

まず、ユーザは画像合成装置１０において、表示部１０３に表示された撮影ボタンをタップする等の所定の撮影操作を行うことにより撮像部１０５を動作させ、被写体（複数の被写体）を複数回撮影し、撮影回数分の撮影画像を得る（Ｓ１００１）。例えば、１回の撮影操作に応じて、数１０ｍ秒間隔、数１００ｍ秒間隔、１秒間隔、または数秒間隔等の所定の時間間隔で、連続的に撮影画像データを取り込む処理が行われる連続撮影モードとすることで、１回の撮影操作に伴い複数の撮影画像が得られる。

このようにして得られた複数の撮影画像は、記憶部１０２に格納される。そして、撮影画像の中から基準画像となるものを設定する（Ｓ１００２）。基準画像は、例えば、最初に撮影された画像を自動的に基準画像として設定するようにしても良く、複数の撮影画像を表示部１０３に表示して、ユーザに基準画像とする画像を選択させることで設定するようにしても良い。例えば、ユーザは、複数の被写体のうち少なくとも１以上の被写体が所望の状態で撮影されている画像を基準画像として選択するようにし、所望の状態で撮影されていない被写体の領域に対しては、所望の状態で撮影されている比較画像（基準画像以外の撮影画像）の領域を挿入するようにすると良い。

基準画像の設定後、基準画像と比較画像との間には、手ブレ等に基づく位置ズレが存在するため、基準画像に対して比較画像の位置合わせを行う（Ｓ１００３）。本例では、ブロックマッチング法により位置合わせを行う。なお、勾配法等の他の位置合わせ手法を適用しても良い。

位置合わせを行った後、基準画像を対象として顔領域の検出を行う（Ｓ１００４）。例えば、Ｈａａｒ−Ｌｉｋｅ特徴を用いた識別器やパターンマッチング等を利用して顔領域を検出する。なお、顔領域の検出は基準画像中の顔らしき領域を特定することができれば、その手法は特に問わず、ハードウェアを用いて検出するようにしても良く、ソフトウェアによって検出するようにしても良い。そして、図４に示すように、検出された顔領域を含む矩形を基準画像上に表示する（Ｓ１００５）。このように、検出された顔領域をユーザに閲覧させて、その顔領域が基準画像上において好ましい状態となっているか否かを判断させるようにしている。また、本例では矩形を表示することで、その矩形領域内の部分画像を、他の画像（比較画像）の部分画像に変更可能であることを示唆している。

ユーザは、基準画像に表示されている矩形のうち、適切な状態で撮影されていない顔領域を含む矩形が存在する場合には、その矩形領域をタップ操作により選択する。そして、選択操作の検出（Ｓ１００６）に基づいて変更対象となる矩形領域（以下、ベースターゲットと称する）が決定される（Ｓ１００７）。なお、入力部１０４がタッチスクリーンではなく、マウス等のポインティングデバイスにより構成されているのであれば、ユーザはマウスを操作して変更したい顔領域を含む矩形領域にカーソルをあわせてクリックすることで、ベースターゲットが決定される。

そして、比較画像（前述したように既に基準画像との位置合わせが完了しているもの）において、基準画像と同様に顔領域を検出し（Ｓ１００８）、さらに、その顔領域を含む矩形を設定する（Ｓ１００９）。そして、ベースターゲットと面積が所定割合（例えば１／２）以上重複している矩形領域を特定し（Ｓ１０１０）、図５に示すように、その矩形領域を基準画像の隣に並べて表示する（図３のＳ１０１１）。すなわち基準画像の前後の比較画像からベースターゲットと共通の被写体像を含む矩形領域を特定する。これにより、ベースターゲットと入れ替える候補となる矩形領域がユーザに提示されることになる。より具体的には、ベースターゲット内の部分画像に上書きする部分画像を含んだ矩形領域が候補として提示されることになる。

ここで基準画像上の矩形領域（ベースターゲット）および候補として提示される矩形領域は、その矩形領域に含まれる顔領域に対して十分に大きい面積を有している。例えば、中央に顔領域を含み、その顔領域の２倍以上の縦幅および横幅（顔領域の面積の４００％以上）を有する矩形領域である。これは後述する合成処理を行うに際して顔の動きを捕捉し、また顔の動きに伴う首や肩、胸などの他の部位の動きも捕捉して自然な合成画像を生成するためであり、顔の周囲の一定範囲まで含めたベースターゲットとスワップターゲットを設定するためである。

図５に示すように並列表示された矩形領域の中から、ユーザが適切と判断する顔領域を含むものをタップすると、この選択操作に基づいて、選択された矩形領域を、ベースターゲットと入れ替えるスワップターゲットとして決定する（Ｓ１０１２）。さらに基準画像上におけるスワップターゲットの位置を決定する（Ｓ１０１３）。例えば、スワップターゲットをベースターゲット近辺で走査させてブロックマッチングによる位置合わせを行う。そして、基準画像上の決定位置にスワップターゲットを単純に上書き（貼り付け）してプレビュー画像を作成する（Ｓ１０１４）。なお、位置合わせの手法はブロックマッチングに限定されず、勾配法等の他の手法を用いても良い。

ユーザはプレビュー画像を確認して、スワップターゲット内の被写体が好ましい状態であることを確認した場合には、表示部１０３に表示されている合成ボタンをタップする。一方、スワップターゲット内の被写体が好ましい状態ではないと判断した場合には、合成ボタンをタップせずに、現スワップターゲットとは異なる比較画像の矩形領域を選択する。合成ボタンのタップ操作が検出された場合には（Ｓ１０１５でＹＥＳ）、後述する合成処理を実行する（Ｓ１０２０）。合成ボタンが操作されずに異なる比較画像の矩形領域が選択された場合には（Ｓ１０１５でＮＯ）、選択操作前のスワップターゲットに代えて、新たに選択された矩形領域をスワップターゲットとする（Ｓ１０１２）。なお、プレビュー画像を表示することなく、スワップターゲットが決定されると直ちに合成処理を実行するようにしても良い。

以下、合成処理について図６に示すフローチャートを参照して説明する。合成処理が開始されると、まず制御部１０１は、位置合わせ後のベースターゲットとスワップターゲットとの差分画像を生成する（Ｓ１０２１）。これにより得られる差分画像は、図７に示すように、被写体の動きがある領域の輝度値が高くなる。次に、差分画像中の抽出輪郭を決定する処理を実行する（Ｓ１０２２）。差分画像中において輝度が高い領域は被写体の動きがある領域であるから、これらの輝度が高い領域全体を包含するような輪郭を決定することにより、決定された抽出輪郭は、被写体が動いた領域を含んだ画像領域となる。すなわち、差分画像に基づいて抽出輪郭を決定することにより被写体の動作を捕捉することが可能となる。本実施形態においては、動的輪郭モデル（Active Contour Model）により抽出輪郭を決定する例を説明するが、他の技術を適用しても良い。

ＡＣＭ（Active Contour Modelの略）は、輪郭を決定するためのアルゴリズムである。予め規定されたエネルギー関数を最小化することにより輪郭を決定するものであり、図８に示すように、その輪郭はノードとそれを結ぶ枝からなる閉曲線によって構成され、初期輪郭から最適な状態への輪郭の変形がエネルギー関数の最小化によって行われる。エネルギー関数の最小化は一般的に繰り返し計算によって行う。以下にエネルギー関数の式を示す。

ここで、E_allは、上記のエネルギー関数により求められるエネルギーである。また、E_internalは、輪郭の連続性を表すエネルギー、E_edgeは、輪郭がエッジに沿っている度合いを表すエネルギー、E_externalは、ノードが中央に集まっている度合いを表すエネルギーであり、それぞれ以下の式で表される。また、k₁、k₂、k₃は、それぞれE_internal、E_edge、E_externalに対する重みを表す係数であり、例えば、予め定められた値を固定値として設定しておくことができる。

ここで、画像平面上で表現される閉曲線をv(s)=(x(s),y(s))としたときに、第１式において、v(s)の一次微分は、輪郭の連続性を表す関数である。但し、“s”は、閉曲線の形状を表すパラメーターである。第２式において、I(x,y)は、対象画像（差分画像）の座標(x,y)における輝度値を表す関数である。また、第３式において、Dist_center(x,y)は、座標(x,y)と重心位置との距離を表す関数である。
なお、エネルギー関数中の係数k₁、k₂、k₃の値は固定値に限られるものではなく、撮影画像の内容、撮影条件、ユーザ入力等によって可変であっても良い。

また、上記エネルギー関数の最小化は、Greedy探索を用いて行う。Greedy探索とは、図９に示すように、ノードの画素の周囲８近傍のエネルギーを調べ、そのうち最小のエネルギーとなる座標に向けて１画素ずつノードを移動させるものである。Greedy探索は、勾配効果法に比べ、輪郭を収縮させすぎるおそれが少ないという効果を有する。対して収束は比較的遅いが、数十個程度のノード数ならば十分であるという判断から、本実施形態においては、Greedy探索を用いている。

Greedy探索を開始する前の初期輪郭（初期の閉曲線）の決定方法は、以下のようにして行う。まず、図１０に示すように、差分画像において検出される顔領域、あるいはその差分画像の基礎となったベースターゲットまたはスワップターゲット上で既に検出されている顔領域に相当する領域を包含するような仮輪郭（本例では楕円）を設定する。差分画像を対象として顔領域の検出を行い、その顔領域を包含するような仮輪郭を設定するようにしても良い。そして、その仮輪郭の線上に位置する画素の輝度の総和を算出する。そして、仮輪郭の径を徐々に拡大してゆき、その都度、各仮輪郭の線上に位置する画素の輝度の総和を算出する。このようにして算出した輝度の総和が最小となるときの仮輪郭を初期輪郭として設定する。これは、画素の輝度が高い領域は、その領域に被写体の動きが及んでいるとの仮定に基づくものであり、被写体の動きの影響が低い領域まで初期輪郭を拡大しておき、その後に、Greedy探索によって閉曲線のノードを移動させて徐々に輪郭を収束させる方法を採るようにしている。すなわち、まず被写体の動きが及んでいる可能性のある領域を可能な限り包含するような初期輪郭を設定し、その後の輪郭変形によって被写体の動きが及んでいる範囲に対しての最適な輪郭を決定することができる。

このようにして設定した初期輪郭に相当するエネルギー関数に基づいて、Greedy探索を行って、徐々に輪郭を収束させていき、エネルギー関数が最小化されたときの輪郭を抽出輪郭として決定する。図１１には、Greedy探索によるノードの移動回数が、０回（初期輪郭）、５０回、１００回、１５０回、２００回、３００回と増加するに従って、徐々に輪郭が収束して最適化（エネルギー最小化）される例を示している。なお、この実施形態では、ノードの移動回数６００回を上限としており、その時点でエネルギーが最小化されていなくても、その時点における輪郭を抽出輪郭として決定し、Greedy探索を終了する。

次に、図１２に示すように、輪郭線の内側領域と輪郭線の外側領域とをFloodFill等の手法により異なる色（この例では白（画素値２５５）と黒（画素値０））で塗りつぶして色分けし、アルファブレンド用のマスク画像を生成する（Ｓ１０２３）。なお、この例では輪郭線の内側領域が透過領域となっている。

このようにして生成されたマスク画像を介して、基準画像のベースターゲットと、このベースターゲットに位置合わせされたスワップターゲットとをアルファブレンドにより合成する（Ｓ１０２４）。

本実施形態では、アルファブレンドによる合成において介在させるマスク画像を、上記のように白と黒に色分けされたマスク画像（以下、「原マスク画像」という。）とするのではなく、以下の式に基づいて修正した修正マスク画像とする。

ここで、I_maskは、原マスク画像の画素値を、I_resultは、修正マスク画像の画素値を、I_blurredは、原マスク画像に対して暈し処理を行うことで得られる暈しマスク画像の画素値をそれぞれ示す。また、αは、暈しマスク画像の画素値I_blurredを調整するための調整係数を示す。

原マスク画像に対して暈し処理を行うと、原マスク画像における境界部分も暈されるため、例えば、図１２のように原マスク画像の輪郭線の内側領域から外側領域にかけて２５５（白）→０（黒）と変化していた画素値が、中央値である１２８に近い値となってしまい、輪郭線の内側領域が浸食されてしまうという問題がある。この浸食を防ぐために、暈しマスク画像の境界部分の画素値を２５５近くまで引き上げるための係数が、調整係数αである。このようにすることで、画素値の分布を滑らかにしつつ、輪郭線の内側領域が浸食されていない修正暈し画像を生成することができる。

max(A,B)は、AとBのうちの大きい方の値を出力するmax関数である。また、max関数中の“｜”は、α*I_blurredの値の取り得る範囲を定義する符号であり、α*I_blurredの値が０〜２５５の範囲内の値となるように制限する。

式（３）によれば、α*I_blurredとI_maskのうちの大きい方の値が出力される。この場合、上記の例では、輪郭線の内側領域の画素については、画素値がいずれも２５５となるため２５５が出力され、輪郭線の外側領域の画素については、I_maskが０となるためα*I_blurredが出力される。その結果、外部部分のみが暈された修正マスク画像が生成される。輪郭線の境界部分では、調整係数αによってI_blurredの値が嵩上げされているため、輪郭線の内側領域から外側領域に移る際にも、画素値が急激に変化することなく、滑らかな画素値の分布が維持されることとなる。このような暈しを行うことで、輪郭の外側を自然にブレンドしつつ（輝度値の勾配を緩やかにしつつ）、輪郭の内側は確実に入れ替えを行うことができる。

図１３に、上記の修正マスク画像を介したアルファブレンドにより得られた合成画像の一例を示す。換言すると、スワップターゲットからは上記差分画像の抽出輪郭に対応した画像領域が抜き出されて、ベースターゲットにおける上記差分画像の抽出輪郭に対応した画像領域にあてはめられる（上書きされる）ことになり、ベースターゲットにおけるそれ以外の画像領域については、暈し領域を除いて従来の基準画像のままとなる。このように、差分画像に基づいて被写体の動きが影響する範囲を動的に抽出し、その抽出領域のみをあてはめるようにすることで、被写体が所望の状態となっており且つ合成領域に不自然さを感じさせない合成画像を生成することができる。

次に、出力ボタンがタップされたか否かを判定し（Ｓ１０３０）、タップされずに基準画像における他の矩形領域が選択された場合には（Ｓ１０３０でＮＯ）、即ち、好ましい状態で写っていない被写体を含む他の矩形領域が存在することにより、その矩形領域が選択された場合には、前述したようにＳ１００６以降の処理が実行され、ベースターゲットとスワップターゲットとが設定されて同様に画像合成が行われる。そして全ての被写体が好ましい状態となった合成画像が得られたことに基づいて、表示部１０３に表示された出力ボタンがタップされると（Ｓ１０３０でＹＥＳ）、その画像がＪＰＥＧ形式等の所望の形式に符号化され、記憶部１０２に格納される。

［顔領域の干渉排除］
前述したように、ベースターゲットおよびスワップターゲットの設定では、顔領域よりも広範な範囲を設定するようにしているため、例えば多人数の被写体が収まる集合写真のように、顔領域同士が近い位置にある場合には１のベースターゲットまたはスワップターゲットの中に複数の顔領域が含まれるケースが生じる。特に、撮像位置から近い被写体と撮像位置から近い被写体とが存在するような場合には、大きな顔領域の付近に小さな顔領域が存在するケースがあり、この場合には大きな顔領域を基準として広範なベースターゲットやスワップターゲットが設定されることにより、これらの中に複数の顔領域が含まれる可能性が極めて高い。

その結果、差分画像にも当然ながら複数の顔領域が含まれることになり、結果として、好ましい状態で写っていない顔領域を替えようとした場合に、その隣の顔領域まで替えられてしまうという自体が生じる。例えば、図１４に示すような集合写真を基準画像とする場合、右下の女性は撮像位置から近いため顔領域が広範になり、その顔領域を含むベースターゲットやスワップターゲットも広範になり、その隣の男性の顔領域も含まれてしまうことになる。その結果、差分画像において設定される初期輪郭が複数の顔領域を包含するものとなってしまう。これにより、抽出輪郭には複数の顔領域が含まれ、図１５に示すように、仮に基準画像右下に位置する女性の顔領域をスワップターゲットの顔領域に変更しようとしても、これに伴い、その隣に位置する男性の顔領域まで変更されてしまう。

このような問題を防止すべく、例えば、以下のような措置を採るようにすると良い。まず、基準画像から検出された各顔領域間の境界線を設定する。具体的には、各顔領域の中心座標を算出し、隣り合う２つの顔領域それぞれの中心座標からの距離が等間隔となるような境界線を生成する。ただし、その境界線がいずれかの顔領域内に位置するような場合には、該当部分を削除してその顔領域の輪郭線よりも所定画素分外側（中心座標から離れる方向）に境界線を作成する。このようにして、図１６に示すように、各顔領域を含む矩形の最大領域が定められる。また、各比較画像についても、基準画像と同様の方法で各顔領域間の境界線を設定する。そして、基準画像や各比較画像において顔領域を含む矩形を設定するときには、その矩形と境界線とが交点を有しないサイズの矩形を設定するようにする。

これにより、ベースターゲットやスワップターゲットにおける顔領域の干渉を防止することができる。図１７に示す合成画像の例では、右下の女性の顔領域を含むベースターゲットやスワップターゲットの範囲が境界線内に限定されることにより、その左隣の男性の顔領域が含まれなくなり、その結果、女性の顔領域のみが変更されている。

なお、基準画像において変更対象としたい被写体と変更対象とはしたくない被写体とのいずれも変更されてしまう上記のような問題を解決するために、以下のような処理を行うようにしても良い。基準画像や比較画像について上記のような境界線を生成せずに、ベースターゲットやスワップターゲット内に複数の顔領域が含まれる状況を排除しないようにする。すなわち既に例示した通常の顔認識およびベースターゲットおよびスワップターゲットの設定を行う。そして、この状態で合成処理が実行されてベースターゲットおよびスワップターゲット内の複数の顔領域が変換されてしまった場合に、これを確認したユーザ側で、基準画像の顔領域に戻したい顔領域（図１５の例では女性の左隣の男性の顔領域）をタップすることで、以下のように合成処理を再実行する。

まず、既に設定されているベースターゲット（旧ベースターゲットと称する）においてタップされた領域近辺の顔領域を検出すると共に、旧ベースターゲットからその顔領域（図１５の例では女性の隣の男性の顔領域）を除いた領域内で設定可能な最大の矩形を設定してこれを新たにベースターゲットとして設定する（新ベースターゲットと称する）。そして、既に設定されているスワップターゲット（旧スワップターゲットと称する）においてタップされた領域近辺の顔領域を検出すると共に、旧スワップターゲットからその顔領域（例えば女性の隣の男性の顔領域）を除いた領域内で設定可能な最大の矩形を設定して、これを新たにスワップターゲットとして設定する（新スワップターゲットと称する）。

そして、新ベースターゲットと新スワップターゲットについて再度Ｓ１０１３と同様の位置合わせを行い、次いでＳ１０２０の合成処理を実行する。これにより、選択された顔領域（基準画像に戻したい顔領域）を除いて、基準画像に新スワップターゲットが合成されることになる。このように、画像合成装置側で前述した境界線の作成処理等を行わずに、ユーザ操作によって所望の合成画像を取得することも可能である。前述した境界線の作成処理については、顔領域間の距離や輪郭によって多様な例外処理を設けておかなければならないため、処理が複雑化して、適切に境界線が設定されないケースも存在する。このような場合には、ユーザ側で上述した操作を行い、選択した被写体を基準画像の状態に戻すことが可能となる。

なお、画像合成装置１において自動認識モードとマニュアル認識モードとを切り替え可能としておき、自動認識モードにおいて境界線が適切に設定されずに所望の画像合成結果を得ることができかった場合に、ユーザ側においてマニュアル認識モードに切り替えて、基準画像に戻したい被写体領域をタップすることによって、前述したように、その領域を除いたスワップターゲットが再設定されて、画像合成が再実行されるようにしても良い。

上記の例では、基準画像を対象として自動的に顔領域が検出され、これに基づいてベースターゲットが設定される例について説明したが、これに限らず、ユーザ操作により、任意の領域を指定して、その領域を対象としてベースターゲットとスワップターゲットとを設定して合成処理を行うようにしても良い。例えば、ユーザがピンチ操作によって矩形領域を指定することにより、その領域自体がベースターゲットとして設定され、これに基づいてスワップターゲットも設定されるようにすると良い。例えば、比較画像内の所定範囲（ベースターゲットに相当する領域近辺）でベースターゲットを走査させて、最も相関が高い位置にベースターゲットと同サイズのスワップターゲットを設定するようにすると良い。これにより、合成領域の自由度が高まり、被写体の細かい動きまで捕捉した所望の合成画像を生成することができる。

以上、本実施形態に係る画像合成装置１０によれば、同シーンの画像を複数枚撮影し、基準画像において入れ替えが必要な領域について比較画像との差分画像を取得し、その動領域の輪郭を推定し、その推定された輪郭に基づいて比較画像との入れ替えをする合成を行うので、被写体の動きを適切に反映した自然な合成画像を生成することが可能である。

［入れ替え推奨度の判定・表示］
画像合成装置１０の制御部１０１が実行する図２の処理において基準画像を設定した後、この基準画像のうち比較画像との入れ替え（画像合成）を行う候補となる領域である入れ替え候補領域を設定し、設定した各入れ替え候補領域の入れ替えの推奨度（以下、「入れ替え推奨度」という。）をユーザが視認可能に表示するようにしても良い。

複数の比較画像中、大部分の比較画像においては、一の入れ替え候補領域について他の入れ替え候補領域との間で干渉が生じておらず入れ替えが可能であるものの、一部の比較画像においては、被写体の動きが激しいことなどに起因して、該入れ替え候補領域の入れ替えが困難な場合がある。このような場合にその比較画像についてのみならず他の比較画像についても入れ替え候補領域の入れ替えを不可としてしまうのは不適切である。そこで、例えば、隣接する入れ替え候補領域に係る輪郭線の重なり度合に応じて入れ替え候補領域の入れ替え推奨度を判定し、入れ替え候補領域別の入れ替え推奨度をユーザが区別可能な態様で表示するようにしても良い。輪郭線の重なり度合が低ければ入れ替え推奨度を高く（入れ替え推奨）し、輪郭線の重なり度合が高ければ入れ替え推奨度を低く（入れ替え非推奨）する。

図１８は、この場合に画像合成装置１０の制御部１０１が、図２の処理に代えて実行する処理の流れを示すフローチャートである。なお、図２のフローチャートと同一のステップについては同一の符号を付して、再度の説明を省略する。

Ｓ１００３において基準画像に対する比較画像の位置合わせを行った後、制御部１０１は、入れ替え候補領域を設定する（Ｓ１０４０）。つまり、制御部１０１は、入れ替え候補領域設定手段として機能する。この場合に設定する入れ替え候補領域は、上記の実施形態と同様に、例えば、顔検出を行って検出した被写体の顔領域としても良いし、ユーザにより指定された任意の領域としても良い。ここでは、顔検出を行って検出した顔領域を入れ替え候補領域とする場合を例示する。なお、顔検出は、上記の実施形態と同様に、Ｈａａｒ−Ｌｉｋｅ特徴を用いた識別器やパターンマッチング等を利用して実現することが可能である。

次いで、制御部１０１は、基準画像と、基準画像以外の撮影画像である各比較画像それぞれとの画素値の差分値を算出することで差分画像を生成する（Ｓ１０４１）。これにより、撮影画像のうち、基準画像を除いた数分の差分画像が生成される。そして、制御部１０１は、各差分画像それぞれについて、各入れ替え候補領域（顔領域）それぞれの輪郭線を抽出する（Ｓ１０４３）。そして、制御部１０１は、各入れ替え候補領域について抽出された輪郭線を基準画像上にオーバーレイ表示する（Ｓ１０４５）。

図２１は、この場合に表示部１０３に表示される表示画面の一例を示す図である。図２１には、図１５に示した集合写真の撮影画像を基準画像とし、この基準画像を除いた他の比較画像との差分画像をそれぞれ生成して、輪郭線を抽出した結果を示している。ここでは、比較画像の枚数を３枚とした場合の結果を図示している。基準画像と他の比較画像との差分をそれぞれ算出することで３枚の差分画像が得られる。この場合、３枚の差分画像から、各顔領域それぞれについて３本の輪郭線が得られることになり、これを図示したものが図２１である。これを見ると、集合写真に写っている６名の人物の顔領域に対応する部分に、それぞれ３本ずつ輪郭線が抽出されていることがわかる。

図１８に戻り、制御部１０１は、ユーザにより入れ替え候補領域の何れかが選択されたか否かを判定する（Ｓ１０４７）。そして、選択されたと判定したならば（Ｓ１０４７；Ｙ）、制御部１０１は、入れ替え推奨度判定処理を行う（Ｓ１０５０）。

図１９は、入れ替え推奨度判定処理の流れを示すフローチャートである。
制御部１０１は、選択された入れ替え候補領域（以下、「選択入れ替え候補領域」という。）を除いた入れ替え候補領域（以下、「非選択入れ替え候補領域」という。）のそれぞれについて、ループＡの処理を行う（Ｓ１０５１〜Ｓ１０５７）。ループＡの処理では、制御部１０１は、選択入れ替え候補領域の輪郭線と、当該非選択入れ替え候補領域の輪郭線との重なり度合を判定する（Ｓ１０５３）。例えば、選択入れ替え候補領域と当該非選択入れ替え候補領域とについて、各差分画像から抽出された輪郭線が重なった本数を重なり度合として判定する。そして、制御部１０１は、Ｓ１０５３で判定した輪郭線の重なり度合に基づいて当該非選択入れ替え候補領域の入れ替え推奨度を判定する（Ｓ１０５５）。

図２０は、この場合の入れ替え推奨度の判定方法を説明するための図である。ここでは、図２１で説明したように、比較画像の枚数を３枚とした場合の入れ替え推奨度の判定方法を例示する。各入れ替え候補領域それぞれについて抽出された３本の輪郭線に基づいて、選択入れ替え候補領域の輪郭線と当該非選択入れ替え候補領域の輪郭線とが重なった本数を判定する。

重なった輪郭線の本数が０本である場合は、入れ替え推奨度を「高」と判定する。重なった輪郭線の本数が１本〜３本である場合は、入れ替え推奨度を「中」と判定する。重なった輪郭線の本数が４本〜７本である場合は、入れ替え推奨度を「注意」と判定する。また、重なった輪郭線の本数が８本又は９本である場合は、入れ替え推奨度を「非推奨」と判定する。

図１９に戻り、上記のようにして入れ替え推奨度を判定したならば、制御部１０１は、次の非選択入れ替え候補領域へと処理を移す。そして、全ての非選択入れ替え候補領域についてＳ１０５３およびＳ１０５５の処理を行ったならば、制御部１０１は、ループＡの処理を終了する（Ｓ１０５７）。そして、制御部１０１は、入れ替え推奨度判定処理を終了する。

図１８に戻り、入れ替え推奨度判定処理を行ったならば、制御部１０１は、判定した入れ替え推奨度に応じて各非選択入れ替え候補領域をユーザが区別可能な態様で表示部１０３に表示させる制御を行う（Ｓ１０６０）。具体的には、例えば図２０に示すように、入れ替え推奨度に応じて各非選択入れ替え候補領域を異なる色で半透明に色分けして表示制御する。図２０に示すように、入れ替え信頼度が「高」である場合は、当該非選択入れ替え候補領域を「青色」で半透明に表示させる。入れ替え信頼度が「中」である場合は、当該非選択入れ替え候補領域を「緑色」で半透明に表示させる。入れ替え信頼度が「注意」である場合は、当該非選択入れ替え候補領域を「黄色」で半透明に表示させる。また、入れ替え信頼度が「非推奨」である場合は、当該非選択入れ替え候補領域を「赤色」で半透明に表示させる。

図２２は、この場合に表示部１０３に表示される表示画面の一例を示す図である。ここでは、図１５に示した集合写真の撮影画像について入れ替え推奨度を判定し、入れ替え推奨度に応じて入れ替え候補領域を半透明に色分けして表示した結果の一例を示している。

ここでは、入れ替え候補領域として検出された６名の顔領域のうち、画面中央下部の男性の顔領域Ｆ１がユーザにより選択された場合を図示している。この場合、図２１に示した顔領域の輪郭線の抽出結果に基づいて、顔領域Ｆ１の輪郭線と、他の５名の人物の顔領域Ｆ２〜Ｆ６の輪郭線との重なり度合を判定し、その判定結果に基づいて、顔領域Ｆ２〜Ｆ６の入れ替え信頼度を判定する。

その結果、当該男性の顔領域Ｆ１と当該男性の左に位置する男性の顔領域Ｆ２とで輪郭線の重なり本数が１本であったため、顔領域Ｆ２は入れ替え推奨度が「中」と判定され、顔領域Ｆ２は「緑色」で半透明に表示される。また、当該男性の顔領域Ｆ１と当該男性の右に位置する女性の顔領域Ｆ３とで輪郭線の重なり本数が９本であったため、顔領域Ｆ３は入れ替え推奨度が「非推奨」と判定され、顔領域Ｆ３は「赤色」で半透明に表示される。また、画面上の３名の男性の顔領域Ｆ４〜Ｆ６については、顔領域Ｆ１との輪郭線の重なり本数が０本であったため、顔領域Ｆ４〜Ｆ６は入れ替え推奨度が「高」と判定され、顔領域Ｆ４〜Ｆ６はそれぞれ「青色」で半透明に表示される。

図１８に戻り、制御部１０１は、ユーザにより選択入れ替え候補領域を確定する操作がなされたか否かを判定し（Ｓ１０７０）、なされなかったと判定したならば（Ｓ１０７０；Ｎ）、Ｓ１０４７に処理を戻す。一方、確定する操作がなされたと判定したならば（Ｓ１０７０；Ｙ）、制御部１０１は、Ｓ１００７へと処理を移す。なお、Ｓ１００７では、確定した入れ替え候補領域（例えば顔領域）を含む矩形がベースターゲットとして決定される。以降の処理は図２と同様である。ただし、図１８に示す例では、既に各差分画像を生成しており（Ｓ１０４１）、また、各差分画像について各入れ替え候補領域の輪郭を抽出している（Ｓ１０４３）。そのため、Ｓ１００７以降に実行される合成処理（Ｓ１０２０）において、Ｓ１０２１及びＳ１０２２の処理を実行しないようにしても良い。Ｓ１０２１及びＳ１０２２の処理に代えて、既に抽出されている輪郭のうち、決定されたベースターゲットと選択操作に基づいて決定されたスワップターゲット（Ｓ１０１２）との差分画像に対応した輪郭を特定して、その輪郭に基づいてマスク画像を生成すると良い（Ｓ１０２３）。

一の入れ替え候補領域と他の入れ替え候補領域との関係で輪郭線に重なりが存在する場合は、重なり合った領域については相互に干渉が発生し得ることになる。このようなケースで、一の入れ替え候補領域および他の入れ替え候補領域の両方について画像の入れ替えを実行した場合、干渉部分（一の入れ替え候補領域と他の入れ替え候補領域とが重複している領域）に画像の乱れが生じてしまうおそれがある。そうすると、干渉部分を含む二つの入れ替え候補領域のうち、いずれかの入れ替え候補領域の入れ替えを諦めるか、あるいは二つの入れ替え候補領域を入れ替えた上で、干渉部分の画像の乱れを許容しなければならないことになる。干しかし、上記のように、ユーザにより選択された入れ替え候補領域を対象として、他の入れ替え候補領域との輪郭線の重なり度合をユーザが区別可能な態様で表示させることで、ユーザは、入れ替えの推奨度を一見して把握可能となり、入れ替え推奨度が低い顔領域については、入れ替えによって画像が乱れる可能性が高いことを前もって認識することができる。その結果、入れ替えを行わないという選択を行うこともできる。

なお、図１８のフローチャートでは、基準画像と他の比較画像との差分から生成される差分画像から抽出した入れ替え候補領域の輪郭線を表示することとしているが、この輪郭線の表示は省略しても良い。つまり、内部的に輪郭線の検出を行って入れ替え候補領域の入れ替え推奨度を判定し、入れ替え推奨度に応じた表示のみを行うこととしても良い。

また、輪郭線が重なっている入れ替え候補領域については、相互に干渉が生じており、入れ替えが困難である。このため、輪郭線が重なった入れ替え候補領域については、両方の入れ替え候補領域を入れ替えの対象とするのではなく、片方の入れ替え候補領域のみを入れ替えの対象として許容し、何れか一方の入れ替え候補領域をユーザに選択させるようにしても良い。また、輪郭線が重なった入れ替え候補領域については両方とも入れ替えの対象とせず、別の基準画像を選択するようにユーザに促したり、同じシーンでの再撮影を行うようにユーザに促す報知を行っても良い。

また、ユーザにより選択された入れ替え候補領域（選択入れ替え候補領域）について他の入れ替え候補領域（非選択入れ替え候補領域）との輪郭線の重なり度合を判定し、その重なり度合に基づいて選択入れ替え候補領域の入れ替え推奨度を判定して、選択入れ替え候補領域の入れ替え信頼度を示す表示を行うようにしても良い。この場合は、選択入れ替え候補領域の輪郭線と他の全ての非選択入れ替え候補領域の輪郭線との重なり度合を判定し、この重なり度合に基づいて、図２０に示した方法と同様の方法で、当該選択入れ替え候補領域の入れ替え推奨度を判定するようにすれば良い。そして、判定した入れ替え推奨度に応じて選択入れ替え候補領域を色分けして半透明に表示するなどすれば良い。

また、入れ替え推奨度を表示する方法は、上記のように入れ替え推奨度に応じて半透明に色分けした入れ替え候補領域を表示する方法に限られない。例えば、入れ替え推奨度に応じて入れ替え候補領域の輪郭線（例えば差分画像から得られる輪郭線のうち最も内側に位置する輪郭線）を異なる色で色分けして表示するようにしても良い。また、入れ替え推奨度に応じて入れ替え候補領域に異なるマーク（例えば○（入れ替えＯＫ）や△（入れ替え注意）、×（入れ替え非推奨）を表示させても良いし、入れ替え推奨度に応じて異なる模様やハッチングを入れ替え候補領域に施して表示するようにしても良い。

また、輪郭線の重なり度合に応じて推奨度を決定するのではなく、一の輪郭領域（輪郭線によって囲まれた領域）のうち他の輪郭領域にも属している領域の範囲（すなわち輪郭領域同士の重複範囲）に応じて入れ替え推奨度を決定するようにしても良い。例えば、輪郭領域に占める重複範囲の比率が低ければ入れ替え推奨度を高く設定し、輪郭領域に占める重複範囲の比率が高ければ入れ替え推奨度を低く設定するようにすると良い。

［入れ替え候補領域の設定］
上記の実施形態では、顔検出を行って自動的に検出した顔領域に係る差分画像の輪郭で示される領域を入れ替え候補領域とすることとして説明したが、入れ替え候補領域の設定方法はこれに限られるわけではない。

具体的には、基準画像における入れ替え対象とする被写体からの距離（例えば基準画像中の被写体の中心座標からの距離）や、基準画像と比較画像との差分画像の画素値を引数とするエネルギー関数を用いて、入れ替え候補領域を設定してもよい。

ここで、入れ替え対象とする被写体からの距離を引数とするエネルギー関数を例示する。
このエネルギー関数は、例えば以下の式で与えられる。

ここで、「v」は、前述した画素平面上で表現される閉曲線であり、E(v)は閉曲線vのエネルギーである。「p」、「q」は、それぞれ被写体の中心座標からの距離（以下、「中心距離」という。）である。「V_p」は基準画像における中心距離pの画素集合に含まれる画素の画素値であり、「V_q」は基準画像における中心距離qの画素集合に含まれる画素の画素値である。この場合の画素値は、例えば、同じ中心距離に位置する全ての画素の画素平均値である。なお、平均値とするのではなく、同じ中心距離に位置する全ての画素の画素値のうちの中央値や最大値、最小値などとしてもよい。

C(p,V_p)は、中心距離pに対応するV_pのコスト値であり、V_pのエッジ強度の逆数として算出される。つまり、エッジ強度が大きいほどコスト値C(p,V_p)は小さくなる。T[]は括弧内の条件が満たされる場合に“１”、満たされない場合に“０”をとる関数である。「P」は、V_pおよびV_qの差に応じて定められるペナルティ値であり、「P₁」は、画素値の差が所定の閾値θ以下である場合に課される第１ペナルティ値であり、「P₂」は、画素値の差が閾値θを超えている場合に課される第２ペナルティ値である。但し、「P₁<P₂」であり、画素値の差が大きくなるほど、より大きなペナルティ値が課されるようになっている。

式（４）のエネルギー関数は、基準画像においてなるべく強度の大きいエッジが存在し、且つ、異なる中心距離の画素集合に含まれる画素の画素値の差がなるべく小さくなるような閉曲線vが選択されるように定式化したものである。V_pのエッジ強度が大きいほどコスト値が小さくなり、V_pとV_qの差が小さいほど課されるペナルティ値が小さくなるため、エネルギーE(v)が小さくなる。このエネルギー関数を用いた最適解演算を行ってエネルギーE(v)が最小となる閉曲線vを演算し、最適解として求められた閉曲線vで囲まれる領域を入れ替え候補領域として設定する。

なお、式（４）のエネルギー関数における各項の符号を逆転させ（マイナスとし）、エネルギーE(v)が最大となる閉曲線ｖを演算する最適解演算を行って、入れ替え候補領域を設定することとしてもよい。

また、基準画像と比較画像との差分画像の画素値を引数とする場合も、式（４）と同様のエネルギー関数も定義することが可能であり、差分画像において強度の大きいエッジが存在し、且つ、差分画像において画素集合の画素値の差が小さくなるような閉曲線vの最適解を演算する最適解演算を行って、入れ替え候補領域を設定するようにしてもよい。

また、上記の他に、ユーザが任意に指定した領域を入れ替え候補領域として設定するようにしても良い。具体的には、例えば、ユーザがタッチパネルを介して基準画像上で任意の領域を指で塗りつぶすドラッグ操作を行うことを可能とし、指で塗りつぶされた領域又は塗りつぶされた領域よりもやや広い領域を入れ替え候補領域として設定するようにしても良い。この場合、図１８に示すように、基準画像と他の比較画像との差分画像が生成され（Ｓ１０４１）、各差分画像から輪郭線が抽出されるが（Ｓ１０４３）、基準画像と比較画像とで画像の差異が少ないこと等に起因して、輪郭線が抽出されない場合がある。この場合は、入れ替え候補領域を所定の倍率（例えば２倍〜４倍）で拡大し、拡大された入れ替え候補領域について再度輪郭線の抽出を行うようにしても良い。この際、所定の上限倍率（例えば４倍）まで拡大しても輪郭線が抽出されなかった場合は、入れ替えが不可又は不要である旨をユーザに報知するようにすれば良い。

差分画像にエッジがほとんど存在せず、差分画像が全体的に平坦な画像である場合は、入れ替えは不要であると考えられるため、入れ替えが不要である旨をユーザに報知すると良い。逆に、差分画像にエッジが多数含まれている場合は、所望する領域についてのみ適切な入れ替えを行うことが困難であるため、入れ替えが不可である旨をユーザに報知すると良い。入れ替えが不要である場合は入れ替え候補領域を「紫色」で、入れ替えが不可である場合は入れ替え候補領域を「赤色」でそれぞれ半透明に表示するなどすることで、入れ替えの不要／不可をユーザに報知することが可能となる。

この場合の具体的な処理としては、例えば、差分画像中の対象とする入れ替え候補領域について全ての画素の画素値の平均値（画素平均値）を算出する。そして、画素平均値が第１閾値（例えば２５５を最大とする場合に１０）よりも低い場合は、当該入れ替え候補領域を入れ替え不要と判定し、その旨をユーザに報知する。また、画素平均値が第２閾値（例えば２５５を最大とする場合に１００）よりも高い場合は、当該入れ替え候補領域を入れ替え不可と判定し、その旨をユーザに報知する。

図２３は、この場合における基準画像の一例を示す図である。ここでも、図１５に示した集合写真の撮影画像を基準画像として示している。図２３の基準画像中、左側に位置する男性のネームカードの画像部分を入れ替えの対象とすべく、ユーザがタッチパネルを介してネームカードの画像部分を指で塗りつぶすドラッグ操作を行ったとする。この場合、ユーザにより指で塗りつぶされた領域Ｒ１よりもやや広い領域Ｒ２を入れ替え候補領域Ｒ２として設定し、この入れ替え候補領域Ｒ２について基準画像と比較画像との差分画像から輪郭線を抽出する。そして、輪郭線が抽出された場合は、他の比較画像の当該入れ替え候補領域Ｒ２に対応する部分を表示することで入れ替えの候補とする画像を表示する。また、輪郭線が抽出されなかった場合は、差分画像中の対象とする入れ替え候補領域Ｒ２について全ての画素の画素値の平均値（画素平均値）を算出する。そして、画素平均値が第１閾値よりも低い場合は、当該入れ替え候補領域Ｒ２を入れ替え不要と判定し、その旨をユーザに報知する。また、画素平均値が第２閾値よりも高い場合は、当該入れ替え候補領域Ｒ２を入れ替え不可と判定し、その旨をユーザに報知する。

［顔領域の検出］
上記の実施形態では、撮影画像から検出された顔領域のうち、ユーザが入れ替えを行いたい顔領域を含む矩形領域をベースターゲットして選択して、当該ベースターゲットについて入れ替えを行うこととして説明した。この場合、複数の人物について顔領域の入れ替えを行いたい場合は、ユーザが都度ベースターゲットを選択する必要があった。複数の人物の顔領域について入れ替えを行う場合、入れ替え対象とする全ての顔領域について最も好ましい状態で撮影された顔領域で入れ替えを行うことができれば最善であるが、顔領域同士の干渉によってこれが困難な場合がある。

そこで、任意の一の顔領域（以下、「対象顔領域」という。）について最も望ましい撮影画像を比較画像として選択し、選択された比較画像において対象顔領域が他の顔領域（以下、「非対象顔領域」という。）と干渉する場合には、対象顔領域の入れ替え（画像合成）に用いる比較画像を選択された比較画像に決定する一方で、さらに、選択された比較画像以外の比較画像の中から、干渉が発生しておらず且つ当該非対象顔領域が最も望ましい状態で映し出されている比較画像を制御部１０１が自動的に選択して（例えば、後述する正面度や笑顔度に基づいて判定し）、当該非対象顔領域の入れ替え（画像合成）に用いる比較画像に決定するようにしても良い。

また、選択された比較画像以外の比較画像の中から非対象顔領域が最も望ましい状態で映し出されている比較画像を自動的に選択して決定した場合に、この決定した比較画像がユーザの好みの画像ではなかった場合には、干渉が発生しておらず且つユーザが非対象顔領域が最も望ましい状態で映し出されていると判断しうる比較画像を、ユーザが手動で選択可能としても良い。

また、各々の顔領域の入れ替え候補とする比較画像を、検出された顔領域に含まれる顔の特徴値（以下、「顔特徴値」という。）に基づいて自動決定しても良い。具体的には、各比較画像に含まれる顔領域別に顔特徴値を算出し、この顔特徴値に基づいて付与した点数を合計した合計点が最大となった比較画像の組み合わせを入れ替えの候補とする比較画像の組み合わせとして選択しても良い。顔特徴値としては、顔が正面を向いている度合を示す正面度や、顔が笑顔である度合を示す笑顔度といった特徴値を適用することが可能である。なお、これらの顔特徴値の検出方法は従来公知の手法を適用可能であるため、ここでは詳細な説明を省略する。

例えば、図２４に示すように、撮影画像に４名の人物Ａ〜Ｄの顔が含まれる場合を考える。便宜的に、それぞれの人物をＡ〜Ｄとする。また、比較画像として３枚の画像を撮影した場合を考える。このとき、３枚の比較画像それぞれについて顔領域を検出し、４名の人物Ａ〜Ｄの顔特徴値を定量化した結果を示したものが図２５である。図２５には、４名の人物Ａ〜Ｄそれぞれの３枚の比較画像における顔を模式化した図と、その下に顔特徴値である正面度および笑顔度を０〜１００の範囲で定量化した値とを示している。ここで、正面度は値が大きいほど顔が正面を向いている度合が高く、笑顔度は値が大きいほど笑顔の度合が高いことを意味する。

この場合、それぞれの人物Ａ〜Ｄの顔について、例えば正面度と笑顔度とを合算した値を顔スコア値ｓとして算出し（ｓ＝正面度＋笑顔度）、それぞれの人物についての顔スコア値ｓを合算することで得られる総合スコア値Ｓが最大となる比較画像の組み合わせを、対応する顔領域の入れ替えに用いる比較画像の組み合わせに決定する。

なお、上記のように正面度と笑顔度との合算値を顔スコア値ｓとするのではなく、正面度を顔スコア値ｓとしても良いし（ｓ＝正面度）、笑顔度を顔スコア値ｓとしても良い（ｓ＝笑顔度）。また、正面度と笑顔度とを加重平均した値を顔スコア値ｓとしても良い。つまり、「ｓ＝α×正面度＋β×笑顔度」の式に従って顔スコア値ｓを算出することとしても良い。但し、「α」および「β」は、それぞれ正面度および笑顔度に対する重みであり、「α＋β＝１」である。この場合における重み「α」および「β」は、例えばユーザが設定可能とすることができる。つまり、正面度を重視して顔領域の入れ替えを行いたい場合は、「α」が「β」よりも大きくなるように重みを設定し、笑顔度を重視して顔領域の入れ替えを行いたい場合は、「β」が「α」よりも大きくなるように重みを設定するようにすれば良い。

また、撮影される人物の顔毎に重要度を設定し、この重要度で顔スコア値ｓを加重平均することとしても良い。例えば、上記のようにＡ〜Ｄの４名の人物が比較画像に含まれる場合において、人物Ａ〜Ｄの顔スコア値をそれぞれＡｓ、Ｂｓ、Ｃｓ、Ｄｓとした場合、「Ｓ＝ａ×Ａｓ＋ｂ×Ｂｓ＋ｃ×Ｃｓ＋ｄ×Ｄｓ」の式に従って総合スコア値Ｓを算出することとしても良い。但し、「ａ」〜「ｄ」は、それぞれ人物Ａ〜Ｄに対する重要度である。そして、このようにして算出される総合スコア値Ｓが最大となる比較画像の組み合わせを、対応する顔領域の入れ替えに用いる比較画像の組み合わせに決定しても良い。

なお、上記の各人物に対する重要度は、ユーザが手動で設定可能としても良いし、自動的に設定することとしても良い。自動的に重要度を設定する場合には、例えば、検出した顔領域の面積が大きいほど、重要度が高くなるように設定すると良い。また、ユーザが事前に被写体となりうる人物の顔画像に対応した重要度を設定しておき、比較画像に対する顔認証処理を行った結果、比較画像中の顔領域のうち、重要度が設定された顔画像については、事前に設定された重要度を用いることとし、重要度が設定されていない顔画像については、ユーザにより設定された重要度よりも低い重要度を設定して、総合スコア値Ｓを算出するようにしても良い。

さらに、表示された複数の人物の顔の中からユーザが任意の人物の顔を指定し、この指定人物の顔について、複数の顔候補の中からユーザが一の顔候補を選択することを可能としてもよい。この場合、指定人物を除いた残余の人物について、ユーザが指定人物についてその顔候補を選択したことで残余の人物の顔領域に及ぼし得る干渉と、残余の人物の顔領域間で発生し得る干渉とを考慮して、残余の人物の顔について、総合スコア値Ｓに基づいて採用する顔候補の組み合わせを算出するようにしてもよい。例えば、図２４に示した複数の人物Ａ〜Ｄの顔のうち、ユーザが人物Ｂ、Ｄの顔を指定して、図２５の２番目および３番目の顔候補をそれぞれ選択したとする。この場合、残余の人物である人物Ａ、Ｃについて、ユーザが指定人物Ｂ、Ｄについて２番目および３番目の顔候補をそれぞれ選択したことで残余の人物Ａ、Ｃの顔領域に及ぼし得る第１の干渉を考慮する。また、残余の人物Ａ、Ｃの顔領域間で発生し得る第２の干渉を考慮する。そして、第１の干渉および第２の干渉が発生しないことを条件とする第１の条件と、指定人物Ｂ、Ｄについては２番目および３番目の顔候補を採用するとする第２の条件とを適用して、残余の人物Ａ、Ｃについて総合スコア値Ｓに基づいて採用する顔候補を決定するようにしてもよい。

また、比較画像に意図しない人物の顔が写っていた場合は、その人物の顔についてはユーザが除外指定を行うことを可能とし、ユーザにより除外指定された人物の顔は除外して総合スコア値Ｓを算出するようにしても良い。

なお、特徴値として、上記の例に示した正面度や笑顔度の他、赤目度、目閉じ度、および視線方向の正面度等の他の特徴値を適用するようにしても良い。

［第２実施形態］
この実施形態では、基準画像内の所定の被写体領域にその前後の１以上の比較画像の被写体領域を順次挿入してゆき、その被写体が動作を伴うものである場合に、あたかも静止画である基準画像内において前記被写体領域内が動いている（その領域だけ動画となっている）かのような印象を与える連続画像を生成する。以下、第２実施形態に係る画像合成装置、画像合成方法、および、プログラムについて説明する。なお、本実施形態に係る画像合成装置は、第１の実施形態に係る画像合成装置１０とその構成が同一であるので、その説明は省略するとともに、以降の説明には同一の符号を用いることとする。

ここで、基準画像および比較画像に基づく画像解析によって画像中の動領域を自動的に判定する場合は、動領域としたい被写体の背景における本来であれば動領域としたくない動きが細かな領域（例えば、木の葉の動き）までも動領域として抽出してしまうケースがある。また、撮影中にカメラの補正機能や光源の変化などにより全体の輝度が変化してしまうことにより、過度に動領域を抽出してしまうという問題も生じうる。以下に示す実施形態では、このような課題を解決することが可能であり、基準画像および比較画像に基づく画像解析によって、動領域を適切に抽出可能とするものである。

以下、第２実施形態に係る画像合成装置１０において実行される処理について、図２６および図２７のフローチャートを参照して説明する。図２６および図２７の処理の一部または全部を担う画像合成プログラムはメモリに読み込まれ、制御部１０１のＣＰＵにより実行される。

まず、ユーザは画像合成装置１０において、表示部１０３に表示された撮影ボタンをタップする等の所定の撮影操作を行うことにより撮像部１０５を動作させ、被写体を複数回撮影し、撮影回数分の撮影画像を得る（Ｓ２００１）。例えば、前述した連続撮影モードとすることで、１回の撮影操作に伴い複数の撮影画像が得られる。

このようにして得られた複数の撮影画像は、記憶部１０２に格納される。そして、撮影画像の中から基準画像となるものを設定する（Ｓ２００２）。基準画像は、例えば、最初に撮影された画像を自動的に基準画像として設定するようにしても良く、複数の撮影画像を表示部１０３に表示して、ユーザに基準画像とする画像を選択させることで設定するようにしても良い。

基準画像の設定後、比較画像を設定する。例えば、連続撮影モードで基準画像と一連の画像として撮影された画像の１以上を比較画像として設定する（Ｓ２００３）。比較画像は後述する合成処理の対象となる画像であり、撮影順に従って設定するようにしても良く、ユーザが選択した順序に従って設定するようにしても良い。設定された比較画像毎に、後述するＳ２００５〜Ｓ２０１０の処理が実行されることになる。

制御部１０１は、Ｓ２００３で設定された比較画像のそれぞれについて、ループＡの処理を行う（Ｓ２００５〜Ｓ２０１０）。ループＡ（Ｓ２００５以降）の処理において、まず、基準画像と基準画像以外の比較画像との間には、手ブレ等に基づく位置ズレが存在するため、制御部１０１は、基準画像に対して比較画像の位置合わせを行う（Ｓ２００６）。本例では、ブロックマッチング法により位置合わせを行う。なお、勾配法等の他の位置合わせ手法を適用しても良い。

次に、基準画像および被写体の動領域を判定する対象とする当該比較画像をそれぞれ共通サイズのブロックに分割する（Ｓ２００７）。ブロックのサイズは、どれだけ細かい動きまで捕捉するかに応じて異なるが、被写体の背景の動き（例えば図２８に示される被写体の背後の木の葉の動き）等については、その動きを合成画像に反映させないようにするために、例えばＶＧＡの解像度（６４０×４８０）において撮影を行う場合、１６×１６ピクセルまたは３２×３２ピクセル程度のブロックサイズとすることが好ましい。

ここで、ブロックのサイズを、撮像装置から得られる被写界深度等の撮影条件、基準画像と比較画像との差分画像において所定のエッジ（輝度差）が検出される領域の比率（すなわち動領域と判定される可能性が高い領域の比率）等の撮影画像内容、及びユーザの入力（例えば、ユーザがピンチ操作によって矩形を拡大・縮小させることによりブロックサイズを可変とする）から選択される１以上に従って可変とすることとしても良い。ブロックサイズを可変とすることにより、例えば、画像全体としては動きが少ない（画像中の動領域の面積比率が小さい）撮影画像中において細かな動きをしている部分を適切に動領域と判定することが可能となる。また、動被写体を多く含み、画像全体として動きが多い（画像中の動領域の面積比率が大きい）撮影画像中において大きな動きをしている部分のみを適切に動領域と判定することが可能となる。このように、撮影条件、撮影画像内容、及びユーザの操作から選択されるいずれかに応じて、動領域判定が適切に行われた合成画像を生成することができる。

制御部１０１は、ブロック分割後、Ｓ２００８のブロック判定処理を実行する。図２７に、ブロック判定処理のフローチャートを示す。まず、ブロック判定処理では、基準画像および比較画像の対応する各ブロック（i=1,2,…,n:n=総ブロック数）毎に、以下の式を満たすような係数α_iおよびβ_iを最小二乗法等の近似手法（フィッティング）により求める（Ｓ２０２０）。

ここで、y_srcは基準画像のブロックiにおける輝度値の集合、y_inputは比較画像のブロックiにおける輝度値の集合を示す。そして、算出したα_iおよびβ_iを用いて、y_srcを正規化した集合y_normを以下の式によって求める（Ｓ２０２１）。

上記の式によって求めたy_normに関して、以下の特徴が存在する。仮に基準画像と比較画像との間において被写体の動きが無かった場合には、露出等の変化があったとしても、その影響は一様に画像全体に及ぶため、正規化によりその影響が排除され、正規化後のブロック間で輝度値の段差は生じず、仮に生じたとしても比較的小さい。即ち、ブロックをまたぐ動きがあった場合のみ、これらの係数α_iおよびβ_iに影響が及ぶため、動きがあったブロックとその他のブロックとの間で比較的大きな輝度値の段差が生ずることになる。

例えば、図２８（ａ）に示す基準画像を対象として前述したブロック分割およびブロック毎の正規化を施した結果、図２８（ｂ）のように、被写体が動く領域を含むブロックは、その周囲のブロックと輝度値の段差が発生する。動く被写体であるボールや被写体の腕、上半身を含むブロックは、被写体が動かない周囲のブロックとの輝度値の段差が大きくなる。このように、正規化後の画像における被写体が動く領域を含むブロックの輝度値とその周囲との輝度値の相違を利用して、被写体の動領域を推定することが可能となる。

制御部１０１は、Ｓ２０２１で基準画像をブロック単位で正規化した後、正規化されたブロックのそれぞれについて、ループＢの処理を実行する（Ｓ２０２２〜Ｓ２０２７）。ループＢ（Ｓ２０２２以降）の処理において、まず、当該ブロックが被写体の動領域を含むか否かを判定するために、隣接するブロックとの境界線における輝度値の段差を定量化する（Ｓ２０２３）。具体的には、判定対象とするブロックにおいて、隣接するブロックとの境界に位置する画素（例えばブロックサイズが３２×３２ピクセルであれば３２×４＝１２８画素）を対象として、当該画素の輝度と、隣接するブロックにおいて当該画素と隣接する画素の輝度との差分の絶対値を算出する。そして、対象とした全ての画素について算出値の総和を求め、これを判定値とする。仮にブロックをまたぐ動きが無く、輝度値の段差が生じていないのであれば判定値は０に近い値となるが、ブロックをまたぐ動き、特にブロック領域で大きな割合を占める被写体の動きがある場合には、判定値が大きくなる。そのため、閾値を設定してその閾値と判定値との比較に基づいて当該ブロックが被写体の動領域であるか否かを判定することができる（Ｓ２０２４）。

判定値が閾値より大きい場合には（Ｓ２０２４でＹ）、当該ブロックは被写体の動領域を含む動領域であると判定する（Ｓ２０２５）。判定値が閾値以下である場合には（Ｓ２０２４でＮ）、当該ブロックは動領域ではないと判定する（Ｓ２０２６）。全てのブロックについて判定が完了するまでＳ２０２３〜Ｓ２０２５又はＳ２０２６の処理を実行する。全てのブロックについて判定が完了すると、制御部１０１は、ループＢの処理を終了する（Ｓ２０２７）。そして、制御部１０１は、図２６のループＡの処理に戻り、異なる比較画像を対象として、Ｓ２００６〜Ｓ２００８（ブロック判定処理）を実行する。そして、設定された全ての比較画像について判定が完了すると、制御部１０１は、ループＡの処理を終了する（Ｓ２０１０）。このループＡの処理が完了したときに、基準画像と各比較画像との組み合わせについて、動領域が判定されている。

そして、制御部１０１は、基準画像と各比較画像との組み合わせについて動領域と判定された領域の和（ＯＲ）を、動領域マスクとして設定する（Ｓ２０１５）。図２９に、基準画像と各比較画像との組み合わせについて動領域と判定された領域の和（ＯＲ領域）を基準画像にオーバーレイ表示した例を示す。

ここでＳ２０１５の処理の例を図３０を用いて説明する。ここでは、比較画像として比較画像１〜４が設定されているものとする。この場合に、（１）基準画像と比較画像１との関係で判定された動領域、（２）基準画像と比較画像２との関係で判定された動領域、（３）基準画像と比較画像３との関係で判定された動領域、および（４）基準画像と比較画像４との関係で判定された動領域、の４組の動領域がループＡの処理（Ｓ２００５〜Ｓ２０１０）によって取得される。そして、（５）これらの動領域の和（ＯＲ領域）に対応した動領域マスクが生成される。この動領域マスクは、動領域２０１〜２０３の各々に対応した領域により構成される。

そして、設定された動領域マスクを介して、基準画像と設定された各比較画像との合成処理を順次実行していく（Ｓ２０１６）。合成処理により得られた一連の合成画像は順次表示部１０３に表示される（Ｓ２０１７）。これにより、基準画像においていずれの比較画像との関係においても動領域と判定されなかった領域（例えば、動領域２０１〜２０３以外の領域）については、基準画像のまま（静止画像）として表示され、いずれかの比較画像との関係において動領域と判定された領域（例えば、動領域２０１〜２０３）に関しては、設定された比較画像における当該領域に相当する領域が順次合成されていき、あたかもその領域に関しては動画であるかのような印象をユーザに与える。

得られた一連の合成画像が適切であると判断した場合には、表示部１０３に表示される確認ボタンをユーザがタップ操作することにより、合成画像を生成するための画像データ（基準画像、動領域マスク、および、設定された比較画像）がＧＩＦなどの画像フォーマットにより符号化され、記憶部１０２に格納される（Ｓ２０１８）。

なお、ユーザによる確認のためのプレビュー表示のステップＳ２０１７を行わずに、動領域マスクが設定されたらその動領域マスクを反映させた画像データを直ちに符号化し記憶部１０２に格納することとしても良い。

［第２実施形態の特徴］
本実施形態における動領域の検出では、ブロック間での大きな動きの変化は敏感に検出しつつ、ブロック間の細かな動きの変化に対しては検出を鈍感にすることが求められる。ユーザが気付かないような微細な動きが生じている領域では動領域と判定されないようすることが好ましく、明らかに動きが生じているとユーザが認識するような領域については、その領域を適切に動領域として判定して、完成画像に反映させることが求められるためである。

本実施形態の手法とは異なり、単純にピクセル単位で画素差分値を算出し、この画素差分値に基づいて動領域を検出する手法も考えられる。この手法では、大きな動きの変化を敏感に検出することができるが、それに加えて、微細な動きの変化にも敏感に反応してしまうため、上記の動領域の検出に求められる条件を満たすことはできない。

また、分割したブロックに含まれる画素の画素平均値を算出し、ブロック間での画素平均値の差分値に基づいて動領域を検出する手法も考えられる。この手法では、ブロック全体を平均化するため、細かな動きの変化の検出に対しては鈍感になるが、ブロック内に大きな動きの変化が生じていたとしても、平均化によりブロック全体が一様化されてしまうため、ブロック内の大きな動きの変化を敏感に検出できない場合がある。従って、上記の動領域の検出に求められる条件を満たすことはできない。

しかし、本実施形態の手法では、ブロック内に被写体の動きが全く無いか、微細な動きしか生じていない場合は、正規化によりその影響が排除され、正規化後のブロック間で輝度値の段差が生じないか、僅かな段差しか生じないため、被写体の細かな動きに対しては鈍感となる。それに対し、被写体に大きな動きが生じた場合は、正規化後のブロック間で輝度値に大きな段差が生ずるため、このブロック間での輝度値の段差を検出することで、被写体の動きが生じている領域（動領域）を敏感に検出することができる。輝度は画像の特徴量の一種であり、被写体の動きは輝度の変化に顕著に反映されるため、輝度に基づく動領域の検出は実効性が高い。

［動領域判定］
上記の第２実施形態における一連の合成画像において、被写体の動きがスムーズではない場合等には、ユーザは新たな比較画像を選択し、その比較画像についてＳ２００５〜Ｓ２０１０並びにＳ２０１５及びＳ２０１６の処理を実行させて、合成画像を増やすようにしても良い。これにより、被写体の動きを補完して動きをスムーズにすることが可能である。

また、合成画像を表示するときに、図２９に示すように、合成画像上において動領域と判定された領域をオーバーレイ表示するようにして、ユーザが動領域を拡大または縮小したい場合、オーバーレイ表示領域をドラッグ操作やピンチ操作によって拡大または縮小することにより変更可能とし、その変更後のオーバーレイ表示領域に比較画像を合成するようにすると良い。また、新たな動領域を作成する場合には、ドラッグ操作やピンチ操作に基づいてオーバーレイ表示領域を新たに生成し、その新たなオーバーレイ表示領域に比較画像を合成するようにすると良い。

なお、上記の例では、Ｓ２０２０におけるブロック間の関係式の算出において、基準画像ブロックと比較画像ブロック間の輝度値の関係を一次関数によるものと仮定し、各ブロックにつき係数および定数を求めることにより正規化を行うようにしているが、これに限らず、両ブロック間の関係を規定する任意の関数を設定するようにしても良い。例えば、二次関数に係る係数および定数を算出するようにしたり、ブロック毎に相関係数を導出して、その値を比較することとしても良い。また、最小二乗法による近似を行った際に、その残差が大きい場合は動被写体があると判断することとしても良い。

また、上記の例では、ブロック境界線を挟んで接している画素間の輝度値の差分を算出し、その総和を判定値として設定したが、これに限らず、動領域であるか否かの判定に有効な判定値を用いれば良く、例えば、判定値として基準画像ブロックと比較画像ブロック間の関係式の係数や定数を判定値とするようにしても良い。

なお、Ｓ２０２５において動領域であると判定されたブロック（中央ブロックと称する）については、これに隣接するブロック（隣接ブロックと称する）も動領域である可能性が高いため、その隣接ブロックを可能な限り除外せずに動領域と判定すべく、すなわち、被写体の動領域であるにもかかわらず動領域ではないと判定される可能性を低下させるため、隣接ブロックについては、中央ブロックよりもＳ２０２４の閾値を低くして判定を行うようにすることが好ましい。また、動領域と判定されなかった隣接ブロックについても、他の隣接ブロック全て（３つ）が動領域と判定されていた場合には、当該隣接ブロック（残りの１つ）を動領域と判定し直すことが好ましい。このようにすることで、動領域が連続せずに飛び地となってしまい、スムーズではない合成画像が生成されることを防止することができる。

なお、中央ブロックとするブロックは動領域の判定により自動的に決定することとしても良いが、ユーザが中央ブロックを指定可能としても良い。具体的には、ユーザによるブロックの指定入力を受け付けることとし、ユーザにより指定されたブロック（以下、「指定ブロック」という。）を中央ブロックに設定し、これに隣接する隣接ブロックについて上記の閾値判定を行って、動領域であるか否かの判定を行うようにしても良い。

ただし、指定ブロックが必ずしも動きが生じているブロックであるとは限らないため、指定ブロックについてＳ２０２３で当該指定ブロックと周囲のブロックとの輝度値の段差を定量化して判定値を算出し、当該判定値に対する閾値判定を行って、指定ブロックが動領域のブロックであるかを確認判定する処理を行うようにしても良い。このときユーザが指定したブロック（及びその周辺ブロック）については、指定されていないブロックよりも低い閾値が設定されることにより、動領域と判定され易くするようにしても良い。

また、隣接ブロックについて上記の閾値判定を行った結果、当該隣接ブロックが動領域であると判定した場合は、当該隣接ブロックを中央ブロックとして設定し、これに隣接する隣接ブロックについて同様に判定値を算出し、算出した判定値に対する閾値判定を行って、当該隣接ブロックが動領域であるか否かを再帰的に判定するようにすると良い。これによれば、動領域と判定される領域を拡大してゆき、連続するブロック（動領域と判定されたブロック）から構成される１の動領域を自動形成することができる。

また、上記の例では、動領域が矩形状のブロックの組み合わせで形成されるため、動領域と判定されたブロックと動領域ではないと判定されたブロックとの境界で不連続が生じる等、合成画像が不自然になってしまう可能性がある。このような問題を解消すべく、動領域であると判定されたブロックと動領域ではないと判定されたブロックとの境界線を非直線状にする画像処理や、フィルタにより暈す等の画像処理を行うようにすると良い。

また、前述したようにユーザの操作によって動領域を動的に変更することが可能であるが、この場合には、操作ミス等によって意図せぬ小さな動領域が生成される可能性がある。このようなケースを防止するため、所定面積以下（例えば１ブロック以下）の動領域に関しては、動領域ではない領域と判定するようにすると良い。また、動領域ではないと判定された領域が所定面積以下である場合にも同様に、動領域であると判定するようにすると良い。

また、上記の例では、基準画像および比較画像をそれぞれ共通サイズのブロック（判定領域）に分割し、相互に対応するブロック間について、画像の特徴量として式（５）や式（６）に示すような輝度の関係を規定し、この輝度の関係に基づいて被写体の動領域を検出したが、動領域の検出に用いることが可能な特徴量は輝度に限られるわけではない。例えば、彩度や明度、色差といった特徴量の関係を同様に規定し、これらの特徴量の関係に基づいて被写体の動領域を検出することも可能である。

撮影画像に映し出される環境の変化（動きの変化を含む。）を顕著に反映するのは輝度であるため、輝度を特徴量として用いることが好ましいと言える。しかし、環境の変化は輝度にのみ反映されるわけではなく、彩度や明度、色差といった特徴量にも反映される。このため、これらの特徴量について上記の輝度と同様の関係（式（５）や式（６））を規定し、この規定した関係に基づいて動領域を検出することとしてもよい。この場合は、上記の輝度を用いる場合と同様の手法を適用して、ブロック（判定領域）単位で動領域の検出を行うようにすればよい。

この場合、彩度や明度、色差といった特徴量を単体で用いて被写体の動きを検出することとしても良いが、彩度や明度、色差は画像中で起伏の変化が現れにくいため、被写体の動きの検出が困難になる場合がある。そこで、輝度と、彩度や明度、色差とを併用して被写体の動きを検出するようにしても良い。

第２実施形態で説明した手法では、原理的には微細な動きの変化は検出されないが、閾値の設定等に起因して、微細な動きの変化を検出してしまう場合もある。そこで、彩度や明度、色差を用いて同様にブロック単位で動領域の検出を行い、輝度を用いた場合には動領域と判定されたが、彩度や明度、色差を用いた場合には動領域と判定されなかったブロックについては動領域としないようにし、動領域マスク（ＯＲ領域）に含めないようにしてもよい。また、輝度を用いた場合に、ブロック間で大きな動きの変化があったとしても、何らかの原因により動領域の検出に失敗することも考えられる。そこで、輝度を用いた場合には動領域と判定されなかったが、彩度や明度、色差を用いた場合には動領域と判定されたブロックについては動領域とし、動領域マスク（ＯＲ領域）に含めるようにしてもよい。

また、輝度を用いてブロックが動領域であるか否かの判定を行った場合に、当該ブロックを動領域と判定した比較画像の数が所定数以下（又は所定数未満）である場合は、当該ブロックを動領域とせず、動領域マスク（ＯＲ領域）に含めないようにしてもよい。この場合の閾値は比較画像の数に応じて設定すればよく、例えば比較画像の数の１／２の値を設定することができる。例えば、比較画像の数が「８」である場合は閾値を「４」とし、当該ブロックを動領域と判定した比較画像の数が４以下（又は４未満）である場合は、当該ブロックを動領域とはせず、動領域マスク（ＯＲ領域）に含めないようにしてもよい。

［画像合成］
上記の例では、基準画像と各比較画像との全ての組み合わせに係る動領域の和を合成領域として合成処理を行うこととした。ここで、例えば全部で１０フレームの画像を合成する場合に、あるブロックについて、そのうちの数フレーム（例えば１〜３フレーム）のみについて動領域と判定され、残りのフレーム（４〜１０フレーム）については動領域と判定されなかったにも関わらず、これらのフレームを合成対象としてしまうのは適切ではない場合がある。当該ブロックは、これらのフレーム（４〜１０フレーム）では動領域と判定されていないため、合成対象としても一見問題ないように考えられる。しかし、当該ブロック領域で細かな動きがあったが、当該ブロックを跨ぐような動きがなかった場合には、本来であれば完成画像内の当該ブロック領域が静止しているように見せるべきところ、ユーザの目には僅かではあるが動きがあるように見えてしまう。これは、前述したシネマグラフという完全に静止したフレームの中で注目物体のみが動いているという特異なアート性を乱すものとなってしまう。

そこで、あるブロックについて動領域と判定された場合、全てのフレームを合成対象とするのではなく、動領域と判定された比較画像のみを合成対象としても良い。つまり、あるブロックについて、他の比較画像では動領域と判定された領域であっても、当該比較画像について動領域と判定されなかった領域であれば、そのブロック領域は、当該比較画像を合成するときに合成対象とせず、基準画像内の当該ブロック領域の画素値をそのまま表示するようにしても良い。

図３１は、この場合に画像合成装置１０の制御部１０１が、図２６の処理に代えて実行する処理の流れを示すフローチャートである。なお、図２６のフローチャートと同一のステップについては同一の符号を付して、再度の説明を省略する。

Ｓ２００８でブロック判定処理が終了すると、制御部１０１は、動領域の判定が完了した当該比較画像と基準画像との関係に対応した動領域マスクを設定する（Ｓ２００９ａ）。従って、図３１の処理では、ループＡの処理が完了したときに、設定された比較画像の数に応じた動領域マスクが生成されることになる。ここで、Ｓ２００９ａでは、当該比較画像に関連づけて対応する動領域マスクを記憶するようにしている。そして、ループＡの処理が完了すると（Ｓ２０１０）、合成処理において、合成対象となる比較画像を順次合成するときには、それぞれ合成対象となる比較画像に応じた動領域マスクを介して画像合成を行うようにする（Ｓ２０１６ａ）。このようにすることで、各ブロックについて、基準画像との関係で動きが検出された比較画像のみを基準画像に合成することが可能となる。逆に言えば、当該ブロックにおいて動きが生じていない比較画像を合成対象から除外することができる。

ここでＳ２０１６ａの処理の例を図３２を用いて説明する。ここでは、比較画像として比較画像１〜４が設定されているものとする。この場合に、（１）基準画像と比較画像１との関係で判定された動領域、（２）基準画像と比較画像２との関係で判定された動領域、（３）基準画像と比較画像３との関係で判定された動領域、および（４）基準画像と比較画像４との関係で判定された動領域、の４組の動領域がループＡの処理（Ｓ２００５〜Ｓ２０１０）によって取得される。そして、（５）比較画像１に対応する動領域マスク、（６）比較画像２に対応するマスク、（７）比較画像３に対応する動領域マスク、および（８）比較画像４に対応するマスク、の４つの動領域マスクがループＡのＳ２００９ａでそれぞれ生成される。そして、Ｓ２０１６ａでは、基準画像に比較画像１〜４を順次合成する際、それぞれに対応する動領域マスクを介して合成されることになる。すなわち、合成対象となる比較画像に応じた動領域マスクが動的に選択される。これにより、シネマグラフの特異なアート性である完全に静止したフレーム中の注目物体が動いている状態をより正確に表現することが可能となる。

［ユーザ指定に基づく動領域の決定］
上記の例では、基準画像および比較画像全体を対象として動領域を検出したが、ユーザが動領域を判定させたい範囲を指定可能にしても良い。画像合成装置１０（例えばスマートフォン）において、表示部１０３および入力部１０４が一体となったタッチスクリーン式のディスプレイに基準画像が表示されている状態であるものとする（図３３の（１））。この状態で、ユーザは、動きを伴う被写体５００を含む領域をドラッグ操作（タッチスクリーンに指をタッチした状態で移動させる操作）によって指定する（図３３の（２）および（３））。その結果、被写体５００を含む領域５０１が指定されたものとする（図３３の（４））。このようにして指定された領域５０１を少なくとも一部に含む各ブロックについて、動領域であるか否かの判定が実行される。

図３４は、制御部１０１が、図２６の処理に代えて実行する処理である。制御部１０１は、Ｓ２００１〜Ｓ２００３の処理を実行した後、表示部１０３に手動モード又は自動モードのいずれのモードで動領域を判定するかを選択するよう表示する（Ｓ２０５０）。ここで、ユーザが自動モードを選択したときには（Ｓ２０５１でＮ）、前述した図２６のＳ２００５以降の処理を実行する。また、ユーザが手動モードを選択したときには（Ｓ２０５１でＹ）、表示部１０３に、「ドラッグ操作で判定領域を指定して下さい」とのメッセージを表示する（Ｓ２０５２）。そして、ドラッグ操作の終了を検出すると（ドラッグ操作検出後に指がタッチスクリーンから離れたことを検出すると）（Ｓ２０５３でＹ）、Ｓ２０５５〜Ｓ２０６０のループＡの処理を実行して、図２６のＳ２０１５に移行する。

ループＡの処理（Ｓ２０５５〜Ｓ２０６０）は、図２６におけるループＡの処理（Ｓ２００５〜Ｓ２０１０）と同様である。ただし、図３５に示すブロック判定処理（Ｓ２０５８）の一部が異なる。図３５のブロック判定処理では、図２７の処理と異なり、ループＢで、指定領域５０１を少なくとも一部に含むブロックのみが処理対象となる（Ｓ２０２２ａおよびＳ２０２７ａ）。すなわち、指定領域５０１を少なくとも一部に含むブロックについてのみＳ２０２３〜Ｓ２０２５またはＳ２０２６の処理が実行され、動領域であるか否かが判定される。指定領域５０１が含まれないブロックについては、Ｓ２０２２ａ〜Ｓ２０２７ａのループＢにおける処理対象から除外されるため、動領域とは判定されない。

このように、ユーザにより指定された領域を対象としてブロック毎に動領域であるか否かが判定されるため、全領域を対象としてブロック毎に動領域であるか否かを判定する処理と比較して、計算量を軽減することができる。特に、比較画像が多くなる場合に、その効果は顕著である。また、ユーザが意図しない領域が動領域と検出されてしまうことにより、シネマグラフ本来の特徴が損なわれることを防止することができる。

また、図３４に示される処理において、ユーザが操作によって領域を指定することを煩雑に感じる場合には、自動モードを選択して自動的に動領域を検出するようにすれば良く（Ｓ２０５１でＮ）、所望の被写体のみを対象として動領域を設定したいときには、手動モードを選択するようにすれば良い（Ｓ２０５１でＹ）。このように、ユーザの意図に応じて適切なモードを選択可能である。

なお、図３４および図３５の処理では、ユーザが指定した領域を少なくとも一部に含むブロック毎に動領域であるか否かを判定するようにしている（いわゆる半手動モードである）が、ユーザが指定した領域に対応した動領域マスク（例えば、図３３の領域５０１に合致した形状のマスク）を単に生成して、その動領域マスクを介して、設定された比較画像を順次合成するようにしても良い（いわゆる完全手動モード）。そして、手動モードの中で、半手動モードと完全手動モードとをユーザが選択可能としても良い。これによれば、指定した領域内で動きが大きい領域のみを合成させたい場合（指定した領域内で動領域の判定を実行させたい場合）には半手動モードを選択し、指定した領域全てを動領域としたい場合には完全手段モードを選択するというように、ユーザの意図に応じたシネマグラフを生成することができる。

［画像合成装置］
なお、上述した実施形態は、あくまで本発明に係る画像合成装置等の一例を示すものである。本発明に係る画像合成装置等は、実施形態に係る画像合成装置等に限られるものではなく、各請求項に記載した要旨を変更しない範囲で、実施形態に係る画像合成装置等を変形し、または他のものに適用したものであっても良い。

また、本発明はいわゆるスマートフォンに限定して適用される発明ではなく、携帯電話機やタブレット端末およびその他の携帯端末、並びにパソコン等の各種の電子機器や情報処理装置にも当然適用されうる。ただし、スマートフォンを含む携帯電話機は、ユーザが常に携帯し、通信が可能であり、かつ撮像部を含む機器が多いため、本発明の対象として最適である。

［記録媒体］
上記の実施形態では、画像合成に係る各種のプログラムやデータが、画像合成装置１０の記憶部１０２に記憶されており、制御部１０１がこれらのプログラムを読み出して実行することで画像合成に係る処理を行うこととして説明した。この場合、記憶部１０２は、ＲＯＭやフラッシュＲＯＭ、ハードディスク、ＲＡＭといった内部記憶装置の他に、メモリカード（ＳＤカード）やコンパクトフラッシュ（登録商標）カード、メモリスティック、ＵＳＢメモリ、ＣＤ−ＲＷ（光学ディスク）、ＭＯ（光磁気ディスク）といった記録媒体（記録メディア、外部記憶装置）を有していてもよく、これらの記録媒体に上記の各種のプログラムやデータを記憶させることとしても良い。

図３６は、この場合における記録媒体の一例を示す図である。
画像合成装置１０は、メモリカード１０７を挿入するためのカードスロット１１０を備え、カードスロット１１０に挿入されたメモリカード１０７に記憶された情報を読み取る又はメモリカード１０７に情報を書き込むためのカードリーダライタ（Ｒ／Ｗ）１２０が設けられている。カードリーダライタ１２０は、制御部１０１の制御に従って、記憶部１０２に記録されたプログラムやデータをメモリカード１０７に書き込む動作を行う。メモリカード１０７に記録されたプログラムやデータは、画像合成装置１０以外の外部装置（例えばパソコン）で読み取ることで、当該外部装置において上記の実施形態で説明した画像合成に係る処理を実現することができる。

１０…画像合成装置、１０１…制御部、１０２…記憶部、１０３…表示部、１０４…入力部、１０５…撮像部、１０７…メモリカード、１１０…カードスロット、１２０…カードリーダライタ

Claims (28)

1. 異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出する動領域検出手段と、
   動領域の検出結果に応じて前記比較画像における合成領域を設定する合成領域設定手段と、
   設定された合成領域を前記基準画像に合成することにより合成画像を生成する合成画像生成手段と、
   を備えることを特徴とする画像合成装置。
2. 請求項１に記載した画像合成装置であって、
   前記動領域検出手段は、前記基準画像と前記比較画像との差分画像における輪郭を抽出し、
   前記合成領域設定手段は、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定することを特徴とする画像合成装置。
3. 請求項２に記載した画像合成装置であって、
   前記動領域検出手段は、前記差分画像において所定の被写体領域を包含する閉曲線を初期設定し、前記閉曲線を規定するノードを、その閉曲線に対応するエネルギー関数が最適化する方向に移動させることにより輪郭の抽出を行うことを特徴とする画像合成装置。
4. 請求項３に記載した画像合成装置であって、
   複数の被写体領域間に境界を設定する境界設定手段をさらに備え、
   前記動領域検出手段は、前記境界との交点を有しないように前記閉曲線を初期設定することを特徴とする画像合成装置。
5. 請求項３に記載した画像合成装置であって、
   前記動領域検出手段は、抽出した輪郭に含まれる被写体領域のうち、ユーザ操作に基づいて決定された被写体領域を包含する閉曲線を再度初期設定し、その閉曲線に基づいて再度輪郭の抽出を行うことを特徴とする画像合成装置。
6. 請求項２に記載した画像合成装置であって、
   前記基準画像における所定の被写体領域を含むベース領域をユーザが選択可能な態様で表示するベース領域表示手段と、
   ユーザ操作に基づいて選択されたベース領域に対応したスワップ候補領域を比較画像毎に特定し、特定した各スワップ候補領域をユーザが選択可能な態様で表示するスワップ候補領域表示手段と、
   をさらに備え、
   前記動領域検出手段は、前記ユーザ操作に基づいて選択されたベース領域と、ユーザ操作に基づいて選択されたスワップ候補領域であるスワップ領域との差分画像における輪郭を抽出することを特徴とする画像合成装置。
7. 請求項１に記載した画像合成装置であって、
   前記基準画像における所定の被写体を前記比較画像における当該所定の被写体に入れ換える場合の他の被写体との干渉度を判定する干渉度判定手段と、
   前記干渉度に基づいて前記所定の被写体に関する入れ替え推奨度を表示する推奨度表示手段と、
   をさらに備えることを特徴とする画像合成装置。
8. 請求項７に記載した画像合成装置であって、
   前記干渉度判定手段は、前記基準画像と前記比較画像との差分画像において抽出される入れ替え候補領域の交点に基づいて所定の被写体と他の被写体との干渉度を判定することを特徴とする画像合成装置。
9. 請求項８に記載した画像合成装置であって、
   前記干渉度判定手段は、前記基準画像と各比較画像との差分画像毎に抽出される所定の被写体の輪郭と他の被写体の輪郭との交点数に基づいて所定の被写体と他の被写体との干渉度を判定することを特徴とする画像合成装置。
10. 請求項２に記載した画像合成装置であって、
    基準画像および各比較画像における顔領域を検出する顔領域検出手段と、
    各比較画像において検出された顔領域毎に特徴量を算出する特徴量算出手段と、
    顔領域毎に算出された特徴量が最適値となる比較画像の組み合わせを決定する比較画像決定手段と、
    をさらに備えることを特徴とする画像合成装置。
11. 請求項２に記載した画像合成装置であって、
    基準画像および各比較画像における顔領域を検出する顔領域検出手段と、
    基準画像および各比較画像において検出された顔領域をユーザが選択可能な態様で表示する顔領域表示手段と、
    前記基準画像において選択された所定の顔領域を、いずれかの比較画像において選択された当該所定の顔領域に入れ替える場合において、当該所定の顔領域と他の顔領域との干渉が発生する場合には、当該他の顔領域について干渉が発生しておらず且つ当該他の顔領域について算出された特徴量が最適値となる比較画像を、当該他の顔領域についての入れ替え対象として決定する比較画像決定手段と、
    をさらに備えることを特徴とする画像合成装置。
12. 請求項１に記載した画像合成装置であって、
    前記動領域検出手段は、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出し、
    前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定し、
    前記合成画像生成手段は、各比較画像における合成領域を前記基準画像に連続的に合成することを特徴とする画像合成装置。
13. 請求項１２に記載した画像合成装置であって、
    前記動領域検出手段は、前記基準画像および前記比較画像を、それぞれ判定領域に分割し、相互に対応する判定領域間の所定の特徴量の関係に基づいて動領域を検出することを特徴とする画像合成装置。
14. 請求項１３に記載した画像合成装置であって、
    前記動領域検出手段は、前記特徴量を輝度とし、相互に対応する判定領域間の輝度の関係に基づいて動領域を検出することを特徴とする画像合成装置。
15. 請求項１３に記載した画像合成装置であって、前記動領域検出手段は、撮影条件、撮影画像内容、及びユーザ操作から選択されるいずれかに従って前記判定領域のサイズを変化させることを特徴とする画像合成装置。
16. 請求項１３に記載した画像合成装置であって、
    前記動領域検出手段は、前記所定の特徴量の関係に基づいて前記基準画像を前記判定領域毎に正規化した正規化画像を生成し、その正規化画像における各判定領域と各判定領域に隣接する判定領域との前記特徴量の相違に基づいて当該判定領域が動領域であるか否かを判定することを特徴とする画像合成装置。
17. 請求項１３に記載した画像合成装置であって、
    前記判定領域が動領域ではないと判定された場合において、当該判定領域に隣接する判定領域のうち所定数以上が動領域であると判定された場合には、当該判定領域について動領域と判定された場合と共通の処理を実行することを特徴とする画像合成装置。
18. 請求項１３に記載した画像合成装置であって、
    前記判定領域が動領域であると判定された場合において、当該判定領域に隣接する隣接判定領域を対象として動領域であるか否かの判定を行う場合には、当該判定領域についての判定基準よりも動領域であると判定されやすい判定基準を適用することを特徴とする画像合成装置。
19. 請求項１３に記載した画像合成装置であって、
    前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域の和に基づいて、各比較画像について共通範囲の合成領域を設定することを特徴とする画像合成装置。
20. 請求項１３に記載した画像合成装置であって、
    前記合成領域設定手段は、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて、合成対象となる比較画像毎に当該比較画像に対応した合成領域を設定することを特徴とする画像合成装置。
21. 請求項１３に記載した画像合成装置であって、
    前記動領域検出手段は、ユーザ操作によって指定された領域に基づいて前記動領域の検出を実行可能であることを特徴とする画像合成装置。
22. 請求項１３に記載した画像合成装置であって、
    前記動領域検出手段は、ユーザ操作によらず予め定められた領域に基づいて前記動領域の検出を実行可能であることを特徴とする画像合成装置。
23. 異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出する動領域検出工程と、
    動領域の検出結果に応じて前記比較画像における合成領域を設定する合成領域設定工程と、
    設定された合成領域を前記基準画像に合成することにより合成画像を生成する合成画像生成工程と、
    を含むことを特徴とする画像合成方法。
24. 請求項２３に記載した画像合成方法であって、
    前記動領域検出工程において、前記基準画像と前記比較画像との差分画像における輪郭を抽出し、
    前記合成領域設定工程において、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定することを特徴とする画像合成方法。
25. 請求項２３に記載した画像合成方法であって、
    前記動領域検出工程において、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出し、
    前記合成領域設定工程において、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定し、
    前記合成画像生成工程において、各比較画像における合成領域を前記基準画像に連続的に合成することを特徴とする画像合成方法。
26. コンピュータに、
    異なるタイミングで撮像された基準画像と比較画像に基づいて被写体の動領域を検出する動領域検出ステップと、
    動領域の検出結果に応じて前記比較画像における合成領域を設定する合成領域設定ステップと、
    設定された合成領域を前記基準画像に合成することにより合成画像を生成する合成画像生成ステップと、
    を実行させることを特徴とするプログラム。
27. 請求項２６に記載したプログラムであって、
    前記動領域検出ステップにおいて、前記基準画像と前記比較画像との差分画像における輪郭を抽出し、
    前記合成領域設定ステップにおいて、前記差分画像において抽出された輪郭に基づいて前記合成領域を設定することを特徴とするプログラム。
28. 請求項２６に記載したプログラムであって、
    前記動領域検出ステップにおいて、前記基準画像および各比較画像の組み合わせ毎に被写体の動領域を検出し、
    前記合成領域設定ステップにおいて、前記基準画像および各比較画像の組み合わせ毎に検出された動領域に基づいて前記合成領域を設定し、
    前記合成画像生成ステップにおいて、各比較画像における合成領域を前記基準画像に連続的に合成することを特徴とするプログラム。