JP2006330800A - 画像合成システム、画像合成方法、この方法のプログラム - Google Patents

Abstract

【課題】複数の画像中から人物の顔を検出し、自動的にベストショット画像を合成する。
【解決手段】複数の画像から人物の顔および顔の情報抽出を行う顔検出部２０と、顔検出部により検出された顔および顔の情報を基に１枚の合成画像を作成する画像合成部３０とを有する。
顔検出部は、顔領域の顔としての確信度を算出するための辞書を用意し、入力画像から検出対象とする部分領域を切り出し、辞書を用いて、対象領域の顔としての確信度を算出する。
画像合成部は、顔検出部にて検出された顔に関する情報を読み込み、この情報に基づき、複数画像から１枚の画像を合成するための各画像の領域分け、及び合成画像を作成するための各領域の組み合わせを決定し、合成画像を作成する。
【選択図】 図１

Description

本発明は、複数の顔を含む複数の画像から、人物の顔に関わるベストショットを合成するための画像合成システムおよび方法に関する。

集合写真を撮影する際に、複数の画像を撮影し、そのうちのベストショットを選びプリントすることは一般的に行われている。複数の正面向きの人物を撮影した集合写真において、少数の人物が「よそ見」をしていたり、「瞬き」をしていたりすることがあり、そうしたベスト状態にない人物の人数が少ない画像がベストショットとして選ばれている。しかし、こうした作業は手作業で行われているのが現状であり、画像枚数が多い場合には、人的なコストが大きい。このような場合、自動的にベストショットを選出することが望ましい。

また、選ばれたベストショットの中にも、少数ながらベスト状態にない人物が含まれてしまうこともよくある。こうした人物も、選出したベストショットの中では、よそ見をしていても、非選出画像中の少なくとも１枚は、ベスト状態で映し出されていることがある。真のベストショットを得るためには、ベストショット中のベスト状態にない人物を、非選出画像中のベスト状態の箇所と置換する必要がある。

画像中から背景領域と人物領域を分割することで人物領域を抽出し、他の画像に該人物領域を合成する手法は従来から研究されている。例えば、クロマキー技術では、クロマキーバックと呼ばれる均一な特定色の背景の前で前景となる物体を撮影し、この背景色以外の領域を抽出することで人物を抽出することができる。しかし、背景除去のためには、あらかじめクロマキーバックでの撮影が必要である。

特許文献１に開示された人物画像背景合成装置では、入力された画像中から、自動で人物領域、背景領域、境界領域の３領域に分割し、別に用意した背景画像と合成している。画像合成時、境界領域は、各画素の濃淡値に基づき人物画像と背景画像との合成を行う。そのため、人物画像とは別に、人物領域以外の映し出された背景画像を用意する必要がある。また、境界領域での画質劣化が起こるため、複数人物の画像には適さない。

非特許文献２にある画像合成技術では、コントラスト等のベストショットの条件を入力することで、複数の画像から自動的にベストショットを作成することができる。しかし、人物に関しては、ベスト状態にある人物を含む領域を手で入力するか、画像の輝度情報をもとにしてベスト状態を選択するしかなく、人物の向きや瞬き等の状態によって、ベストな状態を判断し、自動的にベストショットを作成することができなかった。
特開平７−２７４０６７号公報 Aseem Agarwala, Mira Dontcheva, Maneesh Agrawala, Steven Drucker, Alex Colburn, Brian Curless, David Salesin, Michael Cohen. Interactive Digital Photomontage. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004),2004

上記のように、従来手法では、人数、撮影環境によらず、複数の顔を含む複数の画像から、ベストショット画像を自動的に作成できる方法はなかった。

本発明の目的は、前記の複数の画像中から人物の顔を検出し、自動的にベストショット画像を合成できる画像合成システム、画像合成方法およびこの方法のプログラムを提供することにある。

上記問題を解決するために、本発明は、以下のシステム、方法およびこの方法のプログラムを特徴とする。

（１）複数の顔を含む複数の画像から、人物の顔に関わるベストショットを合成するための画像合成システムであって、
複数の顔を含む複数の画像を取得する画像入力部と、
前記複数の画像から人物の顔および顔の情報抽出を行う顔検出部と、
前記顔検出部により検出された顔および顔の情報を基に、１枚の合成画像を作成する画像合成部と、
前記画像合成部にて作成された合成画像を出力する合成結果出力部と、
を有することを特徴とする画像合成システム。

（２）上記（１）において、前記顔検出部は、
前記画像入力部にて取得された複数の画像を個々に入力する画像入力手段と、
顔領域の顔としての確信度を算出するための１つ以上の辞書を読み込む辞書読込手段と、
前記入力画像から検出対象とする部分領域を切り出す対象領域切出手段と、
前記辞書を用いて、前記対象領域の顔としての確信度を算出し、該領域の顔、非顔を判定する顔検出手段と、
前記顔検出手段における算出結果に基づき、検出された顔に関する情報を、入力された画像に対して付与し記憶する検出結果記憶手段と、
を有することを特徴とする画像合成システム。

（３）上記（１）または（２）において、前記画像合成部は、
前記画像入力部にて取得された複数の画像を入力する手段と、
前記入力された複数の画像に関連する、前記顔検出部にて検出された顔に関する情報を読み込む顔領域情報読込手段と、
前記情報に基づき、複数画像から１枚の画像を合成するための各画像の領域分け、及び前記合成画像を作成するための各領域の組み合わせを決定し、合成画像を作成する合成画像作成手段と、
前記合成画像作成手段で作成された画像を記憶する合成結果記憶手段と、
を有することを特徴とする画像合成システム。

（４）複数の顔を含む複数の画像から、人物の顔に関わるベストショットを合成するための画像合成方法であって、
複数の顔を含む複数の画像を取得する画像入力ステップと、
前記複数の画像から人物の顔および顔の情報抽出を行う顔検出ステップと、
前記顔検出ステップにより検出された顔および顔の情報を基に、１枚の合成画像を作成する画像合成ステップと、
前記画像合成ステップにて作成された合成画像を出力する合成結果出力ステップと、
を有することを特徴とする画像合成方法。

（５）上記（４）において、前記顔検出ステップは、
前記画像入力ステップにて取得された複数の画像を個々に入力する画像入力ステップと、
顔領域の顔としての確信度を算出するための１つ以上の辞書を読み込む辞書読込ステップと、
前記入力画像から検出対象とする部分領域を切り出す対象領域切出ステップと、
前記辞書を用いて、前記対象領域の顔としての確信度を算出し、該領域の顔、非顔を判定する顔検出ステップと、
前記顔検出ステップにおける算出結果に基づき、検出された顔に関する情報を、入力された画像に対して付与し記憶する検出結果記憶ステップと、
を有することを特徴とする画像合成方法。

（６）上記（４）または（５）において、前記画像合成ステップは、
前記画像入力ステップにて取得された複数の画像を入力するステップと、
前記入力された複数の画像に関連する、前記顔検出ステップにて検出された顔に関する情報を読み込む顔領域情報読込ステップと、
前記情報に基づき、複数画像から１枚の画像を合成するための各画像の領域分け、及び前記合成画像を作成するための各領域の組み合わせを決定し、合成画像を作成する合成画像作成ステップと、
前記合成画像作成ステップで作成された画像を記憶する合成結果記憶ステップと、
を有することを特徴とする画像合成方法。

（７）上記（４）乃至（６）のいずれかにおいて、前記検出結果記憶ステップで記憶され、前記顔領域情報読込ステップで読み込まれる顔に関する情報は、該画像中から検出された顔の位置、大きさ、顔としての確信度、顔の向きであることを特徴とする画像合成方法。

（８）上記（４）乃至（７）のいずれかにおいて、前記合成画像作成ステップは、
前記顔検出ステップにおいて算出された顔領域情報に基づき、前記入力された複数の画像から、検出された人物の顔数が最も多く、かつ合成不要な人物の人数が最も多い画像を合成元画像とし、合成元画像中の顔としての確信度の低い人物の領域を、該人物の最も顔としての確信度の高い画像中での領域と置き換えることを特徴とする画像合成方法。

（９）上記（４）乃至（８）のいずれかにおいて、前記合成画像作成ステップは、
前記顔検出ステップにおいて算出された顔領域情報に基づき、前記合成元画像中の顔領域情報に合わせて、合成する領域の切り出しを行うことを特徴とする画像合成方法。

（１０）上記（４）乃至（９）の少なくとも１項の処理ステップを、コンピュータで実行可能に構成したことを特徴とするプログラム。

以上のとおり、本発明によれば、複数の顔を含む複数の画像から、人物の顔を検出し、検出時に算出する顔としての確信度から該人物のベストな状態にある画像を選択することで、１枚のベストショット画像を自動的に合成できる。

図１は、本発明の実施形態を示す画像合成システムの基本構成図である。この画像合成システムは、画像入力部１０、顔検出部２０、画像合成部３０、合成結果出力部４０とから構成される。

画像入力部１０では、複数の顔を含む複数の画像を取得する。顔検出部２０では、画像入力部１に入力された画像から、人物の顔および顔の情報抽出を行う。画像合成部３０では、検出された顔領域の情報をもとに、１枚の合成画像を作成する。合成結果出力部４０では、画像合成部で作成された合成画像を出力する。

図２は、顔検出部２０の詳細な構成図であり、本発明の請求項１，２等に係るものである。顔検出部２０は、画像入力部２１と、辞書読込部２２と、辞書２２Ａと、対象領域切出部２３と、顔検出部２４と、検出結果記憶部２５とから構成される。

画像入力部２１では、画像入力部１０に入力された画像を取得する。辞書読込部２２では、あらかじめ顔検出のために用意した辞書２２Ａから少なくとも１つの辞書を読み込む。辞書２２Ａには複数の辞書が用意され、使用辞書と算出された顔度（顔が適正に写っている度合い）の関係から、顔の向きなどを推定する場合には、１辞書による顔検出後、別の辞書の読み込みを行う。

対象領域切出部２３は、入力スケール変換された画像から検出処理を行う部分領域の切り出しを行う。ただし、ここで扱う領域の形状は、任意形状であってよいものとする。また、大きさの異なる対象を検出するために、入力された画像のスケール変換を行い、処理してもよい。その場合、最小処理画像サイズおよび、スケール変換幅はあらかじめ設定されているものとする。各スケール毎に顔領域候補を探索し、全てのスケールでの探索終了時に、その辞書を使用した顔検出処理を終了とし、次の辞書での顔検出処理に移るものとする。さらに、大きさの異なる対象を検出するために、大きさ毎に異なる複数の辞書を用意し、検出に用いても良い。その場合、辞書毎に検出処理を行う部分領域の大きさが異なる。

顔検出部２４では、辞書読込部２２で読み込んだ辞書を利用して、対象領域の顔度を算出する。顔度があらかじめ定められた閾値以上であれば該領域を顔として検出し、顔度を顔としての確信度とする。さらに、使用辞書、顔としての確信度、位置、スケールなどを検出顔情報とする。

検出結果記憶部２５では、上記の検出顔情報を記憶する。ここで、該領域がスケールの異なる検出、あるいは辞書の異なる検出で、該領域が既に記憶されている場合には、顔としての確信度を比較し、顔としてのより大きな確信度を算出し、顔らしいとされた情報を該領域の顔情報とする。例えば、正面向きの顔を検出する辞書と、横向きの顔を検出する辞書で、同じ領域が検出された場合、横向きの顔を検出する辞書で検出された顔度の方が大きければ、該領域の顔は横向きであるとし、横向きの顔を検出する辞書での検出結果を該領域の顔情報とする。

顔検出の手法は、例えば、テンプレートマッチングによる判別や、サポートベクターマシン（この手法は、文献“数理化学 ＮＯ．４４４，ＪＵＮＥ２０００ 赤穂ら”に詳しいので、詳細はここでは省略する。）や、カーネル判別分析等の学習判別手法（この手法は、文献 栗田ら“カーネル判別分析を用いた顔と顔以外の識別”、信学技報 PRMU 2001-206 Vol.101 No.569, pp. 17-24, 2002.に詳しいので、詳細はここでは省略する）、空間周波数フィルタリングによる手法（例えば、ＡｄａＢｏｏｓｔ 学習手法とカスケード検出器構造をもつ、Ｈａａｒ型の特徴量検出による手法。この手法は、文献 P.Viola, M.Jones,貼ochRapid object Detection using a Boosted Cascade of Simple Features能och,In Proc.IEEE Conf. on Computer Vision and Pattern Recognition, Kauai, USA, 2001.に詳しいので、詳細はここでは省略する。）を用いてもよい。

テンプレートマッチングであれば、テンプレートを辞書とする。学習判別手法では、学習結果により顔としての確信度を判定するための識別面を定義する式、あるいはそれに関する係数、及び識別面からの距離等算出される数値から顔と非顔を判定する閾値とする。空間周波数フィルタリングによる手法では、複数のフィルタを組み合わせて１つの識別器を構成する場合、空間周波数フィルタとその組み合わせ方、識別器で算出される数値から顔と非顔を判定する閾値を含め辞書とする。

図３は、画像合成部の詳細な構成図であり、本発明の請求項１，３等に係るものである。画像合成部３０は、画像入力部３１と、顔領域情報読込部３２と、合成画像作成部３３と、合成結果記憶部３４とから構成される。

画像入力部３１では、画像入力部１０に入力された画像を取得する。顔領域情報読込部３２では、顔検出部２０で記憶された顔検出情報を読み込む。

合成画像作成部３３では、まず、顔検出情報をもとに、検出顔数が最も多く、また被写人物毎に複数画像を見たときに、顔としての確信度の高い人物が最も多く含まれている画像を、合成元画像として設定する。さらに、該合成元画像中において、人物毎に見たときに、顔としての確信度の最も高い値をとっている画像が別画像中にある人物においては、該画像中の該人物の顔領域を組み合わせ、１枚の画像を作成する。合成結果記憶部３４では、合成画像作成部３３により作成された画像を記憶する。

図４は、顔検出部２０（２１〜２５）で、辞書を基に算出する顔度の一例を示した図である。例として、正面向きの顔のものと、横向き顔のものの２つの辞書を使用した場合の例で説明する。

部分顔として、正面向きの顔の全領域を使用して辞書を作成した例を図４の（ａ）に示す。この場合、検出される顔の向きは正面のみになり、横向き、上下向きの顔は検出されない。部分顔として、顔の半面を使用して辞書を作成した例を図４の（ｂ）に示す。この場合、検出される顔の向きは正面から横向きとなり、広い角度範囲の顔が検出できる。

このように、検出したい顔としての確信度範囲にあわせて作成された辞書を検出に使用してもよい。

なお、顔画像データベースを使用するなどして、顔度が正規化されているものとする。例えば、予め、使用する複数の辞書を用いて、同じデータベース上の複数の顔を検出させ、顔度の平均と分散を統一するなどの処理を行うものとする。これにより、複数の辞書を用いて算出される顔度は、同じ尺度で比較できるものとする。

図５は、顔検出部２０（２１〜２５）で、顔を検出する際の処理フローであり、本発明の請求項１，２等に係るものである。ここで、異なる大きさの対象を検出するために、画像をスケール変換して検出処理を行う例を示す。スケール変換は、対象領域切出部２３で行うものとする。具体的なステップは以下の通りである。

ステップ１：画像入力部に入力された画像の取得を行う。

ステップ２：辞書の読み込みを行う。

ステップ３：スケールパラメータの初期化を行う。

ステップ４：スケール変換を行う。

ステップ５：対象領域を切り出す。

ステップ６：顔候補であるかの判定を行う。顔領域候補であればステップ７へ、それ以外はステップ１０へジャンプする。

ステップ７：該領域と既に記憶されている顔領域候補の重なりの有無を調べる。重なりが存在し、該領域が既に顔領域候補として記憶された領域である場合はステップ８へ、それ以外はステップ９へジャンプする。

ステップ８：該領域と既に記憶されている顔領域で、顔としての確信度の数値を比較する。顔としての確信度の値が小さい領域を削除し、値の大きい領域に関する情報を顔領域とする。

ステップ９：使用辞書により、該領域の顔の向きを推定、顔の向き、入力画像における位置、スケール等の情報を記憶する。

ステップ１０：画像全体の顔探索が終了している場合はステップ１１へ、それ以外はステップ５へジャンプする。

ステップ１１：現在処理しているスケールが、既定の最小スケールであればステップ１３へ、それ以外はステップ１２へジャンプする。

ステップ１２：既定の指定ステップ幅でスケールパラメータを変更し、スケールパラメータに従って画像の縮小（スケール変換）を行う。

ステップ１３：全使用予定辞書で顔探索が終了した場合は終了、それ以外はステップ２へジャンプする。

なお、異なる大きさの対象を検出する方法として、スケール変換に代えて、検出したい対象の大きさ毎に作成した辞書を用いてもよい。その場合、辞書ごとに対象領域の切り出しが異なる。その場合、辞書の個数は既定のものとし、対象領域の切出部では、辞書毎に規定の、各大きさの部分領域を該画像から切り出す。

図６は、画像合成部３０（３１〜３４）で、画像を合成する際の処理フローであり、本発明の請求項１及び３〜５等に係るものである。具体的なステップは以下の通りである。

ステップ２１：画像入力部に入力された画像の取得を行う。

ステップ２２：顔検出部により検出、記憶された、各画像の顔領域情報の読み込みを行う。

ステップ２３：位置情報を元に各画像中の人物の対応付けを行う。例えば、１枚目の画像中の最も左上に撮影されている人物は、２枚目以降もほぼ同位置に存在すると仮定し、全ての入力画像において、同一人物の対応付けを行う。また、各人物ごとに顔としての確信度の最大の画像を判定する。位置情報から同一人物との対応が付かない場合には、該人物不在とみなし、該人物を合成対象から除外する。

ステップ２４：顔としての確信度が最大の人物が最も多く含まれる画像を、合成画像を作成する合成元画像として決定する。該人物が最も多く含まれる画像が複数枚存在する場合は、顔としての確信度が最大の人物の顔度の合計値が最も高い画像とする。

ステップ２５：合成元画像に対し、顔としての確信度が最大でなかった人物の顔領域を、該人物の顔としての確信度が最大となる他の画像中から切り出し、貼り付け、重なり部分の領域の処理及び輪郭部の処理を行う。

ここで、ステップ２５における重なり部分の領域の処理及び輪郭部の処理は、例えば、完全な置換処理を行うものであってもよいし、置換処理後に輪郭部に平滑化処理を行うものであってもよいし、文献 Kwatra, V., Schodl, A., Essa, I., Turk, G. and Bobick, A. 貼ochGraphcut Textures: Image and Video Synthesis Using Graph Cuts能och, Proc. Siggraph 2003, 277-286の手法によるもの等であってもよい。

図７は、顔検出部２０（２１〜２５）の具体的な処理例を示す。ここでは、異なる大きさの対象を検出するために、画像をスケール変換して検出処理を行う例を用いて説明する。また、入力された人物画像を顔の向き判別のために２種類の辞書を用いて検出した例を用いて説明する。

まず、入力された人物画像から、正面向きの顔を検出する辞書１で顔検出を行う（図７中の上段）場合、入力画像を規定のステップ幅に従って縮小処理（スケール変換）を行いながら、各ステップの画像中から走査によって規定の辞書サイズの対象領域を切り出し、該領域の顔度を算出する。ここで、顔度が規定の閾値以下であれば、非顔領域とする。閾値以上の値であれば、顔度を顔としての確信度とする。さらに、顔領域候補として、使用辞書、スケール変換前の座標での検出位置、検出スケール、顔としての確信度等を検出結果記憶部２５に記憶する。

次に、入力された人物画像から、横向きの顔を検出する辞書２で顔検出を行う（図７中の下段）場合、同様の処理によって、顔領域候補を算出する。このとき、左右の向きを判定するのに、左右別々の辞書を用いてもよいし、入力画像あるいは対象領域切り出し後に、画像を左右反転し、顔検出を行ってもよい。検出された顔領域候補は、使用辞書、顔の向き、スケール変換前の座標での検出位置、検出スケール、顔としての確信度等を検出結果記憶部２５に記憶する。

最後に、辞書１，２別に検出された顔領域候補は、どちらか一方でしか検出されなかった場合には、その辞書による検出結果を検出結果記憶部２５に記憶する。検出領域に重なりがあり、両方の辞書で検出された場合には、顔としての確信度の大きい方の検出結果を採用し、使用辞書、使用辞書から判断できる顔の向き（正面、左右向きを記憶）、スケール変換前の座標での検出位置、検出スケール、顔としての確信度等を検出結果記憶部２５に記憶する。また、この例では使用辞書に含まれないため判定はできないが、辞書を増やすことによって上下向きや斜め横、真横等の顔の向きの判断、目や口の開閉、毛髪や帽子、サングラス等による顔の遮蔽判断を入れてもよい。

図８は、合成画像部３０（３１〜３４）の具体的な処理例を示す。ここでは、入力画像として、６人の人物が撮影された３枚の画像を入力画像とし、正面向きをベストな撮影状態と定義して、正面向き及び横向きの、２つの辞書を用いた場合を例に説明する。

入力画像をＧ１，Ｇ２，Ｇ３とする。さらに、入力画像中の人物配置を上段左からａ，ｂ，ｃ同様に下段左から、ｄ，ｅ，ｆとし、入力画像Ｇ１中の人物をａ１〜ｆ１のように定義する。

まず、３枚の入力画像Ｇ１，Ｇ２，Ｇ３に対し、図７の例で示す顔検出を行い、検出顔領域の情報を検出結果記憶部２５に記憶する。検出人数は、入力画像Ｇ１〜Ｇ３の順に、６人，６人，５人である。入力画像Ｇ３では、遮蔽により、人物の検出漏れが起きている。このような場合、入力画像Ｇ３は、本来いるはずの人物が検出できていないものと推定し、合成元画像には選択しない。

次に、人物ごとに顔としての確信度の最も高い画像をみると、入力画像Ｇ１には正面向きの確信度が最も高い人物が３人、入力画像Ｇ２には１人、入力画像Ｇ３には２人である。よって、人物の人数が最大、かつ、顔としての確信度の高い人物数も最大であることから、合成元画像を入力画像Ｇ１に決定する。さらに、入力画像Ｇ１で、顔としての確信度が最も高い値になかった人物ｃ，ｄ，ｅに関しては、入力画像Ｇ２，Ｇ３中の顔領域を入力画像Ｇ１に合成する。

なお、ベストな状態は必ずしも正面向きの顔と定義する必要はなく、例えば、左横向きの顔をベストな状態としてもよい。その場合、左横向きの顔を検出するための辞書を予め用意して使用するものとする。

以上までに説明した画像合成システムおよび画像合成方法における各部および処理ステップは、コンピュータで実行可能に構成したプログラムによっても実現でき、さらにプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。

本発明の実施形態を示す画像合成システムの基本構成図。 実施形態における顔検出部の詳細な構成図。 実施形態における画像合成部の詳細な構成図。 実施形態における顔検出部で、辞書を基に算出する顔度の一例を示す図。 実施形態における顔検出部で、顔を検出する際の処理フロー。 実施形態における画像合成部で、画像を合成する際の処理フロー。 実施形態における顔検出の具体的な画像処理例を示す図。 実施形態における画像合成の具体的な画像処理例を示す図。

符号の説明

１０ 画像入力部
２０ 顔検出部
３０ 画像合成部
４０ 合成結果出力部
２１ 画像入力部
２２ 辞書読込部
２２Ａ 辞書
２３ 対象領域切出部
２４ 顔検出部
２５ 検出結果記憶部
３１ 画像入力部
３２ 顔領域情報読込部
３３ 合成画像作成部
３４ 合成結果記憶部

Claims (10)

1. 複数の顔を含む複数の画像から、人物の顔に関わるベストショットを合成するための画像合成システムであって、
   複数の顔を含む複数の画像を取得する画像入力部と、
   前記複数の画像から人物の顔および顔の情報抽出を行う顔検出部と、
   前記顔検出部により検出された顔および顔の情報を基に、１枚の合成画像を作成する画像合成部と、
   前記画像合成部にて作成された合成画像を出力する合成結果出力部と、
   を有することを特徴とする画像合成システム。
2. 請求項１において、前記顔検出部は、
   前記画像入力部にて取得された複数の画像を個々に入力する画像入力手段と、
   顔領域の顔としての確信度を算出するための１つ以上の辞書を読み込む辞書読込手段と、
   前記入力画像から検出対象とする部分領域を切り出す対象領域切出手段と、
   前記辞書を用いて、前記対象領域の顔としての確信度を算出し、該領域の顔、非顔を判定する顔検出手段と、
   前記顔検出手段における算出結果に基づき、検出された顔に関する情報を、入力された画像に対して付与し記憶する検出結果記憶手段と、
   を有することを特徴とする画像合成システム。
3. 請求項１または２において、前記画像合成部は、
   前記画像入力部にて取得された複数の画像を入力する手段と、
   前記入力された複数の画像に関連する、前記顔検出部にて検出された顔に関する情報を読み込む顔領域情報読込手段と、
   前記情報に基づき、複数画像から１枚の画像を合成するための各画像の領域分け、及び前記合成画像を作成するための各領域の組み合わせを決定し、合成画像を作成する合成画像作成手段と、
   前記合成画像作成手段で作成された画像を記憶する合成結果記憶手段と、
   を有することを特徴とする画像合成システム。
4. 複数の顔を含む複数の画像から、人物の顔に関わるベストショットを合成するための画像合成方法であって、
   複数の顔を含む複数の画像を取得する画像入力ステップと、
   前記複数の画像から人物の顔および顔の情報抽出を行う顔検出ステップと、
   前記顔検出ステップにより検出された顔および顔の情報を基に、１枚の合成画像を作成する画像合成ステップと、
   前記画像合成ステップにて作成された合成画像を出力する合成結果出力ステップと、
   を有することを特徴とする画像合成方法。
5. 請求項４において、前記顔検出ステップは、
   前記画像入力ステップにて取得された複数の画像を個々に入力する画像入力ステップと、
   顔領域の顔としての確信度を算出するための１つ以上の辞書を読み込む辞書読込ステップと、
   前記入力画像から検出対象とする部分領域を切り出す対象領域切出ステップと、
   前記辞書を用いて、前記対象領域の顔としての確信度を算出し、該領域の顔、非顔を判定する顔検出ステップと、
   前記顔検出ステップにおける算出結果に基づき、検出された顔に関する情報を、入力された画像に対して付与し記憶する検出結果記憶ステップと、
   を有することを特徴とする画像合成方法。
6. 請求項４または５において、前記画像合成ステップは、
   前記画像入力ステップにて取得された複数の画像を入力するステップと、
   前記入力された複数の画像に関連する、前記顔検出ステップにて検出された顔に関する情報を読み込む顔領域情報読込ステップと、
   前記情報に基づき、複数画像から１枚の画像を合成するための各画像の領域分け、及び前記合成画像を作成するための各領域の組み合わせを決定し、合成画像を作成する合成画像作成ステップと、
   前記合成画像作成ステップで作成された画像を記憶する合成結果記憶ステップと、
   を有することを特徴とする画像合成方法。
7. 請求項４乃至６のいずれかにおいて、前記検出結果記憶ステップで記憶され、前記顔領域情報読込ステップで読み込まれる顔に関する情報は、該画像中から検出された顔の位置、大きさ、顔としての確信度、顔の向きであることを特徴とする画像合成方法。
8. 請求項４乃至７のいずれかにおいて、前記合成画像作成ステップは、
   前記顔検出ステップにおいて算出された顔領域情報に基づき、前記入力された複数の画像から、検出された人物の顔数が最も多く、かつ合成不要な人物の人数が最も多い画像を合成元画像とし、合成元画像中の顔としての確信度の低い人物の領域を、該人物の最も顔としての確信度の高い画像中での領域と置き換えることを特徴とする画像合成方法。
9. 請求項４乃至８のいずれかにおいて、前記合成画像作成ステップは、
   前記顔検出ステップにおいて算出された顔領域情報に基づき、前記合成元画像中の顔領域情報に合わせて、合成する領域の切り出しを行うことを特徴とする画像合成方法。
10. 請求項４〜９の少なくとも１項の処理ステップを、コンピュータで実行可能に構成したことを特徴とするプログラム。
    

Images