JP2007304675A - 画像合成方法および装置ならびにプログラム - Google Patents

Abstract

【課題】撮影者が注目している移動被写体が消去されるような合成が行われるのを防止する。
【解決手段】動画像ＭＰの各フレーム画像中から移動している移動被写体Ｓ１、Ｓ２が検出される。その後、移動被写体Ｓ１、Ｓ２が被写体データベース２０に登録されているか否かが認識される。そして、被写体認識手段３０において移動被写体Ｓ１が認識されたとき、背景画像Ｇの合成は行われず、移動被写体Ｓ２が認識されなかったとき、背景抽出手段６０により背景画像Ｇが抽出され、画像合成手段７０により背景画像Ｇが合成された合成画像が生成される。
【選択図】図１

Description

本発明は、動画像から移動被写体を除去した合成画像を生成するときの画像合成方法および装置ならびにプログラムに関するものである。

動画像処理技術において、動画像中の物体（オブジェクト）等に対して、移動、変形、削除等の操作を自由に行なう技術が開発されており、特に、オブジェクトの消去に関して、オブジェクト消去後の画像が不自然に見えないようにするため、オブジェクトに隠れた背景画像をオブジェクトの存在する場所に合成することが提案されている（たとえば特許文献１、２参照）。特許文献１において、動画像において各フレーム上の各画素の動きベクトルを使用して移動被写体により隠れた背景画素の動きベクトルを推定するとともに、推定した動きベクトルを用いて他フレームにおける背景画素の画素値を推定し、移動被写体の画素値を推定した画素値と置き換えることにより、背景画像を合成するようにしている。特許文献２においては、動画像を構成する複数のフレーム画像を複数の区間に分割し、各区間に属するフレーム画像を用いて移動物体を切り出すためのマスクを作成し、作成したマスクを各フレーム画像に適用することにより移動物体を切り出した画像を生成するとともに、切り出した部分に背景画像を合成するようになっている。
特開平９−１３０８０３号公報 特開２００１−１５５１６３号公報

上述した特許文献１、２において、動画像内に存在する移動物体すべてについて背景画像の合成が行われてしまうと、撮影者が注目している被写体が動いている場合にも動画像から当該被写体が除去されてしまう。このため、合成後の画像は撮影者が見たい被写体が写っていない画像になってしまうという問題がある。

そこで、本発明は、撮影者が注目している移動被写体が消去されるような合成が行われるのを防止することができる画像合成方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の画像合成方法は、動画像内において移動している移動被写体を検出し、検出した移動被写体が被写体データベース内に登録された特定の被写体であるか否かを認識し、移動被写体が被写体データベースに登録されていないと認識したとき、移動被写体により隠れた背景画像を動画像内から抽出し、抽出した背景画像を移動被写体の位置に合成した合成画像を生成することを特徴とするものである。

本発明の画像合成装置は、動画像において移動している移動被写体を検出する被写体検出手段と、特定の被写体に関する情報が登録されている被写体データベースと、被写体検出手段により検出された移動被写体が被写体データベース内に登録された特定の被写体であるか否かを認識する被写体認識手段と、移動被写体により隠れた背景画像を動画像内から抽出する背景抽出手段と、背景抽出手段により抽出された背景画像を移動被写体の位置に合成する画像合成手段と、を備え、被写体認識手段において移動被写体が被写体データベースに登録されていないと認識されたとき、背景抽出手段が動画像内から背景画像を抽出し、画像合成手段が背景画像を移動被写体の位置に合成するものであることを特徴とするものである。

本発明の画像合成プログラムは、コンピュータに、動画像内において移動している移動被写体を検出し、特定の被写体に関する情報が登録されている被写体データベース内に検出した移動被写体が登録されているか否かを認識し、移動被写体がデータベースに登録されていないと認識したとき、移動被写体により隠れた背景画像を動画像内から抽出し、抽出した背景画像を移動被写体の位置に合成した合成画像を生成することを実行させることを特徴とするものである。

ここで、画像合成手段が生成する合成画像は、静止画であっても良いし動画であっても良い。静止画である場合には動画を構成する１つのフレーム画像について合成画像を生成し、動画像である場合には各フレーム画像について合成画像を生成する。なお、画像合成手段が静止画からなる合成画像を生成するとき、複数のフレーム画像の中から基準となるフレーム画像を決定し、決定したフレーム画像内の移動被写体の位置に背景画像を合成することになる。このとき、画像合成手段は、基準となるフレーム画像の決定を自動的に決定するようにしても良いし、複数のフレーム画像の中から基準となるフレーム画像の複数の候補を選択して表示装置に表示し、表示装置に表示された複数のフレーム画像のうち、ユーザーにより入力手段を介して選択されたフレーム画像を基準となるフレーム画像として決定するようにしてもよい。

また、特定の被写体に関する情報は被写体認識手段において認識可能なものであれば良く、たとえば特定の被写体の顔に関する情報（たとえば顔画像や顔画像の局所特徴量等）や、被写体の形状、色、大きさ等の移動被写体の外見的特徴もしくは被写体が有しているＩＣタグ情報等であってもよい。

なお、移動被写体はいかなる物体でも良く、乗り物やボールであっても良いし人物被写体であっても良い。移動被写体が人物被写体であるとき、被写体データベースが特定の人物の顔情報を登録したものであり、被写体認識手段が被写体検出手段により検出された移動被写体に被写体データベースに登録された顔情報が含まれているか否かを認識するものであってもよい。

また、被写体認識手段は、移動被写体を認識するものであればいかなる認識手法を用いることができ、たとえば被写体検出手段により検出された移動被写体から顔画像を検出する顔検出手段と、顔検出手段により検出された顔画像を用いて移動被写体が被写体データベースに登録されている顔情報を有しているか否かを照合する照合手段とを備え、顔検出手段が、動画像を構成するフレーム画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する顔判別器とを有するものであり、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器を備えたものであってもよい。

本発明の画像合成方法および装置ならびにプログラムによれば、動画像内において移動している移動被写体を検出し、検出した移動被写体が被写体データベース内に登録された特定の被写体であるか否かを認識し、移動被写体が被写体データベースに登録されていないと認識したとき、移動被写体により隠れた背景画像を動画像内から抽出し、抽出した背景画像を移動被写体の位置に合成した合成画像を生成することにより、撮影者が注目している移動被写体が消去されてしまうのを防止することができるため、撮影者の意図を反映した画像の合成を行うことができる。

なお、移動被写体が人物被写体であり、被写体データベースが特定の人物の顔情報を登録したものであり、被写体認識手段が被写体検出手段により検出された移動被写体に被写体データベースに登録された顔情報が含まれているか否かを認識するものであれば、撮影者が注目している人物が自動的に画像合成処理がなされることにより、動画像内から消えてしまうのを防止することができる。

また、被写体認識手段が、被写体検出手段により検出された移動被写体から顔画像を検出する顔検出手段と、顔検出手段により検出された顔画像を用いて移動被写体が被写体データベースに登録されている顔情報を有するか否かを照合する照合手段とを備え、顔検出手段が、動画像を構成するフレーム画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像のうち顔である部分画像を検出する顔判別器とを有し、顔判別器が、複数の弱判別器による複数の判別結果を用いて部分画像が顔であるか否かを判別する顔判別器を備えたものであるとき、精度良く効率的に移動被写体の認識を行うことができる。

以下、図面を参照して本発明の画像合成装置の好ましい実施の形態を詳細に説明する。なお、図１のような画像合成装置１の構成は、補助登録装置に読み込まれた画像合成プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像合成プログラムは、ＣＤ−ＲＯＭ等の情報登録媒体に登録され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。もしくは画像合成プログラムがデジタルカメラ内のプロセッサにより時刻させることにより実現されたものであってもよい。

画像合成装置１は、動画像ＭＰにおいて移動している移動被写体Ｓを検出する被写体検出手段１０と、特定の被写体が登録されている被写体データベース２０と、被写体検出手段１０により検出された移動被写体Ｓが被写体データベース２０内に登録された特定の被写体である否かを認識する被写体認識手段３０と、移動被写体Ｓにより隠れた背景画像Ｂを動画像ＭＰ内から抽出する背景抽出手段６０と、背景画像Ｂを移動被写体Ｓの位置に合成した合成画像を生成する画像合成手段７０とを備えている。

被写体検出手段１０は、たとえば上述した特許文献２（特開２００１−１５５１６３号公報）に開示されている技術を用いて動画像ＭＰから移動している移動被写体Ｓを検出する機能を有している。具体的には、被写体検出手段１０は動画像ＭＰを構成する複数のフレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍの区間に区切り、このフレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍに対して同一位置の点の画素値をフレーム順に追いかけて、平均値からのずれが大きい画素値を特異データとして除去する。そして、フレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍの特異データが除去された同一位置の点の画素値の近似式および近似式表現パラメータを作成し、この近似式表現パラメータを用いて背景画像を生成する。そして、この背景画像とフレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍとの差分画像から移動被写体Ｓ１、Ｓ２を検出する。なお、移動被写体Ｓ１、Ｓ２の検出方法としては、上述した方法の他に各フレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍの各画素における動きベクトルを用いる方法等の公知の技術を用いることができる。よって、図２のように動画像ＭＰの人物とボールとが動いている移動被写体である場合、被写体検出手段１０は２つの移動被写体Ｓ１、Ｓ２を検出することになる。

図１の被写体認識手段３０は、被写体検出手段１０により検出された移動被写体Ｓが特定の被写体であるか否かを認識するものである。なお、被写体認識手段３０は、各フレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍ毎に認識された移動被写体Ｓに対し被写体の認識を行うようにしても良いし、いずれか１つのフレーム画像Ｐ_ｎ内の移動被写体Ｓに対し被写体の認識を行うようにしても良い。

ここで、特定の被写体が人物被写体である場合について例示する。被写体認識手段３０は、被写体検出手段１０により検出された移動被写体の中から顔画像Ｆを検出する顔検出手段４０と、顔検出手段４０により検出された顔画像Ｆが特定の人物の顔であるか否かを照合する照合手段５０とを備えている。また、顔検出手段４０は、図３に示すように、たとえば動画像を構成するフレーム画像Ｐ_ｎ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段４１と、部分画像生成手段４１により生成された複数の部分画像ＰＰから正面顔である部分画像を判別する正面顔検出手段４２Ａおよび横顔である部分画像を判別する横顔検出手段４２Ｂとを有している。

なお、部分画像生成手段４１に入力されるフレーム画像Ｐ_ｎは前処理手段４０ａにより前処理が施されている。前処理手段４０ａは、フレーム画像Ｐ_ｎに対し図４（Ａ）〜（Ｄ）に示すように、フレーム画像Ｐ_ｎを多重解像度化して解像度の異なる複数のフレーム画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段４０ａは、生成した複数のフレーム画像Ｐ２、Ｐ３、Ｐ４に対して、局所的な領域におけるコントラストのばらつきを抑制しフレーム画像Ｐ_ｎの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。

部分画像生成手段４１は、図４（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷをフレーム画像Ｐ_ｎ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段４１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。

なお、部分画像生成手段４１は、図４（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、動画像を構成するフレーム画像Ｐ_ｎにおいてサブウィンドウＷ内に顔もしくは顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。

正面顔検出手段４２Ａおよび横顔検出手段４２Ｂは、たとえばアダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）を用いて顔画像Ｆを検出するものである。正面顔検出手段４２Ａは面内回転している正面顔を検出する機能を有しており（図５（Ａ）参照）、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる４２個の正面顔判別器４３−１〜４３−１２を有している。なお、各正面顔判別器４３−１〜４３−１２は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を検出できるようになっている。横顔検出手段１２Ｂは、面内回転している横顔を検出する機能を有しており（図５（Ｂ）参照）、たとえば−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器４４−１〜４４−７を有している。なお、横顔検出手段１２Ｂは、さらに画面内の顔の向きが回転している画像（面外回転）を検出する横顔判別器をさらに備えていても良い。

上述した正面顔判別器４３−１〜４３−１２および横顔判別器４４−１〜４４−７は、部分画像ＰＰが顔であるか非顔かの２値検出を行う機能を有し、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの検出を行う機能を備える。そして、各顔判別器は弱判別器ＣＦ_１〜ＣＦ_Ｍおける検出結果を用いて顔であるか否かの最終的な検出を行うようになっている。

具体的には、各弱判別器ＣＦ_１〜ＣＦ_Ｍは図３に示すように部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図６に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力する。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍは、スコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）と信頼度β_１〜β_Ｍとを用いて判定スコアβ_ｍ・ｆ_ｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。

また、顔判別器４２の各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有しており、各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを顔画像Ｆとして出力するようになっている。つまり、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。なお、カスケード構造を有する判別器の詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月に開示されている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。また、被写体検出手段１０はアダブースティングアルゴリズムを用いて顔を検出する場合について例示しているが、公知のＳＶＭ（Support Vector Machine）アルゴリズムを用いて下を検出するものであっても良い。

一方、図１の被写体データベース２０には、たとえば過去に撮影者等が写っている画像等を用いて撮影者およびその関係者の顔等の撮影者が注目する顔画像Ｆの情報が予め登録されており、照合手段５０は、検出された顔画像Ｆが被写体データベース２０内に登録された顔画像Ｆであるか否かを照合する。ここで、顔の認識には種々の手法を用いることができる。たとえば顔画像の局所特徴量を用いて顔認識する方法、Ａｄａｂｏｏｓｔアルゴリズムを用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、ＣＶＩＭ２００５年５月（第１４９回）研究会、坂野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。なお、被写体データベース２０には、上述した各顔認識アルゴリズムに合った最適な形式の顔情報（たとえば顔画像の局所特徴量、顔画像自体等）が登録されている。そして、照合手段５０において顔画像Ｆが被写体データベース２０に登録されていると判断された場合、被写体認識手段３０は移動被写体Ｓ１が被写体データベース２０に登録されている特定の被写体であると判断する。

背景抽出手段６０は移動被写体Ｓにより隠れた背景画像Ｂを抽出し、画像合成手段７０は移動被写体Ｓの領域に背景画像Ｂを合成した合成画像を生成する機能を有している。ここで背景の抽出および画像の合成には種々の手法を用いることができる。たとえば、上述した被写体検出手段１０が背景抽出手段６０としても機能しており、画像合成手段７０が移動被写体Ｓを検出する際に生成した背景画像を合成するようにしてもよい。

ここで、画像合成手段７０は、被写体認識手段３０において移動被写体Ｓが認識されなかった場合のみ画像の合成を行うものであり、移動被写体が被写体データベース２０に登録されていると認識されたとき、背景抽出手段６０および画像合成手段７０による背景の抽出および画像の合成は行われない。たとえば図２において、移動被写体Ｓ１の顔画像Ｆが被写体データベース２０に登録されており、移動被写体Ｓ２が被写体データベース２０に登録されていない場合、図８に示すように、画像合成手段７０は移動被写体Ｓ１の部分の背景画像Ｇが合成されず移動被写体Ｓ２の部分の背景画像Ｇが合成されたフレーム画像Ｐ_ｎを生成するようになっている。なお、画像合成手段７０は背景を合成した１つのフレーム画像Ｐ_ｎを静止画として出力するものであっても良いし、各フレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍに対し合成を行い動画として出力するものであってもよい。

このように、人物被写体が被写体データベース２０に登録されていない場合のみ背景画像の合成を行い、被写体データベース２０に登録されている場合には背景画像Ｇの合成を行わないことにより、撮影者が移動被写体Ｓ１に注目しているにもかかわらず移動被写体Ｓ１が背景画像Ｇになってしまうといった不具合を防止して、撮影者の意図を反映した背景画像の合成を行うことができる。

図９は本発明の画像合成方法の好ましい実施の形態を示すフローチャートであり、図１から図９を参照して画像合成方法について説明する。まず、被写体検出手段１０において、動画像ＭＰの各フレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍの中から移動している移動被写体Ｓ１、Ｓ２が検出される（ステップＳＴ１、図２参照）。その後、移動被写体Ｓ１、Ｓ２が被写体データベース２０に登録された特定の被写体であるか否かが認識される（ステップＳＴ２、図３〜図７参照）。そして、被写体認識手段３０において移動被写体Ｓ１が認識されたとき、背景画像Ｇの合成は行われず、移動被写体Ｓ２が認識されなかったとき、背景抽出手段６０により背景画像Ｇが抽出され、画像合成手段７０により背景画像Ｇが合成された合成画像が生成される（ステップＳＴ３、図８参照）。

上記実施の形態によれば、動画像ＭＰ内において移動している移動被写体を検出し、特定の被写体が登録されている被写体データベース２０内に検出した移動被写体が登録されているか否かを認識し、移動被写体が被写体データベース２０に登録されていないと認識したとき、移動被写体により隠れた背景画像Ｇを動画像内から抽出し、抽出した背景画像を移動被写体の位置に合成した合成画像を生成することにより、撮影者が注目している移動被写体が消去されてしまうのを防止することができるため、撮影者の意図を反映した画像の合成を行うことができる。

特に、被写体が人物であるとき、被写体検出手段１０が人物被写体の顔画像を検出することにより移動被写体を検出するものであり、被写体データベース２０が特定の人物の顔画像Ｆを登録したものであり、被写体認識手段が被写体検出手段により検出された顔画像Ｆが被写体データベース２０に登録された顔画像Ｆであるか否かを認識するものであれば、撮影者が注目している人物が自動的に画像合成処理がなされることにより、動画像ＭＰ内から消えてしまうのを防止することができる。

本発明の実施の形態は上記実施の形態に限定されない。たとえば、上記実施の形態において移動被写体が人物被写体である場合について例示しているが、たとえば自動車、動物、ボール等の移動する被写体にも適用することができる。このとき、被写体データベース２０には除去すべき移動被写体の画像が登録されることになる。

また、上記実施の形態において、被写体データベース２０には顔画像、顔の局所特徴量等が登録されている場合について例示しているが、特定の被写体に関する情報は被写体認識手段において認識可能なものであればよく、たとえば被写体の形状、色、大きさ等の移動被写体の外見的特徴もしくは被写体が有しているＩＣタグ情報等であってもよい。

さらに上述した赤目処理装置はデジタルカメラに実装してもよいし、プリンタ装置に実装しても良い。ここで、デジタルカメラの場合は撮影時に処理してもよいし，撮影済み画像に対する画像補正機能としてもよい．また、赤目処理を行うときにユーザーからの入力に従うようなユーザー確認手段をもたせて半自動処理のような形態をとってもよい。

また、動画から静止画からなる合成画像を生成するとき、複数のフレーム画像Ｐ_ｎ〜Ｐ_ｎ＋ｍの中から基準となるフレーム画像Ｐ_ｎを顔の表情などに基づいて自動的に決定し合成画像を生成するようにしてもよいし、複数のフレーム画像の中から基準となるフレーム画像の複数の候補を選択して表示装置に表示し、表示装置に表示された複数のフレーム画像のうち、ユーザーにより入力手段を介して選択されたフレーム画像を基準となるフレーム画像として決定し合成画像を生成するようにしてもよい。

本発明の画像合成装置の好ましい実施の形態を示すブロック図 図１の被写体検出手段により検出される移動被写体の一例を示す模式図 図１の顔検出手段の一例を示すブロック図 図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図 図３の顔検出手段により検出される正面顔および横顔の一例を示す模式図 図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図 図１の弱判別器が有するヒストグラムの一例を示すグラフ図 図１の画像合成手段により生成された合成画像の一例を示す模式図 本発明の画像合成方法の好ましい実施の形態を示すフローチャート

符号の説明

１ 画像合成装置
１０ 被写体検出手段
１１ 部分画像生成手段
２０ 被写体データベース
３０ 被写体認識手段
４０ 顔検出手段
４０ 背景抽出手段
５０ 照合手段
６０ 画像合成手段
Ｂ 背景画像
ＣＦ_１〜ＣＦ_ｍ 弱判別器
Ｆ 顔画像
Ｇ 背景画像
ＭＰ 動画像
Ｐ_ｎＰ_ｎ＋ｍ フレーム画像
Ｓ、Ｓ１、Ｓ２ 移動被写体

Claims (7)

1. 動画像内において移動している移動被写体を検出し、
   検出した前記移動被写体が被写体データベース内に登録された特定の被写体であるか否かを認識し、
   前記移動被写体が前記被写体データベースに登録されていないと認識したとき、前記動画像内から前記移動被写体により隠れた背景画像を抽出し、
   抽出した前記背景画像を前記移動被写体の位置に合成する
   ことを特徴とする画像合成方法。
2. 動画像において移動している移動被写体を検出する被写体検出手段と、
   特定の被写体に関する情報が登録されている被写体データベースと、
   前記被写体検出手段により検出された前記移動被写体が前記被写体データベース内に登録された前記特定の被写体であるか否かを認識する被写体認識手段と、
   前記移動被写体により隠れた背景画像を前記動画像内から抽出する背景抽出手段と、
   該背景抽出手段により抽出された前記背景画像を前記移動被写体の位置に合成する画像合成手段と、
   を備え、
   前記被写体認識手段において前記移動被写体が前記被写体データベースに登録されていないと認識されたとき、前記背景抽出手段が前記動画像内から前記背景画像を抽出し、前記画像合成手段が前記背景画像を前記移動被写体の位置に合成するものであることを特徴とする画像合成装置。
3. 前記移動被写体が人物被写体であり、前記被写体データベースが特定の人物の顔情報を登録したものであり、前記被写体認識手段が前記被写体検出手段により検出された前記移動被写体に前記被写体データベースに登録された前記顔情報が含まれているか否かを認識するものであることを特徴とする請求項２記載の画像合成装置。
4. 前記被写体認識手段が、
   前記被写体検出手段により検出された前記移動被写体から顔画像を検出する顔検出手段と、
   該顔検出手段により検出された前記顔画像を用いて前記移動被写体が前記被写体データベースに登録されている顔情報を有するか否かを照合する照合手段と
   を備え、
   前記顔検出手段が、
   前記動画像を構成するフレーム画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
   該部分画像生成手段により生成された前記複数の部分画像のうち顔である該部分画像を検出する顔判別器と
   を有し、
   該顔判別器が、複数の弱判別器による複数の判別結果を用いて前記部分画像が顔であるか否かを判別する顔判別器を備えたものであることを特徴とする請求項２または３項記載の画像合成装置。
5. 前記画像合成手段が静止画からなる前記合成画像を生成するものであり、前記複数のフレーム画像の中から基準となる前記フレーム画像を決定し、決定した該フレーム画像内の前記移動被写体の位置に前記背景画像を合成するものであることを特徴とする請求項２から４のいずれか１項記載の画像合成装置。
6. 前記画像合成手段が、前記基準となるフレーム画像を決定するとき、前記複数のフレーム画像の中から前記基準となるフレーム画像の複数の候補を選択して表示装置に表示する機能を有し、該表示装置に表示された前記複数のフレーム画像のうち、入力手段を介して選択された前記フレーム画像を前記基準となるフレーム画像として決定するものであることを特徴とする請求項５記載の画像合成装置。
7. コンピュータに、
   動画像内において移動している移動被写体を検出し、
   特定の被写体に関する情報が登録されている被写体データベース内に検出した前記移動被写体が登録されているか否かを認識し、
   前記移動被写体が前記被写体データベースに登録されていないと認識したとき、前記動画像内から前記移動被写体により隠れた背景画像を抽出し、
   抽出した前記背景画像を前記移動被写体の位置に合成する
   ことを実行させるための画像合成プログラム。

Images