JP2009059014A - 合成画像出力装置および合成画像出力処理プログラム - Google Patents

Abstract

【課題】動画撮影された画像を他の画像に置き換えた合成画像を生成して出力するための合成画像出力装置において、物体の破壊前画像、破壊中画像との合成画像を生成すること。
【解決手段】動画撮影された一連の撮影画像データＧが入力されると、当該撮影画像Ｇに含まれるビール瓶（Ａ）と紙飛行機（Ｂ）等の破壊対象画像が検出され、当該破壊対象画像に対応付けられて破壊画像メモリに記憶されている塔や飛行機の破壊前画像（１５Ｇａ１，１５Ｇｂ１）に置き換えられた合成画像ＧＧとして生成され、破壊対象画像（Ａ，Ｂ）が、他の動作中の人等の画像部分（Ｐ）と接触したことが検出されると、塔や飛行機の破壊中画像（１５Ｇａ２〜３，１５Ｇｂ２〜３）に置き換えられた合成画像ＧＧとして生成されて、塔や飛行機の破壊前後の合成画像を含む一連の画像が出力される。
【選択図】 図１

Description

本発明は、動画撮影された画像中の、飛行機や建造物等の特定の物体画像を破壊画像に置き換えた合成画像を生成して出力するための合成画像出力装置および合成画像出力処理プログラムに関する。

近年、特殊撮影の技術の進歩により、ミニチュア撮影、人物と背景画像の合成、コンピュータグラフィックと撮影画像の合成等により、現実にはない情景を画面上に作り出すことが可能となった。そして最近では、モーションキャプチャ技術と３Ｄ画像処理技術によって、予め動画撮影されたモデル（対象人物）の動きにそのまま対応させた任意のキャラクタ画像を動画表示させることができるようになっている。また動画にコメントを追加する画像合成もネットサービスを用いて一般に行なわれるようになってきた。

また従来、同一出願人において、デジタルカメラにより撮影された撮影画像に含まれる各画像部分までの距離情報に応じて、当該撮影画像から置き換え対象となる人物画像を抽出し、この抽出された対象人物画像のポーズ（姿勢）に応じた他のキャラクタ画像からなるまね画像を、当該対象人物画像に置き換え合成して表示する画像出力装置が考えられている（例えば、特許文献１参照。）。

また、同一出願人において、通信ネットワーク上の端末装置から送られてくる撮影された置き換え対象となる人物画像の姿勢を示すポーズ情報を受信し、このポーズ情報に対応した姿勢のキャラクタ画像をデータベースから読み出して前記端末装置へ送信提供する画像配信サーバも考えられている（例えば、特許文献２参照。）。

このような従来の画像出力装置や画像配信サーバによれば、撮影画像の中の任意の対象人物画像を他のキャラクタ画像に置き換え合成して表示あるいはプリントすることが可能となり、ユーザ本人や知人を他のキャラクタ画像に置き換えて楽しんだり、あるいは他人に見られてはいけない人物を対象に他のキャラクタ画像に置き換え偽装したりして、撮影画像を様々な状況でより効果的に利用することができる。

特許第３９０１０１５号公報

特許第３９１８６３２号公報

前記従来における撮影人物画像の他のキャラクタ画像への置き換え合成技術では、静止画、動画、何れの場合でも、その対象人物画像をそのまま置き換え合成しているだけである。特に、特撮映画等では、建造物や飛行機などの破壊シーンが多く出てくるが、従来はミニチュアモデルを作成して実際に人が破壊したり、映画のシーンの画像撮影後に専門家の手作業により別に撮影した破壊画像の合成が行われ、手間や費用がかかったり、手作業による高度な画像合成が必要とされた。

本発明は、このような課題に鑑みなされたもので、動画撮影された画像について、物体の破壊画像との合成を容易かつ効果的に行える合成画像出力装置および合成画像出力処理プログラムを提供することを目的とする。

請求項１に記載の合成画像出力装置は、予め設定された破壊対象画像と破壊前画像と一連の破壊画像とを対応付けて記憶する破壊データ記憶手段と、動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、この撮影画像取得手段により取得された一連の撮影画像データのうちから、前記破壊対象画像を検出する破壊対象検出手段と、この破壊対象検出手段により検出された破壊対象画像を破壊前画像に置き換えた破壊前合成画像を生成する破壊前合成画像生成手段と、一連の撮影画像のうちから、前記検出された破壊対象画像が撮影画像中の他の動作中の画像部分と接触したことを検出する接触検出手段と、当該接触検出手段により接触が検出された際に前記破壊対象画像を一連の破壊画像に置き換えた破壊中合成画像を生成する破壊中合成画像生成手段と、前記破壊前合成画像生成手段により生成された破壊前合成画像と前記破壊中合成画像生成手段により生成された破壊中合成画像とを含む一連の合成画像データを出力する合成画像出力手段と、を備えたことを特徴としている。

請求項２に記載の合成画像出力装置は、前記破壊データ記憶手段は予め設定された破壊対象画像と破壊前画像と一連の破壊画像と音声データとを対応付けて記憶し、前記接触検出手段により撮影画像中の他の動作中の画像部分と接触したことが検出された際に前記破壊データ記憶手段により記憶されている破壊中画像の音声データを読み出して出力させる音声出力制御手段と、をさらに備えたことを特徴としている。

請求項３に記載の合成画像出力装置は、予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する身振変身データ記憶手段と、前記撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、この人物画像抽出手段により抽出された人物画像の中から前記身振変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、を有し、前記接触検出手段は、前記撮影画像中の他の動作中の画像部分のうち、この変身身振り検出手段により検出された人物画像の画像部分が、前記破壊対象画像と接触したことを検知する、ことを特徴としている。

請求項４に記載の合成画像出力処理装置は、予め設定された顔画像と変身キャラクタの画像データとを対応付けて記憶する顔変身データ記憶手段と、前記撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、この人物画像抽出手段により抽出された人物画像の中から、前記顔変身データ記憶手段により記憶されている顔画像が一致する人物画像を検出する変身顔画像検出手段と、
を有し、前記接触検出手段は、前記撮影画像中の他の動作中の画像部分のうち、この変身顔画像検出手段により検出された人物画像の画像部分が、前記破壊対象画像と接触したことを検知することを特徴としている。

請求項５に記載の合成画像出力処理プログラムは、コンピュータを、予め設定された破壊対象画像と、破壊前画像と一連の破壊画像とを対応付けて記憶する破壊データ記憶手段、動画撮影された一連の撮影画像データを取得する撮影画像取得手段、この撮影画像取得手段により取得された一連の撮影画像データのうちから、前記破壊対象画像を検出する破壊対象検出手段、この破壊対象検出手段により検出された破壊対象画像を破壊前画像に置き換えた破壊前合成画像を生成する破壊前合成画像生成手段、前記一連の撮影画像のうちから、前記検出された破壊対象画像が撮影画像中の他の動作中の画像部分と接触したことを検出する接触検出手段、当該接触検出手段により接触が検出された際に、前記破壊対象画像を一連の破壊画像に置き換えた破壊中合成画像を生成する破壊中合成画像生成手段、前記破壊前合成画像生成手段により生成された破壊前合成画像と、前記破壊中合成画像生成手段により生成された破壊中合成画像と、を含む一連の合成画像データを出力する合成画像出力手段、として機能させることを特徴としている。

本発明によれば、一連の撮影画像中の建造物や飛行機などの破壊シーンについて、撮影画像中のビール瓶や紙飛行機等の各破壊対象を、対応する塔と飛行機の各破壊画像に置き換え合成された画像を含む一連の合成動画像を表示部に出力表示させたり、外部のモニタに出力表示させることができ、動画撮影された画像について、物体の破壊画像との合成を容易かつ効果的に行える合成画像出力装置および合成画像出力処理プログラムを提供できる。

以下図面により本発明の実施の形態について説明する。
図１は、本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図である。
このデジタルカメラ１０は、その背面にＬＣＤ表示部１１、入力部１２、音声出力部（スピーカ）１３を備え、入力部１２の操作に応じて撮影される動画像（撮影画像）Ｇは、リアルタイムで表示部１１に表示される。

このデジタルカメラ１０は、主要な機能として、撮影中の動画像Ｇに含まれる人物・物体画像（Ｐ，Ｋ，Ａ，Ｂ）を抽出する機能、抽出された人物画像が予め登録された人物画像（Ｐ）であるか否かを顔画像を認識処理して識別する機能、抽出された人物画像が予め登録された人物画像（Ｐ）である場合にその登録人物画像（Ｐ）に対応付けて予め設定された役柄画像（２４Ｇｗ）のマーク（役柄変身マーク２４Ｍｗ）を付加する機能、前記役柄変身マーク２４Ｍｗの付加された人物画像（Ｐ）を同予め設定された役柄画像（２４Ｇｗ）に置き換える機能、抽出された人物画像の予め設定された身振り（モーション）を検出する機能、予め設定された身振りが検出された人物画像（Ｋ）についてその身振り検出時点から予め設定された変身画像（１４Ｇｕ）のマーク（変身マーク１４Ｍｕ）を付加する機能、前記変身マーク１４Ｍｕの付加された人物画像（Ｋ）を同予め設定された変身画像（１４Ｇｕ）に置き換える機能、抽出された物体画像が予め登録された破壊対象画像（Ａ，Ｂ）である場合にその破壊対象画像（Ａ，Ｂ）に対応付けて予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）のマーク（破壊マーク１５Ｍａ，１５Ｍｂ）を付加する機能、前記破壊マーク１５Ｍａ，１５Ｍｂの付加された破壊対象画像（Ａ，Ｂ）を同予め設定された破壊画像（１５Ｇａ，１５Ｇｂ）に置き換える機能、そして、前記抽出された人物画像（Ｐ，Ｋ）の動きを捉えて前記役柄画像（２４Ｇｗ）や変身画像（１４Ｇｕ）の３Ｄ画像に変換するためのモーションキャプチャ処理機能、３Ｄ画像処理機能などを有する。

なお、前記顔画像認識処理、モーションキャプチャ処理、３Ｄ画像処理については、周知の画像処理技術であるためその詳細な説明を省略する。
このような主要な機能を有するデジタルカメラ１０を、例えば家族で利用してその父親Ｐを怪獣役、子供Ｋを○○マン役とした一連のシーンを母親が動画撮影して遊ぶ場合に、当該デジタルカメラ１０において、父親Ｐの顔画像を怪獣画像（役柄画像２４Ｇｗ）に対応付けて予め登録すると共に、ビール瓶Ａと紙飛行機Ｂの破壊対象画像をそれぞれ塔と飛行機の破壊画像１５Ｇａと１５Ｇｂに対応付けて予め登録する。

そして、父親Ｐによってビール瓶Ａを倒したり、飛んで来る紙飛行機Ｂを叩き落としたりするのに伴い、子供Ｋが変身のためのモーション（身振り）をして○○マンに変身しようとする一連のシーンを、母親がデジタルカメラ１０により動画撮影する。
撮影中の動画像Ｇは、図１（Ａ）に示すように、リアルタイムで表示部１１に表示されると共に、本デジタルカメラ１０が有する前記各種の機能によって解析され、父親Ｐの人物画像には、対応する怪獣画像（役柄画像２４Ｇｗ）を示す役柄変身マーク２４Ｍｗが付加表示され、子供Ｋの人物画像には、予め設定された身振り（モーション）が検出された時点以降、対応する○○マン画像（変身画像１４Ｇｕ）を示す変身マーク１４Ｍｕが付加表示される。また、ビール瓶Ａには、対応する塔の破壊画像１５Ｇａを示す破壊マーク１５Ｍａが付加表示され、紙飛行機Ｂには、対応する飛行機の破壊画像１５Ｇｂを示す破壊マーク１５Ｍａが付加表示される。

これにより撮影中の母親は、父親Ｐや子供Ｋの人物画像がその役柄通りに変身処理され、またビール瓶Ａや紙飛行機Ｂの物体画像がその登録通りに置き換え処理されていることを容易に認識することができる。
またこの際、前記怪獣画像（役柄画像２４Ｇｗ）と○○マン画像（変身画像１４Ｇｕ）にそれぞれ対応付けられて予め記憶されている音声データ「ガオー」「シュワッチ」が読み出され音声出力部１３から出力されることで、各役柄を演じている最中の父親Ｐや子供Ｋにあっても、自らがその役柄通りに変身処理されていることを容易に認識することができる。

なお、前記撮影された動画像（撮影画像）Ｇに対して役柄変身マーク２４Ｍｗや変身マーク１４Ｍｕ、破壊マーク１５Ｍａ，１５Ｍｂが付加された動画像をマーク付き撮影画像Ｇｍと称する。
この後、前記一連のシーンの動画像Ｇの撮影が終了すると共にそのマーク付き撮影画像Ｇｍが生成されると、当該マーク付き撮影画像Ｇｍが前記各種の機能によって解析され、図１（Ｂ）に示すように、前記役柄変身マーク２４Ｍｗの付加された父親Ｐの人物画像に対応する怪獣の役柄画像２４Ｇｗと、前記変身マーク１４Ｍｕの付加された子供Ｋの人物画像に対応する○○マンの変身画像１４Ｇｕ、および前記各破壊マーク１５Ｍａ，１５Ｍｂの付加されたビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応する塔と飛行機の各破壊画像１５Ｇａ，１５Ｇｂが、予め設定された背景画像ＢＧに合成されてなる合成動画像ＧＧが生成される。

なお、前記ビール瓶Ａと紙飛行機Ｂの各破壊対象画像に対応付けられた各破壊画像１５Ｇａ，１５Ｇｂは、何れもその破壊対象画像（Ａ，Ｂ）に対して、前記役柄変身マーク２４Ｍｗや変身マーク１４Ｍｕが付加された父親Ｐや子供Ｋの人物画像が接触したことを検知して予め記憶された破壊後の画像に置き換え合成される。

これによりユーザ家族は、容易に特撮風の合成動画像ＧＧを作ることができ、建造物や飛行機などの破壊シーンについて、撮影画像中のビール瓶Ａと紙飛行機Ｂの各破壊対象を、対応する塔と飛行機の各破壊画像に置き換え合成された画像を含む一連の合成動画像ＧＧを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。このように動画撮影された画像について、物体の破壊画像との合成を容易かつ効果的に行える。
図２は、前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図である。

このデジタルカメラ１０は、コンピュータであるＣＰＵ１６を備えている。
ＣＰＵ１６は、メモリ１７に予め記憶されたシステムプログラム、あるいはメモリカードなどの外部記録媒体１８からカードスロットなどの記録媒体読取部１９を介して前記メモリ１７に読み込まれたカメラ制御プログラム、あるいは通信ネットワーク（Ｎ）上のサーバ装置３０（この場合はプログラムサーバ）から電送制御部２０を介して前記メモリ１７に読み込まれたカメラ制御プログラムに従い回路各部の動作を制御する。

ＣＰＵ１６には、前記ＬＣＤ表示部１１、入力部１２、音声出力部１３、メモリ１７、記録媒体読取部１９、電送制御部２０が接続される他に、固体撮像素子（ＣＣＤ）や撮像光学系および距離センサや照度センサを備えた画像撮影部２ｌが接続される。
前記メモリ１７のプログラムメモリ２２には、本デジタルカメラ１０の全体の動作を司るシステムプログラムや撮影動作を司るカメラ制御プログラム、通信ネットワークＮ上のサーバ装置３０や外部の通信端末Ｂ（ＰＣ:personal computer）４０との通信動作を司る通信制御プログラムが記憶されると共に、前記画像撮影部２１により撮影された撮影画像Ｇに基づいて、前述したマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力したりするための前記各種の機能を司る画像処理プログラムが予め記憶される。

そして、前記プログラムメモリ２２に記憶された各種のプログラムは、入力部１２からのキー入力信号や画像撮影部２１からの撮影入力信号、電送制御部２０を介した外部機器（３０，４０）からの受信入力信号に応じて起動される。
また、前記メモリ１７には、変身データメモリ１４、特殊効果データメモリ２３、破壊データメモリ１５、変身役柄データメモリ２４、撮影画像データメモリ２５、マーク付き撮影画像データメモリ２６、合成画像データメモリ２７、およびその他の作業用データメモリなどが備えられる。

図３は、前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図である。
この変身データメモリ１４は、変身モーションモデルデータ１４Ｐと変身画像データ１４Ｇｕと変身マークデータ１４Ｍｕの記憶領域を有し、変身画像データ１４Ｇｕの記憶領域には、複数種類の変身画像データ（変身キャラクタ）およびその音声データが、例えば○○マンＡの変身画像データ１４Ｇｕ１およびその音声データ「シュワッチ」１４Ｓｕ１、初代○○マンの変身画像データ１４Ｇｕ２およびその音声データ「ヤー・ター」１４Ｓｕ２として記憶される。また、変身マークデータ１４Ｍｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２をそれぞれ簡易表現する変身マークデータ１４Ｍｕ１，１４Ｍｕ２が記憶される。そして、変身モーションモデルデータ１４Ｐの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ変身するための一連のモーション（身振り）からなる変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃが記憶される。

なお、前記変身画像データ１４Ｇｕ１，１４Ｇｕ２は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。また前記変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃ，１４Ｐ２ａ〜１４Ｐ２ｃは、当該変身モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。

図４は、前記デジタルカメラ１０の特殊効果データメモリ２３に予め記憶される特殊効果データの内容を示す図である。
この特殊効果データメモリ２３は、特殊効果モーションモデルデータ２３Ｐと特殊効果画像データ２３Ｇｕと特殊効果マークデータ２３Ｍｕの記憶領域を有し、特殊効果画像データ２３Ｇｕの記憶領域には、前記複数種類の変身画像データ１４Ｇｕ１，１４Ｇｕ２にそれぞれ対応する特殊効果画像データおよびその音声データが、例えば○○マンＡ用の特殊効果画像データ２３Ｇｕ１およびその音声データ「ビビビビー」２３Ｓｕ１、初代○○マン用の特殊効果画像データ２３Ｇｕ２およびその音声データ「ピーバリバリー」２３Ｓｕ２として記憶される。また、特殊効果マークデータ２３Ｍｕの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ簡易表現する特殊効果マークデータ２３Ｍｕ１，２３Ｍｕ２が記憶される。そして、特殊効果モーションモデルデータ２３Ｐの記憶領域には、前記複数種類の特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２をそれぞれ対応する変身画像データ１４Ｇｕ１，１４Ｇｕ２の所定の位置から発生させて付加するための一連のモーション（身振り）からなる特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃが記憶される。

なお、前記特殊効果画像データ２３Ｇｕ１，２３Ｇｕ２は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記特殊効果モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃ，２３Ｐ２ａ〜２３Ｐ２ｃは、当該特殊効果モーションを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データとして記憶される。

図５は、前記デジタルカメラ１０の破壊データメモリ１５に予め記憶される破壊データの内容を示す図である。
この破壊データメモリ１５は、破壊対象画像データ１５Ｔと破壊画像データ１５Ｇと破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の記憶領域を有し、破壊画像データ１５Ｇの記憶領域には、複数種類の一連の破壊画像データおよびその破壊途中の音声データが、例えば塔の破壊前，破壊中，破壊後の各画像データ１５Ｇａ１〜１５Ｇａ３およびその破壊中音声データ「グシャ」１５Ｓａ、飛行機の破壊前，破壊中，破壊後の各画像データ１５Ｇｂ１〜１５Ｇｂ３およびその破壊中音声データ「ドカーン」１５Ｓｂ、建物の破壊前，破壊中，破壊後の各画像データ１５Ｇｃ１〜１５Ｇｃ３およびその破壊中音声データ「ガラガラ」１５Ｓｃとして記憶される。また、破壊（前）マークデータ１５Ｍと破壊（後）マークデータ１５Ｍ′の各記憶領域には、前記複数種類の破壊前後の画像データ１５Ｇａ１，１５Ｇａ３、１５Ｇｂ１，１５Ｇｂ３、１５Ｇｃ１，１５Ｇｃ３をそれぞれ簡易表現する同破壊前後のマークデータ１５Ｍａ，１５Ｍａ′、１５Ｍｂ，１５Ｍｂ′、１５Ｍｃ，１５Ｍｃ′が記憶される。そして、破壊対象画像データ１５Ｔの記憶領域には、前記複数種類の破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３にそれぞれ置き換えるための対象となる一般家庭にある物体画像が、例えば塔の破壊画像データ１５Ｇａ１〜１５Ｇａ３の場合にはビール瓶Ａ１やペットボトルＡ２、飛行機の破壊画像データ１５Ｇｂ１〜１５Ｇｂ３の場合には紙飛行機Ｂ、建物の破壊画像データ１５Ｇｃ１〜１５Ｇｃ３の場合にはティッシュボックスＣとして記憶される。

なお、前記破壊画像データ１５Ｇａ１〜１５Ｇａ３，１５Ｇｂ１〜１５Ｇｂ３，１５Ｇｃ１〜１５Ｇｃ３は、画像データそのもの、又は３Ｄ画像生成用データとして記憶される。また前記破壊対象画像データＡ１（Ａ２），Ｂ，Ｃは、その物体を撮影した画像データそのもの、又は同物体の特徴を示す形状データとして記憶される。

図６は、前記デジタルカメラ１０の変身役柄データメモリ２４に記憶される変身役柄データの内容を示す図である。
この変身役柄データメモリ２４は、ユーザ登録される変身対象画像データ２４Ｔ、変身（１）画像データ２４Ｇｗと変身（１）マークデータ２４Ｍｗ、変身（２）画像データ２４Ｇｗ′と変身（２）マークデータ２４Ｍｗ′、変身条件データ２４Ｈの記憶領域を有し、変身（１）画像データ２４Ｇｗの記憶領域には、複数種類の第１段階の変身画像データ（変身キャラクタ）およびその音声データが、例えば怪獣Ａの変身（１）画像データ２４Ｇｗ１およびその音声データ「ガオー」２４Ｓｗ１、怪獣Ｂの変身（１）画像データ２４Ｇｗ２およびその音声データ「ギャーギャー」２４Ｓｗ２として記憶される。また、変身（１）マークデータ２４Ｍｗの記憶領域には、前記複数種類の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２をそれぞれ簡易表現する変身（１）マークデータ２４Ｍｗ１，２４Ｍｗ２が記憶される。また、変身（２）画像データ２４Ｇｗ′の記憶領域には、前記複数種類の第１段階の変身画像データ２４Ｇｗ１，２４Ｇｗ２にそれぞれ対応する第２段階の変身画像データ２４Ｇｗ１′，２４Ｇｗ２′およびその音声データ２４Ｓｗ１′，２４Ｓｗ２′が記憶される。また、変身（２）マークデータ２４Ｍｗ′の記憶領域には、前記変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′を簡易表現する変身（２）マークデータ２４Ｍｗ１′，２４Ｍｗ２′が記憶される。さらに、変身条件データ２４Ｈの記憶領域には、前記第１段階の変身（１）画像データ２４Ｇｗ１，２４Ｇｗ２から第２段階の変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′に変身するための条件データ２４Ｈ１，２４Ｈ２が記憶される。

なお、本実施形態では、前記第２段階の変身（２）画像データ２４Ｇｗ１′，２４Ｇｗ２′は設定しないので、その変身（２）マークデータ２４Ｍｗ１′，２４Ｍｗ２′および変身条件データ２４Ｈ１，２４Ｈ２も設定されない。
そして、変身対象画像データ２４Ｔの記憶領域には、前記複数種類の変身画像データ２４Ｇｗ１，２４Ｇｗ２にそれぞれ変身させて置き換えるための対象となる人物の顔画像が、例えば父親の顔画像Ｐ、母親の顔画像Ｍとしてユーザ登録され記憶される。

なお、前記変身（１）（２）画像データ２４Ｇｗ，２４Ｇｗ′は、様々な動きを表現した画像データそのもの、又は手足の骨格や顔の特徴点の移動データと３Ｄ画像生成用データとの組み合わせとして記憶される。
撮影画像データメモリ２５には、画像撮影部２１により静止画または動画撮影されて入力された撮影画像データＧが記憶される。

マーク付き撮影画像データメモリ２６には、前記撮影画像データメモリ２５に動画撮影されて記憶された撮影画像データＧに基づき、前記画像処理プログラムに従い撮影にリアルタイムで生成されたマーク付き撮影画像データＧｍ（図１（Ａ）参照）が順次記憶される。

合成画像データメモリ２７には、前記マーク付き撮影画像データメモリ２６に生成記憶されたマーク付き撮影画像データＧｍに基づき、前記画像処理プログラムに従い生成された合成画像データＧＧ（図１（Ｂ）参照）が記憶される。
なお、前記構成のデジタルカメラ１０は、当該デジタルカメラ１０自体により動画撮影される撮影画像データＧに基づいて、前記マーク付き撮影画像データＧｍ（図１（Ａ）参照）をリアルタイムに生成表示し、この後に当該マーク付き撮影画像データＧｍから前記合成画像データＧＧ（図１（Ｂ）参照）を生成して表示あるいは外部に出力するものである。これに対し、前記デジタルカメラ１０が有する撮影機能以外の前記動画撮影された撮影画像データＧからマーク付き撮影画像データＧｍ（図１（Ａ）参照）を生成し、このマーク付き撮影画像データＧｍから合成画像データＧＧ（図１（Ｂ）参照）を生成するための各種の機能を、通信ネットワークＮ上のサーバ装置３０に備えさせ、通信機能付きのデジタルカメラ（通信端末Ａ）１０′やＰＣ（通信端末Ｂ）４０から転送された動画撮影データＧに基づき、当該サーバ装置３０が前記マーク付き撮影画像データＧｍおよび合成画像データＧＧを生成し、前記各通信端末（Ａ）１０′，（Ｂ）４０に応答配信してサービスを提供する構成としてもよい。

図７は、本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図である。
このサーバ装置３０は、コンピュータであるＣＰＵ３１を備えている。
ＣＰＵ３１は、メモリ３２に予め記憶されたシステムプログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体３３から光ディスクドライブなどの記録媒体読取部３４を介して前記メモリ３２に読み込まれたサーバ制御プログラムに従い回路各部の動作を制御する。

ＣＰＵ３１には、前記メモリ３２、記録媒体読取部３４が接続される他に、通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との間でデータの電送制御を行うための電送制御部３５、キーボード・マウスなどの入力部３６、ＬＣＤ表示部３７が接続される。

前記メモリ３２のプログラムメモリ３２Ａには、本サーバ装置３０の全体の動作を司るシステムプログラム、通信ネットワークＮ上の各通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０との通信動作を司る通信制御プログラムが記憶されると共に、当該外部の各通信端末Ａ１０′，Ｂ４０から転送された動画撮影画像データＧに基づいて、前述したデジタルカメラ１０と同様にマーク付き撮影画像Ｇｍや合成画像ＧＧを生成したり出力（配信）したりするための前記図１を参照して説明した各種の機能を司る画像処理プログラムが予め記憶される。

そして、前記プログラムメモリ３２Ａに記憶された各種のプログラムは、入力部３６からの入力信号、電送制御部３５を介した外部の各通信端末Ａ１０′，Ｂ４０からの受信入力信号に応じて起動される。
また、前記メモリ３２には、前記図１〜図６を参照して説明したデジタルカメラ１０におけるそれと略同一のデータ内容である、変身データメモリ３２Ｂ、特殊効果データメモリ３２Ｃ、破壊データメモリ３２Ｄ、変身役柄データメモリ３２Ｅ、撮影画像データメモリ３２Ｆ、マーク付き撮影画像データメモリ３２Ｇ、合成画像データメモリ３２Ｈ、およびその他の作業用データメモリなどが備えられる。

これにより、サーバ装置３０では、通信ネットワークＮに接続された通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０から転送された動画撮影画像データＧに基づき、前記同様のマーク付き撮影画像データＧｍ（図１（Ａ）参照）および合成画像データＧＧ（図１（Ｂ）参照）を生成すると共に、前記撮影画像データＧの転送元である各通信端末Ａ１０′，Ｂ４０に応答配信してサービスを提供できる。

次に、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置の動作について説明する。
図８は、前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャートである。
図９は、前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｍ，Ｋ）・物体（Ａ，Ｂ，Ｃ）の対象画像を抽出する対象画像抽出処理を示すフローチャートである。

図１０は、前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ，Ｍ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャートである。
図１１は、前記合成画像出力処理に伴い抽出された物体画像（Ａ，Ｂ，Ｃ）に破壊マーク（１５Ｍ，１５Ｍ′）を付加すると共に対応音声（１５Ｓ）を出力する破壊マーク処理を示すフローチャートである。

図１２は、前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャートである。
図１３は、前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャートである。

図１４は、前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャートである。

図１５は、前記合成画像出力処理に伴い破壊マーク（１５Ｍ，１５Ｍ′）の付加された物体画像（Ａ，Ｂ）を破壊画像（１５Ｇ）に置き換え合成すると共に対応音声（１５Ｓ）の出力を設定する破壊マーク合成処理を示すフローチャートである。
図１６は、前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャートである。

図１７〜図２５は、前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送り（その１）〜（その９）にして示す図であり、同図（Ａ）は撮影画像Ｇを示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍを示す図、同図（Ｃ）は合成画像ＧＧを示す図である。

前記図８における合成画像出力処理のステップＳ１〜Ｓ３の処理は、前記図１７（Ａ）〜図２５（Ａ）に示すように、動画撮影される各コマの撮影画像（Ｇ）が取得されるのに伴い繰り返し実行され、前記図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像（Ｇｍ）が生成出力される。

そして、前記図８における合成画像出力処理のステップＳ４〜Ｓ７の処理は、前記図１７（Ｂ）〜図２５（Ｂ）に示すように生成された一連のマーク付き撮影画像（Ｇｍ）に基づき実行され、前記図１７（Ｃ）〜図２５（Ｃ）に示すような合成画像（ＧＧ）が生成出力される。

なお、ここでは前記デジタルカメラ１０（図２参照）において図８における合成画像出力処理を実行した場合を主体にして説明し、前記サーバ装置３０（図７参照）において同合成画像出力処理を実行した場合については、略同じ処理内容となるためその説明を省略する。

デジタルカメラ１０の画像撮影部１３により、例えば図１７（Ａ）〜図２５（Ａ）で示すように親子によって演じられる一連のシーンが撮影されると、その撮影画像Ｇ１〜Ｇ９は順次撮影画像データメモリ２５に記憶され保存され（ステップＳ１）、リアルタイムで図９における対象画像抽出処理へ移行される（ステップＳＡ）。

この対象画像抽出処理は、２通りの方式があり、図９（Ａ）に示す対象画像抽出処理（方式１）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎが作業用メモリに一時転送記憶され（ステップＡ１１）、前回の撮影画像データＧｎ−１と今回の撮影画像データＧｎとの画像の変化部分がブロック化されて抽出される（ステップＡ１２）。

すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ１３）。
一方、図９（Ｂ）に示す対象画像抽出処理（方式２）では、前記撮影画像データメモリ２５に順次保存される撮影画像データＧｎの付加情報である前記画像撮影部２１の距離センサにより取得された被写体までの距離情報が読み出され（ステップＡ２１）、その中で近距離に存在する画像部分がブロック化されて抽出される（ステップＡ２２）。

すると、前記撮影画像データＧｎ上でブロック化された位置情報が、人物や物体である対象画像の位置情報となり、当該撮影画像データＧｎの付加情報として前記撮影画像データメモリ２５に記憶される（ステップＡ２３）。
すなわち、図９（Ｂ）で示した対象画像抽出処理（方式２）は、撮影画像データＧｎの付加情報として被写体までの距離情報が必要になるため、デジタルカメラ１０での処理に適し、また、図９（Ａ）で示した対象画像抽出処理（方式１）は、逆に前記撮影画像データＧｎにおける被写体までの距離情報を必要としないので、サーバ装置３０での処理に適している。

このように、前記対象画像抽出処理（ステップＳＡ）により、撮影画像データＧｎの中に存在する人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）が抽出されると、図１０における役柄変身マーク処理へ移行される（ステップＳＢ）。
この役柄変身マーク処理では、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記変身役柄データメモリ２４（図６参照）にユーザ登録された変身対象（顔）画像データ２４Ｔとしての人物画像（ＰやＭ）が含まれるか否かが前記顔画像認識処理を用いて識別される（ステップＢ１）。

ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、変身対象（顔）画像データ２４Ｔとしての父親の人物画像Ｐが含まれていることが識別されると（ステップＢ１（Ｙｅｓ））、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている怪獣Ａの変身マークデータ２４Ｍｗ１が読み出されると共に、前記識別された父親の人物画像Ｐの顔画像認識された位置に対応して付加され、図１７（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ１〜Ｇｍ９として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＢ２）。

なお、前記登録された人物画像Ｐの顔画像の位置に対応付加される変身マークデータ２４Ｍｗ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＢ３（Ｙｅｓ））、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている音声データ「ガオー」２４Ｓｗ１が読み出され、同図１７（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＢ４）。

すると次に、図１１における破壊マーク処理へ移行される（ステップＳＣ）。
この破壊マーク処理では、まず、前記対象画像抽出処理により抽出された撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記破壊データメモリ１５（図５参照）に予め記憶された破壊対象画像データ１５Ｔとしての物体画像（ＡやＢやＣ）が含まれるか否かが画像認識処理により識別される（ステップＣ１）。

ここで、図１７（Ａ）〜図２５（Ａ）の撮影画像データＧ１〜Ｇ９にそれぞれ示すように、破壊対象画像データ１５Ｔとしてのビール瓶Ａ１や紙飛行機Ｂの物体画像が含まれていることが識別されると（ステップＣ１（Ｙｅｓ））、当該識別されたビール瓶Ａ１や紙飛行機Ｂの物体画像は破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＣ２）。

ここで、例えば図１７（Ａ）におけるビール瓶Ａ１あるいは図１８（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＣ２（Ｎｏ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂが読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１７（Ｂ）あるいは図１８（Ｂ）に示すようなマーク付き撮影画像データＧｍ１，Ｇｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ３）。

なお、前記破壊対象の各物体画像Ａ１，Ｂの位置に対応付加される破壊（前）マークデータ１５Ｍａ，１５Ｍｂは、当該各物体画像Ａ１，Ｂに重ねて付加されるか、または当該各物体画像Ａ１，Ｂの近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ４（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（前）画像データ１５Ｇｂ１の音声データ「ビューン」１５Ｓｂ１が読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ５）。

すると、前記ステップＣ３において付加表示された塔や飛行機の破壊（前）マークデータ１５Ｍａ，１５Ｍｂに対応する部分であるビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データ（物体画像）の位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定され（ステップＣ６）、他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＣ７）。

ここで、例えば図１８（Ａ）の撮影画像データＧ２におけるビール瓶Ａ１の物体画像と父親の人物画像Ｐとの接触状態、あるいは図１９（Ａ）の撮影画像データＧ３における紙飛行機Ｂの物体画像と同父親の人物画像Ｐとの接触状態において示すように、前記特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触したと判断された場合には（ステップＣ７（Ｙｅｓ））、当該接触判断された他の抽出画像部分が前記役柄変身マーク処理（ステップＳＢ）にて変身マークデータ２４Ｍｗの付加された人物画像の部分であるか否か判断される（ステップＣ８）。

この場合、前記接触判断された他の抽出画像部分は、怪獣Ａの変身マークデータ２４Ｍｗ１が付加された父親Ｐの人物画像部分であると判断されるので（ステップＣ８（Ｙｅｓ））、図１８（Ｂ）に示すように、ビール瓶Ａ１の破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている塔の破壊（後）マークデータ１５Ｍａ′が読み出されて付加され、マーク付き撮影画像データＧｍ２として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。また同様に、図１９（Ｂ）に示すように、紙飛行機Ｂの破壊対象画像データに対応する位置には、前記破壊データメモリ１５に対応付けられて記憶されている飛行機の破壊（後）マークデータ１５Ｍｂ′が読み出されて付加され、マーク付き撮影画像データＧｍ３として作業用データメモリに一時保存されると共に表示部１１に表示される（ステップＣ９）。

そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＣ１０（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊（中）画像データ１５Ｇａ２の音声データ「グシャ」１５Ｓａが読み出され、同図１８（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。また同様に、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊（中）画像データ１５Ｇｂ２の音声データ「ドカーン」１５Ｓｂ２が読み出され、同図１９（Ｂ）に示すように音声出力部１３から出力される（ステップＣ１１）。このように破壊中データの音声データ「グシャ」「ドカーン」等により、破壊の合成画像処理が適切に行われていることが、演技者（父親Ｐ等）により容易に聴覚的に認識することができる。

この後、当該破壊マーク処理における前記ステップＣ２において、例えば図１９（Ａ）〜図２５（Ａ）におけるビール瓶Ａ１、あるいは図２０（Ａ）〜図２５（Ａ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＣ２（Ｙｅｓ））、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔と飛行機の破壊（後）マークデータ１５Ｍａ′，１５Ｍｂ′が読み出されると共に、前記各物体画像Ａ１，Ｂの位置に対応して付加され、図１９（Ｂ）〜図２５（Ｂ）あるいは図２０（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ３〜Ｇｍ９あるいはＧｍ４〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＣ１２）。

すると次に、図１２におけるモーション変身マーク処理へ移行される（ステップＳＤ）。
このモーション変身マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃや初代○○マンの一連の変身モーションモデルデータ１４Ｐ２ａ〜１４Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＤ１）。

ここで、図２０（Ａ）〜図２２（Ａ）の撮影画像データＧ４〜Ｇ６に順次示すように、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記変身データメモリ１４（図３参照）に予め記憶された○○マンＡの一連の変身モーションモデルデータ１４Ｐ１ａ〜１４Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＤ１（Ｙｅｓ））、当該変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの変身マークデータ１４Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの顔画像認識された位置に対応して付加され、図２２（Ｂ）〜図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ６〜Ｇｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＤ２）。

なお、前記モーション検出された人物画像Ｋの顔画像の位置に対応付加される変身マークデータ１４Ｍｕ１は、当該顔画像に重ねて付加されるか、または当該顔画像の近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＤ３（Ｙｅｓ））、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの音声データ「シュワッチ」１４Ｓｕ１が読み出され、同図２２（Ｂ）〜図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＤ４）。

すると次に、図１３における特殊効果マーク処理へ移行される（ステップＳＥ）。
この特殊効果マーク処理では、前記対象画像抽出処理により抽出される一連の撮影画像データＧｎの中の人物画像（Ｐ，Ｋ）や物体画像（Ａ，Ｂ）について、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃや特殊効果Ｂの一連の変身モーションモデルデータ２３Ｐ２ａ〜２３Ｐ２ｃと一致する画像部分が検出されたか否か判断される（ステップＥ１）。

ここで、図２３（Ａ）〜図２５（Ａ）の撮影画像データＧ７〜Ｇ９に順次示すように、前記対象画像抽出処理により抽出される一連の子供の人物画像Ｋについて、前記特殊効果データメモリ２３（図４参照）に予め記憶された特殊効果Ａの一連の変身モーションモデルデータ２３Ｐ１ａ〜２３Ｐ１ｃと身振りが一致する画像部分であると検出されると（ステップＥ１（Ｙｅｓ））、当該特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が読み出されると共に、前記モーション検出された子供の人物画像Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて付加され、図２５（Ｂ）に示すようなマーク付き撮影画像データＧｍ９として作業用データメモリに一時保存され表示部１１に表示される（ステップＥ２）。

なお、前記モーション検出された人物画像Ｋの所定位置に対応付加される特殊効果マークデータ２４Ｍｕ１は、当該人物画像Ｋに重ねて付加されるか、または当該人物画像Ｋの近傍に付加されるかの何れであってもよい。
そして、現在デジタルカメラ１０による撮影中にあると判断された場合には（ステップＥ３（Ｙｅｓ））、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、同図２５（Ｂ）に示すように音声出力部１３から出力される（ステップＥ４）。

すると、前記図１７（Ｂ）〜図２５（Ｂ）で示したように、前記ステップＳＡ〜ＳＥの処理に従い作業用データメモリ上に生成されたマーク付きの連続した撮影画像データＧｍ１〜Ｇｍ９がマーク付き撮影画像データメモリ２６に記憶され保存される（ステップＳ２）。

そして、画像撮影部２１からの一連の撮影画像データＧ１〜Ｇ９の撮影入力が終了したと判断されると（ステップＳ３（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６に生成保存された一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９に基づく合成画像の生成処理に進むか否か判断される（ステップＳ４）。

ここで、入力部１２に対する合成画像生成のためのユーザ操作に応じて、あるいは前記一連の撮影画像データの取得終了に伴い自動的に、合成画像の生成処理に進むと判断されると（ステップＳ４（Ｙｅｓ））、前記マーク付き撮影画像データメモリ２６から前記一連のマーク付き撮影画像データＧｍ１〜Ｇｍ９が作業用メモリに読み出され、図１４における変身マーク合成処理へ移行される（ステップＳＦ）。

この変身マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記変身役柄データメモリ２４（図６参照）に予め記憶されている変身マークデータ２４Ｍｗや前記変身データメモリ１４（図３参照）に予め記憶されている変身マークデータ１４ｍｕが付加された画像が含まれているか否か判断される（ステップＦ１）。

ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように怪獣Ａの変身マークデータ２４Ｍｗ１が付加された画像、また、図２２（Ｂ）〜図２５（Ｂ）で示すように○○マンＡの変身マークデータ１４Ｍｕ１が付加された画像が存在すると判断された場合には（ステップＦ１（Ｙｅｓ））、当該各変身マークデータ２４Ｍｗ１，１４Ｍｕ１が対応付加されている該マーク近傍の人物画像Ｐ，Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＦ２）。

すると、前記特定された人物画像Ｐ，Ｋがモーションキャプチャ処理され、変身役柄データメモリ２４（図６参照）に記憶されている前記怪獣Ａの変身マークデータ２４Ｍｗ１に対応するところの変身（１）画像データ２４Ｇｗ１、変身データメモリ１４（図３参照）に記憶されている前記○○マンＡの変身マークデータ１４Ｍｕ１に対応するところの変身画像データ１４Ｇｕ１に基づき、図１７（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（父親）Ｐと同じポーズ（姿勢）の怪獣Ａの変身画像データ２４Ｇｗ１、図２２（Ｃ）〜図２５（Ｃ）に示すように当該人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＡの変身画像データ１４Ｇｕ１にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１〜ＧＧ９，ＧＧ６〜ＧＧ９が生成される（ステップＦ３）。

なおこの際、前記図２２（Ｃ）の矢印ｘで示すように、人物画像（子供）Ｋと同じポーズ（姿勢）の○○マンＡの変身画像データ１４Ｇｕ１は拡大処理されて置き換え合成される。
そして、前記変身役柄データメモリ２４（図６参照）に対応付けられて記憶されている怪獣Ａの音声データ「ガオー」２４Ｓｗ１が読み出され、前記図１７（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ１〜ＧＧ９に対応付けられて保存され、また、前記変身データメモリ１４（図３参照）に対応付けられて記憶されている○○マンＡの音声データ「シュワッチ」１４Ｓｕ１が読み出され、前記図２２（Ｃ）〜図２５（Ｃ）に示すように生成された合成画像ＧＧ６〜ＧＧ９に対応付けられて保存される（ステップＦ４）。

すると次に、図１５における破壊マーク合成処理へ移行される（ステップＳＧ）。
この破壊マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記破壊データメモリ１５（図５参照）に予め記憶されている破壊（前）マークデータ１５Ｍや破壊（後）マークデータ１５Ｍ′が付加された画像が含まれているか否か判断される（ステップＧ１）。

ここで、図１７（Ｂ）〜図２５（Ｂ）で示すように塔の破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′が付加された画像、また、図１８（Ｂ）〜図２５（Ｂ）で示すように飛行機の破壊（前／後）マークデータ１５Ｍｂ／１５Ｍｂ′が付加された画像が存在すると判断された場合には（ステップＧ１（Ｙｅｓ））、当該各破壊（前／後）マークデータ１５Ｍａ／１５Ｍａ′や１５Ｍｂ／１５Ｍｂ′が対応付加されている該マーク近傍の破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＧ２）。

そして、前記特定された破壊対象画像データ（ビール瓶）Ａ１，（紙飛行機）Ｂの位置が、前記対象画像抽出処理（ステップＳＡ）により抽出されている他の対象画像抽出ブロックの画像部分と接触したか否か判断される（ステップＧ３）。
ここで、例えば図１７（Ｂ）のマーク付き撮影画像データＧｍ１における破壊対象画像データ（ビール瓶）Ａ１、あるいは図１８（Ｂ）のマーク付き撮影画像データＧｍ２における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合には（ステップＧ３（Ｎｏ））、該特定されたビール瓶Ａ１や紙飛行機Ｂの破壊対象画像データは破壊後の状態にあるか否かが、当該各物体画像（Ａ１，Ｂ）が転倒状態や反転状態にあるか否かの画像認識によって判断される（ステップＧ４）。

ここで、例えば図１７（Ｂ）におけるビール瓶Ａ１あるいは図１８（Ｂ）における紙飛行機Ｂで示すように、その各物体画像Ａ１，Ｂは転倒状態や反転状態にないと画像認識されて破壊後の状態ではないと判断された場合には（ステップＧ４（Ｎｏ））、その特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１７（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（前）マークデータ１５Ｍａに対応するところの破壊（前）画像データ１５Ｇａ１、あるいは図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（前）マークデータ１５Ｍｂに対応するところの破壊（前）画像データ１５Ｇｂ１にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ１，ＧＧ２が生成される（ステップＧ５）。

そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている飛行機の破壊前音声データ「ビューン」１５Ｓｂ１が読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存される（ステップＧ６）。
一方、例えば図１８（Ｂ）のマーク付き画像データＧｍ２における破壊対象画像データ（ビール瓶）Ａ１と人物画像（父親）Ｐとの接触状態、あるいは図１９（Ｂ）のマーク付き撮影画像データＧｍ３における破壊対象画像データ（紙飛行機）Ｂと人物画像（父親）Ｐとの接触状態において示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の動作中の抽出画像部分と接触したと判断された場合には（ステップＧ３（Ｙｅｓ））、さらに、変身マーク付きの画像部分と接触したか否かが判別される。（ステップＧ７）。そして、変身マーク付きの画像部分と接触が検知された場合には、破壊対象画像として特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データが、図１８（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（中）画像データ１５Ｇａ２、あるいは図１９（Ｃ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（中）画像データ１５Ｇｂ２にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ２，ＧＧ３が生成される（ステップＧ８）。
なお、ステップＧ７で、変身マーク付きの画像部分と接触したか否かが判別されるが、この変身マークには、変身データ記憶手段（図３の１４）に記憶された身振りのモデルデータと身振りが一致する人物画像を検出してその人物画像に変身マークをつけた場合（図８のＳＤ）と、顔変身データ記憶手段に記憶された顔画像が一致する人物画像を検出してその人物画像に変身マークをつけた場合（図８のＳＢ）がある。このように変身マークをつけた抽出画像部分との接触のみに応じて、破壊マークをつけるようにすることで、単に動いている画像部分と破壊対象画像がたまたま画面上重なった場合を排除して、変身マークをつけた人物との接触に限定して、適切に破壊画像を生成することができる。

そして、前記破壊データメモリ１５（図５参照）に対応付けられて記憶されている塔の破壊音データ「グシャ」１５Ｓａが読み出され、前記図１８（Ｃ）に示すように生成された合成画像ＧＧ２に対応付けられて保存され、また飛行機の破壊音データ「ドカーン」１５Ｓｂ２が読み出され、前記１９（Ｃ）に示すように生成された合成画像ＧＧ３に対応付けられて保存される（ステップＧ９）。

一方、例えば図１９（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ３〜Ｇｍ９における破壊対象画像データ（ビール瓶）Ａ１、あるいは図２０（Ｂ）〜図２５（Ｂ）のマーク付き撮影画像データＧｍ４〜Ｇｍ９における破壊対象画像データ（紙飛行機）Ｂにおいて示すように、当該特定された破壊対象画像データ（Ａ１やＢ）の位置が、他の抽出画像部分と接触してないと判断された場合であっても（ステップＧ３（Ｎｏ））、その各破壊対象画像データＡ１，Ｂは転倒状態や反転状態にあると画像認識されて破壊後の状態であると判断された場合には（ステップＧ４（Ｙｅｓ））、当該特定されたビール瓶Ａ１あるいは紙飛行機Ｂの破壊対象画像データは、同図１９（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記塔の破壊（後）マークデータ１５Ｍａ′に対応するところの破壊（後）画像データ１５Ｇａ３、あるいは同図２０（Ｂ）〜図２５（Ｂ）に示すように破壊データメモリ１５（図５参照）に記憶されている前記飛行機の破壊（後）マークデータ１５Ｍｂ′に対応するところの破壊（後）画像データ１５Ｇｂ３にそれぞれ予め設定された背景画像ＢＧ上で置き換えられて合成され、合成画像データＧＧ３〜ＧＧ９あるいはＧＧ４〜ＧＧ９が生成される（ステップＧ１０）。

すると次に、図１６における特殊効果マーク合成処理へ移行される（ステップＳＨ）。
この特殊効果マーク合成処理では、まず、前記マーク付き撮影画像データメモリ２６から作業用メモリに読み出されたマーク付き撮影画像データＧｍ１〜Ｇｍ９について、前記特殊効果データメモリ２３（図４参照）に予め記憶されている特殊効果マークデータ２３Ｍｕが付加された画像が含まれているか否か判断される（ステップＨ１）。

ここで、図２５（Ｂ）で示すように特殊効果Ａの特殊効果マークデータ２３Ｍｕ１が付加された画像Ｇｍ９が存在すると判断された場合には（ステップＨ１（Ｙｅｓ））、当該特殊効果マークデータ２３Ｍｕ１が対応付加されている該マーク近傍の人物画像（子供）Ｋの位置が、前記対象画像抽出処理（ステップＳＡ）により撮影画像データＧｎの付加情報として得られているブロックの位置情報から特定される（ステップＨ２）。

すると、前記特殊効果データメモリ２３（図４参照）の特殊効果マークデータ２３Ｍｕ１に対応付けられて記憶されている特殊効果画像データ２３Ｇｕ１が読み出され、前記特定された人物画像（子供）Ｋの所定位置（例えば画像上部から３分の１の位置）に対応して前記怪獣Ａの変身マークデータ２４Ｍｗ１が付加されている人物画像（父親）Ｐの方向へ向けて追加合成され、合成画像データＧＧ９が生成される（ステップＨ３）。

さらに、前記人物画像（子供）Ｋの所定位置に追加合成された特殊効果画像データ２３Ｇｕ１は、その先端部の爆発効果画像部分２３Ｇｕ１′が前記人物画像（父親）Ｐに対応する怪獣Ａの変身（１）画像データ２４Ｇｗ１に到達する位置まで延長されて追加合成され、合成画像データＧＧ９が生成される（ステップＨ４）
そして、前記特殊効果データメモリ２３（図４参照）に対応付けられて記憶されている特殊効果Ａの音声データ「ビビビビー」２３Ｓｕ１が読み出され、前記図２５（Ｃ）に示すように生成された合成画像ＧＧ９に対応付けられて保存される（ステップＨ５）。

すると、前記図１７（Ｃ）〜図２５（Ｃ）で示したように、前記ステップＳＦ〜ＳＨの処理に従い作業用データメモリ上に生成された一連の合成画像データＧＧ１〜ＧＧ９が合成画像データメモリ２７に記憶され保存される（ステップＳ６）。
そして、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が、前記図１７（Ｃ）〜図２５（Ｃ）で示すように、表示部１１により再生表示されると共に音声出力部１３により再生出力される（ステップＳ７）。なお、本合成画像出力装置がサーバ装置３０（図７参照）として構成されている場合には、前記ステップＳ１において受信された一連の撮影画像データＧ１〜Ｇ９の送信元である通信ネットワークＮ上の通信端末Ａ（デジタルカメラ）１０′や通信端末Ｂ（ＰＣ）４０に対して、前記合成画像データメモリ２７に記憶された一連の合成画像データ（対応付けられた音声データを含む）ＧＧ１〜ＧＧ９が読み出されて応答送信される（ステップＳ７）。

したがって、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、画像撮影部２１により動画撮影された一連の撮影画像データＧｎが入力されると、当該撮影画像データＧｎに含まれるビール瓶（Ａ１）や紙飛行機（Ｂ）の各破壊対象画像の有無が検出される。そして、撮影画像データＧｎに含まれる各破壊対象画像（Ａ１、Ｂ）が検出されると、検出された破壊対象画像を破壊前画像に置き換えた破壊前合成画像が生成され、さらに破壊対象画像が、撮影画像中の他の動作中の人等の画像部分（Ｐ）と接触したことが検出され破壊対象画像を一連の破壊画像に置き換えた破壊中合成画像が生成されて、これらを含む一連の合成画像データが出力されるので、撮影場所に破壊対象画像であるビール瓶（Ａ１）や紙飛行機（Ｂ）をセットして、ビール瓶（Ａ１）や紙飛行（Ｂ）に人が接触することで、動画撮影された画像についての、物体の破壊画像との合成を容易かつ効果的に行うことができる。この際、破壊中データの音声データ「グシャ」「ドカーン」等が音声出力されるので、破壊の合成画像処理が適切に行われていることが、演技者（父親Ｐ等）により容易に聴覚的に認識することができる。

よって、動画撮影動画撮影された画像について、物体の破壊画像との合成を容易かつ効果的に行うことができる。
これにより、例えばユーザ家族において子供をヒーロー役にした動画撮影を行えば、容易に特撮風の破壊画像を含む合成動画像ＧＧｎを作ることができ、当該生成された合成動画像ＧＧｎを表示部１１に出力表示させて見たり、外部のモニタに出力表示させて見たりすることで、これまでにない楽しみを得ることができる。

また、前記構成のデジタルカメラ１０あるいはサーバ装置３０による合成画像出力装置によれば、予め設定された破壊対象画像を検出して、これに対応する破壊前画像や破壊中画像を置き換え合成した合成画像ＧＧｎを生成した際には、前記破壊データメモリ１５に記憶されている当該破壊データ１５Ｇａ２の音声データ「グシャ」１５Ｓａを、前記合成画像ＧＧｎに対応付けて保存し出力させるので、容易且つよりリアルに特撮風の合成動画像ＧＧｎを作ることができる。

なお、前記実施形態において記載した合成画像出力装置による各処理の手法、すなわち、図８のフローチャートに示す合成画像出力処理、図９のフローチャートに示す前記合成画像出力処理に伴う対象画像抽出処理、図１０のフローチャートに示す前記合成画像出力処理に伴う役柄変身マーク処理、図１１のフローチャートに示す前記合成画像出力処理に伴う破壊マーク処理、図１２のフローチャートに示す前記合成画像出力処理に伴うモーション変身マーク処理、図１３のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク処理、図１４のフローチャートに示す前記合成画像出力処理に伴う変身マーク合成処理、図１５のフローチャートに示す前記合成画像出力処理に伴う破壊マーク合成処理、図１６のフローチャートに示す前記合成画像出力処理に伴う特殊効果マーク合成処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体１８（３３）に格納して配布することができる。そして、変身データ１４（３２Ｂ）、特殊効果データ２３（３２Ｃ）、破壊データ１５（３２Ｄ）、変身役柄データ２４（３２Ｅ）をメモリ１７（３２）に記憶した種々のコンピュータ端末は、この外部記憶媒体１８（３３）に記憶されたプログラムをプログラムメモリ２２（３２Ａ）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末（プログラムサーバ）から前記のプログラムデータを取り込み、前述した動画撮影画像データＧｎからの変身画像を用いた合成画像ＧＧｎの作成・出力機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明の合成画像出力装置の実施形態に係るデジタルカメラ１０を利用した動画像の撮影状態と合成画像の生成状態を示す概念図。 前記デジタルカメラ１０（通信端末Ａ）の電子回路の構成を示すブロック図。 前記デジタルカメラ１０の変身データメモリ１４に予め記憶される変身データの内容を示す図。 前記デジタルカメラ１０の特殊効果データメモリ２３に予め記憶される特殊効果データの内容を示す図。 前記デジタルカメラ１０の破壊データメモリ１５に予め記憶される破壊データの内容を示す図。 前記デジタルカメラ１０の変身役柄データメモリ２４に記憶される変身役柄データの内容を示す図。 本発明の合成画像出力装置の実施形態に係るサーバ装置３０の電子回路の構成を示すブロック図。 前記合成画像出力装置による合成画像出力処理の全体過程を示すフローチャート。 前記合成画像出力処理に伴い撮影画像（Ｇ）中に存在する人物（Ｐ，Ｍ，Ｋ）・物体（Ａ，Ｂ，Ｃ）の対象画像を抽出する対象画像抽出処理を示すフローチャート。 前記合成画像出力処理に伴い役柄登録された人物画像（Ｐ，Ｍ）に変身マーク（２４Ｍｗ）を付加する役柄変身マーク処理を示すフローチャート。 前記合成画像出力処理に伴い抽出された物体画像（Ａ，Ｂ，Ｃ）に破壊マーク（１５Ｍ，１５Ｍ′）を付加すると共に対応音声（１５Ｓ）を出力する破壊マーク処理を示すフローチャート。 前記合成画像出力処理に伴い変身モーション（１４Ｐ）の検出された人物画像（Ｋ）に変身マーク（１４Ｍｕ）を付加すると共に対応音声（１４Ｓｕ）を出力するモーション変身マーク処理を示すフローチャート。 前記合成画像出力処理に伴い特殊効果モーション（２３Ｐ）の検出された人物画像（Ｋ）に特殊効果マーク（２３Ｇｕ）を付加すると共に対応音声（２３Ｓｕ）を出力する特殊効果マーク処理を示すフローチャート。 前記合成画像出力処理に伴い変身マーク（２４Ｍｗ）（１４Ｍｕ）の付加された人物画像（Ｐ）（Ｋ）を変身画像（２４Ｇｗ）（（１４Ｇｕ）に置き換え合成すると共に対応音声（２４Ｓｗ）（１４Ｓｕ）の出力を設定する変身マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴い破壊マーク（１５Ｍ，１５Ｍ′）の付加された物体画像（Ａ，Ｂ）を破壊画像（１５Ｇ）に置き換え合成すると共に対応音声（１５Ｓ）の出力を設定する破壊マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴い特殊効果マーク（２３Ｇｕ）の付加された人物画像（Ｋ）の所定位置に特殊効果画像２３Ｇｕを追加合成すると共に対応音声（２３Ｓｕ）の出力を設定する特殊効果マーク合成処理を示すフローチャート。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その１）であり、同図（Ａ）は撮影画像Ｇ１を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ１を示す図、同図（Ｃ）は合成画像ＧＧ１を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その２）であり、同図（Ａ）は撮影画像Ｇ２を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ２を示す図、同図（Ｃ）は合成画像ＧＧ２を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その３）であり、同図（Ａ）は撮影画像Ｇ３を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ３を示す図、同図（Ｃ）は合成画像ＧＧ３を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その４）であり、同図（Ａ）は撮影画像Ｇ４を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ４を示す図、同図（Ｃ）は合成画像ＧＧ４を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その５）であり、同図（Ａ）は撮影画像Ｇ５を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ５を示す図、同図（Ｃ）は合成画像ＧＧ５を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その６）であり、同図（Ａ）は撮影画像Ｇ６を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ６を示す図、同図（Ｃ）は合成画像ＧＧ６を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その７）であり、同図（Ａ）は撮影画像Ｇ７を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ７を示す図、同図（Ｃ）は合成画像ＧＧ７を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その８）であり、同図（Ａ）は撮影画像Ｇ８を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ８を示す図、同図（Ｃ）は合成画像ＧＧ８を示す図。 前記合成画像出力処理に伴う動画撮影画像（Ｇ）に基づいた画像処理状態を順次代表的なコマ送りにして示す図（その９）であり、同図（Ａ）は撮影画像Ｇ９を示す図、同図（Ｂ）はマーク付き撮影画像Ｇｍ９を示す図、同図（Ｃ）は合成画像ＧＧ９を示す図。

符号の説明

１０ …デジタルカメラ（通信端末Ａ）
１１（３７）…表示部
１２（３６）…入力部
１３ …音声出力部
１４（３２Ｂ）…変身データメモリ
１４Ｐ…変身モーションモデルデータ
１４Ｇｕ…変身画像データ
１４Ｓｕ…変身音声データ
１４Ｍｕ…変身マークデータ
１５（３２Ｄ）…破壊データメモリ
１５Ｔ…破壊対象画像データ
１５Ｇ…破壊画像データ
１５Ｓ…破壊音声データ
１５Ｍ…破壊（前）マークデータ
１５Ｍ′…破壊（後）マークデータ
１６（３１）…ＣＰＵ
１７（３２）…メモリ
１８（３３）…外部記録媒体
１９（３４）…記録媒体読取部
２０（３５）…電送制御部
２１ …画像撮影部
２２（３２Ａ）…プログラムメモリ
２３（３２Ｃ）…特殊効果データメモリ
２３Ｐ…特殊効果モーションモデルデータ
２３Ｇｕ…特殊効果画像データ
２３Ｓｕ…特殊効果音声データ
２３Ｍｕ…特殊効果マークデータ
２４（３２Ｅ）…変身役柄データメモリ
２４Ｔ…変身対象（顔）画像データ
２４Ｇｗ…変身画像データ
２４Ｓｗ…変身音声データ
２４Ｍｗ…変身マークデータ
２４Ｈ …変身条件データ
２５（３２Ｆ）…撮影画像データメモリ
２６（３２Ｇ）…マーク付き撮影画像データメモリ
２７（３２Ｈ）…合成画像データメモリ
３０ …サーバ装置
４０ …通信端末Ｂ（ＰＣ）
Ｎ …通信ネットワーク（インターネット）
ＢＧ…背景画像データ
Ｇｎ…撮影画像データ
Ｇｍｎ…マーク付き撮影画像データ
ＧＧｎ…合成画像データ
Ｐ …人物画像（父親）
Ｋ …人物画像（子供）
Ｍ …人物画像（母親）
Ａ１…物体画像（ビール瓶）
Ａ２…物体画像（ペットボトル）
Ｂ …物体画像（紙飛行機）
Ｃ …物体画像（ティッシュボックス）

Claims (5)

1. 予め設定された破壊対象画像と、破壊前画像と一連の破壊画像とを対応付けて記憶する破壊データ記憶手段と、
   動画撮影された一連の撮影画像データを取得する撮影画像取得手段と、
   この撮影画像取得手段により取得された一連の撮影画像データのうちから、前記破壊対象画像を検出する破壊対象検出手段と、
   この破壊対象検出手段により検出された破壊対象画像を破壊前画像に置き換えた破壊前合成画像を生成する破壊前合成画像生成手段と、
   前記一連の撮影画像のうちから、前記検出された破壊対象画像が撮影画像中の他の動作中の画像部分と接触したことを検出する接触検出手段と、
   当該接触検出手段により接触が検出された際に、前記破壊対象画像を一連の破壊画像に置き換えた破壊中合成画像を生成する破壊中合成画像生成手段と、
   前記破壊前合成画像生成手段により生成された破壊前合成画像と、前記破壊中合成画像生成手段により生成された破壊中合成画像と、を含む一連の合成画像データを出力する合成画像出力手段と、
   を有する合成画像出力装置。
2. 前記破壊データ記憶手段は、予め設定された破壊対象画像と、破壊前画像と一連の破壊画像と音声データとを対応付けて記憶し、
   前記接触検出手段により、撮影画像中の他の動作中の画像部分と接触したことが検出された際に、前記破壊データ記憶手段により記憶されている破壊中画像の音声データを読み出して出力させる音声出力制御手段をさらに備えたことを特徴とする請求項１に記載の合成画像出力装置。
3. 予め設定された身振りのモデルデータと変身キャラクタの画像データとを対応付けて記憶する身振変身データ記憶手段と、
   前記撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、
   この人物画像抽出手段により抽出された人物画像の中から、前記身振変身データ記憶手段により記憶されているモデルデータとその予め設定された身振りが一致する人物画像を検出する変身身振り検出手段と、
   を有し、
   前記接触検出手段は、前記撮影画像中の他の動作中の画像部分のうち、この変身身振り検出手段により検出された人物画像の画像部分が、前記破壊対象画像と接触したことを検知することを特徴とする請求項２に記載の合成画像出力装置。
4. 予め設定された顔画像と変身キャラクタの画像データとを対応付けて記憶する顔変身データ記憶手段と、
   前記撮影画像取得手段により取得された一連の撮影画像データの中から人物画像を抽出する人物画像抽出手段と、
   この人物画像抽出手段により抽出された人物画像の中から、前記顔変身データ記憶手段により記憶されている顔画像が一致する人物画像を検出する変身顔画像検出手段と、
   を有し、
   前記接触検出手段は、前記撮影画像中の他の動作中の画像部分のうち、この変身顔画像検出手段により検出された人物画像の画像部分が、前記破壊対象画像と接触したことを検知することを特徴とする請求項２に記載の合成画像出力装置。
5. コンピュータを、
   予め設定された破壊対象画像と、破壊前画像と一連の破壊画像とを対応付けて記憶する破壊データ記憶手段、
   動画撮影された一連の撮影画像データを取得する撮影画像取得手段、
   この撮影画像取得手段により取得された一連の撮影画像データのうちから、前記破壊対象画像を検出する破壊対象検出手段、
   この破壊対象検出手段により検出された破壊対象画像を破壊前画像に置き換えた破壊前合成画像を生成する破壊前合成画像生成手段、
   前記一連の撮影画像のうちから、前記検出された破壊対象画像が撮影画像中の他の動作中の画像部分と接触したことを検出する接触検出手段、
   当該接触検出手段により接触が検出された際に、前記破壊対象画像を一連の破壊画像に置き換えた破壊中合成画像を生成する破壊中合成画像生成手段、
   前記破壊前合成画像生成手段により生成された破壊前合成画像と、前記破壊中合成画像生成手段により生成された破壊中合成画像と、を含む一連の合成画像データを出力する合成画像出力手段、
   として機能させるようにしたコンピュータ読み込み可能な合成画像出力処理プログラム。

Images