JP2004355567A - 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム - Google Patents

画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム Download PDF

Info

Publication number
JP2004355567A
JP2004355567A JP2003155727A JP2003155727A JP2004355567A JP 2004355567 A JP2004355567 A JP 2004355567A JP 2003155727 A JP2003155727 A JP 2003155727A JP 2003155727 A JP2003155727 A JP 2003155727A JP 2004355567 A JP2004355567 A JP 2004355567A
Authority
JP
Japan
Prior art keywords
image
captured
unit
character
skeleton data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003155727A
Other languages
English (en)
Inventor
Takashi Koshiro
孝 湖城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2003155727A priority Critical patent/JP2004355567A/ja
Publication of JP2004355567A publication Critical patent/JP2004355567A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影画像に他の画像を合成して出力するための画像出力装置であって、単に固定的な画像を合成するのではなく、当該撮影画像中の物体(例えば人物)像に正確に対応した画像(例えばまね画像)を合成して出力する。
【解決手段】撮影画像12gnについて、まねキャラクタの種類A〜D及びその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し、当該撮影画像12gnに重ねて表示させると共に、設定フレーム内のまね対象部分(Tx/Ta)に任意の被写体画像Hnを合わせてシャッタ操作すると、まね対象部分に対応して抽出された被写体画像Hnの骨格に従い、前記選択設定したキャラクタ種類のパーツ画像メモリ12d〜12iに記憶されている各骨格に対応するパーツ画像が組み合わされて真似のキャラクタ画像が取得され、前記撮影画像12gnにおける被写体画像Hnとの置き換え又は追加により合成表示される。
【選択図】 図10

Description

【0001】
【発明の属する技術分野】
本発明は、デジタルカメラやカメラ付携帯端末などにおける撮影画像に応じた画像を合成して出力するための画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラムに関する。
【0002】
【従来の技術】
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。
【0003】
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。
【0004】
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。
【0005】
また、デジタルカメラにより撮影された画像の任意の領域(例えば顔の部分)を切り出し、この切り出し画像を予め用意されたアニメ画像(例えばアニメキャラクタの顔部分)に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている(例えば、特許文献1参照。)。
【0006】
【特許文献1】
特開2001−230972号公報
【0007】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。
【0008】
本発明は、前記のような問題に鑑みてなされたもので、撮影画像に対して単に固定的な画像を合成するのではなく、当該撮影画像中の物体(例えば人物)像に正確に対応した画像(例えばまね画像)を合成して出力することが可能になる画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明の請求項1に係る画像出力装置では、撮影画像取得手段によって一連の複数の撮影画像が取得され、この取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分が被写体画像として画像抽出手段によって抽出される。すると、この抽出された被写体画像に対応する身体の骨格データが骨格データ作成手段によって作成され、この作成された身体の骨格データに応じた対応画像が対応画像取得手段によって取得される。そして、この対応画像取得手段により取得された対応画像は前記撮影画像取得手段によって取得された撮影画像に対し画像合成手段によって合成され、この対応画像の合成された撮影画像が画像出力手段によって出力される。
【0010】
これによれば、撮影画像から取得された被写体画像の骨格データに応じたまね画像などの対応画像が取得され、この対応画像を前記撮影画像に合成して出力できることになる。
【0011】
本発明の請求項2に係る画像出力装置では、撮影画像についての抽出対象範囲と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段を有し、撮影画像取得手段によって一連の複数の撮影画像が取得され、この撮影画像について、前記合成形態画像記憶手段により記憶されている合成形態画像が合成形態画像選択手段によって選択される。すると、前記撮影画像取得手段によって取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分が被写体画像として画像抽出手段によって抽出され、前記合成形態画像選択手段によって選択された合成形態画像により示される前記撮影画像についての抽出対象範囲において前記画像抽出手段によって抽出された被写体画像に対応する身体の骨格データが骨格データ作成手段によって作成され、この作成された身体の骨格データに応じた対応画像が対応画像取得手段によって取得される。そして、この対応画像取得手段により取得された対応画像は前記合成形態画像選択手段によって選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段によって取得された撮影画像に対し画像合成手段によって合成され、この対応画像の合成された撮影画像が画像出力手段によって出力される。
【0012】
これによれば、撮影画像について選択した対象範囲の被写体画像の骨格データに応じたまね画像などの対応画像が取得され、この対応画像を、選択した画像の合成形態に応じて前記撮影画像に合成して出力できることになる。
【0013】
本発明の請求項3に係る画像出力装置では、前記請求項1または請求項2に係る画像出力装置にあって、前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、予め用意されたキャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得する。
【0014】
これによれば、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、予め用意されたキャラクタの構成パーツを組み合わせた画像として得ることができる。
【0015】
本発明の請求項4に係る画像出力装置では、前記請求項1または請求項2に係る画像出力装置にあって、さらに、前記骨格データ作成手段により作成された身体の骨格データを予め定められたキャラクタの身体の特徴に応じて修正する骨格データ修正手段が備えられ、前記対応画像取得手段は、前記骨格データ修正手段により修正された身体の骨格データに応じて、前記キャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得する。
【0016】
これによれば、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、予め定められたキャラクタの表現可能範囲内で当該キャラクタの構成パーツを組み合わせた画像として得ることができる。
【0017】
本発明の請求項5に係る画像出力装置では、前記請求項2に係る画像出力装置にあって、さらに、異なる種類のキャラクタそれぞれの身体を構成する複数のパーツの画像を記憶するパーツ画像記憶手段が備えられ、前記合成形態画像記憶手段は、撮影画像についての抽出対象範囲とキャラクタの種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、前記合成形態画像選択手段により選択された合成形態画像により示される種類のキャラクタの身体を構成する前記パーツ画像記憶手段により記憶された複数のパーツ画像を組み合わせて対応画像を取得する。
【0018】
これによれば、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、異なる種類の中から選択したキャラクタのパーツ画像を組み合わせてなるキャラクタ画像として得ることができ、選択した画像の合成形態で前記撮影画像に合成できることになる。
【0019】
本発明の請求項6に係る画像出力装置では、前記請求項1乃至請求項5の何れか1項に係る画像出力装置にあって、前記骨格データ作成手段は、前記画像抽出手段により抽出された被写体画像に対応する身体の構成部位を抽出する部位抽出手段を有し、この部位抽出手段により抽出された身体の構成部位それぞれの大きさ,位置関係に基づき骨格データを作成する。
【0020】
これによれば、被写体画像の身体の各部位に正確に対応した骨格データに応じて、当該被写体画像の真似画像としての対応画像を得て、撮影画像に合成できることになる。
【0021】
本発明の請求項7に係る画像出力装置では、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の被写体画像を前記対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成する。
【0022】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像を、これに応じた対応画像に置き換えて当該撮影画像に合成できることになる。
【0023】
本発明の請求項8に係る画像出力装置では、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の複数の被写体画像をそれぞれ前記対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成する。
【0024】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲に含まれる複数の被写体画像を、それぞれこれに応じた複数の対応画像に置き換えて当該撮影画像に合成できることになる。
【0025】
本発明の請求項9に係る画像出力装置では、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する。
【0026】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像に応じた対応画像を、当該撮影画像に追加して合成できることになる。
【0027】
本発明の請求項10に係る画像出力装置では、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上で前記合成形態画像により示される抽出対象範囲の被写体画像と左右反転の位置に追加して合成する。
【0028】
これによれば、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像に応じた対応画像を、撮影画像上で当該対象範囲の被写体画像と左右反転の位置に追加して合成できることになる。
【0029】
本発明の請求項11に係る画像出力装置では、前記請求項2または請求項5に係る画像出力装置にあって、前記対応画像取得手段は、前記撮影画像取得手段により取得された第1の撮影画像について前記骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得し、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、前記撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成する。
【0030】
これによれば、合成形態画像により示される画像の合成形態の選択により、第1の撮影画像の抽出対象範囲の被写体画像に応じて取得された対応画像を、第2の撮影画像に対して合成できることになる。
【0031】
本発明の請求項12に係る画像出力装置では、前記請求項7または請求項9乃至請求項11の何れか1項に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象範囲は人の形の枠により示される。
【0032】
これによれば、撮影画像について合成すべき対応画像を取得するための人物などの被写体画像を、人の形の枠により容易に抽出対象範囲として選択できることになる。
【0033】
本発明の請求項13に係る画像出力装置では、前記請求項9または請求項10に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は透明の枠により示される。
【0034】
これによれば、撮影画像上に追加合成すべき対応画像を取得するための被写体画像を透明の枠により選択して、当該被写体画像をそのままに対応画像が追加合成されるのを知ることができる。
【0035】
本発明の請求項14に係る画像出力装置では、前記請求項7または請求項8または請求項11に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は半透明の枠により示される。
【0036】
これによれば、撮影画像上で置き換え合成すべき対応画像を取得するための被写体画像を半透明の枠により選択して、当該被写体画像に置き換えられて対応画像が合成されるのを知ることができる。
【0037】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0038】
図1は本発明の実施形態に係る画像出力装置10の電子回路の構成を示すブロック図である。
【0039】
この画像出力装置10は、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)11が備えられる。
【0040】
CPU11は、メモリ12内に予め記憶された装置制御プログラム、あるいはCD−ROMなどの外部記録媒体13から記録媒体読取部14を介して前記メモリ12に読み込まれた装置制御プログラム、あるいはインターネットN上のWebサーバ21(この場合はプログラムサーバ)から電送制御部15を介して前記メモリ12に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ12に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部16からのユーザ操作に応じた入力信号、あるいは画像入力部17を介して入力される画像信号、あるいは電送制御部15を介して接続されるインターネットN上の各Webサーバ21…との通信信号に応じて起動される。
【0041】
前記CPU11には、前記メモリ12、記録媒体読取部14、電送制御部15、入力部16、画像入力部17が接続される他に、距離センサ18、LCDからなる表示部19、画像出力部20などが接続される。
【0042】
画像入力部17は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ17A、デジタルビデオムービー17B、VTR(画像再生装置)17Cから選択的に取得される。
【0043】
距離センサ18は、前記画像入力部17において入力される撮影画像の被写体までの距離を検出する。
【0044】
画像出力部20は、前記画像入力部17から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード20A、VTR(録画装置)20B、画像印刷機20Cに選択的に出力され、当該画像の記憶,録画,印刷が行われる。
【0045】
メモリ12には、当該画像出力装置10の全体の動作を司るシステムプログラムや電送制御部15を介してインターネットN上の各Webサーバ21…とデータ通信するための通信プログラムが記憶される他に、画像入力部17や画像出力部20を介して本画像出力装置10で撮影画像内の対象画像に応じた対応画像の合成出力処理などを行うための画像処理プログラム12aなどが記憶される。
【0046】
また、このメモリ12には、まねキャラフレーム一覧メモリ12c、キャラ1「ウサギ」パーツ画像メモリ12d、キャラ2「クマ」パーツ画像メモリ12e、キャラ3「ネコ」パーツ画像メモリ12f、キャラ4「コビト」パーツ画像メモリ12iが用意され、さらにそのワークエリアには撮影画像メモリ12gや画像処理ワークエリア12hなどが用意される。
【0047】
図2は前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その1)を示す図である。
【0048】
図3は前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その2)を示す図である。
【0049】
このまねキャラフレーム一覧メモリ12cには、この画像出力装置10による撮影画像領域Fiにおいて、人まねキャラクタとして画像合成すべきキャラクタの種類(A:ネコ/B:ウサギ/C:クマ/D:コビト)と当該キャラクタによってまねすべき画像の対象部分(Tx/Ta)とを示すための複数種類のまねキャラフレーム(A▲1▼−1,−2〜A▲5▼−1,−2/B▲1▼−1,−2〜B▲5▼−1,−2/C▲1▼−1,−2〜C▲5▼−1,−2/D▲1▼−1,−2〜D▲5▼−1,−2)が記憶される。
【0050】
各まねキャラフレーム(▲1▼−1,−2〜▲5▼−1,−2)において、まねキャラクタの種類(A〜D)は、該当まねキャラクタの基本画像によって示され、また、まねすべき画像の対象部分(Tx/Ta)は、各フレーム(▲1▼−1,−2〜▲5▼−1,−2)毎の撮影画像領域Fi内で予め設定された位置に示される。
【0051】
そして、前記各まねキャラクタフレーム(▲1▼−1,−2〜▲5▼−1,−2)において、半透明に表示されるまね対象部分Txは、当該まね対象部分Txに存在する被写体画像が前記基本画像によって示されるキャラクタのまね画像によって置き換え合成されることを示し、透明に表示されるまね対象部分Taは、当該まね対象部分Taに存在する被写体画像をそのままに、当該被写体画像について前記基本画像によって示されるキャラクタのまね画像が別の位置に追加合成されることを示す。
【0052】
すなわち、図2(1)(2)に示すように、まねキャラクタフレーム▲1▼−1(置き換え(左))または▲1▼−2(置き換え(右))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの人形「ひとがた」のまね対象部分Txに存在する被写体画像が、そのポーズを真似た選択種類のキャラクタ画像によって置き換え合成される。
【0053】
また、図2(3)(4)に示すように、まねキャラクタフレーム▲2▼−1(領域置き換え(左))または▲2▼−2(領域置き換え(右))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの円形のまね対象部分Txの囲み領域に存在する全ての被写体画像が、そのポーズを真似た選択種類のキャラクタ画像によって置き換え合成される。
【0054】
また、図2(5),図3(6)に示すように、まねキャラクタフレーム▲3▼−1(追加(左))または▲3▼−2(追加(右))が選択された場合には、撮影画像領域Fi内の人形のまね対象部分Taに存在する被写体画像について、そのポーズを真似た選択種類のキャラクタ画像が左寄りまたは右寄りに追加合成される。
【0055】
また、図3(7)(8)に示すように、まねキャラクタフレーム▲4▼−1(反転(左→右))または▲4▼−2(反転(右→左))が選択された場合には、撮影画像領域Fiの左寄りまたは右寄りの人形のまね対象部分Taに存在する被写体画像について、そのポーズを真似て反転した選択種類のキャラクタ画像が該被写体画像と反対側の右寄りまたは左寄りに追加合成される。
【0056】
また、図3(9)(10)に示すように、まねキャラクタフレーム▲5▼−1(次追加(左))または▲5▼−2(次追加(右))が選択された場合には、第1撮影画像領域Fi内の人形のまね対象部分Txに存在する被写体画像のポーズを真似た選択種類のキャラクタ画像が、次の撮影画像である第2撮影画像領域Fiの左寄りまたは右寄りに追加合成される。
【0057】
図4は前記画像出力装置10のキャラ1「ウサギ」パーツ画像メモリ12d:キャラ2「クマ」パーツ画像メモリ12e:キャラ3「ネコ」パーツ画像メモリ12fにそれぞれ記憶された各種のキャラクタ画像を構成するパーツ画像を示す図である。なお、図4において、キャラ4「コビト」パーツ画像メモリ12iについては、他の各ポーズ画像メモリ12d〜12fと同様のため図示を省略する。
【0058】
このキャラ1「ウサギ」,2「クマ」,3「ネコ」,4「コビト」の各パーツ画像メモリ12d,12e,12f,12iに記憶された各キャラクタそれぞれのパーツ画像は、当該各キャラクタを構成する7種類のパーツ▲1▼:頭〜▲8▼:足先からなる。これらの各パーツ画像は、画像入力部17により入力された撮影画像上のまね対象部分(Tx/Ta)から抽出した被写体画像(まね対象画像)のポーズを各関節部分に従い抽出した骨格として捉え、このまね対象画像の骨格に応じて、指定の種類のキャラクタの各パーツ画像を組み合わせることで、当該まね対象画像を真似した指定種類のキャラクタ画像を取得するために使用される(図16・図17参照)。
【0059】
撮影画像メモリ12gには、画像入力部17を介して入力された撮影画像データがその撮影画像単位で記憶される。
【0060】
画像処理ワークエリア12hには、前記画像処理プログラム12aに従い処理される画像データがその画像処理に応じて一時記憶される。
【0061】
このように構成された画像出力装置10について、その動作概要を説明する。
【0062】
図5は前記画像出力装置10によりまねキャラクタフレームA▲3▼−2(追加(右))が選択された場合のキャラクタ画像「ネコ」による追加合成状態を示す図である。
【0063】
図5(A)に示すように、例えば2人の被写体H1,H2が左寄りに存在する撮影画像12g4について、「ネコ」のまねキャラフレームA▲3▼−2(追加(右))[図3(A−6)参照]を選択して重ね合わせ表示させた状態で、所望の被写体画像(対象画像)H2がフレームA▲3▼−2内のまね対象部分Taに合うように撮影方向および大きさを設定する。この際、透明のまね対象部分Taは、当該まね対象部分Taに位置する被写体画像(対象画像)H2はそのままに、当該被写体画像(対象画像)H2のポーズを真似た「ネコ」のキャラクタ画像が空きエリアに合成されることを意味する。すると、撮影画像12g4とまね対象部分Taに基づいて、図5(B)に示すように当該被写体画像(まね対象画像)H2が抽出される。
【0064】
まねキャラフレームA▲3▼−2の選択キャラクタは「ネコ」なので、図5(C)に示すように前記抽出された被写体画像(対象画像)H2の骨格に応じて、キャラ3「ネコ」パーツ画像メモリ12fから読み出される各パーツ画像12f▲1▼〜12d▲6▼が組み立てられ、まね対象画像H2の「バンザイ」のポーズに近似した「ネコ」のキャラクタ画像12fMが作成される。すると、このキャラ3「ネコ」ポーズ画像パーツ12f▲1▼〜12f▲6▼に基づき作成された被写体画像(まね対象画像)H2を真似た「バンザイ」の「ネコ」のキャラクタ画像12fMが、図5(D)に示すように、撮影画像12g4上の各被写体(対象画像)H1,H2が存在しない右寄り空きエリアのランダムな位置に追加合成される。
【0065】
このように、「ネコ」のまねキャラフレームA▲3▼−2(追加(右))[図3(A−6)参照]を選択することで、撮影画像12g4におけるバンザイポーズの被写体(まね対象画像)H2の真似をした「ネコ」のキャラクタ画像12fMが、当該撮影画像12g4上の右寄り空きエリアのランダムな位置に追加合成表示される。
【0066】
図6は前記画像出力装置10によりまねキャラクタフレームB▲4▼−2(反転(右→左))が選択された場合のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図である。
【0067】
図6(A)に示すように、例えばパートナーとのダンスを予め意識した被写体画像(対象画像)Hの撮影画像12g1について、「ウサギ」のまねキャラフレームB▲4▼−2(反転(右→左))[図3(B−8)参照]を選択して重ね合わせ表示させた状態で、当該被写体画像(対象画像)HがフレームB▲4▼−2内のまね対象部分Taに合うように撮影方向および大きさを設定する。この際、透明のまね対象部分Taは、当該まね対象部分Ta内に存在する被写体画像(対象画像)Hはそのままに、当該被写体画像(対象画像)Hのポーズを真似たキャラクタ画像が他の領域に合成されることを意味する。すると、撮影画像12g1とまね対象部分Taに基づいて、図6(B)に示すように当該被写体画像(まね対象画像)Hが抽出される。
【0068】
まねキャラフレームB▲4▼−2の選択キャラクタは「ウサギ」なので、図6(C)に示すように前記抽出された被写体画像(対象画像)Hの骨格に応じて、キャラ1「ウサギ」パーツ画像メモリ12dから読み出される各パーツ画像12d▲1▼〜12d▲7▼が組み立てられ、まね対象画像Hの「ダンス」のポーズに近似した「ウサギ」のキャラクタ画像12dMが作成される。すると、このキャラ1「ウサギ」パーツ画像12d▲1▼〜12d▲7▼に基づき作成された被写体画像(まね対象画像)Hを真似た「ダンス」の「ウサギ」のキャラクタ画像12dMが左右反転(12dM(R))され、図6(D)に示すように撮影画像12g1上の中心を対称とした前記被写体(まね対象画像)Hと反転した位置に追加合成される。
【0069】
このように、「ウサギ」のまねキャラフレームB▲4▼−2(反転(右→左))[図3(B−8)参照]を選択することで、撮影画像12g1におけるダンスポーズの被写体(まね対象画像)Hの真似をした「ウサギ」のキャラクタ画像12dMが左右反転され、当該撮影画像12g1上でダンスポーズをする被写体(対象画像)Hと左右対称となる位置にダンスパートナーとして追加合成表示される。
【0070】
図7は前記画像出力装置10によりまねキャラフレームC▲5▼−2(次追加(右))が選択された場合のキャラクタ画像「クマ」による次画像置き換え合成状態を示す図である。
【0071】
例えば置き換え画像となる「クマ」のキャラクタと被写体となる自分が“さよなら”をしている合成画像を作成したい場合には、まず図7(A)に示すように、まねキャラクタ「クマ」にさせたい“さよなら”のポーズの被写体画像(まね対象画像)H1の第1の撮影画像12g2について、「クマ」のまねキャラフレームC▲5▼−2(次追加(右))[図3(C−10)参照]を選択し重ね合わせ表示させた状態で、当該被写体画像(対象画像)H1がフレームC▲5▼−2内のまね対象部分Txに合うように撮影方向および大きさを設定する。この際、半透明のまね対象部分Txは、当該まね対象部分Tx内に存在する被写体画像(対象画像)H1に置き換えて、そのポーズを真似たキャラクタ画像が合成されることを意味する。すると、第1の撮影画像12g2とまね対象部分Txに基づいて、図7(B)に示すように、当該被写体画像(まね対象画像)H1が抽出される。
【0072】
まねキャラフレームC▲5▼−2の選択キャラクタは「クマ」なので、図7(C)に示すように前記抽出された被写体画像(対象画像)H1の骨格に応じて、キャラ2「クマ」パーツ画像メモリ12eから読み出される各パーツ画像12e▲1▼〜12e▲6▼が組み立てられ、まね対象画像H1の「サヨナラ」のポーズに近似した「クマ」のキャラクタ画像12eMが作成される。この場合、現在時刻「PM8」が検知されて夜であることが判定され、前記「さよなら」のポーズの「クマ」のキャラクタ画像は、例えば月に乗った夜用のキャラクタ画像12eM(N)として作成される。
【0073】
つぎに図7(D)に示すように、前記第1撮影画像12g2における1回目の被写体画像(対象画像)H1に対応した相手方となるポーズの2回目の被写体画像H2を撮影すると、この第2撮影画像12g2′の右寄りに、図7(E)に示すように、前記キャラ2「クマ」パーツ画像メモリ12eから読み出された各パーツ画像12e▲1▼〜12e▲6▼を組み合わせてなる、1回目の被写体画像(まね対象画像)H1を真似た「さよなら」の夜時間用の「クマ」のキャラクタ画像12eM(N)が追加合成される。
【0074】
このように、「クマ」のまねキャラフレームC▲5▼−2(次追加(右))[図3(C−10)参照]を選択することで、1回目の撮影画像12g2において被写体(対象画像)H1の真似をした「クマ」のキャラクタ画像12eMが、2回目の撮影画像12g2′において撮影された被写体(対象画像)H2に合わせて追加合成表示される。
【0075】
図8は前記画像出力装置10によりまねキャラフレームB▲1▼−1(置き換え(左))が選択された場合のキャラクタ画像「ウサギ」による置き換え合成状態を示す図である。
【0076】
図8(A)に示すように、例えば3人の被写体H1〜H3を撮影した撮影画像12g3について、「ウサギ」のまねキャラフレームB▲1▼−1(置き換え(左))[図2(B−1)参照]を選択して重ね合わせ表示させた状態で、置き換え対象の被写体画像(対象画像)H1がフレームB▲1▼−1内のまね対象部分Txに合うように撮影方向および大きさを設定する。この際、半透明のまね対象部分Txは、当該まね対象部分Tx内に存在する被写体画像(対象画像)H1に置き換えて、そのポーズを真似たキャラクタ画像が合成されることを意味する。すると、図8(B)に示すように、置き換えの対象となる被写体画像(対象画像)H1が抽出される。
【0077】
まねキャラフレームB▲1▼−1の選択キャラクタは「ウサギ」なので、図8(C)に示すように前記抽出された被写体画像(対象画像)H1の骨格に応じて、キャラ1「ウサギ」パーツ画像メモリ12dから読み出される各パーツ画像12d▲1▼〜12d▲4▼が組み立てられ、まね対象画像H1のポーズに近似した「ウサギ」のキャラクタ画像12dMが作成される。
【0078】
一方、図8(D)(E)(F)に示すように、撮影画像12g3から前記置き換え対象の被写体画像(対象画像)H1を含めた3つの被写体画像H2,H3を切り出した撮影背景画像12g3′が生成される。
【0079】
すると、図8(G)に示すように、このキャラ1「ウサギ」パーツ画像12d▲1▼〜12d▲4▼に基づき作成された被写体画像(まね対象画像)H1を真似た「はいチーズ」の「ウサギ」のキャラクタ画像12dMと、前記撮影画像12g3から切り出された残り2つの被写体画像H2,H3が、前記撮影背景画像12g3′に対しその撮影距離が遠い順に各被写体位置に対応して合成される。
【0080】
このように、「ウサギ」のまねキャラフレームB▲1▼−1(置き換え(左))[図2(B−1)参照]を選択することで、撮影画像12g3における被写体(対象画像)H1のポーズの真似をした「ウサギ」のキャラクタ画像12dMが当該被写体(対象画像)H1と置き換えられて合成表示される。
【0081】
なお、この動作概要での図示による説明は省略するが、本画像出力装置10での撮影中に選択可能なまねキャラフレームモードの種類としては、前記置き換え合成フレームモード▲1▼、追加合成フレームモード▲3▼、反転追加合成フレームモード▲4▼、次画像置き換え合成フレームモード▲5▼の他に、領域置き換え合成フレームモード▲2▼がある。
【0082】
すなわち、撮影画像12gnについて、例えば「コビト」の領域置き換え合成フレーム▲2▼−nを選択して重ね合わせ表示させると共に、その半透明のまね対象部分Txの領域を、当該撮影画像12gnにおいて置き換え対象としたい例えば無関係の複数の被写体画像h1,h2,…が存在する位置に合わせて設定する。すると、まね対象部分Txの領域から抽出された複数の被写体画像h1,h2,…それぞれの骨格に応じて、キャラ4「コビト」パーツ画像メモリ12iから読み出される各パーツ画像12i▲1▼〜12i▲7▼が組み立てられ、各まね対象画像h1,h2,…のポーズに近似した「コビト」のキャラクタ画像12iM,…が作成されると共に、当該複数の被写体画像h1,h2,…それぞれと置き換えられて合成表示される。
【0083】
これにより、撮影画像12gnに含まれる、例えば撮影対象として不要な複数の被写体画像h1,h2,…については、ユーザにより領域置き換え合成フレーム▲2▼−nとして選択設定した真似のキャラクタ画像に置き換えられる。
【0084】
次に、前記構成による画像出力装置10による詳細な画像処理動作について説明する。
【0085】
ここでは、画像出力装置10をデジタルカメラとして実施した場合について説明する。
【0086】
図9は前記画像出力装置であるデジタルカメラ10の外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図である。
【0087】
図10は前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その1)を示す図であり、同図(A1)〜(A4)は「ネコ」の追加合成フレームA▲3▼−2を設定した場合の撮影表示状態を示す図、同図(B1)〜(B4)は「ウサギ」の置き換え合成フレームB▲1▼−1を設定した場合の撮影表示状態を示す図、同図(C1)〜(C4)は「ウサギ」の反転追加合成フレームB▲4▼−2を設定した場合の撮影表示状態を示す図である。
【0088】
図11は前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その2)を示す図であり、同図(D1)〜(D4)は「クマ」の次画像置き換え合成フレームC▲5▼−2を設定した場合の撮影表示状態を示す図、同図(E1)〜(E4)は「コビト」の領域置き換え合成フレームD▲2▼−1を設定した場合の撮影表示状態を示す図である。
【0089】
図12は前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その1)を示すフローチャートである。
【0090】
図13は前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その2)を示すフローチャートである。
【0091】
まず、「PLAY/REC」キー16bを「REC」側にセットし、画像入力部17によって撮影画像12g内に所望の被写体画像Hnを捉え表示部19に表示させる(ステップA1)。
【0092】
ここで、入力部16の「MENU」キー16aの操作により、撮影画像12gnに対し被写体画像Hnを真似たキャラクタ画像の合成表示を行わせるための「まねフレーム機能」が選択されると(ステップA2)、まねキャラフレーム一覧メモリ12c(図2・図3参照)に記憶されている先頭のまねキャラフレームモード(「ネコ」の置き換え(左)合成フレーム▲1▼−1)が初期設定される(ステップA3,A4)。
【0093】
すると、初期設定により指定された「ネコ」の置き換え(左)合成フレーム▲1▼−1がまねキャラフレーム一覧メモリ12cから読み出され、例えば図10(B1)〜(B3)に示すように、撮影中の画像12gnに重ねて合成表示される(ステップA6)。
【0094】
ここで、入力部16のカーソルキー16dを左右方向に操作すると、設定中のまねキャラフレームモードが前記置き換え合成モード▲1▼−n〜次画面追加合成モード▲5▼−nの間で任意に変更設定されて撮影中の画像12gnに対してその都度合成表示され(ステップA7→A8,A5,A6)、また、同カーソルキー16dを上下方向に操作すると、設定中のまねキャラフレームモードのキャラクタの種類が前記「ネコ」A〜「コビト」Dの間で任意に変更設定されて撮影中の画像12gnに対してその都度合成表示される(ステップA9→A10,A5,A6)。
【0095】
そして、撮影中の画像12gnに対して当該選択設定された所望のキャラクタ画像と共に合成表示されるまねキャラフレームのまね対象部分(Tx/Ta)に対して、真似の対象とすべき被写体画像Hnが位置するようにその撮影方向および大きさを合わせた状態で、前記カーソルキー16dをプッシュ操作すると、現在の撮影画像12gnに合わせて合成表示中のまねキャラフレームが選択決定され、そのフレームモードとキャラクタが設定される(ステップA11→A12)。
【0096】
そして、入力部16の「シャッタ」キー16cを操作すると、図14における対象画像抽出処理へ移行される(ステップA12′→AC)。
【0097】
図14は前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対象画像抽出処理を示すフローチャートである。
【0098】
前記シャッタ操作の直前からの操作時点において、画像入力部17を介して所定のタイミングで順次入力された一連の撮影画像12gn…がワークエリアの撮影画像メモリ12gに対し記憶される(ステップC1)。
【0099】
すると、この撮影画像メモリ12gに記憶された一連の撮影画像12gn…のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され(ステップC2)、これにより抽出された各被写体画像Hnがそのブロック毎に画像処理ワークエリア12hに保存される(ステップC3)。
【0100】
こうして、撮影画像12gnから当該撮影画像12gnに含まれる各被写体画像Hnがそのブロック毎に抽出されて画像処理ワークエリア12hに保存されると(ステップAC)、このブロック化された各被写体画像Hnについて、前記まねキャラフレームのまね対象部分(Tx/Ta)と最も合致するブロック領域の被写体画像Hnが真似対象画像として抽出設定される(ステップA13)。
【0101】
そして、前記真似対象となる被写体画像Hnが抽出設定されると、図15における対応アニメ画像(まね画像)取得処理に移行される(ステップAD)。
【0102】
図15は前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対応アニメ画像取得処理を示すフローチャートである。
【0103】
図16は前記画像出力装置(デジタルカメラ)10の対応アニメ画像取得処理に伴いまね対象画像から対応アニメ画像を取得する手順(その1)を示す図である。
【0104】
図17は前記画像出力装置(デジタルカメラ)10の対応アニメ画像取得処理に伴いまね対象画像から対応アニメ画像を取得する手順(その2)を示す図である。
【0105】
この対応アニメ画像取得処理では、まず、例えば図16(A)〜図17(D)のそれぞれに示すように、前記撮影画像12gnからまね対象部分(Tx/Ta)に応じて抽出され真似対象画像として設定された被写体画像Ha〜Hdが読み出され(ステップD1)、この被写体画像Ha〜Hdの輪郭から、図16(A1)〜図17(D1)のそれぞれに示すように、頭atおよびボディkaが抽出される(ステップD2)。
【0106】
また、図16(A2)〜図17(D2)のそれぞれに示すように、同被写体画像Ha〜Hdの輪郭から、手・足の関節が腕ud,肘hi,手te,足as,すねsu,足先ssに分解されて抽出される(ステップD3)。
【0107】
すると、前記まね対象の被写体画像Ha〜Hdからその関節に基づき抽出された頭at,ボディka,腕ud,肘hi,手te,足as,すねsu,足先ssの各パートデータから、図16(A3)〜図17(D3)のそれぞれに示すように、そのそれぞれのパートデータに対応した長さと接続角度を有する骨格データKat,Kka,Kud,Khi,Kte,Kas,Ksu,Kssが作成される(ステップD4)。
【0108】
こうして、まね対象の被写体画像Ha〜Hdのポーズとそのサイズに対応した骨格データKat,Kka,Kud,Khi,Kte,Kas,Ksu,Kssが作成されると、当該骨格データは、前記ステップA5〜A10において任意設定されたまねキャラクタ画像の種類に特有の構成に応じて修正(補正)される(ステップD5)。
【0109】
例えば図16(A4)に示すように、任意設定されたまねキャラクタ画像の種類が「ネコ」12fである場合には、腕の骨格データKudおよび肘の骨格データKhiの上方への傾き角度が当該キャラクタの頭のサイズに応じて所定の角度までに制限され修正(補正)される。また、「ネコ」のキャラクタ画像12fは「手」「すね」「足先」を独立して持たないため、それぞれ肘の骨格データKhiおよび足の骨格データKasがその長さ分延長されて修正(補正)される。
【0110】
また、図16(B4)に示すように、任意設定されたまねキャラクタ画像の種類が「クマ」12eである場合には、「手」「肘」「すね」「足先」を独立して持たないため、それぞれ腕の骨格データKudおよび足の骨格データKasがその長さ分延長されて修正(補正)される。
【0111】
一方、図16(C4)(D4)に示すように、任意設定されたまねキャラクタ画像の種類が「ウサギ」12dである場合には、骨格角度の制限やパーツ不足はなく、まね対象被写体画像Hc,Hdの骨格データに完全に合わされる。
【0112】
すると、前記ステップD4,D5において作成・修正(補正)されて得られたまね対象画像Ha〜Hdに対応する骨格データ個々の長さ,接続角度に従って、設定されたまねキャラクタの種類のパーツ画像メモリ12d〜12iに記憶されている各骨格に対応したパーツ画像▲1▼〜▲7▼(図4参照)が選択的に読み出されて組み合わされ、まね対象画像Ha〜Hdのポーズを真似したキャラクタ画像が取得される(ステップD6)。
【0113】
すなわち、例えば図16(A4)に示すように、まねキャラクタの種類として「ネコ」が設定されて作成・修正された真似対象被写体画像Haの骨格データについては、図16(A5)に示すように、キャラ3「ネコ」パーツ画像メモリ12f(図4参照)から頭,胴体,腕,肘,足の各パーツ画像12f▲1▼,12f▲2▼,12f▲3▼,12f▲4▼,12f▲6▼が読み出され、前記骨格データに従った長さと接続角度で組み合わされて、まね対象画像Haのポーズ「バンザイ」を真似した「ネコ」のキャラクタ画像12fMが取得される。
【0114】
また、例えば図16(B4)に示すように、まねキャラクタの種類として「クマ」が設定されて作成・修正された真似対象被写体画像Hbの骨格データについては、図16(B5)に示すように、キャラ2「クマ」パーツ画像メモリ12e(図4参照)から頭,胴体,腕,足の各パーツ画像12e▲1▼,12e▲2▼,12e▲3▼,12e▲6▼が読み出され、前記骨格データに従った長さと接続角度で組み合わされて、まね対象画像Hbのポーズ「あるく」を真似した「クマ」のキャラクタ画像12eMが取得される。
【0115】
また、例えば図16(C4)に示すように、まねキャラクタの種類として「ウサギ」が設定されて作成・修正された真似対象被写体画像Hcの骨格データについては、図17(C5)に示すように、キャラ1「ウサギ」パーツ画像メモリ12d(図4参照)から頭,胴体,腕,肘,手,足,すねの各パーツ画像12d▲1▼,12d▲2▼,12d▲3▼,12d▲4▼,12d▲5▼,12d▲6▼,12d▲7▼が読み出され、前記骨格データに従った長さと接続角度で組み合わされて、まね対象画像Hcのポーズ「ダンス」を真似した「ウサギ」のキャラクタ画像12dMが取得される。
【0116】
このように、対応アニメ画像取得処理では、撮影画像12gnからそのまね対象部分(Tx/Ta)に従い抽出設定された真似対象画像としての被写体画像Hnに対し、その骨格データに基づいて被写体画像Hnを正確に真似たポーズのキャラクタとして追加合成または置き換え合成される設定種類のキャラクタ画像が決定される。
【0117】
この場合、真似対象画像としての被写体画像Hnに対し、その骨格データの構成に従って、設定種類のキャラクタの各パーツ画像を組み合わせて当該被写体画像Hnを真似たキャラクタ画像を作成するので、被写体画像Hnのポーズに正確に近似した真似のキャラクタ画像を取得できる利点がある。
【0118】
このように、前記図15〜図17を参照して説明した対応アニメ画像取得処理(ステップAD)によって、撮影画像12gnからそのまね対象部分(Tx/Ta)に従い抽出設定された真似対象画像としての被写体画像Hnを真似たポーズの設定キャラクタ画像が決定されると、現在設定中のまねキャラフレームモードが「置き換え合成モード▲1▼−n」「領域置き換え合成モード▲2▼−n」「追加合成モード▲3▼−n」「反転追加合成モード▲4▼−n」「次画像置き換え合成モード▲5▼−n」の何れのフレームモードであるか判断される(ステップA14)。
【0119】
ここで、例えば図10(B1)〜(B3)に示すように、撮影画像12g3に対して「ウサギ」のまねキャラフレームB▲1▼−1が選択設定されて合成表示され、その半透明のまね対象部分Txに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「置き換え合成モード▲1▼−n」と判断された場合には(ステップA14)、図10(B4)に示すように、前記対応アニメ画像取得処理(図15〜図17参照)により取得された、撮影画像12g3において前記まね対象部分Txに従い抽出された真似対象画像である被写体H1のポーズの真似をした「ウサギ」のキャラクタ画像12dMが当該まね対象部分Txの被写体(対象画像)H1と置き換えられて合成表示される(ステップA14→A15,A23)。
【0120】
この場合、図8で示したように、撮影画像12g3から前記まね対象部分Txに従い抽出された被写体画像(対象画像)H1を含めた3つの被写体画像H2,H3を切り出した撮影背景画像12g3′が生成される。そして、前記まね対象の被写体画像(対象画像)H1に近似の「ウサギ」のキャラクタ画像12dMと、前記撮影画像12g3から切り出された残り2つの被写体画像H2,H3とは、前記撮影背景画像12g3′に対しその撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に対応して合成される。
【0121】
なお、前記被写体画像H1,H2,H3を切り出した背景画像12g3′の生成をせずに、撮影画像12g3に対して、前記まね対象の被写体画像(対象画像)H1に類似の「ウサギ」のキャラクタ画像12dMと、残り2つの被写体画像H2,H3とを、その撮影時に距離センサ18により検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。
【0122】
すると、この置き換え合成モード▲1▼−1に応じて作成され、図10(B4)で示したように、被写体画像H1のはいチーズのポーズを真似た「ウサギ」のキャラクタ画像12dMが当該被写体画像H1と置き換えられて合成されてなる撮影画像12g3が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0123】
なお、このOK操作に伴う画像合成後の撮影画像12g3の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H1についてパーツ画像12d▲1▼〜12d▲7▼の現在の組み合わせを一部ランダムに異ならせて作成された「ウサギ」のキャラクタ画像12dM′がセットされ、前記同様の置き換え合成処理により再合成されて表示される(ステップA24→AC〜A14→A15,A23)。
【0124】
また、例えば図11(E1)〜(E3)に示すように、撮影画像12g5に対して「コビト」のまねキャラフレームD▲2▼−1が選択設定されて合成表示され、その半透明のまね対象部分Txの領域内に撮影不要な複数の被写体画像H3,H4が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「領域置き換え合成モード▲2▼−n」と判断された場合には、図11(E4)に示すように、前記対応アニメ画像取得処理(図15〜図17参照)により取得された、撮影画像12g5において前記まね対象部分Txに従い抽出された複数の真似対象画像である被写体H3,H4のポーズの真似をした「コビト」のキャラクタ画像12iM(1),12iM(2)が当該まね対象部分Txの領域内の複数の被写体(対象画像)H3,H4と順次置き換えられて合成表示される(ステップA14→A16,A17,A23)。
【0125】
すると、この領域置き換え合成モード▲2▼−1に応じて作成され、図11(E4)で示したように、撮影画像に不要な複数の被写体画像H3,H4のポーズを真似た「コビト」のキャラクタ画像12iM(1),12iM(2)が当該各被写体画像H3,H4と置き換えられて合成されてなる撮影画像12g5が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0126】
なお、このOK操作に伴う画像合成後の撮影画像12g5の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H3,H4についてパーツ画像12i▲1▼〜12i▲7▼の現在の組み合わせを一部ランダムに異ならせて作成された「コビト」のキャラクタ画像12iM(1)′12iM(2)′がセットされ、前記同様の領域置き換え合成処理により再合成されて表示される(ステップA24→AC〜A14→A16,A17,A23)。
【0127】
また、例えば図10(A1)〜(A3)に示すように、撮影画像12g4に対して「ネコ」のまねキャラフレームA▲3▼−2が選択設定されて合成表示され、その透明のまね対象部分Taに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「追加合成モード▲3▼−n」と判断された場合には、図10(A4)[図5参照]に示すように、撮影画像12g4において抽出された被写体ブロックM以外の空きエリアのランダムな位置に、前記対応アニメ画像取得処理(図15〜図17参照)により取得された真似対象の被写体画像H1のポーズ「バンザイ」の真似をした「ネコ」のキャラクタ画像12fMが追加合成されて表示される(ステップA14→A18,A23)。
【0128】
すると、この追加合成モード▲3▼−2に応じて作成され、図10(A4)で示したように、被写体画像H1のバンザイのポーズを真似た「ネコ」のキャラクタ画像12fMが空きエリアに追加され合成されてなる撮影画像12g4が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0129】
なお、このOK操作に伴う画像合成後の撮影画像12g4の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像H1についてパーツ画像12f▲1▼〜12f▲7▼の現在の組み合わせを一部ランダムに異ならせて作成された「ネコ」のキャラクタ画像12fM′がセットされ、前記同様の追加合成処理により再合成されて表示される(ステップA24→AC〜A14→A18,A23)。
【0130】
また、例えば図10(C1)〜(C3)に示すように、撮影画像12g1に対して「ウサギ」のまねキャラフレームB▲4▼−2が選択設定されて合成表示され、その透明のまね対象部分Taに被写体画像Hが合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「反転追加合成モード▲4▼−n」と判断された場合には、図10(C4)[図6参照]に示すように、前記対応アニメ画像取得処理(図15〜図17参照)により取得された真似対象の被写体画像Hのポーズ「ダンス」の真似をした「ウサギ」のキャラクタ画像12dMが、撮影画像12g1において当該被写体画像Hと左右対称となる位置に、反転した「ウサギ」のキャラクタ画像12dM(R)として追加合成されて表示される(ステップA14→A19,A23)。
【0131】
すると、この反転追加合成モード▲4▼−2に応じて作成され、図10(C4)で示したように、被写体画像Hのダンスのポーズを真似た「ウサギ」のキャラクタ画像12dMが当該被写体画像Hの反転位置に追加され合成されてなる撮影画像12g1が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0132】
なお、このOK操作に伴う画像合成後の撮影画像12g1の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の被写体画像Hについてパーツ画像12d▲1▼〜12d▲7▼の現在の組み合わせを一部ランダムに異ならせて作成された「ウサギ」のキャラクタ画像12dM′がセットされ、前記同様の反転追加合成処理により再合成されて表示される(ステップA24→AC〜A14→A19,A23)。
【0133】
また、例えば図11(D1)〜(D3)に示すように、撮影画像12g2に対して「クマ」のまねキャラフレームC▲5▼−2が選択設定されて合成表示され、その半透明のまね対象部分Txに被写体画像H1が合わされた状態で、「シャッタ」キー16cが操作され(ステップA1〜A12′)、前記対象画像抽出処理(ステップAC)から対応アニメ画像取得処理(ステップAD)を経て、現在設定中のまねキャラフレームモードが「次画像置き換え合成モード▲5▼−n」と判断された場合には、1回目の撮影画像12g2においてまね対象として設定された被写体(対象画像)H1の位置が真似画像の置き換え位置として記憶される(ステップA14→A20)。
【0134】
そして、図11(D3′)に示すように、2回目の撮影画像12g2′が取得されると(ステップA21)、この2回目の撮影画像12g2′における前記記憶された1回目撮影時の被写体(対象画像)H1の位置に対して、図11(D4)に示すように、前記対応アニメ画像取得処理(図15〜図17参照)により取得された同被写体H1の真似をした「クマ」のキャラクタ画像12eM(N)(この場合は夜間用の特別キャラクタ)が、2回目の撮影画像12g2′において撮影された被写体H2と組み合わされて合成表示される(ステップA22)。
【0135】
すると、この次画像置き換え合成モード▲5▼−2に応じて作成され、図11(D4)で示したように、1回目の被写体画像H1のポーズを真似た「クマ」のキャラクタ画像12eM(N)が2回目の被写体画像H2と組み合わされて追加合成されてなる撮影画像12g2′が、入力部16の「カーソル」キー16dにおけるプッシュ(OK)操作に応じてメモリ12内に登録される(ステップA24→A25)。
【0136】
なお、このOK操作に伴う画像合成後の撮影画像12g2′の登録処理を行う以前に、「カーソル」キー16dの左右操作により現在合成表示中のキャラクタ画像の次表示が指示された場合には、前記対応アニメ画像取得処理(図15参照)によって、まね対象の1回目被写体画像H1についてパーツ画像12e▲1▼〜12e▲7▼の現在の組み合わせを一部ランダムに異ならせて作成された「クマ」のキャラクタ画像12eMがセットされ、前記同様の次画像置き換え合成処理により2回目の撮影画像12g2′に再合成されて表示される(ステップA24→AC〜A14→A20〜A23)。
【0137】
なお、前記各種のまねキャラフレームモード▲1▼−n〜▲5▼−nにおいて、置き換え合成表示処理あるいは追加合成表示処理された撮影画像12gnは、OK操作に応じてメモリ12内に登録される一方で画像出力部20から出力され、メモリカード20Aによる記録、またはVTR(録画装置)20Bによる記録、または画像印刷機20Cによる印刷が適宜行われる。
【0138】
したがって、前記構成の画像出力装置10による合成画像出力機能によれば、画像入力部17を介して入力された撮影画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し当該撮影画像12gnに重ねて表示させると共に、設定フレーム内のまね対象部分(Tx/Ta)に任意の被写体画像Hnを合わせてシャッタ操作すると、そのまね対象部分(Tx/Ta)に対応して抽出された被写体画像Hnの骨格に従い前記選択設定された種類のキャラクタのパーツ画像メモリ12d〜12iに記憶されている各キャラクタ部位毎のパーツ画像▲1▼〜▲7▼が組み合わされて真似のキャラクタ画像が取得され、前記撮影画像12gnにおける被写体画像Hnとの置き換え又は追加によって合成され表示されるので、単に撮影フレーム内に固定的なアニメ画像を追加合成するのではなく、当該撮影フレーム内のまね対象部分(Tx/Ta)に合わせた被写体のポーズを真似たアニメ画像を置き換えあるいは追加合成することによって非常に楽しいアニメ付の撮影画像を容易に作成することができる。
【0139】
この場合、まね対象の被写体画像Hnを、頭,胴体,腕,肘,手,足,すね,足先等の各部位毎の関節で分けて抽出し、この抽出された各部位からそのそれぞれの長さ・接続角度に応じた骨格データを作成し、この骨格データの各骨格要素の長さ,角度に応じて、選択設定されたキャラクタの各パーツ画像を組み合わせて真似のキャラクタ画像が得られるので、前記まね対象の被写体画像Hnのポーズに極めて正確に近似した希望の種類のキャラクタ画像を得ることができ、撮影画像12gnへの追加合成や置き換え合成を行うことができる。
【0140】
しかも、まね対象の被写体画像Hnの各関節に対応した骨格データは、選択設定されたキャラクタの種類に応じて当該キャラクタ特有の構成に従った修正(補正)が施され、この修正後の骨格データから当該選択設定されたキャラクタのパーツ画像が組み合わされて真似のキャラクタ画像が得られるので、希望のキャラクタの特徴を反映させたよりリアルな真似のキャラクタ画像を得ることができる。
【0141】
また、前記構成の画像出力装置10による合成画像出力機能によれば、撮影画像12gnに選択的に重ねて表示すべき各まねキャラフレームA▲1▼−n〜D▲5▼−n内でそれぞれ予め位置設定されるまね対象部分(Tx/Ta)は人形(ひとがた)として示されるので、当該人形のまね対象部分(Tx/Ta)に対して撮影画像12gn上で真似すべき被写体画像Hnを簡単明瞭に位置合わせして画像抽出することができる。
【0142】
また、領域置き換え合成モード用のまねキャラフレームA▲2▼−n〜D▲2▼−n内で予め位置設定されるまね対象部分Txは円形として示されるので、当該円形のまね対象部分Txに対して撮影画像12gn上で真似すべき例えば不要な複数の被写体画像Hn,…を簡単明瞭に位置合わせして画像抽出しそれぞれ対応するポーズの複数のキャラクタ画像を取得することができる。
【0143】
また、被写体画像Hnのまねキャラクタ画像を当該被写体画像Hnと置き換え合成させるための各まねキャラフレーム▲1▼−n,▲2▼−n,▲5▼−n内のまね対象部分Txについては、半透明な枠として撮影画像12gnに重ね合わせ表示させた場合にまねすべき被写体画像Hnを半透明にして置き換えの対象として容易に認識することができる。
【0144】
また、被写体画像Hnのまねキャラクタ画像を当該被写体画像Hnと組み合わせて追加合成させるための各まねキャラフレーム▲3▼−n,▲4▼−n内のまね対象部分Taについては、透明な枠として撮影画像12gnに重ね合わせ表示させた場合にまねすべき被写体画像Hnは合成画像に残る対象として容易に認識することができる。
【0145】
なお、前記実施形態では、撮影画像12gnからそのまね対象部分(Tx/Ta)に応じて抽出された被写体に対応するポーズのキャラクタ画像を当該被写体の骨格に従い該キャラクタのパーツ画像を組み合わせて取得し、この取得されたキャラクタのアニメ画像を追加又は置き換え合成して出力する構成としたが、実写による様々な表情の顔画像や人物画像を予めパーツ画像化して記憶させておき、この実写による顔画像や人物画像のパーツ画像を撮影画像12gnからそのまね対象部分Tx/Taに応じて抽出された被写体の骨格に応じて組み合わせ、真似画像として追加又は置き換え合成して出力する構成としてもよい。
【0146】
また、前記実施形態で説明したように、画像出力装置10はデジタルカメラに内蔵して好適に実施することができる。液晶表示付のデジタルカメラで実施した場合、画像を撮影してその場で合成画像を確認し記録することができる。
【0147】
また、前記実施形態では、撮影画像が静止画である場合について説明したが、画像入力部17を介して例えばデジタルビデオムービー17Bにより撮影入力される動画像とそのまね対象部分(Tx/Ta)から、当該動画像内の背景画像に対して時系列的に変化する被写体画像を順次抽出し、この順次抽出される被写体画像の各骨格データにそれぞれ対応するポーズのキャラクタ画像を作成取得して、前記撮影動画像内に追加または被写体と置き換え合成して動画出力する構成としてもよい。
【0148】
さらに、前記実施形態における合成画像出力機能を応用し、ゲームなどの動画像からまね対象部分(Tx/Ta)により任意指定されて抽出される登場キャラクタの画像を真似対象画像として、予め用意した所望のキャラクタ画像や実写による人物画像と置き換えて表示する構成としてもよい。
【0149】
なお、前記実施形態の画像出力装置10では、好ましくはデジタルカメラに内蔵される構成とし、当該出力装置10自身が有する画像入力部17を介して入力された撮影画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nを選択設定し、これに基づき同出力装置10内において抽出されるまね対象の被写体画像Hnに対応したポーズのキャラクタ画像を取得して該被写体画像Hnに置き換えまたは追加合成表示する構成としたが、電送制御部15から通信ネットワーク(インターネット)Nを介して、外部の通信機能を有するデジタルカメラ端末と通信接続することで、前記実施形態同様の合成画像出力処理を行う構成とし、当該外部のデジタルカメラ端末から入力された撮影画像について、まねキャラ画像合成処理後の撮影画像を返信(配信)する画像配信サーバ(10)として機能させてもよい。
【0150】
すなわち、画像配信サーバ(10)として機能させる場合には、外部のデジタルカメラ端末からのアクセスに応じて、当該カメラ端末による撮影中の画像12gnについて、まねキャラクタの種類A〜Eおよびその合成形態▲1▼〜▲5▼を示すまねキャラフレームA▲1▼−n〜D▲5▼−nの選択設定処理とその重ね合わせ表示を行わせ(ステップA1〜A12′)、サーバ(10)は前記カメラ端末から撮影画像12gnとその選択設定されたまねキャラフレームとの重ね合わせ画像を受信することで、まねキャラフレーム内のまね対象部分(Tx/Ta)に従った被写体画像Hnの抽出処理(ステップAC)、対応するまねキャラクタ画像の取得処理(ステップA13,AD)、該被写体画像Hnとの置き換えあるいは追加合成処理(ステップA14〜A22)を行い、アクセス元のデジタルカメラ端末へ送信(配信)する構成とすればよい。
【0151】
なお、前記実施形態において記載した画像出力装置10による各処理の手法、すなわち、図12,図13のフローチャートに示す合成画像出力処理、図14のフローチャートに示す当該合成画像出力処理に伴う対象画像抽出処理、図15のフローチャートに示す当該合成画像出力処理に伴う対応アニメ画像取得処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録媒体13に格納して配布することができる。そして、通信ネットワーク(インターネット)Nとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体13に記憶されたプログラムを記録媒体読取部14によってメモリ12に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した合成画像出力機能を実現し、前述した手法による同様の処理を実行することができる。
【0152】
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した合成画像出力機能を実現することもできる。
【0153】
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。
【0154】
【発明の効果】
以上のように、本発明の請求項1に係る画像出力装置によれば、撮影画像取得手段によって一連の複数の撮影画像が取得され、この取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分が被写体画像として画像抽出手段によって抽出される。すると、この抽出された被写体画像に対応する身体の骨格データが骨格データ作成手段によって作成され、この作成された身体の骨格データに応じた対応画像が対応画像取得手段によって取得される。そして、この対応画像取得手段により取得された対応画像は前記撮影画像取得手段によって取得された撮影画像に対し画像合成手段によって合成され、この対応画像の合成された撮影画像が画像出力手段によって出力されるので、撮影画像から取得された被写体画像の骨格データに応じたまね画像などの対応画像が取得され、この対応画像を前記撮影画像に合成して出力できるようになる。
【0155】
また、本発明の請求項2に係る画像出力装置によれば、撮影画像についての抽出対象範囲と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段を有し、撮影画像取得手段によって一連の複数の撮影画像が取得され、この撮影画像について、前記合成形態画像記憶手段により記憶されている合成形態画像が合成形態画像選択手段によって選択される。すると、前記撮影画像取得手段によって取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分が被写体画像として画像抽出手段によって抽出され、前記合成形態画像選択手段によって選択された合成形態画像により示される前記撮影画像についての抽出対象範囲において前記画像抽出手段によって抽出された被写体画像に対応する身体の骨格データが骨格データ作成手段によって作成され、この作成された身体の骨格データに応じた対応画像が対応画像取得手段によって取得される。そして、この対応画像取得手段により取得された対応画像は前記合成形態画像選択手段によって選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段によって取得された撮影画像に対し画像合成手段によって合成され、この対応画像の合成された撮影画像が画像出力手段によって出力されるので、撮影画像について選択した対象範囲の被写体画像の骨格データに応じたまね画像などの対応画像が取得され、この対応画像を、選択した画像の合成形態に応じて前記撮影画像に合成して出力できるようになる。
【0156】
また、本発明の請求項3に係る画像出力装置によれば、前記請求項1または請求項2に係る画像出力装置にあって、前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、予め用意されたキャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得するので、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、予め用意されたキャラクタの構成パーツを組み合わせた画像として得ることができる。
【0157】
また、本発明の請求項4に係る画像出力装置によれば、前記請求項1または請求項2に係る画像出力装置にあって、さらに、前記骨格データ作成手段により作成された身体の骨格データを予め定められたキャラクタの身体の特徴に応じて修正する骨格データ修正手段が備えられ、前記対応画像取得手段は、前記骨格データ修正手段により修正された身体の骨格データに応じて、前記キャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得するので、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、予め定められたキャラクタの表現可能範囲内で当該キャラクタの構成パーツを組み合わせた画像として得ることができる。
【0158】
また、本発明の請求項5に係る画像出力装置によれば、前記請求項2に係る画像出力装置にあって、さらに、異なる種類のキャラクタそれぞれの身体を構成する複数のパーツの画像を記憶するパーツ画像記憶手段が備えられ、前記合成形態画像記憶手段は、撮影画像についての抽出対象範囲とキャラクタの種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、前記合成形態画像選択手段により選択された合成形態画像により示される種類のキャラクタの身体を構成する前記パーツ画像記憶手段により記憶された複数のパーツ画像を組み合わせて対応画像を取得するので、撮影画像から抽出した被写体画像の骨格に応じたまね画像を、異なる種類の中から選択したキャラクタのパーツ画像を組み合わせてなるキャラクタ画像として得ることができ、選択した画像の合成形態で前記撮影画像に合成できるようになる。
【0159】
また、本発明の請求項6に係る画像出力装置によれば、前記請求項1乃至請求項5の何れか1項に係る画像出力装置にあって、前記骨格データ作成手段は、前記画像抽出手段により抽出された被写体画像に対応する身体の構成部位を抽出する部位抽出手段を有し、この部位抽出手段により抽出された身体の構成部位それぞれの大きさ,位置関係に基づき骨格データを作成するので、被写体画像の身体の各部位に正確に対応した骨格データに応じて、当該被写体画像の真似画像としての対応画像を得て、撮影画像に合成できるようになる。
【0160】
また、本発明の請求項7に係る画像出力装置によれば、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の被写体画像を前記対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像を、これに応じた対応画像に置き換えて当該撮影画像に合成できるようになる。
【0161】
また、本発明の請求項8に係る画像出力装置によれば、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の複数の被写体画像をそれぞれ前記対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲に含まれる複数の被写体画像を、それぞれこれに応じた複数の対応画像に置き換えて当該撮影画像に合成できるようになる。
【0162】
また、本発明の請求項9に係る画像出力装置によれば、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像に応じた対応画像を、当該撮影画像に追加して合成できるようになる。
【0163】
また、本発明の請求項10に係る画像出力装置によれば、前記請求項2または請求項5に係る画像出力装置にあって、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上で前記合成形態画像により示される抽出対象範囲の被写体画像と左右反転の位置に追加して合成するので、合成形態画像により示される画像の合成形態の選択により、撮影画像の抽出対象範囲の被写体画像に応じた対応画像を、撮影画像上で当該対象範囲の被写体画像と左右反転の位置に追加して合成できるようになる。
【0164】
また、本発明の請求項11に係る画像出力装置によれば、前記請求項2または請求項5に係る画像出力装置にあって、前記対応画像取得手段は、前記撮影画像取得手段により取得された第1の撮影画像について前記骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得し、前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、前記撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成するので、合成形態画像により示される画像の合成形態の選択により、第1の撮影画像の抽出対象範囲の被写体画像に応じて取得された対応画像を、第2の撮影画像に対して合成できるようになる。
【0165】
また、本発明の請求項12に係る画像出力装置によれば、前記請求項7または請求項9乃至請求項11の何れか1項に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象範囲は人の形の枠により示されるので、撮影画像について合成すべき対応画像を取得するための人物などの被写体画像を、人の形の枠により容易に抽出対象範囲として選択できるようになる。
【0166】
また、本発明の請求項13に係る画像出力装置によれば、前記請求項9または請求項10に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は透明の枠により示されるので、撮影画像上に追加合成すべき対応画像を取得するための被写体画像を透明の枠により選択して、当該被写体画像をそのままに対応画像が追加合成されるのを知ることができる。
【0167】
また、本発明の請求項14に係る画像出力装置によれば、前記請求項7または請求項8または請求項11に係る画像出力装置にあって、前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は半透明の枠により示されるので、撮影画像上で置き換え合成すべき対応画像を取得するための被写体画像を半透明の枠により選択して、当該被写体画像に置き換えられて対応画像が合成されるのを知ることができる。
【0168】
よって、本発明によれば、撮影画像に対して単に固定的な画像を合成するのではなく、当該撮影画像中の物体(例えば人物)像に正確に対応した画像(例えばまね画像)を合成して出力することが可能になる画像出力装置(画像出力方法、画像出力処理プログラム、画像配信サーバ、画像配信処理プログラム)を提供できる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像出力装置10の電子回路の構成を示すブロック図。
【図2】前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その1)を示す図。
【図3】前記画像出力装置10のまねキャラフレーム一覧メモリ12cに記憶された各種まねキャラクタ毎のまね対象部分設定フレームの一覧(その2)を示す図。
【図4】前記画像出力装置10のキャラ1「ウサギ」パーツ画像メモリ12d:キャラ2「クマ」パーツ画像メモリ12e:キャラ3「ネコ」パーツ画像メモリ12fにそれぞれ記憶された各種のキャラクタ画像を構成するパーツ画像を示す図。
【図5】前記画像出力装置10によりまねキャラクタフレームA▲3▼−2(追加(右))が選択された場合のキャラクタ画像「ネコ」による追加合成状態を示す図。
【図6】前記画像出力装置10によりまねキャラクタフレームB▲4▼−2(反転(右→左))が選択された場合のキャラクタ画像「ウサギ」による左右反転位置追加合成状態を示す図。
【図7】前記画像出力装置10によりまねキャラフレームC▲5▼−2(次追加(右))が選択された場合のキャラクタ画像「クマ」による次画像置き換え合成状態を示す図。
【図8】前記画像出力装置10によりまねキャラフレームB▲1▼−1(置き換え(左))が選択された場合のキャラクタ画像「ウサギ」による置き換え合成状態を示す図。
【図9】前記画像出力装置であるデジタルカメラ10の外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図。
【図10】前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その1)を示す図であり、同図(A1)〜(A4)は「ネコ」の追加合成フレームA▲3▼−2を設定した場合の撮影表示状態を示す図、同図(B1)〜(B4)は「ウサギ」の置き換え合成フレームB▲1▼−1を設定した場合の撮影表示状態を示す図、同図(C1)〜(C4)は「ウサギ」の反転追加合成フレームB▲4▼−2を設定した場合の撮影表示状態を示す図。
【図11】前記画像出力装置(デジタルカメラ)10による合成画像出力処理での各種フレームモードの設定に伴う撮影表示状態(その2)を示す図であり、同図(D1)〜(D4)は「クマ」の次画像置き換え合成フレームC▲5▼−2を設定した場合の撮影表示状態を示す図、同図(E1)〜(E4)は「コビト」の領域置き換え合成フレームD▲2▼−1を設定した場合の撮影表示状態を示す図。
【図12】前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その1)を示すフローチャート。
【図13】前記画像出力装置(デジタルカメラ)10による合成画像出力処理(その2)を示すフローチャート。
【図14】前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対象画像抽出処理を示すフローチャート。
【図15】前記画像出力装置(デジタルカメラ)10の合成画像出力処理に伴う対応アニメ画像取得処理を示すフローチャート。
【図16】前記画像出力装置(デジタルカメラ)10の対応アニメ画像取得処理に伴いまね対象画像から対応アニメ画像を取得する手順(その1)を示す図。
【図17】前記画像出力装置(デジタルカメラ)10の対応アニメ画像取得処理に伴いまね対象画像から対応アニメ画像を取得する手順(その2)を示す図。
【符号の説明】
10 …画像出力装置
11 …CPU
12 …メモリ
12a…画像処理プログラム
12c…まねキャラ一覧フレームメモリ
12d…キャラ1「ウサギ」パーツ画像メモリ
12e…キャラ2「クマ」パーツ画像メモリ
12f…キャラ3「ネコ」パーツ画像メモリ
12g…撮影画像メモリ
12h…画像処理ワークエリア
12i…キャラ4「コビト」パーツ画像メモリ
13 …外部記録媒体
14 …記録媒体読取部
15 …電送制御部
16 …入力部
16a…「MENU」キー
16b…「PLAY/REC」キー
16c…「シャッタ」キー
16d…「カーソル」キー
17 …画像入力部
17A…デジタルカメラ
17B…デジタルビデオムービー
17C…VTR(画像再生装置)
18 …距離センサ
19 …表示部
20 …画像出力部
20A…メモリカード
20B…VTR(録画装置)
20C…画像印刷機
21 …Webサーバ
N …通信ネットワーク(インターネット)
▲1▼−n …置き換え合成フレーム
▲2▼−n …領域置き換え合成フレーム
▲3▼−n …追加合成フレーム
▲4▼−n …反転追加合成フレーム
▲5▼−n …次画像置き換え合成フレーム
Tx …置き換え用(半透明)まね対象部分
Ta …追加用(透明)まね対象部分

Claims (18)

  1. 一連の複数の撮影画像を取得する撮影画像取得手段と、
    この撮影画像取得手段により取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出手段と、
    この画像抽出手段により抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成手段と、
    この骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得する対応画像取得手段と、
    この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段と、
    この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段と、
    を備えたことを特徴とする画像出力装置。
  2. 撮影画像についての抽出対象範囲と画像の合成形態とを対応付けてなる合成形態画像を複数記憶する合成形態画像記憶手段と、
    一連の複数の撮影画像を取得する撮影画像取得手段と、
    この撮影画像取得手段により取得された撮影画像について、前記合成形態画像記憶手段により記憶されている合成形態画像を選択する合成形態画像選択手段と、
    前記撮影画像取得手段により取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出手段と、
    前記合成形態画像選択手段により選択された合成形態画像により示される前記撮影画像についての抽出対象範囲において、前記画像抽出手段により抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成手段と、
    この骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得する対応画像取得手段と、
    この対応画像取得手段により取得された対応画像を前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態に応じて、前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段と、
    この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段と、
    を備えたことを特徴とする画像出力装置。
  3. 前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、予め用意されたキャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得する、
    ことを特徴とする請求項1または請求項2に記載の画像出力装置。
  4. さらに、
    前記骨格データ作成手段により作成された身体の骨格データを予め定められたキャラクタの身体の特徴に応じて修正する骨格データ修正手段を備え、
    前記対応画像取得手段は、前記骨格データ修正手段により修正された身体の骨格データに応じて、前記キャラクタの身体を構成する複数のパーツの画像を組み合わせて対応画像を取得する、
    ことを特徴とする請求項1または請求項2に記載の画像出力装置。
  5. さらに、
    異なる種類のキャラクタそれぞれの身体を構成する複数のパーツの画像を記憶するパーツ画像記憶手段を備え、
    前記合成形態画像記憶手段は、撮影画像についての抽出対象範囲とキャラクタの種類および画像の合成形態とを対応付けてなる合成形態画像を複数記憶し、
    前記対応画像取得手段は、前記骨格データ作成手段により作成された身体の骨格データに応じて、前記合成形態画像選択手段により選択された合成形態画像により示される種類のキャラクタの身体を構成する前記パーツ画像記憶手段により記憶された複数のパーツ画像を組み合わせて対応画像を取得する、
    ことを特徴とする請求項2に記載の画像出力装置。
  6. 前記骨格データ作成手段は、
    前記画像抽出手段により抽出された被写体画像に対応する身体の構成部位を抽出する部位抽出手段を有し、
    この部位抽出手段により抽出された身体の構成部位それぞれの大きさ,位置関係に基づき骨格データを作成する、
    ことを特徴とする請求項1乃至請求項5の何れか1項に記載の画像出力装置。
  7. 前記画像の合成形態には、少なくとも置き換え合成形態が含まれ、
    前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の被写体画像を前記対応画像取得手段により取得された対応画像に置き換えて当該撮影画像に合成する、
    ことを特徴とする請求項2または請求項5に記載の画像出力装置。
  8. 前記画像の合成形態には、少なくとも領域置き換え合成形態が含まれ、
    前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が領域置き換え合成形態である場合、前記撮影画像取得手段により取得された撮影画像の中の前記合成形態画像により示される抽出対象範囲の複数の被写体画像をそれぞれ前記対応画像取得手段により取得された複数の対応画像に置き換えて当該撮影画像に合成する、
    ことを特徴とする請求項2または請求項5に記載の画像出力装置。
  9. 前記画像の合成形態には、少なくとも追加合成形態が含まれ、
    前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に追加して合成する、
    ことを特徴とする請求項2または請求項5に記載の画像出力装置。
  10. 前記画像の合成形態には、少なくとも反転追加合成形態が含まれ、
    前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が反転追加合成形態である場合、前記対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像上で前記合成形態画像により示される抽出対象範囲の被写体画像と左右反転の位置に追加して合成する、
    ことを特徴とする請求項2または請求項5に記載の画像出力装置。
  11. 前記画像の合成形態には、少なくとも次画像置き換え合成形態が含まれ、
    前記対応画像取得手段は、前記撮影画像取得手段により取得された第1の撮影画像について前記骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得し、
    前記画像合成手段は、前記合成形態画像選択手段により選択された合成形態画像により示される画像の合成形態が次画像置き換え合成形態である場合、前記撮影画像取得手段により取得された第2の撮影画像に対して、前記対応画像取得手段により取得された対応画像を合成する、
    ことを特徴とする請求項2または請求項5に記載の画像出力装置。
  12. 前記合成形態画像記憶手段により記憶される合成形態画像により示される撮影画像についての抽出対象範囲は人の形の枠により示される、
    ことを特徴とする請求項7または請求項9乃至請求項11の何れか1項に記載の画像出力装置。
  13. 前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が追加合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は透明の枠により示される、
    ことを特徴とする請求項9または請求項10に記載の画像出力装置。
  14. 前記合成形態画像記憶手段により記憶される合成形態画像により示される画像の合成形態が置き換え合成形態である場合、当該合成形態画像により示される撮影画像についての抽出対象範囲は半透明の枠により示される、
    ことを特徴とする請求項7または請求項8または請求項11に記載の画像出力装置。
  15. 一連の複数の撮影画像を取得する撮影画像取得ステップと、
    この撮影画像取得ステップにて取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出ステップと、
    この画像抽出ステップにて抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成ステップと、
    この骨格データ作成ステップにて作成された身体の骨格データに応じた対応画像を取得する対応画像取得ステップと、
    この対応画像取得ステップにて取得された対応画像を前記撮影画像取得ステップにて取得された撮影画像に合成する画像合成ステップと、
    この画像合成ステップにて対応画像の合成された撮影画像を出力する画像出力ステップと、
    からなることを特徴とする画像出力方法。
  16. コンピュータを制御して画像の出力処理を行うための画像出力処理プログラムであって、
    前記コンピュータを、
    一連の複数の撮影画像を取得する撮影画像取得手段、
    この撮影画像取得手段により取得された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出手段、
    この画像抽出手段により抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成手段、
    この骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得する対応画像取得手段、
    この対応画像取得手段により取得された対応画像を前記撮影画像取得手段により取得された撮影画像に合成する画像合成手段、
    この画像合成手段により対応画像の合成された撮影画像を出力する画像出力手段、
    として機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。
  17. 端末から一連の複数の撮影画像を受信する撮影画像受信手段と、
    この撮影画像受信手段により受信された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出手段と、
    この画像抽出手段により抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成手段と、
    この骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得する対応画像取得手段と、
    この対応画像取得手段により取得された対応画像を前記撮影画像受信手段により受信された撮影画像に合成する画像合成手段と、
    この画像合成手段により対応画像の合成された撮影画像を前記端末に送信する画像送信手段と、
    を備えたことを特徴とする画像配信サーバ。
  18. ネットワークに接続されたコンピュータを制御して画像を配信するための画像配信処理プログラムであって、
    前記コンピュータを、
    端末から一連の複数の撮影画像を受信する撮影画像受信手段、
    この撮影画像受信手段により受信された一連の複数の撮影画像に基づいて、当該各撮影画像の中で変化している画像部分を被写体画像として抽出する画像抽出手段、
    この画像抽出手段により抽出された被写体画像に対応する身体の骨格データを作成する骨格データ作成手段、
    この骨格データ作成手段により作成された身体の骨格データに応じた対応画像を取得する対応画像取得手段、
    この対応画像取得手段により取得された対応画像を前記撮影画像受信手段により受信された撮影画像に合成する画像合成手段、
    この画像合成手段により対応画像の合成された撮影画像を前記端末に送信する画像送信手段、
    として機能させるようにしたコンピュータ読み込み可能な画像配信処理プログラム。
JP2003155727A 2003-05-30 2003-05-30 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム Pending JP2004355567A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003155727A JP2004355567A (ja) 2003-05-30 2003-05-30 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003155727A JP2004355567A (ja) 2003-05-30 2003-05-30 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム

Publications (1)

Publication Number Publication Date
JP2004355567A true JP2004355567A (ja) 2004-12-16

Family

ID=34050035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003155727A Pending JP2004355567A (ja) 2003-05-30 2003-05-30 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム

Country Status (1)

Country Link
JP (1) JP2004355567A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262484A (ja) * 2005-03-16 2006-09-28 Lg Electronics Inc 画像通信中の画像合成方法及び装置
JP2009290842A (ja) * 2008-06-02 2009-12-10 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2013126163A (ja) * 2011-12-15 2013-06-24 Canon Inc 動画記録装置及びその制御方法
KR101374313B1 (ko) * 2012-08-14 2014-03-13 주식회사 바른기술 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법
CN104038693A (zh) * 2014-05-23 2014-09-10 小米科技有限责任公司 拍照方法和装置
JP2014187697A (ja) * 2011-06-24 2014-10-02 Furyu Kk 画像提供システムおよび画像提供方法
JP2019211828A (ja) * 2018-05-31 2019-12-12 有限会社エムツー 画像制御装置、及びそのプログラム
JP2020123277A (ja) * 2019-01-31 2020-08-13 株式会社スクウェア・エニックス 仮想キャラクタを含む画像を提供するための方法
JP2021074361A (ja) * 2019-11-12 2021-05-20 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7852368B2 (en) 2005-03-16 2010-12-14 Lg Electronics Inc. Method and apparatus for composing images during video communications
JP2006262484A (ja) * 2005-03-16 2006-09-28 Lg Electronics Inc 画像通信中の画像合成方法及び装置
JP2009290842A (ja) * 2008-06-02 2009-12-10 Casio Comput Co Ltd 画像合成装置、画像合成方法及びプログラム
JP2014187697A (ja) * 2011-06-24 2014-10-02 Furyu Kk 画像提供システムおよび画像提供方法
JP2013126163A (ja) * 2011-12-15 2013-06-24 Canon Inc 動画記録装置及びその制御方法
KR101374313B1 (ko) * 2012-08-14 2014-03-13 주식회사 바른기술 배경 영상을 제외한 단순화된 움직임 정보를 전송하고 아바타를 이용하여 디스플레이하는 장치와 그 방법
CN104038693A (zh) * 2014-05-23 2014-09-10 小米科技有限责任公司 拍照方法和装置
CN104038693B (zh) * 2014-05-23 2017-12-29 小米科技有限责任公司 拍照方法和装置
JP2019211828A (ja) * 2018-05-31 2019-12-12 有限会社エムツー 画像制御装置、及びそのプログラム
JP7214092B2 (ja) 2018-05-31 2023-01-30 有限会社エムツー 画像制御装置、及びそのプログラム
JP2020123277A (ja) * 2019-01-31 2020-08-13 株式会社スクウェア・エニックス 仮想キャラクタを含む画像を提供するための方法
JP7160707B2 (ja) 2019-01-31 2022-10-25 株式会社スクウェア・エニックス 仮想キャラクタを含む画像を提供するための方法
JP2021074361A (ja) * 2019-11-12 2021-05-20 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ
JP7128591B2 (ja) 2019-11-12 2022-08-31 株式会社ポケモン 撮影システム、撮影方法、撮影プログラム、及びぬいぐるみ

Similar Documents

Publication Publication Date Title
US6317151B1 (en) Image reproducing method and image generating and reproducing method
US20010033282A1 (en) Image processing device, image processing method and recording medium
JPH11219446A (ja) 映像音響再生システム
CN104978758A (zh) 基于用户创作的图像的动画视频生成方法和装置
CN114900678B (zh) 一种vr端端云结合的虚拟演唱会渲染方法及系统
CN111530088B (zh) 一种生成游戏角色的实时表情图片的方法和装置
JP5012373B2 (ja) 合成画像出力装置および合成画像出力処理プログラム
JP4981370B2 (ja) 動画生成システム、及び動画生成方法
Gress [digital] Visual Effects and Compositing
CN111530086B (zh) 一种生成游戏角色的表情的方法和装置
JP5169111B2 (ja) 合成画像出力装置および合成画像出力処理プログラム
JP4423929B2 (ja) 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP2004355567A (ja) 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
WO2023120691A1 (ja) 動画作成システム、動画作成装置、及び動画作成用プログラム
JP4161769B2 (ja) 画像出力装置、画像出力方法、画像出力処理プログラム、および画像配信サーバ、画像配信処理プログラム
JP6313003B2 (ja) カラオケ装置、画像出力方法、およびプログラム
JP3901015B2 (ja) 画像出力装置、画像出力処理プログラム、および画像出力方法
JP4168803B2 (ja) 画像出力装置
JP2019133276A (ja) 画像処理システム、端末
JP4254391B2 (ja) 画像出力装置、画像出力処理プログラム、および画像配信サーバ
JP4551683B2 (ja) 撮像機能を備えた画像処理装置および画像処理プログラム
JP4284447B2 (ja) モーフィングカメラ及びモーフィング方法
Gomide Motion capture and performance
JP2024080412A (ja) 表示制御プログラム、表示制御装置および表示制御方法
JP2005192028A (ja) 携帯端末用撮影サポートツール及びプログラム