JP2005109555A - 画像出力装置、画像出力方法、および画像出力処理プログラム - Google Patents

Abstract

【課題】デジタルカメラなどの画像出力装置で、撮影画像に対し撮影者自身の画像を単に固定的に合成するのではなく、撮影画像中の雰囲気に違和感のない合成画像にする。
【解決手段】例えばシャッタの半押し操作に伴い画像入力部１７を介して入力された撮影画像１２g1nの中から被写体画像が抽出されると、この抽出された被写体画像に対応するポーズの撮影者画像が撮影者１「山田恵」ポーズ画像メモリ１２ｃ，撮影者２「山本明子」ポーズ画像メモリ１２ｄ，撮影者３「田中広」ポーズ画像メモリ１２ｅ，…から取得され、前記撮影画像１２g1nにおける被写体画像との置き換え又は追加によって合成表示されるので、ユーザ自身がその撮影画像を撮影している本人であっても、あたかも元々撮影される側の人物の一人として当該ユーザが存在しているかの如く、ユーザ自身の画像を撮影画像中に違和感なく簡単に合成して出力し撮影できるようになる。
【選択図】 図１

Description

本発明は、デジタルカメラやカメラ付携帯端末などにおける撮影画像に応じた画像を合成して出力するための画像出力装置、画像出力方法、および画像出力処理プログラムに関する。

従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。

例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。

また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。

また、デジタルカメラにより撮影された画像の任意の領域（例えば顔の部分）を切り出し、この切り出し画像を予め用意されたアニメ画像（例えばアニメキャラクタの顔部分）に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている。（例えば、特許文献１参照。）
特開２００１−２３０９７２号公報

前記従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。

そして、前記従来の画像処理システムによる画像合成技術を利用することで、ユーザ自身が含まれていない撮影画像に対して、別途撮影して予め用意されたユーザ自身の画像を合成することも行われているが、前述したとおり予め用意されたユーザ自身の画像をそのまま固定あるいは希望の位置に単に合成するだけのものであるため、撮影画像中の他の登場人物との雰囲気にマッチした違和感のない画像合成を行うことはできない問題がある。

このような場合、ユーザ自身がその撮影画像を撮影した本人であっても、あたかも元々撮影される側の人物の一人として当該ユーザが存在していたかの如く、ユーザ自身の画像を撮影画像中に違和感なく合成できるようにすることが望ましい。

本発明は、前記のような問題に鑑みてなされたもので、撮影画像に対して撮影者自身の画像を単に固定的に合成するのではなく、撮影画像中の雰囲気に違和感のない合成画像にして出力することが可能になる画像出力装置、画像出力方法、および画像出力処理プログラムを提供することを目的とする。

本発明の請求項１に係る画像出力装置では、撮影手段と、各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段とを有し、対象画像抽出手段によって前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像が抽出されると、この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像が撮影者画像取得手段によって前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。そして、この撮影者画像取得手段により取得された撮影者の人物画像は、画像合成手段によって前記撮影手段により撮影した撮影画像に合成され、この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が画像出力手段によって出力される。

本発明の請求項２に係る画像出力装置は、前記請求項１に係る画像出力装置にあって、前記画像合成手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像を前記撮影者画像取得手段により取得された撮影者の人物画像に置き換えて前記撮影手段により撮影した撮影画像に合成する画像置き換え合成手段とした。

本発明の請求項３に係る画像出力装置は、前記請求項１に係る画像出力装置にあって、前記画像合成手段では、前記撮影者画像取得手段により取得された撮影者の人物画像を前記撮影手段により撮影した撮影画像に追加して合成する画像追加合成手段とした。

本発明の請求項４に係る画像出力装置は、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。

本発明の請求項５に係る画像出力装置は、前記請求項１または請求項３に記載の画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。

本発明の請求項６に係る画像出力装置は、前記請求項５に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。

本発明の請求項７に係る画像出力装置は、前記請求項１〜請求項６の何れか１項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した一連の複数の撮影画像の中から変化部分が真似対象者の人物画像として抽出される。

本発明の請求項８に係る画像出力装置は、前記請求項１〜請求項６の何れか１項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像が抽出される。

本発明の請求項９に係る画像出力装置は、前記請求項１〜請求項８の何れか１項に係る画像出力装置にあって、前記撮影手段は、撮影画像の入力段階と当該入力された撮影画像の登録段階との２段階の撮影状態に設定する撮影操作手段を有し、前記画像出力手段では、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が出力される。そして、前記撮影操作手段により撮影画像の登録段階に設定された場合に、画像登録手段によって前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像が登録される。

本発明の請求項１０に係る画像出力装置は、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像が取得される。

本発明の請求項１１に係る画像出力装置は、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、各ポーズ毎のモデル画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像と対応付けて記憶するポーズ別モデル画像記憶手段を備え、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像が取得される。

本発明の請求項１に係る画像出力装置によれば、撮影手段と、各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段とを有し、対象画像抽出手段によって前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像が抽出されると、この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像が撮影者画像取得手段によって前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。そして、この撮影者画像取得手段により取得された撮影者の人物画像は、画像合成手段によって前記撮影手段により撮影した撮影画像に合成され、この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が画像出力手段によって出力されるので、撮影者自身の人物画像を違和感なく撮影画像に合成して出力できるようになる。

本発明の請求項２に係る画像出力装置によれば、前記請求項１に係る画像出力装置にあって、前記画像合成手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像を前記撮影者画像取得手段により取得された撮影者の人物画像に置き換えて前記撮影手段により撮影した撮影画像に合成する画像置き換え合成手段としたので、撮影画像中の真似対象の人物画像を同じポーズをした撮影者自身の人物画像に置き換えて合成できるようになる。

本発明の請求項３に係る画像出力装置によれば、前記請求項１に係る画像出力装置にあって、前記画像合成手段では、前記撮影者画像取得手段により取得された撮影者の人物画像を前記撮影手段により撮影した撮影画像に追加して合成する画像追加合成手段としたので、撮影画像中の真似対象の人物画像と同じポーズをした撮影者自身の人物画像を追加して合成できるようになる。

本発明の請求項４に係る画像出力装置によれば、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影者自身を検知し、該撮影者自身の各ポーズ画像の中から撮影画像中の真似対象者の人物画像に応じたポーズの撮影者画像を該撮影画像に合成できるようになる。

本発明の請求項５に係る画像出力装置によれば、前記請求項１または請求項３に記載の画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影画像中の複数の人物画像それぞれの各ポーズに対し違和感のないポーズの撮影者自身の画像を該撮影画像に合成できるようになる。

本発明の請求項６に係る画像出力装置によれば、前記請求項５に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影者自身を検知し、該撮影者自身の各ポーズ画像の中から撮影画像中の複数の人物画像それぞれの各ポーズに対し違和感のないポーズの撮影者画像を該撮影画像に合成できるようになる。

本発明の請求項７に係る画像出力装置によれば、前記請求項１〜請求項６の何れか１項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した一連の複数の撮影画像の中から変化部分が真似対象者の人物画像として抽出されるので、撮影画像における真似対象の人物画像をその画像変化から容易に抽出し、この対象人物に応じたポーズの撮影者画像を合成できるようになる。

本発明の請求項８に係る画像出力装置によれば、前記請求項１〜請求項６の何れか１項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像が抽出されるので、撮影画像における真似対象の人物画像をその焦点距離に基づき容易に抽出し、この対象人物に応じたポーズの撮影者画像を合成できるようになる。

本発明の請求項９に係る画像出力装置によれば、前記請求項１〜請求項８の何れか１項に係る画像出力装置にあって、前記撮影手段は、撮影画像の入力段階と当該入力された撮影画像の登録段階との２段階の撮影状態に設定する撮影操作手段を有し、前記画像出力手段では、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が出力される。そして、前記撮影操作手段により撮影画像の登録段階に設定された場合に、画像登録手段によって前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像が登録されるので、例えばシャッタ半押し状態での被写体捕捉中にその真似対象者に応じたポーズの撮影者自身の画像を合成した撮影画像を確認でき、この後のシャッタ全押し操作により当該撮影者自身を合成した撮影画像を登録できるようになる。

本発明の請求項１０に係る画像出力装置によれば、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像が取得されるので、撮影画像中の真似対象の人物画像に対し違和感のない類似のポーズの撮影者画像を取得して該撮影画像に合成できるようになる。

本発明の請求項１１に係る画像出力装置によれば、前記請求項１〜請求項３の何れか１項に係る画像出力装置にあって、各ポーズ毎のモデル画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像と対応付けて記憶するポーズ別モデル画像記憶手段を備え、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像が取得されるので、撮影画像中の真似対象の人物画像に対しモデル画像との類似度評価を行うことで、容易に違和感のないポーズの撮影者画像を取得して該撮影画像に合成できるようになる。

よって、本発明によれば、撮影画像に対して撮影者自身の画像を単に固定的に合成するのではなく、撮影画像中の雰囲気に違和感のない合成画像にして出力することが可能になる画像出力装置、画像出力方法、および画像出力処理プログラムを提供できる。

以下、図面を参照して本発明の実施の形態について説明する。

図１は本発明に係る画像出力装置１０の電子回路の構成を示すブロック図である。

この画像出力装置１０は、デジタルカメラ、デジタルカメラ付き携帯電話、デジタルカメラ付きＰＤＡ(personal digital assistants)などの携帯機器として構成されるもので、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、ＣＰＵ(central processing unit)１１が備えられる。

ＣＰＵ１１は、メモリ１２内に予め記憶された装置制御プログラム、あるいはＣＤ−ＲＯＭなどの外部記録媒体１３から記録媒体読取部１４を介して前記メモリ１２に読み込まれた装置制御プログラム、あるいはインターネットＮ上のＷｅｂサーバ２１（この場合はプログラムサーバ）から電送制御部１５を介して前記メモリ１２に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ１２に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部１６からのユーザ操作に応じた入力信号、あるいは画像入力部１７を介して入力される画像信号、あるいは認証情報入力部１７ｘを介して入力されるユーザ認証情報(指紋画像，虹彩画像，パスワードなど)、あるいは電送制御部１５を介して接続されるインターネットＮ上の各Ｗｅｂサーバ２１…との通信信号に応じて起動される。

前記ＣＰＵ１１には、前記メモリ１２、記録媒体読取部１４、電送制御部１５、入力部１６、画像入力部１７、認証情報入力部１７ｘが接続される他に、距離センサ１８、ＬＣＤからなる表示部１９、画像出力部２０などが接続される。

画像入力部１７は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ部１７Ａ、デジタルビデオムービー部１７Ｂなどの画像撮影手段から選択的に取得される。なお、これらの画像撮影手段（１７Ａ）（１７Ｂ）は、携帯機器である画像出力装置１０の本体とは別体にして、接続ケーブルにより接続して使用したり、コネクタにより合体一体化して使用する構成としてもよい。

距離センサ１８は、前記画像入力部１７において入力される撮影画像の被写体までの距離を検出する。

画像出力部２０は、前記画像入力部１７から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード２０Ａ、ＶＴＲ（録画装置）２０Ｂ、画像印刷機２０Ｃに選択的に出力され、当該画像の記憶，録画，印刷が行われる。

メモリ１２には、当該画像出力装置１０の全体の動作を司るシステムプログラムや電送制御部１５を介してインターネットＮ上の各Ｗｅｂサーバ２１…とデータ通信するための通信プログラムが記憶される他に、画像入力部１７や画像出力部２０を介して本画像出力装置１０で撮影画像における指定の対象画像(人物像)に応じた対応画像(例えば対象人物像のポーズをまねた撮影者自身の人物像)の追加合成出力処理や置き換え合成出力処理などを行うための画像出力処理プログラム１２ａなどが記憶される。

また、このメモリ１２には、多様なポーズの人物モデル画像を記憶するモデルポーズ画像メモリ１２ｂ、本画像出力装置（カメラ）１０のユーザ（撮影者）自身の各ポーズの画像を記憶する撮影者１「山田恵」ポーズ画像メモリ１２ｃ、撮影者２「山本明子」ポーズ画像メモリ１２ｄ、キャラ３「田中広」ポーズ画像メモリ１２ｅ…が用意され、またユーザ認証データメモリ１２ｆとして前記各撮影者ポーズ画像メモリ１２ｃ〜１２ｅ…に対応付けられた「山田恵」「山本明子」「田中広」…それぞれの認証データメモリ１２fc〜１２fe…が用意される。

各認証データメモリ１２fc〜１２fe…には、各対応するユーザ（撮影者）それぞれの指紋画像や虹彩画像、パスワードなどが認証データとして記憶される。

さらにワークエリア１２ｇには、撮影画像メモリ１２g1や画像処理ワークエリア１２g2などが用意される。

図２は前記画像出力装置１０の撮影者１「山田恵」ポーズ画像メモリ１２ｃ：撮影者２「山本明子」ポーズ画像メモリ１２ｄ：キャラ３「田中広」ポーズ画像メモリ１２ｅ：…にそれぞれ記憶された各ユーザ（撮影者）それぞれの各種のポーズに対応する各撮影者画像を示す図である。

この撮影者１「山田恵」，２「山本明子」，３「田中広」の各ポーズ画像メモリ１２ｃ，１２ｄ，１２ｅに記憶された各撮影者それぞれの各種のポーズ画像は、例えば予め本画像出力装置（カメラ）１０での撮影処理により画像入力部１７から入力されて登録され、その後の任意撮影処理に伴う撮影画像上の人物画像のポーズを真似た撮影者自身の真似画像として画像合成に使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶される。

なお、前記各撮影者１「山田恵」，２「山本明子」，３「田中広」のポーズ画像メモリ１２ｃ，１２ｄ，１２ｅに対する撮影者自身の撮影画像の登録処理に際しては、当該撮影者それぞれの認証データ（指紋画像，虹彩画像，パスワードなど）が認証情報入力部１７ｘから入力され各対応付けられた認証データメモリ１２fc，１２fd，１２feに登録される。

図３は前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶された各モデルポーズに対応するモデル画像を示す図である。

このモデルポーズ画像メモリ１２ｂに記憶された各種ポーズのモデル画像は、画像入力部１７から入力された撮影画像上の人物画像（対象画像）のポーズに応じた類似（真似）のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズＮｏ．が対応付けられて記憶され、さらに各ポーズＮｏ．毎に３種のバリエーションＡ，Ｂ，Ｃのモデル画像が記憶される。

そして、前記撮影者１「山田恵」，２「山本明子」，３「田中広」の各ポーズ画像メモリ１２ｃ，１２ｄ，１２ｅにそれぞれ記憶された各撮影者画像には、前記モデルポーズ画像メモリ１２ｂに記憶された全てのポーズＮｏ．（Ｎｏ．1A,1B,1C、2A,2B,2C、〜、nA,nB,nC）に対応する同じポーズの撮影者画像が任意に撮影されて記憶される。

撮影画像メモリ１２g1には、画像入力部１７を介して入力された撮影画像データあるいはその合成画像データがその撮影画像単位で記憶される。

画像処理ワークエリア１２g2には、前記画像処理プログラム１２ａに従い処理される画像データがその画像処理に応じて一時記憶される。

このように構成された画像出力装置１０について、その合成画像作成動作の概要を説明する。

図４は前記画像出力装置１０による後追い追加モード指定時の撮影者画像「田中広」による後追い追加合成状態を示す図である。

例えばシャッタを半押しした撮影操作中に、図４（Ａ）に示すような撮影画像１２g11から、図４（Ｂ）に示すように被写体画像（人物画像）Ｈが抽出され、後追い追加の撮影者画像として現在撮影操作中である「田中広」がその認証データ１２feに基づき検知されると、図４（Ｃ）に示すように被写体画像（人物画像）Ｈのポーズに類似（真似）のポーズＮｏ．１７「走る」の「田中広」の撮影者画像１２e(17)が撮影者３「田中広」ポーズ画像メモリ１２ｅから読み出される。すると、撮影画像１２g11上の被写体（人物画像）Ｈが一定の撮影サンプリング前に存在した位置が当該一連の撮影画像１２g11…上の被写体（人物画像）Ｈの存在位置から認識され、図４（Ｄ）に示すように当該被写体（人物画像）Ｈが一定サンプリング前に存在した位置に前記撮影者３「田中広」ポーズ画像メモリ１２ｅから読み出されたポーズＮｏ．１７「走る」の「田中広」の撮影者画像が合成される。

これにより、撮影画像１２g11における被写体（人物画像）Ｈのポーズの真似をした撮影者である「田中広」の走る画像１２e(17)が当該被写体（人物画像）Ｈの走る後を追うような位置に追加合成されて表示される。

図５は前記画像出力装置１０による置き換えモード指定時の撮影者画像「山本明子」による対象人物画像の置き換え合成状態を示す図である。

例えばシャッタを半押しした撮影操作中に、図５（Ａ）に示すような２人の被写体Ｈ１，Ｈ２が撮影されている撮影画像１２g12から、図５（Ｂ）に示すように置き換えの対象となる任意の被写体画像（人物画像）Ｈ１が指定されて抽出され、置き換えの撮影者画像として現在撮影操作中である「山本明子」がその認証データ１２fdに基づき検知されると、図５（Ｃ）に示すように指定の被写体画像（人物画像）Ｈ１のポーズに類似（真似）のポーズＮｏ．１７「走る」の「山本明子」の撮影者画像１２d(17)R(R:反転画像)が撮影者２「山本明子」ポーズ画像メモリ１２ｄから読み出される。

一方、撮影画像１２g12から前記指定された被写体画像（人物画像）Ｈ１を含めた２つの被写体画像Ｈ１，Ｈ２を切り出した撮影背景画像(図示せず)が生成される。

すると、図５（Ｄ）に示すように、前記撮影者２「山本明子」ポーズ画像メモリ１２ｄから読み出された指定の被写体画像（人物画像）Ｈ１に類似の撮影者「山本明子」の画像１２d(17)Rと、前記撮影画像１２g12から切り出された残り１つの被写体画像Ｈ２が、前記撮影背景画像(図示せず)に対しその撮影距離が遠い順に各被写体位置に対応して合成される。

これにより、撮影画像１２g12において、指定の被写体（人物画像）Ｈ１のポーズの真似をした撮影者である「山本明子」の走る画像１２d(17)Rが当該指定の被写体（人物画像）Ｈ１と置き換えられて合成され表示される。

図６は前記画像出力装置１０による空きエリア追加モード指定時の撮影者画像「山田恵」による空きエリア追加合成状態を示す図である。

例えばシャッタを半押しした撮影操作中に、図６（Ａ）に示すような撮影画像１２g13から、図６（Ｂ）に示すように真似の対象となる被写体画像（人物画像）Ｈ１が指定されて抽出され、空きエリア追加の撮影者画像として現在撮影操作中である「山田恵」がその認証データ１２fcに基づき検知されると、図６（Ｃ）に示すように指定の被写体画像（人物画像）Ｈ１のポーズに類似（真似）のポーズＮｏ．１「集合写真」の「山田恵」の撮影者画像１２c(1)が撮影者１「山田恵」ポーズ画像メモリ１２ｃから読み出される。すると、図６（Ｄ）に示すように撮影画像１２g13上の各被写体（人物画像）Ｈ１，Ｈ２が存在しない空きエリアの隣接位置に、前記撮影者１「山田恵」ポーズ画像メモリ１２ｃから被写体画像（人物画像）Ｈ１のポーズに応じて読み出されたポーズＮｏ．１「集合写真」の「山田恵」の撮影者画像が合成される。

これにより、撮影画像１２g13における指定の被写体（人物画像）Ｈ１のポーズの真似をした撮影者である「山田恵」の集合写真画像１２c(1)が当該撮影画像１２g13の各被写体Ｈ１，Ｈ２に隣接する空きエリアに追加合成されて表示される。

すなわち、この画像出力装置（カメラ）１０のユーザ（撮影者）Ｎが任意の被写体（人物画像）Ｈｎを捉えて撮影操作を行うと、何れの撮影者Ｎ…による撮影操作かがユーザ認証データ１２ｆに基づき検知されると共に、撮影画像１２g1nに含まれる被写体画像Ｈｎのポーズに類似した当該撮影者Ｎのポーズ画像がそのポーズ画像メモリから読み出されて、撮影画像１２g1n内に追加合成されたり置き換え合成されたりして表示されるので、撮影者Ｎが捉えた被写体Ｈだけでなく、撮影中の撮影者Ｎ自身もあたかも撮影される側に居るように合成した撮影画像１２g1nを簡単に取得することができる。

次に、前記構成による画像出力装置１０による詳細な画像処理動作について説明する。

ここでは、画像出力装置１０をデジタルカメラ付き携帯電話１０Ａあるいはデジタルカメラ１０Ｂとして実施した場合について説明する。

図７は前記画像出力装置であるデジタルカメラ付き携帯電話１０Ａの外観構成を示す図であり、同図（Ａ）はその全体斜視図、同図（Ｂ）はその部分拡大図である。

デジタルカメラ付き携帯電話１０Ａでは、各種のキーが配列された入力部１６の下端部にユーザ認証データ１２ｆとしての指紋画像を入力するための認証情報入力部１７ｘが設けられる。

図８は前記画像出力装置であるデジタルカメラ１０Ｂの外観構成を示す図であり、同図（Ａ）はその前面図、同図（Ｂ）はその背面図である。

デジタルカメラ１０Ｂの入力部１６としては、メニュー画面を表示させるための「MENU」キー１６ａ、撮影モード(REC)と再生モード(PLAY)とを切り替えるための切り替えキー１６ｂ、撮影画像の取り込みを指示するためのシャッタキー１６ｃ、表示画面(１９)上でのデータ選択やカーソル移動及び選択データ決定などの操作を行うための上下左右に指１本で操作可能な選択／決定キー１６ｄが備えられる。

なお、シャッタキー１６ｃは、半押し／全押しの２段階で撮影画像の取り込みを指示するキーであり、半押し状態では、画像入力部１７から入力された撮影画像１２g1nはＡＥ(auto exposure)，ＡＦ(auto focus)など調整されて画像処理ワークエリア１２g2に一旦書き込まれて表示部１９に表示され、全押し状態にして撮影画像メモリ１２g1への登録が行われる。

そして、選択／決定キー１６ｄの頭部には、ユーザ認証データ１２ｆとしての指紋画像を入力するための認証情報入力部１７ｘが設けられる。

図９は前記画像出力装置１０によるポーズ別ユーザ画像撮影処理を示すフローチャートである。

本画像出力装置１０のユーザである例えば「山田恵」のポーズ別ユーザ画像撮影処理において、認証情報入力部１７ｘにより「山田恵」の認証情報としてその指紋画像データが検知入力されると（ステップＸ１）、入力された指紋画像データがユーザ認証データメモリ１２ｆ内の撮影者１「山田恵」認証データ１２fcとして登録される（ステップＸ２）。

するとまず、撮影すべきポーズＮｏ．Ｐが“１”にセットされ（ステップＸ３）、モデルポーズ画像メモリ１２ｂに予め記憶されたモデル画像１２b(n)の中から前記ポーズＮｏ．Ｐ＝１に対応する「集合写真」のポーズのモデル画像１２b(1)が読出され、表示部１９に対し撮影ポーズの見本として表示される（ステップＸ４）。

ユーザである「山田恵」が前記表示部１９に表示されたポーズＰ＝１のモデル画像１２b(1)を見本にしてポーズを取った状態で、第３者によるシャッタ１６ｃの全押し操作により撮影命令が検知されると（ステップＸ５）、画像入力部１７ｘから撮影入力された「集合写真」のポーズの「山田恵」の画像データが、前記ユーザ認証データメモリ１２ｆの「山田恵」認証データ１２fcに対応付けされた撮影者１「山田恵」ポーズ画像メモリ１２ｃのポーズＮｏ．Ｐ＝１のユーザ（撮影者）画像１２c(1)として登録される（ステップＸ６）。

すると、前記撮影対象のポーズＮｏ．Ｐ＝Ｎ（登録可能最大ポーズ数）に到達しているか否か判断され（ステップＸ７）、そうでない場合（Ｐ＜Ｎ）には当該撮影対象のポーズＮｏ．Ｐがインクリメント（＋１）されて（ステップＸ８）、前記ステップＸ４からの処理に戻る。

そして、各種ポーズＰ＝２，３，４，…のモデル画像１２c(2),１２c(3),１２c(4),…を見本にした各ポーズの「山田恵」の画像データが順次撮影入力され、前記ユーザ認証データメモリ１２ｆの「山田恵」認証データ１２fcに対応付けされた撮影者１「山田恵」ポーズ画像メモリ１２ｃのポーズＮｏ．Ｐ＝２，３，４，…のユーザ（撮影者）画像１２c(2),１２c(3),１２c(4),…として順次登録される（ステップＸ４〜Ｘ８）。

この後、本画像出力装置１０のユーザとなり得る他のポーズ別ユーザ画像についても、適宜、前記同様に各ユーザ認証データ１２ｆ…に対応付けされて登録され、例えば撮影者２「山本明子」の認証データ１２fdに対応するポーズ画像メモリ１２ｄに各ポーズＰ＝１，２，３，…それぞれの「山本明子」の画像データ１２d(1),１２d(2),１２d(3),…が撮影登録され、また、撮影者３「田中広」の認証データ１２feに対応するポーズ画像メモリ１２ｅに各ポーズＰ＝１，２，３，…それぞれの「田中広」の画像データ１２e(1),１２e(2),１２e(3),…が撮影登録される。

図１０は前記画像出力装置１０による画像処理（その１）を示すフローチャートである。

図１１は前記画像出力装置１０による画像処理（その２）を示すフローチャートである。

図１２は前記画像出力装置１０による画像処理の初期に実施されるユーザ（撮影者）検知処理を示すフローチャートである。

この画像出力装置１０であるデジタルカメラ付き携帯電話１０Ａ(図７参照)あるいはデジタルカメラ１０Ｂ(図８参照)において任意の画像撮影を行う際に、まずユーザが認証情報入力部１７ｘに触れることで、当該認証情報入力部１７ｘによりユーザ（撮影者）の指紋画像データが認証情報として検知入力されると（ステップＳ１ａ）、この検知入力されたユーザ（撮影者）の指紋画像データ（認証データ）がユーザ認証データメモリ１２ｆに登録されている各撮影者１「山田恵」，２「山本明子」，３「田中広」，…それぞれの認証データ１２fc,１２fd,１２fe,…と画像マッチング処理されてその一致／不一致が判別される（ステップＳ１ｂ）。

すると、この画像マッチング処理により一致判別された登録認証データ１２ｆの撮影者Ｎが今回の撮影処理に伴うユーザ（撮影者）として特定検知される（ステップＳ１ｃ）。

こうして、今回の撮影ユーザが特定検知されると（ステップＳ１）、入力部１６の操作に応じて、当該撮影ユーザ（撮影者）の画像を今回の撮影画像に合成すべき撮影画像合成モードが、「１−１：ランダム空きエリア追加モード」「１−２：後追い追加モード」または「２−１：被写体選択置き換えモード」の何れかから選択されて指定される（ステップＳ２）。

そして、シャッタキー１６ｃの半押し操作が検知され、画像入力部１７ｘからの撮影画像１２g1nの入力が開始され（ステップＳ３）、この撮影画像１２g1nに対して前記ユーザ検知された撮影者の画像を合成するための画像合成処理がスタートされると（ステップＳ４）、図１３における対象画像の抽出処理に移行される（ステップＳＡ）。

図１３は前記画像出力装置１０の画像処理に伴う対象画像抽出処理を示すフローチャートであり、同図（Ａ）はその対象画像抽出処理（方式１）を示すフローチャート、同図（Ｂ）はその対象画像抽出処理（方式２）を示すフローチャートである。

図１３（Ａ）における対象画像抽出処理（方式１）では、前記画像入力部１７を介して所定のタイミングで順次入力される一連の撮影画像１２g1n…がワークエリア１２ｇの撮影画像メモリ１２g1に対し記憶される（ステップＡ１１）。

すると、この撮影画像メモリ１２ｇに記憶された一連の撮影画像１２g1n…のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され（ステップＡ１２）、これにより抽出された各被写体画像Ｈnがそのブロック毎に画像処理ワークエリア１２g2に保存される（ステップＡ１３）。

図１３（Ｂ）における対象画像抽出処理（方式２）では、前記画像入力部１７を介して入力される撮影画像１２g1nの各部分毎に距離センサ１８による距離測定が行われ（ステップＡ２１）、背景画像と被写体画像との距離差に基づき近距離側として判別される各被写体画像Ｈnがそのブロック毎に抽出される（ステップＡ２２）。

これにより抽出された各被写体画像Ｈnがそのブロック毎に画像処理ワークエリア１２g2に保存される（ステップＡ２３）。

こうして、撮影画像１２g1nから当該撮影画像１２g1nに含まれる各被写体画像Ｈnがそのブロック毎に抽出されて画像処理ワークエリア１２g2に保存されると（ステップＳＡ）、例えば図４（Ａ）または図５（Ａ）または図６（Ａ）で示すように、抽出された各被写体画像Ｈnのそれぞれに囲みマークＭが付加された撮影画像１２g1nが表示部１９に表示される（ステップＳ５）。

すると、表示部１９に表示された撮影画像１２g1nにおいて、被写体画像Ｈnが複数ブロック存在するか否か判断される（ステップＳ６）。

撮影画像１２g1nにおいて被写体画像Ｈnが複数ブロック存在しないと判断された場合には、当該撮影画像１２g1nから抽出された１つの被写体画像Ｈnが前記検知された撮影ユーザの画像による真似の対象画像（人物像）として設定される（ステップＳ６→Ｓ７ａ）。

また、撮影画像１２g1nにおいて被写体画像Ｈnが複数ブロック存在すると判断された場合には、入力部１６によるユーザ操作に応じて複数ブロック存在する被写体画像Ｈn…の中から真似の対象画像（人物像）が指定される（ステップＳ６→Ｓ７ｂ）。

こうして、前記撮影画像１２g1nの中から被写体画像Ｈnが抽出され、さらに真似対象となる被写体画像Ｈnが設定されると、図１４における対応撮影者画像取得処理に移行される（ステップＳＢ）。

図１４は前記画像出力装置１０の画像処理に伴う対応撮影者画像取得処理を示すフローチャートであり、同図（Ａ）はその対応撮影者画像取得処理（方式１）を示すフローチャート、同図（Ｂ）はその対応撮影者画像取得処理（方式２）を示すフローチャートである。

図１４（Ａ）における対応撮影者画像取得処理（方式１）では、まず、前記撮影画像１２g1nから抽出されて真似対象画像として設定された被写体画像Ｈnと前記検知ユーザ（撮影者）の各ポーズの撮影者画像との類似度が評価され（ステップＢ１Ｃ）、最も類似度の高いポーズの撮影者画像が現在の撮影画像１２g1nが表示されている表示部１９に対し例えばウインドウ画面にして表示される（ステップＢ１２）。

ここで、入力部１６に対するユーザ操作に応じて前記表示部１９に表示された真似対象画像に最も類似度の高いポーズの撮影者画像が選択されると、この選択されたポーズＮｏ．の検知撮影者の画像が真似対象画像に対応するユーザ（撮影者）画像として登録される（ステップＢ１３→Ｂ１４）。

一方、前記表示部１９に真似対象画像に最も類似度の高いポーズの検知撮影者画像が表示された状態で、入力部１６に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いポーズの検知撮影者の画像が順番に表示される（ステップＢ１３→Ｂ１５）。

そして、所望の類似度のポーズの撮影者画像が選択表示され、入力部１６に対するユーザ操作に応じて当該表示された撮影者画像が選択されると、この選択されたポーズＮｏ．の検知撮影者の画像が真似対象画像に対応するユーザ（撮影者）画像として登録される（ステップＢ１３→Ｂ１４）。

このように、対応撮影者画像取得処理（方式１）では、撮影画像１２g1nから抽出設定された真似対象画像としての被写体画像Ｈnに対し、ユーザ認証されて検知された撮影者の各ポーズ毎の画像との類似度が直接評価され、これに基づき被写体画像Ｈnを真似たポーズの撮影者画像として追加または置き換えられる撮影者画像が決定される。

図１４（Ｂ）における対応撮影者画像取得処理（方式２）では、まず、前記撮影画像１２g1nから抽出されて真似対象画像として設定された被写体画像Ｈnとモデルポーズ画像メモリ１２ｂに記憶されている各ポーズのモデル画像との類似度が評価され（ステップＢ２Ｃ）、最も類似度の高いポーズのモデル画像のポーズＮｏ．に対応する検知ユーザの撮影者画像が現在の撮影画像１２g1nが表示されている表示部１９に対し例えばウインドウ画面にして表示される（ステップＢ２２）。

ここで、入力部１６に対するユーザ操作に応じて前記表示部１９に表示された真似対象画像に最も類似度の高いモデルポーズに対応する撮影者画像が選択されると、この選択されたポーズＮｏ．の撮影者の画像が真似対象画像に対応する撮影者画像として登録される（ステップＢ２３→Ｂ２４）。

一方、前記表示部１９に真似対象画像に最も類似度の高いポーズのモデル画像のポーズＮｏ．に対応する撮影者画像が表示された状態で、入力部１６に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いモデル画像のポーズＮｏ．に対応する検知撮影者の画像が順番に表示される（ステップＢ２３→Ｂ２５）。

そして、所望の類似度のモデルポーズに対応する検知撮影者の画像が選択表示され、入力部１６に対するユーザ操作に応じて当該表示された撮影者画像が選択されると、この選択されたポーズＮｏ．の検知撮影者の画像が真似対象画像に対応する撮影者画像として登録される（ステップＢ２３→Ｂ２４）。

このように、対応撮影者画像取得処理（方式２）では、撮影画像１２g1nから抽出設定された真似対象画像としての被写体画像Ｈnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Ｈnを真似たポーズの撮影者画像として追加または置き換えられる撮影者画像が決定される。

この場合、真似対象画像としての被写体画像Ｈnに対し、ユーザ検知された撮影者の各ポーズ毎の撮影者画像との類似度を直接評価して追加または置き換えの撮影者画像を決定するようにした対応撮影者画像取得処理（方式１）に比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズＮｏ．から追加または置き換えの撮影者画像を決定するようにした対応撮影者画像取得処理（方式２）の方が、類似度の評価対象に人物モデルを用いることから被写体画像Ｈnとの高い類似度が得られやすく、より類似性（真似度）の高い撮影者画像を取得できる利点がある。

図１５は前記画像出力装置１０の画像処理に伴う対応撮影者画像取得処理（方式１）（方式２）での真似対象画像との類似度評価処理を示すフローチャートである。

対応撮影者画像取得処理（方式１）での類似度評価処理の場合はユーザ検知された撮影者の各ポーズ毎の撮影者画像との類似度を評価し、対応撮影者画像取得処理（方式２）での類似度評価処理の場合は各ポーズ毎のモデル画像との類似度を評価する。

図１６は前記画像出力装置１０の対応撮影者画像取得処理（方式１）での類似度評価処理に伴う検知撮影者画像との類似度評価例を示す図である。

図１７は前記画像出力装置１０の対応撮影者画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例を示す図である。

まず、類似度評価処理（方式１）の場合、例えば図１６（Ａ）に示すように、ユーザ検知された撮影者（例えば「山田恵」１２ｃ(12fc)）における先頭のポーズＮｏ．の撮影者画像１２c(1)が読み出され（ステップＣ１）、同図（Ｘ）で示す真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＣ２）。

すると、前記真似対象画像Ｈ１と縦横サイズの合わされた撮影者画像１２c(1)との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの撮影者画像１２c(1)との類似度として記憶される（ステップＣ３）。

ここで、今回の類似度評価対象のポーズＮｏ．の撮影者画像１２c(1)が左右非対称の画像であるか否か判断され（ステップＣ４）、当該ポーズの撮影者画像が左右非対称の画像ではないと判断された場合には（ステップＣ４「Ｎｏ」）、例えば図１６（Ｂ）に示すように、順次、次のポーズＮｏ．の撮影者画像１２c(2)との間でサイズ合わせ処理と重ね合わせ評価値の算出処理とによる類似度の算出，記憶処理が繰り返される（ステップＣ８→Ｃ９→Ｃ２〜Ｃ４）。

一方、今回の類似度評価対象のポーズＮｏ．の撮影者画像が左右非対称の撮影者画像（例えば「歩く１（前）」１２c(2)）であると判断された場合には、例えば図１６（Ｃ）に示すように、当該ポーズの撮影者画像（１２c(2)）が左右反転され（ステップＣ４→Ｃ５）、この反転された撮影者画像（１２c(2)R）について真似対象画像との縦・横のサイズが合わされる（ステップＣ６）。

すると、前記真似対象画像と縦横サイズの合わされた反転撮影者画像との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの反転撮影者画像との類似度として記憶される（ステップＣ７）。

この後、ユーザ検知された撮影者における次のポーズＮｏ．の撮影者画像（例えば１２c(n)）がある場合には（ステップＣ８）、当該次のポーズＮｏ．の撮影者画像（１２c(n)）が順次読み出され（ステップＣ９）、前記同様に真似対象画像Ｈｎと各ポーズ毎の検知ユーザの撮影者画像（１２c(n)）との類似度評価処理が繰り返される（ステップＣ２〜Ｃ７）。

これにより、例えば図１６で示したように、被写体画像（対象画像）Ｈ１に対して「山田恵」の撮影者画像１２c(n)…との類似度評価を行った場合には、ポーズＮｏ．１に対応する「山田恵」の撮影者画像１２c(1)が最も類似度の高いキャラクタ画像として評価される。

次に、類似度評価処理（方式２）の場合、例えば図１７（Ａ）に示すように、先頭のポーズＮｏ．のモデル画像１２b(1A)が読み出され（ステップＣ１）、同図（Ｘ）で示す真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＣ２）。

すると、前記真似対象画像Ｈ１と縦横サイズの合わされたモデル画像１２b(1A)との重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズのモデル画像１２b(1A)との類似度として記憶される（ステップＣ３）。

ここで、今回の類似度評価対象のポーズＮｏ．のモデル画像が左右非対称の画像であるか否か判断され（ステップＣ４）、例えば図１７（Ａ）で示すように、当該ポーズのモデル画像１２ｂ(1A)が左右非対称の画像ではないと判断された場合には（ステップＣ４「Ｎｏ」）、次のポーズＮｏ．のモデル画像が読み出され（ステップＣ８→Ｃ９）、前記同様に真似対象画像Ｈ１と次のポーズのモデル画像との類似度評価処理が繰り返される（ステップＣ２〜Ｃ４）。

一方、例えば図１７（Ｂ）で示すように、今回の類似度評価対象のポーズＮｏ．1Bのモデル画像１２ｂ(1B)が左右非対称のモデル画像であると判断された場合には、当該ポーズ1Bのモデル画像１２ｂ(1B)が左右反転され（ステップＣ４→Ｃ５）、図１７（Ｃ）で示すように、この反転されたモデル画像１２ｂ(1B)Rについて真似対象画像Ｈ１との縦・横のサイズが合わされる（ステップＣ６）。

すると、前記真似対象画像Ｈ１と縦横サイズの合わされた反転モデル画像１２ｂ(1B)Rとの重ね合わせ評価が行われ、その評価値（％）が算出されて当該ポーズの反転モデル画像１２ｂ(1B)Rとの類似度として記憶される（ステップＣ７）。

この後、次のポーズＮｏ．のモデル画像１２b(n)がある場合には（ステップＣ８）、当該次のポーズＮｏ．のモデル画像１２b(n)が順次読み出され（ステップＣ９）、前記同様に真似対象画像Ｈｎと各ポーズ毎のモデル画像１２b(n)との類似度評価処理が繰り返される（ステップＣ２〜Ｃ７）。

これにより、例えば図１７で示したように、被写体画像（対象画像）Ｈ１に対してモデル画像１２b(n)との類似度評価を行った場合には、ポーズＮｏ．1Bに対応するモデル画像１２ｂ(1B)が最も類似度の高いポーズのモデル画像として評価される。

このように、前記図１４〜図１７を参照して説明した対応撮影者画像取得処理（ステップＳＢ）によって、撮影画像１２g1nから抽出設定された真似対象画像としての被写体画像Ｈnを真似たポーズの検知ユーザの撮影者画像が決定されると、指定された画像の合成モードが「追加合成モード」であるか又はそうではない「置き換え合成モード」であるかが判断される（ステップＳ８）。

ここで、指定された画像の合成モードが「追加合成モード」で、「１−１：空きエリア追加モード」であると判断された場合には（ステップＳ８→Ｓ９「１−１」）、例えば図６で示したように、撮影画像１２g13において抽出された被写体ブロックＭに隣接する空きエリアに、前記対応撮影者画像取得処理（図１４参照）により取得された真似対象の被写体画像Ｈ１のポーズ「集合写真」の真似をした検知ユーザである「山田恵」の撮影者画像１２c(1)が追加合成されて表示される（ステップＳ１０）。

この際、前記撮影画像１２g13上の被写体ブロックＭに隣接する空きエリアに追加合成表示された「山田恵」の撮影者画像１２c(1)について、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１３→Ｓ１４）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１５）。

すると、この空きエリア追加モードに応じて作成され、図６（Ｄ）で示したように、指定の被写体画像Ｈ１のポーズを真似た検知ユーザである「山田恵」の撮影者画像１２c(1)が、被写体ブロックＭに隣接した空きエリアの所望位置に合成表示されてなる画像データは、シャッタキー１６ｃの全押し操作が検知されることで（ステップＳ１６）、撮影画像メモリ１２g1に登録される（ステップＳ１７）。

なお、撮影画像メモリ１２g1に登録された撮影（合成）画像は、必要に応じて画像出力部２０から出力され、メモリカード２０Ａによる記録、またはＶＴＲ（録画装置）２０Ｂによる記録、または画像印刷機２０Ｃによる印刷が行われる。

また、指定された画像の合成モードが「追加合成モード」で、「１−２：後追い追加モード」であると判断された場合には（ステップＳ８→Ｓ９「１−２」）、例えば図４で示したように、前記対応撮影者画像取得処理（図１４参照）により取得された、撮影画像１２g11における被写体（対象画像）Ｈのポーズ「走る」の真似をした検知ユーザである「田中広」の撮影者画像１２e(17)が当該被写体（対象画像）Ｈの走る後を追うような位置、つまり当該一連の撮影画像１２g11…のうちの被写体（対象画像）Ｈが存在する一定サンプリング時間前の位置に追加合成されて表示される（ステップＳ１１）。

この際、前記撮影画像１２g11上の被写体（対象画像）Ｈの後追い位置に追加合成表示された「田中広」の撮影者画像１２e(17)について、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１３→Ｓ１４）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１５）。

すると、この後追い追加モードに応じて作成され、図４（Ｄ）で示したように、被写体画像Ｈのポーズを真似た検知ユーザである「田中広」の撮影者画像１２e(17)が、当該被写体画像Ｈの後追い位置に合成されてなる画像データは、シャッタキー１６ｃの全押し操作が検知されることで（ステップＳ１６）、撮影画像メモリ１２g1に登録される（ステップＳ１７）。

一方、指定された画像の合成モードが「置き換え合成モード」で、「２−１：被写体選択置き換えモード」であると判断された場合には（ステップＳ８→Ｓ１２「２−１」）、例えば図５で示したように、前記対応撮影者画像取得処理（図１４参照）により取得された、撮影画像１２g12において指定された真似対象画像である被写体Ｈ１のポーズ「走る」の真似をした検知ユーザである「山本明子」の撮影者画像１２d(17)R(R:反転画像）が当該指定の被写体（対象画像）Ｈ１と置き換えられて合成表示される。

この場合、撮影画像１２g12から前記指定された被写体画像（対象画像）Ｈ１を含めた２つの被写体画像Ｈ１，Ｈ２を切り出した撮影背景画像（図示せず）が生成される。そして、前記指定の被写体画像（対象画像）Ｈ１に類似の「山本明子」の撮影者画像１２d(17)Rと、前記撮影画像１２g12から切り出された残り１つの被写体画像Ｈ２とは、前記撮影背景画像（図示せず）に対しその撮影時に距離センサ１８により検出された撮影距離が遠い順に各被写体位置に対応して合成表示される。

なお、前記被写体画像Ｈ１，Ｈ２を切り出した背景画像の生成をせずに、撮影画像１２g12に対して、前記指定の被写体画像（対象画像）Ｈ１に類似の「山本明子」の撮影者画像１２d(17)Rと、残り１つの被写体画像Ｈ２とを、その撮影時に距離センサ１８により検出された撮影距離が遠い順に各被写体位置に重ねて合成してもよい。

この際、前記撮影画像１２g12上の被写体（対象画像）Ｈ１と置き換えられて合成表示された「山本明子」の撮影者画像１２d(17)Rについて、当該合成位置のマニュアルによる移動操作が為されると（ステップＳ１３→Ｓ１４）、この移動操作後の位置で合成し直されて再表示される（ステップＳ１５）。

すると、この被写体選択置き換えモードに応じて作成され、図１５（Ｄ）で示したように、被写体画像Ｈ１の「走る」ポーズを真似た検知ユーザである「山本明子」の撮影者画像１２d(17)Rが、当該被写体画像Ｈ１と置き換えられて合成されてなる画像データは、シャッタキー１６ｃの全押し操作が検知されることで（ステップＳ１６）、撮影画像メモリ１２g1に登録される（ステップＳ１７）。

したがって、前記構成の画像出力装置１０による画像処理機能によれば、例えばシャッタ１６ｃの半押し操作に伴い画像入力部１７を介して入力された撮影画像１２g1nの中から被写体画像Ｈｎが抽出されると、この抽出された被写体画像Ｈｎに対応するポーズの撮影者の画像が撮影者１「山田恵」ポーズ画像メモリ１２ｃ，撮影者２「山本明子」ポーズ画像メモリ１２ｄ，撮影者３「田中広」ポーズ画像メモリ１２ｅ，…から取得され、前記撮影画像１２g1nにおける被写体画像Ｈｎとの置き換え又は追加によって合成され表示されるので、ユーザ自身がその撮影画像を撮影している本人であっても、あたかも元々撮影される側の人物の一人として当該ユーザが存在しているかの如く、ユーザ自身の画像を撮影画像中に違和感なく簡単に合成して出力できるようになる。

なお、前記実施形態では、撮影画像１２g1nが静止画である場合について説明したが、画像入力部１７を介して例えばデジタルビデオムービー１７Ｂにより撮影入力される動画像から、当該動画像内の背景画像に対して時系列的に変化する被写体画像Ｈn1,Ｈn2,…を順次抽出し、この順次抽出される被写体画像Ｈn1,Ｈn2,…にそれぞれ対応するポーズの検知ユーザである撮影者画像を選択的に取得して、前記撮影動画像内に追加または被写体と置き換え合成して動画出力する構成としてもよい。

なお、前記実施形態において、撮影画像１２g1nに対する被写体Ｈｎのポーズを真似た撮影者自身の画像の合成処理では、「走る」ポーズや「集合写真」のポーズの被写体画像Ｈｎを真似た「走る」撮影者画像１２e(17)，１２d(17)Rや「集合写真」の撮影者画像１２c(1)を当該被写体画像Ｈｎと置き換え合成したり追加合成したりする具体例について説明したが、その他の具体例の一つとして、例えばコンサートでの撮影に際して、撮影画像１２g1nから抽出された歌手の「歌う」ポーズの被写体画像Ｈｎに対応して、検知ユーザである「歌う」ポーズ［Ｎｏ．１８］の撮影者画像を取得し、前記同様に被写体画像Ｈｎと置き換え合成したり追加合成したりして出力してもよい。

また、前記実施形態では、ポーズ別ユーザ画像撮影処理（ステップＸ１〜Ｘ７）により、各撮影者１，２，３，…毎に種々のポーズ画像１２ｃ，１２ｄ，１２ｅ，…を予め撮影して記憶しておくことで、撮影画像１２g1nの被写体画像Ｈｎに対応したポーズの撮影者画像をマッチング取得して当該撮影画像に１２g1nに追加または置き換え合成する構成としたが、各撮影者１，２，３，…の画像として前記ポーズ画像ではなく、頭部，胴体，手，足などの各パーツに分解した画像として撮影記憶し、当該各パーツ画像の組み合わせから前記被写体画像Ｈｎに対応したポーズの撮影者画像を取得し合成する構成としてもよい。

さらに、前記実施形態では、撮影画像１２g1nから抽出された指定の被写体画像Ｈｎのポーズに対応する撮影者画像を、検知ユーザである撮影者ｎポーズ画像メモリ１２ｃ，１２ｄ，１２ｅ，…の中から画像マッチング（類似度評価）により取得する構成としたが、撮影画像１２g1nから複数の被写体画像Ｈｎ…が抽出された場合には、当該複数の被写体画像Ｈｎ…の各ポーズに平均的なポーズの撮影者画像を、前記同様の画像マッチング（類似度評価）に基づき例えば中間的な類似度評価を行うことで取得し、特に真似対象の被写体画像Ｈｎを指定することなく、違和感のない撮影者画像の合成処理を行う構成としてもよい。

なお、前記実施形態において記載した画像出力装置１０による各処理の手法、すなわち、図９のフローチャートに示すポーズ別ユーザ画像撮影処理、図１０，図１１のフローチャートに示す画像処理、図１２のフローチャートに示す当該画像処理に伴うユーザ（撮影者）検知処理、図１３のフローチャートに示す当該画像処理に伴う対象画像抽出処理、図１４のフローチャートに示す当該画像処理に伴う対応撮影者画像取得処理、図１５のフローチャートに示す当該対応撮影者画像取得処理に伴う真似対象画像との類似度評価処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記録媒体１３に格納して配布することができる。そして、通信ネットワーク（インターネット）Ｎとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体１３に記憶されたプログラムを記録媒体読取部１４によってメモリ１２に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した画像処理機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（インターネット）Ｎ上を伝送させることができ、この通信ネットワーク（インターネット）Ｎに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した画像処理機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

本発明に係る画像出力装置１０の電子回路の構成を示すブロック図。 前記画像出力装置１０の撮影者１「山田恵」ポーズ画像メモリ１２ｃ：撮影者２「山本明子」ポーズ画像メモリ１２ｄ：キャラ３「田中広」ポーズ画像メモリ１２ｅ：…にそれぞれ記憶された各ユーザ（撮影者）それぞれの各種のポーズに対応する各撮影者画像を示す図。 前記画像出力装置１０のモデルポーズ画像メモリ１２ｂに記憶された各モデルポーズに対応するモデル画像を示す図。 前記画像出力装置１０による後追い追加モード指定時の撮影者画像「田中広」による後追い追加合成状態を示す図。 前記画像出力装置１０による置き換えモード指定時の撮影者画像「山本明子」による対象人物画像の置き換え合成状態を示す図。 前記画像出力装置１０による空きエリア追加モード指定時の撮影者画像「山田恵」による空きエリア追加合成状態を示す図。 前記画像出力装置であるデジタルカメラ付き携帯電話１０Ａの外観構成を示す図であり、同図（Ａ）はその全体斜視図、同図（Ｂ）はその部分拡大図。 前記画像出力装置であるデジタルカメラ１０Ｂの外観構成を示す図であり、同図（Ａ）はその前面図、同図（Ｂ）はその背面図。 前記画像出力装置１０によるポーズ別ユーザ画像撮影処理を示すフローチャート。 前記画像出力装置１０による画像処理（その１）を示すフローチャート。 前記画像出力装置１０による画像処理（その２）を示すフローチャート。 前記画像出力装置１０による画像処理の初期に実施されるユーザ（撮影者）検知処理を示すフローチャート。 前記画像出力装置１０の画像処理に伴う対象画像抽出処理を示すフローチャートであり、同図（Ａ）はその対象画像抽出処理（方式１）を示すフローチャート、同図（Ｂ）はその対象画像抽出処理（方式２）を示すフローチャート。 前記画像出力装置１０の画像処理に伴う対応撮影者画像取得処理を示すフローチャートであり、同図（Ａ）はその対応撮影者画像取得処理（方式１）を示すフローチャート、同図（Ｂ）はその対応撮影者画像取得処理（方式２）を示すフローチャート。 前記画像出力装置１０の画像処理に伴う対応撮影者画像取得処理（方式１）（方式２）での真似対象画像との類似度評価処理を示すフローチャート。 前記画像出力装置１０の対応撮影者画像取得処理（方式１）での類似度評価処理に伴う検知撮影者画像との類似度評価例を示す図。 前記画像出力装置１０の対応撮影者画像取得処理（方式２）での類似度評価処理に伴うモデル画像との類似度評価例を示す図。

符号の説明

１０ …画像出力装置
１０Ａ…デジタルカメラ付き携帯電話
１０Ｂ…通信機能付きデジタルカメラ
１１ …ＣＰＵ
１２ …メモリ
１２ａ…画像出力処理プログラム
１２ｂ…モデルポーズ画像メモリ
１２ｃ…撮影者１「山田恵」ポーズ画像メモリ
１２ｄ…撮影者２「山本明子」ポーズ画像メモリ
１２ｅ…撮影者３「田中広」ポーズ画像メモリ
１２ｆ…ユーザ認証データメモリ
１２fc…撮影者１「山田恵」認証データ
１２fd…撮影者２「山本明子」認証データ
１２fe…撮影者３「田中広」認証データ
１２ｇ…ワークエリア
１２g1…撮影画像メモリ
１２g2…画像処理ワークエリア
１３ …外部記録媒体
１４ …記録媒体読取部
１５ …電送制御部
１６ …入力部
１７ …画像入力部
１７Ａ…デジタルカメラ
１７Ｂ…デジタルビデオムービー
１７Ｃ…ＶＴＲ（画像再生装置）
１７ｘ…認証情報入力部
１８ …距離センサ
１９ …表示部
２０ …画像出力部
２０Ａ…メモリカード
２０Ｂ…ＶＴＲ（録画装置）
２０Ｃ…画像印刷機
２１ …Ｗｅｂサーバ
Ｎ …通信ネットワーク（インターネット）

Claims (13)

1. 撮影手段と、
   各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段と、
   前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出手段と、
   この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得手段と、
   この撮影者画像取得手段により取得された撮影者の人物画像を、前記撮影手段により撮影した撮影画像に合成する画像合成手段と、
   この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力手段と、
   を備えたことを特徴とする画像出力装置。
2. 前記画像合成手段は、前記対象画像抽出手段により抽出された真似対象者の人物画像を前記撮影者画像取得手段により取得された撮影者の人物画像に置き換えて前記撮影手段により撮影した撮影画像に合成する画像置き換え合成手段である、
   ことを特徴とする請求項１に記載の画像出力装置。
3. 前記画像合成手段は、前記撮影者画像取得手段により取得された撮影者の人物画像を前記撮影手段により撮影した撮影画像に追加して合成する画像追加合成手段である、
   ことを特徴とする請求項１に記載の画像出力装置。
4. 撮影者を検知する撮影者検知手段を有し、
   前記撮影者画像取得手段は、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する、
   ことを特徴とする請求項１〜請求項３の何れか１項に記載の画像出力装置。
5. 前記撮影者画像取得手段は、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する、
   ことを特徴とする請求項１または請求項３に記載の画像出力装置。
6. 撮影者を検知する撮影者検知手段を有し、
   前記撮影者画像取得手段は、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する、
   ことを特徴とする請求項５に記載の画像出力装置。
7. 前記対象画像抽出手段は、前記撮影手段により撮影した一連の複数の撮影画像の中から変化部分を真似対象者の人物画像として抽出する、
   ことを特徴とする請求項１〜請求項６の何れか１項に記載の画像出力装置。
8. 前記対象画像抽出手段は、
   前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、
   この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像を抽出する、
   ことを特徴とする請求項１〜請求項６の何れか１項に記載の画像出力装置。
9. 前記撮影手段は、撮影画像の入力段階と当該入力された撮影画像の登録段階との２段階の撮影状態に設定する撮影操作手段を有し、
   前記画像出力手段は、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力し、
   前記撮影操作手段により撮影画像の登録段階に設定された場合に、前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像を登録する画像登録手段をさらに備えたことを特徴とする請求項１〜請求項８の何れか１項に記載の画像出力装置。
10. 前記撮影者画像取得手段は、
    前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、
    この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像を取得する、
    ことを特徴とする請求項１〜請求項３の何れか１項に記載の画像出力装置。
11. 各ポーズ毎のモデル画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像と対応付けて記憶するポーズ別モデル画像記憶手段を備え、
    前記撮影者画像取得手段は、
    前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、
    この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像を取得する、
    ことを特徴とする請求項１〜請求項３の何れか１項に記載の画像出力装置。
12. 画像を撮影する撮影ステップと、
    この撮影ステップにて撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出ステップと、
    この対象画像抽出ステップにて抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を、各ポーズ毎に撮影者の人物画像を記憶しているポーズ別撮影者画像記憶手段に記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得ステップと、
    この撮影者画像取得ステップにて取得された撮影者の人物画像を、前記撮影ステップにて撮影した撮影画像に合成する画像合成ステップと、
    この画像合成ステップにて前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力ステップと、
    からなることを特徴とする画像出力方法。
13. 画像出力装置のコンピュータを制御するための画像出力処理プログラムであって、
    前記コンピュータを、
    撮影手段により撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出手段、
    この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を、各ポーズ毎に撮影者の人物画像を記憶しているポーズ別撮影者画像記憶手段に記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得手段、
    この撮影者画像取得手段により取得された撮影者の人物画像を、前記撮影手段により撮影した撮影画像に合成する画像合成手段、
    この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力手段、
    として機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。

Images