JP2007036312A - デジタルカメラ及びデジタルカメラ用プログラム - Google Patents

Abstract

【課題】処理能力の低い演算装置しかもたないデジタルカメラでも、簡単に実写画像とキャラクタ画像の合成処理を行って、合成写真画像を得ることの出来る、デジタルカメラ及びデジタルカメラ用プログラムの提供
【解決手段】実写画像ＰＣと選択された切り取りフレームを重ね合わせる形で合成してフレーム合成画像ＰＣＦを生成し、ディスプレイに表示する手段、シャッター手段からの操作信号に基づいてフレーム合成画像を取り込み、メモリに格納固定する手段、取り込まれたフレーム合成画像を、人物画像ＰＣ１と、それ以外の背景画像ＰＣ２とに分離し格納する手段、選択されたキャラクタ画像ＣＩと人物画像ＰＣ１において、両者の輪郭が互いに重なる様に両者の配置位置を演算する手段、演算された配置位置に基づいて、人物画像ＰＣ１がキャラクタ画像ＣＩの前方に配置される形で合成写真画像ＰＣＸを生成し、撮影済み写真格納用メモリに格納する手段から構成される。
【選択図】 図７

Description

本発明は、実写画像と他のキャラクタ画像を合成した合成写真画像をデジタルカメラ内で生成することの出来る、デジタルカメラ及びデジタルカメラ用プログラムに関する。

従来、この種の画像合成装置としては、特許文献１に示すようにデジタルカメラに接続されるパソコンなどからなる画像合成装置を用いて、デジタルカメラで取得された映像に、他の画像を合成する技術が知られている。

特開２０００−２６１７２２号公報

しかし、こうした処理をデジタルカメラ内部で行おうとすると、デジタルカメラに内蔵するＣＰＵ等の演算装置の処理能力が不足してしまい、処理に長時間を要し、実用的ではなかった。

なお、アマチュア用のデジタルカメラにおいては、人物の実写画像に、好みのキャラクタ画像を合成して、合成写真画像を提供する機能への要求は強く、画像合成装置などの専用の装置を用いることなく、デジタルカメラ内部でこうした処理の可能なデジタルカメラ及びデジタルカメラ用プログラムの開発が望まれている。

本発明は、上記した事情に鑑み、処理能力の低い演算装置しかもたないデジタルカメラであっても、当該カメラ内部で簡単に実写画像とキャラクタ画像の合成処理を行って、合成写真画像を得ることの出来る、デジタルカメラ及びデジタルカメラ用プログラムを提供することを目的とするものである。

請求項１の発明は、合成写真画像（ＰＣＸ）を生成するように指令する合成写真生成指令を出力自在な指令手段（２，１１）、
実写画像（ＰＣ）から人物被写体（２１）を切り取る範囲及び位置を指定した切り取り枠（２０）が設定された複数の切り取りフレーム（１９）を格納するフレーム格納手段（１０）、
前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイ（１３）に選択可能に提示する、切り取りフレーム提示手段、
前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段（２、１１）
光学系（１７）を介して取得した人物被写体（２１）を含む実写画像（ＰＣ）を、所定のメモリに格納する実写画像取得格納手段（２，７、９）、
前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像（ＰＣＦ）を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段（２，７，９）、
前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段（２，１１）、
前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段（２，９）、
前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体（２１）が表示された人物画像（ＰＣ１）と、それ以外の背景画像（ＰＣ２）とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段（２，１２）、
複数のキャラクタ画像（ＣＩ）を格納するキャラクタ画像格納手段（５）、
前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段（２，９）、
前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段（２，１１）、
前記選択されたキャラクタ画像（ＣＩ）と前記画像抽出分離手段により分離された人物画像（ＰＣ１）において、両者の輪郭が互いに重なる様に前記キャラクタ画像の前記人物画像に対する相対配置位置を演算するキャラクタ画像配置位置演算手段（２、６）、
前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像（ＰＣ２）の前方に、前記人物画像とキャラクタ画像を、該人物画像（ＰＣ１）がキャラクタ画像（ＣＩ）の前方に配置される形で前記メモリ（１０）に描画して合成写真画像（ＰＣＸ）を生成する、合成写真画像描画手段（２，６）、
前記生成された合成写真画像を、撮影済み写真格納用メモリに格納する画像格納手段、
からなる、デジタルカメラとして構成される。

請求項２の発明は、合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段、
前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
複数のキャラクタ画像を格納するキャラクタ画像格納手段、
前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
前記各キャラクタ画像（ＣＩ）について、前記フレーム格納手段に格納された各切り取りフレームについて、当該切り取りフレーム（１９）の各切り取り枠（２０）と前記キャラクタ画像が一部重なるような、前記キャラクタ画像の配置位置を格納した、キャラクタ画像配置メモリ、
前記切り取りフレーム選択手段により選択された切り取りフレームについて、前記キャラクタ画像配置メモリから前記キャラクタ画像選択手段により選択されたキャラクタ画像に応じた、配置位置を読み出し、該キャラクタ画像と前記画像抽出分離手段による分離された人物画像（ＰＣ１）の相対配置位置を演算決定するキャラクタ画像配置位置演算手段（２，６）、
前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
からなる、デジタルカメラとして構成される。

請求項３の発明は、デジタルカメラ（１）に内蔵されるコンピュータであって、
該コンピュータを、
合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段、
前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
複数のキャラクタ画像を格納するキャラクタ画像格納手段、
前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
前記選択されたキャラクタ画像と前記画像抽出分離手段による分離された人物画像において、両者の輪郭が互いに重なる様に前記キャラクタ画像の前記人物画像に対する相対配置位置を演算するキャラクタ画像配置位置演算手段、
前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
として機能させるための、デジタルカメラ用プログラムとして構成される。

請求項４の発明は、デジタルカメラに内蔵されるコンピュータであって、
該コンピュータを、
合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに、撮影者が選択可能に提示する、切り取りフレーム提示手段、
前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
前記ディスプレイにリアルタイムに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段、
前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
複数のキャラクタ画像を格納するキャラクタ画像格納手段、
前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
前記各キャラクタ画像（ＣＩ）について、前記フレーム格納手段に格納された各切り取りフレームについて、当該切り取りフレーム（１９）の各切り取り枠（２０）と前記キャラクタ画像が一部重なるような、前記キャラクタ画像の配置位置を格納した、キャラクタ画像配置メモリ、
前記切り取りフレーム選択手段により選択された切り取りフレームについて、前記キャラクタ画像配置メモリから前記キャラクタ画像選択手段により選択されたキャラクタ画像に応じた、配置位置を読み出し、該キャラクタ画像と前記画像抽出分離手段による分離された人物画像の相対配置位置を演算決定するキャラクタ画像配置位置演算手段、
前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
として機能させるための、デジタルカメラ用プログラムとして構成される。

請求項１及び３の発明によれば、デジタルカメラ内部で、簡単にキャラクタ画像（ＣＩ）と実写画像（ＰＣ）とを、実写画像（ＰＣ）の背景画像（ＰＣ２）と人物画像（ＰＣ１）との間にキャラクタ画像（ＣＩ）を配置した形で合成することが出来る。

フレーム選択手段により、複数の切り取りフレームから、撮影に適した切り取りフレームを撮影者が選択して、実写画像（ＰＣ）と合成した形でディスプレイ（１３）に表示することが出来るので、様々な人物被写体（２１）に対応することが出来る。

また、キャラクタ画像配置位置演算手段及び合成写真画像描画手段により、キャラクタ画像（ＣＩ）は、分離された実写画像（ＰＣ）の人物画像（ＰＣ１）と背景画像（ＰＣ２）との間に、両者の輪郭が互いに重なるように演算配置されるので、合成写真画像（ＰＣＸ）では、人物画像（ＰＣ１）がキャラクタ画像（ＣＩ）により背後から抱きかかえられるような形で表現され、親近感の高い演出を行うことが出来る。

更に、実写画像（ＰＣ）を取得する際に、実写画像（ＰＣ）と切り取りフレーム（１９）を合成したフレーム合成画像（ＰＣＦ）をディスプレイ（１３）に表示して、切り取り枠（２０）に人物被写体（２１）を入れた形で撮影するだけで、人物画像（ＰＣ１）と背景画像（ＰＣ２）の分離を切り取り枠（２０）に沿った形で行うことが出来、人物画像（ＰＣ１）の切り取りに要する演算量を少なくすることが出来、処理能力の低いデジタルカメラに内蔵されたコンピュータでも、カメラ本来の制御・処理動作を犠牲にすることなく、円滑な画像処理を行うことが出来る。

請求項２及び４の発明は、上記した効果に加えて、各キャラクタ画像（ＣＩ）及びフレーム格納手段に格納された各切り取りフレームについて、当該切り取りフレーム（１９）の各切り取り枠（２０）と当該キャラクタ画像が一部重なるような、当該キャラクタ画像の配置位置を格納したキャラクタ画像配置メモリおよび、キャラクタ画像配置位置演算手段（２，６）により、選択されたキャラクタ画像（ＣＩ）に対応する配置位置を読み出して、対応する切り取りフレーム（１９）と当該配置位置で重ね合わせるだけで、キャラクタ画像（ＣＩ）が人物画像（ＰＣ１）の後方に適切に配置されることとなり、切り取り枠（２０）、即ち人物画像（ＰＣ１）の下にキャラクタ画像（ＣＩ）が、その一部が重なるように見える位置を、合成写真画像（ＰＣＸ）を生成するたびに演算する必要が無くなり、デジタルカメラのコンピュータの演算負荷を大幅に少なくすることが出来る。

なお、括弧内の番号等は、図面における対応する要素を示す便宜的なものであり、従って、本記述は図面上の記載に限定拘束されるものではない。

以下、図面に基づき、本発明の実施例を説明する。

図１は、本発明が適用されるデジタルカメラの一例を示す制御ブロック図、図２は、デジタルカメラで撮影される実写画像の一例を示す図、図３は、切り取りフレームが表示されたフレーム合成画像の一例を示す図、図４は、撮影された画像から抽出された人物画像の一例を示す図、図５は、人物画像が抽出された後の背景画像の一例を示す図、図６は、キャラクタメモリに格納されたキャラクタ画像の一例を示す図、図７は、合成された画像の一例を示す図、図８は、フレームメモリに格納された切り取りフレームの例を示す図、図９は、合成写真撮影の手順の一例を示すフローチャートである。

デジタルカメラ１は、図１に示すように、主制御部２を有しており、主制御部２には、バス線３を介して、キャラクタメモリ５、画像合成部６、画像処理部７、カメラ制御部９、フレームメモリ１０、シャッターボタン、ズームスイッチ、その他の入力スイッチなど複数の操作部材から構成される操作部１１、輪郭処理部１２，液晶素子からなるディスプレイ１３などを有している。画像処理部７には、ＣＣＤアレイからなる２次元撮像素子１５及び１個以上のレンズからなるレンズ１６などから構成される光学系１７が接続している。

なお、図１に示す制御ブロック図は、デジタルカメラ１が実行する各種の処理動作を機能別に模式的に表したものであり、必ずしも、各ブロックに対応する電子回路などが存在することを意味しない。図１に示す制御ブロック図は、デジタルカメラ１に内蔵されるコンピュータであるＣＰＵなどの演算処理装置が付随する主記憶装置と共に、所定のプログラムを実行することにより、図１に示す各ブロックに対応した機能を発揮するように構成することも当然可能である。

また、図１に示す各種のメモリも、ＣＰＵに接続された主記憶装置や、ハードディスクや、ＲＡＭ、ＲＯＭ、その他の任意の記憶媒体からなる外部記憶装置により実現される構成としてもよい。

デジタルカメラは、以上のような構成を有するので、デジタルカメラ１を用いて、人物被写体を撮影した通常写真にキャラクタ画像を合成した合成写真を撮影するには、まず、撮影者は、操作部１１の適宜なキーを操作して合成写真生成指令Ｃ１をバス線３を介して主制御部２に出力する。

主制御部２は、図９のステップＳ１で、合成写真生成指令Ｃ１が操作部１１から入力されたことを確認すると、ステップＳ２に入り、フレームメモリ１０から合成写真生成に使用することの出来る、切り取りフレームリストＴＬを読み出して、ディスプレイ１３に、撮影者により、撮影に使用する切り取りフレームを切り取りフレームリストＴＬから選択可能に表示する。

切り取りフレームリストＴＬには、図８に示すように、例えば３種類の切り取りフレーム１９Ａ、１８Ｂ、１９Ｃが格納されており、撮影者はディスプレイ１３に表示されたそれら３種類の切り取りフレーム１９Ａ、１８Ｂ、１９Ｃを参照して、これから撮影に使用する切り取りフレーム１９を、操作部１１を介してカーソルをディスプレイ１１上で移動することなどにより選択する。

即ち、切り取りフレームリストＴＬには、図８に示すように、複数の切り取りフレーム１９が格納されている。それら切り取りフレーム１９には、合成写真画像を生成する際に、実写画像から人物被写体を切り取る範囲及び位置を指定する切り取り枠２０が、そのフレーム１９内での位置や、数を変化させた形で複数種類設定されている。例えば、図８（ａ）に示すフレーム１９には、フレーム１９の中央部に一人分の人物に対応する大きさを有する、単一の切り取り枠２０が設定されたフレーム１９が示されており、図８（ｂ）に示すフレーム１９には、フレーム１９の左側に、（ａ）のものよりもやや小さな一人分の人物に対応する大きさを有する、単一の切り取り枠２０が設定されたフレーム１９が示されており、更に、図８（ｃ）に示すフレーム１９には、フレーム１９の両側にそれそれ一人分の人物に対応する大きさを有する、合計二つの切り取り枠２０、２０が設定されたフレーム１９が設定されている。

撮影者は、ディスプレイ１３に示されるこれら複数のフレーム１９から、自分がこれから撮影するのに適したフレーム１９を選択し、操作部１１を操作することにより主制御部２に対して、当該選択された切り取りフレーム１９を合成写真生成に際して使用するフレーム１９として選択するように指令する。

フレーム１９が、撮影者により選択されたところで、主制御部２は、レンズ１６及び撮像素子１５などからなる光学系１７をカメラ制御部９を介して制御して、撮像素子１５に結像される人物被写体２１を含む実写画像ＰＣを、画像処理部７を介して取得し、フレームメモリ１０内に描画格納する。フレームメモリ１０内に格納される実写画像ＰＣは、例えば図２に示すようなものであり、実写画像ＰＣは、人物画像ＰＣ１とその背景としての背景画像ＰＣ２を有している。

また、同時に主制御部２は、カメラ制御部９を介してフレームメモリ１０内に描画格納された実写画像ＰＣをリアルタイムでディスプレイ１３に表示させて、現在撮像素子１５に捕捉されている映像を撮影者に提示するが、その際、図９のステップＳ１で、合成写真生成指令Ｃ１が出ている場合には、ステップＳ３に示すように、実写画像ＰＣと撮影者により選択された切り取りフレーム１９を、実写画像ＰＣに重ね合わせる形でフレームメモリ１０内でリアルタイムに合成してフレーム合成画像ＰＣＦとして、図３に示すように表示する。

撮影者は、ディスプレイ１１にリアルタイムに表示されるフレーム合成画像ＰＣＦを参照して、実写画像ＰＣ内の人物画像ＰＣ１が、表示されている切り取り枠２０内に入るように、操作部１１を操作して光学系１７のズーム状態や、レンズ１６の被写体２１に対する方向を調整する。

ディスプレイ１１に表示されている実写画像ＰＣ内の人物画像ＰＣ１が、表示されている切り取り枠２０内に入ったことが確認されたところで、撮影者は操作部１１に設けられたシャッターボタンを操作して、シャッターを切る。

すると、操作部１１からのシャッターボタンの操作信号ＳＧ１が出力され、操作信号ＳＧ１は主制御部２に入力され（図９のステップＳ４）、主制御部２はカメラ制御部９を介してフレームメモリ１０内のシャッターボタンが操作された時点の、ディスプレイに表示されているリアルタイムのフレーム合成画像ＰＣＦを図示しないメモリに取り込み電子的に固定する。

次に、主制御部２は、輪郭処理部１２に対して、メモリに固定されたフレーム合成画像ＰＣＦから、実写画像ＰＣの人物被写体２１が表示されている人物画像ＰＣ１を切り抜いて、図４に示す人物画像ＰＣ１と、それ以外の図５に示す背景画像ＰＣ２とに抽出分離する演算処理を行うように指令する。輪郭処理部１２は、メモリ内に格納されたフレーム合成画像ＰＣＦの、切り取り枠２０に囲まれている人物画像ＰＣ１の輪郭ＰＦ２を公知の手法で抽出する形で、抽出する。こうして、フレーム合成画像ＰＣＦを、人物画像ＰＣ１と、図５に示す人物画像ＰＣ１以外の背景画像ＰＣ２とに分離して、それぞれを図示しないメモリに格納する。輪郭処理部１２による人物画像ＰＣ１の輪郭抽出は、予め人物画像ＰＣ１が切り取り枠２０内に収まるように撮影されているので、当該切り取り枠２０周辺についてのみ行うことにより実行することが出来、デジタルカメラ１の輪郭処理部１２として機能するＣＰＵなどの演算能力が十分でない場合でも、短時間で行うことが出来、カメラ本来の制御動作に支障を来すようなことはない。

こうして、フレーム合成画像ＰＣＦから、人物画像ＰＣ１と背景画像ＰＣ２とが分離抽出されたところで、主制御部２は、カメラ制御部９を介してキャラクタメモリ５に格納された複数のキャラクタ画像ＣＩを、ディスプレイ１３に表示させ、撮影者に対して、合成写真画像に使用するキャラクタ画像ＣＩを操作部１１を介して選択させる。

即ち、キャラクタメモリ５には、図６に示すように、合成写真画像を生成する際の素材としてキャラクタ画像ＣＩが複数枚格納されており、カメラ制御部９は、それら格納された複数のキャラクタ画像ＣＩをディスプレイ１３に、撮影者が操作部１１を操作することにより選択可能に表示する。撮影者は、操作部１１を適宜操作して、主制御部２に対してディスプレイ１３に表示され複数のキャラクタ画像ＣＩから、合成写真画像に使用することを希望するキャラクタ画像ＣＩを選択し、指令する。

キャラクタ画像ＣＩが、撮影者により選択されたところで、主制御部２は画像合成部６に対して、合成写真画像を生成するように指令するが、この際、画像合成部６は、図９のステップＳ８で、キャラクタ画像ＣＩと人物画像ＰＣ１を重ねて描画する際に、キャラクタ画像ＣＩに表示されたキャラクタの輪郭を示す、図６のキャラクタ輪郭ＰＦ１の少なくとも一部が、図４の人物画像ＰＣ１に表示された人物の輪郭を示す人物輪郭ＰＦ２に重なるような配置位置を演算し、キャラクタ画像ＣＩのキャラクタが人物画像ＰＣ１の人物の後に位置するようにその合成写真画像ＰＣＸにおけるキャラクタ画像ＣＩの相対配置位置を演算決定する。

なお、人物画像ＰＣ１の位置は、実写画像ＰＣにおいては、撮影者が選択した切り取りフレーム１９の切り取枠２０の位置に応じてだいたい決まっているので、画像合成部６は、撮影者が選択した切り取りフレーム１９の切り取り枠２０の位置に応じて、キャラクタ画像ＣＩを人物画像ＰＣ１の下方に一部が重なるように演算することは容易である。

なお、予め各切り取りフレーム１９について、各キャラクタ画像ＣＩの配置位置（上述のように、キャラクタ画像ＣＩが人物画像ＰＣ１の下方に一部重なるように、各切り取り枠２０に囲まれた領域と各キャラクタ画像（ＣＩ）とが一部重なるような位置）を決めておいて、その位置を各切り取りフレーム１９について各キャラクタ画像ＣＩ毎にメモリに格納しておき、撮影者が選択した切り取りフレーム１９の切り取り枠２０及びキャラクタ画像ＣＩに応じて、前記メモリから、当該切り取りフレーム１９における当該キャラクタ画像ＣＩの配置位置読み出し、該読み出されたキャラクタ画像の配置位置に基づいて、キャラクタ画像ＣＩの人物画像ＰＣ１に対する相対位置を演算設定するように構成することも可能である。

キャラクタ画像ＣＩの人物画像ＰＣ１に対する配置位置が決定されたところで、画像合成部６は、図９のステップＳ９に入り、メモリに格納された人物画像ＰＣ１及び背景画像ＰＣ２と、撮影者により選択されたキャラクタ画像ＣＩを、図７に示すように、図中奥の方から、背景画像ＰＣ２、キャラクタ画像ＣＩ、人物画像ＰＣ１の順に手前に向けて、重ね合わす形でフレームメモリ１０に描画し、合成写真画像ＰＣＸを生成する。即ち、背景画像ＰＣ２を後方に配置した形で、その前方に、キャラクタ画像ＣＩ及び人物画像ＰＣ１を、人物画像ＰＣ１がキャラクタ画像ＣＩの前方に配置される形で、フレームメモリ１０に描画する。

描画生成された合成写真画像ＰＣＸは、ディスプレイ１３に表示され、撮影者は当該演算生成された合成写真画像ＰＣＸを見て、確認し、操作部１１を操作して、主制御部２に対してフレームメモリ１０に合成された合成写真画像ＰＣＸを、図示しない撮影済み写真格納用メモリに格納するように指令する。

撮影済み写真格納用メモリに格納された合成写真画像ＰＣＸは、操作部１１を介して任意の時点で、ディスプレイ１３に表示したり、また外部のプリンターに図示しないインターフェースを介して出力したりすることが出来る。

こうして、合成された合成写真画像ＰＣＸは、背景画像ＰＣ２と人物画像ＰＣ１との間にキャラクタ画像ＣＩが、キャラクタ画像ＣＩと人物画像ＰＣ１の輪郭ＰＦ１，ＰＦ２が重なるように配置される形で合成されるので、例えばあたかもキャラクタ画像ＣＩにより人物画像ＰＣ１が背後から祝福を受けているような状態を表現することが出来、親しみのある画像生成などが可能となる。

また、フレーム合成画像ＰＣＦから単に人物画像ＰＣ１を抽出するだけでなく、人物画像ＰＣ１を抽出した後の背景画像ＰＣ２も保存しておき、合成写真画像ＰＣＸを演算生成する際に、再度背景画像ＰＣ２として使用して合成写真画像ＰＣＸを生成するので、実写画像ＰＣの雰囲気を保ったまま合成写真画像ＰＣＸを生成することが出来、合成写真画像にありがちな不自然さを無くすることが出来る。

本発明は、デジタルカメラ及び当該デジタルカメラにインストールされて使用されるデジタルカメラ用プログラムとして利用することが出来る。

図１は、本発明が適用されるデジタルカメラの一例を示す制御ブロック図。 図２は、デジタルカメラで撮影される実写画像の一例を示す図。 図３は、切り取りフレームが表示されたフレーム合成画像の一例を示す図。 図４は、撮影された画像から抽出された人物画像の一例を示す図。 図５は、人物画像が抽出された後の背景画像の一例を示す図。 図６は、キャラクタメモリに格納されたキャラクタ画像の一例を示す図。 図７は、合成された画像の一例を示す図。 図８は、フレームメモリに格納された切り取りフレームの例を示す図。 図９は、合成写真撮影の手順の一例を示すフローチャートである。

符号の説明

１……デジタルカメラ
２……主制御部
５……キャラクタメモリ
６……画像合成部
７……画像処理部
９……カメラ制御部
１０……フレームメモリ
１１……操作部
１３……ディスプレイ
１７……光学系
１９……切り取りフレーム
２０……切り取り枠
２１……人物被写体
ＣＩ……キャラクタ画像
ＰＣ……実写画像
ＰＣ１……人物画像
ＰＣ２……背景画像
ＰＣＦ……フレーム合成画像
ＰＣＸ……合成写真画像

Claims (4)

1. 合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
   実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
   前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
   前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
   光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
   前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
   前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
   前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込み、メモリに格納するフレーム合成画像取り込み手段、
   前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
   複数のキャラクタ画像を格納するキャラクタ画像格納手段、
   前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
   前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
   前記選択されたキャラクタ画像と、前記画像抽出分離手段により分離された人物画像において、両者の輪郭が互いに重なる様に前記キャラクタ画像の前記人物画像に対する相対配置位置を演算するキャラクタ画像配置位置演算手段、
   前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
   前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
   からなる、デジタルカメラ。
   
2. 合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
   実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
   前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
   前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
   光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
   前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
   前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
   前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込み、メモリに格納するフレーム合成画像取り込み手段、
   前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
   複数のキャラクタ画像を格納するキャラクタ画像格納手段、
   前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
   前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
   前記各キャラクタ画像について、前記フレーム格納手段に格納された各切り取りフレームについて、当該切り取りフレームの各切り取り枠と前記キャラクタ画像が一部重なるような、前記キャラクタ画像の配置位置を格納した、キャラクタ画像配置メモリ、
   前記切り取りフレーム選択手段により選択された切り取りフレームについて、前記キャラクタ画像配置メモリから前記キャラクタ画像選択手段により選択されたキャラクタ画像に応じた、配置位置を読み出し、該キャラクタ画像と前記画像抽出分離手段による分離された人物画像の相対配置位置を演算するキャラクタ画像配置位置演算手段、
   前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
   前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
   からなる、デジタルカメラ。
   
3. デジタルカメラに内蔵されるコンピュータであって、
   該コンピュータを、
   合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
   実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
   前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
   前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
   光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
   前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
   前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
   前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段、
   前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
   複数のキャラクタ画像を格納するキャラクタ画像格納手段、
   前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
   前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
   前記選択されたキャラクタ画像と前記画像抽出分離手段による分離された人物画像において、両者の輪郭が互いに重なる様に前記キャラクタ画像の前記人物画像に対する相対配置位置を演算するキャラクタ画像配置位置演算手段、
   前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
   前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
   として機能させるための、デジタルカメラ用プログラム。
   
4. デジタルカメラに内蔵されるコンピュータであって、
   該コンピュータを、
   合成写真画像を生成するように指令する合成写真生成指令を出力自在な指令手段、
   実写画像から人物被写体を切り取る範囲及び位置を指定した切り取り枠が設定された複数の切り取りフレームを格納するフレーム格納手段、
   前記合成写真生成指令により、前記フレーム格納手段に格納された複数の切り取りフレームを、ディスプレイに選択可能に提示する、切り取りフレーム提示手段、
   前記ディスプレイに表示される複数の切り取りフレームから、任意の切り取りフレームの選択を指令する切り取りフレーム選択手段、
   光学系を介して取得した人物被写体を含む実写画像を、所定のメモリに格納する実写画像取得格納手段、
   前記メモリ内に格納された実写画像と前記選択された切り取りフレームを重ね合わせる形で前記メモリ上で合成してフレーム合成画像を生成し、当該生成されたフレーム合成画像を前記ディスプレイに表示する、実写画像表示手段、
   前記ディスプレイに表示されるフレーム合成画像の取り込みを指令する操作信号を出力することの出来るシャッター手段、
   前記シャッター手段からの操作信号に基づいて、前記ディスプレイに表示されるフレーム合成画像を取り込みメモリに格納するフレーム合成画像取り込み手段、
   前記取り込まれたフレーム合成画像を、前記実写画像の前記切り取りフレームに囲まれている人物被写体が表示された人物画像と、それ以外の背景画像とに分離し、それぞれを所定のメモリに格納する、画像抽出分離手段、
   複数のキャラクタ画像を格納するキャラクタ画像格納手段、
   前記キャラクタ画像格納手段に格納された複数のキャラクタ画像を、選択可能に前記ディスプレイに表示する、キャラクタ画像提示手段、
   前記ディスプレイに表示された複数のキャラクタ画像から、任意の前記キャラクタ画像の選択を指令するキャラクタ画像選択手段、
   前記各キャラクタ画像について、前記フレーム格納手段に格納された各切り取りフレームについて、当該切り取りフレームの各切り取り枠と前記キャラクタ画像が一部重なるような、前記キャラクタ画像の配置位置を格納した、キャラクタ画像配置メモリ、
   前記切り取りフレーム選択手段により選択された切り取りフレームについて、前記キャラクタ画像配置メモリから前記キャラクタ画像選択手段により選択されたキャラクタ画像に応じた、配置位置を読み出し、該キャラクタ画像と前記画像抽出分離手段による分離された人物画像の相対配置位置を演算するキャラクタ画像配置位置演算手段、
   前記キャラクタ画像配置位置演算手段により演算された前記キャラクタ画像の相対配置位置に基づいて、前記キャラクタ画像を、前記背景画像の前方に、前記人物画像とキャラクタ画像を、該人物画像がキャラクタ画像の前方に配置される形で前記メモリに描画して合成写真画像を生成する、合成写真画像描画手段、
   前記生成された合成写真画像を、撮影済み写真格納用メモリに格納するメモリ格納手段、
   として機能させるための、デジタルカメラ用プログラム。
   

Images