JP2000196956A - 画像合成装置および画像合成方法 - Google Patents

Abstract

(57)【要約】 【課題】 画像プリント装置において、利用者が選択し
た背景画の中の奥行を含む任意の位置に、任意の角度や
大きさで背景画像に馴染ませて被写体画像を合成する。 【解決手段】 背景画像を、あらかじめ奥行方向の要素
別に分離して記憶しておき、被写体画像は、分離された
背景画像の任意の位置に挟み込んで合成する。被写体画
像自身を平面上の任意の位置に任意の角度、大きさに変
形、移動して上記の挟み込み合成を行う。更に、背景画
像の奥行を含む位置に応じて、そこに被写体画像を配置
した時に背景画像に馴染む明度、彩度をあらかじめ決め
て記憶しておき、利用者が被写体画像配置位置を指定し
たら、配置位置に応じて設定してある明度、彩度に被写
体画像を補正して合成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体のデジタル
画像と、別のデジタル画像を合成してシールや葉書き、
あるいはフロッピーディスクなどの出力媒体に出力する
画像合成方法および装置に関するものである。

【０００２】

【従来の技術】従来、街頭、店先、ゲームセンタ等に設
置されている画像プリント装置では、あらかじめ用意し
た複数のフレーム画像（ハートマーク、キャラクタや風
景画等）の中から利用者が選択したフレーム画像に、カ
メラ(ディジタルカメラ)で撮影した被写体画像を合成
し、プリントアウトして利用者に提供している。この画
像プリント装置を使用する際は、利用者は先ず用意され
た複数のフレーム画像の中から好みのフレーム画像を選
択する。フレーム画像が選択されると、モニタ画面に、
選択されたフレーム画像とカメラで撮影された被写体で
ある利用者が同時に写し出される。利用者はモニタ画面
を見ながら移動して、フレーム画像中の自分の位置を決
定する。位置決定後、被写体が撮影され、被写体画像と
フレーム画像が合成されてプリントアウトされる。特開
平１０−１８６４７３号公報に記載のものは、奥行きが
あって面白味のある合成画像を作成する為に、複数の異
なる前景フレームと背景フレームを用意し、利用者の選
択した任意の前景フレーム画像と背景フレーム画像の間
に被写体画像を挟み込んで画像合成するようにしてい
る。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
画像プリント装置では、被写体画像は選択したフレーム
画像の前方或いは後方にしか表示できない。また、特開
平１０−１８６４７３号公報に記載のものは、用意する
前景フレームと背景フレームは異なるパターンの画像で
ある。従って、１枚の背景画の中の任意の奥行の位置に
被写体画像を合成することはできないという問題があっ
た。また、従来の画像プリント装置では、モニタ画像を
見ながら被写体である利用者が移動することにより、フ
レーム画像中の被写体画像の配置を決めていた。

【０００４】従って、フレーム画像中の被写体画像の位
置は限られた範囲でしか移動させることができず、被写
体画像の大きさもあらかじめ定められた大きさでしか合
成することができなかった。更に、従来の画像プリント
装置では、被写体画像は選択したフレーム画像によらず
一定の明度と彩度で合成される。従って、合成された画
像では、被写体が背景から浮かび上がったようになり、
背景に溶け込んだ自然な合成画像を得ることができなか
った。

【０００５】本発明の目的は、利用者が選択した背景画
の中の奥行を含む任意の位置に、利用者の選択に応じた
任意の角度や大きさで背景画像に馴染ませて被写体画像
を合成することで、自然で面白味のある合成画像が得ら
れる画像合成画像装置および方法を提供することにあ
る。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、被写体を撮影するカメラと、複数組の背
景画像を記憶した背景画像記憶手段と、前記各組の背景
画像を複数の領域に分割した各分割領域別に、被写体画
像との合成のための明度、彩度のデータを記憶した領域
別明度・彩度記憶手段と、前記背景画像記憶手段に記憶
されている背景画像の中から任意の背景画像を選択する
背景画像選択手段と、前記カメラにより撮影された被写
体画像を、前記背景画像選択手段により選択された背景
画像中に合成するための位置、角度、大きさの指標のう
ち少なくとも位置の指標を指示する指示手段と、前記指
示手段で指示された位置に対応する領域別の明度および
彩度のデータを前記領域別明度・彩度記憶手段から読み
出し、その明度および彩度のデータにより前記カメラで
撮影された被写体画像の明度および彩度を補正し、前記
背景画像選択手段で選択された背景画像中の前記指示手
段で指示された位置に、所定の角度と大きさまたは前記
指示手段で指示された指標に従って合成する画像合成処
理手段と、この画像合成処理手段の合成処理結果を予め
定めた出力媒体に出力する出力手段とを備えたことを特
徴とする。

【０００７】また、前記背景画像記憶手段に記憶される
各組の背景画像は、該背景画像中に存在する背景構成要
素を奥行方向の位置に応じて分離した複数の背景画像群
から構成されていることを特徴とする。

【０００８】また、前記指示手段は、被写体画像を合成
するための背景画像中の２次元平面位置と奥行方向の位
置とを指示するものであることを特徴とする。

【０００９】また、前記領域別明度・彩度記憶手段は、
各組の背景画像を構成する複数の背景画像群のそれぞれ
を更に複数の領域に分割した各分割領域別に、被写体画
像との合成のための明度、彩度のデータを記憶したもの
であることを特徴とする。

【００１０】また、本発明の画像合成方法は、被写体を
撮影するカメラと、複数組の背景画像を記憶した背景画
像記憶手段と、前記各組の背景画像を複数の領域に分割
した各分割領域別に、被写体画像との合成のための明
度、彩度のデータを記憶した領域別明度・彩度記憶手段
と、前記背景画像記憶手段に記憶されている背景画像の
中から任意の背景画像を選択する背景画像選択手段と、
前記カメラにより撮影された被写体画像を、前記背景画
像選択手段により選択された背景画像中に合成するため
の位置、角度、大きさの指標のうち少なくとも位置の指
標を指示する指示手段と、被写体画像と背景画像とを合
成する画像合成処理手段と、この画像合成処理手段の合
成処理結果を予め定めた出力媒体に出力する出力手段と
を備え、前記カメラで撮影された被写体画像を前記背景
画像選択手段で選択された背景画像中に前記指示手段で
指示された指標に従って前記画像合成処理手段により合
成するに際し、前記指示手段で指示された位置に対応す
る領域別の明度および彩度のデータを前記領域別明度・
彩度記憶手段から読み出し、その明度および彩度のデー
タにより前記カメラで撮影された被写体画像の明度およ
び彩度を補正し、前記背景画像選択手段で選択された背
景画像中の前記指示手段で指示された位置に、所定の角
度と大きさまたは前記指示手段で指示された指標に従っ
て合成することを特徴とする。

【００１１】

【発明の実施の形態】以下、本発明を実施する場合の一
形態を図面を参照して具体的に説明する。図１は、本発
明の画像合成装置の一実施形態を示す機能構成図であ
り、図１に示すように、被写体１を撮影する為のカメラ
（ディジタルカメラ）２と、あらかじめ用意された複数
組の背景画像を記憶した背景画像記憶手段３と、前記各
組の背景画像中に違和感なく被写体画像を合成するのに
最適な明度と彩度のデータを背景画像の領域別に記憶し
た領域別明度・彩度記憶手段４と、前記背景画像記憶手
段３に記憶されている背景画像の中から任意の背景画像
を利用者が選択する際に操作される背景画像選択手段５
と、前記カメラ２により撮影された被写体画像を、前記
背景画像選択手段５により選択された背景画像中の任意
の位置、角度、大きさで合成する為に、利用者が被写体
画像合成位置、角度、大きさの指標のうち少なくとも位
置の指標を指定する被写体画像位置・角度・大きさ指示
手段６と、前記カメラ２で撮影された被写体画像を、前
記背景画像選択手段５で選択された背景画像中に前記被
写体画像位置・角度・大きさ指示手段（以下、指示手段
と略記）６により指示された位置、角度、大きさで前記
領域別明度・彩度記憶手段４に記憶された明度、彩度の
データで補正して合成して出力手段７から出力する画像
処理制御手段８を備えている。

【００１２】背景画像記憶手段３中の各組の背景画像
は、各組の背景画像中に存在する背景構成要素を奥行方
向の位置に応じて分離した複数の背景画像群で構成し、
前記指示手段６では背景画像の２次元平面上の位置だけ
でなく奥行方向の被写体画像合成位置も選択可能になっ
ている。更に、前記背景画像群を更に複数の領域に分割
し、その分割領域別に被写体画像を配置した時に被写体
画像が背景画像に違和感なく馴染むような明度・彩度の
データを前記領域別明度・彩度記憶手段４に予め記憶し
ておき、利用者に指定された被写体画像の配置位置によ
り前記領域別明度・彩度記憶手段４に記憶された明度・
彩度のデータによって被写体画像の明度と彩度を補正し
て背景画像に合成するようになっている。ここで、背景
画像記憶手段３に記憶される背景画像と、領域別明度・
彩度記憶手段４に記憶される明度・彩度のデータは、こ
れらを１セットにして記憶する記憶媒体で用意してお
き、この記憶媒体から取得することも可能であるし、背
景画像と明度・彩度のデータとを本装置に付属する入力
装置から直接入力することも可能である。記録媒体を用
いる構成にすることにより、本装置の設置場所あるいは
使用環境に応じた背景画像を極めて容易に使用可能にな
ると共に、更新も容易になる。なお、記録媒体に代えて
インタネット等の通信回線を使用してサーバコンピュー
タから取得する構成にすることもできる。

【００１３】図２は、画像合成装置の一実施形態を示す
側面図であり、筐体２１の内部は被写体２２が複数人収
容可能な空間が用意されている。そして、被写体２２の
正面側には、被写体２２を撮影するカメラ２３と、図１
の背景画像選択手段５及び指示手段６に相当するモニタ
兼タッチパネル２４と、図１の画像処理制御手段８、背
景画像記憶手段３および領域別明度・彩度記憶手段４を
含む制御装置２５、出力手段７に相当するビデオプリン
タ２６が配置されている。カメラ２３は、例えばＣＣＤ
カメラが使用され、その視野は、筐体内部に入室した１
人又は複数人の被写体２２の頭部から足元までの全身の
画像を撮影可能に設定されている。

【００１４】図３は、図２の画像合成装置の機能部分の
構成を示すブロック図であり、制御装置２５には、ＣＰ
Ｕ２５１、メモリ２５２、Ｉ／Ｏ制御部２５３、画像入
力部２５４、パターンメモリ２５５、画像処理部２５
６、画像出力部２５７が設けられ、Ｉ／Ｏ制御部２５３
にはタッチパネル２４２が接続されている。また、画像
出力部２５７には、ビデオプリンタ２６とモニタ（ディ
スプレイ）２４１が接続されている。タッチパネル２４
２は、モニタ２４１の画面表面上に配置され、表示画面
上の任意の位置に接触または押圧すると、その位置を示
す位置信号を出力するものであり、この実施形態では、
各種操作メニューの選択、背景画像の選択、被写体画像
の合成位置、角度、大きさを指定するために使用され
る。また、カメラ２３としては、例えばＣＣＤカメラが
使用される。画像入力部２５４は、カメラ２３で撮影し
た画像データをＡ／Ｄ変換装置（図示しない）によりア
ナログ信号からデジタル信号に変換する。ＣＰＵ２５１
は、カメラ２３からの撮影画像から被写体画像の輪郭部
を抽出し、パターンメモリ２５５に格納してある背景画
像と合成し、ビデオプリンタ２６へプリント出力処理を
行う。メモリ２５２には画像入力部２５４から取り込ん
だ被写体画像データが記憶されるほか、ＣＰＵ２５１に
発する命令と本合成画像作成装置の制御手段となる命令
群がプログラムとして記憶されている。また、ＣＰＵ２
５１の処理データもワークメモリとして一時的に記憶す
る。パターンメモリ２５５には、被写体画像と重ね合わ
せる背景画像データと、被写体の明度と彩度を補正する
為の領域別明度・彩度データ及びモニタ２４１に表示す
る操作メニュー等のガイドデータが記憶されている。前
記背景画像データ及び領域別明度・彩度データについて
は後述する。

【００１５】画像処理部２５６は、ＣＰＵ２５１の制御
により、画像入力部２５４から取り込んだ被写体画像デ
ータから、被写体画像の輪郭抽出処理を実行する。そし
て、パターンメモリ２５５に記憶されている背景画像の
うち利用者(被写体)がタッチパネル操作で選択した選択
済み背景画像と前記輪郭抽出した被写体画像とを、利用
者(被写体)がタッチパネル操作で選択した背景画像中の
指定位置に指定の角度および指定の大きさで重ね合わせ
合成する。

【００１６】画像出力部２５７は、画像処理部２５６が
合成した画像をモニタ画面に表示すると共に、ビデオプ
リンタ２６からプリント出力させる。

【００１７】図４は、パターンメモリ２５５に記憶する
１組の背景画像データの構成を示す図であり、図５及び
図６は１組の背景画像に対して記憶される領域別明度・
彩度データの構成を示す図であり、パターンメモリ２５
５にはこのようにして構成された複数組の背景画像デー
タと対応する領域別明度・彩度データが予め記憶されて
いる。図４に示すような１枚の背景画像４０１があった
場合、本発明では、図４に示すように、１枚の背景画像
中の背景構成要素を、前方から奥行方向の距離に応じて
人間が判断しながら複数枚の画像に分割(分離)する。す
なわち、図４の例では、１番手前側の背景構成要素４０
２と４０３を１枚目の分離背景画像４１１として分離
し、さらにそのすぐ奥に位置する背景構成要素４０４を
２枚目の分離背景画像４１２として分離し、以降、同様
にして、背景構成要素４０５を３枚目の分離背景画像４
１３、背景構成要素４０６を４枚目の分離背景画像４１
４、背景構成要素４０７を５枚目の分離背景画像４１５
として分離する。この場合、分離数は任意である。パタ
ーンメモリ１３には、１枚の背景画像４０１のデータを
分離背景画像４１１〜４１５からなる背景画像群として
記憶させる。被写体画像４１０を背景画像に合成する際
には、被写体２２である利用者のタッチパネル指示操作
により前記複数枚の分離背景画像中の連続した任意の２
枚の分離背景画像の間に被写体画像を挟み込むことによ
り、奥行方向の任意の位置に被写体画像を合成する。こ
のように、背景画像の奥行き方向の任意の位置に被写体
画像を合成する場合、合成位置における背景に馴染んだ
自然な合成画像を作成する場合、合成位置における背景
に合うように被写体画像の明度と彩度を補正する必要が
ある。領域別明度・彩度データはそのために必要になる
ものであり、図５、図６に示すように、図４で示した分
離背景画像の各々を、更に複数の領域(図６の例では９
領域)に人間が分割する。以降、分割された各々の領域
を分割領域という。分割数は任意であり、分割する領域
の大きさも均等でなくてもよい。

【００１８】図６では、分離背景画像の各々を均等に９
つの矩形領域に分割した例を示す。

【００１９】分割領域毎に、分割領域に被写体画像を置
いた時に最適となる明度・彩度のデータを人間があらか
じめ決めて、図６に示すように何枚目の分離背景画像で
あるかを示す奥行方向の位置ごとに各分割領域(ａ〜ｉ)
の明度６０１、彩度６０２として記憶しておく。なお、
記憶しておく各分割領域の明度６０１、彩度６０２は以
下のようにして決める。分離背景画像のある分割領域に
モデル画像を配置してモデル画像の明度・彩度を人間が
調整しながら背景画像と合成し、モデル画像が背景画像
になじむと判断したモデル画像の明度・彩度を当該分割
領域の明度・彩度とする。これを全分離背景画像の全分
割領域について行うことにより、全分離背景画像の全分
割領域の明度６０１、彩度６０２を決める。あらかじめ
用意した複数の背景画像すべてについて、当該背景画像
の分離背景画像を分割領域に分割し、前記のように分割
領域ごとに明度・彩度を決定してパターンメモリ２５５
に記憶しておく。被写体画像の配置位置が利用者により
指定されたら、その配置位置における前記明度６０１、
彩度６０２のデータを参照し、被写体画像の明度と彩度
として適用する。

【００２０】図７は、本実施形態の動作を示すフローチ
ャートである。図２を参照して説明する。被写体（利用
者）２２は、モニタ兼タッチパネル２４に表示された複
数の背景画の中から希望する背景画を選択する（ステッ
プ７０１）。次に、カメラ２３により被写体２２をビデ
オ撮影する（ステップ７０２）。

【００２１】ビデオ撮影は次のステップ７０３で被写体
画像の配置位置が決まるまでモニタ画像として撮影を続
ける。次に、ステップ７０１で選択された背景画像とス
テップ７０２で撮影された被写体のモニタ画像を重ねて
モニタ兼タッチパネル２４に画面表示する。被写体（利
用者）２２はモニタ表示された画像を見ながら、タッチ
パネル２４により被写体画像の位置（奥行も含む）、回
転角度、大きさを指示する（ステップ７０３）。

【００２２】この被写体画像の位置（奥行も含む）、回
転角度、大きさの指示方法の詳細は図８及び図９で後述
する。次に、被写体（利用者）２２はポーズを決め、被
写体（利用者）２２が直接指定したシャッタタイミング
または装置が決定したシャッタタイミングでカメラ２３
により被写体２２の撮影を行う（ステップ７０４）。撮
影した画像から被写体２２の輪郭を抽出し（ステップ７
０５）、抽出した被写体画像をステップ７０３の被写体
（利用者）２２の指示に応じて補正する（ステップ７０
６）。この被写体画像の補正の詳細については図１１で
後述する。補正した被写体画像と背景画像を合成し（ス
テップ７０７）、ビデオプリンタ２６で印刷し出力する
（ステップ７０８）。

【００２３】図８は、前記ステップ７０３の被写体画像
の位置、角度、大きさを指示する手順を示すフローチャ
ートであり、被写体モニタ画像がモニタ兼タッチパネル
２４に表示されたならば(ステップ８０１)、背景画像中
に重ね合わせる２次元平面上の位置、被写体画像の回転
角度、大きさ、奥行き方向の位置を順次指定する(ステ
ップ８０２〜８０５)。なお、ステップ８０２からステ
ップ８０５までの順序は任意である。

【００２４】図９は、背景画像における平面上の位置指
定から被写体画像の奥行方向の挿入位置指定までの操作
の流れ及びモニタ兼タッチパネル２４の表示内容を示し
たものである。以下、図８のステップ順序に従って図９
および図１０を用いて位置、角度、大きさの指示方法の
詳細を説明する。ここでは、モニタ兼タッチパネル２４
には選択した背景画像と、カメラ２３で撮影した被写体
モニタ画像を被写体（利用者）２２の指定に従い、移
動、回転、拡大（または縮小）して合成して表示する例
を説明する。始めに、制御装置２５は、被写体（利用
者）２２が選択した背景画像上の最前面にカメラ２３で
撮影した被写体モニタ画像をあらかじめ定めた矩形領域
で表示する（ステップ９０１）。次に、制御装置２５
は、モニタ兼タッチパネル２４のモニタ画面上に、被写
体画像の２次元平面上の位置を指定するようガイダンス
を表示し、被写体（利用者）２２が被写体画像の位置を
移動するように促す（ステップ９０２）。そこで、被写
体（利用者）２２はタッチパネル操作により被写体モニ
タ画像を指で触れながら画面上で移動させ、２次元平面
上の位置を指定する（ステップ９０３）。すなわち、破
線で示す被写体モニタ画像９０３１を画面上で矢印方向
に移動させ、好みの合成位置で停止させる。９０３２は
好みの合成位置で停止された被写体モニタ画像である。
次に、２次元平面上の位置を指定し終わったならば、被
写体（利用者）２２はモニタ兼タッチパネル２４上に表
示された「位置決定ボタン」を押す（ステップ９０
４）。次に、制御装置２５は、被写体モニタ画像の回転
角度を指定するようガイダンスを表示する（ステップ９
０５）。被写体（利用者）２２はモニタ兼タッチパネル
２４で被写体モニタ画像９０３２に触れながら指を回転
させることにより、あらかじめ定めた被写体モニタ画像
の中心点等の支点を中心に指の移動量に合わせて被写体
モニタ画像９０３２を回転させることにより、被写体モ
ニタ画像９０３２の回転角度を指定する（ステップ９０
６）。制御装置２５は、被写体（利用者）２２からの指
定に応じて被写体モニタ画像９０３２を回転させる。９
０３３は、回転角度が指定された被写体モニタ画像であ
る。

【００２５】被写体画像の回転角度を指定し終わったな
らば、被写体（利用者）２２はモニタ兼タッチパネル２
４上に表示された「角度決定ボタン」を押す（ステップ
９０７）。次に、制御装置２５は、被写体画像の大きさ
を指定するようガイダンスを表示する（ステップ９０
８）。被写体（利用者）２２は、被写体モニタ画像９０
３３に触れ、矩形領域として表示されている被写体モニ
タ画像領域の中心線から遠ざかる方向または近づく方向
に指を移動する。指が中心線から遠ざかる方向に移動す
ることで拡大、指が中心線に近づく方向に移動すること
で縮小と判断する。被写体（利用者）２２は指を移動さ
せることにより、被写体モニタ画像の大きさを指定する
（ステップ９０９）。制御装置２５は、被写体（利用
者）２２からの指定に従って被写体モニタ画像９０３３
の大きさを変化させる。９０３４は、拡大されたモニタ
画像を表している。

【００２６】被写体画像の大きさを指定し終わったなら
ば、被写体（利用者）２２はモニタ兼タッチパネル２４
上に表示された「大きさ決定ボタン」を押す（ステップ
９１０）。次に、制御装置２５は、被写体モニタ画像の
奥行方向の挿入位置を指定するようガイダンスを表示す
る（ステップ９１１）。被写体（利用者）２２はモニタ
兼タッチパネル２４上で奥行方向の挿入位置を指定する
（ステップ９１２）。制御装置２５は、被写体（利用
者）２２からの指定に従って被写体モニタ画像９０３４
の奥行方向の挿入位置を変化させる。詳細は図１１を用
いて後述する。９０３５は奥行方向の挿入位置が決定さ
れた被写体モニタ画像である。奥行き方向の挿入位置を
指定し終わったならば、モニタ兼タッチパネル２４上に
表示された「奥行挿入位置決定ボタン」を押す（ステッ
プ９１３）。

【００２７】図１１は、奥行方向の被写体画像挿入位置
の指定方法とモニタ兼タッチパネル２４の表示を示した
ものである。まず、被写体（利用者）２２が選択した背
景画像上の最前面である１枚目分離背景画像４１１の前
面に、被写体（利用者）２２がステップ９０３からステ
ップ９１０で指定した平面上の位置、角度、大きさに変
形した被写体モニタ画像９０３４を表示する。モニタ上
には前記被写体モニタ画像９０３４と合わせて奥行方向
の挿入位置を指定する為のボタンを表示する。後方向
（奥に向かう方向）を示すボタン１１０１を被写体（利
用者）２２が押すと、あらかじめ奥行方向の要素別に分
離してある分離背景画像４１１〜４１５の１枚後方へ被
写体モニタ画像９０３４を移動する。後方向ボタン１１
０１を押す前に被写体モニタ画像９０３４がｎ枚目分離
背景画像の前面にあった場合、後方向ボタン１１０１を
押すことにより、被写体画像はｎ枚目分離背景画像とｎ
＋１枚目分離背景画像との間に位置することになる。す
なわち、ｎ枚目分離背景画像の前面にあった被写体画像
が、ｎ＋１枚目分離背景画像の前面に存在することにな
る。

【００２８】この状態で、制御装置２５は、全分離背景
画像と被写体画像とを合成、すなわち挟み込み合成して
モニタ画面に表示する。更に、後方向ボタン１１０１が
押されれば、更に１枚後方へ被写体モニタ画像９０３４
を移動して合成してモニタ表示し、前方向ボタン１１０
２が押されれば、１枚手前方向へ被写体モニタ画像９０
３４を移動して合成し、モニタ表示する。このようにし
て、被写体モニタ画像の挿入位置を順次ずらして合成し
てモニタ表示することにより、被写体（利用者）２２は
分離背景画像４１１〜４１５に対して被写体モニタ画像
９０３４の挿入位置を選択できる。

【００２９】図１２は、被写体画像の補正手順を示すも
のである。まず、図７のステップ７０３により被写体
（利用者）２２が指定した被写体画像の背景画像平面上
の位置（）、回転角度（）、拡大／縮小倍率
（）、奥行方向挿入位置（）の４つの情報を取り出
す（ステップ１２０１）。次に、図７のステップ７０５
により抽出した被写体輪郭画像を上記、、の情報
をもとに変形、移動する（ステップ１２０２）。次に、
変形、移動した被写体画像が、何枚目の分離背景画像に
あり、該分離背景画像の領域中のどの分割領域を占める
かを取り出す。ここで被写体画像が複数の分割領域にま
たがる場合は、最も大きな面積を占める分割領域を採用
する（ステップ１２０３）。次に、前記の奥行方向挿
入位置及び取出した被写体画像が占める分割領域に対応
する分割領域別明度・彩度データを図３のパターンメモ
リ２５５から取り出し、取り出した分割領域別明度・彩
度データを被写体画像の明度・彩度として被写体画像を
補正する（ステップ１２０４）。例えば、ｎ−１枚目分
離背景画像とｎ枚目分離背景画像との間に被写体画像が
あって、ｎ枚目分離背景画像における被写体画像が占め
る分割領域がｉである場合は、分割領域別明度・彩度デ
ータ中の「奥行方向挿入位置」がｎ枚目の分割領域ｉの
明度・彩度データによって被写体画像の明度・彩度が補
正される。なお、明度と彩度の補正方法については、本
願出願人が先に出願している特願平１０−２４５８７９
号の図１５〜図１８で示されている方法で実現可能であ
るので、ここでの詳細な説明は省略する。以上のように
して補正した被写体画像を背景画像と合成して印刷出力
する。

【００３０】なお、上記実施形態において、被写体画像
と背景画像の合成後、モニタ兼タッチパネル２４に合成
後の画像を表示し、被写体（利用者）２２が被写体画像
の配置位置を再度微調整可能なように構成することがで
きる。図１３にそのフローチャートを示す。ステップ１
３０１からステップ１３０７およびステップ１３０９、
１３１０は、図７のステップ７０１からステップ７０８
と同じであり、ステップ１３０８を挿入した点が異な
る。この手順では、ステップ１３０７で合成した画像を
モニタ兼タッチパネル２４に表示し、被写体（利用者）
２２が被写体画像の位置、角度、大きさを微調整する
（ステップ１３０８）。微調整については、位置、角
度、大きさの微調整範囲をステップ１３０３と同じ範囲
としてもよいし、調整できる範囲に制限を設けてもよ
い。なお、ステップ１３０８でモニタ兼タッチパネル２
４に表示する被写体モニタ画像は、ステップ１３０６で
補正された被写体輪郭画像を使用する。

【００３１】また、モニタ兼タッチパネル２４に表示す
る被写体モニタ画像はカメラ２３で撮影したビデオ画像
をあらかじめ定めた大きさの矩形領域に表示している
が、ビデオ画像をあらかじめ定めた大きさの矩形領域に
表示するのではなく、撮影した被写体モニタ画像から輪
郭を抽出したものを表示してもよい。図１４にそのフロ
ーチャートを示す。図７と異なるのは、被写体の位置や
角度、大きさを指定する前に、被写体の輪郭を抽出する
ステップ１４０３を挿入したことであり、その他のステ
ップは図７と同じである。ステップ１４０３に示すよう
に、撮影した被写体画像から輪郭を抽出し、ステップ１
４０４でモニタ兼タッチパネル２４に表示する被写体モ
ニタ画像にはここで抽出した輪郭画像を使用する。この
ようにすることにより、矩形枠で隠されていた好みの位
置に被写体画像を配置することができる。

【００３２】また、被写体（利用者）２２が被写体画像
の背景画像平面上の位置を指定する時は、被写体モニタ
画像と背景画像をその都度合成してモニタ兼タッチパネ
ル２４に表示しているが、被写体（利用者）２２が平面
上の位置を決める際は、被写体画像と背景画像をその場
で合成してモニタ兼タッチパネル２４に表示するのでは
なく、被写体画像と背景画像を一定間隔で交互にモニタ
兼タッチパネル２４に表示し、残像効果を利用してあた
かも背景画像上に被写体画像が合成されたように見える
ようにしてもよい。このようにすれば、画像合成にかか
る時間が少なくなり、処理の高速化を図れる。

【００３３】また、被写体画像の位置、角度、大きさの
３つの指標を全て指示する場合を説明したが、少なくと
も位置の指標を指示し、その他の指標は必要に応じて指
示する構成にすることも可能である。

【００３４】

【発明の効果】以上のように、本発明によれば、背景画
像をあらかじめ奥行方向の要素別に分離しておき、被写
体画像を背景画像中の任意の位置に任意の角度、大きさ
に変形、移動して合成するように構成したため、背景画
像上の奥行を含む任意の位置に任意の角度、大きさで被
写体画像を合成し、あたかも背景画像に中に存在するよ
うな自然な合成画像を得ることができる。

【００３５】更に、背景画像上の奥行を含む位置に応じ
てあらかじめ明度、彩度を決めておき、画像合成時に、
被写体画像の配置位置に応じて被写体画像の明度、彩度
を補正して合成することにより、被写体画像を背景画像
に馴染ませて合成することができる。

【００３６】以上により、面白味があり、なおかつ背景
画に溶け込んだ自然な合成画像を作成することができ
る。

【図面の簡単な説明】

【図１】本発明の画像合成装置の一実施形態を示す機能
構成図である。

【図２】本発明の画像合成装置の一実施形態を示す側面
図である。

【図３】図２の画像合成装置の機能部分の一実施形態を
ブロック構成図である。

【図４】背景画像の構成と記憶方法を示す説明図であ
る。

【図５】明度・彩度補正用のデータの構成と記憶方法を
示す説明図である。

【図６】図５の続きを示す説明図である。

【図７】画像合成処理手順を示すフローチャートであ
る。

【図８】被写体画像の位置、角度、大きさの指定手順を
示すフローチャートである。

【図９】被写体画像の位置、角度、大きさの指定手順と
モニタ画面の表示例を示す説明図である。

【図１０】図９の続きを示す説明図である。

【図１１】被写体画像の奥行方向挿入位置の指定手順と
モニタ画像の表示例を示す説明図である。

【図１２】被写体画像の補正手順を示すフローチャート
である。

【図１３】画像合成処理手順の別の実施形態を示すフロ
ーチャートである。

【図１４】画像合成処理手順の別の実施形態を示すフロ
ーチャートである。

【符号の説明】

１，２２…被写体、２，２３…カメラ、３…背景画像記
憶手段、４…領域別明度・彩度記憶手段、５…背景画像
選択手段、６…被写体画像位置・角度・大きさ指示手
段、７…出力手段、２４…モニタ兼タッチパネル、２５
…制御装置、２６…ビデオプリンタ、２５１…ＣＰＵ、
２５２…メモリ、２５５…パターンメモリ、２５６…画
像処理部、２５７…画像出力部、２４２…タッチパネ
ル、４０１…背景画像、４０２〜４０７…背景構成要
素、４１１〜４１５…分離背景画像。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 樋笠 博彦 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株式会 社内 (72)発明者 秋山 恵穂 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株式会 社内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 被写体画像と背景画像とを合成して出力
   する画像合成装置であって、 被写体を撮影するカメラと、 複数組の背景画像を記憶した背景画像記憶手段と、 前記各組の背景画像を複数の領域に分割した各分割領域
   別に、被写体画像との合成のための明度、彩度のデータ
   を記憶した領域別明度・彩度記憶手段と、 前記背景画像記憶手段に記憶されている背景画像の中か
   ら任意の背景画像を選択する背景画像選択手段と、 前記カメラにより撮影された被写体画像を、前記背景画
   像選択手段により選択された背景画像中に合成するため
   の位置、角度、大きさの指標のうち少なくとも位置の指
   標を指示する指示手段と、 前記指示手段で指示された位置に対応する領域別の明度
   および彩度のデータを前記領域別明度・彩度記憶手段か
   ら読み出し、その明度および彩度のデータにより前記カ
   メラで撮影された被写体画像の明度および彩度を補正
   し、前記背景画像選択手段で選択された背景画像中の前
   記指示手段で指示された位置に、所定の角度と大きさま
   たは前記指示手段で指示された指標に従って合成する画
   像合成処理手段と、 この画像合成処理手段の合成処理結果を予め定めた出力
   媒体に出力する出力手段とを備えたことを特徴とする画
   像合成装置。
2. 【請求項２】 前記背景画像記憶手段に記憶される各組
   の背景画像は、該背景画像中に存在する背景構成要素を
   奥行方向の位置に応じて分離した複数の背景画像群から
   構成されていることを特徴とする請求項１記載の画像合
   成装置。
3. 【請求項３】 前記指示手段は、被写体画像を合成する
   ための背景画像中の２次元平面位置と奥行方向の位置と
   を指示するものであることを特徴とする請求項１記載の
   画像合成装置。
4. 【請求項４】 前記領域別明度・彩度記憶手段は、各組
   の背景画像を構成する複数の背景画像群のそれぞれを更
   に複数の領域に分割した各分割領域別に、被写体画像と
   の合成のための明度、彩度のデータを記憶したものであ
   ることを特徴とする請求項２記載の画像合成装置。
5. 【請求項５】 複数組の背景画像を記憶した背景画像記
   憶領域と、前記各組の背景画像を複数の領域に分割した
   各分割領域別に、被写体画像との合成のための明度、彩
   度のデータを記憶した領域別明度・彩度記憶領域とを備
   える記憶媒体。
6. 【請求項６】 前記背景画像記憶領域に記憶される各組
   の背景画像は、該背景画像中に存在する背景構成要素を
   奥行方向の位置に応じて分離した複数の背景画像群から
   構成され、前記領域別明度・彩度記憶領域に記憶される
   明度、彩度のデータは、各組の背景画像を構成する分離
   された複数の背景画像群のそれぞれを更に複数の領域に
   分割した各分割領域別に、被写体画像との合成のための
   明度、彩度のデータにより構成されていることを特徴と
   する請求項５記載の記憶媒体。
7. 【請求項７】 被写体画像と背景画像とを合成して出力
   する画像合成方法であって、 被写体を撮影するカメラと、 複数組の背景画像を記憶した背景画像記憶手段と、 前記各組の背景画像を複数の領域に分割した各分割領域
   別に、被写体画像との合成のための明度、彩度のデータ
   を記憶した領域別明度・彩度記憶手段と、 前記背景画像記憶手段に記憶されている背景画像の中か
   ら任意の背景画像を選択する背景画像選択手段と、 前記カメラにより撮影された被写体画像を、前記背景画
   像選択手段により選択された背景画像中に合成するため
   の位置、角度、大きさの指標のうち少なくとも位置の指
   標を指示する指示手段と、 被写体画像と背景画像とを合成する画像合成処理手段
   と、 この画像合成処理手段の合成処理結果を予め定めた出力
   媒体に出力する出力手段とを備え、 前記カメラで撮影された被写体画像を前記背景画像選択
   手段で選択された背景画像中に前記指示手段で指示され
   た指標に従って前記画像合成処理手段により合成するに
   際し、前記指示手段で指示された位置に対応する領域別
   の明度および彩度のデータを前記領域別明度・彩度記憶
   手段から読み出し、その明度および彩度のデータにより
   前記カメラで撮影された被写体画像の明度および彩度を
   補正し、前記背景画像選択手段で選択された背景画像中
   の前記指示手段で指示された位置に、所定の角度と大き
   さまたは前記指示手段で指示された指標に従って合成す
   ることを特徴とする画像合成方法。