JP2016170465A - 画像合成装置，画像合成方法ならびに画像合成プログラムおよびそのプログラムを格納した記録媒体 - Google Patents

Abstract

【課題】テンプレート画像とテンプレート画像に合成される対象画像とのバランスが良くなる画像合成装置，画像合成方法，画像合成プログラム及びそのプログラムを格納した記録媒体を提供する。【解決手段】テンプレート画像の合成領域に合成する対象画像の被写体（である赤ん坊）91が決定され，決定された被写体を含み，合成領域の形状と相似の形状をもつ複数の抽出領域101，102及び103が規定される。抽出領域101，102及び103内の抽出画像のうち，テンプレート画像の印象と抽出画像の印象との近似度がしきい値以上の印象をもつ抽出領域102が決定される。決定された抽出領域102内の抽出画像がテンプレート画像の合成領域に合成される。【選択図】図１１

Description

この発明は，画像合成装置，画像合成方法ならびに画像合成プログラムおよびそのプログラムを格納した記録媒体に関する。

ポスト・カード，電子アルバム，フォトブックなどのようにテンプレートにユーザが対象画像を貼り付け，ユーザの所望の合成画像を生成するものが実現されている。たとえば，対象画像の色味に応じてアルバム台紙の色味を調整し，対象画像とアルバム台紙との色味の統一感を得るもの（特許文献１），テンプレートの印象を表す付帯情報にもとづいて，テンプレートと合成する画像がテンプレートと同様の印象となるように，あらかじめ定められた内容の画像処理を施して合成するもの（特許文献２）などがある。また，重要オブジェクトを検出し，その重要オブジェクトが必ず含まれるようにトリミングするもの（特許文献３），レイアウトに応じて顔領域の割合が決定され，人物の適合率（一人が適切か，二人が適切か）が考慮されるもの（特許文献４），画像の特徴量と画像から人が感じる印象とを関連づけたデータベースを保持し，特徴量から印象を求めて表示するもの（特許文献５）などもある。

特開2013-81208号公報 特許第3808231号 特許第4052128号 特開2014-16825号 特許第3562516号

しかしながら，特許文献１に記載のものでは，アルバム台紙をユーザが気に入って指定している場合には，アルバム台紙の色味を調整できないので統一感を得ることができない。特許文献２に記載のものでは，テンプレートと合成する画像について，あらかじめ定められた内容の画像処理が施されたことにより違和感が生じ，ユーザ好みの合成画像が得られないことがある。また，特許文献３に記載のものでは，単に重要オブジェクトが含まれるようにするものであり，特許文献４に記載のものでは，人物の適合率を考慮するものであるから，テンプレート画像と，テンプレート画像に合成する対象画像とのバランスについては考えられていない。また，特許文献５に記載のものでは，合成される画像の印象については考えられていなく，テンプレート画像と合成される画像とのバランスも考えられていない。

この発明は，テンプレート画像とテンプレート画像に合成される対象画像とのバランスが良くなるようにすることを目的とする。

第１の発明による画像合成装置は，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体決定手段，対象画像において被写体決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の印象（印象カテゴリ）と抽出画像の印象（印象カテゴリ）との近似度がしきい値以上の印象（印象カテゴリ）をもつ抽出画像の抽出領域を決定する抽出領域決定手段（抽出画像自体を決定する場合も含む），ならびに抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成する画像合成手段を備えていることを特徴とする。

第１の発明は，画像合成方法についても提供している。すなわち，この方法は， 被写体決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，抽出領域決定手段が，対象画像において被写体決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の印象と抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像の抽出領域を決定し，画像合成手段が，抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成するものである。

テンプレート画像の印象と抽出画像の印象との近似度は，あらかじめ定められている近似度を算出する近似度テーブルから得られるものでもよい。

抽出画像の印象は，たとえば，抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの抽出画像の解析情報から決定される。

テンプレート画像の印象は，たとえば，テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報から決定されるものであり，抽出画像の印象は，たとえば，抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの抽出画像の解析情報から決定されるものであり，テンプレート画像の印象と抽出画像の印象との近似度は，たとえば，テンプレート画像解析情報と同種の上記抽出画像の解析情報との近似度から得られる。

抽出領域決定手段によって決定した抽出領域を対象画像に重ねて表示装置に表示させる第１の表示制御手段をさらに備えてもよい。この場合，画像合成手段は，第１の表示制御手段によって表示させられた抽出領域の中から少なくとも一つの抽出領域を指定させる指定手段によって指定された抽出領域内の抽出画像を，テンプレート画像の合成領域と合成するものとなろう。

画像合成手段によって合成された合成画像を表示装置に表示させる第２の表示制御手段，第２の表示制御手段によって表示させられた合成画像に合成されている抽出画像の位置調整指令，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令を入力する調整指令入力手段，調整指令入力手段によって入力された調整指令に応じた調整を行い，調整後の抽出画像の印象とテンプレート画像の印象との近似度を算出する第１の算出手段，および第１の算出手段によって算出された近似度を報知する報知手段をさらに備えてもよい。

報知手段は，たとえば，第２の表示制御手段により表示させられた合成画像の合成領域の枠の色，枠線の太さおよび枠線の種類の少なくとも一つを，第１の算出手段によって算出された近似度に応じて変えることにより算出された近似度を報知する。

抽出領域決定手段によって決定した抽出領域内の抽出画像の印象とテンプレート画像の印象との近似度を算出する第２の算出手段，および第２の算出手段によって算出された近似度よりも高い近似度となる印象をもち，かつ対象画像とは異なる他の対象画像であって，被写体決定手段によって決定された被写体と同一の被写体を含む他の対象画像を見つける対象画像検出手段をさらに備えてよい。この場合，画像合成手段は，対象画像検出手段によって検出された他の対象画像のうち被写体決定手段によって決定された被写体と同一の被写体を含む部分を，テンプレート画像の合成領域に合成するものとなろう。

対象画像検出手段は，たとえば，被写体決定手段によって決定された被写体と同一の被写体を含み，かつテンプレート画像の合成領域と相似の部分が，第２の算出手段によって算出された近似度よりも高い近似度となる印象をもつ他の対象画像を見つける。

第２の発明による画像合成装置は，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体決定手段，対象画像において被写体決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報と，テンプレート画像解析情報と同種の抽出画像の解析情報と，の近似度がしきい値以上の解析情報をもつ抽出画像の抽出領域を決定する抽出領域決定手段（抽出画像自体を決定してもよい），ならびに抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成する画像合成手段を備えていることを特徴とする。

第２の発明は，画像合成方法についても提供している。すなわち，この方法は，被写体決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，抽出領域決定手段が，対象画像において被写体決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報と，テンプレート画像解析情報と同種の抽出画像の解析情報と，の近似度がしきい値以上の解析情報をもつ抽出画像の抽出領域を決定し，画像合成手段が，抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成するものである。

抽出領域決定手段によって決定した抽出領域を対象画像に重ねて表示装置に表示させる第１の表示制御手段をさらに備えてもよい。この場合，画像合成手段は，第１の表示制御手段によって表示させられた抽出領域の中から少なくとも一つの抽出領域を指定させる指定手段によって指定された抽出領域内の抽出画像を，テンプレート画像の合成領域と合成するものとなろう。

画像合成手段によって合成された合成画像を表示装置に表示させる第２の表示制御手段，第２の表示制御手段によって表示させられた合成画像に合成されている抽出画像の位置調整指令，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令を入力する調整指令入力手段，調整指令入力手段によって入力された調整指令に応じた調整を行い，調整後の抽出画像の解析情報とテンプレート画像の解析情報との近似度を，同種の解析情報について算出する第１の算出手段，および第１の算出手段によって算出された近似度を 報知する報知手段をさらに備えてもよい。

報知手段は，たとえば，第２の表示制御手段により表示させられた合成画像の合成領域の枠の色，枠線の太さおよび枠線の種類の少なくとも一つを，第１の算出手段によって算出された近似度に応じて変えることにより算出された近似度を報知する。

抽出領域決定手段によって決定した抽出領域内の抽出画像の解析情報とテンプレート画像の解析情報との近似度を，同種の解析情報について算出する第２の算出手段，および第２の算出手段によって算出された近似度よりも高い近似度となる解析情報をもち，かつ対象画像とは異なる他の対象画像であって，被写体決定手段によって決定された被写体と同一の被写体を含む他の対象画像を見つける対象画像検出手段をさらに備えてもよい。この場合，画像合成手段は，対象画像検出手段によって検出された他の対象画像のうち被写体決定手段によって決定された被写体と同一の被写体を含む部分を，テンプレート画像の合成領域に合成するものとなろう。

対象画像検出手段は，たとえば，被写体決定手段によって決定された被写体と同一の被写体を含み，かつテンプレート画像の合成領域と相似の部分が，第２の算出手段によって算出された近似度よりも高い近似度となる解析情報をもつ他の対象画像を見つける。

第３の発明による画像合成装置は，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体像決定手段，対象画像において被写体像決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域であって，抽出領域内の抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの画像特徴量から定まる抽出画像の印象が，テンプレート画像の印象と同一である抽出画像の抽出領域を決定する抽出領域決定手段，ならびに抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成する画像合成手段を備えていることを特徴とする。

第３の発明は，画像合成方法も提供している。すなわち，この方法は，被写体像決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，抽出領域決定手段が，対象画像において被写体像決定手段によって決定された被写体を含み，かつテンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域であって，抽出領域内の抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの画像特徴量から定まる抽出画像の印象が，テンプレート画像の印象と同一である抽出画像の抽出領域を決定し，画像合成手段が，抽出領域決定手段によって決定した抽出領域内の抽出画像を，テンプレート画像の合成領域に合成するものである。

これらの発明は，画像合成装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。

第１の発明によると，テンプレート画像に合成する対象画像中の被写体が決定される。被写体の決定は，ユーザによって指定されてもよいし，対象画像から人物検出，顔検出などを行い，もっとも大きな人物，顔，対象画像の中央に最も近い人物，顔，もっとも鮮やかな人物，顔などとしてもよい。決定された重要画像を含み，テンプレート画像の合成領域の形状と相似の形状である大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の印象との近似度がしきい値以上の印象をもつ抽出画像がテンプレート画像と合成される。テンプレート画像の印象と近い印象をもつ対象画像の部分であって，決定された被写体を含む部分がテンプレート画像と合成されるので，合成によって得られた画像は，テンプレート画像と抽出画像とのバランスがよいものとなっている。テンプレート画像について色味の変更などの画像処理が行われていないので，ユーザが気に入っているテンプレート画像を，そのまま利用して合成画像を得ることができる。

第２の発明によると，重要画像を含む抽出画像のうち，テンプレート画像解析情報との近似度がしきい値以上の解析情報をもつ抽出画像が，テンプレート画像と合成される。合成される抽出画像はテンプレート画像に近い特性を有しているので，自然な合成画像となる。テンプレート画像について色味の変更などが行われないので，ユーザが気に入っているテンプレート画像を，そのまま利用してもバランスの良い自然な合成画像となる。

第３の発明によると，決定された重要画像を含み，テンプレート画像の合成領域の形状と相似の形状である大きさの異なる複数の抽出領域内の抽出画像のうち，テンプレート画像の印象と同一の印象をもつ抽出画像がテンプレート画像と合成される。テンプレート画像の印象と同一の印象をもつ対象画像の部分であって，決定された被写体を含む部分がテンプレート画像と合成されるので，合成によって得られた画像は，テンプレート画像と抽出画像とのバランスがよいものとなっている。テンプレート画像について色味の変更などの画像処理が行われていないので，ユーザが気に入っているテンプレート画像を，そのまま利用して合成画像を得ることができる。

画像合成システムの概要を示している。 スマートフォンの電気的構成を示すブロック図である。 画像合成サーバの電気的構成を示すブロック図である。 テンプレート画像の一例である。 テンプレート画像解析情報テーブルの一例である。 画像合成システムの処理手順を示すフローチャートである。 画像合成システムの処理手順を示すフローチャートである。 スマートフォンの表示画面の一例である。 スマートフォンの表示画面の一例である。 対象画像の一例である。 対象画像の一例である。 抽出画像の一例である。 抽出画像の一例である。 抽出画像の一例である。 抽出画像解析情報テーブルの一例である。 スマートフォンの表示画面の一例である。 近似度テーブルの一例である。 画像合成システムの処理手順の一部を示すフローチャートである。 スマートフォンの表示画面の一例である。 画像合成システムの処理手順の一部を示すフローチャートである。 スマートフォンの表示画面の一例である。 画像合成システムの処理手順の一部を示すフローチャートである。 画像合成システムの処理手順の一部を示すフローチャートである。 スマートフォンの表示画面の一例である。 画像合成システムの処理手順の一部を示すフローチャートである。 印象空間の一例である。

図１は，この発明の実施例を示すもので，画像合成システムの概要を示している。

この実施例では，対象画像をテンプレート画像に合成してポスト・カードの合成画像を生成する場合について説明するが，ポスト・カードに限らず，電子アルバム，フォトグッズなど，対象画像をテンプレート画像に合成して合成画像が生成されるようなシステムすべてについて適用できる。

画像合成システムには，インターネットのようなネットワークを介して互いに通信可能なスマートフォン（多機能携帯電話）１および画像合成サーバ（画像合成装置）20が含まれている。スマートフォン１を利用せずにクライアント・コンピュータなどを利用できるのはいうまでもない。画像合成サーバ20には，画像合成サーバ20において生成された合成画像を表わす画像データからポスト・カードをプリントするためのプリンタ29が接続されている。

図２は，スマートフォン１の電気的構成を示すブロック図である。

スマートフォン１の全体の動作は，ＣＰＵ（Central Processing Unit）２によって統括される。

スマートフォン１には，表示制御装置３によって制御される表示装置４が含まれている。表示装置４の表示画面にはタッチ・パネル５が形成されている。タッチ・パネル５から与えられる指令はＣＰＵ２に入力する。また，スマートフォン１には，カメラ６，データを一時的に記憶するメモリ４および外部装置と接続するための外部インターフェイス８も含まれている。さらに，スマートフォン１には，マイクロフォン９，音声制御装置10およびスピーカ11が含まれている。また，上述したようにインターネットに接続するための通信装置12，スマートフォン13の位置を検出するためのＧＰＳ（Global Positioning System）受信装置13および時計14もスマートフォン１に含まれている。

図３は，画像合成サーバ20の電気的構成を示すブロック図である。

画像合成サーバ20の全体の動作は，ＣＰＵ21（Central Processing Unit）によって統括される。

画像合成サーバ20には，データを一時的に記憶するメモリ22，コンパクト・ディスク23にアクセスするためのコンパクト・ディスク・ドライブ24およびプリンタ29を接続するためのプリンタ・インターフェイス25が含まれている。また，画像合成サーバ20には，ハードディスク28およびハードディスク28にアクセスするためのハードディスク・ドライブ27も含まれている。

後述する動作を制御するプログラムが格納されているコンパクト・ディスク（記録媒体）23が画像合成サーバ20に装填され，コンパクト・ディスク・ドライブ24によってコンパクト・ディスク23に格納されているプログラムが読み取られる。読み取られたプログラムが画像合成サーバ20にインストールされることにより，画像合成サーバ20は，後述する動作を行う。画像合成サーバ20を制御するプログラムは，コンパクト・ディスク23のような記録媒体から読み取られるのではなく，インターネットを介して送信されたものを受信するようにしてもよい。

図４は，テンプレート画像の一例である。

図４には，テンプレート画像として，６つのテンプレート画像Ｔ１からＴ６が図示されているが，６つよりも多い（少ない）テンプレート画像が存在してもよいのはいうまでもない。これらのテンプレート画像Ｔ１からＴ６を表す画像データは，画像合成サーバ20のハードディスク28に格納されている。

テンプレート画像Ｔ１からＴ６には，それぞれ対象画像（対象画像の一部）を合成する合成領域（貼り付ける領域）31から36が形成されている。合成領域は，一つのテンプレート画像に一つだけでなく，複数設けられていてもよい。

図５は，テンプレート画像解析情報テーブルの一例である。

テンプレート画像解析情報は，図５に示すテーブルの形態でメモリ22に格納されている。

テンプレート画像解析情報テーブルには，テンプレート画像ごとに，テンプレートの印象（かわいい，きれい，やさしいなどの印象）およびテンプレート画像解析情報が格納されている。画像解析情報には，明るさ，コントラスト，彩度，色相，色バランスなどがあるが，その他の解析情報であってもよいし，図５に示したテンプレート画像解析情報の一部のみが含まれていてもよい。テンプレート画像に複数の印象がある場合には，複数の印象がテンプレート画像解析情報テーブルに格納されている。

画像合成サーバ20のＣＰＵ21によって，ハードディスク28に格納されているテンプレート画像を表す画像データが読み取られ，テンプレート画像ごとに解析され，画像解析情報が得られる。もっとも，画像合成サーバ20以外のコンピュータによってあらかじめ解析され，解析された画像解析情報を表すデータが画像合成サーバ20に与えられてもよい。与えられた画像解析情報がテンプレート画像解析情報テーブルとしてメモリ22に格納される。

図６および図７は，画像合成システムの処理手順を示すフローチャートである。

この実施例においては，スマートフォン１のユーザによって所望のテンプレート画像が選択され，かつテンプレート画像の合成領域に合成する対象画像がユーザによって選択される。ユーザによって選択された対象画像（顔検出，人物検出によって画像合成装置20のＣＰＵ21が対象画像を決定してもよい）のうち，テンプレート画像の印象と近似度が高い近似度をもち，かつ被写体（テンプレート画像に合成する対象となる被写体）が含まれている部分が抽出され，抽出された部分がテンプレート画像の合成領域に合成される（但し，対象画像の一部分でなく対象画像の全体の印象がテンプレート画像の印象との近似度に高い近似度を有している場合には，対象画像の全体がテンプレート画像の合成領域に合成されてもよい）。

スマートフォン１が画像合成サーバ20にアクセスすると，画像合成サーバ20からスマートフォン１に，ハードディスク28に記憶されているテンプレート画像データが送信される（ステップ61）。画像合成サーバ20から送信されたテンプレート画像データがスマートフォン１において受信されると，スマートフォン１の表示画面80には，図８に示すようなテンプレート一覧画面が表示される。

図８を参照して，表示画面80には，上述したテンプレート画像Ｔ１からＴ６が表示されている。さらに，多くのテンプレート画像がある場合には，スクロールすることにより，表示画面80に表示されていないテンプレート画像が表示画面80に表示される。

テンプレート画像Ｔ１からＴ６の下には，「クリアする」の文字が付されているクリア・ボタン81および「送信する」の文字が付されている送信ボタン82が表示されている。ユーザは，表示画面80に表示されているテンプレート画像Ｔ１からＴ６のうち（他のテンプレート画像がある場合には，他のテンプレート画像でもよい），所望のテンプレート画像上をタッチする。すると，タッチされたテンプレート画像が選択状態となる。選択されたテンプレート画像を利用して合成画像を生成する場合には，ユーザによって送信ボタン82がタッチされる。すると，選択されたテンプレート画像の識別データがスマートフォン１から画像合成サーバ20に送信される。テンプレート画像が選択状態となった後に別のテンプレート画像を選択する場合には，ユーザによってクリア・ボタン81がタッチされる。すると，選択状態であったテンプレート画像がクリアされ，新たなテンプレート画像の選択ができる。

図６に戻って，上述したように，所望のテンプレート画像がユーザによって選択されると（ステップ42），選択されたテンプレート画像の識別データがスマートフォン１から画像合成サーバ20に送信される（ステップ43）。

スマートフォン１から送信されたテンプレート画像の識別データが画像合成サーバ20において受信されると，その識別データによって特定されるテンプレート画像の印象が，ＣＰＵ（Central Processing Unit）21によって，メモリ22に格納されているテンプレート画像解析情報テーブルから読み出される（ステップ62）。たとえば，スマートフォン１のユーザによってテンプレート画像Ｔ４が選択されたものとする。すると，テンプレート画像解析情報テーブルからは，テンプレート画像Ｔ４の印象として「かわいい」が読み出される。

また，テンプレート画像が選択されると，スマートフォン１の表示画面80はテンプレート画像に合成する対象画像の一覧表示画面に切り替わる（ステップ44）。

図９は，対象画像の一覧表示画面の一例である。

スマートフォン１の表示画面80には，画像Ｐ１からＰ６が表示されている。スマートフォン１のメモリ７に画像データが記憶されており，その画像データによって表される画像Ｐ１からＰ６が表示されている。スクロールすることにより，表示画面80に表示されていない画像も表示画面80に表示されるのはいうまでもない。表示画面80の下部には，「クリアする」の文字列が表示されているクリア・ボタン81および「送信する」の文字列が表示されている送信ボタン82が表示されている。

表示画面80に表示されている画像の中から，テンプレート画像の合成領域に合成する画像をタッチすることによりユーザは対象画像を選択する（図６ステップ45）。選択した対象画像を変更する場合には，クリア・ボタン81がタッチされる。すると，画像の選択が解除され，再び画像の選択ができるようになる。この実施例では，テンプレート画像の合成領域に合成する対象画像として，対象画像Ｐ１がユーザによって選択されたものとする。

図10は，対象画像Ｐ１を示している。

対象画像Ｐ１は，ベビー・チェア92に座っている赤ん坊91の画像である。その背景には窓ガラス94がはめ込められている窓枠93も写っている。

ユーザによって対象画像が選択されると，その対象画像中の被写体（テンプレート画像に合成する対象となる被写体）がユーザによって指定される（ステップ46）。ユーザは，対象画像Ｐ１のうち，赤ん坊91をテンプレート画像に合成する被写体と考えると，赤ん坊91の画像部分をタッチする。すると，タッチされた部分にマーカー95が表示される。

図９に戻って，送信ボタン82がタッチされると，選択された対象画像を表わす画像データおよびユーザが選択した位置を示す位置特定データがスマートフォン１から画像合成サーバ20に送信される（図６ステップ47）。

スマートフォン１から送信された画像データおよび位置特定データが画像合成サーバ20において受信されると（ステップ63），受信した画像データによって表される対象画像において，位置特定データによって示される位置に存在する被写体が，対象画像中においてテンプレート画像に合成する被写体であるとＣＰＵ21（被写体決定手段）によって決定される（ステップ65）。この実施例では，スマートフォン１のユーザによって指定された位置を含む赤ん坊91の顔がテンプレート画像に合成する被写体と決定されたものとする。ユーザによって指定されない場合でも，ユーザによって選択された対象画像Ｐ１において顔検出処理，人物検出処理などがＣＰＵ21によって行われ，検出された顔，人物などが被写体と決定されるようにしてもよい。画像データに付随しているヘッダにテンプレート画像に合成する被写体についての情報が記録されていてもよく，そのような場合にはヘッダから被写体についての情報がＣＰＵ21によって読み取られることにより，被写体が決定する。

被写体が決定すると，決定した被写体を含み，かつユーザによって選択されたテンプレート画像の合成領域の形状と相似の形状をもつ複数の抽出領域がＣＰＵ21によって設定される。

図11は，複数の抽出領域が設定された対象画像Ｐ１の一例である。

対象画像Ｐ１には，被写体として赤ん坊91の顔領域が含まれている複数の抽出領域101，102および103がＣＰＵ21によって設定されている。これらの複数の抽出領域101，102および103の形状は，いずれもユーザが選択したテンプレート画像Ｔ４の合成領域34の形状と相似である。３つの抽出領域101，102および103が設定されているが，２つまたは４つ以上の抽出領域が設定されてもよいのはいうまでもない。

図12は，抽出領域101内の抽出画像111である。

抽出画像111は，被写体である赤ん坊91の顔領域の割合が多く，その背景に窓枠93の一部および窓ガラス94の一部が含まれている。

図13は，別の抽出領域102内の抽出画像112である。

抽出画像112は，図12示す抽出画像111に比べ被写体である赤ん坊91の顔領域の割合が少なく，その背景である窓枠93および窓ガラス94が含まれる割合が比較的多くなっている。

図14は，さらに別の抽出領域103内の抽出画像113である。

抽出画像113は，図13に示す抽出画像111に比べ被写体である赤ん坊91の顔領域の割合がさらに少なく，その背景である窓枠93および窓ガラス94の割合がさらに多くなっている。さらに，赤ん坊91が座っているベビー・チェア92の一部も抽出画像113に含まれている。

このように抽出画像111，112および113は，それぞれに含まれる被写体（赤ん坊91の顔領域，ベビー・チェア92，窓枠93，窓ガラス94）の割合が異なるので，それぞれの抽出画像の明るさ，コントラスト，彩度，色相，色バランスなどを示す特徴も異なる。

図６に戻って，複数の抽出領域101，102および103が設定されると，設定された抽出領域101，102および103内の抽出画像111，112および113がＣＰＵ21によって解析され，抽出画像111，112および113の印象がＣＰＵ21によって決定される（ステップ66）。

図15は，抽出画像解析情報テーブルの一例である。

抽出画像解析情報テーブルには，抽出画像111，112および113ごとに，抽出画像の印象および画像解析情報が格納されている。画像解析情報には，図５に示したテンプレート画像解析情報テーブルと同様に，抽出画像の明るさ，コントラスト，彩度，色相，色バランスなどが含まれている。抽出画像111，112および113の画像解析情報がＣＰＵ21によって検出され，検出された画像解析情報がＣＰＵ21によって抽出画像解析情報テーブルに格納される。また，検出された画像解析情報から，抽出画像111，112および113のそれぞれの印象がＣＰＵ21によって決定される。画像解析情報の値と印象との関係があらかじめ定められており，その関係に従って，検出された画像解析情報から抽出画像111，112および113の印象が決定される。

上述のように，抽出画像111，112および113に含まれる被写体の割合は異なるので，抽出画像ごとに明るさ，コントラストなどの画像解析情報のそれぞれの値が異なっており，画像解析情報から決定される印象も異なっている。もちろん，画像解析情報のそれぞれの値が異なっていても，同じ印象となることもある。

図６に戻って，ユーザが選択したテンプレート画像Ｔ４の印象と抽出画像111，112および113のそれぞれの印象との近似度が，ＣＰＵ21によって算出される（ステップ67）。この近似度は，テンプレート画像の画像解析情報と，そのテンプレート画像の画像解析情報と同種の抽出画像の画像解析情報と，の差分の加算値を０から減じた値により得られる。差分の加算値を０から減じた値が大きいほど近似度が高くなる。たとえば，ユーザが選択したテンプレート画像Ｔ４の画像解析情報のうち，明るさはＬ７であり，抽出画像111の画像解析情報のうち，明るさと同種の画像解析情報である明るさはＬ７であるから，差分は０となる。テンプレート画像Ｔ４のコントラストの画像解析情報の値はＬ６であり，抽出画像111のコントラストの画像解析情報の値はＬ３であるから，差分は３となる。テンプレート画像Ｔ４の彩度の画像解析情報の値はＬ５であり，抽出画像111の彩度の画像解析情報の値はＬ３であるから，差分は２となる。明るさ，コントラストおよび彩度の画像解析情報を用いて，差分の加算値を０から減じた値を算出すると，０−（０＋３＋２）＝−５となる。同様に，テンプレート画像Ｔ４と抽出画像112との差分の加算値を０から減じた値は，０−（０＋３＋１）＝−４となり，テンプレート画像Ｔ４と抽出画像113との差分の加算値を０から減じた値は，０−（１＋１＋３）＝−５となる。この場合，差分の絶対値を０から減じたい値が大きいほど近似度が高い。

また，次のようにして近似度を算出するようにしてもよい。

同じ種類の画像解析情報について，抽出画像が解析されることにより得られた抽出画像解析情報と，テンプレート画像解析情報テーブルに格納されている画像解析情報のうち同じ種類の画像解析情報とがＣＰＵ21によって比較され，ＣＰＵ21によって近似度が算出される。この近似度は，抽出画像解析情報の値とテンプレート画像解析情報の値とが近ければ高くなり，遠ければ低くなる。同じ種類の抽出画像解析情報とテンプレート画像解析情報とが一致していれば，近似度は最も高くなる。抽出画像解析情報とテンプレート画像解析情報とのうち，同じ種類の画像解析情報について，それぞれの近似度が算出され，算出された近似度の加算値が総近似度（近似度）となり，その総近似度がしきい値以上の抽出画像が，テンプレート画像の印象と抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像となる。

たとえば，抽出画像解析情報の値（たとえば，対象画像の明るさの値）とテンプレート画像解析情報の値（テンプレート画像の明るさの値）とが一致すれば，近似度は100％となる。テンプレート画像解析情報の値が抽出画像解析情報の値のプラスマイナス10％以内に入っていれば，近似度は90％となる。同様に，テンプレート画像解析情報の値が抽出画像解析情報の値のプラスマイナス20％から10％以内に入っていれば，近似度は80％となる。その他の場合についても同様である。色相のように一つの値によって特定できない画像解析情報については，たとえば，抽出画像の色相の平均値が色相の抽出画像解析情報となり，テンプレート画像の色相の平均値が色相のテンプレート画像解析情報となる。そのような色相の平均値同士が近似しているかどうかの近似度が算出される。色バランスについても一つの値によって特定できない画像解析情報については，赤，青おおよび緑（シアン，マゼンタおよびイエロー）の各色についての画像解析情報（色バランスの平均値）とテンプレート画像解析情報（色バランスの平均値）との一致度が近似度とされる。このようにして算出された近似度が加算された総近似度がしきい値以上となるような抽出画像が，テンプレート画像の印象と抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像となる。

このように，テンプレート画像の画像解析情報と抽出画像の画像解析情報との一致度等からテンプレート画像の印象と抽出画像の印象との近似度が算出されるから，テンプレート画像の印象と同一の印象をもつ抽出画像であっても，抽出画像によって近似度が変わることがある。たとえば，テンプレート画像Ｔ４の印象が「やさしい」であり，抽出画像111および112のいずれの印象も「やさしい」であったとしても，抽出画像111の印象とテンプレート画像Ｔ４の印象との近似度と，抽出画像112の印象とテンプレート画像Ｔ４の印象との近似度と，は異なることがある。また，テンプレート画像Ｔ４の印象「やさしい」と同じ印象「やさしい」の抽出画像112についての上述した近似度よりも，テンプレート画像Ｔ４の印象「やさしい」と異なる印象「かわいい」の抽出画像111についての上述した近似度の方が高いこともある。

このようにしてＣＰＵ21によって近似度が算出される（ステップ67）。つづいて，近似度がしきい値以上の抽出画像の抽出領域がＣＰＵ21（抽出領域決定手段）によって決定される（ステップ68）。詳述のように，テンプレート画像の画像解析情報と，そのテンプレート画像の画像解析情報と同種の抽出画像の画像解析情報と，の差分の加算値を０から減じた値にもとづいて，テンプレート画像の印象と抽出画像の印象との近似度が算出される場合，たとえば，しきい値を−４とすると，しきい値以上の近似度をもつ抽出画像は，抽出画像111，112および113のうち，抽出画像112となり，抽出領域102と決定される。ユーザが選択したテンプレート画像Ｔ４の印象にもつとも近似した印象をもつ抽出画像は，抽出画像112となる。もっとも，しきい値以上の近似度をもつ抽出画像が二つ以上となった場合には，それらの二つ以上の抽出画像の抽出領域が決定されてもよい。決定した抽出領域の抽出画像（この場合，抽出画像112）がＣＰＵ21によって対象画像Ｐ１から抽出される（ステップ69）。抽出領域でなく抽出画像自体を直接決定する場合も抽出画像の外周は抽出領域と考えられるから，抽出領域の決定となる。

このようにして決定された抽出領域102内の抽出画像112が，ユーザによって選択されたテンプレート画像Ｔ４の合成領域34にＣＰＵ21（画像合成手段）によって合成され，合成画像が生成される（ステップ70）。ユーザが選択したテンプレート画像Ｔ４の印象に近い印象をもつ抽出画像112を用いて合成画像が生成されているから，合成画像の全体のバランスが自然となる。生成された合成画像を表す画像データが画像合成サーバ20からスマートフォン１に送信される（ステップ71）。

画像合成サーバ20から送信された合成画像を表す画像データがスマートフォン１において受信されると（ステップ48），スマートフォン１の表示画面80に，合成画像が表示される（ステップ49）。

図16は，スマートフォン１の表示画面80の一例である。

表示画面80には，画像合成サーバ20において生成された合成画像88が表示されている。合成画像88の下には，「注文する」の文字が表示されている注文ボタン83および「やり直す」の文字が表示されているやり直しボタン84が形成されている。スマートフォン１のユーザが合成画像88を見て，その合成画像88のプリントを注文するのであれば，注文ボタン83がタッチされる。表示画面80に表示されている合成画像88が気に入らなければ，やり直しボタン84がタッチされ，合成画像88に利用された抽出画像112以外の抽出画像を用いて再び合成画像が生成される。

図７に戻って，スマートフォン１のユーザによって注文ボタン83がタッチされると（ステップ50），スマートフォン１から画像合成サーバ20に注文コマンドが送信される（ステップ51）。

スマートフォン１から送信された注文コマンドが画像合成サーバ20において受信されると，生成された合成画像88がプリンタ29においてプリントされる（ステップ72）。合成画像88のプリントがスマートフォン１のユーザに送られる。

図17は，近似度テーブルの一例である。

上述した実施例では，画像解析情報を用いてテンプレート画像の印象と抽出画像の印象との近似度を算出しているが，近似度テーブルを利用して近似度を算出してもよい。

近似度テーブルは，テンプレート画像についての印象と抽出画像についての印象との近似度を規定するものである。同じ種類の印象の近似度は１．０である。異なる種類の印象は，印象が近いと考えられるほど近似度が高くなる。たとえば，「かわいい」印象と「やさしい」印象との近似度は0.9であり，「かわいい」印象と「さわやか」印象との近似度は0.8である。その他の印象についても同様に近似度が分かる。近似度テーブルを用いてテンプレート画像についての印象と抽出画像についての印象との近似度が得られ，得られた近似度がしきい値以上（たとえば，0.85以上）であるような抽出画像の抽出領域が，上述のように決定される。

このように近似度テーブルを利用してテンプレート画像の印象と抽出画像の印象との近似度を算出でき，算出された近似度がしきい値以上の印象をもつような抽出画像の抽出領域を決定できる。

図18は，画像合成システムの処理手順の一部を示すフローチャートである。

図18に示す処理手順は，上述のように近似度がしきい値以上の抽出画像の抽出領域が複数存在した場合に，それらの複数の抽出領域をスマートフォン１のユーザに報知するものである。抽出領域101内の抽出画像111の印象とテンプレート画像Ｔ４の印象との近似度がしきい値以上であり，抽出領域102内の抽出画像112の印象とテンプレート画像Ｔ４の印象との近似度もしきい値以上であったものとする。すると，近似度がしきい値以上の抽出画像の抽出領域として抽出領域101および102が決定する（ステップ131）。決定した抽出領域101および102が，対象画像Ｐ１に重ねられる重畳処理がＣＰＵ21によって行なわれ（ステップ132），抽出領域101および102が対象画像Ｐ１に重ねられた重畳画像を表す画像データが画像合成サーバ20の通信装置26からスマートフォン１に送信される（ステップ133）。

画像合成サーバ20から送信された重畳画像を表す画像データがスマートフォン１において受信されると，抽出領域101および102が重ねられた対象画像Ｐ１がスマートフォン１の表示画面80に表示される（ステップ121）。画像合成装置20のＣＰＵ21および通信装置26（第１の表示制御手段）によって，抽出領域が対象画像に重ねられて表示画面80に表示させられることとなる

図19は，重畳画像の一例である。

対象画像Ｐ１に抽出領域101および102が重ねられている。対象画像Ｐ１の下には「ＯＫ」の文字が付されているＯＫボタン85および「やり直し」の文字が付されているやり直しボタン86が形成されている。

スマートフォン１のユーザは，対象画像Ｐ１に重ねられている抽出領域101および102のうち，所望の抽出領域のタッチ・パネル５上をタッチすることにより，いずれかの抽出領域を指定する（図18ステップ122）（指定手段）。いずれか抽出領域を指定後にＯＫボタン85がタッチされることにより，指定された抽出領域の識別データがスマートフォン１から画像合成サーバ20に送信される（図18ステップ123）。やり直しボタン86がタッチされると，その旨を示すデータがスマートフォン１から画像合成サーバ20に送信され，たとえば，テンプレート画像の選択からやり直される。

スマートフォン１から送信された識別データが画像合成サーバ20において受信されると，識別データによって特定される，スマートフォン１のユーザによって指定された抽出領域内の抽出画像がＣＰＵ21によって抽出される（ステップ69Ａ）。その後は，上述したのと同様に，ＣＰＵ21によって抽出画像がテンプレート画像Ｔ４の合成領域34に合成され（ステップ70），合成画像を表す画像データが画像合成サーバ20からスマートフォン１に送信される（ステップ71）。

上述のように，スマートフォン１において合成画像を表す画像データが受信され，表示画面80に合成画像が表示される（ステップ47，48）。スマートフォン１のユーザによって注文ボタンがタッチされると（ステップ49），スマートフォン１から画像合成装置20に注文コマンドが送信される（ステップ50）。

スマートフォン１からの注文コマンドが画像合成装置20において受信したことにより，合成画像がプリンタ29においてプリントされる（ステップ72）。

図20および図21は，他の実施例を示している。

図20は，画像合成システムの処理手順の一部を示すフローチャート，図21は，スマートフォン１の表示画面80の一例である。

近似度がしきい値以上の抽出画像の抽出領域が決定され（ステップ68），決定した抽出領域内の画像が抽出され（ステップ69），抽出された画像がテンプレート画像Ｔ４の合成領域34に合成される（ステップ70）。近似度がしきい値以上となる抽出画像が複数あった場合には，それらのすべての抽出画像を用いて複数の合成画像を生成される。たとえば，抽出画像111，112および113のすべての近似度がしきい値以上であると，それらのすべての抽出画像111，112および113を用いて３つの合成画像が生成される。生成された合成画像を表す画像データが画像合成サーバ20からスマートフォン１に送信される（ステップ71）。

スマートフォン１において合成画像を表す画像データが受信されると（ステップ48），表示画面80上に合成画像が表示される（ステップ49）。

図21を参照して，上述のようにして生成された３つの合成画像88Ａ，88Ｂおよび88Ｃが表示画面80に表示されている。合成画像88Ａは，テンプレート画像Ｔ４の合成領域34に抽出領域101とともに抽出画像111が合成されたもので，合成画像88Ｂはテンプレート画像Ｔ４の合成領域34に抽出領域102とともに抽出画像112が合成されたもので，合成画像88Ｃはテンプレート画像Ｔ４の合成領域34に抽出領域103とともに抽出画像113が合成されたものである。画像合成サーバ20のＣＰＵ21および通信装置26（第１の表示制御手段）によって抽出領域が対象画像に重ねられて表示させられるものとなる。スマートフォン１のユーザは，これらの合成画像88Ａ，88Ｂおよび88Ｃの中から所望の合成画像をタッチすることにより選択する（図20ステップ52）。注文ボタン85がタッチされると注文入力となり（図20ステップ50），注文コマンドおよび指定した合成画像の識別データが画像合成サーバ20に送信される（図20ステップ51）。

注文コマンドおよび指定された合成画像の識別データが画像合成サーバ20において受信されると，識別データによって特定される合成画像がプリントされる（ステップ72）。

図22は，さらに他の実施例を示すもので，画像合成システムの処理手順を示すフローチャートである。この実施例は，テンプレート画像Ｔ４に合成された抽出画像をスマートフォン１のユーザが調整するものである。図22に示す処理において，図７に示す処理等と同一の処理については同一符号を付して説明を省略する。

上述のようにして，抽出画像112がテンプレート画像Ｔ４の合成領域34に合成され，合成画像を表す画像データがＣＰＵ21の制御によって画像合成サーバ20の通信装置26からスマートフォン１に送信され（ステップ68−71），スマートフォン１の表示画面80に，図16に示すような合成画像88が表示させられる（ステップ48，49）（ＣＰＵ21および通信装置26とが第２の表示制御手段となる）。

スマートフォン１のユーザは，抽出画像112の位置調整，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令をスマートフォン１のタッチパネル５を用いて行なう（ステップ141）。たとえば，抽出画像112上をドラッグすることにより，位置調整指令がスマートフォン１に与えられ，抽出画像112上を二本の指の間隔を広くすることにより拡大指令がスマートフォン１に与えられ，抽出画像112上を二本の指の間隔を狭くすることにより縮小指令がスマートフォン１に与えられ，抽出画像112上を指で回転することにより回転指令がスマートフォン１に与えられる。抽出画像112の大きさは，合成領域34の大きさと同じ大きさであるから，抽出画像112が縮小または回転されると，合成領域34に空白部分ができてしまうことがある。このために，縮小または回転の場合には，スマートフォン１に記憶されている対象画像Ｐ１を用いて調整が行なわれよう。調整された後の状況を示す調整データ（移動量，移動方向，縮小率，拡大率，回転量など）がスマートフォン１から画像合成サーバ20に送信される（ステップ142）。

画像合成サーバ20の通信装置26（調整指令入力手段）において調整データが受信されると，その調整データにしたがって，スマートフォン１のユーザの調整と同じ調整が画像合成サーバ20のＣＰＵ21によって行なわれる（ステップ151）。調整された抽出画像について画像解析処理が行なわれ，調整された抽出画像の印象とテンプレート画像Ｔ４の印象との近似度が，上述したようにしてＣＰＵ21（第１の算出手段）によって算出される（ステップ152）。近似度が算出されると，算出された近似度に応じて合成領域34の枠の色をかえるコマンドが画像合成サーバ20のＣＰＵ21によって生成され，通信装置26（報知手段）からスマートフォン１に送信される（ステップ153）。たとえば，近似度が近いほど枠の色が青く，中くらいの近似度では枠の色を黄色とし，近似度が低いと枠の色を赤くするコマンドが画像合成装置20からスマートフォン１に送信される。

画像合成装置20からスマートフォン１にコマンドが送信されると，スマートフォン１の表示画面80に表示されている合成画像のうち枠の色がそのコマンドに応じて変更させられる（ステップ143）。注文ボタン83がタッチされると（ステップ144でＹＥＳ），注文データがスマートフォン１から画像合成装置20に送信され（ステップ50），スマートフォン１のユーザによって再調整が行なわれる場合にはステップ141からの処理が繰り返される。

上述の実施例においては，近似度に応じて枠の色を変えているが，近似度に応じて枠線の太さ，枠線の種類を変えるようにしてもよい。例えば，近似度が高いほど枠線を太くし，近似度が低いほど枠線を細くしてもよいし，近似度が高いと枠線の種類を実線とし，近似度が低いと枠線の種類を鎖線としてもよい。また，枠線の色等を変えることにより近似度を報知せずに，近似度自体を画像合成装置20からスマートフォン１に送信することにより報知してもよい。

図23は，さらに他の実施例を示すもので，画像合成システムの処理手順を示すフローチャートである。この実施例において，図７に示す処理と同一の処理については同一符号を付して説明を省略する。この実施例は，上述した近似度よりも近い近似度となる他の対象画像（スマートフォン１のユーザが選択した対象画像Ｐ１とは別の他の対象画像）を見つけるものである。また，決定した抽出領域内の抽出画像の印象とテンプレート画像の印象との近似度がＣＰＵ21によって算出される（第２の算出手段）。すでに算出された近似度を読みだしてもよい。

上述した実施例では，テンプレート画像に合成する対象画像Ｐ１が一つだけ選択され，その選択された一つの対象画像Ｐ１を表す画像データのみがスマートフォン１から画像合成装置に20に送信されているが，この実施例では，上述のようにして選択された対象画像Ｐ１は，第１の合成候補として画像合成装置20に送信される。その対象画像Ｐ１以外の他の画像（一つの画像でも複数の画像でもよい）がスマートフォン１のユーザによって選択され，次の合成候補として，スマートフォン１から画像合成装置20に送信される。第１の合成候補として画像合成装置20に送信された対象画像Ｐ１について，上述のようにして近似度が算出され，近似度がしきい値以上の抽出画像の抽出領域が決定される（ステップ68）。また，決定した抽出領域内の抽出画像の印象とテンプレート画像の印象との近似度がＣＰＵ21によって算出される（ステップ69Ａ。第２の算出手段）。そのようにして算出された近似度よりも高い近似度をもつ抽出画像を含む画像が次の合成候補として送信された他の画像の中からＣＰＵ21によって見つけられる（ステップ155）（対象画像検出手段）。

たとえば，図24に示す画像Ｐ10が次の合成画像候補としてスマートフォン１のユーザによって選択され，画像合成装置20に送信されたものとする。その画像Ｐ10中の被写体91Ａを含み，かつ選択されたテンプレート画像Ｔ４の合成領域34と相似の形状の抽出領域113（複数の抽出領域でもよい）がＣＰＵ21によって設定される。設定された抽出領域113内の抽出画像114の画像について上述したように画像解析され，画像解析情報が得られ，印象も決定する。このようにして得られた画像解析情報，印象などを利用して，抽出画像114の印象とテンプレート画像Ｔ４の印象との近似度が算出され，算出された近似度が第１の合成候補の対象画像Ｐ１から得られた近似度よりも高い近似度であれば，対象画像Ｐ１から決定された抽出画像112ではなく，次の合成候補である画像Ｐ10から決定された抽出画像114が合成領域34に合成される（ステップ70）。次候補としてスマートフォン１のユーザによって選択された画像Ｐ10から被写体を見つけるには，スマートフォン１から画像合成装置20に画像Ｐ10を送信する前に，スマートフォン１のユーザによって指定されてもよいし，顔検出，人物検出などにより画像合成装置20のＣＰＵ21によって検出されてもよい。また，通常は，第１の合成候補とされた対象画像Ｐ１に含まれる被写体（赤ん坊）91と同じ被写体91Ａが含まれている画像Ｐ10が次の合成画像候補とされるが,必ずしも被写体が同じでなくともよい。

このようにして，次の合成画像候補Ｐ10の抽出画像114を用いて合成画像が生成されると，その後の処理は上述したのと同様であるため，説明を省略する。次の合成画像候補Ｐ10を用いて生成された合成画像がスマートフォン１のユーザの気に入らなかった場合には，第１の合成画像候補として指定された対象画像Ｐ１を利用して合成画像を生成することもできるようにしてもよいのはいうまでもない。

上述した実施例では，テンプレート画像Ｔ４の印象の近似度との近似度がしきい値以上の抽出画像112がテンプレート画像Ｔ４の合成領域34に合成されているが，選択されたテンプレート画像の印象と同一の印象をもつ抽出画像をテンプレート画像の合成領域に合成するようにしてもよい。その場合，上述した各処理についても同様に行われる。

図25は，他の実施例を示すもので，画像合成システムの処理手順の一部を示すフローチャートである。図25は，図６の処理に対応するもので，図25の処理に対応する処理と同一の処理については，同一符号を付して説明を省略する。

上述した実施例では，印象の近似度を用いて，ユーザが選択したテンプレート画像の印象に合う（合成画像のバランスのよい）抽出画像が決定されているが，この実施例では，印象を用いずに，合成した場合に，ユーザが選択したテンプレート画像とバランスのよい抽出画像を決定するものである。

上述のようにして対象画像Ｐ１が選択され，ＣＰＵ21によって選択された対象画像Ｐ１の中から上述のように被写体が決定され（被写体決定手段），対象画像Ｐ１から複数抽出領域101，102および103（図11参照）が規定されると，ＣＰＵ21によって抽出画像111，112および113の解析が行なわれ（ステップ66Ａ），上述したように画像解析情報が得られる（図15参照）。抽出画像111，112および113の印象は決定されてもされなくともよい。抽出画像111，112および113についてのそれぞれの画像解析情報と，テンプレート画像Ｔ４の画像解析情報（図５参照）との近似度（解析情報近似度）が上述のようにして算出される（ステップ67Ａ）。

その後は，上述したのと同様に，抽出画像111，112および113のうち，算出された解析情報近似度がしきい値以上となる抽出画像の抽出領域がＣＰＵ21によって決定される（抽出領域決定手段）。決定された抽出領域内の抽出画像が，ＣＰＵ21によってテンプレート画像Ｔ４の合成領域34に合成される（画像合成手段）。

上述したのと同様に，解析情報近似度がしきい値以上となる抽出領域が複数ある場合には，図19または図21に示すように，複数の抽出領域をスマートフォンの表示画面80にＣＰＵ21および通信装置26によって表示させ（第１の表示制御手段），スマートフォン１のユーザによって複数の抽出領域の中から少なくとも一つの抽出領域を指定させ（指定手段），指定された抽出領域内の抽出画像をテンプレート画像Ｔ４の合成領域34にＣＰＵ21によって合成してもよい。

また，上述したのと同様に，ＣＰＵ21と通信装置26によって合成画像をスマートフォン１の表示画面80に表示させ（第２の表示制御手段），スマートフォン１のユーザによって，合成領域34に合成されている抽出画像の位置調整指令，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令に応じて調整を行い，それらの調整指令を通信装置26（調整指令入力手段）により入力し，調整後の抽出画像の解析情報とテンプレート画像の解析情報との近似度を，同種の解析情報についてＣＰＵ21によって算出してもよい。そのようにして算出された近似度がＣＰＵ21および通信装置26によって（報知手段），画像合成装置20からスマートフォン１に送信して，近似度をスマートフォン１のユーザに報知してもよい。また，この報知の方法として，上述したのと同様に，合成領域34の枠の色，枠線の太さ，枠線の種類の少なくとも一つを，ＣＰＵ21によって近似度に応じて変えるようにしてもよい。

さらに，上述した実施例と同様に，ユーザが選択した対象画像Ｐ１を第１の合成候補とし，対象画像Ｐ１と異なる他の画像を次の合成候補としてもよい。たとえば，決定した抽出領域内の抽出画像の解析情報とテンプレート画像の解析情報との近似度が，同種の解析情報についてＣＰＵ21によって算出される（第２の算出手段）。ユーザが選択した対象画像Ｐ１の合成候補から得られた抽出画像112の解析情報とテンプレート画像の解析情報との近似度よりも高い近似度となる画像解析情報をもつ画像を，次の合成候補とされた他の画像の中からＣＰＵ21（対象画像検出手段）によって見つけるようにしてもよい。この場合，次の合成候補とされた他の画像の中から見つけられた画像の抽出画像（テンプレート画像Ｔ４の合成領域34と相似の形状をもつ抽出領域内の抽出画像）がテンプレート画像Ｔ４の合成領域34にＣＰＵ21（画像合成手段）によって合成される。次の合成候補とされた他の画像については，好ましくは，ユーザが選択した対象画像Ｐ１に含まれている被写体と同一の被写体が入っているが，入っていなくともよい。

上述の実施例では，インターネットを介してスマートフォン１と画像合成サーバ20とが通信して合成画像を生成しているが，スマートフォン１または画像合成サーバ20のいずれかにおいて，上述の処理をすべて行なわれるようにしてもよい。

図26は，横軸を「暖かい」から「冷たい」，縦軸を「柔らかい」から「硬い」という２軸によって表す印象空間の一例である。２軸は，温かい，冷たい，柔らかい，硬いという表現を用いて規定するのではなく，２軸のうち一方の軸を，「鮮やかな」から「渋い」，他方の軸を，「カジュアル」から「フォーマル」などの他の表現で規定するようにしてもよい。

上述したように，明るさ，コントラスト，彩度，色相，色バランスなどの画像解析情報にもとづいて，印象空間において，印象の範囲が定められている。たとえば，「やさしい」の印象の範囲は，明るさがＬ６からＬ９，コントラストがＬ５からＬ８，彩度がＬ４からＬ６をもつものである。その他の画像解析情報についても「やさしい」の印象の範囲に含まれるものについて定められている。「やさしい」の印象の範囲だけでなく，その他の印象「かわいい」，「さわやか」，「シック」などについても，それぞれの印象の範囲に含まれる明るさ，コントラスト，彩度，色相，色バランスなどの画像解析情報が定められている。画像解析情報から，印象が決定されることとなる。

印象が印象空間で表されていることから，印象同士の近似度を算出することができる。

たとえば，上述した実施例において，ユーザによって選択されたテンプレート画像Ｔ１は，図26に示す印象空間上で，座標（ｘ０，ｙ０）で表されるものとする。また，同様に，抽出画像111は，座標（ｘ１，ｙ１），抽出画像112は，座標（ｘ２，ｙ２），抽出画像113は，座標（ｘ３，ｙ３）で，それぞれ表されるものとする。テンプレート画像Ｔ１と抽出画像111との近似度は，テンプレート画像の座標（ｘ０，ｙ０）と抽出画像111の座標（ｘ１，ｙ１）との距離で表される。同様に，テンプレート画像Ｔ１と抽出画像112との近似度は，テンプレート画像の座標（ｘ０，ｙ０）と抽出画像112の座標（ｘ２，ｙ２）との距離で表され，テンプレート画像Ｔ１と抽出画像113との近似度は，テンプレート画像の座標（ｘ０，ｙ０）と抽出画像111の座標（ｘ３，ｙ３）との距離で表される。これらの距離が所定距離以下であるような抽出画像が，テンプレート画像の印象との近似度がしきい値以上の印象をもつ抽出画像となる。異なる印象であっても，同じ印象よりも近似度が近いこともある。

このような印象空間を利用しても，上述したように，テンプレート画像の印象に近似した抽出画像を見つけ出すことができるようになる。

20 画像合成サーバ（画像合成装置）
21 ＣＰＵ（被写体決定手段，抽出領域決定手段，画像合成手段，第１の表示制御手段，第２の表示制御手段，第１の算出手段，第２の算出手段，対象画像検出手段）
23 コンパクト・ディスク（記録媒体）
26 通信装置（第１の表示制御手段，第２の表示制御手段，報知手段）

Claims (23)

1. 合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体決定手段，
   上記対象画像において上記被写体決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の印象と上記抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像の抽出領域を決定する抽出領域決定手段，ならびに
   上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する画像合成手段，
   を備えた画像合成装置。
2. 上記テンプレート画像の印象と上記抽出画像の印象との近似度は，あらかじめ定められている近似度を算出する近似度テーブルから得られる，
   請求項１に記載の画像合成装置。
3. 上記抽出画像の印象は，上記抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの抽出画像の解析情報から決定される，
   請求項１または２に記載の画像合成装置。
4. 上記テンプレート画像の印象は，
   上記テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報から決定されるものであり，
   上記抽出画像の印象は，上記抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの抽出画像の解析情報から決定されるものであり，
   上記テンプレート画像の印象と上記抽出画像の印象との近似度は，上記テンプレート画像解析情報と同種の上記抽出画像の解析情報との近似度から得られる，
   請求項１に記載の画像合成装置。
5. 上記抽出領域決定手段によって決定した抽出領域を上記対象画像に重ねて表示装置に表示させる第１の表示制御手段をさらに備え，
   上記画像合成手段は，
   上記第１の表示制御手段によって表示させられた抽出領域の中から少なくとも一つの抽出領域を指定させる指定手段によって指定された抽出領域内の抽出画像を，上記テンプレート画像の合成領域と合成する，
   請求項１から４のうち，いずれか一項に記載の画像合成装置。
6. 上記画像合成手段によって合成された合成画像を上記表示装置に表示させる第２の表示制御手段，
   上記第２の表示制御手段によって表示させられた合成画像に合成されている抽出画像の位置調整指令，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令を入力する調整指令入力手段，
   上記調整指令入力手段によって入力された調整指令に応じた調整を行い，調整後の上記抽出画像の印象と上記テンプレート画像の印象との近似度を算出する第１の算出手段，および
   上記第１の算出手段によって算出された近似度を報知する報知手段，
   をさらに備えた請求項１から５のうち，いずれか一項に記載の画像合成装置。
7. 上記報知手段は，
   上記第２の表示制御手段により表示させられた合成画像の合成領域の枠の色，枠線の太さおよび枠線の種類の少なくとも一つを，上記第１の算出手段によって算出された近似度に応じて変えることにより上記算出された近似度を報知する，
   請求項６に記載の画像合成装置。
8. 上記抽出領域決定手段によって決定した抽出領域内の抽出画像の印象と上記テンプレート画像の印象との近似度を算出する第２の算出手段，および
   上記第２の算出手段によって算出された近似度よりも高い近似度となる印象をもち，かつ上記対象画像とは異なる他の対象画像であって，上記被写体と同一の被写体を含む他の対象画像を見つける対象画像検出手段をさらに備え，
   上記画像合成手段は，
   上記対象画像検出手段によって検出された上記他の対象画像のうち上記被写体と同一の被写体を含む部分を，上記テンプレート画像の合成領域に合成する，
   請求項１から７のうち，いずれか一項に記載の画像合成装置。
9. 上記対象画像検出手段は，
   上記被写体と同一の被写体を含み，かつ上記テンプレート画像の合成領域と相似の部分が，上記第２の算出手段によって算出された近似度よりも高い近似度となる印象をもつ上記他の対象画像を見つける，
   請求項８に記載の画像合成装置。
10. 合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体決定手段，
    上記対象画像において上記被写体決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報と，上記テンプレート画像解析情報と同種の上記抽出画像の解析情報と，の近似度がしきい値以上の解析情報をもつ抽出画像の抽出領域を決定する抽出領域決定手段，ならびに
    上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する画像合成手段，
    を備えた画像合成装置。
11. 上記抽出領域決定手段によって決定した抽出領域を上記対象画像に重ねて表示装置に表示させる第１の表示制御手段をさらに備え，
    上記画像合成手段は，
    上記第１の表示制御手段によって表示させられた抽出領域の中から少なくとも一つの抽出領域を指定させる指定手段によって指定された抽出領域内の抽出画像を，上記テンプレート画像の合成領域と合成する，
    請求項10に記載の画像合成装置。
12. 上記画像合成手段によって合成された合成画像を上記表示装置に表示させる第２の表示制御手段，
    上記第２の表示制御手段によって表示させられた合成画像に合成されている抽出画像の位置調整指令，拡大指令，縮小指令および回転指令の少なくとも一つの調整指令を入力する調整指令入力手段，
    上記調整指令入力手段によって入力された調整指令に応じた調整を行い，調整後の上記抽出画像の解析情報と上記テンプレート画像の解析情報との近似度を，同種の解析情報について算出する第１の算出手段，および
    上記第１の算出手段によって算出された近似度を報知する報知手段，
    をさらに備えた請求項10または11に記載の画像合成装置。
13. 上記報知手段は，
    上記第２の表示制御手段により表示させられた合成画像の合成領域の枠の色，枠線の太さおよび枠線の種類の少なくとも一つを，上記第１の算出手段によって算出された近似度に応じて変えることにより上記算出された近似度を報知する，
    請求項12に記載の画像合成装置。
14. 上記抽出領域決定手段によって決定した抽出領域内の抽出画像の解析情報と上記テンプレート画像の解析情報との近似度を，同種の解析情報について算出する第２の算出手段，および
    上記第２の算出手段によって算出された近似度よりも高い近似度となる解析情報をもち，かつ上記対象画像とは異なる他の対象画像であって，上記被写体と同一の被写体を含む他の対象画像を見つける対象画像検出手段をさらに備え，
    上記画像合成手段は，
    上記対象画像検出手段によって検出された上記他の対象画像のうち上記被写体と同一の被写体を含む部分を，上記テンプレート画像の合成領域に合成する，
    請求項10から13のうち，いずれか一項に記載の画像合成装置。
15. 上記対象画像検出手段は，
    上記被写体と同一の被写体を含み，かつ上記テンプレート画像の合成領域と相似の部分が，上記第２の算出手段によって算出された近似度よりも高い近似度となる解析情報をもつ上記他の対象画像を見つける，
    請求項14に記載の画像合成装置。
16. 合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定する被写体像決定手段，
    上記対象画像において上記被写体像決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域であって，抽出領域内の抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの画像特徴量から定まる抽出画像の印象が，上記テンプレート画像の印象と同一である上記抽出画像の抽出領域を決定する抽出領域決定手段，ならびに
    上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する画像合成手段，
    を備えた画像合成装置。
17. 被写体決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，
    抽出領域決定手段が，上記対象画像において上記被写体決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の印象と上記抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像の抽出領域を決定し，
    画像合成手段が，上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する，
    画像合成方法。
18. 被写体決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，
    抽出領域決定手段が，上記対象画像において上記被写体決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報と，上記テンプレート画像解析情報と同種の上記抽出画像の解析情報と，の近似度がしきい値以上の解析情報をもつ抽出画像の抽出領域を決定し，
    画像合成手段が，上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する，
    画像合成方法。
19. 被写体像決定手段が，合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定し，
    抽出領域決定手段が，上記対象画像において上記被写体像決定手段によって決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域であって，抽出領域内の抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの画像特徴量から定まる抽出画像の印象が，上記テンプレート画像の印象と同一である上記抽出画像の抽出領域を決定し，
    画像合成手段が，上記抽出領域決定手段によって決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成する，
    画像合成方法。
20. 画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定させ，
    上記対象画像において決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の印象と上記抽出画像の印象との近似度がしきい値以上の印象をもつ抽出画像の抽出領域を決定させ，
    決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成させるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
21. 画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定させ，
    上記対象画像において，決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域内の抽出画像のうち，上記テンプレート画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つのテンプレート画像解析情報と，上記テンプレート画像解析情報と同種の上記抽出画像の解析情報と，の近似度がしきい値以上の解析情報をもつ抽出画像の抽出領域を決定させ，
    決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成させるように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
22. 画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって，
    合成領域が定められているテンプレート画像に合成する対象画像中の被写体を決定させ，
    上記対象画像において決定された被写体を含み，かつ上記テンプレート画像の合成領域の形状と相似の形状であるが大きさの異なる複数の抽出領域であって，抽出領域内の抽出画像の明るさ，コントラスト，彩度，色相および色バランスのうち少なくとも一つの画像特徴量から定まる抽出画像の印象が，上記テンプレート画像の印象と同一である上記抽出画像の抽出領域を決定させ，
    決定した抽出領域内の抽出画像を，上記テンプレート画像の合成領域に合成させように画像合成装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
23. 請求項20から請求項22のうち少なくとも一つの上記プログラムを格納した記録媒体。

Images