JP2022006415A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Abstract

【課題】画像群を有するユーザの端末装置から、画像群を有していないユーザの端末装置に移動した場合でも、シームレスにレイアウトの編集を再開することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】画像処理装置、画像処理方法、プログラムおよび記録媒体では、第１の端末装置において、レイアウトが作成された合成画像を表示させ、第１の端末装置でのレイアウトの編集中に、画像群から、定められた基準に基づいて、合成画像で使用されている使用画像以外の一部の画像であって、第２の端末装置でのレイアウトの編集再開時に、合成画像で使用可能な候補画像を選択し、第１の端末装置から送信されてサーバで受信される、使用画像、候補画像、および、第１の端末装置でのレイアウトの編集により使用画像以外の画像群から合成画像に新規に追加される追加画像をサーバに記憶させる。【選択図】図５

Description

本発明は、画像群から合成画像のレイアウトを自動で作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

フォトアルバム（フォトブック）、ハードカバーアルバムおよびシャッフルプリント等の合成画像のレイアウトを作成する場合、ユーザが、ユーザの画像群に含まれる大量の画像の中から、合成画像で使用する複数枚の画像を選択し、選択された複数枚の画像を綺麗にレイアウトするという手間の掛かる編集作業が必要であり、初心者にとっては、この編集作業が大きな負担となっていた。

これを鑑み、ＰＣ（Personal Computer：パーソナルコンピュータ）、タブレットＰＣおよびスマートフォン等のようなユーザの端末装置で動作する合成画像の注文アプリケーション（注文ソフトウェア）のように、ユーザの画像群から、合成画像で使用する複数枚の画像を自動で選択し、選択された複数枚の画像を用いて合成画像のレイアウトを自動で作成するアプリケーションが提供されている。

ここで、本発明に関連性ある先行技術文献として、特許文献１～４がある。

特許文献１には、アルバム発注者端末において、高画質画像から低画質画像を生成してアルバム作成装置に供給し、アルバム作成装置において、低画質画像を解析して、低画質画像の中から、アルバムに配置する低画質画像を選択し、アルバムに配置してアルバムサンプルを作成し、アルバムサンプルをアルバム発注者端末に送信してユーザに閲覧させるアルバム作成システムが記載されている。

特許文献２には、ユーザから、アルバムのサイズおよびページ数を受け、画像ファイルの指定を受け付けて解析およびスコアリングを行い、複数の画像ファイルを複数のグループに分割し、グループの中からスコアリングの高い画像を選出して、夫々のグループに含まれる画像データをテンプレートの各領域にレイアウトし、アルバムのレイアウト結果の確認・編集画面を表示し、確認および編集作業が終わると、現時点のアルバムデータを、ネットワークを介して外部サーバに送信する情報処理装置が記載されている。

特許文献３には、画像ファイルのスコアリングを行って、複数のレイアウトから構成されるレイアウトリストを作成し、ユーザが、レイアウトされたアルバムの編集作業を実行する情報処理装置が記載されている。また、特許文献３には、レイアウトリストに使用されていない画像ファイルのうち、スコアリングの評価値が所定値以上の画像ファイル、もしくは評価値が上位である所定数の画像ファイルを削除せずに残し、再編集の際に、削除せずに残した画像も含めて、レイアウトリストを作成することが記載されている。

特許文献４には、レイアウト変更によるページ削除画像が存在する場合、ページ削除画像を記憶し、既に画像が配置されている編集済のページが、編集ページとして表示された時に、ページ削除画像を強調表示した状態で、ページ配置候補画像を一覧表示するフォトブック作成装置が記載されている。

特開２００７－１９４９６６号公報 特開２０１９－０６７２３７号公報 特許第６５２１８５６号公報 特開２０１９－１２８６４７号公報

従来は、ユーザの端末装置において、注文アプリケーションを使って、画像群から合成画像のレイアウトを作成し、合成画像で使用されている画像および作成されたレイアウトの情報をサーバに送信して、合成画像の製品を注文していた。この場合、画像群のうち、合成画像で使用されていない画像は、合成画像を作成したユーザの端末装置だけに記憶されているため、例えば画像群から新規な画像を合成画像に追加する等のレイアウトの編集の再開は、このユーザの端末装置でしかできないという課題があった。

これに対し、画像群を有するユーザの端末装置から、画像群を有していないユーザの端末装置に移動しても、シームレスにレイアウトの編集作業を再開できる環境を実現できれば、幼い子供がいる母親等のように、編集作業の時間が限られているユーザにとって利便性の向上に繋がる。しかし、この場合、合成画像で使用可能な画像群の全てをユーザの端末装置からサーバに送信するための待ち時間をユーザに強いることになるという別の課題が生じる。

本発明の第１の目的は、画像群を有するユーザの端末装置から、画像群を有していないユーザの端末装置に移動した場合でも、シームレスにレイアウトの編集を再開することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
本発明の第２の目的は、上記第１の目的に加え、合成画像で使用可能な画像群をユーザの端末装置からサーバに送信するためのユーザの待ち時間を大幅に短縮することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、ネットワークを介して接続される、サーバと、第１の端末装置と、第１の端末装置とは異なる第２の端末装置と、を備え、第１の端末装置が有する画像群から選択される一部の画像を用いて合成画像のレイアウトを作成する画像処理装置であって、
プロセッサを備え、プロセッサは、
第１の端末装置において、レイアウトが作成された合成画像を表示させ、
第１の端末装置でのレイアウトの編集中に、画像群から、定められた基準に基づいて、合成画像で使用されている使用画像以外の一部の画像であって、第２の端末装置でのレイアウトの編集再開時に、合成画像で使用可能な候補画像を選択し、
第１の端末装置から送信されてサーバで受信される、使用画像、候補画像、および、第１の端末装置でのレイアウトの編集により使用画像以外の画像群から合成画像に新規に追加される追加画像をサーバに記憶させる、画像処理装置を提供する。

ここで、プロセッサは、
第１の端末装置において、画像群から、画像群の解析に必要な解像度を有し、かつ、画像群よりもデータ量が少ない解析用画像群を作成し、
サーバにおいて、第１の端末装置から送信されてサーバで受信される解析用画像群を解析し、解析用画像群から、解析用画像群の解析の結果に基づいて解析用使用画像を選択し、解析用使用画像を用いてレイアウトを作成し、レイアウトの情報を記憶させ、
第１の端末装置において、サーバから送信されて第１の端末装置で受信されるレイアウトの情報に基づいて、レイアウトが作成された合成画像を表示させることが好ましい。

また、プロセッサは、
サーバにおいて、解析用画像群に含まれる各々の解析用画像のスコアを算出し、
第１の端末装置において、使用画像以外の画像群から、サーバから送信されて第１の端末装置で受信されるスコアが、定められた基準値以上である解析用画像に対応する画像、または、スコアが、高い方から定められた割合の解析用画像に対応する画像を候補画像として選択することが好ましい。

また、プロセッサは、
サーバにおいて、解析用画像群に含まれる各々の解析用画像の属性を解析し、
第１の端末装置において、使用画像以外の画像群から、サーバから送信されて第１の端末装置で受信される属性が追加画像の属性に一致する解析用画像に対応する画像、および、属性が、追加画像の属性から、定められた範囲内の解析用画像に対応する画像を候補画像として選択する、または、属性が追加画像の属性に一致せず、かつ、属性が、追加画像の属性から、定められた範囲外の解析用画像に対応する画像を候補画像として選択することが好ましい。

また、プロセッサは、
サーバにおいて、解析用使用画像以外の解析用画像群から解析用候補画像を選択し、
第１の端末装置において、画像群から、サーバから送信されて第１の端末装置で受信される解析用候補画像に対応する候補画像を選択することが好ましい。

また、プロセッサは、第２の端末装置でのレイアウトの編集再開時に、サーバから送信されて第２の端末装置で受信される、使用画像に対応する解析用画像、候補画像に対応する解析用画像および追加画像に対応する解析用画像を、第２の端末装置において、第２の端末装置でのレイアウトの編集中に、合成画像で使用可能な画像として表示させることが好ましい。

また、プロセッサは、
第１の端末装置において、画像群を解析し、画像群から、画像群の解析の結果に基づいて使用画像を選択し、使用画像を用いてレイアウトを作成し、レイアウトが作成された合成画像を表示させ、
サーバにおいて、第１の端末装置から送信されてサーバで受信されるレイアウトの情報を記憶させることが好ましい。

また、プロセッサは、
第１の端末装置において、画像群の解析の結果として、画像群に含まれる各々の画像のスコアを算出し、使用画像以外の画像群から、スコアが、定められた基準値以上である画像、または、スコアが、高い方から定められた割合の画像を候補画像として選択することが好ましい。

また、プロセッサは、
第１の端末装置において、画像群に含まれる各々の画像の属性を解析し、使用画像以外の画像群から、属性が追加画像の属性に一致する画像、および、属性が、追加画像の属性から、定められた範囲内の画像を候補画像として選択する、または、属性が追加画像の属性に一致せず、かつ、属性が、追加画像の属性から、定められた範囲外の画像を候補画像として選択することが好ましい。

また、プロセッサは、
第１の端末装置において、使用画像以外の画像群から、ユーザによって編集操作が行われた編集操作画像の情報に基づいて、第１の端末装置でのレイアウトの編集中に、ユーザによって編集操作が行われ、かつ、第１の端末装置でのレイアウトの編集後に、合成画像で使用されていない画像を候補画像として選択することが好ましい。

また、プロセッサは、
第１の端末装置において、使用画像以外の画像群から、ユーザの過去の注文履歴に基づいて候補画像を選択することが好ましい。

また、プロセッサは、候補画像として、定められた枚数の画像、または、画像群のうち、定められた割合の画像を第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、候補画像として、ネットワークの状況に応じた枚数の画像を第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、第１の端末装置でのレイアウトの編集中に、使用画像および候補画像からなるグループに含まれる少なくとも一部の画像を第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、第１の端末装置でのレイアウトの編集後に、ユーザからの指示に応じて、グループに含まれる残りの画像および追加画像を、第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、第１の端末装置でのレイアウトの編集後に、ユーザからの指示に応じて、使用画像、候補画像および追加画像を第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、第２の端末装置から送信されて第１の端末装置で受信される通知に応じて、画像群のうち、通知に含まれる、使用画像、候補画像および追加画像以外の画像の情報に対応する画像を候補画像として第１の端末装置からサーバに送信することが好ましい。

また、プロセッサは、第２の端末装置でのレイアウトの編集再開時に、サーバから送信されて第２の端末装置で受信される、使用画像、候補画像および追加画像を、第２の端末装置において、第２の端末装置でのレイアウトの編集中に、合成画像で使用可能な画像として表示させることが好ましい。

また、本発明は、ネットワークを介して接続される、サーバと、第１の端末装置と、第１の端末装置とは異なる第２の端末装置と、を備える画像処理装置において、第１の端末装置が有する画像群から選択される一部の画像を用いて合成画像のレイアウトを作成する画像処理方法であって、
第１の端末装置の画像表示部が、第１の端末装置において、レイアウトが作成された合成画像を表示するステップと、
第１の端末装置の候補画像選択部が、第１の端末装置でのレイアウトの編集中に、画像群から、定められた基準に基づいて、合成画像で使用されている使用画像以外の一部の画像であって、第２の端末装置でのレイアウトの編集再開時に、合成画像で使用可能な候補画像を選択するステップと、
サーバの情報記憶部が、第１の端末装置から送信されてサーバで受信される、使用画像、候補画像、および、第１の端末装置でのレイアウトの編集により使用画像以外の画像群から合成画像に新規に追加される追加画像を記憶するステップと、を含む、画像処理方法を提供する。

ここで、第１の端末装置の解析用画像群作成部が、画像群から、画像群の解析に必要な解像度を有し、かつ、画像群よりもデータ量が少ない解析用画像群を作成するステップと、
サーバの画像解析部が、第１の端末装置から送信されてサーバで受信される解析用画像群を解析するステップと、
サーバの使用画像選択部が、解析用画像群から、解析用画像群の解析の結果に基づいて解析用使用画像を選択するステップと、
サーバのレイアウト作成部が、解析用使用画像を用いてレイアウトを作成するステップと、
サーバの情報記憶部が、レイアウトの情報を記憶するステップと、
第１の端末装置の画像表示部が、サーバから送信されて第１の端末装置で受信されるレイアウトの情報に基づいて、レイアウトが作成された合成画像を表示するステップと、を含むことが好ましい。

また、第１の端末装置の画像解析部が、画像群を解析するステップと、
第１の端末装置の使用画像選択部が、画像群から、画像群の解析の結果に基づいて使用画像を選択するステップと、
第１の端末装置のレイアウト作成部が、使用画像を用いてレイアウトを作成するステップと、
第１の端末装置の画像表示部が、レイアウトが作成された合成画像を表示するステップと、
サーバの情報記憶部が、第１の端末装置から送信されてサーバで受信されるレイアウトの情報を記憶するステップと、を含むことが好ましい。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

本発明によれば、使用画像、追加画像およびレイアウトの情報をサーバに記憶しておくことにより、画像群を有する第１の端末装置から、画像群を有していない第２の端末装置に移動した場合であっても、シームレスにレイアウトの編集を再開させることができる。
また、候補画像をサーバに記憶しておくことにより、ユーザは、第１の端末装置から第２の端末装置に移動してレイアウトの編集を再開する場合であっても、第２の端末装置でのレイアウトの編集中に、使用画像および追加画像だけでなく、候補画像を使用してレイアウトの編集作業を行うことができるため、編集の利便性を高めることができ、かつ、編集の幅を広げることができる。

また、本発明によれば、画像群から候補画像のみを選択してサーバに送信することにより、画像群に含まれる全ての画像をサーバに送信するよりも、合成画像で使用可能な画像をサーバに送信するためのユーザの待ち時間を大幅に短縮することができる。
また、第１の端末装置でのレイアウトの編集中に、つまり、ユーザによるレイアウトの編集操作のバックグラウンドで、使用画像および候補画像をサーバに送信することにより、レイアウトの編集後に、使用画像および候補画像をサーバに送信するための専用の時間を設けてこれらの画像をサーバに送信するよりも、ユーザが使用画像および候補画像の送信のために体感する送信時間を大幅に短縮することができる。

本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 サーバの構成を表す一実施形態のブロック図である。 第１の端末装置の構成を表す一実施形態のブロック図である。 第２の端末装置の構成を表す一実施形態のブロック図である。 画像処理装置の動作を表す一実施形態の概念図である。 ＰＣ用のアプリケーションの表示画面を表す一実施形態の概念図である。 スマートフォン用のアプリケーションの表示画面を表す一実施形態の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、ネットワーク（通信回線）１８を介して接続される、サーバ１２と、第１の端末装置１４と、第１の端末装置１４とは異なる第２の端末装置１６と、を備えている。画像処理装置１０は、第１の端末装置１４が有する画像群、つまり、ユーザが有する画像群から選択される一部の画像（写真）を用いて、フォトアルバム（フォトブック）等の合成画像のレイアウトを自動で作成する。

サーバ１２は、本実施形態の場合、第１の端末装置１４から送信されてくる合成画像の情報および解析用画像群から、合成画像のレイアウトを自動で作成する機能、および、同じく第１の端末装置１４から送信されてくる、使用画像、候補画像、追加画像、およびレイアウトの情報等を記憶する機能等を有する。サーバ１２は、１台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置（送信部および受信部）等を有する、ワークステーション等によって構成される。

第１および第２の端末装置１４，１６は、同じユーザが使用するユーザの端末装置であって、合成画像を表示し、そのレイアウトを編集する機能等を有する。第１および第２の端末装置１４，１６は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ（表示装置）等を有する、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、あるいは、スマートフォン等の携帯端末等によって構成される。なお、端末装置は、３台以上であってもよい。

ネットワーク１８は、サーバ１２と、第１の端末装置１４と、第２の端末装置１６と、を有線および無線の少なくとも１つにより相互に接続して、サーバ１２と、第１の端末装置１４と、第２の端末装置１６と、の間で各種のデータを送受信する機能を有する。ネットワーク１８は、例えばＷｉ－Ｆｉ（Wireless Fidelity：ワイファイ）および電話回線（キャリア回線）等によって構成される。また、複数のユーザの複数の端末装置を、ネットワーク１８を介して接続することができる。

次に、サーバ１２、第１の端末装置１４および第２の端末装置１６の詳細を説明する。

図２は、サーバの構成を表す一実施形態のブロック図である。図２に示すサーバ１２は、受信部２０と、解析用画像群記憶部２２と、画像解析部２４と、使用画像選択部２６と、レイアウト作成部２８と、情報記憶部３０と、送信部３２と、を備えている。

受信部２０は、第１および第２の端末装置１４，１６から送信されてくる各種のデータを受信する。本実施形態の場合、受信部２０は、第１の端末装置１４から送信されてくる、ユーザが作成したい合成画像の情報、解析用画像群、使用画像、候補画像、追加画像、および、第１の端末装置１４でのレイアウト編集後のレイアウトの情報等を受信する。また、受信部２０は、第２の端末装置１６から送信されてくる、第２の端末装置１６でのレイアウトの編集後のレイアウトの情報等を受信する。

合成画像の情報とは、ユーザが作成したい合成画像のサイズ（Ａ５，Ａ４，Ａ５スクエア等）およびページ数（１６ページ、２４ページ、３２ページ、４０ページ、４８ページ等）等の情報である。合成画像のサイズおよびページ数等の情報により、合成画像を作成するために必要な画像の最低必要枚数が決定される。例えば、フォトアルバムのページ数が２４ページの場合、最低必要枚数が１００枚というように決定される。

解析用画像群とは、第１の端末装置１４が有する画像群から作成される解析用の画像群であって、画像群の解析に必要な解像度を有し、かつ、画像群よりもデータ量が少ない画像群である。
使用画像とは、本実施形態の場合、画像群のうち、画像処理装置１０によりレイアウトが自動で作成される合成画像で使用されている解析用使用画像に対応する画像である。
候補画像とは、画像群のうち、使用画像以外の一部の画像であって、第２の端末装置１６でのレイアウトの編集中に、合成画像で使用可能な画像である。画像処理装置１０は、画像群を有していない第２の端末装置１６でレイアウトの編集を再開する場合に、画像群から、第２の端末装置でのレイアウトの編集中に、ユーザが合成画像で使用する可能性が高いと考えられる画像を候補画像として選択する。
追加画像は、第１の端末装置１４でのレイアウトの編集により画像群から合成画像に新規に追加される画像である。つまり、第１の端末装置１４でのレイアウトの編集後の合成画像には、使用画像および追加画像が含まれている。

レイアウトの情報とは、合成画像に含まれる画像の情報、そのレイアウトにおける画像の配置および画像のサイズ等の情報である。

続いて、解析用画像群記憶部２２は、受信部２０によって第１の端末装置１４から受信される解析用画像群を記憶する。

続いて、画像解析部２４は、１つ以上の解析項目について、解析用画像群記憶部２２に記憶される解析用画像群を解析する。

解析項目は、特に限定されないが、画像に写っている被写体（人物および人物以外のオブジェクト）の検出、主人公となる人物の検出、ユーザにより指定される特定の被写体の検出、人物の顔の検出、人物の数の検出、人物の表情の検出、および、人物の行動の検出等を含んでいてもよい。
解析項目は、画像に写っているシーン（夜景、海、砂浜、空、等）の検出、イベント（運動会、結婚式、卒業式、等）の検出、および、ユーザの嗜好（海の画像が好みである、山の画像が好みである、等）の検出等を含んでいてもよい。
解析項目は、画像の明るさ、色合い（彩度）、コントラスト、および、ボケブレ度合い等のように、画像の画質の解析を含んでいてもよい。
解析項目は、Exif（Exchangeable Image File Format：イグジフ）等の画像の付加情報に含まれる撮影時刻および撮影場所等のように、画像の属性の解析を含んでいてもよい。

解析項目は、類似度が基準値以上の被写体が写っている画像の検出等を含んでいてもよい。
類似度の算出方法は、特に限定されないが、例えば画像の複数の特徴量に基づいて、画像同士の類似度を検出することができる。特徴量とは、例えば画像の解像度、データ量、ボケブレ度合い、主要被写体の種類、主要被写体の画像に対する相対的な大きさ、主要被写体の位置、色味、あるいは、これらの特徴量を複数組み合わせて生成されるものである。さらには、特徴量は、教師あり学習または教師なし学習により予め学習された学習済みモデルが、画像の入力を受けて出力する、１次元または複数の次元から構成されるものであってもよい。ここで、学習済みモデルから出力される特徴量は人間には意味解釈できない場合もあるが、少なくとも、１の画像を入力したときに一意に出力されるような数値群であれば、本発明の特徴量として用いることができる。画像群に含まれる各々の画像は、例えば第１の特徴量を横軸とし、第２の特徴量を縦軸とする２次元の特徴量空間において、この特徴量空間上に分布し、画像同士の特徴量空間上の距離が小さいほど、画像同士の類似度が大きいということができる。

解析項目は、単位時間当たりの画像の枚数および画像の分布（密度）の解析等のように、解析用画像群全体としての解析を含んでいてもよい。
解析用画像群全体としての解析の結果は、フォトアルバムの見開きページに配置する画像の分類（グループ分け）等に活用することができる。例えば、画像群を、春、夏、秋および冬のグループに分けると、夏の画像が多いというように、季節毎に撮影された画像の枚数がばらついていることがある。夏の画像が他の季節の画像よりも多い場合、その枚数に比例して、フォトアルバムで使用する夏の画像を増やし、フォトアルバムの１２枚の見開きページのうち、夏の画像を使用する見開きページを４ページから５ページに増やすというように活用する。

解析項目は、画像のスコア（評価値）の算出を含んでいてもよい。
スコアの算出方法は、特に限定されないが、例えば複数の解析項目のスコアの合計値を各々の画像のスコアとすることができる。また、主人公が写っている画像のスコアを重み付けして高くする、撮影枚数の多い撮影日の画像のスコアを重み付けして高くするというように、画像のスコアを重み付けしてもよい。

例えば表１に示すように、画像群に含まれる各々の画像（ファイル名：画像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，…）について、複数の解析項目（ボケブレ度合い、明るさ具合、色、および、人物（顔）の数）のスコアを算出し、複数の解析項目のスコアの合計値を各々の画像のスコアとする。例えば画像Ａは、ボケブレ度合いのスコアが８０点、明るさ具合のスコアが９０点、色のスコアが８５点、顔１つのスコアを１００点として、人物（顔）のスコアが２００点であり、その合計値（スコア）は４５５点になる。

続いて、使用画像選択部２６は、解析用画像群から、解析用画像群の解析の結果に基づいて、合成画像で使用する解析用使用画像を選択する。

解析用使用画像の選択方法は、特に限定されないが、例えば解析用画像群のうち、特定の被写体が写っている画像、特定のシーンの画像、特定のイベントの画像、または、ユーザの嗜好に合致する画像の中から、合成画像で使用する枚数の画像を選択することができる。また、画像のスコアが高い順に、合成画像で使用する枚数の画像を選択してもよい。さらに、複数の解析項目の結果を組み合わせて画像を選択してもよい。

続いて、レイアウト作成部２８は、解析用使用画像および合成画像の情報を用いて合成画像のレイアウトを自動で作成する。

レイアウト作成部２８は、例えばフォトアルバムの場合、解析用使用画像を、画像の付加情報等に基づいて、フォトアルバムのページ数に対応する複数のグループに分類し、各々のページにおいて、各々のページに対応するグループに分類された解析用使用画像の中から、画像のスコア等に基づいて、各々のページに配置する枚数の解析用使用画像を選択し、選択された枚数の解析用使用画像を用いてレイアウトを作成する。

レイアウトの作成方法は、特に限定されないが、解析の結果に基づいて、スコアが高い画像を優先的にレイアウトすることができる。例えば、スコアが高い画像を合成画像の中央部に配置したり、スコアが高い画像のサイズを大きくしたりする。

続いて、情報記憶部３０は、サーバ１２において各種のデータを記憶する。本実施形態の場合、情報記憶部３０は、レイアウト作成部２８により自動で作成されるレイアウトの情報、第１および第２の端末装置１４，１６から送信されてくる編集後のレイアウトの情報等を記憶する。また、情報記憶部３０は、合成画像毎に、第１の端末装置１４から送信されてくる、使用画像、候補画像および追加画像を統合して記憶する。

情報記憶部３０は、使用画像および追加画像と、候補画像と、を区別して記憶するのが望ましい。これにより、第２の端末装置１６でのレイアウトの編集再開時に、使用画像および追加画像（合成画像で使用中の画像）と、候補画像（合成画像に新規に追加可能な画像）と、を区別して表示させることができるため、ユーザは、合成画像で使用されている画像と、合成画像に新規に追加可能な画像と、を一目で認識することができる。

送信部３２は、各種のデータを第１および第２の端末装置１４，１６に送信する。本実施形態の場合、送信部３２は、自動で作成されるレイアウトの情報、および、解析用画像群の解析の結果等を第１の端末装置１４に送信する。また、送信部３２は、第２の端末装置１６でのレイアウトの編集再開時に、使用画像、候補画像、追加画像およびレイアウトの情報等を第２の端末装置１６に送信する。

図３は、第１の端末装置の構成を表す一実施形態のブロック図である。図３に示す第１の端末装置１４は、受信部３４と、指示取得部３６と、画像記憶部３８と、画像表示部４０と、解析用画像群作成部４２と、レイアウト編集部４４と、候補画像選択部４６と、送信部４８と、備えている。

受信部３４は、サーバ１２から送信されてくる各種のデータを受信（ダウンロード）する。本実施形態の場合、受信部３４は、サーバ１２から送信されてくる、解析用画像群の解析の結果、および、自動で作成される合成画像のレイアウトの情報等を受信する。

続いて、指示取得部３６は、キーボード、マウス、タッチパッドおよびタッチパネル等の入力装置を用いてユーザにより入力される各種の指示を取得する。

ユーザからの指示は、特に限定されないが、本実施形態の場合、ユーザが作成したい合成画像の情報を指定する指示、合成画像で使用する画像群の情報を指定する指示、および、レイアウトを編集する指示、レイアウトの編集を終了する指示等を含む。

ユーザは、画像群の情報として、例えば第１の端末装置１４に記憶されている画像群のフォルダの場所を指定する指示、ＳＤ（Secure Digital：セキュアデジタル）カードおよびＵＳＢ（Universal Serial Bus：ユニバーサルシリアルバス）メモリ等の外部記憶装置に記憶されている画像群を読み込む指示、および、第１の端末装置１４に記憶されている画像群から、画像の撮影期間により合成画像で使用する画像群を指定する指示等のように、合成画像で使用する画像群を一括で指定する指示を入力することができる。

続いて、画像記憶部３８は、ユーザからの指示によって指定される、合成画像で使用可能な画像群を記憶する。

続いて、画像表示部４０は、第１の端末装置１４において各種の画像を表示する。本実施形態の場合、画像表示部４０は、ユーザが作成したい合成画像の情報および画像群の情報等を指定するための入力画面、合成画像のレイアウトを編集するレイアウト編集画面、および、画像群に含まれる各々の画像等を表示する。また、画像表示部４０は、サーバ１２から送信されてくるレイアウトの情報に基づいて、レイアウトが自動で作成された合成画像を表示する。

続いて、解析用画像群作成部４２は、画像記憶部３８に記憶されている画像群から解析用画像群を作成する。

解析に必要な解像度は、特に限定されないが、オリジナルの画像群に含まれる各々の画像の解像度以下の解像度であって、例えばＶＧＡ（Video Graphics Array：ビデオグラフィックスアレイ）の幅方向６４０ピクセル×高さ方向４８０ピクセルの解像度以上の解像度とすることができる。
データ量を削減する方法も、特に限定されないが、例えばオリジナルの画像群に含まれる各々の画像の幅方向および高さ方向の物理的なサイズを小さくして画像をリサイズする方法、および、画像を圧縮する方法等が含まれる。

続いて、レイアウト編集部４４は、第１の端末装置１４でのレイアウトの編集中に、ユーザの指示に従って、画像表示部４０に表示されている合成画像のレイアウトを編集する。

続いて、候補画像選択部４６は、第１の端末装置１４でのレイアウトの編集中に、そのバックグラウンドで、画像群から、定められた基準（候補画像の選択基準）に基づいて、合成画像で使用されている使用画像以外の一部の画像であって、第２の端末装置１６でのレイアウトの編集再開時に、合成画像で使用可能な候補画像を選択する。候補画像は、言い換えると、第２の端末装置１６でのレイアウトの編集再開時に、ユーザが合成画像で使用したいと考える可能性が高い画像である。

候補画像選択部４６が候補画像を選択するための基準は、特に限定されないが、例えば下記の（１）～（４）の方法を例示することができる。また、これらの（１）～（４）の方法のうち、２以上の方法を組み合わせてもよい。

（１）解析用画像群の解析の結果の利用
使用画像以外の画像群から、解析用画像群に含まれる各々の解析用画像のスコアに基づいて候補画像を選択することができる。
例えば、使用画像以外の画像群から、スコアが、定められた基準値（閾値）以上である解析用画像に対応する画像、または、スコアが、高い方から定められた割合（例えば、画像群のうち、２割の画像）の解析用画像に対応する画像を候補画像として選択する。
なお、スコアの基準値および割合は、任意に設定することができる。

表２は、前述の表１において、さらに、「レイアウト済み」および「候補画像」の項目を追加したものである。表２の「レイアウト済み」の項目において、使用画像は「Ｙ」、使用画像以外の画像は「Ｘ」で表されている。また、「候補画像」の項目において、使用画像は「－」、候補画像として選択される画像は「Ｙ」、候補画像として選択されない画像は「Ｘ」で表されている。
表２に示すように、画像Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，…のうち、スコアが高い方から、スコアが５５５点の画像Ｃおよびスコアが４５５点の画像Ｃが使用画像して選択されているとする。この場合、使用画像Ａ，Ｃ以外の画像Ｂ，Ｄ，Ｅ，Ｆ，Ｇ，…から、候補画像として、スコアが上位の２割（表２の場合、１枚）の画像を選択する場合、画像Ａ，Ｃの次にスコアが高い、スコアが４３５点の画像Ｅを候補画像として選択する。

（２）ユーザによる編集操作
例えば、ユーザによって編集操作が行われた編集操作画像の情報を記憶させておき、使用画像以外の画像群から、記憶された編集操作画像の情報に基づいて、第１の端末装置１４でのレイアウトの編集中に、ユーザによって編集操作が行われ、かつ、第１の端末装置１４でのレイアウトの編集後に、合成画像で使用されていない画像を候補画像として選択することができる。

例えば、第１の端末装置１４でのレイアウトの編集中に、使用画像以外の画像群から、一度は合成画像に追加されたが、その後、合成画像から削除され、レイアウトの終了後に、合成画像に含まれていない画像は、第２の端末装置１６でのレイアウトの編集再開時に、合成画像に追加される可能性が高い画像であると考えられる。また、第１の端末装置１４でのレイアウトの編集中に、拡大表示された画像は、ユーザにとって興味のある画像であると考えられる。従って、これらの画像を候補画像として選択する。

（３）追加画像の属性
使用画像以外の画像群から、属性が追加画像の属性に一致する解析用画像に対応する画像、および、属性が、追加画像の属性から、定められた範囲内の解析用画像に対応する画像を候補画像として選択することができる。このように、属性が追加画像と同じか、あるいは、追加画像に近い画像を候補画像として選択することにより、第２の端末装置１６でのレイアウトの編集再開時に、合成画像に追加される可能性が高い候補画像をユーザに提供することができる。

例えば、撮影日が追加画像と同じ画像、および、撮影日時が追加画像の撮影日時から、定められた範囲内の画像（追加画像の撮影日の前後数日に撮影された画像、および、追加画像の撮影時刻の前後の数時間に撮影された画像等）を選択画像として選択する。
また、ＧＰＳ（Global Positioning System：グローバルポジショニングシステム）の位置情報を利用して、撮影場所が追加画像と同じ画像、および、撮影場所が追加画像の撮影場所から、定められた範囲内の画像を候補画像として選択する。
さらに、解析用画像群の解析の結果に基づいて、画像に写っている被写体（人物および人物以外のオブジェクト）が同じ画像、および、被写体の類似度が基準値以上の画像を候補画像として選択する。

その一方で、属性が追加画像の属性に一致せず、かつ、属性が、追加画像の属性から、定められた範囲外の解析用画像に対応する画像を候補画像として選択することができる。このように、あえて属性が追加画像に一致せず、かつ、追加画像から遠い画像を候補画像として選択することにより、第２の端末装置１６でのレイアウトの編集再開時に、合成画像に追加する画像として、ユーザが予期していない新規な候補画像をユーザに提供することができる。

例えば、撮影日が追加画像とは異なり、かつ、定められた範囲外の撮影日に撮影された画像（１日目、２日目および３日目に撮影された画像群から、１日目および３日目に撮影された画像が追加画像として合成画像に追加された場合、２日目に撮影された画像等）を候補画像として選択する。
また、ＧＰＳの位置情報を利用して、撮影場所が追加画像とは異なり、かつ、定められた範囲外の撮影場所で撮影された画像を候補画像として選択する。
さらに、解析用画像群の解析の結果に基づいて、画像に写っている被写体が異なり、かつ、被写体の類似度が基準値未満の画像を候補画像として選択する。

合成画像がフォトアルバムの場合、画像群を、フォトアルバムの各々のページで使用可能な画像のグループに分け、各々のページにおいて、各々のグループに対応する画像を用いてレイアウトが作成される。例えば、フォトアルバムのページ数が１２枚であり、画像群を、１２ページに対応する、１月～１２月の画像のグループに分け、各々のページにおいて、各々のグループに対応する画像を用いてレイアウトが作成される。
この場合、各々のページにおいて、使用画像以外の画像群のうち、他のページに対応するグループの画像から、属性が追加画像の属性に一致する画像、あるいは、一致しない画像を候補画像として選択するのではなく、各々のページにおいて、各々のページに対応する、使用画像以外のグループの画像から、属性が追加画像の属性に一致する画像、あるいは、一致しない画像を候補画像として選択するのが望ましい。
これにより、例えば７月のページに提案する候補画像として、１月のページに対応するグループの画像を提案するというように、違和感のある画像を提案することを防ぐことができる。

（４）ユーザの過去の注文履歴
例えば、ユーザの過去の注文履歴を記憶させておき、使用画像以外の画像群から、ユーザの過去の注文履歴に基づいて候補画像を選択することができる。

例えば、画像の類似度の解析の結果に基づいて、過去に注文された画像に写っている被写体と同じ被写体および類似度が基準値以上の被写体が写っている画像を候補画像として選択する。このように、類似度が追加画像と同じか、あるいは、近い画像を候補画像として選択することにより、第２の端末装置１６でのレイアウトの編集再開時に、合成画像に追加される可能性が高い候補画像をユーザに提供することができる。

また、画像の類似度に基づいて、過去に注文された画像に写っている被写体と異なる被写体および類似度が基準値未満の被写体が写っている画像を候補画像として選択する。このように、あえて類似度が追加画像から遠い画像を候補画像として選択することにより、第２の端末装置１６でのレイアウトの編集再開時に、合成画像に追加する画像として、ユーザが予期していない新規な候補画像をユーザに提供することができる。

候補画像の枚数は、特に限定されないが、例えば候補画像として、定められた枚数の画像、または、画像群のうち、定められた割合の画像（例えば、２割の画像）を第１の端末装置１４からサーバ１２に送信することができる。
また、候補画像として、ネットワーク１８の状況に応じた枚数の画像を第１の端末装置１４からサーバ１２に送信してもよい。例えば、ネットワーク１８の種類が、Ｗｉ－Ｆｉであれば何枚、電話回線であれば何枚というように、ネットワーク１８の種類に応じて候補画像の枚数を決定する。あるいは、ネットワーク１８の通信速度が、基準値以上であれば何枚、基準値未満であれば何枚というように、ネットワーク１８の通信速度に応じて候補画像の枚数を決定してもよい。

続いて、送信部４８は、各種のデータをサーバ１２に送信（アップロード）する。本実施形態の場合、送信部４８は、合成画像の情報および解析用画像群等をサーバ１２に送信する。また、送信部４８は、第１の端末装置１４でのレイアウトの編集中に、候補画像をサーバ１２に送信し、第１の端末装置１４でのレイアウトの編集後に、使用画像、追加画像および第１の端末装置１４でのレイアウト編集後のレイアウトの情報等をサーバ１２に送信する。

図４は、第２の端末装置の構成を表す一実施形態のブロック図である。図４に示す第２の端末装置１６は、受信部５４と、指示取得部５６と、画像表示部６０と、レイアウト編集部６４と、送信部６８と、備えている。

受信部５４は、サーバ１２から送信されてくる各種のデータを受信する。本実施形態の場合、受信部５４は、サーバ１２から、使用画像、候補画像、追加画像、および第１の端末装置１４での編集後のレイアウトの情報等を受信する。

続いて、指示取得部５６は、入力装置を用いてユーザにより入力される各種の指示を取得する。

ユーザからの指示は、特に限定されないが、本実施形態の場合、レイアウトの編集を再開する合成画像を指定する指示、レイアウトを編集する指示、および、レイアウトの編集を終了する指示等を含む。

続いて、画像表示部６０は、第２の端末装置１６において各種の画像を表示する。本実施形態の場合、画像表示部６０は、ユーザがレイアウトの編集を再開したい合成画像を指定するための入力画面を表示する。また、画像表示部６０は、第２の端末装置１６でのレイアウトの編集再開時に、サーバ１２から送信されてくる、使用画像、追加画像およびレイアウトの情報に基づいて、レイアウトの編集画面を表示し、かつ、使用画像、候補画像および追加画像等を、合成画像で使用可能な画像として表示する。

続いて、レイアウト編集部６４は、第２の端末装置１６でのレイアウトの編集中に、ユーザの指示に従って、画像表示部６０に表示されている合成画像のレイアウトを編集する。

続いて、送信部６８は、各種のデータをサーバ１２に送信する。本実施形態の場合、送信部６８は、第２の端末装置１６でのレイアウトの編集後のレイアウトの情報等をサーバ１２に送信する。

次に、第１の端末装置１４がＰＣ、第２の端末装置１６がスマートフォンである場合を例に挙げて、本発明の画像処理装置１０の動作を説明する。

ユーザは、ＰＣ１４において、画像処理装置１０の機能を実現するＰＣ用のアプリケーションを使用してフォトアルバムのページのレイアウトを編集し、レイアウトの編集作業を一旦終了した後、ＰＣ１４からスマートフォン１６に移動し、スマートフォン１６において、同じく画像処理装置１０の機能を実現するスマートフォン用のアプリケーションを用いてレイアウトの編集を再開するものとする。

図５は、画像処理装置の動作を表す一実施形態の概念図である。図５に示す左端の縦線は、上側から下側に向かって、ユーザの動作の流れを表し、左端の縦線から順次右側に向かうに従って、同様に、ＰＣ用のアプリケーションの動作の流れ、スマートフォン用のアプリケーションの動作の流れ、および、サーバ１２の動作の流れを表す。

図５に示すように、ユーザは、画像群を有するＰＣ１４において、ＰＣ用のアプリケーションを起動し（ステップS1）、フォトアルバムの作成開始時に、画像表示部４０に表示される入力画面（商品注文画面）において（ステップS2）、ユーザが作成したいフォトアルバムのサイズおよびページ数等の情報、ならびに、このフォトアルバムで使用する画像群の情報等を入力する（ステップS3）。

これに応じて、指示取得部３６により、ユーザによって入力されたフォトアルバムの情報および画像群の情報が取得され、かつ、画像群の情報によって指定された画像群が取得されて画像記憶部３８に記憶される（ステップS4）。
続いて、解析用画像群作成部４２により、画像記憶部３８に記憶された画像群から解析用画像群が作成され、送信部４８により、フォトアルバムの情報および解析用画像群がサーバ１２に送信される（ステップS4）。
解析用画像群は、オリジナルの画像群と比べて、データ量が大幅に少ないため、解析用画像群の送信は、画像群の送信よりも、極めて短時間で終了する。

続いて、サーバ１２において、受信部２０により、ＰＣ１４から送信されてくるフォトアルバムの情報および解析用画像群が受信される（ステップS5）。
続いて、画像解析部２４により、解析用画像群が解析され、使用画像選択部２６により、解析用画像群から、解析用画像群の解析の結果に基づいて、フォトアルバムの各々のページで使用する解析用使用画像が選択され、レイアウト作成部２８により、フォトアルバムの情報および解析用使用画像を用いてフォトアルバムの各々のページのレイアウトが自動で作成される（ステップS5）。
続いて、フォトアルバムのレイアウトの情報が、情報記憶部３０に記憶され、かつ、送信部３２により、レイアウトの情報および解析用画像群の解析の結果がＰＣ１４に送信される（ステップS6）。

続いて、ＰＣ１４において、受信部３４により、サーバ１２から送信されてくるレイアウトの情報および解析用画像群の解析の結果が受信され、レイアウトの情報に基づいて、フォトアルバムのレイアウトの編集画面が画像表示部４０に表示される（ステップS7）。レイアウトの編集画面には、編集中のフォトアルバムのページの他、フォトアルバムで使用可能な画像として、画像群に含まれる画像の一覧が表示される。

続いて、ユーザは、編集中のページのレイアウトを閲覧し、レイアウトを編集する指示を入力する（ステップS8）。
ＰＣ１４は、画像群を有しているため、ユーザは、ＰＣ１４でのレイアウトの編集中に、画像群に含まれる全ての画像を使用して編集作業を行うことができる。なお、ユーザが、ＰＣ１４において、レイアウトを編集することは必須ではない。

自動で作成されたレイアウトには、ユーザがフォトアルバムに入れたかった画像が入っていなかったり、ユーザがフォトアルバムに入れたくなかった画像が入っていたりする場合がある。この場合、ユーザは、編集中のページのレイアウトを閲覧して、使用画像以外の画像群から、フォトアルバムに新規な画像を追加したり、フォトアルバムから不要な画像を削除したりする編集作業を行う。

これに応じて、指示取得部３６によりレイアウトを編集する指示が取得され、この指示に応じて、レイアウト編集部４４によりレイアウトが編集される（ステップS9）。
また、候補画像選択部４６により、レイアウトの編集中に、使用画像以外の画像群から、定められた基準に基づいて、候補画像が選択され（ステップS9）、送信部４８により、同じくレイアウトの編集中に、そのバックグラウンドでリアルタイムに、選択された候補画像がサーバ１２に送信される（ステップS10）。

このように、画像群から候補画像のみを選択してサーバ１２に送信することにより、画像群に含まれる全ての画像をサーバ１２に送信するよりも、フォトアルバムで使用可能な画像をサーバ１２に送信するためのユーザの待ち時間を大幅に短縮することができる。
また、ＰＣ１４でのレイアウトの編集中に、つまり、ユーザによるレイアウトの編集操作のバックグラウンドで、候補画像をサーバ１２に送信することにより、レイアウトの編集後に、候補画像をサーバ１２に送信するための専用の時間を設けて候補画像をサーバ１２に送信するよりも、ユーザが候補画像の送信のために体感する送信時間を大幅に短縮することができる。

続いて、サーバ１２において、受信部２０により、ＰＣ１４から送信されてくる候補画像が受信され、情報記憶部３０に記憶される（ステップS11）。

ＰＣ１４でのレイアウトの編集が終了すると、ユーザは、レイアウトの編集を終了する指示を入力する（ステップS12）。

これに応じて、ＰＣ１４において、送信部４８により、使用画像、追加画像、および、編集後のレイアウトの情報等がサーバ１２に送信される（ステップS13）。

本実施形態のように、ＰＣ１４でのレイアウトの編集中に、候補画像を選択してサーバ１２に送信すると、ＰＣ１４でのレイアウトの編集後に、ユーザによってフォトアルバムに追加された追加画像が、既に候補画像としてサーバ１２に送信されている場合がある。この場合、この追加画像は、既に候補画像としてサーバ１２に送信されているため、この追加画像をサーバ１２に再度送信する必要はないが、候補画像と追加画像とを区別するための情報をサーバ１２に送信することが望ましい。

続いて、サーバ１２において、受信部２０により、ＰＣ１４から送信されてくる使用画像、追加画像、および、編集後のレイアウトの情報等が受信され、情報記憶部３０に記憶される（ステップS14）。

情報記憶部３０には、フォトアルバム毎に、使用画像、候補画像、追加画像、および、ＰＣ１４での編集後のレイアウトの情報が統合されて記憶される。これにより、スマートフォン１６でのレイアウトの編集再開時に、編集を再開するフォトアルバムを指定することにより、このフォトアルバムの使用画像、候補画像、追加画像、および、ＰＣ１４での編集後のレイアウトの情報を特定することができる。

続いて、スマートフォン１６において、ユーザは、スマートフォン用のアプリケーションを起動し、レイアウトの編集再開時に、画像表示部６０に表示される入力画面において、ユーザがレイアウトの編集を再開したいフォトアルバムを指定する情報を入力する（ステップS15）。

これに応じて、指示取得部５６により、ユーザによって入力されたフォトアルバムの指定情報が取得され、送信部４８により、フォトアルバムの指定情報がサーバ１２に送信される（ステップS16）。

続いて、サーバ１２において、受信部２０により、スマートフォン１６から送信されてくるフォトアルバムの指定情報が受信される（ステップS17）。
続いて、送信部３２により、情報記憶部３０に記憶されている、フォトアルバムの指定情報に対応するフォトアルバムの使用画像、候補画像、追加画像、およびレイアウトの情報等がスマートフォン１６に送信される（ステップS18）。

続いて、スマートフォン１６において、受信部５４により、サーバ１２から送信されてくるフォトアルバムの使用画像、候補画像、追加画像、およびレイアウトの情報等が受信され、レイアウトの情報に基づいて、フォトアルバムのレイアウトの編集画面が画像表示部６０に表示される（ステップS19）。レイアウトの編集画面には、編集中のページの他、フォトアルバムで使用可能な画像として、使用画像、追加画像および候補画像が表示される。

続いて、ユーザは、編集中のページのレイアウトを閲覧し、スマートフォン１６でのレイアウトの編集中に、レイアウトを編集する指示を入力する（ステップS20）。
スマートフォン１６は、画像群を有していないが、ユーザは、スマートフォン１６でのレイアウトの編集中に、使用画像および追加画像だけでなく、候補画像を用いて編集作業を行うことができる。なお、ユーザが、スマートフォン１６において、レイアウトを編集することは必須ではない。

これに応じて、指示取得部５６によりレイアウトを編集する指示が取得され、この指示に応じて、レイアウト編集部６４によりレイアウトが編集される（ステップS21）。

スマートフォン１６でのレイアウトの編集が終了すると、ユーザは、レイアウトの編集を終了する指示を入力する（ステップS20）。

これに応じて、スマートフォン１６において、送信部６８により、編集後のレイアウトの情報等がサーバ１２に送信される（ステップS21）。

続いて、サーバ１２において、受信部２０により、スマートフォン１６から送信されてくるレイアウトの情報が受信され、情報記憶部３０に記憶される（ステップS22）。

このように、使用画像、追加画像およびレイアウトの情報をサーバ１２に記憶しておくことにより、画像群を有するＰＣ１４から、画像群を有していないスマートフォン１６に移動した場合であっても、シームレスにレイアウトの編集を再開させることができる。
また、候補画像をサーバ１２に記憶しておくことにより、ユーザは、ＰＣ１４からスマートフォン１６に移動してレイアウトの編集を再開する場合であっても、スマートフォン１６でのレイアウトの編集中に、使用画像および追加画像だけでなく、候補画像を使用してレイアウトの編集作業を行うことができるため、編集の利便性を高めることができ、かつ、編集の幅を広げることができる。

図６は、ＰＣ用のアプリケーションの表示画面を表す一実施形態の概念図である。図６は、フォトアルバムの各ページのレイアウトを編集するためのレイアウト編集画面を表す。

レイアウト編集画面の中央部には、編集中のフォトアルバムのページ、図示例の場合、編集中の見開きページ７０が表示され、その下側には、編集中の見開きページ７０のページ番号（「２ページ」および「３ページ」）が表示されている。

レイアウト編集画面の右部、つまり、編集中の見開きページ７０の右側には、編集メニュー７２が表示されている。編集メニュー７２内には、上側から下側に向かって、「プレビュー」、「ヘルプ」、「写真編集」、…等のボタンが表示されている。

レイアウト編集画面の左部、つまり、編集中の見開きページ７０の左側には、フォトアルバムのページのサムネイル画像の一覧７４が表示され、このページの一覧７４の右側には、スクロールバーが設けられている。図示例の場合、ページの一覧７４には、フォトアルバムに含まれる複数のページが、ページ番号の昇順に、上側から下側に向かって順次表示され、各々のページのサムネイル画像の下側に、ページ番号が表示されている。

レイアウト編集画面の下部、つまり、編集中の見開きページ７０の下側には、画像群に含まれる画像のサムネイル画像の一覧７６が表示されている。図示例の場合、この画像の一覧７６には、画像群に含まれる少なくとも一部の画像が、画像の撮影時刻の降順に、左側から右側に向かって時系列に表示されている。また、各々の画像には、画像を拡大表示するための「虫眼鏡」のボタンが表示され、スコアが一定値以上の画像には、おすすめ画像であることを表す星マークが付けられている。画像に星マークを付けることにより、ユーザは、星マークが付いている画像が、おすすめ画像であることを一目で認識することができる。

次に、ユーザが、ＰＣ１４において、編集中の見開きページ７０のレイアウトを編集する場合の動作を説明する。

ユーザは、ＰＣにおいて、キーボードおよびマウス等の入力装置を用いて、レイアウトの編集作業を行うことができる。

図６に示すように、レイアウト編集画面の左部には、フォトアルバムのページの一覧７４が表示されている。
この状態において、ユーザは、ページの一覧７４として、フォトアルバムのページのサムネイル画像の少なくとも一部を閲覧することができる。また、ユーザは、スクロールバーを上下に移動することにより、全てのページのサムネイル画像のうち、表示されていない残りのページのサムネイル画像を表示させて閲覧することができる。

ユーザが、ページの一覧７４から、レイアウトを編集したいページのサムネイル画像をマウスでクリックすると、ページの一覧７４に表示されたページのサムネイル画像のうち、クリックされたページのサムネイル画像が選択状態になり、かつ、クリックされたページのサムネイル画像に対応するページが、編集中の見開きページ７０として、レイアウト編集画面の中央部に表示される。
この状態において、ユーザは、編集中の見開きページ７０を閲覧することができる。

また、ユーザは、ページの一覧７４から、他のページのサムネイル画像をクリックすると、他のページのサムネイル画像に対応するページを表示さることができる。また、ユーザは、ページ番号の左側の「＜」のボタンをクリックすると、編集中の見開きページ７０の前のページを表示させることができ、ページ番号の右側の「＞」のボタンをクリックすると、編集中の見開きページ７０の次のページを表示させることができる。

続いて、ユーザが、レイアウトの編集画面において、編集メニュー７２の中から「写真編集」のボタンをクリックすると、画像の一覧７６がレイアウト編集画面の下部に表示される。
この状態において、ユーザは、画像の一覧７６として、画像群に含まれる画像のサムネイル画像の少なくとも一部を閲覧することができる。また、ユーザは、「すべての写真を見る」のボタンをクリックすると、画像群のうち、画像の一覧７６に表示されていない残りの画像を表示させることができる。また、ユーザが、画像の一覧７６に表示された画像の中から１つの画像の「虫眼鏡」のボタンをマウスでクリックすると、クリックされた１つの画像が、画像表示部４０に拡大表示される。画像を拡大表示することにより、ユーザは、拡大表示された画像を閲覧して、その詳細を確認することができる。

続いて、ユーザが、画像の一覧７６の中から、編集中の見開きページ７０に追加したい画像をクリックすると、クリックされた画像が選択状態になる。ユーザは、画像の一覧７６の中から１枚ないし２枚以上の画像をまとめて選択することができる。
続いて、ユーザが、選択状態の画像を、画像の一覧７６から編集中のページにマウスでドラッグ＆ドロップすると、選択状態の画像に対応する画像が編集中の見開きページ７０に自動でレイアウトされる。

このように、ユーザは、画像の一覧７６の中から、ユーザが編集中の見開きページ７０に追加したい画像に対応する画像を選択して追加することができる。ページのレイアウトの編集は、編集中のページへの画像の追加に限らず、例えば画像のフレームの回転、画像の回転・切り取り、編集中のページからの写真の削除、および、ページ内での写真の配置位置の入替え等の各種の編集を行うことができる。

図７は、スマートフォン用のアプリケーションの表示画面を表す一実施形態の概念図である。図７の左側は、ページのレイアウトを編集するためのレイアウト編集画面を表し、右側は、編集中のページで使用可能な画像の一覧を表示する画像表示画面を表す。

レイアウト編集画面の中央部よりも上側の領域には、編集中のフォトアルバムのページ、図示例の場合、見開きページ８０が表示され、その下側には、編集中の見開きページ８０のページ番号（「２ページ｜３ページ」）が表示されている。

レイアウト編集画面の下部には、メインメニュー８２が表示されている。メインメニュー８２内には、左側から右側に向かって順に、「写真編集」、「レイアウト」、「背景色」、…等のボタンが表示されている。図示例の場合、メインメニュー８２の上側には、「写真編集」のサブメニュー８４が表示されている。「写真編集」のサブメニュー８４には、左上側から右下側に向かって、「フレーム回転」、「写真回転・切り取り」、「はずす」、「入替え」および「追加」のボタンが表示されている。

画像表示画面の上部から１／３程度までの領域には、編集中の見開きページ８０が表示され、その下側の領域であって、画像表示画面の下部から２／３程度までの領域には、画像群に含まれる画像のサムネイル画像の一覧８６が表示されている。また、画像表示画面の下部には、「選択した写真を追加してレイアウト」のボタン８８が、この画像の一覧８６の上に重ねて、無効状態であることを表すグレーで表示されている。

図示例の場合、画像の一覧８６には、解析用画像群に含まれる少なくとも一部の解析用画像が、画像の撮影時刻の降順に、左上側から右下側に向かって時系列に表示されている。解析用画像群のうち、使用画像および追加画像には、「使用中」と表示され、かつ、編集中の見開きページ８０で使用されていることを表すために、青紫色で表示されている。候補画像は、赤色の枠線で囲んで表示され、かつ、編集中の見開きページ８０で使用可能なことを表すために、カラーで表示されている。解析用画像群のうち、使用画像、追加画像および候補画像以外の未使用画像は、編集中の見開きページ８０で使用できないことを表すグレーで表示されている。また、各々の画像には、画像を拡大表示するための「虫眼鏡」のボタンが表示され、スコアが一定値以上の画像には、おすすめ画像であることを表す星マークが付けられている。

これにより、ユーザは、青紫色で表示された画像が、編集中の見開きページ８０で使用されている使用画像および追加画像、カラーで表示された画像が、編集中の見開きページ８０で使用可能な候補画像、グレーで表示された画像が、編集中の見開きページ８０で使用できない未使用画像であることを一目で認識することができる。また、ユーザは、星マークが付いている画像が、おすすめ画像であることを一目で認識することができる。

なお、使用画像および追加画像、候補画像および未使用画像を区別するための色は特に限定されない。また、候補画像を囲む枠線は表示してもよいし、表示しなくてもよい。さらに、未使用画像は、表示しても、表示しなくてもよい。

次に、ユーザが、スマートフォン１６において、編集中の見開きページ８０のレイアウトを編集する場合の動作を説明する。

スマートフォンの画像表示部６０はタッチパネルで構成されており、ユーザは、タッチパネルを指でタッチ操作することにより、タッチパネルを、画像表示部６０としてだけでなく、指示取得部５６として用いて、レイアウトの編集作業を行うことができる。

図７の左側に示すように、レイアウト編集画面には、編集中の見開きページ８０が表示されている。
この状態において、ユーザは、編集中の見開きページ８０を閲覧することができる。また、ユーザは、ページ番号の左側の「＜」のボタンを指でタップすると、編集中の見開きページ８０の前のページを表示させることができ、ページ番号の右側の「＞」のボタンをタップすると、編集中の見開きページ８０の次のページを表示させることができる。

続いて、ユーザが、レイアウトの編集画面において、メインメニュー８２の中から「写真編集」のボタンをタップすると、「写真編集」のサブメニュー８４がメインメニュー８２の上側に表示される。

続いて、ユーザが、サブメニュー８４の中から「追加」のボタンをタップすると、レイアウト編集画面から画像表示画面に切り替わる。画像表示画面には、編集中のページ、図示例の場合、見開きページ８０および画像の一覧８６が表示される。
この状態において、ユーザは、解析用画像群に含まれる解析用画像の少なくとも一部を閲覧することができる。また、ユーザは、画像の一覧８６の領域を指で上下にスワイプすると、解析用画像群のうち、画像の一覧８６に表示されていない残りの画像を表示させることができる。また、ユーザが、画像の一覧８６に表示された画像の中から１つの画像の「虫眼鏡」のボタンをタップすると、タップされた１つの画像が、画像表示部６０に拡大表示される。画像を拡大表示することにより、ユーザは、拡大表示された画像を閲覧して、その詳細を確認することができる。

続いて、ユーザが、画像の一覧８６の中から、編集中の見開きページ８０に追加したい候補画像をタップすると、タップされた候補画像が選択状態になる。ユーザは、候補画像の中から１枚ないし２枚以上の候補画像をまとめて選択することができる。また、１枚以上の候補画像が選択状態になると、「選択した写真を追加してレイアウト」のボタン８８が有効状態になる。
続いて、ユーザが、有効状態の「選択した写真を追加してレイアウト」のボタン８８をタップすると、選択状態の候補画像が編集中の見開きページ８０に自動でレイアウトされる。また、選択状態の候補画像が追加画像になり、赤い枠線が消えて、青紫色で表示される。

このように、ユーザは、候補画像の中から、ユーザが編集中の見開きページ８０に追加したい候補画像を選択して追加することができる。ページのレイアウトの編集は、編集中のページへの画像の追加に限らず、例えば画像のフレームの回転、写真の回転・切り取り、編集中のページからの写真の削除、および、ページ内での写真の配置位置の入替え等の各種の編集を行うことができる。

なお、本実施形態の場合、サーバ１２で合成画像のレイアウトを作成しているが、これに限定されず、第１の端末装置１４で合成画像のレイアウトを作成してもよい。
この場合、第１の端末装置１４の画像解析部が、画像群を解析し、使用画像選択部が、画像群から、画像群の解析の結果に基づいて使用画像を選択し、レイアウト作成部が、使用画像および合成画像の情報を用いて合成画像のレイアウトを作成し、画像表示部が、レイアウトが自動で作成された合成画像を表示する。また、サーバ１２の情報記憶部が、第１の端末装置１４から送信されてくるレイアウトの情報を記憶する。
画像群は、解析用画像群よりも多くの情報を含んでいるため、画像群を解析することにより、解析用画像群を解析するよりも、より正確な解析の結果に基づいてレイアウトを作成することができる。

第１の端末装置１４でレイアウトを作成する場合、サーバ１２でレイアウトを作成する場合と同様に、第１の端末装置１４の画像解析部が、画像群の解析の結果として、画像群に含まれる各々の画像のスコアを算出し、候補画像選択部が、使用画像以外の画像群から、スコアが、定められた基準値以上である画像、または、スコアが、高い方から定められた割合の画像を候補画像として選択することができる。

また、第１の端末装置１４の画像解析部が、画像群に含まれる各々の画像の属性を解析し、候補画像選択部が、使用画像以外の画像群から、属性が追加画像の属性に一致する画像、および、属性が、追加画像の属性から、定められた範囲内の画像を候補画像として選択する、または、属性が追加画像の属性に一致せず、かつ、属性が、追加画像の属性から、定められた範囲外の画像を候補画像として選択することができる。

本実施形態の場合、第１の端末装置１４において、画像群から候補画像を選択しているが、これも限定されない。
例えば、サーバ１２の候補画像選択部が、解析用使用画像以外の解析用画像群から解析用候補画像を選択し、第１の端末装置１４の候補画像選択部が、画像群から、サーバ１２から送信されて第１の端末装置１４で受信される解析用候補画像に対応する候補画像を選択するようにしてもよい。

使用画像および候補画像を第１の端末装置１４からサーバ１２に送信するタイミングは、レイアウトの自動生成後であれば、特に限定されない。
例えば、第１の端末装置１４でのレイアウトの編集中に、そのバックグラウンドでリアルタイムに、使用画像および候補画像からなるグループに含まれる少なくとも一部の画像を第１の端末装置１４からサーバ１２に送信してもよい。レイアウトの編集中に、グループに含まれる全ての画像を送信できない場合、さらに、第１の端末装置１４でのレイアウトの編集後に、ユーザからの指示に応じて、グループに含まれる残りの画像、追加画像および編集後のレイアウトの情報を、第１の端末装置１４からサーバ１２に送信する。
このように、第１の端末装置１４でのレイアウトの編集中に、候補画像だけでなく、使用画像をサーバ１２に送信することにより、レイアウトの編集後に、使用画像をサーバ１２に送信するための専用の時間を設けて使用画像をサーバ１２に送信するよりも、ユーザが使用画像の送信のために体感する送信時間を大幅に短縮することができる。

あるいは、レイアウトの編集中ではなく、第１の端末装置１４でのレイアウトの編集後に、ユーザからの指示に応じて、使用画像、候補画像、追加画像および編集後のレイアウトの情報を第１の端末装置１４からサーバ１２に送信してもよい。

さらに、第２の端末装置１６から送信されて第１の端末装置１４で受信される通知に応じて、画像群のうち、通知に含まれる、使用画像、候補画像および追加画像以外の画像の情報に対応する画像を候補画像として第１の端末装置１４からサーバ１２に送信してもよい。
第１の端末装置１４がスマートフォン、第２の端末装置１６がＰＣの場合に、ユーザが合成画像で使用したい画像の情報を含む通知をＰＣからスマートフォンに送信する。例えば、ユーザが、ＰＣにおいて、レイアウトの編集中に、合成画像で使用できないことを表すグレーで表示されている画像をクリックすると、クリックされた画像の情報を含む通知がスマートフォンに送信される。
ユーザは、通常、スマートフォンを携帯しており、電源もオンになっている。ＰＣからスマートフォンに通知が送信されると、スマートフォンにおいて、画像群から、通知に含まれる画像の情報に対応する未使用画像が候補画像としてスマートフォンからサーバ１２に送信される。この未使用画像は、スマートフォンでのレイアウトの編集時に、サーバ１２から送信されてスマートフォンで受信される。
これにより、ユーザは、候補画像として選択されていない未使用画像であっても、合成画像で使用することができる。

画像処理装置１０において、ユーザは、合成画像に入れたい画像および入れたくない画像を指定する指示を入力することができる。合成画像に入れたい画像を指定する指示が入力された場合、レイアウト作成部２８は、この指示に対応する画像を合成画像で使用してレイアウトを作成する。また、合成画像に入れたくない画像を指定する指示が入力された場合、レイアウト作成部２８は、この指示に対応する画像を合成画像で使用せずにレイアウトを作成する。
これにより、画像群から、ユーザが入れたい画像が含まれ、入れたくない画像が含まれていない合成画像を自動で作成することができる。このため、ユーザは、入れたかった画像を合成画像に追加したり、入れたくなかった画像を合成画像から削除したりする編集作業を行う必要がなくなる。

ユーザが、第２の端末装置１６でのレイアウトの編集再開時に、レイアウトの編集を再開したい合成画像を指定する情報を入力することは必須ではない。
例えば、ユーザがサーバ１２にログインする時のログイン情報（アカウント名およびパスワード等）に基づいて、第１の端末装置１４からサーバ１２にログインした時と同じログイン情報を使って第２の端末装置１６からサーバ１２にログインすると、サーバ１２からレイアウトの情報を自動的に取得するようにしてもよい。あるいは、第１の端末装置１４からサーバ１２にログインした時と同じログイン情報を使って第２の端末装置１６からサーバ１２にログインした後、ユーザが、入力画面に表示される「編集再開ボタン」をタップすると、サーバ１２からレイアウトの情報を取得するようにしてもよい。
また、第１の端末装置１４からサーバ１２にログインした際に、第１の端末装置１４のＭＡＣ（Media Access Control）アドレスの情報を取得しておき、同じログイン情報を使って第２の端末装置１６からサーバ１２にログインすると、サーバ１２からレイアウトの情報を自動的に取得するようにしてもよい。

情報記憶部３０に記憶されている、使用画像、候補画像および追加画像の代わりに、解析用画像群記憶部２２に記憶されている、使用画像に対応する解析用画像、候補画像に対応する解析用画像および追加画像に対応する解析用画像を、サーバ１２から送信して第２の端末装置１６で受信し、第２の端末装置１６において、オリジナルの画像群の代わりに、解析用画像群を、合成画像で使用可能な画像として表示してもよい。
このように、第２の端末装置１６でのレイアウトの編集再開時に、解析用画像を送信することにより、オリジナルの画像を送信するよりも、合成画像で使用可能な画像群を送信するためのユーザの待ち時間を大幅に短縮することができる。

上記実施形態では、第１の端末装置１４がＰＣ、第２の端末装置１６がスマートフォンの場合を例に挙げて説明したが、これに限定されず、第１の端末装置１４がスマートフォン、第２の端末装置１６がＰＣの場合でも、第１および第２の端末装置１４，１６がいずれもがＰＣまたはスマートフォンの場合でも、第１および第２の端末装置１４，１６の各々がＰＣおよびスマートフォン以外の端末装置の場合でも同様である。

本発明の装置において、例えば解析用画像群記憶部２２、画像解析部２４、使用画像選択部２６、レイアウト作成部２８、指示取得部３６，５６、解析用画像群作成部４２、レイアウト編集部４４，６４および候補画像選択部４６等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。

受信部２０，３４，５４および送信部３２，４８，６８は、例えばネットワークインタフェイス回路、モデムおよびルータ等のように、各種のデータを受信および送信する通信装置（受信回路および送信回路）である。
情報記憶部３０および画像記憶部３８は、例えば半導体メモリ等のメモリ装置、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）およびＳＳＤ（Solid State Drive：ソリッドステートドライブ）等の記憶装置等によって構成される。
画像表示部４０，６０は、例えば液晶ディスプレイ、有機ＥＬ（Electronic Luminescent：エレクトロルミネッセンス）ディスプレイ等の画像表示装置である。

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。
プロセッサはどこにあってもよい。例えば、サーバ１２、第１および第２の端末装置１４，１６を含むユーザの端末装置のいずれかにあってもよいし、これらの各々が有していてもよい。また、複数のプロセッサがある場合には、それらが連携していてもよい。

例えば、サーバおよび端末装置等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ サーバ
１４ 第１の端末装置
１６ 第２の端末装置
１８ ネットワーク（通信回線）
２０，３４，５４ 受信部
２２ 解析用画像群記憶部
２４ 画像解析部
２６ 使用画像選択部
２８ レイアウト作成部
３０ 情報記憶部
３２，４８，６８ 送信部
３６，５６ 指示取得部
３８ 画像記憶部
４０，６０ 画像表示部
４２ 解析用画像群作成部
４４，６４ レイアウト編集部
４６ 候補画像選択部
７０、８０ 編集中の見開きページ
７２ 編集メニュー
７４ フォトアルバムのページのサムネイル画像の一覧
７６、８６ 画像のサムネイル画像の一覧
８２ メインメニュー
８４ サブメニュー
８８ ボタン

Claims (23)

1. ネットワークを介して接続される、サーバと、第１の端末装置と、前記第１の端末装置とは異なる第２の端末装置と、を備え、前記第１の端末装置が有する画像群から選択される一部の画像を用いて合成画像のレイアウトを作成する画像処理装置であって、
   プロセッサを備え、前記プロセッサは、
   前記第１の端末装置において、前記レイアウトが作成された前記合成画像を表示させ、
   前記第１の端末装置での前記レイアウトの編集中に、前記画像群から、定められた基準に基づいて、前記合成画像で使用されている使用画像以外の一部の画像であって、前記第２の端末装置での前記レイアウトの編集再開時に、前記合成画像で使用可能な候補画像を選択し、
   前記第１の端末装置から送信されて前記サーバで受信される、前記使用画像、前記候補画像、および、前記第１の端末装置での前記レイアウトの編集により前記使用画像以外の前記画像群から前記合成画像に新規に追加される追加画像を前記サーバに記憶させる、画像処理装置。
2. 前記プロセッサは、
   前記第１の端末装置において、前記画像群から、前記画像群の解析に必要な解像度を有し、かつ、前記画像群よりもデータ量が少ない解析用画像群を作成し、
   前記サーバにおいて、前記第１の端末装置から送信されて前記サーバで受信される前記解析用画像群を解析し、前記解析用画像群から、前記解析用画像群の解析の結果に基づいて解析用使用画像を選択し、前記解析用使用画像を用いて前記レイアウトを作成し、前記レイアウトの情報を記憶させ、
   前記第１の端末装置において、前記サーバから送信されて前記第１の端末装置で受信される前記レイアウトの情報に基づいて、前記レイアウトが作成された前記合成画像を表示させる、請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記サーバにおいて、前記解析用画像群に含まれる各々の解析用画像のスコアを算出し、
   前記第１の端末装置において、前記使用画像以外の前記画像群から、前記サーバから送信されて前記第１の端末装置で受信される前記スコアが、定められた基準値以上である解析用画像に対応する画像、または、前記スコアが、高い方から定められた割合の解析用画像に対応する画像を前記候補画像として選択する、請求項２に記載の画像処理装置。
4. 前記プロセッサは、
   前記サーバにおいて、前記解析用画像群に含まれる各々の解析用画像の属性を解析し、
   前記第１の端末装置において、前記使用画像以外の前記画像群から、前記サーバから送信されて前記第１の端末装置で受信される前記属性が前記追加画像の属性に一致する解析用画像に対応する画像、および、前記属性が、前記追加画像の属性から、定められた範囲内の解析用画像に対応する画像を前記候補画像として選択する、または、前記属性が前記追加画像の属性に一致せず、かつ、前記属性が、前記追加画像の属性から、定められた範囲外の解析用画像に対応する画像を前記候補画像として選択する、請求項２または３に記載の画像処理装置。
5. 前記プロセッサは、
   前記サーバにおいて、前記解析用使用画像以外の前記解析用画像群から解析用候補画像を選択し、
   前記第１の端末装置において、前記画像群から、前記サーバから送信されて前記第１の端末装置で受信される前記解析用候補画像に対応する前記候補画像を選択する、請求項２に記載の画像処理装置。
6. 前記プロセッサは、前記第２の端末装置での前記レイアウトの編集再開時に、前記サーバから送信されて前記第２の端末装置で受信される、前記使用画像に対応する解析用画像、前記候補画像に対応する解析用画像および前記追加画像に対応する解析用画像を、前記第２の端末装置において、前記第２の端末装置での前記レイアウトの編集中に、前記合成画像で使用可能な画像として表示させる、請求項２ないし５のいずれか一項に記載の画像処理装置。
7. 前記プロセッサは、
   前記第１の端末装置において、前記画像群を解析し、前記画像群から、前記画像群の解析の結果に基づいて前記使用画像を選択し、前記使用画像を用いて前記レイアウトを作成し、前記レイアウトが作成された前記合成画像を表示させ、
   前記サーバにおいて、前記第１の端末装置から送信されて前記サーバで受信される前記レイアウトの情報を記憶させる、請求項１に記載の画像処理装置。
8. 前記プロセッサは、
   前記第１の端末装置において、前記画像群の解析の結果として、前記画像群に含まれる各々の画像のスコアを算出し、前記使用画像以外の前記画像群から、前記スコアが、定められた基準値以上である画像、または、前記スコアが、高い方から定められた割合の画像を前記候補画像として選択する、請求項７に記載の画像処理装置。
9. 前記プロセッサは、
   前記第１の端末装置において、前記画像群に含まれる各々の画像の属性を解析し、前記使用画像以外の前記画像群から、前記属性が前記追加画像の属性に一致する画像、および、前記属性が、前記追加画像の属性から、定められた範囲内の画像を前記候補画像として選択する、または、前記属性が前記追加画像の属性に一致せず、かつ、前記属性が、前記追加画像の属性から、定められた範囲外の画像を前記候補画像として選択する、請求項７または８に記載の画像処理装置。
10. 前記プロセッサは、
    前記第１の端末装置において、前記使用画像以外の前記画像群から、ユーザによって編集操作が行われた編集操作画像の情報に基づいて、前記第１の端末装置での前記レイアウトの編集中に、前記ユーザによって編集操作が行われ、かつ、前記第１の端末装置での前記レイアウトの編集後に、前記合成画像で使用されていない画像を前記候補画像として選択する、請求項２ないし４、および、７ないし９のいずれか一項に記載の画像処理装置。
11. 前記プロセッサは、
    前記第１の端末装置において、前記使用画像以外の前記画像群から、ユーザの過去の注文履歴に基づいて前記候補画像を選択する、請求項２ないし４、および、７ないし１０のいずれか一項に記載の画像処理装置。
12. 前記プロセッサは、前記候補画像として、定められた枚数の画像、または、前記画像群のうち、定められた割合の画像を前記第１の端末装置から前記サーバに送信する、請求項１ないし１１のいずれか一項に記載の画像処理装置。
13. 前記プロセッサは、前記候補画像として、前記ネットワークの状況に応じた枚数の画像を前記第１の端末装置から前記サーバに送信する、請求項１ないし１２のいずれか一項に記載の画像処理装置。
14. 前記プロセッサは、前記第１の端末装置での前記レイアウトの編集中に、前記使用画像および前記候補画像からなるグループに含まれる少なくとも一部の画像を前記第１の端末装置から前記サーバに送信する、請求項１ないし１３のいずれか一項に記載の画像処理装置。
15. 前記プロセッサは、前記第１の端末装置での前記レイアウトの編集後に、ユーザからの指示に応じて、前記グループに含まれる残りの画像および前記追加画像を、前記第１の端末装置から前記サーバに送信する、請求項１４に記載の画像処理装置。
16. 前記プロセッサは、前記第１の端末装置での前記レイアウトの編集後に、ユーザからの指示に応じて、前記使用画像、前記候補画像および前記追加画像を前記第１の端末装置から前記サーバに送信する、請求項１ないし１３のいずれか一項に記載の画像処理装置。
17. 前記プロセッサは、前記第２の端末装置から送信されて前記第１の端末装置で受信される通知に応じて、前記画像群のうち、前記通知に含まれる、前記使用画像、前記候補画像および前記追加画像以外の画像の情報に対応する画像を前記候補画像として前記第１の端末装置から前記サーバに送信する、請求項１ないし１６のいずれか一項に記載の画像処理装置。
18. 前記プロセッサは、前記第２の端末装置での前記レイアウトの編集再開時に、前記サーバから送信されて前記第２の端末装置で受信される、前記使用画像、前記候補画像および前記追加画像を、前記第２の端末装置において、前記第２の端末装置での前記レイアウトの編集中に、前記合成画像で使用可能な画像として表示させる、請求項１ないし５、および、請求項７ないし１７のいずれか一項に記載の画像処理装置。
19. ネットワークを介して接続される、サーバと、第１の端末装置と、前記第１の端末装置とは異なる第２の端末装置と、を備える画像処理装置において、前記第１の端末装置が有する画像群から選択される一部の画像を用いて合成画像のレイアウトを作成する画像処理方法であって、
    前記第１の端末装置の画像表示部が、前記第１の端末装置において、前記レイアウトが作成された前記合成画像を表示するステップと、
    前記第１の端末装置の候補画像選択部が、前記第１の端末装置での前記レイアウトの編集中に、前記画像群から、定められた基準に基づいて、前記合成画像で使用されている使用画像以外の一部の画像であって、前記第２の端末装置での前記レイアウトの編集再開時に、前記合成画像で使用可能な候補画像を選択するステップと、
    前記サーバの情報記憶部が、前記第１の端末装置から送信されて前記サーバで受信される、前記使用画像、前記候補画像、および、前記第１の端末装置での前記レイアウトの編集により前記使用画像以外の前記画像群から前記合成画像に新規に追加される追加画像を記憶するステップと、を含む、画像処理方法。
20. 前記第１の端末装置の解析用画像群作成部が、前記画像群から、前記画像群の解析に必要な解像度を有し、かつ、前記画像群よりもデータ量が少ない解析用画像群を作成するステップと、
    前記サーバの画像解析部が、前記第１の端末装置から送信されて前記サーバで受信される前記解析用画像群を解析するステップと、
    前記サーバの使用画像選択部が、前記解析用画像群から、前記解析用画像群の解析の結果に基づいて解析用使用画像を選択するステップと、
    前記サーバのレイアウト作成部が、前記解析用使用画像を用いて前記レイアウトを作成するステップと、
    前記サーバの前記情報記憶部が、前記レイアウトの情報を記憶するステップと、
    前記第１の端末装置の前記画像表示部が、前記サーバから送信されて前記第１の端末装置で受信される前記レイアウトの情報に基づいて、前記レイアウトが作成された前記合成画像を表示するステップと、を含む、請求項１９に記載の画像処理方法。
21. 前記第１の端末装置の画像解析部が、前記画像群を解析するステップと、
    前記第１の端末装置の使用画像選択部が、前記画像群から、前記画像群の解析の結果に基づいて前記使用画像を選択するステップと、
    前記第１の端末装置のレイアウト作成部が、前記使用画像を用いて前記レイアウトを作成するステップと、
    前記第１の端末装置の前記画像表示部が、前記レイアウトが作成された前記合成画像を表示するステップと、
    前記サーバの情報記憶部が、前記第１の端末装置から送信されて前記サーバで受信される前記レイアウトの情報を記憶するステップと、を含む、請求項１９に記載の画像処理方法。
22. 請求項１９ないし２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
23. 請求項１９ないし２１のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images