JP2014075777A - 合成画像作成システム、画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】合成画像を、ユーザに提示するまでの時間を短縮することができる画像処理装置を提供する。
【解決手段】画像処理装置は、画像管理サーバに保存された複数の画像を用いて合成画像を作成するものであって、画像管理サーバから複数の画像を取得する画像取得部と、あらかじめ設定された、合成画像を作成するときの優先度に従って、取得した画像を用いて、合成画像を順次作成する合成画像作成部とを備える。
【選択図】図２

Description

本発明は、クラウドサービスを提供するサーバのストレージに保存されたユーザの複数の画像を用いて、フォトブックやコラージュプリント等の合成画像を作成してユーザに提供する合成画像作成システム、画像処理装置および画像処理方法に関するものである。

現在、ユーザの画像を、インターネット等のネットワークを介してサーバのストレージに保存するクラウドサービスとして、ＳＮＳ（ソーシャルネットワーキングサービス）やオンラインストレージサービスなどが知られている。

ＳＮＳは、ユーザ同士がコミュニケーションを取り合うことを目的としたコミュニティ型のウェブサービスであり、例えば、ユーザがネットワークを介してサーバにアップロードした画像をユーザ同士で共有して閲覧（画像を公開）する機能等を備えている。
オンラインストレージサービスは、サーバのストレージ（ディスクスペース）をユーザに貸し出すサービスであり、ユーザは、ネットワークを介してサーバに画像をアップロードしたり、ダウンロードしたりすることができる。

上記ＳＮＳやオンラインストレージサービスなどのクラウドサービスでサーバのストレージに保存されたユーザの複数の画像を用いて、フォトブックやコラージュプリント等の合成画像を作成してユーザに提供することが行われている。
ここで、フォトブックは、ユーザの複数の画像から選択された所定数の画像を、所定のレイアウトで所定数のページに配置した画像集を作成するサービスである。
また、コラージュプリントは、ユーザの複数の画像から選択された所定数の画像を、所定のレイアウトで１枚のプリントに配置した合成画像を作成するサービスである。

ここで、本発明に関連性のある先行技術文献として、例えば、特許文献１〜４がある。

特許文献１には、ネットワークを介して画像を複数の情報処理装置に提供する画像管理装置であって、画像に対する閲覧者のお気に入り度が高い行動パターンを閲覧者毎に個別に設定しておき、設定した行動パターンと、提供された画像に対する閲覧者の過去の操作履歴とが一致している画像を検索し、検索した画像を画面に表示させたり、検索した画像を含むブックデータを閲覧者毎に個別作成したりすることが記載されている。

特許文献２には、選別のためのキーとして選別者の「お気に入り度」を画像ごとに付加して、同一カテゴリに属する複数の画像を選別し、あらかじめ用意された複数のフォトアルバム用テンプレートを利用して、フォトアルバムのページを設定し、付加した「お気に入り度」に基づいて、設定されたアルバムによって配置される写真枚数を抽出して配置してアルバムを作成する画像処理方法が記載されている。

特許文献３には、通信回線を介して複数の端末と接続される画像処理サーバの制御方法であって、端末から受信した画像を含む少なくとも一つの画像群を記憶し、端末から受信した画像のうちの特定画像群中の特定画像に関連付けられた投票情報を集計し記憶し、投票情報の集計結果に基づいて、端末又は画像処理サーバに接続可能なその他の端末に表示させるための表示情報を生成することが記載されている。

特許文献４には、複数の画像の中から所定数の画像を抽出する画像抽出方法であって、複数の画像に対するユーザの評価値としての「お気に入り度」を１つの画像毎に順次入力し、入力した「お気に入り度」に基づいて、複数の画像の中から所定数の画像を抽出し、抽出した画像をフォトアルバムの各ページに配置することによりフォトアルバムを作成することが記載されている。

特開２００９−２６５８８６号公報 特開２００６−１２００７６号公報 特開２００４−７０６１４号公報 特開２００４−２４６８６８号公報

特許文献１〜４には、お気に入り度に基づいて、複数の画像の中から所定数の画像を選択し、選択した画像を表示したり、選択した画像を用いてフォトブックを作成したりすることが記載されている。
ＳＮＳやオンラインストレージサービスなどのクラウドサービスでは、ユーザは、ウェブサイトに表示された、フォトブックやコラージュプリント等の合成画像を閲覧して、注文するかしないかを判断する。そのため、例えば、画像をアップロードしたり、アップロードされている画像を編集したりした場合に、合成画像を短時間で作成して表示することが求められる。

本発明の目的は、フォトブックやコラージュプリント等の合成画像を、ユーザに提示するまでの時間を短縮することができる合成画像作成システム、画像処理装置および画像処理方法を提供することにある。

上記目的を達成するために、本発明は、画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理装置であって、
画像管理サーバから複数の画像を取得する画像取得部と、
あらかじめ設定された、合成画像を作成するときの優先度に従って、取得した画像を用いて、合成画像を順次作成する合成画像作成部とを備えることを特徴とする画像処理装置を提供するものである。

ここで、優先度は、合成画像の閲覧履歴情報、および、合成画像に関する注文履歴情報を含む、ユーザの操作履歴情報に基づいて設定されていることが好ましい。

また、閲覧履歴情報に基づいて、合成画像の閲覧回数が所定の回数以上であるユーザの場合は、閲覧回数が所定の回数未満であるユーザの場合よりも、優先度が高く設定されていることが好ましい。

また、注文履歴情報に基づいて、注文回数が所定の回数以上であるユーザの場合は、注文回数が所定の回数未満であるユーザの場合よりも、優先度が高く設定されていることが好ましい。

また、注文履歴情報に基づいて、ユーザが過去に注文した合成画像で使用された画像と同じテーマの画像の場合は、ユーザが過去に注文した合成画像で使用された画像とは異なるテーマの画像の場合よりも、優先度が高く設定されていることが好ましい。

また、優先度は、ユーザが取得した画像に対して実施した編集内容に基づいて設定されていることが好ましい。

また、ユーザが編集した画像の数が所定数以上である場合は、ユーザが編集した画像の数が所定数未満である場合よりも、優先度が高く設定されていることが好ましい。

また、ユーザによる画像の編集量が所定量以上である場合は、ユーザによる画像の編集量が所定量未満の場合よりも、優先度が高く設定されていることが好ましい。

また、合成画像作成部は、優先度が所定値以上に設定されている場合、ユーザが合成画像の更新ボタンをクリックする前に、合成画像を作成し直すものであることが好ましい。

また、優先度は、画像の内容に基づいて設定されていることが好ましい。

また、画像のテーマが、イベント、赤ちゃんないし子供、セレモニーである場合は、それ以外のテーマである場合よりも、優先度が高く設定されていることが好ましい。

また、取得した画像の数が所定の枚数以上である場合は、取得した画像の数が所定の枚数未満である場合よりも、優先度が高く設定されていることが好ましい。

また、画像の品質が、所定の解像度であり、かつ、ボケブレが無い場合は、それ以外の画像の場合よりも、優先度が高く設定されていることが好ましい。

また、画像にタグ情報が添付されている場合は、タグ情報が添付されていない場合よりも、優先度が高く設定されていることが好ましい。

また、タグ情報に含まれる撮影日時の情報に基づいて、画像の撮影日時が所定の撮影期間内に含まれている場合は、画像の撮影日時が所定の撮影期間内に含まれていない場合よりも、優先度が高く設定されていることが好ましい。

また、タグ情報に含まれる画像のサイズの情報に基づいて、画像のサイズが所定のサイズ以上である場合は、画像のサイズが所定のサイズ未満である場合よりも、優先度が高く設定されていることが好ましい。

また、タグ情報に含まれる撮影機種の情報に基づいて、撮影機種がデジタルスチルカメラの場合は、撮影機種が携帯電話およびスマートフォンの場合よりも、優先度が高く設定されていることが好ましい。

また、画像中に撮影されている被写体人物の数が所定数以上である場合は、画像中に撮影されている被写体人物の数が所定数未満である場合よりも、優先度が高く設定されていることが好ましい。

また、優先度は、他のユーザが各々の画像に付与したお気に入り情報およびコメントの少なくとも一方の付与情報の数に基づいて設定されていることが好ましい。

また、付与情報の数が所定数以上である場合は、付与情報の数が所定数未満である場合よりも、優先度が高く設定されていることが好ましい。

また、画像管理サーバは、クラウドサービスを提供するものであり、優先度は、ユーザの、クラウドサービスへのログイン状態に基づいて設定されていることが好ましい。

また、画像のアップロード後、ログイン状態のユーザの場合は、合成画像を作成する前にログアウトしたユーザの場合よりも、優先度が高く設定されていることが好ましい。

また、画像が公序良俗違反で削除された場合に、ログイン状態のユーザの場合は、ログアウト状態のユーザの場合よりも、優先度が高く設定されていることが好ましい。

また、画像が公序良俗違反で削除された後、合成画像を作成し直す前にログインしたユーザの場合は、ログアウト状態のユーザの場合よりも、優先度が高く設定されていることが好ましい。

また、クラウドサービスは、ＳＮＳ、もしくは、オンラインストレージサービスであることが好ましい。

また、優先度は、２段階、もしくは、多段階に設定されていることが好ましい。

また、合成画像は、フォトブック、もしくは、コラージュプリントであることが好ましい。

また、合成画像作成部は、合成画像として、優先度が所定値以上に設定されている場合には、優先度が所定値未満に設定されている場合よりも、ページ数が多く、かつ、ページサイズが大きいフォトブックを作成し、優先度が所定値未満に設定されている場合には、優先度が所定値以上に設定されている場合よりも、ページ数が少なく、かつ、ページサイズが小さいフォトブック、または、コラージュプリントを作成するものであることが好ましい。

また、画像管理サーバは、複数の画像を、アルバム形式での保存、もしくは、年月日単位での保存を含む画像保存形式で保存するものであることが好ましい。

また、画像配置部は、合成画像の画像データを作成するものであることが好ましい。

また、本発明は、画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理方法であって、
画像管理サーバから複数の画像を取得するステップと、
あらかじめ設定された、合成画像を作成するときの優先度に従って、取得した画像を用いて、合成画像を順次作成するステップとを含むことを特徴とする画像処理方法を提供する。

また、本発明は、画像管理サーバと、
画像管理サーバに保存された複数の画像を用いて合成画像を作成する、上記のいずれかに記載の画像処理装置とを備える合成画像作成システムを提供する。

本発明によれば、あらかじめ設定された、合成画像を作成するときの優先度に従って、合成画像を順次作成することにより、合成画像をユーザに提示するまでの時間を短縮することができる。

本発明の合成画像作成システムの構成を表す一実施形態の概念図である。 画像処理サーバの構成を表す第１実施形態のブロック図である。 画像処理サーバの構成を表す第２実施形態のブロック図である。 合成画像作成部の構成を表すブロック図である。 オンラインアルバムの画像を複数のグループにグルーピングする様子を表す概念図である。 グルーピングされた複数のグループの中から、操作情報が付与された画像を含むグループを選択する様子を表す概念図である。 選択したグループと同じ日付のグループの中から、第１の追加のグループを選択する様子を表す概念図である。 選択したグループと最も近い日付のグループの中から、第２の追加のグループを選択する様子を表す概念図である。 画像数が１５枚で、操作情報が付与された１０枚の画像を含むグループ１と、画像数が最大の２０枚で、操作情報が付与された画像の数が１枚のグループ２を表す概念図である。 画像数が最も多いグループ２内の２０枚の画像を、１０枚ずつの２つのグループに分割する様子を表す概念図である。 操作情報が付与された画像の数が最も多いグループ１内の１５枚の画像を、８枚と７枚の２つのグループに分割する様子を表す概念図である。 画像解析部で実施される画像解析処理を表す概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の合成画像作成システム、画像処理装置および画像処理方法を詳細に説明する。

図１は、本発明の合成画像作成システムの構成を表す一実施形態の概念図である。同図に示す合成画像作成システム１０は、ＳＮＳやオンラインストレージサービスなどのクラウドサービスと連携し、ユーザがサーバにアップロードした画像を用いて、フォトブックやコラージュプリント等の合成画像を自動的に作成してユーザに提示し、さらに、オンライン決済システムやオンライン受注システムと連携し、バーチャル商材もしくはリアル商材として販売し、決済するシステムである。

ここで、バーチャル商材とは、複数の画像の画像データ（デジタルデータ）を用いて作成されたフォトブックやコラージュプリント等の合成画像の画像データ（デジタルデータ）である。バーチャル商材は、インターネット等のネットワーク２４を介してダウンロード販売される、もしくは、生産工場２２でＣＤやＤＶＤ等の記録媒体に記録され、ユーザに配送される。
一方、リアル商材とは、バーチャル商材の画像データに基づいて作成された実物のフォトブックやコラージュプリント等の合成画像である。リアル商材は、生産工場２２で生産され、ユーザに配送される。
なお、バーチャル商材およびリアル商材は、有料のものに限らず、無料で提供するものも含む。

合成画像作成システム１０は、図１に示すように、ユーザ端末１２と、画像管理サーバ１４と、本発明の画像処理装置の一実施形態となる画像処理サーバ１６と、決済サーバ１８と、受注サーバ２０とを備えている。

ユーザ端末１２は、ユーザが、所有する画像（例えば、写真）を、ユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードしたり、画像管理サーバ１４にアップロードされた画像や、画像処理サーバ１６によって作成された合成画像を、ネットワーク２４を介してユーザ端末１２にダウンロードしたり、ユーザが画像や合成画像の閲覧、バーチャル商材やリアル商材の注文等をするためのものである。
ユーザ端末１２は、例えば、携帯電話やスマートフォンなどのモバイル端末、デスクトップＰＣ（パーソナルコンピュータ）、ノートＰＣ、タブレットＰＣ等である。
図示例では、図面の煩雑さを避けるために、１つのユーザ端末１２だけを表示しているが、実際には、合成画像作成システム１０を利用する各々のユーザが所有する複数のユーザ端末１２が備えられている。

画像管理サーバ１４は、ＳＮＳやオンラインストレージサービスなどのクラウドサービスをネットワーク２４を介してユーザに提供するものであり、ストレージ２６を備えている。
画像管理サーバ１４は、ユーザ端末１２からネットワーク２４を介してアップロードされた画像をストレージ２６に保存して管理したり、ストレージ２６に保存した画像や、画像処理サーバ１６から取得したフォトブックやコラージュプリント等の合成画像を、ネットワーク２４を介してユーザ端末１２に提供したりする。
なお、画像管理サーバ１４がクラウドサービスを提供することは必須ではない。
また、画像管理サーバ１４は、複数の画像を、オンラインアルバムのようなアルバム形式（フォルダ形式）での保存、年月日単位での保存、その他の形式での保存を含む、各種の画像保存形式で保存することができる。

本実施形態では、合成画像作成システム１０が、ＳＮＳの画像管理サーバ１４と連携している場合をＳＮＳタイプ、オンラインストレージサービスの画像管理サーバ１４と連携している場合をストレージタイプと呼ぶ。
なお、クラウドサービスは、ＳＮＳやオンラインストレージサービスに限らず、ユーザの画像を、ネットワーク２４を介して画像管理サーバ１４にアップロードしてストレージ２６に保存する各種のサービスを利用することができる。

続いて、画像処理サーバ１６は、画像管理サーバ１４のストレージ２６に保存された画像を用いて、フォトブックやコラージュプリント等の合成画像（の画像データ）を作成するものであり、ストレージ２８を備えている。
画像処理サーバ１６は、本実施形態の場合、画像管理サーバ１４のストレージ２６に保存されたオンラインアルバム毎に、合成画像を作成してストレージ２８に保存する。
また、画像処理サーバ１６は、ユーザからのバーチャル商材やリアル商材の注文をユーザ端末１２から受け付けたり、ストレージ２８に保存した合成画像の有効期限の管理をしたりする。
画像処理サーバ１６の詳細は後述する。

決済サーバ１８は、ユーザの注文についての決済処理をオンラインで行うものである。決済サーバ１８は、既存のオンライン決済システムを利用することができる。

受注サーバ２０は、ユーザの注文についての受注処理をオンラインで行うものである。受注サーバ２０は、既存のオンライン受注システムを利用することができる。

次に、画像処理サーバ１６の詳細について説明する。

図２は、画像処理サーバの構成を表す第１実施形態のブロック図である。同図に示す画像処理サーバ１６は、ＳＮＳタイプであり、画像取得部２９と、合成画像作成部３０と、合成画像管理部３２と、注文受付部３４と、商材合成部３６とを備えている。

ＳＮＳの場合、ユーザが他のユーザに画像を閲覧させる（ユーザが他のユーザと画像を共有する）ために、画像のアップロードが非常に頻繁に行われるという特徴がある。ユーザが一時期にアップロードした一連の画像の集合をオンラインアルバムと呼ぶ。ＳＮＳタイプの合成画像作成システム１０は、新規な画像がアップロードされたり、既にアップロードされている画像が変更されたりすると、オンラインアルバムの単位で合成画像をリアルタイムに作成してユーザ端末１２に提供する。

画像取得部２９は、ユーザが、新規な画像を画像管理サーバ１４にアップロードしたり、画像管理サーバ１４のストレージ２６に保存されているオンラインアルバムに対して、画像を追加、削除、編集したりすることによって、画像管理サーバ１４から画像変更の通知を受け取ると、画像管理サーバ１４のストレージ２６から該当するオンラインアルバムに含まれる画像を取得するものである。

合成画像作成部３０は、取得した画像を用いて、変更された画像を含むオンラインアルバム毎に、フォトブックやコラージュプリント等の合成画像をリアルタイムに作成するものである。
合成画像作成部３０は、変更された画像を含むオンラインアルバム毎に、オンラインアルバムに含まれる全ての画像を画像管理サーバ１４のストレージ２６から取得する。そして、取得したそれぞれの画像を解析して評価し、その評価値に基づいて、合成画像に使用する複数の画像を選択し、選択した複数の画像を用いてレイアウトを実施して合成画像を作成する。合成画像の作成が完了すると、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。
なお、合成画像作成部３０は、ユーザが、オンラインアルバムに含まれる全ての画像を削除した場合、そのオンラインアルバムに対応する合成画像を削除する。
合成画像作成部３０の詳細は後述する。

合成画像管理部３２は、ストレージ２８に保存された合成画像を管理するものである。
合成画像管理部３２は、合成画像の有効期限を管理する。ストレージ２８に保存してから一定期間、例えば、２週間が経過しても注文がない合成画像をストレージ２８から削除するものとすると、合成画像管理部３２は、期限切れ直前の合成画像について、例えば、ＳＮＳのお知らせ機能や、電子メール等を利用して、合成画像がストレージ２８から削除される日時を表すリマインダーをユーザ端末１２に通知する。
また、合成画像管理部３２は、期限切れの合成画像を、例えば、画像処理サーバ１６の負荷が低い夜間などにバッチ処理で削除し、期限切れの合成画像を削除したことをユーザ端末１２に通知する。
その他、公序良俗に違反する画像が含まれているアルバムがあった場合、例えば、画像管理サーバ１４のオペレータが、該当する画像を削除して画像処理サーバ１６に通知するものとすると、合成画像管理部３２は、その公序良俗違反の画像削除の通知に基づいて、合成画像作成部３０が合成画像を作成し直すように管理したり、各々のユーザが、どのくらいの合成画像を作成したとか、どのくらいの製品を購入したかなどの統計情報を収集して管理したりする。

注文受付部３４は、ユーザのバーチャル商材やリアル商材の注文をユーザ端末１２から受け付けるものである。
注文受付部３４は、決済情報を入力するための画面をユーザ端末１２の表示装置に表示させ、ユーザが注文したバーチャル商材やリアル商材の製品とその数を表す注文情報、クレジットカード、代引き、銀行振り込み等の支払い情報、製品の配送に利用する運送会社を表す配送情報、ユーザの住所、氏名、電話番号等のユーザ情報等を含む決済情報を取得し、取得した決済情報および決済の指示を決済サーバ１８に通知する。
また、注文受付部３４は、注文が完了すると、注文が完了したことを画像管理サーバ１４に通知する。

商材合成部３６は、決済サーバ１８から決済処理完了の通知を受け取ると、ユーザが注文したオンラインアルバムに含まれる画像と、このオンラインアルバムの合成画像の画像データを用いて、ユーザが注文したバーチャル商材やリアル商材（の画像データ）を合成するものである。
本実施形態の場合、画像管理サーバ１４は、ユーザ端末１２から画像管理サーバ１４に画像がアップロードされると、アップロードされた画像から解像度の異なる複数の画像、例えば、解像度の異なる５種類の画像を作成してストレージ２６に保存する。
商材合成部３６は、バーチャル商材の場合、ユーザ端末１２の画面上で閲覧することができればよいため、例えば、６４０×４８０ピクセルの画像を入力として、８００×６００ピクセルの画像を出力する合成処理を行う。
一方、リアル商材の場合は、銀塩プリントを行うため、商材合成部３６は、例えば、画像補正ツールを使って画像の補正処理を行った後、バーチャル商材の場合よりも解像度が大きい１０２４×７６８ピクセルの画像を入力として、バーチャル商材の場合よりも解像度が大きい３０００×２０００ピクセルの画像を出力する合成処理を行う。
商材合成部３６は、合成したバーチャル商材やリアル商材の画像データ、決済情報および注文の指示を受注サーバ２０に通知する。

次に、図１および２に示すＳＮＳタイプの合成画像作成システム１０の動作を説明する。

まず、ユーザは、１ないし複数の画像（の画像データ）をユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードする。

画像管理サーバ１４は、ユーザ端末１２から一時期にアップロードされた一連の画像を受け取って、１つのオンラインアルバムとしてストレージ２６に保存し、ストレージ２６内の画像が変更されたことを画像処理サーバ１６に通知する。

アップロードした画像が画像管理サーバ１４のストレージ２６に保存されると、ユーザは、オンラインアルバム毎に、オンラインアルバムに含まれる画像をユーザ端末１２で随時閲覧することができる。
ＳＮＳのウェブサイトでは、例えば、ユーザがアップロードしたオンラインアルバムの一覧として、各々のオンラインアルバムの代表画像のサムネイル画像が表示される。
ユーザが、オンラインアルバムの一覧の中から１つのオンラインアルバムをマウス等の入力装置でクリックすると、クリックしたオンラインアルバムに含まれる画像の一覧として、各々の画像のサムネイル画像が表示される。

続いて、画像処理サーバ１６では、画像管理サーバ１４から画像変更の通知を受け取ると、合成画像作成部３０が、新規にアップロードされたオンラインアルバム毎に、オンラインアルバムに含まれる画像を用いて、フォトブックやコラージュプリント等の合成画像をリアルタイムに作成する。そして、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。

続いて、画像管理サーバ１４は、画像処理サーバ１６から合成画像の作成完了の通知を受け取ると、例えば、ＳＮＳのニュースフィードの機能を利用して、その旨をユーザ端末１２に通知する。
ユーザが、ユーザ端末１２の表示装置に表示されたニュースフィードの一覧の中から、合成画像の作成完了の通知に対応するニュースをマウス等の入力装置を用いてクリックすると、画像管理サーバ１４は、この合成画像の作成完了の通知に対応する合成画像を画像処理サーバ１６のストレージ２８から取得し、ユーザ端末１２の表示装置に表示させる。

つまり、ユーザは、画像をアップロードすると、オンラインアルバム毎に、オンラインアルバムに含まれる画像を用いて作成されたフォトブックやコラージュプリント等の合成画像をリアルタイムに閲覧することができる。
なお、ＳＮＳでは、画像管理サーバ１４にアップロードされた画像を公開する範囲（画像を共有するユーザ）を設定することが可能である。同様に、合成画像も、合成画像を公開する範囲を設定することが可能であり、ユーザ同士の間で合成画像を公開（共有）することができる。

また、ユーザは、オンラインアルバムへの新規な画像の追加、オンラインアルバムに含まれている既存の画像の削除、回転、補正（色調整、トリミングなど）の編集、フォトアルバムの表紙画像の変更、オンラインアルバムの名称や説明文の変更等を行うことができる。

画像管理サーバ１４は、例えば、ユーザが、ストレージ２６内のオンラインアルバムに既に保存されている画像を変更すると、ストレージ２６内の画像が変更されたことを画像処理サーバ１６に通知する。
ここで、画像変更の通知には、画像そのものの変更だけでなく、上記のフォトアルバムの表紙画像の変更、オンラインアルバムの名称や説明文の変更なども含む。

画像処理サーバ１６では、画像管理サーバ１４から画像変更の通知を受け取ると、合成画像作成部３０が、変更された画像を含むオンラインアルバム毎に、合成画像をリアルタイムに作成し直す。そして、作成し直した合成画像をストレージ２８に保存し、合成画像の作成のし直しが完了したことを画像管理サーバ１４に通知する。
これ以後の画像管理サーバ１４の動作は前述の通りである。

つまり、オンラインアルバムに含まれる画像が変更されると、これに対応する合成画像が、リアルタイムに作成し直されてユーザ端末１２の表示装置に表示される。

なお、ユーザが１画像の編集操作を行う毎に合成画像を作成し直すと、サーバ負荷が大きくなる。そこで、合成画像の作成のし直しを自動ではなく、例えば、全ての画像の編集操作が終わった段階で、ユーザが、画像の編集画面がユーザ端末１２の表示装置に表示されているとき同時に表示される合成画像の更新ボタンをマウス等の入力装置でクリックしたタイミングで、合成画像作成部３０が合成画像を作成し直すことが望ましい。
この場合、ユーザは、合成画像の作成のし直しをしたいタイミングで合成画像の更新ボタンを押し、更新された合成画像を表示させることができる。また、ユーザが、更新された合成画像の表示を望まない場合は更新ボタンを押す必要はない。

一方、バックエンド処理として、深夜などのサーバ負荷が低いときに、合成画像作成部３０が、オンラインアルバムの最新状態が反映されていない合成画像を、オンラインアルバムの最新状態が反映された合成画像に自動更新してもよい。
さらに、画像管理サーバ１４のオペレータが公序良俗違反の画像を削除したことを画像処理サーバ１６に通知してきた場合に、合成画像作成部３０が、削除された画像を含んでいたオンラインアルバムの合成画像を更新するのが望ましい。

また、画像処理サーバ１６では、合成画像管理部３２が、期限切れ直前の合成画像について、合成画像がストレージ２８から削除される日時を表すリマインダーをユーザ端末１２に通知する。

ユーザは、画像処理サーバ１６からの期限切れ間近のお知らせを受け取ると、期限切れ間近のオンラインアルバムのバーチャル商材やリアル商材を注文するかしないかを判断する。そして、ユーザは、合成画像がユーザ端末１２の表示装置に表示されているとき同時に表示される注文ボタンをマウス等の入力装置でクリックすることにより、表示中のオンラインアルバムのバーチャル商材やリアル商材を注文することができる。

ここで、オンラインアルバム内の画像の編集時に、オンラインアルバムの最新状態を反映した合成画像が作成されていれば、注文時に合成画像の作成のし直しは行われず、編集時に更新された合成画像が、注文確認用の合成画像として、ユーザ端末１２の表示装置に表示される。
一方、ユーザが、オンラインアルバム内の画像を編集した後に、合成画像の更新ボタンをクリックしていなかった場合、つまり、オンラインアルバム内の最新状態が合成画像に反映されていなかった場合、注文時に合成画像の作成のし直しが行われ、注文時に更新された合成画像が、注文確認用の合成画像として、ユーザ端末１２の表示装置に表示される。

続いて、ユーザがユーザ端末１２の表示装置に表示された注文ボタンをマウス等でクリックすると、画像処理サーバ１６では、注文受付部３４が、決済情報を入力するための画面をユーザ端末１２の表示装置に表示させ、注文情報、支払い情報、配送情報、ユーザ情報等を含む決済情報を取得する。そして、ユーザが最終的な注文の確定ボタンをクリックすると、取得した決済情報および決済の指示を決済サーバ１８に送信するとともに、注文が完了したことを画像管理サーバ１４に通知する。

画像管理サーバ１４では、画像処理サーバ１６から注文完了の通知を受け取って、注文履歴の管理を行う。ユーザは、ユーザ端末１２の表示画面で注文履歴を随時閲覧することができる。

決済サーバ１８は、画像処理サーバ１６から決済情報および決済を指示する通知を受け取ると、決済情報を用いて、ユーザの注文についての決済処理を行う。つまり、ユーザの注文についての製品の購入代金の支払いが、決済サーバ１８から受注サーバ２０に対してオンラインで行われる。決済サーバ１８は、決済処理が完了すると、その旨を画像処理サーバ１６に通知する。

続いて、画像処理サーバ１６では、決済サーバ１８から決済処理完了の通知を受け取ると、商材合成部３６が、ユーザが注文したバーチャル商材やリアル商材を合成する。
商材合成部３６は、合成したバーチャル商材やリアル商材の画像データ、決済情報および注文の指示を受注サーバ２０に通知する。

受注サーバ２０は、画像処理サーバ１６から、バーチャル商材やリアル商材の画像データ、決済情報および注文を指示する通知を受け取ると、ユーザの注文についての受注処理を行う。受注サーバ２０は、決済情報を用いて、ユーザ端末１２の表示装置にバーチャル商材をダウンロードするための画面を表示させたり、バーチャル商材の画像データを格納したＣＤやＤＶＤ、リアル商材の製造を生産工場２２に依頼したりする。
また、ユーザの注文についての製品の生産コストの支払いが、受注サーバ２０から生産工場２２に対してオンラインで行われる。また、ユーザの注文についてのロイヤリティの支払いが、受注サーバ２０から画像管理サーバ１４に対してオンラインで行われる。

生産工場２２は、受注サーバ２０からバーチャル商材やリアル商材の製造の依頼を受け取ると、バーチャル商材やリアル商材の画像データ、決済情報に基づいて、製品を生産し、指定の運送会社を利用してユーザに配送する。

続いて、図３は、画像処理サーバの構成を表す第２実施形態のブロック図である。同図に示す画像処理サーバ１６は、ストレージタイプであり、画像取得部３８と、合成画像作成部４０と、合成画像管理部４２と、注文受付部４４と、商材合成部４６とを備えている。

オンラインストレージの場合、ユーザは、例えば、自分自身のバックアップのために画像をアップロードする。ストレージタイプの合成画像作成システム１０の場合、画像に添付されたＥｘｉｆ等のタグ情報（付帯情報）に応じて、例えば、日付、被写体、夏休みの旅行等のイベントなどの、様々な条件で画像を分類（グルーピング）しておき、画像が蓄積されて、ある分類が、所定の枚数、例えば、３０枚以上になった時点で、分類に応じて、合成画像を作成してユーザ端末１２に提供する。

画像取得部３８は、画像管理サーバ１４のストレージ２６に保存されている画像を取得する同期処理を定期的に行う、例えば、３日に１回行うものであり、ストレージ４８，５０を備えている。
画像取得部３８は、画像管理サーバ１４のストレージ２６から画像を取得し、必要に応じて、画像の解像度を変更してストレージ４８に保存するとともに、取得した各々の画像からタグ情報を抽出してストレージ５０に保存する。
タグ情報は、画像に添付されている。タグ情報には、画像の撮影日時、画像のサイズ、撮影機種等の、撮影装置により画像に自動的に添付される情報の他、ユーザが、キーボード等の入力装置を用いて任意の情報、例えば、誕生日、運動会などのイベント情報、家族、友達などの人物情報、ユーザがお気に入りの画像であることを表すお気に入り情報などを入力することが可能である。
なお、画像取得部３８は、同期処理のたびに、全ての画像を取得し直してもよいが、同期処理の負荷を考慮すると、前回の同期処理から変更された差分の画像のみを取得する方が望ましい。

合成画像作成部４０は、ストレージ５０に保存されたタグ情報が所定の条件を満足したオンラインアルバム毎に、ストレージ４８に保存されたオンラインアルバムに含まれる画像を用いて、ＳＮＳタイプの画像処理サーバ１６の合成画像作成部３０と同様に、合成画像を作成するものである。
合成画像作成部４０は、タグ情報に基づいて、例えば、誕生日の画像を含むオンラインアルバムの合成画像を作成したり、家族の画像を含むオンラインアルバムの合成画像を作成したりする。

合成画像管理部４２、注文受付部４４、商材合成部４６は、それぞれ、ＳＮＳタイプの画像処理サーバ１６の合成画像管理部３２、注文受付部３４、商材合成部３６と同様のものである。

次に、図１および３に示すストレージタイプの合成画像作成システム１０の動作を説明する。

ユーザは、１ないし複数の画像（画像データ）をユーザ端末１２からネットワーク２４を介して画像管理サーバ１４にアップロードする。

画像管理サーバ１４は、ユーザ端末１２から一時期にアップロードされた一連の画像を受け取って、１つのオンラインアルバムとしてストレージ２６に保存する。

画像処理サーバ１６では、画像取得部３８が、画像管理サーバ１４のストレージ２６に保存された画像を定期的に取得する同期処理を行って、オンラインアルバム毎に、画像およびタグ情報を、それぞれ、ストレージ４８，５０に保存する。

合成画像作成部４０は、タグ情報が所定の条件を満足したオンラインアルバム毎に、ストレージ４８に保存されたオンラインアルバムに含まれる画像を用いて、合成画像を作成する。そして、作成した合成画像をストレージ２８に保存し、合成画像の作成が完了したことを画像管理サーバ１４に通知する。

画像管理サーバ１４は、画像処理サーバ１６から合成画像の作成完了の通知を受け取ると、例えば、電子メールを利用して、その旨をユーザ端末１２に通知する。
ユーザが、電子メールの中に記載された合成画像へのリンクをマウス等の入力装置を用いてクリック（選択）すると、画像管理サーバ１４は、この合成画像を画像処理サーバ１６のストレージ２８から取得し、ユーザ端末１２の表示装置に表示させる。

これ以後の動作は、ＳＮＳタイプの合成画像作成システム１０の場合と同様である。

次に、合成画像作成部３０の詳細について説明する。
なお、合成画像作成部４０についても同様である。

図４は、合成画像作成部の構成を表すブロック図である。同図に示す合成画像作成部３０は、画像解析部５４と、グルーピング部５６と、グループ選択部５８と、再グルーピング部６０と、画像選択部６２と、画像配置部６４とを備えている。

合成画像作成部３０では、画像解析部５４が、画像取得部２９が取得したオンラインアルバムに含まれる各々の画像の解析を行って、その評価値を決定する。
画像解析部５４の詳細は後述する。

また、グルーピング部５６が、画像取得部２９が取得したオンラインアルバムの複数の画像を、各々の画像の付帯情報に基づいて複数のグループにグルーピングする。

グルーピング部５６は、付帯情報として撮影日時を用いた場合、取得したオンラインアルバムの複数の画像を、撮影間隔が比較的大きい画像の間で分けて複数のグループにグルーピングする。
図５の例では、撮影日時に基づいて、複数の画像を、２月２３日のグループ、４月２日の１０：００からのグループ、同１２：００からのグループ、同１４：００からのグループ、４月３日のグループ、４月５日のグループ、７月１２日のグループ、…にグルーピングしている。
なお、付帯情報として撮影位置を用いた場合、グルーピング部５６は、複数の画像を、撮影位置ごとに複数のグループにグルーピングする。また、撮影日時や撮影位置以外の付帯情報を用いて、画像をグルーピングしてもよい。

続いて、グループ選択部５８が、グルーピングされた複数のグループの中から、各々の画像の付帯情報として、ユーザが各々の画像に対して行った操作情報が付与された画像を含むグループを選択する。
図６に示す例では、４月２日の１２：００からのグループ、同１４：００からのグループ、７月１２日のグループ、…が選択されている（太枠で囲まれた画像を含むグループ）。同図中、星印がある画像が、付帯情報として操作情報が付与された画像である。

ここで、操作情報とは、例えば、ユーザが各々の画像に付与した「イイね」（お気に入り情報）、「コメント」などの付与情報、ユーザが各々の画像に付与した５段階の重要度などの評価情報、ユーザが各々の画像に付与したタグ情報、もしくは、ユーザが各々の画像に実施した編集情報などである。
「イイね」の付与情報は、例えば、ＳＮＳにおいて、ユーザが、気に入った画像がある場合に、その画像が表示されたウェブページに、その画像と関連付けされて表示された「イイね」ボタンをマウス等の入力装置でクリックすることによって、その画像に付与される。同様に、「コメント」の付与情報は、例えば、ＳＮＳにおいて、ユーザが、「コメント」を書き込もうとする画像がある場合に、その画像が表示されたウェブページに、その画像と関連付けされて表示された「コメント」の入力欄にキーボード等の入力装置で「コメント」を書き込むことによって、その画像に付与される。

ここで、選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。
例えば、１６ページのフォトブックは、１６枚の画像があれば作成可能であるが、この場合、１ページ１画像となり、魅力度が下がる。そこで、フォトブックの魅力を上げる（１ページに複数の画像を配置する）ために推奨する画像枚数（推奨画像数）を定義する。例えば、１ページ当たり４枚の画像を配置する場合、推奨画像数は、４枚×１６ページ＝６４画像となる。

一方、選択した全てのグループに含まれる画像数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと同じ日付のグループ（操作情報が付与されていないグループ）の中から、第１の追加のグループを順次選択する。
図７に示す例では、選択した最初のグループ３と同じ４月２日に撮影されたグループの中から、１０：００からのグループ（点線で囲まれたグループ）が選択されている。なお、７月１２日に撮影されたグループなど、選択した他のグループと同じ日付のグループの中から選択してもよい。
ここで、第１の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。

一方、第１の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと最も近い日付（撮影日時）のグループ（操作情報が付与されていないグループ）の中から、第２の追加のグループを順次選択する。
図８に示す例では、選択した、４月２日に撮影されたグループと最も近い４月３日に撮影されたグループ（点線で囲まれたグループ）が選択されている。同様に、７月１２日に撮影されたグループなど、選択した他のグループと最も近い日付のグループの中から選択してもよい。
ここで、第１および第２の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上であれば、グループ選択部５８は処理を終了する。

一方、第１および第２の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数未満である場合、グループ選択部５８は、選択した各々のグループと最も近い日付のグループの次に近い日付のグループ（操作情報が付与されていないグループ）の中から、第３の追加のグループを順次選択する。これ以後、第１、第２および第３の追加のグループを含む、これまでに選択した全てのグループに含まれる画像の数が、推奨画像数以上となるまで、追加のグループの選択を繰り返す。

続いて、再グルーピング部６０が、選択した所定数のグループを、フォトブックのページ数に合わせて再グルーピングする。例えば、フォトブックのページ数が１０ページであれば、１０のグループにグルーピングし直す。

例えば、図９に示す例のように、グループ１（操作情報が付与された画像の数が最も多いグループ）内の画像数が１５枚で、操作情報が付与された画像の数が１０枚であり、グループ２（画像数が最も多いグループ）内の画像数が２０枚で、操作情報が付与された画像の数が１枚の場合を考える。
操作情報が付与された画像の数が多いグループ１は、ユーザにとって重要なグループであり、グループ１内の画像は、操作情報が付与されていない画像であっても他のグループの画像に比べれば重要度が高い。
従って、図１０に示す例のように、画像数が最も多いグループ２内の２０枚の画像を、１０枚ずつの２つのグループに分割すると、重要度が高い、操作情報が付与された画像を多く含むグループ１の画像が、フォトブックの１ページに押し込められる。同図の例では、グループ１内の、操作情報が付与された画像の数が１０枚で、例えば、フォトブックの１ページの最大画像数が８枚であるとすると、グループ１内の、操作情報が付与された画像であっても、フォトブックで使用されない画像が発生する。

そこで、再グルーピング部６０は、選択したグループの数よりもフォトブックのページ数の方が多い場合、再分割処理を行って、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割する。
なお、再分割処理後のグループにおいて、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数以下となるまで、再分割処理を繰り返し行うことが望ましい。
また、グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数よりも多いグループが存在しない場合には、画像数が最も多いグループ内の画像を、撮影日時の間隔が最も大きい画像間で２つのグループに分割する。

一方、選択したグループの数よりもフォトブックのページ数の方が少ない場合、再グルーピング部６０は、再結合処理を行って、撮影日時の間隔が最も小さい２つのグループ同士を結合して１つのグループにする。
ただし、再結合処理によってグループ内の、操作情報が付与された画像の数が、フォトブックのページに配置可能な最大画像数を超える場合には再結合処理を行わず、次に撮影日時の間隔が小さい２つのグループ同士を結合して１つのグループにする。

例えば、前述の図９の例の場合、再グルーピング部６０は、図１１に示すように、操作情報が付与された画像の数が最も多いグループ１内の１５枚の画像を、８枚と７枚の２つのグループ１−１，１−２に分割する。
これにより、重要度が高いグループ１の画像は、２つのグループに分割され、分割されたそれぞれのグループ内の、操作情報が付与された全ての画像が、フォトブックのそれぞれのページに配置される。

上記のように、操作情報が付与された画像を考慮して、グループの再分割処理、再結合処理を行う理由は、グループの再分割処理、再結合処理によって、１グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数を超えると、操作情報が付与された画像が、フォトブックのレイアウト時に使用されなくなるのを防ぐためである。

なお、選択したグループの数が、フォトブックのページ数と同数であり、かつ、グループ内の、操作情報が付与された画像の数が、フォトブックの１ページに配置可能な最大画像数以下である場合、再グルーピング部６０は、再分割処理および再結合処理を行う必要はない。

続いて、画像選択部６２が、再グルーピングされたグループ毎に、選択したグループに含まれる複数の画像の中から、操作情報および評価値に基づいて所定数の画像を選択する。

例えば、フォトブックの１ページに配置可能な最大画像数が８枚である場合、操作情報が付与された画像数が８枚であれば、画像選択部６２は、操作情報が付与された全ての画像を選択する。
また、操作情報が付与された画像数が１枚〜７枚であれば、画像選択部６２は、操作情報が付与された全ての画像を選択し、グループに含まれる、操作情報が付与されていない画像の中から、画像解析部５４で決定された画像の評価値に基づいて、フォトブックの１ページに配置可能な最大画像数になるまで残りの画像を選択する。
選択したグループの中に操作情報が付与された画像がない場合、画像選択部６２は、画像解析部５４で決定された画像の評価値に基づいて、選択したグループに含まれる、操作情報が付与されていない画像の中から８枚の画像を選択する。

図１１に示す例では、グループ１−１の８枚全ての画像、グループ１−２の７枚全ての画像、グループ２の２０枚の画像から、操作情報が付与された１枚の画像を含む８枚の画像が選択されている。

続いて、画像配置部６４が、選択された所定数の画像を、フォトブックの対応するページに所定のレイアウトに配置（自動レイアウト）して合成画像を作成する。
図１１に示す例では、各々のグループから選択された画像は、見開きの２ページに配置されている。
画像配置部６４は、選択した所定数の画像の中の、操作情報が付与された画像の中から選択した画像を大きなエリアに配置する（大きな画像サイズで配置する）ことが望ましい。

以上のように、合成画像作成部３０は、グルーピングした複数のグループの中から、操作情報が付与された画像を含むグループを選択し、選択したグループに含まれる画像の中から、評価値および操作情報に基づいて所定数の画像を選択し、選択した画像を用いて合成画像を作成する。
つまり、画像処理サーバ１６は、例えば、「イイね」や「コメント」等の付与情報を含む、操作情報を利用して、フォトブックやコラージュプリント等の合成画像を作成するため、よりユーザの満足度が高い合成画像を作成することができる。

ここで、合成画像作成部３０は、あらかじめ設定された、合成画像を作成するときの優先度に従って、合成画像を順次作成することが望ましい。

合成画像を作成（更新）するタイミングは、例えば、以下の１〜６番の場合である。
１．新規な画像のアップロード時
２．オンラインアルバムに既に保存されている画像の編集時
３．注文時（注文確認用の合成画像の表示）
４．バックエンド処理時
５．公序良俗違反の画像の削除時
６．リアル商材の合成時

本実施形態の場合、合成画像を作成するときの優先度は、３番の注文時が最も高く、続いて、２番の画像編集時、１番の画像アップロード時の順序で順次優先度が低くなるように設定されている。また、４番のバックエンド処理時、５番の公序良俗違反の画像削除時、および、６番のリアル商材作成時の優先度は同じであり、最も低い優先度に設定されている。

ここで、３番の注文時は、ユーザが、注文ボタンをマウス等の入力装置でクリックして、フォトブックやコラージュプリント等の合成画像を注文したいという明確な意志を示しているため、最も高い優先度としている。
２番の既存画像の編集時は、ユーザが、合成画像の更新ボタンをクリックして、編集後の画像を用いて合成画像を更新して閲覧したいという意志を示しているため、３番の注文時の次に高い優先度としている。
一方、１番の画像アップロード時は、ユーザが、自分の意志で画像をアップロードするが、画像のアップロード後、合成画像を閲覧しない可能性もあるため、２番の既存画像の編集時よりも低い優先度としている。
４番のバックエンド処理時、５番の公序良俗違反の画像削除時、および、６番のリアル商材作成時は、いずれも、ユーザの意志とは関係がない処理であるため、１番の画像アップロード時よりも低い優先度としている。

このように、あらかじめ設定された優先度に従って、フォトブックやコラージュプリント等の合成画像を順次作成することにより、合成画像をユーザに提示するまでの時間を短縮することができる。

なお、合成画像を作成するタイミングとして、１番〜６番の例を挙げて説明したが、これら以外のタイミングで合成画像を作成することができ、それに応じて優先度を設定することができる。

また、合成画像の閲覧履歴情報や、合成画像に関する注文履歴情報などの、ユーザの過去の操作履歴情報に基づいて、合成画像を作成するときの優先度を設定してもよい。
なお、注文履歴情報は、注文が確定された場合だけでなく、例えば、注文確認用の合成画像を作成して表示させた場合などのように、注文が確定されていない場合であっても画像管理サーバ１４に蓄積されるようにしてもよい。

例えば、ユーザの過去の閲覧履歴情報に基づいて、画像のアップロード時に、よく合成画像を閲覧するユーザの場合は優先度を上げる。一方、あまり合成画像を閲覧しないユーザの場合は優先度を下げる。言い換えると、合成画像の閲覧回数が所定の回数以上であるユーザの場合は、所定の回数未満であるユーザの場合よりも、優先度が高くなるように設定する。

また、例えば、ユーザの過去の注文履歴情報に基づいて、実際に注文を行う可能性が高いユーザの場合は優先度を上げる。一方、注文を行う可能性が低いユーザの場合は優先度を下げる。言い換えると、注文回数が所定の回数以上であるユーザの場合は、所定の回数未満であるユーザの場合よりも、優先度が高くなるように設定する。

あるいは、例えば、ユーザが過去に風景画像中心のフォトブックを注文している場合、同じ風景画像を多く含む画像群の優先度を上げる。言い換えると、ユーザの過去の注文履歴情報に基づいて、ユーザが過去に注文した合成画像で使用された画像と同じテーマの画像の場合は、ユーザが過去に注文した合成画像で使用された画像とは異なるテーマの画像の場合よりも、優先度が高くなるように設定する。

また、ユーザが、取得したオンラインアルバムの既存画像に対して実施する編集内容に基づいて、合成画像を作成する優先度を設定してもよい。

編集内容として、例えば、ユーザが編集した画像の数が所定数以上である場合は、合成画像の変更量も多くなるため、ユーザは、変更後の合成画像を閲覧して確認したいと推測し、所定数未満である場合よりも、優先度を高く設定する。
例えば、所定数が１０枚であるとすると、ユーザが編集した画像の数が１０枚以上になった場合に、ユーザが編集した画像が１０枚未満の場合よりも、優先度を上げる。

また、例えば、画像のトリミングや色補正など、ユーザによる画像の編集量が所定量以上である場合は、合成画像の変更量も多くなるため、ユーザは、変更後の合成画像を閲覧して確認したいと推測し、優先度を上げる。
一方、１画像の回転のみを行った場合など、画像の編集量が所定量未満である場合は、合成画像の変更量が少ないため、ユーザが、わざわざ、合成画像の更新ボタンをクリックして、更新後の合成画像を確認する可能性は低いと推測し、優先度を下げる。

また、ユーザが編集した画像の数が所定数以上である場合や、ユーザによる画像の編集量が所定量以上である場合には、例えば、ユーザが合成画像の更新ボタンをマウス等の入力装置でクリックする前に、合成画像を作成し直すことが望ましい。

また、画像の内容に基づいて、その画像が、フォトブックやコラージュプリント等の合成画像に適しているかどうかを判断し、合成画像を作成するときの優先度を設定してもよい。
クラウドサービスのサーバにアップロードされている画像の中には、フォトブックやコラージュプリント等の合成画像の作成に適していない画像も多数含まれている。従って、フォトブックやコラージュプリント等の合成画像の作成に適した画像の優先度を高く設定することによって、合成画像の作成に適した画像を優先的に使用してフォトブックやコラージュプリント等の合成画像を作成することが望ましい。

ここで、フォトブックやコラージュプリント等の合成画像に適しているかどうかの判断材料は、例えば、画像のテーマ、画像の数、画像の品質、タグ情報（付帯情報）、撮影期間、画像のサイズ、撮影機種、被写体人物（顔）、などである。
画像のテーマに関して、イベント（旅行、誕生会、運動会等）、赤ちゃんないし子供、セレモニー（結婚式、入学式、卒業式等）などは、フォトブックやコラージュプリント等の合成画像に適した画像であると判断する。
画像数は、取得したオンラインアルバムに含まれる画像の数が、所定の枚数以上、例えば、推奨画像数以上であれば、フォトブックやコラージュプリント等の合成画像に適していると判断する。
画像品質に関して、所定の解像度以上であり、かつ、ボケブレが無い画像は、フォトブックやコラージュプリント等の合成画像に適した画像であると判断する。

例えば、画像のテーマは、画像の付与情報である「コメント」の内容や、画像解析部５４による画像解析の結果に基づいて、判断することができる。画像品質は、画像解析から判断することができる。
そして、画像のテーマ、画像数、画像品質が、フォトブックやコラージュプリント等の合成画像に適した画像（注文に結びつく可能性が高い画像）であると判断した場合には、それ以外の場合よりも優先度を上げる。

また、Ｅｘｉｆの撮影日時情報等のタグ情報は、デジタルスチルカメラや、携帯電話／スマートフォン等のカメラ機能により撮影された画像には自動的に添付されるが、ユーザが加工した画像や、スキャン画像には添付されない。フォトブックやコラージュプリント等の合成画像の作成には、タグ情報が添付されている画像、つまり、デジタルスチルカメラや、携帯電話／スマートフォン等のカメラ機能により撮影されたそのままの画像を優先的に使用することが望ましい。従って、画像にタグ情報が添付されている場合は、タグ情報が添付されていない場合よりも、優先度を高く設定する。

また、フォトブックの作成には、上記の撮影日時情報等のタグ情報が添付されている画像の中から、撮影日時が所定の撮影期間内に含まれている画像を優先的に使用することが望ましい。従って、タグ情報に含まれる撮影日時の情報に基づいて、画像の撮影日時が所定の撮影期間内に含まれている場合は、画像の撮影日時が所定の撮影期間内に含まれていない場合よりも、優先度を高く設定する。
ここで、撮影日時が所定の撮影期間内に含まれる画像とは、例えば、同一撮影日の数１００枚の画像（日常のスナップ画像や、運動会などのイベントで撮影された画像等）、数日から１週間程度の期間の数１００枚の画像（旅行などのイベントで撮影された画像等）等である。
なお、所定の撮影期間の範囲は、上記１日や１週間に限らず任意の期間に設定することができる。

例えば、サーバに数１０００枚単位で画像がアップロードされている場合に、撮影日が、2013/2/10の画像が３４枚、2013/2/11の画像が２５枚、2013/2/12の画像が５４枚というように、連続した撮影日で一定枚数以上の画像がアップロードされていれば、旅行等のイベントで撮影された画像群であると推測することができる。従って、これらの連続した撮影日で撮影された一定枚数以上の画像群を用いてフォトブックやコラージュプリント等の合成画像を作成する。
これに対し、例えば、撮影日時が、2009/10/22, 2010/3/3, 2010/4/12等のように、幅広い撮影期間に撮影された画像群は、撮影傾向に一貫性が無く、こうした画像群を用いてフォトブックやコラージュプリント等の合成画像を作成しても魅力が出ない。

また、画像のサイズに関しては、タグ情報に含まれる画像のサイズの情報に基づいて、画像のサイズが所定のサイズ以上である場合は、画像のサイズが所定のサイズ未満である場合よりも、優先度を高く設定する。
また、撮影機種に関しては、タグ情報に含まれる撮影機種の情報に基づいて、撮影機種がデジタルスチルカメラの場合は、撮影機種が携帯電話およびスマートフォンの場合よりも、優先度を高く設定する。
被写体人物（顔）に関しては、画像中に撮影されている被写体人物（顔）の数が所定数以上である場合は、画像中に撮影されている被写体人物の数が所定数未満である場合よりも、優先度を高く設定する。

画像の内容による優先度の設定は、例えば、１番の画像アップロード時、２番の既存画像の編集時に適用するのが望ましい。

また、ＳＮＳの他のユーザが各々の画像に付与した、「イイね」や「コメント」等の付与情報の数に基づいて、合成画像を作成するときの優先度を設定してもよい。
つまり、「イイね」や「コメント」等の付与情報の数が多い画像は、ユーザにとって重要な画像であると判断し、付与情報の数が所定数以上である画像を含むオンラインアルバムの合成画像を作成するときの優先度を上げる。

付与情報の数による優先度の設定は、例えば、２番の既存画像の編集時に適用するのが望ましい。

また、ユーザの、ＳＮＳやオンラインストレージサービス等のクラウドサービスへのログイン状態に応じて、合成画像を作成するときの優先度を設定してもよい。

例えば、画像のアップロード後、合成画像を作成する前にユーザがログアウトした場合には、次回、ユーザがログインするまでに合成画像の作成が完了していればよいので、優先度を下げる。言い換えると、画像のアップロード後、ログイン状態のユーザの場合は、合成画像を作成する前にログアウトしたユーザの場合よりも、優先度を上げる。

また、例えば、公序良俗違反で画像が削除された場合に、ユーザがログイン状態であれば、ログアウト状態のユーザよりも優先度を上げる。
また、公序良俗違反で画像が削除された後、合成画像を作成し直す前にユーザがログインした場合には、ログアウト状態のユーザよりも優先度を上げる。

ログイン状態による優先度の設定は、例えば、４番のバックエンド処理時に適用するのが望ましい。

なお、優先度は、２段階、もしくは、３段階以上の多段階に設定することができる。

また、合成画像作成部は、合成画像を作成するための優先度に応じて、作成する合成画像（商材）を変更してもよい。
例えば、合成画像作成部は、合成画像として、優先度が所定値以上に設定されている場合には、優先度が所定値未満に設定されている場合よりも、ページ数が多く、かつ、ページサイズが大きいフォトブックを作成し、優先度が所定値未満に設定されている場合には、優先度が所定値以上に設定されている場合よりも、ページ数が少なく、かつ、ページサイズが小さいフォトブックを作成する、もしくは、コラージュプリントのような１枚の合成画像を作成する。

なお、フォトブックを作成する場合を例に挙げて説明したが、コラージュプリントを作成する場合も同様である。コラージュプリントを作成する場合、例えば、グループ選択部５８によって選択されたグループの数に相当するコラージュプリントを作成し、順次ユーザに提示することができる。また、コラージュプリントを作成する場合、再グルーピング部６０によるグルーピングのし直しは、してもしなくてもよい。

最後に、画像解析部５４の詳細について説明する。

画像解析部５４では、図１２に示すように、例えば、顔検出処理、明るさ判定処理、色評価処理、ボケブレ評価処理、イベント分類処理および類似画像判定処理を含む、複数の画像解析処理が実施される。

顔検出処理は、画像の中に含まれる人物の顔（顔領域）の数、顔の大きさ、顔の向き、顔の位置等を検出する処理である。
画像解析部５４は、顔検出処理の結果、例えば、画像に含まれる顔の数が多い場合や、顔の大きさが大きい場合、顔が正面を向いている場合、顔が画像の中央部に配置されている場合等に重要度の高い画像であると判断し、顔検出処理の結果の評価値としての顔スコアを高くする。

明るさ判定処理は、例えば、画像全体、もしくは、顔検出処理により検出された顔領域等の所定の領域について、画像の明るさの程度を評価する処理である。
画像解析部５４は、明るさ判定処理として、例えば、顔検出処理により検出された顔領域の明るさを判定し、その結果、顔領域の明るさが適切な場合に、明るさ判定処理の結果の評価としての明るさスコアを１．０とし、明るすぎる場合や暗すぎる場合は明るさスコアを下げる。

なお、この方法では顔を含む画像の明るさスコアしか決定できないため、例えば、顔を含む画像は上記の通りに明るさスコアを決定し、顔を含まない画像は画像全体の明るさの判定結果に応じて明るさスコアを決定してもよい。

色評価処理は、例えば、画像全体、もしくは、顔領域等の所定の領域について、画像の色合いを評価する処理である。
画像解析部５４は、色評価処理の結果、例えば、画像の色彩が鮮やかな場合に、色評価処理の結果の評価としての色スコアを比較的高くし、くすんでいたり、無色の場合は色スコアを比較的低くする。また、画像の露光が適切な場合に色スコアを比較的高くし、露光アンダーないしオーバーの場合は色スコアを比較的低くする。

ボケブレ評価処理は、画像におけるボケやブレの程度を評価する処理である。
画像解析部５４は、ボケブレ評価処理の結果、例えば、ボケブレがない場合に、ボケブレ評価処理の結果の評価としてのボケブレスコアを１．０とし、ボケブレの程度に応じてスコアを下げる。

イベント分類処理は、各々の画像の撮影日時に基づいて、例えば、画像を誕生会や運動会等のイベント毎に分類（グルーピング）する処理であり、類似画像判定処理は、イベント毎等の複数の画像について、類似した画像を判定する処理である。
画像解析部５４は、イベント分類処理および類似画像判定処理の結果、例えば、画像枚数が多いイベントや、検出された顔の数が多いイベント、類似画像が多いイベント等を重要なイベントと判断し、イベント分類処理および類似画像判定処理の結果の評価としてのイベントスコアを高くする。

なお、類似画像判定処理は、イベント毎の画像について類似した画像を判定することに限らず、例えば、ユーザ毎、同時にアップロードされた画像毎など、任意のグループに含まれる画像について、類似画像を判定してもよい。

上記の各画像解析処理は従来公知のものであり、本発明においても従来公知の各画像解析処理方法を利用することができるため、その詳細な処理方法についての記載は省略する。また、画像解析部５４は、上記以外の画像解析処理を実施してもよい。

画像解析部５４では、顔検出処理、明るさ判定処理、色評価処理、ボケブレ評価処理、イベント分類処理および類似画像判定処理等の各画像解析処理の結果に基づいて、それぞれ、顔スコア、明るさスコア、色スコア、ボケブレスコア、イベントスコアが、０．０〜１．０の範囲で決定され、これら複数の画像解析処理の結果のスコアの総合スコアが算出される。

なお、各画像解析処理の結果のスコアに対して所定の重み付け係数を乗算した結果を足し合わせて総合スコアを算出してもよい。本実施形態では、顔検出処理の結果のスコアに対する重み付けを最も大きくし、顔重み付け係数＝１．００、明るさ重み付け係数＝０．０５、色重み付け係数＝０．１０、ボケブレ重み付け係数＝０．０５、イベント重み付け係数＝０．２０として、下記式（１）により総合スコアが算出される。

総合スコア＝顔スコア＊顔重み付け係数＋明るさスコア＊明るさ重み付け係数＋色スコア＊色重み付け係数＋ボケブレスコア＊ボケブレ重み付け係数＊イベントスコア＊イベント重み付け係数 … （１）

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 合成画像作成システム
１２ ユーザ端末
１４ 画像管理サーバ
１６ 画像処理サーバ
１８ 決済サーバ
２０ 受注サーバ
２２ 生産工場
２４ ネットワーク
２６，２８，４８，５０ ストレージ
２９，３８ 画像取得部
３０，４０ 合成画像作成部
３２，４２ 合成画像管理部
３４，４４ 注文受付部
３６，４６ 商材合成部
５４ 画像解析部
５６ グルーピング部
５８ グループ選択部
６０ 再グルーピング部
６２ 画像選択部
６４ 画像配置部

Claims (32)

1. 画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理装置であって、
   前記画像管理サーバから複数の画像を取得する画像取得部と、
   あらかじめ設定された、前記合成画像を作成するときの優先度に従って、前記取得した画像を用いて、前記合成画像を順次作成する合成画像作成部とを備えることを特徴とする画像処理装置。
2. 前記優先度は、前記合成画像の閲覧履歴情報、および、前記合成画像に関する注文履歴情報を含む、ユーザの操作履歴情報に基づいて設定されている請求項１に記載の画像処理装置。
3. 前記閲覧履歴情報に基づいて、前記合成画像の閲覧回数が所定の回数以上であるユーザの場合は、前記閲覧回数が所定の回数未満であるユーザの場合よりも、前記優先度が高く設定されている請求項２に記載の画像処理装置。
4. 前記注文履歴情報に基づいて、注文回数が所定の回数以上であるユーザの場合は、前記注文回数が所定の回数未満であるユーザの場合よりも、前記優先度が高く設定されている請求項２に記載の画像処理装置。
5. 前記注文履歴情報に基づいて、ユーザが過去に注文した合成画像で使用された画像と同じテーマの画像の場合は、ユーザが過去に注文した合成画像で使用された画像とは異なるテーマの画像の場合よりも、前記優先度が高く設定されている請求項２に記載の画像処理装置。
6. 前記優先度は、ユーザが前記取得した画像に対して実施した編集内容に基づいて設定されている請求項１に記載の画像処理装置。
7. ユーザが編集した画像の数が所定数以上である場合は、ユーザが編集した画像の数が所定数未満である場合よりも、前記優先度が高く設定されている請求項６に記載の画像処理装置。
8. ユーザによる画像の編集量が所定量以上である場合は、ユーザによる画像の編集量が所定量未満の場合よりも、前記優先度が高く設定されている請求項６に記載の画像処理装置。
9. 前記合成画像作成部は、前記優先度が所定値以上に設定されている場合、ユーザが前記合成画像の更新ボタンをクリックする前に、前記合成画像を作成し直すものである請求項７または８に記載の画像処理装置。
10. 前記優先度は、前記画像の内容に基づいて設定されている請求項１に記載の画像処理装置。
11. 前記画像のテーマが、イベント、赤ちゃんないし子供、セレモニーである場合は、それ以外のテーマである場合よりも、前記優先度が高く設定されている請求項１０に記載の画像処理装置。
12. 前記取得した画像の数が所定の枚数以上である場合は、前記取得した画像の数が所定の枚数未満である場合よりも、前記優先度が高く設定されている請求項１０に記載の画像処理装置。
13. 前記画像の品質が、所定の解像度であり、かつ、ボケブレが無い場合は、それ以外の画像の場合よりも、前記優先度が高く設定されている請求項１０に記載の画像処理装置。
14. 前記画像にタグ情報が添付されている場合は、前記タグ情報が添付されていない場合よりも、前記優先度が高く設定されている請求項１０に記載の画像処理装置。
15. 前記タグ情報に含まれる撮影日時の情報に基づいて、前記画像の撮影日時が所定の撮影期間内に含まれている場合は、前記画像の撮影日時が所定の撮影期間内に含まれていない場合よりも、前記優先度が高く設定されている請求項１４に記載の画像処理装置。
16. 前記タグ情報に含まれる画像のサイズの情報に基づいて、前記画像のサイズが所定のサイズ以上である場合は、前記画像のサイズが所定のサイズ未満である場合よりも、前記優先度が高く設定されている請求項１４に記載の画像処理装置。
17. 前記タグ情報に含まれる撮影機種の情報に基づいて、前記撮影機種がデジタルスチルカメラの場合は、前記撮影機種が携帯電話およびスマートフォンの場合よりも、前記優先度が高く設定されている請求項１４に記載の画像処理装置。
18. 前記画像中に撮影されている被写体人物の数が所定数以上である場合は、前記画像中に撮影されている被写体人物の数が所定数未満である場合よりも、前記優先度が高く設定されている請求項１０に記載の画像処理装置。
19. 前記優先度は、他のユーザが各々の画像に付与したお気に入り情報およびコメントの少なくとも一方の付与情報の数に基づいて設定されている請求項１に記載の画像処理装置。
20. 前記付与情報の数が所定数以上である場合は、前記付与情報の数が所定数未満である場合よりも、前記優先度が高く設定されている請求項１９に記載の画像処理装置。
21. 前記画像管理サーバは、クラウドサービスを提供するものであり、
    前記優先度は、ユーザの、前記クラウドサービスへのログイン状態に基づいて設定されている請求項１に記載の画像処理装置。
22. 前記画像のアップロード後、ログイン状態のユーザの場合は、前記合成画像を作成する前にログアウトしたユーザの場合よりも、前記優先度が高く設定されている請求項２１に記載の画像処理装置。
23. 前記画像が公序良俗違反で削除された場合に、ログイン状態のユーザの場合は、ログアウト状態のユーザの場合よりも、前記優先度が高く設定されている請求項２１に記載の画像処理装置。
24. 前記画像が公序良俗違反で削除された後、前記合成画像を作成し直す前にログインしたユーザの場合は、ログアウト状態のユーザの場合よりも、前記優先度が高く設定されている請求項２１に記載の画像処理装置。
25. 前記クラウドサービスは、ＳＮＳ、もしくは、オンラインストレージサービスである請求項２１〜２４のいずれか１項に記載の画像処理装置。
26. 前記優先度は、２段階、もしくは、多段階に設定されている請求項１〜２５のいずれか１項に記載の画像処理装置。
27. 前記合成画像は、フォトブック、もしくは、コラージュプリントである請求項１〜２６のいずれか１項に記載の画像処理装置。
28. 前記合成画像作成部は、前記合成画像として、前記優先度が所定値以上に設定されている場合には、前記優先度が所定値未満に設定されている場合よりも、ページ数が多く、かつ、ページサイズが大きいフォトブックを作成し、前記優先度が所定値未満に設定されている場合には、前記優先度が所定値以上に設定されている場合よりも、前記ページ数が少なく、かつ、前記ページサイズが小さいフォトブック、または、コラージュプリントを作成するものである請求項２７に記載の画像処理装置。
29. 前記画像管理サーバは、前記複数の画像を、アルバム形式での保存、もしくは、年月日単位での保存を含む画像保存形式で保存するものである請求項１〜２８のいずれか１項に記載の画像処理装置。
30. 前記画像配置部は、前記合成画像の画像データを作成するものである請求項１〜２９のいずれか１項に記載の画像処理装置。
31. 画像管理サーバに保存された複数の画像を用いて合成画像を作成する画像処理方法であって、
    前記画像管理サーバから複数の画像を取得するステップと、
    あらかじめ設定された、前記合成画像を作成するときの優先度に従って、前記取得した画像を用いて、前記合成画像を順次作成するステップとを含むことを特徴とする画像処理方法。
32. 画像管理サーバと、
    前記画像管理サーバに保存された複数の画像を用いて合成画像を作成する、請求項１〜３０のいずれか１項に記載の画像処理装置とを備える合成画像作成システム。

Images