JP2016173834A - 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体 - Google Patents

Abstract

【課題】自分が保有する画像群だけでなく他のユーザが保有する画像をも利用して容易に合成画像の作成をアシストすることができる合成画像作成アシスト装置および方法を提供する。
【解決手段】他ユーザ画像群抽出部１２がＳＮＳの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、第２の候補画像選択部１３が抽出された他のユーザの画像群から合成画像に適合する少なくとも１つの第２の候補画像を選択し、使用画像決定部１４が複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定する。
【選択図】図１

Description

この発明は、合成画像作成アシスト装置および方法に係り、特に、他のユーザの画像を利用して合成画像の作成をアシストする装置および方法に関する。
また、この発明は、このような合成画像作成アシスト方法をコンピュータに実行させる合成画像作成アシストプログラムおよびその記録媒体にも関している。

近年、ＳＮＳ（Social Networking Service）に作成された各ユーザの画像群を用いて、フォトブック、コラージュ等の合成画像のデータを自動的に作成する合成画像作成アシストサービスが行われている。
この合成画像作成アシストサービスを利用すれば、各ユーザが自ら画像を選択し且つレイアウトしなくても、ＳＮＳに作成された画像群から自動的に中心人物、イベント等が抽出され、合成画像に適した画像の選択およびレイアウトが行われる。

しかし、合成画像に使用できる画像は、自分がＳＮＳに作成し保有している画像群に限られ、他のユーザがＳＮＳに作成している画像群については、利用することができなかった。例えば、学校あるいは職場の行事等に関するフォトブックを作成しようとする場合には、自分が保有する画像群だけでなく、クラスメート、同僚等が保有する画像をも利用することができれば、価値の高いフォトブックの作成が可能となり、便利である。

そこで、例えば特許文献１には、各ユーザが電子アルバムごとに発行されたメールアドレス宛てに画像を送信することで、複数のユーザが撮影した画像を含む電子アルバムを作成する電子アルバム作成装置が開示されている。
電子アルバムの作成に参加する複数のユーザの代表者が、電子アルバム作成に係る期限情報と、各ユーザを特定する許可情報と、画像選択、画像配置および情報付加に係る指示情報とを入力して電子アルバムを作成する旨を登録すると、管理サーバにより割り当てられたメールアドレスに各ユーザから送信された画像の中から、指示情報に従って画像が選択され、電子アルバムが作成される。

特開２００６−１１６４９号公報

しかしながら、特許文献１の装置では、管理サーバにより割り当てられた特定のメールアドレスに各ユーザが画像を送信しなければならず、複数のユーザによる画像の登録作業が煩雑になるという問題がある。
また、複数のユーザの代表者が登録した情報に基づいて画像の選択を行うため、代表者の意向を中心とした画像選択になり、他のユーザの意向が電子アルバムの作成に反映されにくくなるおそれがある。

この発明は、このような従来の問題点を解消するためになされたもので、自分が保有する画像群だけでなく他のユーザが保有する画像をも利用して容易に合成画像の作成をアシストすることができる合成画像作成アシスト装置および方法を提供することを目的とする。
また、この発明は、このような合成画像作成アシスト方法をコンピュータに実行させる合成画像作成アシストプログラムおよびその記録媒体を提供することも目的としている。

第１の発明に係る合成画像作成アシスト装置は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択する第１の候補画像選択部と、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、他ユーザ画像群抽出部により抽出された他のユーザの画像群から第１の候補画像選択部で選択された複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、第１の候補画像選択部で選択された複数の第１の候補画像および第２の候補画像選択部で選択された第２の候補画像から合成画像に使用する使用画像を決定する使用画像決定部とを備え、使用画像決定部は、第２の候補画像選択部で選択された第２の候補画像のうち、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、合成画像に使用する使用画像としないものである。
使用画像決定部は、さらに、第２の候補画像選択部で選択された第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に合成画像に使用する使用画像とすることができるし、さらに、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、合成画像に使用する使用画像として第１の候補画像の優先度を上げることができる。

第２の発明に係る合成画像作成アシスト装置は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択する第１の候補画像選択部と、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、他ユーザ画像群抽出部により抽出された他のユーザの画像群から第１の候補画像選択部で選択された複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、第１の候補画像選択部で選択された複数の第１の候補画像および第２の候補画像選択部で選択された第２の候補画像から合成画像に使用する使用画像を決定する使用画像決定部とを備え、使用画像決定部は、第２の候補画像選択部で選択された第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に合成画像に使用する使用画像とするものである。
使用画像決定部は、さらに、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、合成画像に使用する使用画像として第１の候補画像の優先度を上げることができる。

第３の発明に係る合成画像作成アシスト装置は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択する第１の候補画像選択部と、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、他ユーザ画像群抽出部により抽出された他のユーザの画像群から第１の候補画像選択部で選択された複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、第１の候補画像選択部で選択された複数の第１の候補画像および第２の候補画像選択部で選択された第２の候補画像から合成画像に使用する使用画像を決定する使用画像決定部とを備え、使用画像決定部は、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、合成画像に使用する使用画像として第１の候補画像の優先度を上げるものである。
使用画像決定部で決定された使用画像を用いて合成画像を作成する合成画像作成部をさらに備えることもできる。
第２の候補画像選択部は、第１の候補画像選択部で選択された複数の第１の候補画像とイベント、人物あるいは風景のうちいずれかについて共通する第２の候補画像を選択しても良い。

第４の発明に係る合成画像作成アシスト方法は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択し、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択し、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第２の候補画像のうち、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、合成画像に使用する使用画像としないものである。
また、第５の発明に係る合成画像作成アシスト方法は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択し、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択し、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に合成画像に使用する使用画像とするものである。
さらに、第６の発明に係る合成画像作成アシスト方法は、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択し、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択し、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、合成画像に使用する使用画像として第１の候補画像の優先度を上げるものである。

第７の発明に係る合成画像作成アシストプログラムは、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択するステップと、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第２の候補画像のうち、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、合成画像に使用する使用画像としないステップとをコンピュータに実行させるためのものである。
また、第８の発明に係る合成画像作成アシストプログラムは、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択するステップと、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に合成画像に使用する使用画像とするステップとをコンピュータに実行させるためのものである。
さらに、第９の発明に係る合成画像作成アシストプログラムは、対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した複数の第１の候補画像を選択するステップと、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、抽出された他のユーザの画像群から複数の第１の候補画像に共通し且つ合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定し、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、合成画像に使用する使用画像として第１の候補画像の優先度を上げるステップとをコンピュータに実行させるためのものである。
第１０の発明に係る記録媒体は、上述の合成画像作成アシストプログラムを記録したコンピュータ読取り可能な記録媒体である。

この発明によれば、ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、抽出された他のユーザの画像群から合成画像に適合する少なくとも１つの第２の候補画像を選択し、対象ユーザの複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定するので、自分が保有する画像群だけでなく他のユーザが保有する画像をも利用して容易に合成画像の作成をアシストすることが可能となる。

この発明の実施の形態１に係る合成画像作成アシスト装置の構成を示すブロック図である。 実施の形態１の合成画像作成アシスト装置により実行される合成画像作成アシスト方法を示すフローチャートである。 実施の形態１における第２の候補画像の選択方法を示すフローチャートである。 実施の形態１における第２の候補画像の選択方法の一例を概略的に示す図である。 実施の形態１における第２の候補画像の選択方法の他の例を概略的に示す図である。 実施の形態１における第２の候補画像の選択方法のさらに他の例を概略的に示す図である。 実施の形態２に係る合成画像作成アシスト装置の構成を示すブロック図である。 実施の形態２の合成画像作成アシスト装置により実行される合成画像作成アシスト方法を示すフローチャートである。

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１
図１に、この発明の実施の形態１に係る合成画像作成アシスト装置１を示す。合成画像作成アシスト装置１は、フォトブック、コラージュ等の合成画像を作成するもので、インターネット等のネットワークＮに接続するためのネットワークインタフェース２を有し、ネットワークインタフェース２にデータ処理部３が接続され、データ処理部３に操作部４とデータメモリ５が接続されている。これらネットワークインタフェース２、データ処理部３、操作部４およびデータメモリ５により合成画像作成アシスト装置１が構成されている。

データ処理部３は、それぞれネットワークインタフェース２に接続された第１の候補画像選択部１１および他ユーザ画像群抽出部１２を有し、他ユーザ画像群抽出部１２に第２の候補画像選択部１３が接続され、第１の候補画像選択部１１と第２の候補画像選択部１３に使用画像決定部１４が接続されている。

第１の候補画像選択部１１は、対象ユーザがネットワークＮを介してＳＮＳ（Social Networking Service）に作成した対象ユーザの画像群から、作成しようとする合成画像に適した複数の第１の候補画像の選択を行う。ここで、第１の候補画像選択部１１は、対象ユーザの画像群のうち、対象ユーザが指定した画像を第１の候補画像として選択することもでき、あるいは、何らかの基準に基づいて自動的に第１の候補画像を選択することもできる。

他ユーザ画像群抽出部１２は、ＳＮＳ等のネットワークを利用した画像サービスの登録情報に基づいて、対象ユーザと同一のグループに属する他のユーザを探し出し、他のユーザによりＳＮＳに作成されている画像群を抽出する。ここで、同一のグループとは、何らかの属性が対象ユーザと共通するユーザのグループだけでなく、対象ユーザと何らかの関連があるユーザ、グループをも含むものとする。
第２の候補画像選択部１３は、他ユーザ画像群抽出部１２によって抽出された他のユーザの画像群から、作成しようとする合成画像に適合する少なくとも１つの画像を選択し、この画像を第２の候補画像とする。
使用画像決定部１４は、第１の候補画像選択部１１で選択された複数の第１の候補画像および第２の候補画像選択部１３で選択された少なくとも１つの第２の候補画像から、作成しようとする合成画像に使用する使用画像を決定する。

また、操作部４は、合成画像作成アシスト装置１の操作者である対象ユーザが入力操作を行うためのもので、キーボード、マウス、トラックボール、タッチパネル等から形成することができる。
データメモリ５は、データ処理部３内で得られる各種データ、例えば、第１の候補画像選択部１１により選択された複数の第１の候補画像、他ユーザ画像群抽出部１２により抽出された他のユーザの画像群、第２の候補画像選択部１３により選択された第２の候補画像、使用画像決定部１４で決定された使用画像等を記憶するものである。

次に、合成画像作成アシスト装置１により実行される合成画像作成アシスト方法について、図２のフローチャートを参照して説明する。
なお、ユーザＡ〜Ｃの端末Ｔａ〜ＴｃがそれぞれネットワークＮに接続されており、ユーザＡ〜Ｃは、それぞれ、端末Ｔａ〜Ｔｃを介して、自ら保有する画像群が含まれるアルバムをＳＮＳに作成すると共に、ＳＮＳの登録情報の１つとして、互いに同一のグループに属する旨を登録しているものとする。端末Ｔａ〜Ｔｃとしては、コンピュータ、いわゆるタブレットおよびスマートフォン等のスマートデバイス、携帯電話等、ネットワークＮに接続可能な各種の端末機器を用いることができる。
また、ユーザＡが、対象ユーザとして、合成画像作成アシスト装置１に合成画像の作成アシストを要求するものとする。

まず、対象ユーザとなるユーザＡから操作部４を介して合成画像作成アシストの要求が入力されると、ステップＳ１で、第１の候補画像選択部１１により、ＳＮＳに作成されているユーザＡの画像群から合成画像に適した複数の第１の候補画像が選択される。
このとき、第１の候補画像選択部１１は、ユーザＡによりＳＮＳに作成された画像群のうち、ユーザＡが操作部４を介して自ら指定した複数の画像を第１の候補画像として選択することができる。ユーザＡは、複数の画像が含まれるアルバムを指定することもでき、この場合、指定されたアルバムに含まれる複数の画像が第１の候補画像として選択される。

また、例えば、ユーザＡがＳＮＳに複数のアルバムを作成している場合に、第１の候補画像選択部１１が、所定のしきい値以上の枚数の画像を含むアルバムを自動的に選択し、このアルバムに含まれる複数の画像を第１の候補画像とすることもできる。
このようにして第１の候補画像選択部１１により選択された複数の第１の候補画像は、データメモリ５に保存される。

次に、ステップＳ２で、他ユーザ画像群抽出部１２により、ＳＮＳの登録情報に基づいて、対象ユーザと同一のグループに属する他のユーザの画像群が抽出される。すなわち、ＳＮＳの登録情報から、自動的に、対象ユーザであるユーザＡと同一のグループに属するユーザＢおよびユーザＣが探し出され、これらのユーザＢおよびユーザＣによりそれぞれＳＮＳに作成されている画像群が抽出されて、データメモリ５に保存される。

このようにして、他ユーザ画像群抽出部１２によりユーザＢの画像群およびユーザＣの画像群が抽出されると、ステップＳ３で、第２の候補画像選択部１３により、抽出されたユーザＢの画像群およびユーザＣの画像群から、作成しようとする合成画像に適合する少なくとも１つの第２の候補画像が自動的に選択される。
この第２の候補画像の選択は、各画像に付属するＥｘｉｆ（Exchangeable Image File Format）タグ情報等の情報を利用して、あるいは、画像解析により、あるいは、ＳＮＳに画像群を作成した際に各画像に付されたタイトル、コメント等を利用して、第１の候補画像選択部１１により選択され且つデータメモリ５に保存されている複数の第１の候補画像と共通のイベント、人物、風景等に関する画像を探し出すことにより行われる。

ステップＳ３で第２の候補画像が選択されると、続くステップＳ４において、使用画像決定部１４により、作成しようとする合成画像に使用する使用画像が決定される。すなわち、ステップＳ１で第１の候補画像選択部１１により選択された複数の第１の候補画像と、ステップＳ３で第２の候補画像選択部１３により選択された少なくとも１つの第２の候補画像から、合成画像に使用すべき使用画像が自動的に決定される。
このとき、使用画像決定部１４は、使用画像を決定するだけでなく、それぞれの使用画像の優先度（重要度）を判定して、使用画像に優先度を付随させることが望ましい。

ここで、ステップＳ３における第２の候補画像の選択について、さらに説明する。
第２の候補画像として、イベント、人物、風景等のカテゴリが第１の候補画像と共通する画像が探し出されるが、カテゴリに応じて、画像の特徴がそれぞれ異なるため、第２の候補画像を探し出す方法も画像の特徴に合わせることが望ましい。
例えば、以下の表１には、第１の候補画像Ｋ１〜Ｋ７として選択された種々の画像群が例示されており、これらの画像群は、それぞれ異なる特徴を有している。

第１の候補画像Ｋ１は、「○○年××月△△日、アミューズメントパークＰ」のアルバムを指定することにより選択された画像群で、１日のイベントであり、主要な登場人物は数名であることが予想される。
第１の候補画像Ｋ２は、個人的な旅行のアルバムを指定することにより選択された画像群で、数日にわたるイベントであり、主要な登場人物は数名であると予想される。
第１の候補画像Ｋ３は、学校、幼稚園のイベント画像群を指定したもので、１日のイベントが複数存在し、主要な登場人物は多数であると予想される。
さらに、第１の候補画像Ｋ４は、自分の○○年の画像群を指定したもので、多数のイベントが含まれ、主要な登場人物は多数であると予想される。

これら第１の候補画像Ｋ１〜Ｋ４は、いずれもイベント系の画像群であり、このようなイベント系の第１の候補画像に適合する第２の候補画像を選択するには、他のユーザの画像群から、各画像に付属するＥｘｉｆタグ情報等の撮影日時および撮影場所を表す情報を利用して、第１の候補画像と同一のイベントに関する画像を抽出することが望ましい。

また、第１の候補画像Ｋ５は、自分の子供の画像群を指定したもので、主要な登場人物は指定された人物に限定される。
第１の候補画像Ｋ５のような人物系の画像群に適合する第２の候補画像を選択するには、他のユーザの画像群から、各画像を画像解析して、指定された人物が撮影されている画像を抽出することが望ましい。

第１の候補画像Ｋ６は、風景の画像群を指定したもので、主要な登場人物は存在しない。
このような風景系の第１の候補画像に適合する第２の候補画像を選択するには、他のユーザの画像群から、各画像に付属するＥｘｉｆタグ情報等の撮影場所を表す情報を利用して、第１の候補画像と同一の撮影場所における画像を抽出することが望ましい。

さらに、第１の候補画像Ｋ７は、他の第１の候補画像Ｋ１〜Ｋ６とは異なる、例えば、ペット、車等の画像群を指定したもので、主要な登場人物は存在しない。
このような第１の候補画像に適合する第２の候補画像を選択するには、他のユーザの画像群から、各画像を画像解析して、第１の候補画像と同一被写体が撮影されている画像を抽出することが望ましい。

そこで、図３に示されるフローチャートに従って第２の候補画像の選択を行うことができる。
まず、ステップＳ１１で、第１の候補画像選択部１１により選択され且つデータメモリ５に保存されている複数の第１の候補画像がイベント系の画像群であるか否かが判定される。この判定は、例えば、複数の第１の候補画像に付属するＥｘｉｆタグ情報等の撮影日時および撮影場所を表す情報を利用すると共に複数の第１の候補画像を画像解析することにより、表１に示したいずれの特徴を有しているかに基づいて行うことができる。

そして、複数の第１の候補画像がイベント系の画像群であると判定された場合は、ステップＳ１２に進み、他のユーザの画像群から、各画像に付属するＥｘｉｆタグ情報等の撮影日時および撮影場所を表す情報を利用して、複数の第１の候補画像と同一のイベントに関する画像が抽出される。
例えば、図４に示されるように、第２の候補画像選択部１３は、対象ユーザであるユーザＡにより第１の候補画像として指定されたイベント系の画像Ｆ１〜Ｆ５に対し、他ユーザ画像群抽出部１２によって抽出されたユーザＢの画像群から、画像Ｆ１〜Ｆ５と撮影日時および撮影場所が近接する画像Ｇ１〜Ｇ６を抽出する。これらの画像Ｇ１〜Ｇ６が、第１の候補画像として指定された画像Ｆ１〜Ｆ５と同一のイベントに関する画像であると判断され、第２の候補画像として選択される。第２の候補画像選択部１３は、ユーザＣの画像群からも、同様にして第２の候補画像を抽出し、第２の候補画像として選択する。

このようにして、ステップＳ１２で、画像に付属する情報を利用した第２の候補画像の抽出および選択が完了すると、ステップＳ１３で、今度はＳＮＳの機能を利用した第２の候補画像の抽出が行われる。
すなわち、第２の候補画像選択部１３は、ユーザＡ〜ＣがそれぞれＳＮＳに画像群を作成した際に各画像に付されたタイトル、コメント等を利用して、他のユーザであるユーザＢおよびＣの画像群から、第１の候補画像と同一のイベント名または同一イベントを識別するキーワードを有する画像を抽出する。

例えば、図５に示されるように、第１の候補画像として指定された画像Ｆ１〜Ｆ５のタイトル、コメント等と、ユーザＣの画像群の各画像に付されたタイトル、コメント等が比較され、イベントに関して画像Ｆ２およびＦ５と共通性のあるタイトル、コメント等を有する画像Ｈ１およびＨ２、すなわち、画像Ｆ１〜Ｆ５と同一のイベント名または同一イベントを識別するキーワードが含まれている画像Ｈ１およびＨ２が、ユーザＣの画像群から抽出され、第２の候補画像として選択される。
同様にして、ユーザＢの画像群からも、ＳＮＳの機能を利用した第２の候補画像の抽出および選択が行われる。
このように、ＳＮＳの機能を利用することにより、例えば、Ｅｘｉｆタグ情報等の画像付属情報を有しない画像からも、第２の候補画像の抽出および選択が可能となる。

また、ステップＳ１１で、複数の第１の候補画像がイベント系の画像群ではないと判定された場合は、ステップＳ１４に進み、複数の第１の候補画像が人物系の画像群であるか否かが判定される。この判定も、複数の第１の候補画像が表１に示したいずれの特徴を有しているかを調べることで行うことができる。

そして、複数の第１の候補画像が人物系の画像群であると判定された場合は、ステップＳ１５に進み、他のユーザの画像群の各画像に対し、顔検出および顔認識等の画像解析処理を施して、他のユーザの画像群から、複数の第１の候補画像と同一の対象人物が撮影されている画像が抽出される。
例えば、図６に示されるように、第２の候補画像選択部１３は、他ユーザ画像群抽出部１２によって抽出されたユーザＢの画像群を画像解析し、対象ユーザであるユーザＡにより指定された人物系の第１の候補画像として指定された画像Ｆ１〜Ｆ５に写っている対象人物との類似度が所定のしきい値以上に高い画像Ｇ１〜Ｇ３を抽出する。これらの画像Ｇ１〜Ｇ３が、画像Ｆ１〜Ｆ５と同一の対象人物が撮影されている画像であると判断され、第２の候補画像として選択される。第２の候補画像選択部１３は、ユーザＣの画像群からも、同様にして第２の候補画像を抽出し、第２の候補画像として選択する。

このようにして、ステップＳ１５で、画像解析による第２の候補画像の抽出および選択が完了すると、ステップＳ１３で、ＳＮＳの機能を利用した第２の候補画像の抽出が行われる。
すなわち、第２の候補画像選択部１３は、ユーザＡ〜ＣがそれぞれＳＮＳに画像群を作成した際に各画像に付されたタイトル、コメント等を利用して、他のユーザであるユーザＢおよびＣの画像群から、第１の候補画像と同一の対象人物の名前または対象人物の名前を識別するキーワードを有する画像を抽出し、第２の候補画像として選択する。

ステップＳ１４で、複数の第１の候補画像が人物系の画像群ではないと判定された場合は、ステップＳ１６に進み、複数の第１の候補画像が風景系の画像群であるか否かが判定される。この判定も、複数の第１の候補画像が表１に示したいずれの特徴を有しているかを調べることで行うことができる。

そして、複数の第１の候補画像が風景系の画像群であると判定された場合は、ステップＳ１２に進み、他のユーザの画像群から、各画像に付属するＥｘｉｆタグ情報等の撮影場所を表す情報を利用して、複数の第１の候補画像と撮影場所が近接する画像が抽出され、第２の候補画像として選択される。

ステップＳ１２で、画像に付属する情報を利用した第２の候補画像の抽出および選択が完了すると、ステップＳ１３で、今度はＳＮＳの機能を利用した第２の候補画像の抽出が行われる。
すなわち、第２の候補画像選択部１３は、ユーザＡ〜ＣがそれぞれＳＮＳに画像群を作成した際に各画像に付されたタイトル、コメント等を利用して、他のユーザであるユーザＢおよびＣの画像群から、第１の候補画像と同一の地名または同一の地名を識別するキーワードを有する画像を抽出し、第２の候補画像として選択する。

さらに、ステップＳ１６で、複数の第１の候補画像が風景系の画像群ではないと判定された場合は、複数の第１の候補画像がイベント系でも人物系でも風景系でもないので、ステップＳ１５に進み、他のユーザの画像群の各画像に対して画像解析処理を施し、他のユーザの画像群から、複数の第１の候補画像と同一の被写体、例えば、ペット、車等が撮影されている画像が抽出され、第２の候補画像として選択される。
その後、ステップＳ１３で、ＳＮＳの機能を利用した第２の候補画像の抽出が行われる。
すなわち、第２の候補画像選択部１３は、ユーザＡ〜ＣがそれぞれＳＮＳに画像群を作成した際に各画像に付されたタイトル、コメント等を利用して、他のユーザであるユーザＢおよびＣの画像群から、第１の候補画像と同一の被写体の名前、同一の被写体の特徴等を表すキーワードが含まれる画像を抽出し、第２の候補画像として選択する。

以上のようにして、第２の候補画像選択部１３により、他のユーザの画像群から第２の候補画像の選択が行われる。
上述したように、第２の候補画像が選択されると、使用画像決定部１４により、作成しようとする合成画像に使用する使用画像が決定されるが、使用画像決定部１４は、次のような点を考慮して、使用画像の決定を行うことができる。

（１）第２の候補画像のうち、第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像は、原則として使用画像としない。対象ユーザが保有する第１の候補画像とは異なる画像を使用することで、他のユーザの画像群から画像を補充する効果が生ずるからである。ただし、第１の候補画像が焦点ボケを生じている、被写体である人物が目を閉じている、等の欠陥画像である場合は、この第１の候補画像の代わりに、同一の撮影時刻、同一の撮影場所、同一の構図の第２の候補画像を使用画像とすることで、合成画像の品質を向上させることができる。
（２）第２の候補画像の中に、対象ユーザである自分が撮影されている画像がある場合は、優先的に使用画像とする。自分が撮影した画像に自分が写っている場合は少ないので、このような第２の候補画像を使用することは、合成画像の作成に有益である。

（３）第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が第２の候補画像に含まれている場合は、該当する第１の候補画像の優先度を上げる。画像の重要度は、自分も他のユーザも撮影しているシーンの画像が最も高く、次いで、自分が撮影しているシーンの画像であり、他のユーザが撮影しているシーンの画像は最も低いと判断することができるからである。さらに、他のユーザが撮影しているシーンの画像の中では、多人数の他のユーザが撮影しているほど、重要度を高くすることができる。
第２の候補画像の中に、コメント数が多い画像があった場合、その画像に対応する第１の候補画像の優先度を上げる。これにより、 画像解析等では判断することができない重要度を推測することができる。
さらに、優先度を上げた第１の候補画像の画像サイズが小さい場合には、優先度に応じて、この画像を大きく表示すると、粗くなってしまうため、対応する第２の候補画像のうち画像サイズが大きいものを利用する。これにより、合成画像の品質向上を図ることができる。

（４）例えば、学校、幼稚園、サークル等のイベント画像群のように、多数の人物が登場する合成画像を作成する場合には、それぞれの人物の登場回数が均一になるように、第２の候補画像を積極的に利用する。これにより、品質の高い合成画像を作成することができる。
（５）使用画像にしようとする第２の候補画像が非公開設定である場合は、ＳＮＳのサービスを考慮して、該当ユーザに対し、この画像を利用してよいか否かを問い合わせる。
（６）第２の候補画像を使用画像とする際には、第１の候補画像の画質、特に、色味に近づくように第２の候補画像を補正する。他のユーザが撮影した画像を利用することによる合成画像の品質低下を抑制することができる。

以上説明したように、この実施の形態１に係る合成画像作成アシスト装置によれば、第１の候補画像選択部１１がＳＮＳに作成した対象ユーザの画像群から複数の第１の候補画像を選択し、他ユーザ画像群抽出部１２がＳＮＳの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、第２の候補画像選択部１３が抽出された他のユーザの画像群から合成画像に適合する少なくとも１つの第２の候補画像を選択し、使用画像決定部１４が複数の第１の候補画像および第２の候補画像から合成画像に使用する使用画像を決定するので、自分が保有する画像群だけでなく他のユーザが保有する画像をも利用して容易に合成画像の作成をアシストすることが可能となる。

実施の形態２
図７に、この発明の実施の形態２に係る合成画像作成アシスト装置２１の構成を示す。合成画像作成アシスト装置２１は、図１に示した実施の形態１に係る合成画像作成アシスト装置１において、データ処理部３の代わりにデータ処理部２３を用いたものであり、データ処理部２３は、データ処理部３において、さらに、使用画像決定部１４に合成画像作成部１５を接続したものである。
合成画像作成部１５は、使用画像決定部１４で決定された使用画像を用いて合成画像の作成を行う。
その他の構成は、実施の形態１の合成画像作成アシスト装置１と同様である。

実施の形態２の合成画像作成アシスト装置２１により実行される合成画像作成アシスト方法のフローチャートを図８に示す。
ステップＳ１〜Ｓ４は、図２に示した実施の形態１における動作と同様である。
ステップＳ４で、使用画像決定部１４により使用画像が決定されると、続くステップＳ５で、合成画像作成部１５により、使用画像決定部１４で決定された使用画像を用いて合成画像が自動的に作成される。
このとき、それぞれの使用画像に付随されている優先度に応じて、合成画像における使用画像のレイアウトを行うことができる。例えば、合成画像としてフォトブックを作成する場合には、優先度が高い画像に対して、フォトブックの表紙に使用する、あるいは、優先度が低い画像よりも大きなサイズで配置する、等の処理を行うことができる。

このように、合成画像作成部１５をさらに備えることにより、合成画像に使用する使用画像の決定だけでなく、決定された使用画像を実際に使用してフォトブック、コラージュ等の合成画像を自動的に作成することが可能となる。

なお、実施の形態１および２において作成される合成画像は、有料または無料の商材、画像コンテンツを含むものである。
また、実施の形態１および２では、実施の形態１および２では、ユーザＡ〜ＣがＳＮＳに画像群を作成していたが、この発明は、ＳＮＳに限るものではなく、画像を使用したコミュニケーション中心のサービス、画像を使用したストレージ中心のサービス等、ネットワークを利用した各種の画像サービスに対しても、同様に適用することができる。
第１の候補画像選択部１１、他ユーザ画像群抽出部１２および第２の候補画像選択部１３により行われる画像の選択または抽出は、合成画像作成アシスト装置１または２１内に取り込まれている画像に対して行うこともでき、あるいは、ネットワークを利用した画像サービス等の外部装置に保存されている画像に対して行ってもよい。
さらに、上記の実施の形態１および２では、第１の候補画像選択部１１が、対象ユーザの画像群から複数の第１の候補画像の選択を行ったが、これに限るものではなく、作成しようとする合成画像に適した複数の第１の候補画像が決まっていれば、第１の候補画像選択部１１を備えていなくてもよい。

また、合成画像作成アシスト装置１または２１は、コンピュータを用いて構成することができる。すなわち、データ処理部３または２３を、ＣＰＵと、ＣＰＵに図２および図３のフローチャートの各ステップまたは図８および図３のフローチャートの各ステップを実行させるための合成画像作成アシストプログラムから構成し、合成画像作成アシストプログラムをコンピュータ読取り可能な記録媒体に記録することができる。また、記録媒体としては、ハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＳＤカード、ＣＦカード、ＵＳＢメモリ等の各種の記録メディアを使用することが可能である。

１，２１ 合成画像作成アシスト装置、２ ネットワークインタフェース、３，２３ データ処理部、４ 操作部、５ データメモリ、１１ 第１の候補画像選択部、１２ 他ユーザ画像群抽出部、１３ 第２の候補画像選択部、１４ 使用画像決定部、１５ 合成画像作成部、Ｎ ネットワーク、Ｔａ，Ｔｂ，Ｔｃ 端末、Ｆ１〜Ｆ５ 第１の候補画像、Ｇ１〜Ｇ６，Ｈ１，Ｈ２ 第２の候補画像。

Claims (15)

1. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、
   ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択する第１の候補画像選択部と、
   ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、
   前記他ユーザ画像群抽出部により抽出された他のユーザの画像群から前記第１の候補画像選択部で選択された前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、
   前記第１の候補画像選択部で選択された前記複数の第１の候補画像および前記第２の候補画像選択部で選択された前記第２の候補画像から前記合成画像に使用する使用画像を決定する使用画像決定部と
   を備え、
   前記使用画像決定部は、前記第２の候補画像選択部で選択された第２の候補画像のうち、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、前記合成画像に使用する使用画像としない合成画像作成アシスト装置。
2. 前記使用画像決定部は、さらに、前記第２の候補画像選択部で選択された第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に前記合成画像に使用する使用画像とする請求項１に記載の合成画像作成アシスト装置。
3. 前記使用画像決定部は、さらに、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が前記第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、前記合成画像に使用する使用画像として前記第１の候補画像の優先度を上げる請求項１または２に記載の合成画像作成アシスト装置。
4. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、
   ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択する第１の候補画像選択部と、
   ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、
   前記他ユーザ画像群抽出部により抽出された他のユーザの画像群から前記第１の候補画像選択部で選択された前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、
   前記第１の候補画像選択部で選択された前記複数の第１の候補画像および前記第２の候補画像選択部で選択された前記第２の候補画像から前記合成画像に使用する使用画像を決定する使用画像決定部と
   を備え、
   前記使用画像決定部は、前記第２の候補画像選択部で選択された第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に前記合成画像に使用する使用画像とする合成画像作成アシスト装置。
5. 前記使用画像決定部は、さらに、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が前記第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、前記合成画像に使用する使用画像として前記第１の候補画像の優先度を上げる請求項４に記載の合成画像作成アシスト装置。
6. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする装置であって、
   ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択する第１の候補画像選択部と、
   ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出する他ユーザ画像群抽出部と、
   前記他ユーザ画像群抽出部により抽出された他のユーザの画像群から前記第１の候補画像選択部で選択された前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択する第２の候補画像選択部と、
   前記第１の候補画像選択部で選択された前記複数の第１の候補画像および前記第２の候補画像選択部で選択された前記第２の候補画像から前記合成画像に使用する使用画像を決定する使用画像決定部と
   を備え、
   前記使用画像決定部は、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が前記第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、前記合成画像に使用する使用画像として前記第１の候補画像の優先度を上げる合成画像作成アシスト装置。
7. 前記使用画像決定部で決定された使用画像を用いて前記合成画像を作成する合成画像作成部をさらに備えた請求項１〜６のいずれか一項に記載の合成画像作成アシスト装置。
8. 前記第２の候補画像選択部は、前記第１の候補画像選択部で選択された前記複数の第１の候補画像とイベント、人物あるいは風景のうちいずれかについて共通する前記第２の候補画像を選択する請求項１〜７のいずれか一項に記載の合成画像作成アシスト装置。
9. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、
   ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択し、
   ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、
   抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択し、
   前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第２の候補画像のうち、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、前記合成画像に使用する使用画像としないことを特徴とする合成画像作成アシスト方法。
10. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、
    ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択し、
    ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、
    抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択し、
    前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に前記合成画像に使用する使用画像とすることを特徴とする合成画像作成アシスト方法。
11. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストする方法であって、
    ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択し、
    ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出し、
    抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択し、
    前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が前記第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、前記合成画像に使用する使用画像として前記第１の候補画像の優先度を上げることを特徴とする合成画像作成アシスト方法。
12. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、
    ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択するステップと、
    ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、
    抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、
    前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第２の候補画像のうち、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像を、前記合成画像に使用する使用画像としないステップと
    をコンピュータに実行させるための合成画像作成アシストプログラム。
13. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、
    ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択するステップと、
    ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、
    抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、
    前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第２の候補画像のうち、対象ユーザが撮影されている画像を、優先的に前記合成画像に使用する使用画像とするステップと
    をコンピュータに実行させるための合成画像作成アシストプログラム。
14. 対象ユーザにより作成された複数の第１の候補画像を用いて合成画像の作成をアシストするプログラムであって、
    ネットワークを利用した画像サービスに作成した対象ユーザの画像群から合成画像に適した前記複数の第１の候補画像を選択するステップと、
    ネットワークを利用した画像サービスの登録情報に基づいて対象ユーザと同一のグループに属する他のユーザの画像群を抽出するステップと、
    抽出された他のユーザの画像群から前記複数の第１の候補画像に共通し且つ前記合成画像に適合する少なくとも１つの第２の候補画像を選択するステップと、
    前記複数の第１の候補画像および前記第２の候補画像から前記合成画像に使用する使用画像を決定し、前記第１の候補画像と同一の撮影時刻、同一の撮影場所、同一の構図の画像が前記第２の候補画像選択部で選択された第２の候補画像に含まれている場合に、前記合成画像に使用する使用画像として前記第１の候補画像の優先度を上げるステップと
    をコンピュータに実行させるための合成画像作成アシストプログラム。
15. 請求項１２〜１４のいずれか一項に記載の合成画像作成アシストプログラムを記録したコンピュータ読取り可能な記録媒体。