JP2017184230A - 画像処理システム、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理システム、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2017184230A
JP2017184230A JP2017048410A JP2017048410A JP2017184230A JP 2017184230 A JP2017184230 A JP 2017184230A JP 2017048410 A JP2017048410 A JP 2017048410A JP 2017048410 A JP2017048410 A JP 2017048410A JP 2017184230 A JP2017184230 A JP 2017184230A
Authority
JP
Japan
Prior art keywords
image
unit
composite image
user
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017048410A
Other languages
English (en)
Other versions
JP2017184230A5 (ja
JP6518280B2 (ja
Inventor
小泉 功
Isao Koizumi
功 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to PCT/JP2017/011146 priority Critical patent/WO2017169963A1/ja
Publication of JP2017184230A publication Critical patent/JP2017184230A/ja
Publication of JP2017184230A5 publication Critical patent/JP2017184230A5/ja
Priority to US16/121,739 priority patent/US10783355B2/en
Application granted granted Critical
Publication of JP6518280B2 publication Critical patent/JP6518280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel

Abstract

【課題】複数のユーザが所有する複数の画像を用いて作成された合成画像に基づいて、合成画像に写っている複数の人物の画像を用いて別の合成画像を作成することができる画像処理システム、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】本発明の画像処理システム、画像処理方法、プログラムおよび記録媒体においては、人物特定部が、第1のユーザが所有する第1合成画像に写っている複数の人物を特定する。指定人物受付部が、第1合成画像に写っている複数の人物の中から、指定人物として、1以上の人物の指定を受け付ける。画像特定部が、第1のユーザが所有する第1画像群の中から、指定人物が写っている画像を特定する。合成画像作成部が、指定人物が写っている画像を用いて第2合成画像を作成する。【選択図】図6

Description

本発明は、複数のユーザの端末装置からネットワークを介して取得された複数の画像を用いて、フォトブック等の合成画像を作成する画像処理システム、画像処理方法、プログラムおよび記録媒体に関する。
従来より、ユーザが所有する複数の画像(画像データ)を、インターネットを経由してサービス提供業者に送信し、送信した複数の画像を用いてユーザが希望するレイアウトの写真集(フォトブック)を作成するサービスがある。
フォトブックは、例えば、画像の連続性や関連性を考慮して、撮影時刻等に基づいて複数の画像を複数のグループに分類し、各々のグループに含まれる画像を各々対応するページに自動配置(自動レイアウト)することによって作成される。
近年では、一人のユーザが所有する複数の画像だけを用いてフォトブックを作成するだけでなく、複数のユーザが所有する複数の画像を用いて1つのフォトブックを作成するもの(特許文献1および2参照)、および、複数のユーザから寄せ書き用のメッセージを取得し、複数のユーザから取得した寄せ書きメッセージを用いて寄せ書きを作成するもの(特許文献3および4参照)等が知られている。
また、実際に、複数のユーザが所有する複数の画像と、当該複数のユーザが寄せたメッセージなどを用いて1つのフォトブックを作成するサービスも行われている(非特許文献1〜3参照)。
特開2008−257308号公報 特開2015−069431号公報 特開2001−297051号公報 特開2015−133000号公報
"イヤーアルバム 簡単にフォトブック・フォトアルバム作成"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/> "みんなでつくるYear Album(イヤーアルバム)で寄せ書きフォトブックをつくろう!|富士フイルム"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/minna/> "作成方法:みんなでつくるYear Album(イヤーアルバム)で寄せ書きフォトブックをつくろう!|富士フイルム"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/minna/login/>
例えば、複数のユーザが結婚披露宴において撮影した複数の画像を用いてフォトブックを作成する場合、新郎新婦を主人公としたフォトブックが作成され、新郎新婦に送付される。この場合、フォトブックの受取人である新郎新婦は、フォトブックを受け取ったお礼として、新郎新婦が所有する複数の画像の中から、結婚披露宴に参列した各々の人物が写っている画像を用いて合成画像を作成し、作成した合成画像を、その人物に送付したいという要求がある。特に、新郎新婦がカメラマンに撮影を依頼したような場合、新郎新婦は、カメラマンから参列した各々の人物が画質良く写っている画像を多数受け取っていると考えられる。この場合、受け取った多数の画像を用いて、新郎新婦が各々の人物毎に合成画像を作成し送付することは、従来の技術からは容易に行うことができない。
本発明の目的は、合成画像に基づいて、合成画像に写っている人物の画像を用いて別の合成画像を作成することができる画像処理システム、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、第1のユーザが所有する第1合成画像を取得する第1合成画像取得部と、
第1合成画像の内容を解析する画像解析部と、
第1合成画像の解析結果に基づいて、第1合成画像に写っている複数の人物を特定する人物特定部と、
第1合成画像に写っている複数の人物の中から、指定人物として、1以上の人物の指定を受け付ける指定人物受付部と、
第1のユーザが所有する第1画像群を保持する第1画像群保持部と、
第1画像群の中から、指定人物が写っている画像を特定する画像特定部と、
指定人物が写っている画像を用いて第2合成画像を作成する合成画像作成部とを備える画像処理システムを提供する。
ここで、第1合成画像は、第1合成画像を他の画像から識別する識別情報を有し、
第1合成画像が有する識別情報を取得する識別情報取得部と、
第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して複数のユーザの顔画像を含む複数の顔画像を取得し、取得した複数の顔画像を保持する顔画像保持部と、
識別情報取得部によって取得された識別情報に基づいて、顔画像保持部に保持された複数の顔画像の中から、複数のユーザの顔画像を特定する顔画像特定部とを備え、
人物特定部は、顔画像特定部によって特定された複数のユーザの顔画像に基づいて、第1合成画像に写っている複数の人物の各々に対応する複数のユーザの各々を特定し、
指定人物受付部は、人物特定部によって特定された複数のユーザの中から、1以上の指定人物に対応するユーザを特定することが好ましい。
また、本発明は、第1のユーザが所有する第1合成画像を他の画像から識別する識別情報を取得する識別情報取得部と、
第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して複数のユーザの顔画像を含む複数の顔画像を取得し、取得した複数の顔画像を保持する顔画像保持部と、
識別情報取得部によって取得された識別情報に基づいて、顔画像保持部に保持された複数の顔画像の中から、複数のユーザの顔画像を特定する顔画像特定部と、
第1のユーザが所有する第1画像群を保持する第1画像群保持部と、
顔画像特定部によって特定された複数のユーザの中から、指定人物として、1以上の人物の指定を受け付ける指定人物受付部と、
第1画像群の中から、指定人物が写っている画像を特定する画像特定部と、
指定人物が写っている画像を用いて第2合成画像を作成する合成画像作成部とを備える画像処理システムを提供する。
第1のユーザの端末装置から、ネットワークを介して、第1のユーザによって設定された指定人物の重要度の情報を取得する重要度情報取得部を備え、
合成画像作成部は、重要度の情報に基づいて、重要度が低い指定人物よりも重要度が高い指定人物が写っている画像を優先的に用いて第2合成画像を作成することが好ましい。
第1のユーザの端末装置から、指定人物に対する第1のユーザのコメントを取得するコメント取得部を備え、
合成画像作成部は、指定人物が写っている複数の画像に加え、コメントを用いて第2合成画像を作成することが好ましい。
第1のユーザの端末装置から、第2合成画像において使用される複数の画像の各々と関連付けられた1以上の動画像の各々を取得する動画像取得部を備え、
合成画像作成部は、1以上の動画像の各々と関連付けられた1以上の画像を含み、かつ、指定人物が写っている第1画像群を用いて第2合成画像を作成し、
第2合成画像において使用された第1画像群のうち、1以上の動画像のうちの第1動画像と関連付けられた第1画像が、指定人物の端末装置の画像撮影部によって撮影され、かつ、撮影された第1画像が、指定人物の端末装置の画像表示部に表示された場合に、第1動画像が、指定人物の端末装置の画像表示部において再生されることが好ましい。
また、第1動画像が、指定人物の端末装置の画像表示部に表示された第1画像の表示領域内において再生されることが好ましい。
また、本発明は、第1合成画像取得部が、第1のユーザが所有する第1合成画像を取得するステップと、
画像解析部が、第1合成画像の内容を解析するステップと、
人物特定部が、第1合成画像の解析結果に基づいて、第1合成画像に写っている複数の人物を特定するステップと、
指定人物受付部が、第1合成画像に写っている複数の人物の中から、指定人物として、1以上の人物の指定を受け付けるステップと、
第1画像群保持部が、第1のユーザが所有する第1画像群を保持するステップと、
画像特定部が、第1画像群の中から、指定人物が写っている画像を特定するステップと、
合成画像作成部が、指定人物が写っている画像を用いて第2合成画像を作成するステップとを含む画像処理方法を提供する。
ここで、第1合成画像は、第1合成画像を他の画像から識別する識別情報を有し、
識別情報取得部が、第1合成画像が有する識別情報を取得するステップと、
顔画像保持部が、第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して複数のユーザの顔画像を含む複数の顔画像を取得し、取得した複数の顔画像を保持するステップと、
顔画像特定部が、識別情報取得部によって取得された識別情報に基づいて、顔画像保持部に保持された複数の顔画像の中から、複数のユーザの顔画像を特定するステップとを含み、
人物を特定するステップは、顔画像特定部によって特定された複数のユーザの顔画像に基づいて、第1合成画像に写っている複数の人物の各々に対応する複数のユーザの各々を特定し、
人物の指定を受け付けるステップは、人物を特定するステップによって特定された複数のユーザの中から、1以上の指定人物に対応するユーザを特定することが好ましい。
また、本発明は、識別情報取得部が、第1のユーザが所有する第1合成画像を他の画像から識別する識別情報を取得するステップと、
顔画像保持部が、第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して複数のユーザの顔画像を含む複数の顔画像を取得し、取得した複数の顔画像を保持するステップと、
顔画像特定部が、識別情報取得部によって取得された識別情報に基づいて、顔画像保持部に保持された複数の顔画像の中から、複数のユーザの顔画像を特定するステップと、
第1画像群保持部が、第1のユーザが所有する第1画像群を保持するステップと、
指定人物受付部が、顔画像特定部によって特定された複数のユーザの中から、指定人物として、1以上の人物の指定を受け付けるステップと、
画像特定部が、第1画像群の中から、指定人物が写っている画像を特定するステップと、
合成画像作成部が、指定人物が写っている画像を用いて第2合成画像を作成するステップとを含む画像処理方法を提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、第1合成画像に写っている複数の人物を特定し、特定した複数の人物の中から、指定人物として、1以上の人物の指定を受け付け、第1のユーザが所有する第1画像群の中から、指定人物が写っている画像を特定し、特定した画像を用いて、第1合成画像とは別の第2合成画像を作成することができるので、第1のユーザが第2合成画像を容易に作成することが可能である。
本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。 図1に示すサーバの構成を表す一実施形態のブロック図である。 図2に示す情報設定部の構成を表す一実施形態のブロック図である。 図2に示す情報管理部の構成を表す一実施形態のブロック図である。 図2に示すデータ取得部の構成を表す一実施形態のブロック図である。 図2に示すデータ解析部の構成を表す一実施形態のブロック図である。 図2に示す合成画像作成部の構成を表す一実施形態のブロック図である。 図7に示す本編作成部の構成を表す一実施形態のブロック図である。 図7に示す寄せ書き作成部の構成を表す一実施形態のブロック図である。 図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図1に示す画像処理システムの動作を表す一実施形態のフローチャートである。 図11に続く画像処理システムの動作を表す一実施形態のフローチャートである。 図12に続く画像処理システムの動作を表す一実施形態のフローチャートである。 図13に続く画像処理システムの動作を表す一実施形態のフローチャートである。 合成画像の予算を設定する画面を表す一例の概念図である。 フォトブックの表紙ページのデザインを設定する画面を表す一例の概念図である。 フォトブックの寄せ書きページのデザインを設定する画面を表す一例の概念図である。 画像および寄せ書きメッセージの募集締切日を設定する画面を表す一例の概念図である。 合成画像の作成期間を設定する画面を表す一例の概念図である。 画像商品の配送日を設定する画面を表す一例の概念図である。 画像商材および日程の情報を確認する画面を表す一例の概念図である。 アカウント情報を入力する画面を表す一例の概念図である。 幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面を表す一例の概念図である。 参加ユーザの端末装置へ送付する招待状を作成するための画面を表す一例の概念図である。 招待状の内容を確認するための画面を表す一例の概念図である。 招待状を参加ユーザの端末装置へ送付するための画面を表す一例の概念図である。 受け取った招待状を表す画面を表す一例の概念図である。 合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面を表す一例の概念図である。 新規な参加ユーザを登録するための画面を表す一例の概念図である。 参加ユーザとして登録する名前および秘密のコトバを登録するための画面を表す一例の概念図である。 参加ユーザがアップロードする画像を選択するための画面を表す一例の概念図である。 2以上の参加ユーザの端末装置から送信された複数の画像の各々を評価するための画面を表す一例の概念図である。 寄せ書きページがフォトブックの巻末に入ることを通知する画面を表す一例の概念図である。 寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面を表す一例の概念図である。 寄せ書きメッセージを入力するための画面を表す一例の概念図である。 参加ユーザが入力した寄せ書きメッセージを確認するための画面を表す一例の概念図である。 寄せ書きメッセージのアップロードが完了したことを表す画面を表す一例の概念図である。 第2合成画像を作成することを知らせる画面を表す一例の概念図である。 人物を指定するための画面を表す一例の概念図である。 第1画像群を指定するための画面を表す一例の概念図である。 第1画像群の中から画像を自動で選んでポストカードを作成することを知らせる画面を表す一例の概念図である。 第2合成画像を確認するための画面を表す一例の概念図である。 第2合成画像を送付する人物の住所を入力するための画面を表す一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理システム、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
図1は、本発明に係る画像処理システム10の構成を表す一実施形態のブロック図である。同図に示す画像処理システム10は、合成画像の作成に関わる複数のユーザの端末装置14からネットワーク16を介して取得された複数の画像を用いて、寄せ書きページを含むフォトブック等の合成画像を作成する。画像処理システム10は、サーバ12と、ネットワーク16を介してサーバ12に接続された複数のユーザの端末装置(クライアント)14とを備えている。
サーバ12は、端末装置14からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC(Personal Computer:パーソナルコンピュータ)またはワークステーション等により構成される。
端末装置14は、サーバ12に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。
ネットワーク16は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ12と端末装置14との間を相互に接続し、双方向の通信を可能とする。
図2は、図1に示すサーバ12の構成を表す一実施形態のブロック図である。同図に示すサーバ12は、合成画像に関する各種の情報を設定する情報設定部18と、合成画像の作成に関する各種の情報を管理する情報管理部20と、合成画像において使用する各種のデータを取得するデータ取得部22と、合成画像において使用する各種のデータを解析するデータ解析部24と、合成画像を作成する合成画像作成部26とを備えている。
以下の説明では、本編ページおよび寄せ書きページを含む合成画像の作成に関わる複数のユーザのうち、合成画像を作成する一人のユーザを幹事ユーザと表現し、幹事ユーザを含む2以上のユーザを参加ユーザと表現する。例えば、幹事が友人グループのうちの一人である場合などがこれに該当する。
ただし、別の実施態様において、写真店が幹事の代行を請け負う場合のように幹事自体は写真もメッセージも提供しないような場合は、参加ユーザの数には幹事ユーザの数は含まないものとする。
図3は、図2に示す情報設定部18の構成を表す一実施形態のブロック図である。同図に示す情報設定部18は、予算設定部28と、商材取得部30と、表紙デザイン設定部32と、寄せ書きデザイン設定部34と、日程設定部36と、重要度情報取得部72とを備えている。
予算設定部28は、幹事ユーザによって設定された合成画像の予算の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
続いて、商材取得部30は、予算設定部28によって取得された予算の情報に対応するサイズおよびページ数の1以上の画像商材(画像商材の情報)の中から、幹事ユーザによって設定された1つの画像商材を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像商材は、画像商品を作成するための素材であり、例えば、フォトブック等のフォトアルバム、シャッフルプリント、画像付きカレンダ等を含む。画像は主に写真である。
また、画像商材には、各々サイズおよびページ数のうちの少なくとも一方が異なる複数種類の画像商材が含まれる。画像商材のページ数は、本編ページおよび寄せ書きページを含むページ数である。画像商品には、紙媒体の画像商品および電子データの画像商品が含まれる。
本発明にいうページとは、画像配置および寄せ書き配置を行う単位をいう。本実施形態においては、見開きページのことを指す。しかし他の実施形態においては片面ページであってもよい。また、本実施形態内の画像処理システム10の内部では見開きページを単位とし、かつユーザには片面ページを単位として画像商材のページ数を表示することとしてもよい。
フォトブックは、例えば、ユーザが選択した複数の画像を、ユーザの所望のレイアウトで複数のページに配置した合成画像である。フォトブックはまた、ユーザが保有する所望の期間(例えば一年分)の画像から、自動選択により選択された画像を、自動レイアウトで複数のページに配置した合成画像であってもよい(例えば富士フイルム株式会社製のイヤーアルバム)。また、シャッフルプリントは、複数の画像をシャッフルして1枚のプリントに配置した合成画像である。画像付きカレンダは、例えば、各月のカレンダに対応する画像を配置した合成画像である。なお、フォトブックは、紙媒体であっても良いし、電子データであっても良い。
本実施形態の場合、合成画像は、寄せ書きページを巻末に含むフォトブックである。寄せ書きページは、参加ユーザの端末装置14から取得された2以上の参加ユーザの寄せ書きメッセージが配置された合成画像である。寄せ書きメッセージは、寄せ書きページにおいて使用される参加ユーザのメッセージである。
また、寄せ書きメッセージに加えて、プロフィール画像を寄せ書きページに配置してもよい。プロフィール画像は、例えば、参加ユーザの顔画像であるが、その他の画像でもよい。
続いて、表紙デザイン設定部32は、1以上の表紙ページのデザインの中から、幹事ユーザによって設定された1つの表紙ページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
表紙ページのデザインの情報には、例えば、表紙ページの模様、表紙ページに描かれているイラスト等のデザインの情報の他、表紙ページに記載される合成画像のタイトルの情報、表紙ページの色の情報等が含まれる。
続いて、寄せ書きデザイン設定部34は、1以上の寄せ書きページのデザインの中から、幹事ユーザによって設定された1つの寄せ書きページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
寄せ書きページのデザインの情報には、例えば、参加ユーザのプロフィール画像および寄せ書きメッセージを寄せ書きページに配置する位置および大きさ等があらかじめ設定されたテンプレートの情報等を含む。
続いて、日程設定部36は、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日、合成画像の作成期間、および、画像商品の配送日を含む日程の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像および寄せ書きメッセージの募集締切日は、参加ユーザが画像および寄せ書きメッセージをアップロード(投稿)することができる期限、つまり、画像処理システム10が参加ユーザの端末装置14から画像および寄せ書きメッセージを取得することができる期限を表す。
また、合成画像の作成期間は、幹事ユーザが、複数のユーザの端末装置14から取得された複数の画像を用いて合成画像を作成するための期間、言い換えると、画像商品を注文する期限を表し、画像商品の配送日は、画像商品を配送する日付を表す。
続いて、重要度情報取得部72は、合成画像の受取人(本発明の第1のユーザ)の端末装置14から、ネットワーク16を介して、受取人によって設定された指定人物の重要度の情報を取得する。
指定人物は、受取人が所有する第1合成画像に写っている複数の人物の中から、受取人によって指定された1以上の人物である。本実施の形態の場合、第1合成画像は、受取人が所有するフォトブックである。なお、受取人以外の人物が、第1合成画像に写っている複数の人物の中から1以上の人物を指定してもよい。画像処理システム10においては、受取人が所有する第1画像群のうちの指定人物が写っている画像を用いて、第1合成画像とは異なる第2合成画像が作成され、作成された第2合成画像が、例えば、指定人物に送付される。
受取人は、1以上の指定人物のうちの少なくとも一人の指定人物の重要度を設定することができる。例えば、重要度情報取得部72により、初期設定として、全ての指定人物の重要度が同じ最低レベルの重要度に設定されるが、受取人は、初期設定を変更して重要度を設定することができる。受取人が設定した指定人物の重要度は、受取人が設定した重要度に設定され、受取人が設定していない指定人物の重要度は、初期設定である最低レベルの重要度に設定されたままの状態となる。
重要度の情報の設定は、受取人が第1合成画像を受け取る前にあらかじめ行っておいてもよいし、あるいは、受取人が第1合成画像を受け取った後に、例えば、第1合成画像の解析結果に基づいて行ってよい。
続いて、図4は、図2に示す情報管理部20の構成を表す一実施形態のブロック図である。同図に示す情報管理部20は、設定保存部38と、アカウント情報保存部40と、管理画面情報送付部42と、アップロード催促部44とを備えている。
設定保存部38は、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報を保存する。
続いて、アカウント情報保存部40は、幹事ユーザによって設定された幹事ユーザのアカウント情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。また、アカウント情報保存部40は、参加ユーザによって設定された参加ユーザのアカウント情報を、ネットワーク16を介して、参加ユーザの端末装置14から取得して保存する。
例えば、幹事ユーザのアカウント情報は、幹事ユーザのメールアドレスおよび幹事パスワードである。一方、参加ユーザのアカウント情報は、参加ユーザの名前および個別パスワード(参加ユーザに対しては図30にあるように「秘密のコトバ」と表示される)である。参加ユーザの名前は、幹事ユーザが参加ユーザを管理するために使用され、個別パスワードは、画像処理システム10が参加ユーザを特定するために使用される。本実施形態の場合、秘密のコトバは、後から変更および再発行はできないものとする。
続いて、管理画面情報送付部42は、幹事ユーザが、画像商材および日程等を管理する管理画面にアクセスするためのURL(Uniform Resource Locator)を含むメッセージを、ネットワーク16を介して、幹事ユーザの端末装置14に送付する。幹事ユーザは、管理画面から画像商材および日程の変更の他、幹事ユーザの変更、幹事ユーザの追加(例えば後述する副幹事の追加)等を行うことができる。
管理画面情報送付部42は、例えば、電子メールにより、管理画面にアクセスするためのURLを含むメッセージを、アカウント情報保存部40によって取得された幹事ユーザのメールアドレスに送付する。
続いて、アップロード催促部44は、幹事ユーザによって作成された招待状を、ネットワーク16を介して、参加ユーザの端末装置14へ送付する。
招待状は、参加ユーザを合成画像の作成に招待し、合成画像において使用される画像、各々の画像に対する評価情報、プロフィール画像および寄せ書きメッセージ等をアップロードすることを参加ユーザに催促する催促情報である。
アップロード催促部44は、招待状を、例えば、SNS(Social Networking Service:ソーシャルネットワーキングサービス)のメッセージ、または、電子メールによって参加ユーザの端末装置14に送付する。
続いて、図5は、図2に示すデータ取得部22の構成を表す一実施形態のブロック図である。同図に示すデータ取得部22は、画像取得部46と、評価情報取得部48と、メッセージ取得部50と、コメント取得部74と、動画像取得部76と、第1合成画像取得部98と、識別情報取得部78と、顔画像保持部100と、顔画像特定部80と、第1画像群保持部102とを備えている。
画像取得部46は、一定の期間、本実施形態の場合、招待状が送付されてから、日程設定部36によって設定された画像および寄せ書きメッセージの募集締切日までの期間、2以上の参加ユーザの端末装置14からネットワーク16を介して送信された複数の画像(画像群)を取得する。また、画像取得部46は、各々の参加ユーザによって設定された参加ユーザのプロフィール画像を取得する。
画像取得部46は、参加ユーザの端末装置14からネットワーク16を介して送信された複数の画像(画像群)を取得したのち、その複数の画像がどの参加ユーザから送信されたものであるかを画像と関連付けて保存する。また、画像取得部46は、参加ユーザの端末装置14からネットワーク16を介して送信されたプロフィール画像についても、どの参加ユーザから送信されたものであるかをプロフィール画像と関連付けて保存する。
続いて、評価情報取得部48は、同じく一定の期間、2以上の参加ユーザによって付与された各々の画像に対する評価を表す評価情報を、ネットワーク16を介して、2以上の参加ユーザの端末装置14から取得する。
画像の評価情報は、各々の画像に対する各々の参加ユーザの評価、例えば、高評価または低評価を表す情報である。
続いて、メッセージ取得部50は、同じく一定の期間、各々の参加ユーザによってアップロードされた寄せ書きメッセージを、ネットワーク16を介して、各々の参加ユーザの端末装置14から取得する。
メッセージ取得部50は、参加ユーザの端末装置14からネットワーク16を介して送信された寄せ書きメッセージについて、どの参加ユーザから送信されたものであるかを寄せ書きメッセージと関連付けて保存する。
続いて、コメント取得部74は、受取人の端末装置14から、ネットワーク16を介して、指定人物に対する受取人のコメントを取得する。
コメントは、例えば、第2合成画像において使用される画像と組み合わせて画像の配置領域に配置される。
続いて、動画像取得部76は、受取人の端末装置14から、ネットワーク16を介して、第2合成画像において使用される複数の画像の各々と関連付けられた1以上の動画像を取得する。
動画像の内容は特に限定されないが、例えば、指定人物が写っている動画像、指定人物と関連性のある動画像等を使用することができる。
続いて、第1合成画像取得部98は、受取人の端末装置14から、ネットワーク16を介して、受取人が所有する第1合成画像を取得する。
第1合成画像取得部98は、第1合成画像が電子データ(第1合成画像の画像データ)の場合には、その電子データを取得する。一方、第1合成画像が実物のフォトブックのように、紙等の物体上に担持されている場合には、物体上に担持された第1合成画像がスキャナ等によってスキャンされることにより生成された電子データを取得する。
第1合成画像は、例えば、画像処理システム10によって作成され、受取人へ送付された合成画像であり、第1合成画像を他の画像から識別する識別情報を有する。識別情報は、各々の合成画像を一意に識別することができるものであれば特に限定されないが、例えば、合成画像上に記載されたバーコード、識別番号等を例示することができる。
本発明において、受取人等のユーザが画像を所有するとは、そのユーザがその画像を記録媒体に取り込むこと、解析すること、および画像合成に供することができる状態にあることをいう。
続いて、識別情報取得部78は、第1合成画像取得部98によって取得された第1合成画像が有する識別情報を取得する。
続いて、顔画像保持部100は、第1合成画像を作成する場合に、複数の参加ユーザの端末装置14からネットワーク16を介して複数の参加ユーザの顔画像を含む複数の顔画像を取得し、取得した複数の顔画像を保持する。
続いて、顔画像特定部80は、識別情報取得部78によって取得された識別情報に基づいて、顔画像保持部100に保持された複数の顔画像の中から、第1合成画像の作成に関わる複数の参加ユーザの顔画像を特定する。
続いて、第1画像群保持部102は、受取人の端末装置14から、ネットワーク16を介して送信された、受取人が所有する第1画像群を保持する。
続いて、図6は、図2に示すデータ解析部24の構成を表す一実施形態のブロック図である。同図に示すデータ解析部24は、画像数算出部52と、評価数算出部54と、メッセージ数算出部56と、画像解析部58と、評価値算出部60と、人物特定部82と、指定人物受付部84と、画像特定部86とを備えている。
画像数算出部52は、アップロード催促部44によって招待状が送付されてから一定の期間が経過した後、つまり、画像および寄せ書きメッセージの募集締切日が過ぎた後、画像取得部46によって取得された画像の数を算出する。
続いて、評価数算出部54は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数を算出する。
続いて、メッセージ数算出部56は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、メッセージ取得部50によって取得された寄せ書きメッセージの数を算出する。
続いて、画像解析部58は、画像取得部46によって取得された各々の画像の内容を解析する。本実施形態の場合、画像解析部58は、画像取得部46によって画像が取得される毎に、画像解析を行う。また、画像解析部58は、第1合成画像取得部98によって取得された第1合成画像の内容、つまり、第1合成画像において使用されている各々の画像の内容を解析する。
画像解析部58は、例えば、画像の明るさや色合い、ボケおよびブレの程度等の解析の他、画像に人物の顔が含まれる場合には、顔の大きさ、顔の位置、顔の向き、顔の肌色、笑顔等の表情、目線、画像に含まれる人物の数、人物の位置関係等の解析を行う。
続いて、評価値算出部60は、画像解析部58による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出する。また、評価値算出部60は、評価情報取得部48によって取得された各々の画像に対する高評価および低評価を表す評価情報に基づいて、各々の画像の解析評価値に対して値を加減算ないしは重み付けして、各々の画像の総合評価値を算出する。
評価値算出部60は、例えば、評価数算出部54によって算出された高評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を加算し、低評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を減算することによって画像の総合評価値を算出することができる。
画像の解析評価値は、画像の解析結果に基づいて算出されるため、画像の良し悪しを決定するための基準となり、解析評価値が高いほど、画質の良い画像であると言える。
画像の総合評価値は、画像の解析結果に加えて、参加ユーザによって付与された高評価および低評価を表す評価情報に基づいて算出されるため、画像の良し悪しに加えて、参加ユーザの好みを判断するための基準となり、総合評価値が高いほど、画質の良い画像、または、参加ユーザの好みの画像であると言える。
続いて、人物特定部82は、画像解析部58による第1合成画像の解析結果に基づいて、第1合成画像に写っている複数の人物(特定人物)を特定する。また、人物特定部82は、顔画像特定部80によって特定された複数の参加ユーザの顔画像に基づいて、第1合成画像に写っている複数の人物の各々に対応する複数のユーザの各々を特定する。
続いて、指定人物受付部84は、人物特定部82によって特定された第1合成画像に写っている複数の人物の中から、指定人物として、例えば、第1合成画像の受取人によって指定された1以上の人物の指定を受け付ける。また、指定人物受付部84は、顔画像特定部80によって顔画像が特定された第1合成画像の作成に関わる複数の参加ユーザの中から、指定人物として、1以上の人物の指定を受け付ける。
続いて、画像特定部86は、第1画像群保持部102に保持された第1画像群の中から、指定人物受付部84によって受け付けられた指定人物が写っている画像(特定画像)を特定する。
続いて、図7は、図2に示す合成画像作成部26の構成を表す一実施形態のブロック図である。同図に示す合成画像作成部26は、表紙作成部62と、本編作成部64と、寄せ書き作成部66とを備えている。
表紙作成部62は、設定保存部38に保存された商材の情報、および、表紙デザイン設定部32によって取得された表紙ページのデザインの情報に対応するデザインの表紙ページを作成する。
続いて、本編作成部64は、画像取得部46によって取得された複数の画像を用いて、設定保存部38に保存された商材の情報に対応するページ数の本編ページ(表紙ページおよび寄せ書きページ以外のページ)を作成する。本編作成部64は、設定保存部38に保存された商材の情報に対応する合成画像、本実施形態の場合、フォトブックの本編ページを作成する。
なお、合成画像を作成するとは、2以上の画像を配置して1つの画像を作成することをいう。合成画像の作成において使用する画像は写真の他に、背景画像、文字画像、スタンプなどの部品画像をも含む。
本編作成部64は、図8に示すように、画像分割部88、画像抽出部90および画像配置部92等を備えている。
画像分割部88は、画像取得部46によって取得された複数の画像を、本編ページのページ数に対応する数のグループに分割する。
画像抽出部90は、画像のグループ毎に、画像の総合評価値に基づいて、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像を抽出する。
画像配置部92は、画像のグループ毎に、画像の総合評価値に基づいて、画像抽出部90によって抽出された各々の合成対象画像のサイズおよび本編ページにおける配置位置を決定し、合成対象画像を、画像のグループに対応するページの本編ページに配置(自動レイアウト)する。
続いて、寄せ書き作成部66は、メッセージ取得部50によって取得された参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページを作成する。寄せ書き作成部66は、設定保存部38に保存された商材の情報、および、寄せ書きデザイン設定部34によって取得された寄せ書きのデザインの情報に対応するデザインの寄せ書きページを作成する。
寄せ書き作成部66は、図9に示すように、メッセージ分割部94およびメッセージ配置部96等を備えている。
メッセージ分割部94は、メッセージ取得部50によって取得された寄せ書きメッセージを、寄せ書きページのページ数に対応する数のグループに分割する。
メッセージ配置部96は、寄せ書きメッセージのグループ毎に、グループに含まれる寄せ書きメッセージを、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置する。
寄せ書きページのページ数は、参加ユーザの数および寄せ書きメッセージの数等に応じて設定される。また、本編ページのページ数は、合成画像のページ数および寄せ書きページのページ数等に応じて設定される。本実施形態の場合、参加ユーザの数を2〜36人とし、1ページの寄せ書きページに2〜12の寄せ書きメッセージを配置し、16ページのフォトブックを作成するものとする。
上記情報設定部18、情報管理部20、データ取得部22、データ解析部24、合成画像作成部26を構成する各部位は、例えば、CPU(Central Processing Unit:中央処理装置)等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、SD(Secure Digital:セキュアデジタル)メモリ等の記憶デバイスに保存される。
次に、図10は、図1に示すユーザの端末装置14の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置14は、画像表示部68と、指示入力部70とを備えている。
端末装置14において、画像表示部68は、各種の設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
続いて、指示入力部70は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
本実施形態の場合、画像表示部68および指示入力部70は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
端末装置14は、合成画像の作成に関わる各々のユーザに1対1に対応して1台である必要はなく、画像処理システム10における各々のユーザのアカウントに対応することができるものであれば、各々のユーザに対応して複数台であってもよい。
図示省略しているが、サーバ12および端末装置14は、例えば、サーバ12と端末装置14との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
次に、図11〜図14に示すフローチャートおよび図15〜図37に示す表示画面を参照しながら、画像処理システム10の動作を説明する。
合成画像を作成する場合、まず、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、画像処理システム10が提供する、合成画像を作成するためのウェブサイトにアクセスする。
合成画像を作成するためのウェブサイトにアクセスすると、図15に示すように、予算設定部28は、合成画像の予算を設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、合成画像の予算を設定する画面において、指示入力部70を介して、幹事ユーザが作成する合成画像の予算を設定する。図15の例では、プルダウンメニューによって、合成画像の予算の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている合成画像の予算の一覧の中から1つの予算、例えば、3000円〜4000円を選択して設定する。
合成画像の予算が設定されると、予算設定部28は、幹事ユーザによって設定された合成画像の予算の情報を幹事ユーザの端末装置14から取得する(ステップS1)。
続いて、商材取得部30は、予算の情報に対応する1以上の画像商材を提示する。図15の例では、商材取得部30は、画像商材として、サイズおよびページ数の異なる5件のフォトブックを提示する。
画像商材が提示されると、幹事ユーザの端末装置14の画像表示部68は、商材取得部30が提示した1以上の画像商材の中から1つの画像商材を設定する画面を表示する。
幹事ユーザは、画像商材を設定する画面において、指示入力部70を介して、提示された1以上の画像商材の中から1つの画像商材を選択して設定する。図15の例では、A4サイズの16ページのフォトブックが設定されている。
画像商材としてフォトブックが設定された後、「次へ」のボタンが押されると、例えば、「次へ」のボタンがタップまたはクリックされると、商材取得部30は、幹事ユーザによって設定された1つの画像商材を取得する(ステップS2)。
なお、「<」のボタンが押されると、1つ前の画面に戻ることができる。これ以後の画面においても同様である。
続いて、図16に示すように、表紙デザイン設定部32は、フォトブックの表紙ページのデザインを設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、表紙ページのデザインを設定する画面において、指示入力部70を介して、1以上の表紙ページのデザインを選択して設定する。図16の例では、幹事ユーザは、3件の表紙ページのデザインの中から、1つの表紙ページのデザインを選択して設定する。また、幹事ユーザは、フォトブックの表紙ページのデザインの情報として、例えば、表紙ページに記載される最大20文字までのフォトブックのタイトル、および、表紙ページの色を設定することができる。
表紙ページのデザインが設定された後、「次へ」のボタンが押されると、表紙デザイン設定部32は、幹事ユーザによって設定された表紙ページのデザインの情報を幹事ユーザの端末装置14から取得する(ステップS3)。
続いて、図17に示すように、寄せ書きデザイン設定部34は、フォトブックの寄せ書きページのデザインを設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、寄せ書きページのデザインを設定する画面において、指示入力部70を介して、1以上の寄せ書きのデザインを選択して設定する。図17の例では、9件の寄せ書きのデザインの中から、1つの寄せ書きのデザインを選択して設定する。
寄せ書きページのデザインが設定された後、「次へ」のボタンが押されると、寄せ書きデザイン設定部34は、幹事ユーザによって設定された寄せ書きページのデザインの情報を、幹事ユーザの端末装置14から取得する(ステップS4)。
続いて、図18に示すように、日程設定部36は、画像および寄せ書きメッセージの募集締切日を設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、画像および寄せ書きメッセージの募集締切日を設定する画面において、指示入力部70を介して、画像および寄せ書きメッセージの募集締切日を設定する。図18の例では、プルダウンメニューによって、現在の日付から一定期間内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月2日を募集締切日として選択して設定する。
画像および寄せ書きメッセージの募集締切日が設定された後、「次へ」のボタンが押されると、日程設定部36は、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日の情報を、幹事ユーザの端末装置14から取得する(ステップS5)。
続いて、図19に示すように、日程設定部36は、合成画像の作成期間を設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、合成画像の作成期間を設定する画面において、指示入力部70を介して、合成画像の作成期間を設定する。図19の例では、プルダウンメニューによって、画像および寄せ書きメッセージの募集の期間の締切日から30日以内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月4日を選択することによって12月2日〜4日を作成期間として設定する。
合成画像の作成期間が設定された後、「次へ」のボタンが押されると、日程設定部36は、幹事ユーザによって設定された合成画像の作成期間の情報を、幹事ユーザの端末装置14から取得する(ステップS5)。
続いて、図20に示すように、日程設定部36は、画像商品の配送日を設定する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
画像商品の配送日は、日程設定部36により、合成画像の作成期間の締切日から一定の期間の後の日付に自動で設定される。図20の例では、合成画像の作成期間の最終日である12月4日から16日後の12月20日に自動で設定される。
幹事ユーザは、画像商品の配送日を設定する画面において、指示入力部70を介して、画像商品の配送日を変更することができる。図20の例では、例えば、追加料金を支払って、特急仕上げを指定することによって、画像商品の配送日を12月20日よりも前の日付に設定することができる。
画像商品の配送日が設定された後、「次へ」のボタンが押されると、日程設定部36は、画像商品の配送日の情報を取得する(ステップS5)。
従来、複数のユーザの端末装置14から送信された複数の画像を用いて合成画像を作成する場合、幹事ユーザが期限管理を行う必要があり、幹事ユーザの負荷が高かった。これに対し、本実施の形態における画像処理システム10は、期限管理を行うことができるため、幹事ユーザが期限管理を行う必要がなくなり、幹事ユーザの負担を軽減することができる。
続いて、図21に示すように、設定保存部38は、画像商材および日程の情報を確認する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、画像商材および日程の情報を確認する画面において、画像商材および日程の情報を確認し、その設定でよい場合には、「保存/ログイン」のボタンを押して次の画面へ進み、設定を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「保存/ログイン」のボタンが押されると、図22に示すように、設定保存部38は、幹事ユーザが画像処理システム10へログインするためのアカウント情報を入力する画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、画像処理システム10にログインするためのアカウント情報として、指示入力部70を介して、幹事ユーザのメールアドレスおよび幹事パスワードを入力する。幹事ユーザが既に画像処理システム10への会員登録を済ませている場合には、「ログイン」のボタンを押す。また、会員登録後に幹事パスワードを忘れた場合には、「パスワード忘れ」のボタンを押すことによって幹事パスワードを回復するための処理を行う。
「ログイン」のボタンが押されると、アカウント情報保存部40は、既に保存されているアカウント情報と、幹事ユーザによって入力されたアカウント情報とを比較する。アカウント情報保存部40が比較した結果、両者が一致した場合に、幹事ユーザは画像処理システム10にログインすることができる。
一方、まだ会員登録を済ませていない場合には、画像処理システム10は、「新規会員登録」のボタンを押すことによって新規に会員登録を行うための処理を行う。「新規会員登録」のボタンが押されると、アカウント情報保存部40は、幹事ユーザによって入力されたメールアドレスおよび幹事パスワードを取得し、幹事ユーザのアカウント情報として保存する。幹事ユーザの端末装置14は、会員登録の完了後、画像処理システム10へログインすることができる。
続いて、設定保存部38は、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報を保存する。
続いて、図23に示すように、設定保存部38は、幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
続いて、管理画面情報送付部42は、管理画面にアクセスするためのURLを含むメッセージを送付する。また、このメッセージは、画像商材および日程の情報が保存されたことを表す通知を含む。
また、図23の例では、管理画面情報送付部42は、指示入力部70を介して幹事ユーザだけでなく幹事ユーザ以外の参加ユーザのメールアドレスを入力することによって、幹事ユーザ以外の参加ユーザ、例えば、幹事ユーザの代理を務める副幹事ユーザのメールアドレス等にも管理画面にアクセスするためのURLを含むメッセージを送付することができる。
続いて、「次へ」のボタンが押されると、図24に示すように、アップロード催促部44は、参加ユーザの端末装置14へ送付する招待状を作成するための画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、招待状を作成するための画面において、指示入力部70を介して、招待状に含めるメッセージを一定文字以内、図24の例では、150文字以内で入力する。また、図24の例では、「みんなの写真とメッセージでフォトブックを贈ろうよ!」という初期メッセージが自動で入力されている。これにより、幹事ユーザがメッセージを入力する手間を省くことができる。幹事ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
「次へ」のボタンが押されると、アップロード催促部44は、招待状に含めるメッセージの情報を取得し、招待状を作成する(ステップS6)。
続いて、図25に示すように、アップロード催促部44は、招待状の内容を確認するための画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、招待状の内容を確認するための画面において、招待状の内容を確認し、その内容でよい場合には、「招待状送付画面へ」のボタンを押して次の画面へ進み、内容を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「招待状送付画面へ」のボタンが押されると、図26に示すように、アップロード催促部44は、招待状を参加ユーザの端末装置14へ送付するための画面を、幹事ユーザの端末装置14の画像表示部68に表示する。
幹事ユーザは、招待状を送付するための画面において、指示入力部70を介して、招待状を送付する手段を選択する。図26の例では、幹事ユーザは、招待状を送付する手段として、SNSのメッセージまたは電子メールを選択する。招待状は、「SNS」のボタンが押された場合、SNSのメッセージとして参加ユーザのSNSのアカウントに送付され、「メール」のボタンが押された場合、電子メールによって参加ユーザのメールアドレスに送付される。
幹事ユーザは、合成画像の作成に関わる全ての参加ユーザに対して招待状を送付してもよいし、一部の参加ユーザのみに対して招待状を送付してもよい。
SNSのメッセージまたは電子メールには、招待状の他、合成画像で使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための招待用URL、および、共通パスワード、図26の例では、「5865」が含まれている。
「次へ」のボタンが押されると、アップロード催促部44は、招待状を参加ユーザの端末装置14へ送付する(ステップS7)。
参加ユーザは、招待状を参加ユーザの端末装置14において受け取り、指示入力部70を介して、招待用URLで示されるウェブサイトにアクセスする。
参加ユーザが招待用URLで示されるウェブサイトにアクセスすると、図27に示すように、アップロード催促部44は、参加ユーザが受け取った招待状を表す画面を、参加ユーザの端末装置14の画像表示部68に表示する(ステップS8)。
招待状には、幹事ユーザからのメッセージの他、参加ユーザへの要望として、合成画像において使用する画像および寄せ書きメッセージをアップロードすること、および、その募集締切日等の情報、本実施形態の場合、12月2日(水)の23:59が表示される。
参加ユーザは、招待状を表す画面を閲覧して、幹事ユーザから参加ユーザへの要望が、フォトブックにする画像および寄せ書きメッセージのアップロードであり、その募集締切日が、12月2日であることを理解する。
続いて、「利用規約に同意する」のチェックボックスがチェックされ、「次へ」のボタンが押されると、図28に示すように、アカウント情報保存部40は、合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、共通パスワードを入力するための画面において、指示入力部70を介して、受け取った招待状に含まれている共通パスワード、図28の例では、「5865」を入力する。
共通パスワードが入力され、「次へ」のボタンが押されると、図29に示すように、アカウント情報保存部40は、新規な参加ユーザを登録するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
新規な参加ユーザを登録するための画面には、既に参加ユーザとして登録済みのユーザ(現在の参加メンバー)の名前が表示される。登録済みの参加ユーザの名前を表示することは必須ではない。しかし、登録済みの参加ユーザの名前を表示することによって、ユーザが新規に参加ユーザとして登録する場合に、自分が知っている名前が登録済みの参加ユーザの名前の中にあれば、安心して登録を行うことができる。
参加ユーザは、まだ参加ユーザとして画像処理システム10に登録していない場合、「新規登録」のボタンを押し、既に参加ユーザとして登録済みの場合には、「内容修正」のボタンを押す。
「新規登録」のボタンが押されると、図30に示すように、アカウント情報保存部40は、参加ユーザとして登録する名前および個別パスワード(図30では「秘密のコトバ」と表示される)を登録するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、指示入力部70を介して、名前として本名またはニックネームを入力し、秘密のコトバとして任意の文字列を入力する。
参加ユーザの名前および秘密のコトバは、参加ユーザのアカウント情報となる。参加ユーザは、図29に示すように、新規な参加ユーザを登録するための画面において、「内容修正」のボタンを押し、既に登録済みの名前および秘密のコトバを入力することによって、既にアップロードした画像、画像の評価情報、寄せ書きメッセージ等を修正することができる。
参加ユーザの名前および秘密のコトバが入力され、「次へ」のボタンが押されると、アカウント情報保存部40は、その参加ユーザの名前および秘密のコトバを取得し、参加ユーザのアカウント情報として保存する。
続いて、図31に示すように、画像取得部46は、参加ユーザがアップロードする画像を選択するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、アップロードする画像を選択するための画面において、「画像追加」のボタンを押すことによって、アップロードする画像を選択することができる。アップロードする画像を選択するための画面には、参加ユーザによって選択された画像の枚数が表示される。
アップロードする画像が選択された後、「次へ」のボタンが押されると、画像取得部46は、参加ユーザからアップロードされた画像、つまり、参加ユーザの端末装置14から投稿された画像を取得する(ステップS9)。このように、画像取得部46は、2以上の参加ユーザの端末装置14から送信された複数の画像を取得する。また、画像取得部46によって画像が取得される毎に、画像解析部58は画像の解析を行い、評価値算出部60は、画像の解析結果に基づいて画像の解析評価値を算出する(ステップS10)。
続いて、図32に示すように、評価情報取得部48は、2以上の参加ユーザの端末装置14から送信された複数の画像の各々を評価するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、各々の画像を評価するための画面において、指示入力部70を介して、各々の画像に対して高評価または低評価を表す評価情報を付与することができる。例えば、参加ユーザは、各々の画像を閲覧し、自分が好きな画像に対して、「いいね」のボタンを押すことによって高評価を表す評価情報を付与し、嫌いな画像に対して、「いまいち」のボタンを押すことによって低評価を表す評価情報を付与することができる。
各々の参加ユーザの端末装置14から各々の画像に対して高評価および低評価を表す評価情報が付与されると、評価情報取得部48は、各々の画像に対して付与された高評価および低評価を表す評価情報を、参加ユーザの端末装置14から取得する(ステップS11)。
評価情報が付与された後、「次へ」のボタンが押されると、図33に示すように、メッセージ取得部50は、寄せ書きページがフォトブックの巻末に入ることを通知する画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、寄せ書きページがフォトブックの巻末に入ることを通知する画面を閲覧して確認する。
続いて、「次へ」のボタンが押されると、図34に示すように、メッセージ取得部50は、寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、プロフィール画像を設定するための画面において、指示入力部70を介して、参加ユーザが参加ユーザの端末装置14において所有する画像の中からプロフィール画像として使用する画像を選択して設定することができる。また、参加ユーザは、「削除」のボタンを押すことによって、既に設定したプロフィール画像を削除し、再度、プロフィール画像を設定し直すことができる。
参加ユーザがプロフィール画像を設定した後、「次へ」のボタンが押されると、画像取得部46は、参加ユーザによって設定されたプロフィール画像を、参加ユーザの端末装置14から取得する(ステップS12)。
続いて、図35に示すように、メッセージ取得部50は、寄せ書きメッセージを入力するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、寄せ書きメッセージを入力するための画面において、指示入力部70を介して、寄せ書きページに含めるメッセージを150文字以内で入力する。図35の例では、「結婚おめでとう。 … 幸せになってください。」という初期メッセージが自動で入力されている。これにより、参加ユーザがメッセージを入力する手間を省くことができる。参加ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
また、参加ユーザは、寄せ書きメッセージを入力するための画面において、「他の人の寄せ書きを見る」のボタンを押すことによって、他の参加ユーザが既にアップロードした寄せ書きメッセージを閲覧することができる。
参加ユーザが寄せ書きメッセージを入力した後、「入力完了」のボタンが押されると、図36に示すように、メッセージ取得部50は、参加ユーザが入力した寄せ書きメッセージを確認するための画面を、参加ユーザの端末装置14の画像表示部68に表示する。
参加ユーザは、寄せ書きメッセージを確認する画面において、寄せ書きメッセージを閲覧して確認し、そのメッセージでよい場合には、「投稿する」のボタンを押して次の画面へ進み、メッセージを変更したい場合には、「<」のボタンを押して前の画面に戻る。
「投稿する」のボタンが押されると、メッセージ取得部50は、参加ユーザから投稿された寄せ書きメッセージ、つまり、参加ユーザの端末装置14からアップロードされた寄せ書きメッセージを取得する(ステップS13)。
このように、複数のユーザの画像を用いてフォトブック等の合成画像を作成する場合に、フォトブックの本編ページだけでなく、寄せ書きページを含めることによって、フォトブックの受取人に対する各々の参加ユーザの気持ちを寄せ書きメッセージとして伝えることができる。
続いて、図37に示すように、寄せ書きメッセージの投稿が完了したことを表す画面が、参加ユーザの端末装置14の画像表示部68に表示される。
続いて、「完了」のボタンが押されると、画像、画像の評価情報および寄せ書きメッセージのアップロードは完了する。
続いて、日程設定部36が画像および寄せ書きメッセージの募集締切日を過ぎたことを検出すると、画像数算出部52は、画像取得部46によって取得された画像の数を算出する(ステップS14)。また、評価数算出部54は、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数を算出し(ステップS15)、メッセージ数算出部56は、メッセージ取得部50によって取得された寄せ書きメッセージの数を算出する(ステップS16)。
続いて、評価値算出部60は、各々の画像に対する高評価および低評価を表す評価情報、例えば、評価情報の数に基づいて、各々の画像の解析評価値に対して値を加減算し、各々の画像の総合評価値を算出する(ステップS17)。
前述のように、画像が取得される毎に、画像を解析して、その解析評価値を算出することは必須ではない。しかし、画像が取得される毎に、画像を解析して、その解析評価値を算出しておくことにより、全ての画像を取得した後に画像をまとめて解析して解析評価値を算出する場合と比べて、画像の総合評価値を短時間で算出することができ、その結果、合成画像の作成にかかる時間を短縮することができる。
続いて、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、合成画像作成部26に対して合成画像の作成を指示する。
合成画像作成部26に対して合成画像の作成が指示されると、表紙作成部62は、表紙ページのデザインの情報に対応するデザインであり、幹事ユーザによって設定されたタイトルが記載され、幹事ユーザによって設定された色の表紙ページを作成する(ステップS18)。
続いて、本編作成部64は、画像取得部46によって取得された複数の画像のうちの少なくとも1つの画像を用いて、フォトブックの本編ページを作成する(ステップS19)。
本編作成部64の画像分割部88は、画像取得部46によって取得された複数の画像を、本編ページのページ数に対応する複数のグループに分割する。
続いて、画像抽出部90は、画像のグループ毎に、画像の総合評価値に基づいて、例えば、総合評価値が最も高い画像から順に、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像を抽出する。
続いて、画像配置部92は、画像のグループ毎に、画像の総合評価値に基づいて、各々の合成対象画像のサイズおよび本編ページにおける配置位置を決定し、合成対象画像が、各々対応する本編ページに配置される。例えば、本編ページに配置される複数の合成対象画像のうち、総合評価値が最も高い合成対象画像が、他の合成対象画像よりも大きいサイズで、そのページの中央位置に配置される。
続いて、寄せ書き作成部66は、参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページのデザインの情報に対応するデザインの寄せ書きページを作成する(ステップS20)。
寄せ書き作成部66のメッセージ分割部94は、メッセージ取得部50によって取得された寄せ書きメッセージを、寄せ書きページのページ数に対応する数のグループに分割する。
続いて、メッセージ配置部96は、寄せ書きメッセージのグループ毎に、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置して寄せ書きページを作成する。例えば、メッセージ配置部96は、グループに含まれる寄せ書きメッセージと対応する参加ユーザのプロフィール画像とを組み合わせて配置する。各々の寄せ書きページにおいて、例えば、メッセージ配置部96は、寄せ書きメッセージを、寄せ書きメッセージがアップロードされた順序で順次配置する。
上記のように、表紙作成部62は、表紙ページのデザインの情報に対応する表紙ページを自動で作成する。また、本編作成部64は、2以上の参加ユーザの端末装置14から取得した複数の画像を用いて、本編ページを自動で作成する。また、寄せ書き作成部66は、参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページのデザインの情報に対応するデザインの寄せ書きページを自動で作成する。このようにして、合成画像作成部26は、表紙ページのデザインの情報に対応する表紙ページ、本編ページ、および、寄せ書きページのデザインの情報に対応する寄せ書きページを含むフォトブックを自動で作成する。
画像処理システム10では、本編ページだけでなく、寄せ書きページを含むフォトブック等の合成画像を作成することができる。また、画像の総合評価値に基づいて、本編ページにおいて使用する画像の他、各々の画像のサイズおよび本編ページにおける配置位置等を決定することによって、画像の良し悪しだけでなく、複数の参加ユーザの好みを反映した合成画像を作成することができる。
幹事ユーザは、幹事ユーザの端末装置14において、自動で作成された表紙ページ、本編ページおよび寄せ書きページからなるフォトブックの各ページを閲覧する。幹事ユーザは、自動で作成されたフォトブックをそのまま採用してもよいし、各ページの内容、例えば、各ページにおいて使用する画像、画像のサイズ、画像および寄せ書きメッセージの配置位置等を編集してもよい。また、幹事ユーザは、コメントの追加、スタンプ画像の追加、各ページの背景の種類および色の変更等を行うことができる。
幹事ユーザは、日程設定部36によって設定された合成画像の作成期間内、本実施形態の場合、12月4日までにフォトブックの編集を完了し、作成を完了したフォトブックの内容で画像商品を注文する(ステップS21)。幹事ユーザが注文する画像商品には、紙媒体のフォトブックおよび電子データのフォトブックの少なくとも一方が含まれる。
画像商品が注文されると、注文された画像商品のフォトブックが作成され、日程設定部36によって設定された画像商品の配送日、本実施形態の場合、12月20日までに配送先へ送付される(ステップS22)。紙媒体のフォトブックの場合には、例えば、紙媒体のフォトブックが配送先へ送付され、電子データのフォトブックの場合には、例えば、電子データのフォトブック、あるいは電子データをダウンロードするためのURL等が配送先のメールアドレスへ送付される。
以上のように、画像処理システム10では、複数の参加ユーザの端末装置14から取得された複数の画像および寄せ書きメッセージを用いて、寄せ書きページを含むフォトブック等の合成画像を作成することができる。
また、上記のように、複数の参加ユーザが所有する複数の画像の中から抽出された合成対象画像を用いてフォトブックが作成され、作成されたフォトブックが配送先へ送付されると、フォトブックの受取人は、画像処理システム10を利用して、受取人が所有する第1画像群のうち、フォトブックに写っている人物の画像を用いて、受け取ったフォトブックとは別の合成画像を作成することができる。
以下の説明において、受取人は、受け取ったフォトブック等の第1合成画像に基づいて、画像付きのポストカード等の第2合成画像を作成するものとする。また、受取人が第1合成画像を受け取った後も、画像処理システム10には、第1合成画像に関する各種の情報が保持されているものとする。
第2合成画像を作成する場合、まず、図38に示すように、第1合成画像取得部98は、第2合成画像として、画像付きのポストカードを作成することを知らせる画面を、受取人の端末装置14の画像表示部68に表示する。
受取人は、第2合成画像を作成することを知らせる画面において、「次へ」のボタンを押し、指示入力部70を介して、第1合成画像として、受取人が受け取ったフォトブックを指定する。
受取人によって第1合成画像が指定されると、続いて、第1合成画像取得部98は、受取人の端末装置14から、受取人が所有する第1合成画像を取得する(ステップS23)。
続いて、画像解析部58は、第1合成画像の内容、つまり、第1合成画像において使用されている各々の画像の内容を解析する(ステップS24)。
続いて、人物特定部82は、第1合成画像の解析結果に基づいて、第1合成画像に写っている複数の人物を特定する(ステップS25)。
続いて、図39に示すように、指定人物受付部84は、第1合成画像に写っている複数の人物の中から指定人物として1以上の人物を指定するための画面を、受取人の端末装置14の画像表示部68に表示する。
受取人は、人物を指定する画面において、指示入力部70を介して、第1合成画像に写っている複数の人物の中から、第2合成画像において使用したい人物、つまり、第2合成画像の作成において使用する画像に写っている1以上の人物(指定人物)を指定する。
受取人は、例えば、人物を指定する画面において、指示入力部70を介して、第1合成画像に写っている複数の人物の中から、第2合成画像において使用したい人物の顔画像をチェック状態とすることにより、指定人物を指定する。図39の例の場合、受取人は、第1合成画像に写っているAさん、Bさん、Cさん、Dさん、…を含む複数の人物の中から、AさんおよびBさんの二人を指定人物として指定している。
なお、受取人は、人物を指定する画面において、例えば、人物の顔画像が表示されている領域を上下にスワイプすることにより、表示されていない他の人物の顔画像を表示させて指定することができる。また、「全指定」のボタンを押すことにより、第1合成画像に写っている全ての人物を指定することができる。また、「全解除」のボタンを押すことにより、全ての人物の指定を解除して初めからやり直すことができる。
「次へ」のボタンが押されると、続いて、指定人物受付部84は、受取人によって指定された1以上の人物の指定を受け付ける(ステップS26)。
人物の指定が受け付けられると、続いて、図40に示すように、第1画像群保持部102は、受取人が所有する第1画像群を指定するための画面を、受取人の端末装置14の画像表示部68に表示する。
図40の例の場合、第1画像群を指定する画面において、第1画像群が格納されているフォルダを指定するフィールド、第1画像群の撮影日を指定するフィールド、および、第1画像群の撮影場所を指定するフィールドが表示されている。受取人は、各々のフィールドに設けられているチェックボックをチェック状態にすることにより、上記3つのフィールドの中から、第1画像群を指定するために使用する1以上のフィールドを指定する。
なお、第1画像群を指定するフィールドの数は1以上であればよく、特に上限はない。また、2以上のチェックボックスが指定された場合、受取人が所有する画像群の中から、受取人によって指定された2以上のチェックボックスにおける指定条件に一致する画像をAND(論理積)検索してもよいし、OR(論理和)検索してもよい。画像をAND検索するのか、OR検索するのかは、あらかじめ設定されていてもよいし、受取人が指定できるようにしてもよい。
「次へ」のボタンが押されると、続いて、第1画像群保持部102は、受取人によって指定された第1画像群を保持する。
続いて、図41に示すように、受取人の端末装置14の画像表示部68は、画像特定部86が受取人によって指定された第1画像群の中から画像を自動で選んでポストカードを作成することを知らせる画面を表示する。
図41の例において「おまかせ作成する」のボタンが押されると、続いて、画像解析部58は、第1合成画像群に含まれる各々の画像の内容を解析する。続いて、人物特定部82は、第1合成画像群に含まれる各々の画像の解析結果に基づいて、第1合成画像群に含まれる各々の画像に写っている複数の人物を特定する。続いて、画像特定部86は、第1画像群保持部102に保持された第1画像群の中から、指定人物が写っている画像を特定する(ステップS27)。
続いて、合成画像作成部26は、指定人物が写っている画像を用いて第2合成画像を作成する(ステップS28)。
第2合成画像が作成されると、続いて、図42に示すように、合成画像作成部26は、作成された第2合成画像を確認するための画面を、受取人の端末装置14の画像表示部68に表示する。
図42の例の場合、第2合成画像を確認するための画面には、Aさんに送る第2合成画像の候補が表示されている。Aさんに送る第2合成画像の候補に写っている左側の人物はAさんであり、右側の二人の人物はフォトブックの受取人である。受取人は、「画像を変更する」のボタンを押すことにより、Aさんに送る別の第2合成画像の候補を表示させて、Aさんへ送る別の第2合成画像を選択することができる。また図42にあるように、テキストメッセージを合成することもできる。テキストメッセージは、複数の定型文の中から受取人によって選択された定型文を表示してもよいが、受取人がテキストメッセージを自由に作成することができるようにしてもよい。また、「次の人へ」のボタンを押すことにより、次の人物に送る第2合成画像を表示させることができる。
続いて、図43に示すように、合成画像作成部26は、第2合成画像を送付する人物の住所を入力するための画面を、受取人の端末装置14の画像表示部68に表示する。
図43の例の場合、合成画像作成部26は、住所を入力するための画面において、AさんおよびBさんの郵便番号および住所を入力するためのフィールドを表示している。受取人は、指示入力部70を介して、AさんおよびBさんの郵便番号および住所を入力する。
なお、受取人は、住所を入力するための画面において、例えば、住所を入力するための領域を上下にスワイプすることにより、表示されていない他の人物の住所を入力するためのフィールドを表示させて郵便番号および住所を入力することができる。また、「既存の住所録を利用する(ファイルを指定)」のボタンを押すことにより、受取人が所有する住所録のファイルを指定し、さらに、指定した住所録に格納されている人物を指定することにより、指定した人物の住所を自動で入力することができる。例えば、フォトブックの受取人が新郎新婦である場合、結婚式の招待状を送るために作成した住所録を使うことができる。このように、第1合成画像作成時のプロフィール画像がどの人物を示すのかについての情報と住所録に格納されている人物の氏名とを通じて、顔画像と住所とを紐付けすることができるので、受取人は自らが有する画像の中から、指定人物の各々が写っている画像を用いて、指定人物の各々に適したお礼のポストカードを、容易に作成して各々の指定人物に送付することができる。
「完了してポストカードを送る」のボタンが押されると、画像処理システム10は、AさんおよびBさんの二人にポストカードを送付する。
このように、画像処理システム10においては、複数のユーザが所有する複数の画像を用いて作成された第1合成画像に写っている複数の人物を特定し、特定した複数の人物の中から、指定人物として、1以上の人物の指定を受け付け、受取人が所有する第1画像群の中から、指定人物が写っている画像を特定し、特定した画像を用いて、第1合成画像とは別の第2合成画像を作成することができる。
第1合成画像が結婚披露宴のフォトブックである場合、結婚披露宴に参列した複数の人物の中には、結婚披露宴のフォトブックの作成に関わる複数の参加ユーザが含まれる。フォトブックの受取人である新郎新婦は、画像処理システム10を使用し、そのお礼として、新郎新婦が所有する複数の画像の中から、結婚披露宴に参列した各々の参加ユーザが写っている画像を用いて、第2合成画像として、各々の参加ユーザが写っている画像付きのポストカード等を作成し、作成したポストカード等を各々の参加ユーザに送付することができる。
また、第1合成画像の作成に関わる複数の参加ユーザの顔画像に基づいて、指定人物として、第1合成画像の作成に関わる複数の参加ユーザを特定することができる。
以下の説明において、第1合成画像は、識別情報として、バーコードを有するものとする。また、顔画像保持部100には、第1合成画像を作成する場合に、複数の参加ユーザの端末装置14から取得された複数の参加ユーザの顔画像を含む複数の顔画像が保持されているものとする。
この場合、受取人は、例えば、受取人が所有するスマートフォン等の携帯端末の画像撮影部によって、第1合成画像が有するバーコードを撮影する。
なお、受取人の端末装置14が携帯端末である必要はなく、例えば、デスクトップPCおよびノートPC等の端末装置14から、ケーブル付のUSBカメラ等の画像撮影部によって第1合成画像が有するバーコードを撮影することもできる。
続いて、識別情報取得部78は、撮影されたバーコードの画像から、第1合成画像が有する識別情報を取得する。
なお、受取人は、バーコードを撮影する代わりに、受取人が第1合成画像に記載された識別番号を入力してもよい。この場合、識別情報取得部78は、受取人によって入力された識別番号を識別情報として取得する。
続いて、顔画像特定部80は、識別情報取得部78によって取得された識別情報に基づいて、顔画像保持部100に保持された複数の顔画像の中から、第1合成画像の作成に関わる複数の参加ユーザの顔画像を特定する。
続いて、人物特定部82は、第1合成画像の作成に関わる複数の参加ユーザの顔画像に基づいて、第1合成画像に写っている複数の人物の各々に対応する複数の参加ユーザの各々を特定する。
続いて、指定人物受付部84は、第1合成画像の作成に関わる複数の参加ユーザの中から、1以上の指定人物に対応する参加ユーザを特定する。これ以後は、指定人物を、特定された参加ユーザとして、上記の通りに動作する。
このように、人物特定部82は、第1合成画像の解析結果だけでなく、第1合成画像の作成に関わる複数の参加ユーザの顔画像に基づいて、第1合成画像の作成に関わる複数の参加ユーザを特定し、第2合成画像を作成することができる。
また、受取人は、指定人物の重要度を設定することができる。
この場合、受取人は、第1合成画像に写っている複数の人物の中から指定人物として1以上の人物を指定するための画面において、指示入力部70を介して、各々の指定人物の重要度を設定する。
続いて、重要度情報取得部72は、受取人の端末装置14から、受取人によって設定された指定人物の重要度の情報を取得する。
続いて、合成画像作成部26は、重要度の情報に基づいて、重要度が低い指定人物よりも重要度が高い指定人物が写っている画像を優先的に用いて第2合成画像を作成する。
例えば、画像抽出部90は、指定人物が写っている複数の画像の中から、合成対象画像として、重要度が最も高い指定人物が写っている画像から順に抽出する。これ以外の動作は、前述の通りである。
これにより、各々の指定人物の重要度に基づいて、第2合成画像において使用する、指定人物が写っている画像の優先順位を決定することができ、受取人にとって重要度が高い人物が写っている画像を優先的に使用して第2合成画像を作成することができる。
また、受取人は、指定人物に対するコメントを第2合成画像に含めることができる。
この場合、コメント取得部74は、指定人物に対するコメントを入力するための画面を、受取人の端末装置14の画像表示部68に表示する。
受取人は、コメントを入力するための画面において、指示入力部70を介して、各々の指定人物に対するコメントを入力する。
続いて、コメント取得部74は、受取人の端末装置14からアップロードされたコメント、つまり、指定人物に対する受取人のコメントを取得する。
続いて、合成画像作成部26は、指定人物が写っている複数の画像に加え、コメント取得部74が取得したコメントを用いて第2合成画像を作成する。
例えば、画像配置部92は、本編ページの画像の配置領域において、指定人物が写っている複数の画像の周囲に、その指定人物に対するコメントを配置する。これ以外の動作は、前述の通りである。
これにより、受取人は、自分自身の気持ちを、第2合成画像を送付する人物に伝えることができる。
また、受取人は、画像(静止画像)と動画像とを組み合わせて使用することができる。
この場合、動画像取得部76は、1以上の動画像を指定するための画面を、例えば、受取人の端末装置14の画像表示部68に表示する。
受取人は、動画像を指定するための画面において、指示入力部70を介して、第2合成画像において使用される複数の画像の各々と関連付けられた1以上の動画像の各々を指定する。
続いて、動画像取得部76は、受取人の端末装置14からアップロードされた動画像、つまり、第2合成画像において使用される複数の画像の各々と関連付けられた1以上の動画像の各々を取得する。
続いて、合成画像作成部26は、1以上の動画像の各々と関連付けられた1以上の画像を含み、かつ、指定人物が写っている第1画像群を用いて第2合成画像を作成する。
例えば、第2合成画像の受取人である指定人物は、第2合成画像において使用された第1画像群のうち、1以上の動画像のうちの第1動画像と関連付けられた第1画像を、指定人物の携帯端末の画像撮影部によって撮影(キャプチャ)する。これにより、指定人物によって撮影された第1画像が、指定人物の端末装置14の画像表示部68に表示される。この場合、AR(Augmented Reality:拡張現実)技術を利用することにより、第1動画像が、指定人物の携帯端末の画像表示部68において再生される。
この場合、第1動画像を、指定人物の携帯端末の画像表示部68の全画面において再生してもよいし、あるいは、指定人物の携帯端末の画像表示部68に表示された第1画像の表示領域内において再生してもよい。
このように、第2合成画像の受取人は、第2合成画像において使用された画像と関連付けられた動画像を再生して閲覧することができる。
なお、上記の顔画像に基づく参加ユーザの特定、指定人物の重要度の設定、指定人物に対するコメントの使用、画像と動画像との組合せの使用等の観点を組合せて第2合成画像を作成してもよい。
なお、動画像と関連付けられる画像として、動画像から取り出した静止画像を使用してもよい。この場合、画像解析部58は、動画像を構成する複数の静止画像に含まれる各々の画像の内容を解析する。続いて、人物特定部82は、動画像を構成する複数の静止画像の解析結果に基づいて、動画像を構成する複数の静止画像に写っている複数の人物を特定する。続いて、画像特定部86は、動画像を構成する複数の静止画像の中から、指定人物が写っている画像を特定して、動画像と関連付けられる画像とする。
なお、幹事ユーザだけが合成画像を作成することは必須ではなく、合成画像の作成に関わる複数のユーザが共同で合成画像を作成してもよいし、複数のユーザのうちの少なくとも一人のユーザが合成画像を作成してもよい。
画像処理システム10を構成する各部位の具体的な構成は特に限定されず、同様の機能を果たすことができる各種構成のものを利用することができる。
また、上記実施形態では、サーバ12が情報設定部18、情報管理部20、データ取得部22、データ解析部24および合成画像作成部26を備えているが、これらのうちの少なくとも1つをユーザの端末装置14が備えていてもよい。
本発明のサーバ12及び端末装置14は、画像処理システム10が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像処理システム
12 サーバ
14 端末装置(クライアント)
16 ネットワーク
18 情報設定部
20 情報管理部
22 データ取得部
24 データ解析部
26 合成画像作成部
28 予算設定部
30 商材取得部
32 表紙デザイン設定部
34 寄せ書きデザイン設定部
36 日程設定部
38 設定保存部
40 アカウント情報保存部
42 管理画面情報送付部
44 アップロード催促部
46 画像取得部
48 評価情報取得部
50 メッセージ取得部
52 画像数算出部
54 評価数算出部
56 メッセージ数算出部
58 画像解析部
60 評価値算出部
62 表紙作成部
64 本編作成部
66 寄せ書き作成部
68 画像表示部
70 指示入力部
72 重要度情報取得部
74 コメント取得部
76 動画像取得部
78 識別情報取得部
80 顔画像特定部
82 人物特定部
84 指定人物受付部
86 画像特定部
88 画像分割部
90 画像抽出部
92 画像配置部
94 メッセージ分割部
96 メッセージ配置部
98 第1合成画像取得部
100 顔画像保持部
102 第1画像群保持部

Claims (12)

  1. 第1のユーザが所有する第1合成画像を取得する第1合成画像取得部と、
    前記第1合成画像の内容を解析する画像解析部と、
    前記第1合成画像の解析結果に基づいて、前記第1合成画像に写っている複数の人物を特定する人物特定部と、
    前記第1合成画像に写っている複数の人物の中から、指定人物として、1以上の人物の指定を受け付ける指定人物受付部と、
    前記第1のユーザが所有する第1画像群を保持する第1画像群保持部と、
    前記第1画像群の中から、前記指定人物が写っている画像を特定する画像特定部と、
    前記指定人物が写っている画像を用いて第2合成画像を作成する合成画像作成部とを備える画像処理システム。
  2. 前記第1合成画像は、前記第1合成画像を他の画像から識別する識別情報を有し、
    前記第1合成画像が有する識別情報を取得する識別情報取得部と、
    前記第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して前記複数のユーザの顔画像を含む複数の顔画像を取得し、前記取得した複数の顔画像を保持する顔画像保持部と、
    前記識別情報取得部によって取得された識別情報に基づいて、前記顔画像保持部に保持された複数の顔画像の中から、前記複数のユーザの顔画像を特定する顔画像特定部とを備え、
    前記人物特定部は、前記顔画像特定部によって特定された前記複数のユーザの顔画像に基づいて、前記第1合成画像に写っている複数の人物の各々に対応する前記複数のユーザの各々を特定し、
    前記指定人物受付部は、前記人物特定部によって特定された複数のユーザの中から、1以上の前記指定人物に対応するユーザを特定する請求項1に記載の画像処理システム。
  3. 第1のユーザが所有する第1合成画像を他の画像から識別する識別情報を取得する識別情報取得部と、
    前記第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して前記複数のユーザの顔画像を含む複数の顔画像を取得し、前記取得した複数の顔画像を保持する顔画像保持部と、
    前記識別情報取得部によって取得された識別情報に基づいて、前記顔画像保持部に保持された複数の顔画像の中から、前記複数のユーザの顔画像を特定する顔画像特定部と、
    前記第1のユーザが所有する第1画像群を保持する第1画像群保持部と、
    前記顔画像特定部によって特定された複数のユーザの中から、指定人物として、1以上の人物の指定を受け付ける指定人物受付部と、
    前記第1画像群の中から、前記指定人物が写っている画像を特定する画像特定部と、
    前記指定人物が写っている画像を用いて第2合成画像を作成する合成画像作成部とを備える画像処理システム。
  4. 前記第1のユーザの端末装置から、ネットワークを介して、前記第1のユーザによって設定された前記指定人物の重要度の情報を取得する重要度情報取得部を備え、
    前記合成画像作成部は、前記重要度の情報に基づいて、前記重要度が低い指定人物よりも前記重要度が高い指定人物が写っている画像を優先的に用いて前記第2合成画像を作成する請求項1ないし3のいずれか一項に記載の画像処理システム。
  5. 前記第1のユーザの端末装置から、前記指定人物に対する前記第1のユーザのコメントを取得するコメント取得部を備え、
    前記合成画像作成部は、前記指定人物が写っている複数の画像に加え、前記コメントを用いて前記第2合成画像を作成する請求項1ないし4のいずれか一項に記載の画像処理システム。
  6. 前記第1のユーザの端末装置から、前記第2合成画像において使用される複数の画像の各々と関連付けられた1以上の動画像の各々を取得する動画像取得部を備え、
    前記合成画像作成部は、前記1以上の動画像の各々と関連付けられた1以上の画像を含み、かつ、前記指定人物が写っている第1画像群を用いて前記第2合成画像を作成し、
    前記第2合成画像において使用された第1画像群のうち、前記1以上の動画像のうちの第1動画像と関連付けられた第1画像が、前記指定人物の端末装置の画像撮影部によって撮影され、かつ、前記撮影された第1画像が、前記指定人物の端末装置の画像表示部に表示された場合に、前記第1動画像が、前記指定人物の端末装置の画像表示部において再生される請求項1ないし5のいずれか一項に記載の画像処理システム。
  7. 前記第1動画像が、前記指定人物の端末装置の画像表示部に表示された前記第1画像の表示領域内において再生される請求項6に記載の画像処理システム。
  8. 第1合成画像取得部が、第1のユーザが所有する第1合成画像を取得するステップと、
    画像解析部が、前記第1合成画像の内容を解析するステップと、
    人物特定部が、前記第1合成画像の解析結果に基づいて、前記第1合成画像に写っている複数の人物を特定するステップと、
    指定人物受付部が、前記第1合成画像に写っている複数の人物の中から、指定人物として、1以上の人物の指定を受け付けるステップと、
    第1画像群保持部が、前記第1のユーザが所有する第1画像群を保持するステップと、
    画像特定部が、前記第1画像群の中から、前記指定人物が写っている画像を特定するステップと、
    合成画像作成部が、前記指定人物が写っている画像を用いて第2合成画像を作成するステップとを含む画像処理方法。
  9. 前記第1合成画像は、前記第1合成画像を他の画像から識別する識別情報を有し、
    識別情報取得部が、前記第1合成画像が有する識別情報を取得するステップと、
    顔画像保持部が、前記第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して前記複数のユーザの顔画像を含む複数の顔画像を取得し、前記取得した複数の顔画像を保持するステップと、
    顔画像特定部が、前記識別情報取得部によって取得された識別情報に基づいて、前記顔画像保持部に保持された複数の顔画像の中から、前記複数のユーザの顔画像を特定するステップとを含み、
    前記人物を特定するステップは、前記顔画像特定部によって特定された前記複数のユーザの顔画像に基づいて、前記第1合成画像に写っている複数の人物の各々に対応する前記複数のユーザの各々を特定し、
    前記人物の指定を受け付けるステップは、前記人物を特定するステップによって特定された複数のユーザの中から、1以上の前記指定人物に対応するユーザを特定する請求項8に記載の画像処理方法。
  10. 識別情報取得部が、第1のユーザが所有する第1合成画像を他の画像から識別する識別情報を取得するステップと、
    顔画像保持部が、前記第1合成画像を作成する場合に、複数のユーザの端末装置からネットワークを介して前記複数のユーザの顔画像を含む複数の顔画像を取得し、前記取得した複数の顔画像を保持するステップと、
    顔画像特定部が、前記識別情報取得部によって取得された識別情報に基づいて、前記顔画像保持部に保持された複数の顔画像の中から、前記複数のユーザの顔画像を特定するステップと、
    第1画像群保持部が、前記第1のユーザが所有する第1画像群を保持するステップと、
    指定人物受付部が、前記顔画像特定部によって特定された複数のユーザの中から、指定人物として、1以上の人物の指定を受け付けるステップと、
    画像特定部が、前記第1画像群の中から、前記指定人物が写っている画像を特定するステップと、
    合成画像作成部が、前記指定人物が写っている画像を用いて第2合成画像を作成するステップとを含む画像処理方法。
  11. 請求項8ないし10のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  12. 請求項8ないし10のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2017048410A 2016-03-29 2017-03-14 画像処理システム、画像処理方法、プログラムおよび記録媒体 Active JP6518280B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/011146 WO2017169963A1 (ja) 2016-03-29 2017-03-21 画像処理システム、画像処理方法、プログラムおよび記録媒体
US16/121,739 US10783355B2 (en) 2016-03-29 2018-09-05 Image processing system, image processing method, program, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016065863 2016-03-29
JP2016065863 2016-03-29

Publications (3)

Publication Number Publication Date
JP2017184230A true JP2017184230A (ja) 2017-10-05
JP2017184230A5 JP2017184230A5 (ja) 2018-04-19
JP6518280B2 JP6518280B2 (ja) 2019-05-22

Family

ID=60006580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017048410A Active JP6518280B2 (ja) 2016-03-29 2017-03-14 画像処理システム、画像処理方法、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US10783355B2 (ja)
JP (1) JP6518280B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240543B (zh) * 2020-01-03 2023-08-22 腾讯科技(深圳)有限公司 一种评论方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184790A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2007316939A (ja) * 2006-05-25 2007-12-06 Fujifilm Corp 電子アルバム提供装置、および画像ネットワークシステム
JP2008233957A (ja) * 2007-03-16 2008-10-02 Fujifilm Corp 画像選択装置、画像選択方法、撮像装置及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4719335B2 (ja) 2000-04-13 2011-07-06 楽天株式会社 寄せ書き管理装置及び寄せ書き管理方法
CN1910611A (zh) * 2004-01-13 2007-02-07 日本电气株式会社 特征变化图像生成方法、特征变化图像生成装置及特征变化图像生成程序
US7813557B1 (en) * 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
JP2008257308A (ja) 2007-03-31 2008-10-23 Fujifilm Graphic Systems Co Ltd アルバム制作システムおよびサーバ装置
JP5931829B2 (ja) 2013-09-30 2016-06-08 富士フイルム株式会社 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
JP6415817B2 (ja) 2014-01-14 2018-10-31 株式会社yosetti 寄せ書きシステム提供サーバ、寄せ書きシステム提供方法、および、寄せ書きシステム提供プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184790A (ja) * 2003-11-27 2005-07-07 Fuji Photo Film Co Ltd 画像編集装置および方法並びにプログラム
JP2007316939A (ja) * 2006-05-25 2007-12-06 Fujifilm Corp 電子アルバム提供装置、および画像ネットワークシステム
JP2008233957A (ja) * 2007-03-16 2008-10-02 Fujifilm Corp 画像選択装置、画像選択方法、撮像装置及びプログラム

Also Published As

Publication number Publication date
JP6518280B2 (ja) 2019-05-22
US10783355B2 (en) 2020-09-22
US20190005312A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
US9338242B1 (en) Processes for generating content sharing recommendations
US9531823B1 (en) Processes for generating content sharing recommendations based on user feedback data
US10853980B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP6533481B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20120324002A1 (en) Media Sharing
US9405964B1 (en) Processes for generating content sharing recommendations based on image content analysis
US20110270813A1 (en) Digital imaging system employing user personalization and image utilization profiles
JP2014075778A (ja) 合成画像作成システム、画像処理装置および画像処理方法
US10990824B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2019185747A (ja) メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置
KR101473438B1 (ko) 콘텐츠의 미디어 월 서비스 장치 및 그 방법
US10783355B2 (en) Image processing system, image processing method, program, and recording medium
JP6674798B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6502280B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10846771B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP6502272B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
WO2017169963A1 (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
JP6618437B2 (ja) サーバ、端末装置、画像処理システム、画像処理方法、プログラムおよび記録媒体
KR101837030B1 (ko) 인터렉티브한 디스플레이 장치를 이용한 방명록 서비스 제공 시스템
JP2021128425A (ja) 画像処理装置、画像処理方法、プログラムおよび画像処理システム
US11615096B2 (en) Event and/or location based media capture and upload platform based on a URL or a link associated with a machine-readable optical label
JP6936471B2 (ja) コミュニティ維持活性化システム
JP6595958B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190419

R150 Certificate of patent or registration of utility model

Ref document number: 6518280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250