JP2017161993A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2017161993A
JP2017161993A JP2016043512A JP2016043512A JP2017161993A JP 2017161993 A JP2017161993 A JP 2017161993A JP 2016043512 A JP2016043512 A JP 2016043512A JP 2016043512 A JP2016043512 A JP 2016043512A JP 2017161993 A JP2017161993 A JP 2017161993A
Authority
JP
Japan
Prior art keywords
image
images
unit
user
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016043512A
Other languages
English (en)
Other versions
JP6674798B2 (ja
Inventor
小泉 功
Isao Koizumi
功 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016043512A priority Critical patent/JP6674798B2/ja
Publication of JP2017161993A publication Critical patent/JP2017161993A/ja
Application granted granted Critical
Publication of JP6674798B2 publication Critical patent/JP6674798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】合成画像において使用する素材が不足する場合に、不足する素材を複数のユーザの端末装置から取得するのをアシストすることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、画像取得部が、複数のユーザの端末装置からネットワークを介して複数の画像を取得し、画像解析部が、各々の画像の内容を解析する。リクエスト部が、画像の解析結果に基づいて、複数の画像に関連する関連情報を、ネットワークを介して、ユーザの端末装置に対してリクエストする。【選択図】図5

Description

本発明は、複数のユーザの端末装置からネットワークを介して取得された複数の画像を用いて、フォトブック等の合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
フォトブックは、ユーザが所有する複数の画像(画像データ)を、インターネットを経由してサービス提供業者に送信し、送信した複数の画像を用いてユーザが希望するレイアウトの写真集を作成するサービスである。
フォトブックは、例えば、画像の連続性や関連性を考慮して、撮影時刻等に基づいて複数の画像を複数のグループに分類し、各々のグループに含まれる画像を各々対応するページに自動配置(自動レイアウト)することによって作成される。
近年では、一人のユーザが所有する複数の画像だけを用いてフォトブックを作成するだけでなく、複数のユーザが所有する複数の画像を用いて1つのフォトブックを作成するもの(特許文献1および2参照)、および、複数のユーザから寄せ書き用のメッセージを取得し、複数のユーザから取得した寄せ書きメッセージを用いて寄せ書きを作成するもの(特許文献3および4参照)等が知られている。
特開2008−257308号公報 特開2015−069431号公報 特開2001−297051号公報 特開2015−133000号公報
しかし、特許文献1〜4では、フォトブックにおいて使用する画像および寄せ書きにおいて使用する寄せ書きメッセー等の素材が不足する場合に、フォトブックおよび寄せ書きを作成することが難しいという問題点があった。
本発明の目的は、合成画像において使用する素材が不足する場合に、不足する素材を複数のユーザの端末装置から取得するのをアシストすることができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、複数のユーザの端末装置からネットワークを介して複数の画像を取得する画像取得部と、
複数の画像の各々の内容を解析する画像解析部と、
各々の画像の解析結果に基づいて、複数の画像に関連する関連情報を、ネットワークを介して、複数のユーザのうちの少なくとも一人の第1ユーザの端末装置に対してリクエストするリクエスト部とを備える画像処理装置を提供する。
さらに、複数のユーザのうちの少なくとも一人の第1ユーザの端末装置からネットワークを介して関連情報を取得する関連情報取得部を備えることが好ましい。
さらに、複数の画像のうちの少なくとも1つの画像および関連情報を用いて合成画像を作成する合成画像作成部を備えることが好ましい。
さらに、各々の画像の解析結果に基づいて、各々の画像に写っている人物の数を算出する人物数算出部と、
複数の画像のうち、閾値以上の数の人物が写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、複数のユーザのうち、画像取得部がリクエスト対象画像を取得した端末装置のユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部を備え、
リクエスト部は、リクエスト対象ユーザの端末装置に対して、リクエスト対象画像の関連情報をリクエストすることが好ましい。
リクエスト部は、関連情報として、リクエスト対象画像に写っているイベント、リクエスト対象画像の撮影日時、および、リクエスト対象画像の撮影場所のうちの少なくとも1つの情報をリクエストすることが好ましい。
さらに、複数のユーザの顔画像あるいは顔特徴量データを記憶する顔データ記憶部と、
複数のユーザの顔画像あるいは顔特徴量データに基づいて、複数のユーザのうち、各々の画像に写っているユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部と、
複数の画像のうち、リクエスト対象ユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、リクエスト対象ユーザの端末装置に対して、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、複数の画像の中から、合成画像において使用する複数の合成対象画像を抽出する画像抽出部と、
各々の画像の解析結果に基づいて、各々の画像に写っている人物の数を算出する人物数算出部と、
複数の画像のうち、複数の合成対象画像における登場回数または登場比率が閾値未満であるユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、リクエスト対象画像を合成画像において使用することをリクエストすることが好ましい。
さらに、各々の画像の解析結果に基づいて、各々の画像に写っている人物の数を算出する人物数算出部と、
複数の画像のうち、複数の画像における登場回数または登場比率が閾値未満であるユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、リクエスト対象画像を合成画像において使用することをリクエストすることが好ましい。
さらに、各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出する評価値算出部と、
複数の画像のうち、解析評価値が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、リクエスト対象画像の関連情報をリクエストすることが好ましい。
また、画像解析部は、各々の画像の解析結果に基づいて、各々の画像に写っている人物の笑顔度、および、複数の画像に写っている全ての人物の笑顔度の平均値を算出し、
さらに、複数の画像のうち、笑顔度が笑顔度の平均値よりも高いユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部を備え、
リクエスト部は、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、複数のユーザの各々の端末装置から、ネットワークを介して、複数のユーザの各々によって付与された各々の画像に対する高評価または低評価を表す評価情報を取得する評価情報取得部と、
各々の画像に対して高評価を表す評価情報が付与された数を算出する評価数算出部と、
複数の画像のうち、高評価を表す評価情報が付与された数が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、複数のユーザの端末装置から、ネットワークを介して、各々の画像が複数のユーザの各々の端末装置の画像表示部に表示されたことを表す表示情報を取得する表示情報取得部と、
表示情報に基づいて、各々の画像が各々のユーザの端末装置の画像表示部に表示された回数を算出する表示回数算出部と、
複数の画像のうち、各々のユーザの端末装置の画像表示部に表示された画像の回数が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
リクエスト部は、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、各々の画像の撮影日時に基づいて、複数の画像の中に含まれていない画像の撮影時間帯を特定する撮影時間帯特定部を備え、
リクエスト部は、関連情報として、複数の画像の中に含まれていない画像の撮影時間帯に撮影された画像をリクエストすることが好ましい。
さらに、複数の画像のうち、複数のユーザのうちの少なくとも一人の第2ユーザの端末装置によって指定された画像をリクエスト対象画像として特定する対象画像特定部を備え、
リクエスト部は、複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、リクエスト対象画像の関連情報をリクエストすることが好ましい。
さらに、複数のユーザの顔画像あるいは顔特徴量データを記憶する顔データ記憶部と、
複数のユーザの顔画像あるいは顔特徴量データに基づいて、複数のユーザのうち、複数の画像に写っていないユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部とを備え、
リクエスト部は、関連情報として、リクエスト対象ユーザが写っている画像をリクエストすることが好ましい。
また、画像解析部は、各々の画像の解析結果に基づいて、各々の画像に写っている人物の目線を検出し、人物の目線に基づいて、各々の画像に写っている人物が複数のユーザに含まれている人物なのか否かを検出し、
さらに、複数の画像に写っている人物のうち、複数のユーザに含まれている人物をリクエスト対象ユーザとして特定する対象ユーザ特定部を備え、
リクエスト部は、リクエスト対象ユーザの端末装置に対して関連情報をリクエストすることが好ましい。
さらに、複数のユーザの端末装置から、ネットワークを介して、合成画像の寄せ書きページにおいて使用するユーザの寄せ書きメッセージを取得するメッセージ取得部と、
複数の画像および寄せ書きメッセージを取得する期間を設定する日程設定部と、
複数の画像および寄せ書きメッセージを取得する期間が経過した後に、画像取得部によって取得された画像の数を算出する画像数算出部と、
複数の画像および寄せ書きメッセージを取得する期間が経過した後に、メッセージ取得部によって取得された寄せ書きメッセージの数を算出するメッセージ数算出部とを備え、
リクエスト部は、複数の画像の数が第1閾値未満である場合に、関連情報として、複数の画像に関連する画像をリクエストし、寄せ書きメッセージの数が第2閾値未満である場合に、関連情報として、複数の画像に関連する寄せ書きメッセージをリクエストすることが好ましい。
さらに、寄せ書きメッセージを用いて寄せ書きページを作成する寄せ書き作成部を備えることが好ましい。
また、リクエスト部は、関連情報として、複数の画像に関連する画像および寄せ書きページにおいて使用する寄せ書きメッセージのうちの少なくとも一方をリクエストすることが好ましい。
また、本発明は、画像取得部が、複数のユーザの端末装置からネットワークを介して複数の画像を取得するステップと、
画像解析部が、複数の画像の各々の内容を解析するステップと、
リクエスト部が、各々の画像の解析結果に基づいて、複数の画像に関連する関連情報を、ネットワークを介して、複数のユーザのうちの少なくとも一人の第1ユーザの端末装置に対してリクエストするステップとを含む画像処理方法を提供する。
さらに、関連情報取得部が、複数のユーザのうちの少なくとも一人の第1ユーザの端末装置からネットワークを介して関連情報を取得するステップを含むことが好ましい。
さらに、合成画像作成部が、複数の画像のうちの少なくとも1つの画像および関連情報を用いて合成画像を作成するステップを含むことが好ましい。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、合成画像において使用する素材が不足する場合に、不足する素材を複数の参加ユーザの端末装置から取得するのをアシストすることができるため、素材が不足する場合であっても合成画像を作成することができる。
本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 図1に示すサーバの構成を表す一実施形態のブロック図である。 図2に示す情報設定部の構成を表す一実施形態のブロック図である。 図2に示す情報管理部の構成を表す一実施形態のブロック図である。 図2に示すデータ取得部の構成を表す一実施形態のブロック図である。 図2に示すデータ解析部の構成を表す一実施形態のブロック図である。 図2に示す合成画像作成部の構成を表す一実施形態のブロック図である。 図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図1に示す画像処理装置の動作を表す一実施形態のフローチャートである。 図9に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図10に続く画像処理装置の動作を表す一実施形態のフローチャートである。 合成画像の予算を設定する画面を表す一例の概念図である。 フォトブックの表紙ページのデザインを設定する画面を表す一例の概念図である。 フォトブックの寄せ書きページのデザインを設定する画面を表す一例の概念図である。 画像および寄せ書きメッセージの募集締切日を設定する画面を表す一例の概念図である。 合成画像の作成期間を設定する画面を表す一例の概念図である。 画像商品の配送日を設定する画面を表す一例の概念図である。 画像商材および日程の情報を確認する画面を表す一例の概念図である。 アカウント情報を入力する画面を表す一例の概念図である。 幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面を表す一例の概念図である。 参加ユーザの端末装置へ送付する招待状を作成するための画面を表す一例の概念図である。 招待状の内容を確認するための画面を表す一例の概念図である。 招待状を参加ユーザの端末装置へ送付するための画面を表す一例の概念図である。 受け取った招待状を表す画面を表す一例の概念図である。 合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面を表す一例の概念図である。 新規な参加ユーザを登録するための画面を表す一例の概念図である。 参加ユーザとして登録する名前および秘密のコトバを登録するための画面を表す一例の概念図である。 参加ユーザがアップロードする画像を選択するための画面を表す一例の概念図である。 2以上の参加ユーザの端末装置から送信された複数の画像の各々を評価するための画面を表す一例の概念図である。 寄せ書きページがフォトブックの巻末に入ることを通知する画面を表す一例の概念図である。 寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面を表す一例の概念図である。 寄せ書きメッセージを入力するための画面を表す一例の概念図である。 参加ユーザが入力した寄せ書きメッセージを確認するための画面を表す一例の概念図である。 寄せ書きメッセージのアップロードが完了したことを表す画面を表す一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
図1は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置10は、合成画像の作成に関わる複数のユーザの端末装置からネットワーク16を介して取得された複数の画像を用いて、寄せ書きページを含むフォトブック等の合成画像を作成する。画像処理装置10は、サーバ12と、ネットワーク16を介してサーバ12に接続された複数のユーザの端末装置(クライアント)14とを備えている。
サーバ12は、端末装置14からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC(Personal Computer:パーソナルコンピュータ)またはワークステーション等により構成される。
端末装置14は、サーバ12に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。
ネットワーク16は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ12と端末装置14との間を相互に接続し、双方向の通信を可能とする。
図2は、図1に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ12は、合成画像に関する各種の情報を設定する情報設定部18と、合成画像の作成に関する各種の情報を管理する情報管理部20と、合成画像において使用する各種のデータを取得するデータ取得部22と、合成画像において使用する各種のデータを解析するデータ解析部24と、合成画像を作成する合成画像作成部26とを備えている。
以下の説明では、本編ページおよび寄せ書きページを含む合成画像の作成に関わる複数のユーザのうち、合成画像を作成する一人のユーザを幹事ユーザと表現し、幹事ユーザを含む2以上のユーザを参加ユーザと表現する。例えば、幹事が友人グループのうちの一人である場合などがこれに該当する。
ただし、別の実施態様において、写真店が幹事の代行を請け負う場合のように幹事自体は写真もメッセージも提供しないような場合は、参加ユーザの数には幹事ユーザの数は含まないものとする。
図3は、図2に示す情報設定部の構成を表す一実施形態のブロック図である。同図に示す情報設定部18は、予算設定部28と、商材取得部30と、表紙デザイン設定部32と、寄せ書きデザイン設定部34と、日程設定部36とを備えている。
予算設定部28は、幹事ユーザによって設定された合成画像の予算の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
続いて、商材取得部30は、予算設定部28によって取得された予算の情報に対応するサイズおよびページ数の1以上の画像商材(画像商材の情報)の中から、幹事ユーザによって設定された1つの画像商材を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像商材は、画像商品を作成するための素材であり、例えば、フォトブック等のフォトアルバム、シャッフルプリント、画像付きカレンダ等を含む。画像は主に写真である。
また、画像商材には、各々サイズおよびページ数のうちの少なくとも一方が異なる複数種類の画像商材が含まれる。画像商材のページ数は、本編ページおよび寄せ書きページを含むページ数である。画像商品には、紙媒体の画像商品および電子データの画像商品が含まれる。
本発明にいうページとは、画像配置および寄せ書き配置を行う単位をいう。本実施形態においては、見開きページのことを指す。しかし他の実施形態においては片面ページであってもよい。また、本実施形態内の画像処理装置10の内部では見開きページを単位とし、かつユーザには片面ページを単位として画像商材のページ数を表示することとしてもよい。
フォトブックは、例えば、ユーザが選択した複数の画像を、ユーザの所望のレイアウトで複数のページに配置した合成画像である。フォトブックはまた、ユーザが保有する所望の期間(例えば一年分)の画像から、自動選択により選択された画像を、自動レイアウトで複数のページに配置した合成画像であってもよい(例えば富士フイルム株式会社製のイヤーアルバム)。また、シャッフルプリントは、複数の画像をシャッフルして1枚のプリントに配置した合成画像である。画像付きカレンダは、例えば、各月のカレンダに対応する画像を配置した合成画像である。
本実施形態の場合、合成画像は、寄せ書きページを巻末に含むフォトブックである。寄せ書きページは、参加ユーザの端末装置14から取得された2以上の参加ユーザの寄せ書きメッセージが配置された合成画像である。寄せ書きメッセージは、寄せ書きページにおいて使用される参加ユーザのメッセージである。
また、寄せ書きメッセージに加えて、プロフィール画像を寄せ書きページに配置してもよい。プロフィール画像は、例えば、参加ユーザの顔画像であるが、その他の画像でもよい。
続いて、表紙デザイン設定部32は、1以上の表紙ページのデザインの中から、幹事ユーザによって設定された1つの表紙ページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
表紙ページのデザインの情報には、例えば、表紙ページの模様、表紙ページに描かれているイラスト等のデザインの情報の他、表紙ページに記載される合成画像のタイトルの情報、表紙ページの色の情報等が含まれる。
続いて、寄せ書きデザイン設定部34は、1以上の寄せ書きページのデザインの中から、幹事ユーザによって設定された1つの寄せ書きページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
寄せ書きページのデザインの情報には、例えば、参加ユーザのプロフィール画像および寄せ書きメッセージを寄せ書きページに配置する位置および大きさ等があらかじめ設定されたテンプレートの情報等を含む。
続いて、日程設定部36は、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日、合成画像の作成期間、および、画像商品の配送日を含む日程の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像および寄せ書きメッセージの募集締切日は、参加ユーザが画像および寄せ書きメッセージをアップロード(投稿)することができる期限、つまり、画像処理装置10が参加ユーザの端末装置14から画像および寄せ書きメッセージを取得することができる期限を表す。
また、合成画像の作成期間は、幹事ユーザが、複数のユーザの端末装置14から取得された複数の画像を用いて合成画像を作成するための期間、言い換えると、画像商品を注文する期限を表し、画像商品の配送日は、画像商品を配送する日付を表す。
続いて、図4は、図2に示す情報管理部の構成を表す一実施形態のブロック図である。同図に示す情報管理部20は、設定保存部38と、アカウント情報保存部40と、管理画面情報送付部42と、アップロード催促部44と、顔データ記憶部72とを備えている。
設定保存部38は、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報を保存する。
続いて、アカウント情報保存部40は、幹事ユーザによって設定された幹事ユーザのアカウント情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。また、アカウント情報保存部40は、参加ユーザによって設定された参加ユーザのアカウント情報を、ネットワーク16を介して、参加ユーザの端末装置14から取得して保存する。
例えば、幹事ユーザのアカウント情報は、幹事ユーザのメールアドレスおよび幹事パスワードである。一方、参加ユーザのアカウント情報は、参加ユーザの名前および個別パスワード(参加ユーザに対しては図27にあるように「秘密のコトバ」と表示される)である。参加ユーザの名前は、幹事ユーザが参加ユーザを管理するために使用され、個別パスワードは、画像処理装置10が参加ユーザを特定するために使用される。本実施形態の場合、秘密のコトバは、後から変更および再発行はできないものとする。
続いて、管理画面情報送付部42は、幹事ユーザが、画像商材および日程等を管理する管理画面にアクセスするためのURL(Uniform Resource Locator)を含むメッセージを、ネットワーク16を介して、幹事ユーザの端末装置14に送付する。幹事ユーザは、管理画面から画像商材および日程の変更の他、幹事ユーザの変更、幹事ユーザの追加(例えば後述する副幹事の追加)等を行うことができる。
管理画面情報送付部42は、例えば、電子メールにより、管理画面にアクセスするためのURLを含むメッセージを、アカウント情報保存部40によって取得された幹事ユーザのメールアドレスに送付する。
続いて、アップロード催促部44は、幹事ユーザによって作成された招待状を、ネットワーク16を介して、参加ユーザの端末装置14へ送付する。
招待状は、参加ユーザを合成画像の作成に招待し、合成画像において使用される画像、各々の画像に対する評価情報、プロフィール画像および寄せ書きメッセージ等をアップロードすることを参加ユーザに催促する催促情報である。
アップロード催促部44は、招待状を、例えば、SNS(Social Networking Service:ソーシャルネットワーキングサービス)のメッセージ、または、電子メールによって参加ユーザの端末装置14に送付する。
続いて、顔データ記憶部72は、2以上の参加ユーザの顔画像(顔画像の画像データ)または顔特徴量データを記憶する。
顔特徴量データは、参加ユーザの顔を特定するためのデータであり、例えば、参加ユーザの顔の主色相、輝度、ボケ、および、目、鼻、口等の顔の各部位を表すエッジ等の情報を含む。
顔画像は、例えば、参加ユーザのプロフィール画像から取得してもよいし、画像取得部46により、各々の参加ユーザの端末装置14から顔画像となる専用の画像を取得してもよい。また、顔特徴量データは、顔画像から自動で作成することができる。
続いて、図5は、図2に示すデータ取得部の構成を表す一実施形態のブロック図である。同図に示すデータ取得部22は、画像取得部46と、評価情報取得部48と、メッセージ取得部50と、リクエスト部74と、関連情報取得部76と、表示情報取得部78とを備えている。
画像取得部46は、一定の期間、本実施形態の場合、招待状が送付されてから、日程設定部36によって設定された画像および寄せ書きメッセージの募集締切日までの期間、2以上の参加ユーザの端末装置14からネットワーク16を介して送信された複数の画像(画像群)を取得する。また、画像取得部46は、各々の参加ユーザによって設定された参加ユーザのプロフィール画像を取得する。
続いて、評価情報取得部48は、同じく一定の期間、2以上の参加ユーザによって付与された各々の画像に対する評価を表す評価情報を、ネットワーク16を介して、2以上の参加ユーザの端末装置14から取得する。
画像の評価情報は、各々の画像に対する各々の参加ユーザの評価、例えば、高評価または低評価を表す情報である。
続いて、メッセージ取得部50は、同じく一定の期間、各々の参加ユーザによってアップロードされた寄せ書きメッセージを、ネットワーク16を介して、各々の参加ユーザの端末装置14から取得する。
続いて、リクエスト部74は、各々の画像の解析結果に基づいて、複数の画像に関連する関連情報を、ネットワーク16を介して、2以上の参加ユーザのうちの少なくとも一人の参加ユーザ(本発明の第1ユーザ)の端末装置14に対してリクエストする。
リクエスト部74は、例えば、合成画像において使用する画像および寄せ書きメッセージ等の素材が不足する場合に、関連情報として、複数の画像に関連する追加の画像および追加の寄せ書きメッセージのうちの少なくとも一方を自動でリクエストする。リクエスト部74は、例えば、電子メールにより、リクエストするメッセージを、参加ユーザのメールアドレスに送付する。
なお、関連情報は、合成画像の作成に必要となる各種の素材および各種の情報であり、追加の画像および追加の寄せ書きメッセージ等の素材に限らず、画像取得部46によって取得された複数の画像に関連する情報であれば何でもよい。関連情報として、例えば、画像に対するコメント、画像に写っている人物の情報、画像の所有者の情報、どの画像に対するコメントなのかの情報、誰からのコメントなのかの情報、誰へのコメントなのかの情報等を例示することができる。
続いて、関連情報取得部76は、リクエスト部74によるリクエストに応じて、2以上の参加ユーザのうちの少なくとも一人の参加ユーザの端末装置14からネットワーク16を介して送信された関連情報を取得する。
続いて、表示情報取得部78は、各々の画像が2以上の参加ユーザの各々の端末装置14の画像表示部68に表示されたことを表す表示情報を、ネットワーク16を介して、2以上の参加ユーザの端末装置14から取得する。
表示情報取得部78は、例えば、縮小表示された複数の画像の中から、参加ユーザが1つの画像を拡大して画像表示部68に表示させた場合に、拡大された1つの画像が参加ユーザの端末装置14の画像表示部68に表示されたことを表す表示情報を取得する。
続いて、図6は、図2に示すデータ解析部の構成を表す一実施形態のブロック図である。同図に示すデータ解析部24は、画像数算出部52と、評価数算出部54と、メッセージ数算出部56と、画像解析部58と、評価値算出部60と、人物数算出部80と、対象画像特定部82と、対象ユーザ特定部84と、表示回数算出部86と、撮影時間帯特定部88とを備えている。
画像数算出部52は、アップロード催促部44によって招待状が送付されてから一定の期間が経過した後、つまり、画像および寄せ書きメッセージの募集締切日が過ぎた後、画像取得部46によって取得された画像の数を算出する。
続いて、評価数算出部54は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数を算出する。
続いて、メッセージ数算出部56は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、メッセージ取得部50によって取得された寄せ書きメッセージの数を算出する。
続いて、画像解析部58は、画像取得部46によって取得された各々の画像の内容を解析する。本実施形態の場合、画像解析部58は、画像取得部46によって画像が取得される毎に、画像解析を行う。
画像解析部58は、例えば、画像の明るさや色合い、ボケおよびブレの程度等の解析の他、画像に人物の顔が含まれる場合には、顔の大きさ、顔の位置、顔の向き、顔の肌色、笑顔等の表情、目線、画像に含まれる人物の数、人物の位置関係等の解析を行う。
続いて、評価値算出部60は、画像解析部58による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出する。また、評価値算出部60は、評価情報取得部48によって取得された各々の画像に対する高評価および低評価を表す評価情報に基づいて、各々の画像の解析評価値に対して値を加減算ないしは重み付けして、各々の画像の総合評価値を算出する。
評価値算出部60は、例えば、評価数算出部54によって算出された高評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を加算し、低評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を減算することによって画像の総合評価値を算出することができる。
画像の解析評価値は、画像の解析結果に基づいて算出されるため、画像の良し悪しを決定するための基準となり、解析評価値が高いほど、画質の良い画像であると言える。
画像の総合評価値は、画像の解析結果に加えて、参加ユーザによって付与された高評価および低評価を表す評価情報に基づいて算出されるため、画像の良し悪しに加えて、参加ユーザの好みを判断するための基準となり、総合評価値が高いほど、画質の良い画像、または、参加ユーザの好みの画像であると言える。
続いて、人物数算出部80は、各々の画像の解析結果に基づいて、各々の画像に写っている人物の数、例えば、人物の顔の数を算出する。
続いて、対象画像特定部82は、各々の画像の解析結果等に基づいて、複数の画像のうち、リクエスト部74がリクエストを行う対象となる画像をリクエスト対象画像として特定する。
続いて、対象ユーザ特定部84は、アカウント情報等に基づいて、2以上の参加ユーザのうち、リクエスト部74がリクエストを行う対象となる参加ユーザをリクエスト対象ユーザとして特定する。
続いて、表示回数算出部86は、表示情報取得部78によって取得された表示情報に基づいて、各々の画像が各々の参加ユーザの端末装置14の画像表示部68に表示された回数を算出する。
続いて、撮影時間帯特定部88は、Exif(Exchangeable Image File Format)等のヘッダ情報に含まれる各々の画像の撮影日時に基づいて、複数の画像の中に含まれていない画像の撮影時間帯を特定する。
続いて、図7は、図2に示す合成画像作成部の構成を表す一実施形態のブロック図である。同図に示す合成画像作成部26は、表紙作成部62と、本編作成部64と、寄せ書き作成部66とを備えている。
表紙作成部62は、設定保存部38に保存された商材の情報、および、表紙デザイン設定部32によって取得された表紙ページのデザインの情報に対応するデザインの表紙ページを作成する。
続いて、本編作成部64は、画像取得部46によって取得された複数の画像を用いて、商材取得部30によって取得された1つの画像商材に対応するページ数の本編ページ(表紙ページおよび寄せ書きページ以外のページ)を作成する。本編作成部64は、設定保存部38に保存された商材の情報に対応する合成画像、本実施形態の場合、フォトブックの本編ページを作成する。
本編作成部64は、図示省略するが、画像分割部、画像抽出部および画像配置部等を備えている。
画像分割部は、画像取得部46によって取得された複数の画像を、本編ページのページ数に対応する数のグループに分割する。
画像抽出部は、画像のグループ毎に、画像の総合評価値に基づいて、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像を抽出する。
画像配置部は、画像のグループ毎に、画像の総合評価値に基づいて、画像抽出部によって抽出された各々の合成対象画像のサイズおよび本編ページにおける配置位置を決定し、合成対象画像を、画像のグループに対応するページの本編ページに配置(自動レイアウト)する。
続いて、寄せ書き作成部66は、メッセージ取得部50によって取得された参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページを作成する。寄せ書き作成部66は、設定保存部38に保存された商材の情報、および、寄せ書きデザイン設定部34によって取得された寄せ書きのデザインの情報に対応するデザインの寄せ書きページを作成する。
寄せ書き作成部66は、図示省略するが、メッセージ分割部およびメッセージ配置部等を備えている。
メッセージ分割部は、メッセージ取得部50によって取得された寄せ書きメッセージを、寄せ書きページのページ数に対応する数のグループに分割する。
メッセージ配置部は、寄せ書きメッセージのグループ毎に、グループに含まれる寄せ書きメッセージを、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置する。
寄せ書きページのページ数は、参加ユーザの数および寄せ書きメッセージの数等に応じて設定される。また、本編ページのページ数は、合成画像のページ数および寄せ書きページのページ数等に応じて設定される。本実施形態の場合、参加ユーザの数を2〜36人とし、1ページの寄せ書きページに2〜12の寄せ書きメッセージを配置し、16ページのフォトブックを作成するものとする。
上記情報設定部18、情報管理部20、データ取得部22、データ解析部24、合成画像作成部26を構成する各部位は、例えば、CPU(Central Processing Unit:中央処理装置)等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、SD(Secure Digital:セキュアデジタル)メモリ等の記憶デバイスに保存される。
次に、図8は、図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置14は、画像表示部68と、指示入力部70とを備えている。
端末装置14において、画像表示部68は、各種の設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
続いて、指示入力部70は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
本実施形態の場合、画像表示部68および指示入力部70は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
端末装置14は、合成画像の作成に関わる各々のユーザに1対1に対応して1台である必要はなく、画像処理装置10における各々のユーザのアカウントに対応することができるものであれば、各々のユーザに対応して複数台であってもよい。
図示省略しているが、サーバ12および端末装置14は、例えば、サーバ12と端末装置14との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
次に、図9〜図11に示すフローチャートおよび図12〜図34に示す表示画面を参照しながら、画像処理装置10の動作を説明する。
合成画像を作成する場合、まず、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、画像処理装置10が提供する、合成画像を作成するためのウェブサイトにアクセスする。
合成画像を作成するためのウェブサイトにアクセスすると、図12に示すように、予算設定部28により、合成画像の予算を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、合成画像の予算を設定する画面において、指示入力部70を介して、幹事ユーザが作成する合成画像の予算を設定する。図12の例では、プルダウンメニューによって、合成画像の予算の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている合成画像の予算の一覧の中から1つの予算、例えば、3000円〜4000円を選択して設定する。
合成画像の予算が設定されると、予算設定部28により、幹事ユーザによって設定された合成画像の予算の情報が、幹事ユーザの端末装置14から取得される(ステップS1)。
続いて、商材取得部30により、予算の情報に対応する1以上の画像商材が提示される。図12の例では、画像商材として、サイズおよびページ数の異なる5件のフォトブックが提示される。
画像商材が提示されると、商材取得部30により、提示した1以上の画像商材の中から1つの画像商材を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像商材を設定する画面において、指示入力部70を介して、提示された1以上の画像商材の中から1つの画像商材を選択して設定する。図12の例では、A4サイズの16ページのフォトブックが設定されている。
画像商材としてフォトブックが設定された後、「次へ」のボタンが押されると、例えば、「次へ」のボタンがタップまたはクリックされると、商材取得部30により、幹事ユーザによって設定された1つの画像商材が取得される(ステップS2)。
なお、「<」のボタンが押されると、1つ前の画面に戻ることができる。これ以後の画面においても同様である。
続いて、図13に示すように、表紙デザイン設定部32により、フォトブックの表紙ページのデザインを設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、表紙ページのデザインを設定する画面において、指示入力部70を介して、1以上の表紙ページのデザイン、図13の例では、3件の表紙ページのデザインの中から、1つの表紙ページのデザインを選択して設定する。また、幹事ユーザは、フォトブックの表紙ページのデザインの情報として、例えば、表紙ページに記載される最大20文字までのフォトブックのタイトル、および、表紙ページの色を設定することができる。
表紙ページのデザインが設定された後、「次へ」のボタンが押されると、表紙デザイン設定部32により、幹事ユーザによって設定された表紙ページのデザインの情報が、幹事ユーザの端末装置14から取得される(ステップS3)。
続いて、図14に示すように、寄せ書きデザイン設定部34により、フォトブックの寄せ書きページのデザインを設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、寄せ書きページのデザインを設定する画面において、指示入力部70を介して、1以上の寄せ書きのデザイン、図14の例では、9件の寄せ書きのデザインの中から、1つの寄せ書きのデザインを選択して設定する。
寄せ書きページのデザインが設定された後、「次へ」のボタンが押されると、寄せ書きデザイン設定部34により、幹事ユーザによって設定された寄せ書きページのデザインの情報が、幹事ユーザの端末装置14から取得される(ステップS4)。
続いて、図15に示すように、日程設定部36により、画像および寄せ書きメッセージの募集締切日を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像および寄せ書きメッセージの募集締切日を設定する画面において、指示入力部70を介して、画像および寄せ書きメッセージの募集締切日を設定する。図15の例では、プルダウンメニューによって、現在の日付から一定期間内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月2日を募集締切日として選択して設定する。
画像および寄せ書きメッセージの募集締切日が設定された後、「次へ」のボタンが押されると、日程設定部36により、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日の情報が、幹事ユーザの端末装置14から取得される(ステップS5)。
続いて、図16に示すように、日程設定部36により、合成画像の作成期間を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、合成画像の作成期間を設定する画面において、指示入力部70を介して、合成画像の作成期間を設定する。図16の例では、プルダウンメニューによって、画像および寄せ書きメッセージの募集の期間の締切日から30日以内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月4日を選択することによって12月2日〜4日を作成期間として設定する。
合成画像の作成期間が設定された後、「次へ」のボタンが押されると、日程設定部36により、幹事ユーザによって設定された合成画像の作成期間の情報が、幹事ユーザの端末装置14から取得される(ステップS5)。
続いて、図17に示すように、日程設定部36により、画像商品の配送日を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
画像商品の配送日は、日程設定部36により、合成画像の作成期間の締切日から一定の期間の後の日付、図17の例では、合成画像の作成期間の最終日である12月4日から16日後の12月20日に自動で設定される。
幹事ユーザは、画像商品の配送日を設定する画面において、指示入力部70を介して、画像商品の配送日を変更することができる。図17の例では、例えば、追加料金を支払って、特急仕上げを指定することによって、画像商品の配送日を12月20日よりも前の日付に設定することができる。
画像商品の配送日が設定された後、「次へ」のボタンが押されると、日程設定部36により、画像商品の配送日の情報が取得される(ステップS5)。
複数のユーザの端末装置14から送信された複数の画像を用いて合成画像を作成する場合、期限管理が難しいが、画像処理装置10では、期限管理を行うことができるため、幹事ユーザの負担を軽減することができる。
続いて、図18に示すように、設定保存部38により、画像商材および日程の情報を確認する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像商材および日程の情報を確認する画面において、画像商材および日程の情報を確認し、その設定でよい場合には、「保存/ログイン」のボタンを押して次の画面へ進み、設定を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「保存/ログイン」のボタンが押されると、図19に示すように、設定保存部38により、幹事ユーザが画像処理装置10へログインするためのアカウント情報を入力する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像処理装置10にログインするためのアカウント情報として、指示入力部70を介して、幹事ユーザのメールアドレスおよび幹事パスワードを入力する。幹事ユーザが既に画像処理装置10への会員登録を済ませている場合には、「ログイン」のボタンを押す。また、会員登録後に幹事パスワードを忘れた場合には、「パスワード忘れ」のボタンを押すことによって幹事パスワードを回復するための処理を行う。
「ログイン」のボタンが押されると、アカウント情報保存部40により、既に保存されているアカウント情報と、幹事ユーザによって入力されたアカウント情報とが比較され、両者が一致した場合に、幹事ユーザは画像処理装置10にログインすることができる。
一方、まだ会員登録を済ませていない場合には、「新規会員登録」のボタンを押すことによって新規に会員登録を行うための処理を行う。「新規会員登録」のボタンが押されると、アカウント情報保存部40により、幹事ユーザによって入力されたメールアドレスおよび幹事パスワードが取得され、幹事ユーザのアカウント情報として保存される。幹事ユーザの端末装置14は、会員登録の完了後、画像処理装置10へログインすることができる。
続いて、設定保存部38により、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報が保存される。
続いて、図20に示すように、設定保存部38により、幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
続いて、管理画面情報送付部42により、管理画面にアクセスするためのURLを含むメッセージが送付される。また、このメッセージには、画像商材および日程の情報が保存されたことを表す通知が含まれている。
また、図20の例では、幹事ユーザだけでなく、指示入力部70を介して、幹事ユーザ以外の参加ユーザのメールアドレスを入力することによって、幹事ユーザ以外の参加ユーザ、例えば、幹事ユーザの代理を務める副幹事ユーザのメールアドレス等にも、管理画面にアクセスするためのURLを含むメッセージを送付することができる。
続いて、「次へ」のボタンが押されると、図21に示すように、アップロード催促部44により、参加ユーザの端末装置14へ送付する招待状を作成するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状を作成するための画面において、指示入力部70を介して、招待状に含めるメッセージを一定文字以内、図21の例では、150文字以内で入力する。また、図21の例では、「みんなの写真とメッセージでフォトブックを贈ろうよ!」という初期メッセージが自動で入力されている。これにより、幹事ユーザがメッセージを入力する手間を省くことができる。幹事ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
「次へ」のボタンが押されると、アップロード催促部44により、招待状に含めるメッセージの情報が取得され、招待状が作成される(ステップS6)。
続いて、図22に示すように、アップロード催促部44により、招待状の内容を確認するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状の内容を確認するための画面において、招待状の内容を確認し、その内容でよい場合には、「招待状送付画面へ」のボタンを押して次の画面へ進み、内容を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「招待状送付画面へ」のボタンが押されると、図23に示すように、アップロード催促部44により、招待状を参加ユーザの端末装置14へ送付するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状を送付するための画面において、指示入力部70を介して、招待状を送付する手段として、図23の例では、SNSのメッセージまたは電子メールを選択する。招待状は、「SNS」のボタンが押された場合、SNSのメッセージとして参加ユーザのSNSのアカウントに送付され、「メール」のボタンが押された場合、電子メールによって参加ユーザのメールアドレスに送付される。
幹事ユーザは、合成画像の作成に関わる全ての参加ユーザに対して招待状を送付してもよいし、一部の参加ユーザのみに対して招待状を送付してもよい。
SNSのメッセージまたは電子メールには、招待状の他、合成画像で使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための招待用URL、および、共通パスワード、図23の例では、「5865」が含まれている。
「次へ」のボタンが押されると、アップロード催促部44により、招待状が参加ユーザの端末装置14に送付される(ステップS7)。
参加ユーザは、招待状を参加ユーザの端末装置14において受け取り、指示入力部70を介して、招待用URLで示されるウェブサイトにアクセスする。
招待用URLで示されるウェブサイトにアクセスすると、図24に示すように、アップロード催促部44により、受け取った招待状を表す画面が、参加ユーザの端末装置14の画像表示部68に表示される(ステップS8)。
招待状には、幹事ユーザからのメッセージの他、参加ユーザへの要望として、合成画像において使用する画像および寄せ書きメッセージをアップロードすること、および、その募集締切日等の情報、本実施形態の場合、12月2日(水)の23:59が表示される。
参加ユーザは、招待状を表す画面を閲覧して、幹事ユーザから参加ユーザへの要望が、フォトブックにする画像および寄せ書きメッセージのアップロードであり、その募集締切日が、12月2日であることを理解する。
続いて、「利用規約に同意する」のチェックボックスがチェックされ、「次へ」のボタンが押されると、図25に示すように、アカウント情報保存部40により、合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、共通パスワードを入力するための画面において、指示入力部70を介して、受け取った招待状に含まれている共通パスワード、図25の例では、「5865」を入力する。
共通パスワードが入力され、「次へ」のバタンが押されると、図26に示すように、アカウント情報保存部40により、新規な参加ユーザを登録するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
新規な参加ユーザを登録するための画面には、既に参加ユーザとして登録済みのユーザ(現在の参加メンバー)の名前が表示される。登録済みの参加ユーザの名前を表示することは必須ではない。しかし、登録済みの参加ユーザの名前を表示することによって、ユーザが新規に参加ユーザとして登録する場合に、自分が知っている名前が登録済みの参加ユーザの名前の中にあれば、安心して登録を行うことができる。
参加ユーザは、まだ参加ユーザとして画像処理装置10に登録していない場合、「新規登録」のボタンを押し、既に参加ユーザとして登録済みの場合には、「内容修正」のボタンを押す。
「新規登録」のボタンが押されると、図27に示すように、アカウント情報保存部40により、参加ユーザとして登録する名前および個別パスワード(図27では「秘密のコトバ」と表示される)を登録するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、指示入力部70を介して、名前として本名またはニックネームを入力し、秘密のコトバとして任意の文字列を入力する。
参加ユーザの名前および秘密のコトバは、参加ユーザのアカウント情報となる。参加ユーザは、図26に示すように、新規な参加ユーザを登録するための画面において、「内容修正」のボタンを押し、既に登録済みの名前および秘密のコトバを入力することによって、既にアップロードした画像、画像の評価情報、寄せ書きメッセージ等を修正することができる。
参加ユーザの名前および秘密のコトバが入力され、「次へ」のボタンが押されると、アカウント情報保存部40により、その参加ユーザの名前および秘密のコトバが取得され、参加ユーザのアカウント情報として保存される。
続いて、図28に示すように、画像取得部46により、参加ユーザがアップロードする画像を選択するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、アップロードする画像を選択するための画面において、「画像追加」のボタンを押すことによって、アップロードする画像を選択することができる。アップロードする画像を選択するための画面には、参加ユーザによって選択された画像の枚数が表示される。
アップロードする画像が選択された後、「次へ」のボタンが押されると、画像取得部46により、参加ユーザからアップロードされた画像、つまり、参加ユーザの端末装置14から投稿された画像が取得される(ステップS9)。このように、画像取得部46は、2以上の参加ユーザの端末装置14から送信された複数の画像を取得する。また、画像取得部46によって画像が取得される毎に、画像解析部58により画像の解析が行われ、評価値算出部60により、画像の解析結果に基づいて画像の解析評価値が算出される(ステップS10)。
続いて、図29に示すように、評価情報取得部48により、2以上の参加ユーザの端末装置14から送信された複数の画像の各々を評価するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、各々の画像を評価するための画面において、指示入力部70を介して、各々の画像に対して高評価または低評価を表す評価情報を付与することができる。例えば、参加ユーザは、各々の画像を閲覧し、自分が好きな画像に対して、「いいね」のボタンを押すことによって高評価を表す評価情報を付与し、嫌いな画像に対して、「いまいち」のボタンを押すことによって低評価を表す評価情報を付与することができる。
各々の参加ユーザの端末装置14から各々の画像に対して高評価および低評価を表す評価情報が付与されると、評価情報取得部48により、各々の画像に対して付与された高評価および低評価を表す評価情報が、参加ユーザの端末装置14から取得される(ステップS11)。
評価情報が付与された後、「次へ」のボタンが押されると、図30に示すように、メッセージ取得部50により、寄せ書きページがフォトブックの巻末に入ることを通知する画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きページがフォトブックの巻末に入ることを通知する画面を閲覧して確認する。
続いて、「次へ」のボタンが押されると、図31に示すように、メッセージ取得部50により、寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、プロフィール画像を設定するための画面を押すことによって、参加ユーザが参加ユーザの端末装置14において所有する画像の中からプロフィール画像として使用する画像を選択して設定することができる。また、参加ユーザは、「削除」のボタンを押すことによって、既に設定したプロフィール画像を削除し、再度、プロフィール画像を設定し直すことができる。
参加ユーザがプロフィール画像を設定した後、「次へ」のボタンが押されると、画像取得部46により、参加ユーザによって設定されたプロフィール画像が、参加ユーザの端末装置14から取得される(ステップS12)。
続いて、図32に示すように、メッセージ取得部50により、寄せ書きメッセージを入力するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きメッセージを入力するための画面において、指示入力部70を介して、寄せ書きページに含めるメッセージを150文字以内で入力する。図32の例では、「結婚おめでとう。 … 幸せになってください。」という初期メッセージが自動で入力されている。これにより、参加ユーザがメッセージを入力する手間を省くことができる。参加ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
また、参加ユーザは、寄せ書きメッセージを入力するための画面において、「他の人の寄せ書きを見る」のボタンを押すことによって、他の参加ユーザが既にアップロードした寄せ書きメッセージを閲覧することができる。
参加ユーザが寄せ書きメッセージを入力した後、「入力完了」のボタンが押されると、図33に示すように、メッセージ取得部50により、参加ユーザが入力した寄せ書きメッセージを確認するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きメッセージを確認する画面において、寄せ書きメッセージを閲覧して確認し、そのメッセージでよい場合には、「投稿する」のボタンを押して次の画面へ進み、メッセージを変更したい場合には、「<」のボタンを押して前の画面に戻る。
「投稿する」のボタンが押されると、メッセージ取得部50により、参加ユーザから投稿された寄せ書きメッセージ、つまり、参加ユーザの端末装置14からアップロードされた寄せ書きメッセージが取得される(ステップS13)。
このように、複数のユーザの画像を用いてフォトブック等の合成画像を作成する場合に、フォトブックの本編ページだけでなく、寄せ書きページを含めることによって、フォトブックの受取人に対する各々の参加ユーザの気持ちを寄せ書きメッセージとして伝えることができる。
続いて、図34に示すように、寄せ書きメッセージの投稿が完了したことを表す画面が、参加ユーザの端末装置14の画像表示部68に表示される。
続いて、「完了」のボタンが押されると、画像、画像の評価情報および寄せ書きメッセージのアップロードは完了する。
続いて、日程設定部36により、画像および寄せ書きメッセージの募集締切日を過ぎたことが検出されると、画像数算出部52により、画像取得部46によって取得された画像の数が算出される(ステップS14)。また、評価数算出部54により、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数が算出され(ステップS15)、メッセージ数算出部56により、メッセージ取得部50によって取得された寄せ書きメッセージの数が算出される(ステップS16)。
画像数算出部52によって算出された画像の数が第1閾値未満、例えば、合成画像の本編ページにおいて使用する画像の下限数未満である場合、リクエスト部74により、関連情報として、複数の画像に関連する追加の画像が、参加ユーザの端末装置14に対してリクエストされる(ステップS17)。
また、メッセージ数算出部56によって算出された寄せ書きメッセージの数が第2閾値未満、例えば、寄せ書きページにおいて使用する寄せ書きメッセージの下限数未満である場合、リクエスト部74により、関連情報として、寄せ書きページにおいて使用する追加の寄せ書きメッセージが、参加ユーザの端末装置14に対してリクエストされる(ステップS17)。
参加ユーザは、前述の画像および寄せ書きメッセージのアップロードの場合と同様にして、追加の画像および追加の寄せ書きメッセージをアップロードすることができる。
追加の画像および追加の寄せ書きメッセージのアップロードが完了すると、関連情報取得部76により、関連情報として、参加ユーザによってアップロードされた追加の画像および追加の寄せ書きメッセージが取得される(ステップS18)。
関連情報取得部76が追加の画像および追加の寄せ書きメッセージを取得する場合の動作は、画像取得部46が画像を取得する場合およびメッセージ取得部50が寄せ書きメッセージを取得する場合の動作と同様である。
ここで、リクエスト部74は、関連情報をリクエストする場合、例えば、対象画像特定部82によってリクエスト対象画像を特定し、かつ、対象ユーザ特定部84によってリクエスト対象ユーザを特定し、対象画像特定部82によって特定されたリクエスト対象画像の関連情報を、対象ユーザ特定部84によって特定されたリクエスト対象ユーザの端末装置14に対してリクエストしてもよい。
例えば、人物数算出部80により、各々の画像の解析結果に基づいて、各々の画像に写っている人物の数を算出し、対象画像特定部82により、人物数算出部80によって算出された各々の画像に写っている人物の数に基づいて、複数の画像のうち、閾値以上の数の人物が写っている画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像の関連情報として、例えば、5人以上の人物が写っている画像に関連する画像および5人以上の人物が写っている画像に対するコメント等をリクエストすることができる。また、関連情報として、例えば、画像に写っているイベント、画像の撮影日時、および、画像の撮影場所のうちの少なくとも1つの情報をリクエストしてもよい。
また、上記のように、リクエスト対象画像を特定した場合、対象ユーザ特定部84により、2以上の参加ユーザのうち、リクエスト対象画像をアップロードした参加ユーザ、つまり、画像取得部46がリクエスト対象画像を取得した端末装置14の参加ユーザをリクエスト対象ユーザとして特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像の関連情報を、リクエスト対象ユーザの端末装置14、つまり、リクエスト対象画像をアップロードした参加ユーザの端末装置14に対してリクエストすることができる。
また、対象ユーザ特定部84により、顔データ記憶部72に記憶された2以上の参加ユーザの顔画像あるいは顔特徴量データに基づいて、2以上の参加ユーザのうち、各々の画像に写っている参加ユーザをリクエスト対象ユーザとして特定し、かつ、対象画像特定部82により、複数の画像のうち、リクエスト対象ユーザが写っている画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、参加ユーザが写っている画像の関連情報を、リクエスト対象ユーザ、つまり、各々の画像に写っている参加ユーザの端末装置14に対してリクエストすることができる。
また、画像抽出部により、複数の画像の中から、本編ページにおいて使用する複数の合成対象画像を抽出し、人物数算出部80により、各々の画像の解析結果に基づいて、各々の画像に写っている人物の数を算出し、対象画像特定部82により、人物数算出部80によって算出された各々の画像に写っている人物の数に基づいて、複数の画像のうち、画像抽出部によって抽出された複数の合成対象画像における登場回数または登場比率が閾値未満である参加ユーザが写っている画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、複数の合成対象画像における登場回数または登場比率が閾値未満である参加ユーザが写っている画像を本編ページにおいて使用することを、幹事ユーザ(本発明の第2ユーザ)の端末装置14に対してリクエストすることができる。
同様に、対象画像特定部82により、人物数算出部80によって算出された各々の画像に写っている人物の数に基づいて、複数の画像のうち、複数の画像における登場回数または登場比率が閾値未満である参加ユーザが写っている画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、複数の画像における登場回数または登場比率が閾値未満である参加ユーザが写っている画像を合成画像において使用することを、幹事ユーザの端末装置14に対してリクエストすることができる。
また、評価値算出部60により、各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出し、対象画像特定部82により、複数の画像のうち、評価値算出部60によって算出された各々の画像の解析評価値が閾値以上である画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、画像解析値が閾値以上である画像の関連情報をリクエストすることができる。
また、画像解析部58により、各々の画像の解析結果に基づいて、各々の画像に写っている人物の笑顔度、および、複数の画像に写っている全ての人物の笑顔度の平均値を算出し、対象画像特定部82により、複数の画像のうち、画像解析部58によって算出された笑顔度が笑顔度の平均値よりも高い参加ユーザが写っている画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、笑顔度が笑顔度の平均値よりも高い参加ユーザが写っている画像の関連情報をリクエストすることができる。
また、対象画像特定部82により、評価数算出部54によって算出された評価情報の数に基づいて、複数の画像のうち、高評価を表す評価情報が付与された数が閾値以上である画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、高評価を表す評価情報が付与された数が閾値以上である画像の関連情報をリクエストすることができる。
また、表示情報取得部78により、各々の画像が2以上の参加ユーザの各々の端末装置14の画像表示部68に表示されたことを表す表示情報を、2以上の参加ユーザの端末装置14から取得し、表示回数算出部86により、表示情報に基づいて、各々の画像が各々の参加ユーザの端末装置14の画像表示部68に表示された回数を算出し、対象画像特定部82により、表示回数算出部86によって算出された各々の画像の表示回数に基づいて、複数の画像のうち、各々の参加ユーザの端末装置14の画像表示部68に表示された画像の回数が閾値以上である画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、参加ユーザによる閲覧回数が閾値以上である画像の関連情報をリクエストすることができる。
また、撮影時間帯特定部88により、各々の画像の撮影日時に基づいて、複数の画像の中に含まれていない画像の撮影時間帯を特定してもよい。
この場合、リクエスト部74は、関連情報として、例えば、撮影時間帯特定部88によって特定された、複数の画像の中に含まれていない画像の撮影時間帯に撮影された画像をリクエストすることができる。
また、対象画像特定部82により、複数の画像のうち、幹事ユーザの端末装置14によって指定された画像をリクエスト対象画像として特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象画像、つまり、幹事ユーザの端末装置14によって指定された画像の関連情報を、幹事ユーザの端末装置14に対してリクエストすることができる。
また、対象ユーザ特定部84により、顔データ記憶部72に記憶された2以上の参加ユーザの顔画像あるいは顔特徴量データに基づいて、2以上の参加ユーザのうち、複数の画像に写っていない参加ユーザをリクエスト対象ユーザとして特定してもよい。
この場合、リクエスト部74は、関連情報として、例えば、リクエスト対象ユーザ、つまり、複数の画像に写っていない参加ユーザが写っている画像をリクエストすることができる。
また、画像解析部58により、各々の画像の解析結果に基づいて、各々の画像に写っている人物の目線を検出し、人物の目線に基づいて、各々の画像に写っている人物が2以上の参加ユーザに含まれている人物なのか否かを検出し、対象ユーザ特定部84により、複数の画像に写っている人物のうち、2以上の参加ユーザに含まれている人物をリクエスト対象ユーザとして特定してもよい。
この場合、リクエスト部74は、例えば、リクエスト対象ユーザ、つまり、複数の画像に写っている参加ユーザの端末装置14に対して関連情報をリクエストすることができる。
このように、画像処理装置10では、合成画像において使用する素材が不足する場合に、不足する素材を複数の参加ユーザの端末装置14から取得するのをアシストすることができるため、素材が不足する場合であっても合成画像を作成することができる。
続いて、評価値算出部60により、各々の画像に対する高評価および低評価を表す評価情報、例えば、評価情報の数に基づいて、各々の画像の解析評価値に対して値が加減算されて、各々の画像の総合評価値が算出される(ステップS19)。
前述のように、画像が取得される毎に、画像を解析して、その解析評価値を算出することは必須ではない。しかし、画像が取得される毎に、画像を解析して、その解析評価値を算出しておくことにより、全ての画像を取得した後に画像をまとめて解析して解析評価値を算出する場合と比べて、画像の総合評価値を短時間で算出することができ、その結果、合成画像の作成にかかる時間を短縮することができる。
続いて、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、合成画像作成部26に対して合成画像の作成を指示する。
合成画像作成部26に対して合成画像の作成が指示されると、表紙作成部62により、表紙ページのデザインの情報に対応するデザインであり、幹事ユーザによって設定されたタイトルが記載され、幹事ユーザによって設定された色の表紙ページが作成される(ステップS20)。
続いて、本編作成部64により、画像取得部46によって取得された複数の画像のうちの少なくとも1つの画像および関連情報取得部76によって取得された関連情報、例えば、追加の画像およびコメント等を用いて、フォトブックの本編ページが作成される(ステップS21)。
本編作成部64では、画像分割部により、画像取得部46によって取得された複数の画像が、本編ページのページ数に対応する複数のグループに分割される。
続いて、画像抽出部により、画像のグループ毎に、画像の総合評価値に基づいて、例えば、総合評価値が最も高い画像から順に、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像が抽出される。
続いて、画像配置部により、画像のグループ毎に、画像の総合評価値に基づいて、各々の合成対象画像のサイズおよび本編ページにおける配置位置が決定され、合成対象画像が、各々対応する本編ページに配置される。例えば、本編ページに配置される複数の合成対象画像のうち、総合評価値が最も高い合成対象画像が、他の合成対象画像よりも大きいサイズで、そのページの中央位置に配置される。
続いて、寄せ書き作成部66により、参加ユーザのプロフィール画像、寄せ書きメッセージおよび関連情報取得部76によって取得された関連情報、例えば、追加の寄せ書きメッセージ等を用いて、寄せ書きページのデザインの情報に対応するデザインの寄せ書きページが作成される(ステップS22)。
寄せ書き作成部66では、メッセージ分割部により、メッセージ取得部50によって取得された寄せ書きメッセージが、寄せ書きページのページ数に対応する数のグループに分割される。
続いて、メッセージ配置部により、寄せ書きメッセージのグループ毎に、例えば、グループに含まれる寄せ書きメッセージと対応する参加ユーザのプロフィール画像とが組み合わされて、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置されて寄せ書きページが作成される。各々の寄せ書きページにおいて、寄せ書きメッセージは、例えば、寄せ書きメッセージがアップロードされた順序で順次配置される。
上記のように、表紙作成部62、本編作成部64および寄せ書き作成部66によって、2以上の参加ユーザの端末装置14から取得された複数の画像、参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、それぞれ、表紙ページのデザインの情報に対応する表紙ページ、本編ページ、および、寄せ書きページのデザインの情報に対応する寄せ書きページを含むフォトブックが自動で作成される。
画像処理装置10では、本編ページだけでなく、寄せ書きページを含むフォトブック等の合成画像を作成することができる。また、画像の総合評価値に基づいて、本編ページにおいて使用する画像の他、各々の画像のサイズおよび本編ページにおける配置位置等を決定することによって、画像の良し悪しだけでなく、複数の参加ユーザの好みを反映した合成画像を作成することができる。
幹事ユーザは、幹事ユーザの端末装置14において、自動で作成された表紙ページ、本編ページおよび寄せ書きページからなるフォトブックの各ページを閲覧する。幹事ユーザは、自動で作成されたフォトブックをそのまま採用してもよいし、各ページの内容、例えば、各ページにおいて使用する画像、画像のサイズ、画像および寄せ書きメッセージの配置位置等を編集してもよい。また、コメントの追加、スタンプ画像の追加、各ページの背景の種類および色の変更等を行うことができる。
幹事ユーザは、日程設定部36によって設定された合成画像の作成期間内、本実施形態の場合、12月4日までにフォトブックの作成を完了し、作成を完了したフォトブックの内容で画像商品を注文する(ステップS23)。幹事ユーザが注文する画像商品には、紙媒体のフォトブックおよび電子データのフォトブックの少なくとも一方が含まれる。
画像商品が注文されると、注文された画像商品のフォトブックが作成され、日程設定部36によって設定された画像商品の配送日、本実施形態の場合、12月20日までに配送先へ送付される(ステップS24)。紙媒体のフォトブックの場合には、例えば、紙媒体のフォトブックが配送先へ送付され、電子データのフォトブックの場合には、例えば、電子データのフォトブック、あるいは電子データをダウンロードするためのURL等が配送先のメールアドレスへ送付される。
以上のように、画像処理装置10では、複数の参加ユーザの端末装置14から取得された複数の画像および寄せ書きメッセージを用いて、寄せ書きページを含むフォトブック等の合成画像を作成することができる。
なお、幹事ユーザだけが合成画像を作成することは必須ではなく、合成画像の作成に関わる複数のユーザが共同で合成画像を作成してもよいし、複数のユーザのうちの少なくとも一人のユーザが合成画像を作成してもよい。
画像処理装置10を構成する各部位の具体的な構成は特に限定されず、同様の機能を果たすことができる各種構成のものを利用することができる。
また、上記実施形態では、サーバ12が情報設定部18、情報管理部20、データ取得部22、データ解析部24および合成画像作成部26を備えているが、これらのうちの少なくとも1つをユーザの端末装置14が備えていてもよい。
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像処理装置
12 サーバ
14 端末装置(クライアント)
16 ネットワーク
18 情報設定部
20 情報管理部
22 データ取得部
24 データ解析部
26 合成画像作成部
28 予算設定部
30 商材取得部
32 表紙デザイン設定部
34 寄せ書きデザイン設定部
36 日程設定部
38 設定保存部
40 アカウント情報保存部
42 管理画面情報送付部
44 アップロード催促部
46 画像取得部
48 評価情報取得部
50 メッセージ取得部
52 画像数算出部
54 評価数算出部
56 メッセージ数算出部
58 画像解析部
60 評価値算出部
62 表紙作成部
64 本編作成部
66 寄せ書き作成部
68 画像表示部
70 指示入力部
72 顔データ記憶部
74 リクエスト部
76 関連情報取得部
78 表示情報取得部
80 人物数算出部
82 対象画像特定部
84 対象ユーザ特定部
86 表示回数算出部
88 撮影時間帯特定部

Claims (25)

  1. 複数のユーザの端末装置からネットワークを介して複数の画像を取得する画像取得部と、
    前記複数の画像の各々の内容を解析する画像解析部と、
    前記各々の画像の解析結果に基づいて、前記複数の画像に関連する関連情報を、前記ネットワークを介して、前記複数のユーザのうちの少なくとも一人の第1ユーザの端末装置に対してリクエストするリクエスト部とを備える画像処理装置。
  2. さらに、前記複数のユーザのうちの少なくとも一人の第1ユーザの端末装置から前記ネットワークを介して前記関連情報を取得する関連情報取得部を備える請求項1に記載の画像処理装置。
  3. さらに、前記複数の画像のうちの少なくとも1つの画像および前記関連情報を用いて合成画像を作成する合成画像作成部を備える請求項2に記載の画像処理装置。
  4. さらに、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の数を算出する人物数算出部と、
    前記複数の画像のうち、閾値以上の数の人物が写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  5. さらに、前記複数のユーザのうち、前記画像取得部が前記リクエスト対象画像を取得した端末装置のユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部を備え、
    前記リクエスト部は、前記リクエスト対象ユーザの端末装置に対して、前記リクエスト対象画像の関連情報をリクエストする請求項4に記載の画像処理装置。
  6. 前記リクエスト部は、前記関連情報として、前記リクエスト対象画像に写っているイベント、前記リクエスト対象画像の撮影日時、および、前記リクエスト対象画像の撮影場所のうちの少なくとも1つの情報をリクエストする請求項4または5に記載の画像処理装置。
  7. さらに、前記複数のユーザの顔画像あるいは顔特徴量データを記憶する顔データ記憶部と、
    前記複数のユーザの顔画像あるいは顔特徴量データに基づいて、前記複数のユーザのうち、前記各々の画像に写っているユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部と、
    前記複数の画像のうち、前記リクエスト対象ユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記リクエスト対象ユーザの端末装置に対して、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  8. さらに、前記複数の画像の中から、前記合成画像において使用する複数の合成対象画像を抽出する画像抽出部と、
    前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の数を算出する人物数算出部と、
    前記複数の画像のうち、前記複数の合成対象画像における登場回数または登場比率が閾値未満であるユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、前記リクエスト対象画像を前記合成画像において使用することをリクエストする請求項3に記載の画像処理装置。
  9. さらに、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の数を算出する人物数算出部と、
    前記複数の画像のうち、前記複数の画像における登場回数または登場比率が閾値未満であるユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、前記リクエスト対象画像を前記合成画像において使用することをリクエストする請求項3に記載の画像処理装置。
  10. さらに、前記各々の画像の解析結果に基づいて、前記各々の画像の解析評価値を算出する評価値算出部と、
    前記複数の画像のうち、前記解析評価値が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  11. 前記画像解析部は、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の笑顔度、および、前記複数の画像に写っている全ての人物の笑顔度の平均値を算出し、
    さらに、前記複数の画像のうち、前記笑顔度が前記笑顔度の平均値よりも高いユーザが写っている画像をリクエスト対象画像として特定する対象画像特定部を備え、
    前記リクエスト部は、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  12. さらに、前記複数のユーザの各々の端末装置から、前記ネットワークを介して、前記複数のユーザの各々によって付与された前記各々の画像に対する高評価または低評価を表す評価情報を取得する評価情報取得部と、
    前記各々の画像に対して前記高評価を表す評価情報が付与された数を算出する評価数算出部と、
    前記複数の画像のうち、前記高評価を表す評価情報が付与された数が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  13. さらに、前記複数のユーザの端末装置から、前記ネットワークを介して、前記各々の画像が前記複数のユーザの各々の端末装置の画像表示部に表示されたことを表す表示情報を取得する表示情報取得部と、
    前記表示情報に基づいて、前記各々の画像が前記各々のユーザの端末装置の画像表示部に表示された回数を算出する表示回数算出部と、
    前記複数の画像のうち、前記各々のユーザの端末装置の画像表示部に表示された画像の回数が閾値以上である画像をリクエスト対象画像として特定する対象画像特定部とを備え、
    前記リクエスト部は、前記リクエスト対象画像の関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  14. さらに、前記各々の画像の撮影日時に基づいて、前記複数の画像の中に含まれていない画像の撮影時間帯を特定する撮影時間帯特定部を備え、
    前記リクエスト部は、前記関連情報として、前記複数の画像の中に含まれていない画像の撮影時間帯に撮影された画像をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  15. さらに、前記複数の画像のうち、前記複数のユーザのうちの少なくとも一人の第2ユーザの端末装置によって指定された画像をリクエスト対象画像として特定する対象画像特定部を備え、
    前記リクエスト部は、前記複数のユーザのうちの少なくとも一人の第2ユーザの端末装置に対して、前記リクエスト対象画像の関連情報をリクエストする請求項3に記載の画像処理装置。
  16. さらに、前記複数のユーザの顔画像あるいは顔特徴量データを記憶する顔データ記憶部と、
    前記複数のユーザの顔画像あるいは顔特徴量データに基づいて、前記複数のユーザのうち、前記複数の画像に写っていないユーザをリクエスト対象ユーザとして特定する対象ユーザ特定部とを備え、
    前記リクエスト部は、前記関連情報として、前記リクエスト対象ユーザが写っている画像をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  17. 前記画像解析部は、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の目線を検出し、前記人物の目線に基づいて、前記各々の画像に写っている人物が前記複数のユーザに含まれている人物なのか否かを検出し、
    さらに、前記複数の画像に写っている人物のうち、前記複数のユーザに含まれている人物をリクエスト対象ユーザとして特定する対象ユーザ特定部を備え、
    前記リクエスト部は、前記リクエスト対象ユーザの端末装置に対して前記関連情報をリクエストする請求項1ないし3のいずれか一項に記載の画像処理装置。
  18. さらに、前記複数のユーザの端末装置から、前記ネットワークを介して、前記合成画像の寄せ書きページにおいて使用する前記ユーザの寄せ書きメッセージを取得するメッセージ取得部と、
    前記複数の画像および前記寄せ書きメッセージを取得する期間を設定する日程設定部と、
    前記複数の画像および前記寄せ書きメッセージを取得する期間が経過した後に、前記画像取得部によって取得された画像の数を算出する画像数算出部と、
    前記複数の画像および前記寄せ書きメッセージを取得する期間が経過した後に、前記メッセージ取得部によって取得された寄せ書きメッセージの数を算出するメッセージ数算出部とを備え、
    前記リクエスト部は、前記複数の画像の数が第1閾値未満である場合に、前記関連情報として、前記複数の画像に関連する画像をリクエストし、前記寄せ書きメッセージの数が第2閾値未満である場合に、前記関連情報として、前記複数の画像に関連する寄せ書きメッセージをリクエストする請求項3に記載の画像処理装置。
  19. さらに、前記寄せ書きメッセージを用いて前記寄せ書きページを作成する寄せ書き作成部を備える請求項18に記載の画像処理装置。
  20. 前記リクエスト部は、前記関連情報として、前記複数の画像に関連する画像および前記寄せ書きページにおいて使用する寄せ書きメッセージのうちの少なくとも一方をリクエストする請求項18または19に記載の画像処理装置。
  21. 画像取得部が、複数のユーザの端末装置からネットワークを介して複数の画像を取得するステップと、
    画像解析部が、前記複数の画像の各々の内容を解析するステップと、
    リクエスト部が、前記各々の画像の解析結果に基づいて、前記複数の画像に関連する関連情報を、前記ネットワークを介して、前記複数のユーザのうちの少なくとも一人の第1ユーザの端末装置に対してリクエストするステップとを含む画像処理方法。
  22. さらに、関連情報取得部が、前記複数のユーザのうちの少なくとも一人の第1ユーザの端末装置から前記ネットワークを介して前記関連情報を取得するステップを含む請求項21に記載の画像処理方法。
  23. さらに、合成画像作成部が、前記複数の画像のうちの少なくとも1つの画像および前記関連情報を用いて合成画像を作成するステップを含む請求項22に記載の画像処理方法。
  24. 請求項21ないし23のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  25. 請求項21ないし23のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2016043512A 2016-03-07 2016-03-07 画像処理装置、画像処理方法、プログラムおよび記録媒体 Active JP6674798B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016043512A JP6674798B2 (ja) 2016-03-07 2016-03-07 画像処理装置、画像処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016043512A JP6674798B2 (ja) 2016-03-07 2016-03-07 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2017161993A true JP2017161993A (ja) 2017-09-14
JP6674798B2 JP6674798B2 (ja) 2020-04-01

Family

ID=59857870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016043512A Active JP6674798B2 (ja) 2016-03-07 2016-03-07 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP6674798B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052949A (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249434A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
JP2007304970A (ja) * 2006-05-12 2007-11-22 Canon Inc 情報処理装置、当該装置の制御方法、制御プログラム及び電子アルバム作成システム
JP2010282629A (ja) * 2010-06-11 2010-12-16 Rakuten Inc 贈呈支援装置および贈呈支援方法
JP2011166566A (ja) * 2010-02-12 2011-08-25 Seiko Epson Corp 撮影装置及び撮影方法
JP2013088921A (ja) * 2011-10-14 2013-05-13 Canon Inc 情報処理装置、画像選択方法およびプログラム
JP2013120414A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、プログラム
JP2013541060A (ja) * 2010-07-27 2013-11-07 グーグル インコーポレイテッド シャッタクリックを介する自動的メディア共有
US20130322707A1 (en) * 2012-06-05 2013-12-05 Jonathan Blair Phillips Producing personalized team photo books
JP2014016820A (ja) * 2012-07-09 2014-01-30 Canon Inc 情報処理装置及びその制御方法及びプログラム並びに記憶媒体
JP2014075777A (ja) * 2012-09-14 2014-04-24 Fujifilm Corp 合成画像作成システム、画像処理装置および画像処理方法
JP2014216929A (ja) * 2013-04-26 2014-11-17 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP2015069431A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
JP2015128259A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像処理装置、撮影装置、撮影システム、画像処理方法、コンピュータプログラム
JP2016025620A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249434A (ja) * 2006-03-14 2007-09-27 Fujifilm Corp アルバム作成システム、アルバム作成方法、及びプログラム
JP2007304970A (ja) * 2006-05-12 2007-11-22 Canon Inc 情報処理装置、当該装置の制御方法、制御プログラム及び電子アルバム作成システム
JP2011166566A (ja) * 2010-02-12 2011-08-25 Seiko Epson Corp 撮影装置及び撮影方法
JP2010282629A (ja) * 2010-06-11 2010-12-16 Rakuten Inc 贈呈支援装置および贈呈支援方法
JP2013541060A (ja) * 2010-07-27 2013-11-07 グーグル インコーポレイテッド シャッタクリックを介する自動的メディア共有
JP2013088921A (ja) * 2011-10-14 2013-05-13 Canon Inc 情報処理装置、画像選択方法およびプログラム
JP2013120414A (ja) * 2011-12-06 2013-06-17 Canon Inc 情報処理装置、情報処理装置の制御方法、プログラム
US20130322707A1 (en) * 2012-06-05 2013-12-05 Jonathan Blair Phillips Producing personalized team photo books
JP2014016820A (ja) * 2012-07-09 2014-01-30 Canon Inc 情報処理装置及びその制御方法及びプログラム並びに記憶媒体
JP2014075777A (ja) * 2012-09-14 2014-04-24 Fujifilm Corp 合成画像作成システム、画像処理装置および画像処理方法
JP2014216929A (ja) * 2013-04-26 2014-11-17 キヤノン株式会社 情報処理装置およびその制御方法およびプログラム
JP2015069431A (ja) * 2013-09-30 2015-04-13 富士フイルム株式会社 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
JP2015128259A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像処理装置、撮影装置、撮影システム、画像処理方法、コンピュータプログラム
JP2016025620A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 画像処理システム、クライアントシステム、画像処理方法、および記憶媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052949A (ja) * 2018-09-28 2020-04-02 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
US11200651B2 (en) 2018-09-28 2021-12-14 Fujifilm Corporation Image processing apparatus, image processing method, and image processing program
JP7007249B2 (ja) 2018-09-28 2022-01-24 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JP6674798B2 (ja) 2020-04-01

Similar Documents

Publication Publication Date Title
JP6595956B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5655112B2 (ja) 合成画像作成システム、画像処理装置および画像処理方法
JP6533481B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9338242B1 (en) Processes for generating content sharing recommendations
US9531823B1 (en) Processes for generating content sharing recommendations based on user feedback data
US9626381B2 (en) Photo album creation based on social media content
US20160071065A1 (en) Information processing device, non-transitory computer readable medium, and information processing method
EP1847951A1 (en) Collaborative system and method for generating biographical accounts
US9405964B1 (en) Processes for generating content sharing recommendations based on image content analysis
US10990824B2 (en) Image processing apparatus, image processing method, program, and recording medium
CA2799575A1 (en) Social networking system and method for an online stationery or greeting card service
KR101649034B1 (ko) 소셜 네트워크 북 서비스 제공 방법
JP6674798B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10783355B2 (en) Image processing system, image processing method, program, and recording medium
US10846771B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP6502272B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6502280B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6618437B2 (ja) サーバ、端末装置、画像処理システム、画像処理方法、プログラムおよび記録媒体
WO2017169963A1 (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
KR20110092414A (ko) 개인화된 대량의 포토앨범 제작 시스템 및 방법
RU2686637C1 (ru) Способ просмотра пользовательского медиа-контента
JP6595958B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
CA2781929A1 (en) System and method for yearbook creation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200309

R150 Certificate of patent or registration of utility model

Ref document number: 6674798

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250