JP2017167793A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP2017167793A
JP2017167793A JP2016052081A JP2016052081A JP2017167793A JP 2017167793 A JP2017167793 A JP 2017167793A JP 2016052081 A JP2016052081 A JP 2016052081A JP 2016052081 A JP2016052081 A JP 2016052081A JP 2017167793 A JP2017167793 A JP 2017167793A
Authority
JP
Japan
Prior art keywords
image
person
photographer
images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016052081A
Other languages
English (en)
Other versions
JP6533481B2 (ja
Inventor
啓 山路
Hiroshi Yamaji
啓 山路
徹也 松本
Tetsuya Matsumoto
徹也 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2016052081A priority Critical patent/JP6533481B2/ja
Priority to US15/439,971 priority patent/US10262193B2/en
Publication of JP2017167793A publication Critical patent/JP2017167793A/ja
Application granted granted Critical
Publication of JP6533481B2 publication Critical patent/JP6533481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像の内容だけを考慮して人物同士の親密度を算出すると、人物同士の現実の親密度にずれを生じる場合でも、人物同士の現実の親密度を算出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。
【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、人物特定部が、各々の画像に写っている人物を判別し、判別した人物の中から1以上の第1人物を特定し、親密度算出部が、各々の画像における第1人物の存在および各々の画像の撮影者情報に基づいて、第1人物と各々の撮影者との親密度を算出する。
【選択図】図6

Description

本発明は、複数のユーザの端末装置からネットワークを介して取得された複数の画像を用いて、フォトブック等の合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
フォトブックは、ユーザが所有する複数の画像(画像データ)を、インターネットを経由してサービス提供業者に送信し、送信した複数の画像を用いてユーザが希望するレイアウトの写真集を作成するサービスである。
フォトブックは、例えば、画像の連続性や関連性を考慮して、撮影時刻等に基づいて複数の画像を複数のグループに分類し、各々のグループに含まれる画像を各々対応するページに自動配置(自動レイアウト)することによって作成される。
近年では、一人のユーザが所有する複数の画像だけを用いてフォトブックを作成するだけでなく、複数のユーザが所有する複数の画像を用いて1つのフォトブックを作成するもの(特許文献1および2参照)、複数のユーザから寄せ書き用のメッセージを取得し、複数のユーザから取得した寄せ書きメッセージを用いて寄せ書きを作成するもの(特許文献3および4参照)、および、画像群のテーマを判別し、画像群のテーマに基づいて、合成画像を作成するもの(特許文献5)等が知られている。
また、実際に、複数のユーザが所有する複数の画像と、当該複数のユーザが寄せたメッセージなどを用いて1つのフォトブックを作成するサービスも行われている(非特許文献1〜3参照)。
特開2008−257308号公報 特開2015−069431号公報 特開2001−297051号公報 特開2015−133000号公報 特開2015−089112号公報
"イヤーアルバム 簡単にフォトブック・フォトアルバム作成"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/> "みんなでつくるYear Album(イヤーアルバム)で寄せ書きフォトブックをつくろう!|富士フイルム"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/minna/> "作成方法:みんなでつくるYear Album(イヤーアルバム)で寄せ書きフォトブックをつくろう!|富士フイルム"、[online]、平成28年3月1日、富士フイルム、[平成28年3月10日検索]、インターネット<URL:http://year-album.jp/minna/login/>
画像に写っている人物同士の親密度を算出する場合、例えば、画像の内容に基づいて、1枚ないし複数の画像に写っている人物同士の親密度を算出する方法、および、2枚の画像のうちの一方の画像に写っている複数の人物および他方の画像に写っている複数の人物の中に、2枚の画像において共通して写っている人物が存在する場合に、それ以外の人物同士にも若干の関係性があるとして親密度を算出する方法等が知られている。
しかしながら、現実に親密な人物同士であっても、撮影者として振る舞うことが多い人物(例えば、家族における父親、および、複数の友人の中において撮影役を買って出ることを非常に好む人物等)は、画像に写っていない場合が多いため、画像の内容に基づいて算出された人物同士の親密度と、現実の人物同士の親密度との間にずれを生じる結果となる。このような問題について、先行文献1〜5においては考慮されていない。
本発明の目的は、画像の内容だけを考慮して人物同士の親密度を算出すると、人物同士の現実の親密度にずれを生じる場合でも、人物同士の現実の親密度を算出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明は、複数のユーザの端末装置から、ネットワークを介して、複数の画像を取得する画像取得部と、
複数のユーザの端末装置から、ネットワークを介して、複数の画像の各々を撮影した撮影者情報を取得する撮影者情報取得部と、
各々の画像の内容を解析する画像解析部と、
各々の画像の解析結果に基づいて、各々の画像に写っている人物を判別し、判別した人物の中から1以上の第1人物を特定する人物特定部と、
各々の画像における第1人物の存在および各々の画像の撮影者情報に基づいて、第1人物と各々の撮影者との親密度を算出する親密度算出部とを備える画像処理装置を提供する。
ここで、親密度算出部は、画像を占める割合が第1閾値を超えるまたは撮影距離が第2閾値未満である第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、割合が第1閾値を超えるまたは撮影距離が第2閾値未満である第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、特定の表情を有している第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、特定の表情を有している第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、少ない種類の表情の第1人物が写っている画像を撮影した撮影者よりも、多くの種類の表情の第1人物が写っている画像を撮影した撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、第1人物が写っている画像を撮影した日数が少ない撮影者よりも、第1人物が写っている画像を撮影した日数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、第1人物が写っている画像を撮影した場所の数が少ない撮影者よりも、第1人物が写っている画像を撮影した場所の数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
また、親密度算出部は、第1人物が写っている画像を撮影した時間帯の数が少ない撮影者よりも、第1人物が写っている画像を撮影した時間帯の数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することが好ましい。
さらに、各々の画像の解析結果と、複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、複数の画像のテーマを判定するテーマ判定部と、
各々の画像の解析結果に基づいて、各々の画像に写っている人物の年齢および性別を判定する年齢性別判定部と、
テーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、第1人物と各々の撮影者との人間関係を判定する人間関係判定部とを備え、
親密度算出部は、さらに、第1人物と各々の撮影者との人間関係に基づいて、第1人物と各々のユーザとの親密度を算出することが好ましい。
さらに、複数の画像を、それぞれ、各々の人物が写っている画像を含む複数のグループに分割する画像分割部を備え、
年齢性別判定部は、各々の画像の解析結果に基づいて、複数のグループの各々に含まれる画像に写っている人物の年齢および性別を判定することが好ましい。
さらに、各々の人物が写っている画像の数を算出する画像数算出部を備え、
テーマ判定部は、さらに、各々の人物が写っている画像の数に基づいて、複数の画像のテーマのサブテーマを判定し、
人間関係判定部は、少なくともサブテーマに基づいて、第1人物と各々の撮影者との人間関係を判定することが好ましい。
さらに、第1人物と各々の撮影者との親密度に基づいて、複数の画像の中から、合成画像において使用する画像を合成対象画像として抽出する画像抽出部と、
合成対象画像を用いて合成画像を作成する合成画像作成部とを備えることが好ましい。
また、画像抽出部は、第1人物との親密度が低い撮影者によって撮影された画像よりも、第1人物との親密度が高い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像を抽出することが好ましい。
また、画像抽出部は、第1人物との親密度が高い撮影者によって撮影された画像よりも、第1人物との親密度が低い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像を抽出することが好ましい。
さらに、第1モード、第2モードおよび第3モードの中から複数のユーザのうちの第1ユーザによって設定された1つのモードの情報を、ネットワークを介して、第1ユーザの端末装置から取得するモード設定部を備え、
画像抽出部は、モードの情報に基づいて、第1モードに設定された場合に、第1人物との親密度が低い撮影者によって撮影された画像よりも、第1人物との親密度が高い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像を抽出し、第2モードに設定された場合に、第1人物との親密度が高い撮影者によって撮影された画像よりも、第1人物との親密度が低い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像を抽出し、第3モードに設定された場合に、第1人物と各々の撮影者との親密度に関わらず、複数の画像の中から合成対象画像を抽出することが好ましい。
さらに、各々の画像の撮影者情報に基づいて、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備えることが好ましい。
さらに、各々の画像の付帯情報に含まれる各々の画像の撮影者の情報に基づいて、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備えることが好ましい。
さらに、画像取得部によって各々のユーザの端末装置から各々の画像が取得された場合に、各々の画像が取得された各々の端末装置のユーザが、取得された各々の画像を撮影した各々の撮影者であると判断し、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備えることが好ましい。
さらに、第1人物の中から重要人物を取得する重要人物取得部を備え、
画像取得部は、さらに、各々のユーザの顔画像を取得し、
人物特定部は、さらに、各々のユーザの顔画像に基づいて、複数の人物の中から、各々のユーザを特定し、
画像特定部は、さらに、特定された各々のユーザに基づいて、複数の画像の中から、各々のユーザに対応する各々の撮影者が写っている画像を特定し、
画像抽出部は、さらに、複数の画像の中から、重要人物との親密度が低い撮影者が写っている画像よりも、重要人物との親密度が高い撮影者が写っている画像を優先して合成対象画像を抽出することが好ましい。
また、本発明は、画像取得部が、複数のユーザの端末装置から、ネットワークを介して、複数の画像を取得するステップと、
撮影者情報取得部が、複数のユーザの端末装置から、ネットワークを介して、複数の画像の各々を撮影した撮影者情報を取得するステップと、
画像解析部が、各々の画像の内容を解析するステップと、
人物特定部が、各々の画像の解析結果に基づいて、各々の画像に写っている人物を判別し、判別した人物の中から1以上の第1人物を特定するステップと、
親密度算出部が、各々の画像における第1人物の存在および各々の画像の撮影者情報に基づいて、第1人物と各々の撮影者との親密度を算出するステップとを含む画像処理方法を提供する。
さらに、テーマ判定部が、各々の画像の解析結果と、複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、複数の画像のテーマを判定するステップと、
年齢性別判定部が、各々の画像の解析結果に基づいて、各々の画像に写っている人物の年齢および性別を判定するステップと、
人間関係判定部が、テーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、第1人物と各々の撮影者との人間関係を判定するステップとを含み、
親密度を算出するステップは、さらに、第1人物と各々の撮影者との人間関係に基づいて、第1人物と各々のユーザとの親密度を算出することが好ましい。
さらに、画像抽出部が、第1人物と各々の撮影者との親密度に基づいて、複数の画像の中から、合成画像において使用する画像を合成対象画像として抽出するステップと、
合成画像作成部が、合成対象画像を用いて合成画像を作成するステップとを含むことが好ましい。
さらに、画像特定部が、各々の画像の撮影者情報に基づいて、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定するステップを含むことが好ましい。
さらに、重要人物取得部が、第1人物の中から重要人物を取得するステップと、
画像取得部が、各々のユーザの顔画像を取得するステップと、
人物特定部が、各々のユーザの顔画像に基づいて、複数の人物の中から、各々のユーザを特定するステップと、
画像特定部が、特定された各々のユーザに基づいて、複数の画像の中から、各々のユーザに対応する各々の撮影者が写っている画像を特定するステップとを含み、
画像を抽出するステップは、さらに、複数の画像の中から、重要人物との親密度が低い撮影者が写っている画像よりも、第1人物との親密度が高い撮影者が写っている画像を優先して合成対象画像を抽出することが好ましい。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明によれば、第1人物と各々の撮影者との親密度を算出することにより、複数の画像に写っている人物同士の現実の親密度を算出することができる。
本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。 図1に示すサーバの構成を表す一実施形態のブロック図である。 図2に示す情報設定部の構成を表す一実施形態のブロック図である。 図2に示す情報管理部の構成を表す一実施形態のブロック図である。 図2に示すデータ取得部の構成を表す一実施形態のブロック図である。 図2に示すデータ解析部の構成を表す一実施形態のブロック図である。 図2に示す合成画像作成部の構成を表す一実施形態のブロック図である。 図7に示す本編作成部の構成を表す一実施形態のブロック図である。 図7に示す寄せ書き作成部の構成を表す一実施形態のブロック図である。 図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。 図1に示す画像処理装置の動作を表す一実施形態のフローチャートである。 図11に続く画像処理装置の動作を表す一実施形態のフローチャートである。 図12に続く画像処理装置の動作を表す一実施形態のフローチャートである。 合成画像の予算を設定する画面を表す一例の概念図である。 フォトブックの表紙ページのデザインを設定する画面を表す一例の概念図である。 フォトブックの寄せ書きページのデザインを設定する画面を表す一例の概念図である。 画像および寄せ書きメッセージの募集締切日を設定する画面を表す一例の概念図である。 合成画像の作成期間を設定する画面を表す一例の概念図である。 画像商品の配送日を設定する画面を表す一例の概念図である。 画像商材および日程の情報を確認する画面を表す一例の概念図である。 アカウント情報を入力する画面を表す一例の概念図である。 幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面を表す一例の概念図である。 参加ユーザの端末装置へ送付する招待状を作成するための画面を表す一例の概念図である。 招待状の内容を確認するための画面を表す一例の概念図である。 招待状を参加ユーザの端末装置へ送付するための画面を表す一例の概念図である。 受け取った招待状を表す画面を表す一例の概念図である。 合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面を表す一例の概念図である。 新規な参加ユーザを登録するための画面を表す一例の概念図である。 参加ユーザとして登録する名前および秘密のコトバを登録するための画面を表す一例の概念図である。 参加ユーザがアップロードする画像を選択するための画面を表す一例の概念図である。 2以上の参加ユーザの端末装置から送信された複数の画像の各々を評価するための画面を表す一例の概念図である。 寄せ書きページがフォトブックの巻末に入ることを通知する画面を表す一例の概念図である。 寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面を表す一例の概念図である。 寄せ書きメッセージを入力するための画面を表す一例の概念図である。 参加ユーザが入力した寄せ書きメッセージを確認するための画面を表す一例の概念図である。 寄せ書きメッセージのアップロードが完了したことを表す画面を表す一例の概念図である。 複数の画像に写っている人物の登場回数、年齢および性別を表す一例の概念図である。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
図1は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。同図に示す画像処理装置10は、合成画像の作成に関わる複数のユーザの端末装置からネットワーク16を介して取得された複数の画像を用いて、寄せ書きページを含むフォトブック等の合成画像を作成する。画像処理装置10は、サーバ12と、ネットワーク16を介してサーバ12に接続された複数のユーザの端末装置(クライアント)14とを備えている。
サーバ12は、端末装置14からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC(Personal Computer:パーソナルコンピュータ)またはワークステーション等により構成される。
端末装置14は、サーバ12に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。
ネットワーク16は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ12と端末装置14との間を相互に接続し、双方向の通信を可能とする。
図2は、図1に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ12は、合成画像に関する各種の情報を設定する情報設定部18と、合成画像の作成に関する各種の情報を管理する情報管理部20と、合成画像において使用する各種のデータを取得するデータ取得部22と、合成画像において使用する各種のデータを解析するデータ解析部24と、合成画像を作成する合成画像作成部26とを備えている。
以下の説明では、本編ページおよび寄せ書きページを含む合成画像の作成に関わる複数のユーザのうち、合成画像を作成する一人のユーザを幹事ユーザと表現し、幹事ユーザを含む2以上のユーザを参加ユーザと表現する。例えば、幹事が友人グループのうちの一人である場合などがこれに該当する。
ただし、別の実施態様において、写真店が幹事の代行を請け負う場合のように幹事自体は写真もメッセージも提供しないような場合は、参加ユーザの数には幹事ユーザの数は含まないものとする。
図3は、図2に示す情報設定部の構成を表す一実施形態のブロック図である。同図に示す情報設定部18は、予算設定部28と、商材取得部30と、表紙デザイン設定部32と、寄せ書きデザイン設定部34と、日程設定部36とを備えている。
予算設定部28は、幹事ユーザによって設定された合成画像の予算の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
続いて、商材取得部30は、予算設定部28によって取得された予算の情報に対応するサイズおよびページ数の1以上の画像商材(画像商材の情報)の中から、幹事ユーザによって設定された1つの画像商材を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像商材は、画像商品を作成するための素材であり、例えば、フォトブック等のフォトアルバム、シャッフルプリント、画像付きカレンダ等を含む。画像は主に写真である。
また、画像商材には、各々サイズおよびページ数のうちの少なくとも一方が異なる複数種類の画像商材が含まれる。画像商材のページ数は、本編ページおよび寄せ書きページを含むページ数である。画像商品には、紙媒体の画像商品および電子データの画像商品が含まれる。
本発明にいうページとは、画像配置および寄せ書き配置を行う単位をいう。本実施形態においては、見開きページのことを指す。しかし他の実施形態においては片面ページであってもよい。また、本実施形態内の画像処理装置の内部では見開きページを単位とし、かつユーザには片面ページを単位として画像商材のページ数を表示することとしてもよい。
フォトブックは、例えば、ユーザが選択した複数の画像を、ユーザの所望のレイアウトで複数のページに配置した合成画像である。フォトブックはまた、ユーザが保有する所望の期間(例えば一年分)の画像から、自動選択により選択された画像を、自動レイアウトで複数のページに配置した合成画像であってもよい(例えば富士フイルム株式会社製のイヤーアルバム)。また、シャッフルプリントは、複数の画像をシャッフルして1枚のプリントに配置した合成画像である。画像付きカレンダは、例えば、各月のカレンダに対応する画像を配置した合成画像である。
本実施形態の場合、合成画像は、寄せ書きページを巻末に含むフォトブックである。寄せ書きページは、参加ユーザの端末装置14から取得された2以上の参加ユーザの寄せ書きメッセージが配置された合成画像である。寄せ書きメッセージは、寄せ書きページにおいて使用される参加ユーザのメッセージである。
また、寄せ書きメッセージに加えて、プロフィール画像を寄せ書きページに配置してもよい。プロフィール画像は、例えば、参加ユーザの顔画像であるが、その他の画像でもよい。
続いて、表紙デザイン設定部32は、1以上の表紙ページのデザインの中から、幹事ユーザによって設定された1つの表紙ページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
表紙ページのデザインの情報には、例えば、表紙ページの模様、表紙ページに描かれているイラスト等のデザインの情報の他、表紙ページに記載される合成画像のタイトルの情報、表紙ページの色の情報等が含まれる。
続いて、寄せ書きデザイン設定部34は、1以上の寄せ書きページのデザインの中から、幹事ユーザによって設定された1つの寄せ書きページのデザインの情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
寄せ書きページのデザインの情報には、例えば、参加ユーザのプロフィール画像および寄せ書きメッセージを寄せ書きページに配置する位置および大きさ等があらかじめ設定されたテンプレートの情報等を含む。
続いて、日程設定部36は、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日、合成画像の作成期間、および、画像商品の配送日を含む日程の情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。
画像および寄せ書きメッセージの募集締切日は、参加ユーザが画像および寄せ書きメッセージをアップロード(投稿)することができる期限、つまり、画像処理装置10が参加ユーザの端末装置14から画像および寄せ書きメッセージを取得することができる期限を表す。
また、合成画像の作成期間は、幹事ユーザが、複数のユーザの端末装置14から取得された複数の画像を用いて合成画像を作成するための期間、言い換えると、画像商品を注文する期限を表し、画像商品の配送日は、画像商品を配送する日付を表す。
続いて、図4は、図2に示す情報管理部の構成を表す一実施形態のブロック図である。同図に示す情報管理部20は、設定保存部38と、アカウント情報保存部40と、管理画面情報送付部42と、アップロード催促部44とを備えている。
設定保存部38は、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報を保存する。
続いて、アカウント情報保存部40は、幹事ユーザによって設定された幹事ユーザのアカウント情報を、ネットワーク16を介して、幹事ユーザの端末装置14から取得する。また、アカウント情報保存部40は、参加ユーザによって設定された参加ユーザのアカウント情報を、ネットワーク16を介して、参加ユーザの端末装置14から取得して保存する。
例えば、幹事ユーザのアカウント情報は、幹事ユーザのメールアドレスおよび幹事パスワードである。一方、参加ユーザのアカウント情報は、参加ユーザの名前および個別パスワード(参加ユーザに対しては図29にあるように「秘密のコトバ」と表示される)である。参加ユーザの名前は、幹事ユーザが参加ユーザを管理するために使用され、個別パスワードは、画像処理装置10が参加ユーザを特定するために使用される。本実施形態の場合、秘密のコトバは、後から変更および再発行はできないものとする。
続いて、管理画面情報送付部42は、幹事ユーザが、画像商材および日程等を管理する管理画面にアクセスするためのURL(Uniform Resource Locator)を含むメッセージを、ネットワーク16を介して、幹事ユーザの端末装置14に送付する。幹事ユーザは、管理画面から画像商材および日程の変更の他、幹事ユーザの変更、幹事ユーザの追加(例えば後述する副幹事の追加)等を行うことができる。
管理画面情報送付部42は、例えば、電子メールにより、管理画面にアクセスするためのURLを含むメッセージを、アカウント情報保存部40によって取得された幹事ユーザのメールアドレスに送付する。
続いて、アップロード催促部44は、幹事ユーザによって作成された招待状を、ネットワーク16を介して、参加ユーザの端末装置14へ送付する。
招待状は、参加ユーザを合成画像の作成に招待し、合成画像において使用される画像、各々の画像に対する評価情報、プロフィール画像および寄せ書きメッセージ等をアップロードすることを参加ユーザに催促する催促情報である。
アップロード催促部44は、招待状を、例えば、SNS(Social Networking Service:ソーシャルネットワーキングサービス)のメッセージ、または、電子メールによって参加ユーザの端末装置14に送付する。
続いて、図5は、図2に示すデータ取得部の構成を表す一実施形態のブロック図である。同図に示すデータ取得部22は、画像取得部46と、撮影者情報取得部96と、評価情報取得部48と、メッセージ取得部50とを備えている。
画像取得部46は、一定の期間、本実施形態の場合、招待状が送付されてから、日程設定部36によって設定された画像および寄せ書きメッセージの募集締切日までの期間、2以上の参加ユーザの端末装置14からネットワーク16を介して送信された複数の画像(画像群)を取得する。また、画像取得部46は、各々の参加ユーザによって設定された参加ユーザのプロフィール画像を取得する。
画像取得部46は、参加ユーザの端末装置14からネットワーク16を介して送信された複数の画像(画像群)を取得したのち、その複数の画像がどの参加ユーザから送信されたものであるかを画像と関連付けて保存する。また、画像取得部46は、参加ユーザの端末装置14からネットワーク16を介して送信されたプロフィール画像についても、どの参加ユーザから送信されたものであるかをプロフィール画像と関連付けて保存する。
続いて、撮影者情報取得部96は、2以上の参加ユーザの端末装置14から、ネットワーク16を介して、画像取得部46によって取得された複数の画像の各々を撮影した撮影者の情報である撮影者情報を取得する。
続いて、評価情報取得部48は、同じく一定の期間、2以上の参加ユーザによって付与された各々の画像に対する評価を表す評価情報を、ネットワーク16を介して、2以上の参加ユーザの端末装置14から取得する。
画像の評価情報は、各々の画像に対する各々の参加ユーザの評価、例えば、高評価または低評価を表す情報である。
続いて、メッセージ取得部50は、同じく一定の期間、各々の参加ユーザによってアップロードされた寄せ書きメッセージを、ネットワーク16を介して、各々の参加ユーザの端末装置14から取得する。
メッセージ取得部50は、参加ユーザの端末装置14からネットワーク16を介して送信された寄せ書きメッセージについて、どの参加ユーザから送信されたものであるかを寄せ書きメッセージと関連付けて保存する。
続いて、図6は、図2に示すデータ解析部の構成を表す一実施形態のブロック図である。同図に示すデータ解析部24は、画像数算出部52と、評価数算出部54と、メッセージ数算出部56と、画像解析部58と、評価値算出部60と、人物特定部72と、重要人物取得部98と、画像特定部74と、親密度算出部76と、テーマ判定部78と、年齢性別判定部80と、人間関係判定部82とを備えている。
画像数算出部52は、アップロード催促部44によって招待状が送付されてから一定の期間が経過した後、つまり、画像および寄せ書きメッセージの募集締切日が過ぎた後、画像取得部46によって取得された画像の数を算出する。
続いて、評価数算出部54は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数を算出する。
続いて、メッセージ数算出部56は、同じく画像および寄せ書きメッセージの募集締切日が過ぎた後、メッセージ取得部50によって取得された寄せ書きメッセージの数を算出する。
続いて、画像解析部58は、画像取得部46によって取得された各々の画像の内容を解析する。本実施形態の場合、画像解析部58は、画像取得部46によって画像が取得される毎に、画像解析を行う。
画像解析部58は、例えば、画像の明るさや色合い、ボケおよびブレの程度、各々の画像の付帯情報等の解析の他、画像に人物の顔が含まれる場合には、顔の大きさ、顔の位置、顔の向き、顔の肌色、笑顔等の表情、目線、画像に含まれる人物の数、人物の位置関係等の解析を行う。
画像の付帯情報は、例えば、Exif(Exchangeable Image File Format)等のヘッダ情報であり、撮影日時、撮影位置(GPS:Global Positioning System情報)、撮影距離、撮影者等の情報を含む。
続いて、評価値算出部60は、画像解析部58による各々の画像の解析結果に基づいて、各々の画像の解析評価値を算出する。また、評価値算出部60は、評価情報取得部48によって取得された各々の画像に対する高評価および低評価を表す評価情報に基づいて、各々の画像の解析評価値に対して値を加減算ないしは重み付けして、各々の画像の総合評価値を算出する。
評価値算出部60は、例えば、評価数算出部54によって算出された高評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を加算し、低評価を表す評価情報の数に基づいて、画像の解析評価値に対して値を減算することによって画像の総合評価値を算出することができる。
画像の解析評価値は、画像の解析結果に基づいて算出されるため、画像の良し悪しを決定するための基準となり、解析評価値が高いほど、画質の良い画像であると言える。
画像の総合評価値は、画像の解析結果に加えて、参加ユーザによって付与された高評価および低評価を表す評価情報に基づいて算出されるため、画像の良し悪しに加えて、参加ユーザの好みを判断するための基準となり、総合評価値が高いほど、画質の良い画像、または、参加ユーザの好みの画像であると言える。
続いて、人物特定部72は、各々の画像の解析結果に基づいて、各々の画像に写っている人物(判別人物)を判別する。また、判別した人物の中から1以上の第1人物、例えば、判別した人物の中の中心人物を特定する。
人物特定部72は、例えば、各々の画像の中から人物の顔領域を検出し、検出した各々の人物の顔領域を比較し、同一人物であるか否かを判定する同一人物判定処理を行うことによって、複数の画像に写っている各々の人物を判別することができる。判別した複数の人物のうち、複数の画像の中から顔領域の検出数が最も多い人物、つまり、複数の画像における登場回数が閾値を超える1以上の人物を中心人物として特定することができる。
例えば、複数の画像が、家族が写っている画像群である場合、中心人物は、両親および赤ちゃん等となる。また、複数の画像が結婚披露宴の画像群である場合、中心人物は、新郎新婦の二人、両親、親族等となる。また、複数の画像が一人息子の小学校への入学式の画像群である場合、中心人物は、息子および両親等であり、複数の画像が友人4人の旅行の画像群である場合、友人4人の全てが中心人物である、もしくは、中心人物はいないと考えることができる。
続いて、重要人物取得部98は、人物特定部72によって特定された第1人物の中から重要人物を取得する。
重要人物は、第1人物の中でも特に重要度が高い1以上の人物である。複数の画像が、家族が写っている画像群の場合、複数の画像において写っている人物のうち、例えば、両親および赤ちゃん等が中心人物であり、その中でも赤ちゃんが重要人物となる。また、複数の画像が結婚披露宴の画像群の場合、複数の画像において写っている人物のうち、例えば、新郎新婦の二人、両親および親族が中心人物であり、その中でも新郎新婦の二人が重要人物となる。
重要人物取得部98は、重要人物の情報を、各々の画像の解析結果に基づいて、複数の画像から自動で取得してもよいし、合成画像の作成者、例えば、幹事ユーザが手動で指定してもよい。
続いて、画像特定部74は、撮影者情報取得部96によって取得された各々の画像の撮影者情報に基づいて、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像(特定画像)を特定する。
画像特定部74は、例えば、各々の画像の付帯情報に含まれる各々の画像の撮影者の情報に基づいて、複数の画像の中から、各々の撮影者によって撮影された画像を特定することができる。あるいは、画像取得部46によって各々のユーザの端末装置14から各々の画像が取得された場合に、各々の画像が取得された各々の端末装置14のユーザが、取得された各々の画像を撮影した各々の撮影者であると判断し、複数の画像の中から、各々の撮影者によって撮影された画像を特定することもできる。
続いて、親密度算出部76は、人物特定部72によって特定された各々の画像における第1人物の存在、および、撮影者情報取得部96によって取得された各々の画像の撮影者情報に基づいて、第1人物と各々の撮影者との親密度を算出する。
親密度は、第1人物と各々の撮影者との親しさの程度を表す。従って、複数の撮影者のうち、親密度がより高い人物であるほど、第1人物とより親しい人物であると考えることができる。
続いて、テーマ判定部78は、各々の画像の解析結果と、複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、複数の画像のテーマを判定する。また、テーマ判定部78は、複数の画像を、各々の人物が写っている画像を含む複数のグループに分割した場合に、各々のグループに含まれる各々の人物が写っている画像の数に基づいて、複数の画像のテーマのサブテーマを判定する。
例えば、複数の画像の撮影期間および撮影日数は、各々の画像の付帯情報の撮影日時の情報に基づいて算出することができる。また、複数の画像の撮影枚数は、画像取得部46によって取得された複数の画像の枚数をカウントすることにより算出することができる。複数の画像の撮影場所は、各々の画像の付帯情報に含まれる撮影位置の情報に基づいて算出することができる。
複数の画像のテーマとは、参加ユーザが複数の画像を閲覧したときに感じる雰囲気や印象を表すキーワードであり、子供、旅行、結婚式、誕生日、運動会等を例示することができる。複数の画像のテーマのサブテーマとは、テーマをさらに詳細に表すキーワードである。例えば、テーマが旅行の場合、サブテーマは、家族旅行、友人同士の旅行等を例示することができる。全てのテーマがサブテーマを含むわけではなく、サブテーマを含んでいないテーマも存在する。
続いて、年齢性別判定部80は、各々の画像の解析結果に基づいて、複数のグループの各々に含まれる画像に写っている人物の年齢および性別を判定する。
年齢性別判定部80は、例えば、人物の顔領域から顔の特徴量、例えば、目尻のしわ、顎のたるみ、目の下のしわ、額のしわ、頭髪の色等を抽出し、抽出した顔の特徴量に基づいて、人物の年齢を判定することができる。また、あらかじめ登録された男女の複数の顔画像の中から、人物の顔領域の画像とマッチングする顔画像を検出し、検出した顔画像の性別から判定することができる。
続いて、人間関係判定部82は、テーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、第1人物と各々の撮影者との人間関係を判定する。
なお、人物特定部72が、複数の画像に写っている各々の人物を判別する方法、および、判別した複数の人物の中から中心人物を特定する方法は特に限定されない。また、テーマ判定部78が、複数の画像のテーマを判定する方法、年齢性別判定部80が、各々のグループに含まれる画像に写っている人物の年齢および性別を判定する方法、および、人間関係判定部82が、第1人物と各々の撮影者との人間関係を判定する方法も特に限定されない。また、複数の画像を、各々の人物が写っている画像を含む複数のグループに分割することも必須ではない。
続いて、図7は、図2に示す合成画像作成部の構成を表す一実施形態のブロック図である。同図に示す合成画像作成部26は、表紙作成部62と、モード設定部84と、本編作成部64と、寄せ書き作成部66とを備えている。
表紙作成部62は、設定保存部38に保存された商材の情報、および、表紙デザイン設定部32によって取得された表紙ページのデザインの情報に対応するデザインの表紙ページを作成する。
続いて、モード設定部84は、プライベートモード(本発明の第1モード)、パブリックモード(本発明の第2モード)およびニュートラルモード(本発明の第3モード)の中から複数のユーザのうちの第1ユーザ、例えば、幹事ユーザによって設定された1つのモードの情報を、ネットワーク16を介して、第1ユーザの端末装置14から取得する。
プライベートモードは、第1人物との親密度が低い撮影者によって撮影された画像よりも、第1人物との親密度が高い撮影者によって撮影された画像を優先して、複数の画像の中から合成画像の作成に使用する合成対象画像を抽出するモードである。
パブリックモードは、第1人物との親密度が高い撮影者によって撮影された画像よりも、第1人物との親密度が低い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像を抽出するモードである。
ニュートラルモードは、第1人物と各々の撮影者との親密度に関わらず、複数の画像の中から合成対象画像を抽出するモードである。
続いて、本編作成部64は、画像取得部46によって取得された複数の画像を用いて、設定保存部38に保存された商材の情報に対応するページ数の本編ページ(表紙ページおよび寄せ書きページ以外のページ)を作成する。本編作成部64は、設定保存部38に保存された商材の情報に対応する合成画像、本実施形態の場合、フォトブックの本編ページを作成する。
本編作成部64は、図8に示すように、画像分割部86、画像抽出部88および画像配置部90等を備えている。
画像分割部86は、画像取得部46によって取得された複数の画像を、本編ページのページ数に対応する数のグループに分割する。
画像抽出部88は、画像のグループ毎に、画像の総合評価値に基づいて、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像を抽出する。
画像配置部90は、画像のグループ毎に、画像の総合評価値に基づいて、画像抽出部88によって抽出された各々の合成対象画像のサイズおよび本編ページにおける配置位置を決定し、合成対象画像を、画像のグループに対応するページの本編ページに配置(自動レイアウト)する。
続いて、寄せ書き作成部66は、メッセージ取得部50によって取得された参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページを作成する。寄せ書き作成部66は、設定保存部38に保存された商材の情報、および、寄せ書きデザイン設定部34によって取得された寄せ書きのデザインの情報に対応するデザインの寄せ書きページを作成する。
寄せ書き作成部66は、図9に示すように、メッセージ分割部92およびメッセージ配置部94等を備えている。
メッセージ分割部92は、メッセージ取得部50によって取得された寄せ書きメッセージを、寄せ書きページのページ数に対応する数のグループに分割する。
メッセージ配置部94は、寄せ書きメッセージのグループ毎に、グループに含まれる寄せ書きメッセージを、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置する。
寄せ書きページのページ数は、参加ユーザの数および寄せ書きメッセージの数等に応じて設定される。また、本編ページのページ数は、合成画像のページ数および寄せ書きページのページ数等に応じて設定される。本実施形態の場合、参加ユーザの数を2〜36人とし、1ページの寄せ書きページに2〜12の寄せ書きメッセージを配置し、16ページのフォトブックを作成するものとする。
上記情報設定部18、情報管理部20、データ取得部22、データ解析部24、合成画像作成部26を構成する各部位は、例えば、CPU(Central Processing Unit:中央処理装置)等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、SD(Secure Digital:セキュアデジタル)メモリ等の記憶デバイスに保存される。
次に、図10は、図1に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置14は、画像表示部68と、指示入力部70とを備えている。
端末装置14において、画像表示部68は、各種の設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
続いて、指示入力部70は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
本実施形態の場合、画像表示部68および指示入力部70は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
端末装置14は、合成画像の作成に関わる各々のユーザに1対1に対応して1台である必要はなく、画像処理装置10における各々のユーザのアカウントに対応することができるものであれば、各々のユーザに対応して複数台であってもよい。
図示省略しているが、サーバ12および端末装置14は、例えば、サーバ12と端末装置14との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
次に、図11〜図13に示すフローチャートおよび図14〜図36に示す表示画面を参照しながら、画像処理装置10の動作を説明する。
合成画像を作成する場合、まず、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、画像処理装置10が提供する、合成画像を作成するためのウェブサイトにアクセスする。
合成画像を作成するためのウェブサイトにアクセスすると、図14に示すように、予算設定部28により、合成画像の予算を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、合成画像の予算を設定する画面において、指示入力部70を介して、幹事ユーザが作成する合成画像の予算を設定する。図14の例では、プルダウンメニューによって、合成画像の予算の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている合成画像の予算の一覧の中から1つの予算、例えば、3000円〜4000円を選択して設定する。
合成画像の予算が設定されると、予算設定部28により、幹事ユーザによって設定された合成画像の予算の情報が、幹事ユーザの端末装置14から取得される(ステップS1)。
続いて、商材取得部30により、予算の情報に対応する1以上の画像商材が提示される。図14の例では、画像商材として、サイズおよびページ数の異なる5件のフォトブックが提示される。
画像商材が提示されると、商材取得部30により、提示した1以上の画像商材の中から1つの画像商材を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像商材を設定する画面において、指示入力部70を介して、提示された1以上の画像商材の中から1つの画像商材を選択して設定する。図14の例では、A4サイズの16ページのフォトブックが設定されている。
画像商材としてフォトブックが設定された後、「次へ」のボタンが押されると、例えば、「次へ」のボタンがタップまたはクリックされると、商材取得部30により、幹事ユーザによって設定された1つの画像商材が取得される(ステップS2)。
なお、「<」のボタンが押されると、1つ前の画面に戻ることができる。これ以後の画面においても同様である。
続いて、図15に示すように、表紙デザイン設定部32により、フォトブックの表紙ページのデザインを設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、表紙ページのデザインを設定する画面において、指示入力部70を介して、1以上の表紙ページのデザイン、図15の例では、3件の表紙ページのデザインの中から、1つの表紙ページのデザインを選択して設定する。また、幹事ユーザは、フォトブックの表紙ページのデザインの情報として、例えば、表紙ページに記載される最大20文字までのフォトブックのタイトル、および、表紙ページの色を設定することができる。
表紙ページのデザインが設定された後、「次へ」のボタンが押されると、表紙デザイン設定部32により、幹事ユーザによって設定された表紙ページのデザインの情報が、幹事ユーザの端末装置14から取得される(ステップS3)。
続いて、図16に示すように、寄せ書きデザイン設定部34により、フォトブックの寄せ書きページのデザインを設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、寄せ書きページのデザインを設定する画面において、指示入力部70を介して、1以上の寄せ書きのデザイン、図16の例では、9件の寄せ書きのデザインの中から、1つの寄せ書きのデザインを選択して設定する。
寄せ書きページのデザインが設定された後、「次へ」のボタンが押されると、寄せ書きデザイン設定部34により、幹事ユーザによって設定された寄せ書きページのデザインの情報が、幹事ユーザの端末装置14から取得される(ステップS4)。
続いて、図17に示すように、日程設定部36により、画像および寄せ書きメッセージの募集締切日を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像および寄せ書きメッセージの募集締切日を設定する画面において、指示入力部70を介して、画像および寄せ書きメッセージの募集締切日を設定する。図17の例では、プルダウンメニューによって、現在の日付から一定期間内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月2日を募集締切日として選択して設定する。
画像および寄せ書きメッセージの募集締切日が設定された後、「次へ」のボタンが押されると、日程設定部36により、幹事ユーザによって設定された画像および寄せ書きメッセージの募集締切日の情報が、幹事ユーザの端末装置14から取得される(ステップS5)。
続いて、図18に示すように、日程設定部36により、合成画像の作成期間を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、合成画像の作成期間を設定する画面において、指示入力部70を介して、合成画像の作成期間を設定する。図18の例では、プルダウンメニューによって、画像および寄せ書きメッセージの募集の期間の締切日から30日以内の日付の一覧があらかじめ登録されている。幹事ユーザは、プルダウンメニューに登録されている日付の一覧の中から1つの日付、例えば、12月4日を選択することによって12月2日〜4日を作成期間として設定する。
合成画像の作成期間が設定された後、「次へ」のボタンが押されると、日程設定部36により、幹事ユーザによって設定された合成画像の作成期間の情報が、幹事ユーザの端末装置14から取得される(ステップS5)。
続いて、図19に示すように、日程設定部36により、画像商品の配送日を設定する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
画像商品の配送日は、日程設定部36により、合成画像の作成期間の締切日から一定の期間の後の日付、図19の例では、合成画像の作成期間の最終日である12月4日から16日後の12月20日に自動で設定される。
幹事ユーザは、画像商品の配送日を設定する画面において、指示入力部70を介して、画像商品の配送日を変更することができる。図19の例では、例えば、追加料金を支払って、特急仕上げを指定することによって、画像商品の配送日を12月20日よりも前の日付に設定することができる。
画像商品の配送日が設定された後、「次へ」のボタンが押されると、日程設定部36により、画像商品の配送日の情報が取得される(ステップS5)。
複数のユーザの端末装置14から送信された複数の画像を用いて合成画像を作成する場合、期限管理が難しいが、画像処理装置10では、期限管理を行うことができるため、幹事ユーザの負担を軽減することができる。
続いて、図20に示すように、設定保存部38により、画像商材および日程の情報を確認する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像商材および日程の情報を確認する画面において、画像商材および日程の情報を確認し、その設定でよい場合には、「保存/ログイン」のボタンを押して次の画面へ進み、設定を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「保存/ログイン」のボタンが押されると、図21に示すように、設定保存部38により、幹事ユーザが画像処理装置10へログインするためのアカウント情報を入力する画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、画像処理装置10にログインするためのアカウント情報として、指示入力部70を介して、幹事ユーザのメールアドレスおよび幹事パスワードを入力する。幹事ユーザが既に画像処理装置10への会員登録を済ませている場合には、「ログイン」のボタンを押す。また、会員登録後に幹事パスワードを忘れた場合には、「パスワード忘れ」のボタンを押すことによって幹事パスワードを回復するための処理を行う。
「ログイン」のボタンが押されると、アカウント情報保存部40により、既に保存されているアカウント情報と、幹事ユーザによって入力されたアカウント情報とが比較され、両者が一致した場合に、幹事ユーザは画像処理装置10にログインすることができる。
一方、まだ会員登録を済ませていない場合には、「新規会員登録」のボタンを押すことによって新規に会員登録を行うための処理を行う。「新規会員登録」のボタンが押されると、アカウント情報保存部40により、幹事ユーザによって入力されたメールアドレスおよび幹事パスワードが取得され、幹事ユーザのアカウント情報として保存される。幹事ユーザの端末装置14は、会員登録の完了後、画像処理装置10へログインすることができる。
続いて、設定保存部38により、商材取得部30によって取得された画像商材、および、日程設定部36によって取得された日程の情報が保存される。
続いて、図22に示すように、設定保存部38により、幹事ユーザのログインと、画像商材および日程の情報の保存とが完了したことを表す画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
続いて、管理画面情報送付部42により、管理画面にアクセスするためのURLを含むメッセージが送付される。また、このメッセージには、画像商材および日程の情報が保存されたことを表す通知が含まれている。
また、図22の例では、幹事ユーザだけでなく、指示入力部70を介して、幹事ユーザ以外の参加ユーザのメールアドレスを入力することによって、幹事ユーザ以外の参加ユーザ、例えば、幹事ユーザの代理を務める副幹事ユーザのメールアドレス等にも、管理画面にアクセスするためのURLを含むメッセージを送付することができる。
続いて、「次へ」のボタンが押されると、図23に示すように、アップロード催促部44により、参加ユーザの端末装置14へ送付する招待状を作成するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状を作成するための画面において、指示入力部70を介して、招待状に含めるメッセージを一定文字以内、図23の例では、150文字以内で入力する。また、図23の例では、「みんなの写真とメッセージでフォトブックを贈ろうよ!」という初期メッセージが自動で入力されている。これにより、幹事ユーザがメッセージを入力する手間を省くことができる。幹事ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
「次へ」のボタンが押されると、アップロード催促部44により、招待状に含めるメッセージの情報が取得され、招待状が作成される(ステップS6)。
続いて、図24に示すように、アップロード催促部44により、招待状の内容を確認するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状の内容を確認するための画面において、招待状の内容を確認し、その内容でよい場合には、「招待状送付画面へ」のボタンを押して次の画面へ進み、内容を変更したい場合には、「<」のボタンを押して前の画面に戻る。
「招待状送付画面へ」のボタンが押されると、図25に示すように、アップロード催促部44により、招待状を参加ユーザの端末装置14へ送付するための画面が、幹事ユーザの端末装置14の画像表示部68に表示される。
幹事ユーザは、招待状を送付するための画面において、指示入力部70を介して、招待状を送付する手段として、図25の例では、SNSのメッセージまたは電子メールを選択する。招待状は、「SNS」のボタンが押された場合、SNSのメッセージとして参加ユーザのSNSのアカウントに送付され、「メール」のボタンが押された場合、電子メールによって参加ユーザのメールアドレスに送付される。
幹事ユーザは、合成画像の作成に関わる全ての参加ユーザに対して招待状を送付してもよいし、一部の参加ユーザのみに対して招待状を送付してもよい。
SNSのメッセージまたは電子メールには、招待状の他、合成画像で使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための招待用URL、および、共通パスワード、図25の例では、「5865」が含まれている。
「次へ」のボタンが押されると、アップロード催促部44により、招待状が参加ユーザの端末装置14に送付される(ステップS7)。
参加ユーザは、招待状を参加ユーザの端末装置14において受け取り、指示入力部70を介して、招待用URLで示されるウェブサイトにアクセスする。
招待用URLで示されるウェブサイトにアクセスすると、図26に示すように、アップロード催促部44により、受け取った招待状を表す画面が、参加ユーザの端末装置14の画像表示部68に表示される(ステップS8)。
招待状には、幹事ユーザからのメッセージの他、参加ユーザへの要望として、合成画像において使用する画像および寄せ書きメッセージをアップロードすること、および、その募集締切日等の情報、本実施形態の場合、12月2日(水)の23:59が表示される。
参加ユーザは、招待状を表す画面を閲覧して、幹事ユーザから参加ユーザへの要望が、フォトブックにする画像および寄せ書きメッセージのアップロードであり、その募集締切日が、12月2日であることを理解する。
続いて、「利用規約に同意する」のチェックボックスがチェックされ、「次へ」のボタンが押されると、図27に示すように、アカウント情報保存部40により、合成画像において使用される画像、画像の評価情報、寄せ書きメッセージ等を参加ユーザがアップロードする画面にアクセスするための共通パスワードを入力するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、共通パスワードを入力するための画面において、指示入力部70を介して、受け取った招待状に含まれている共通パスワード、図27の例では、「5865」を入力する。
共通パスワードが入力され、「次へ」のバタンが押されると、図28に示すように、アカウント情報保存部40により、新規な参加ユーザを登録するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
新規な参加ユーザを登録するための画面には、既に参加ユーザとして登録済みのユーザ(現在の参加メンバー)の名前が表示される。登録済みの参加ユーザの名前を表示することは必須ではない。しかし、登録済みの参加ユーザの名前を表示することによって、ユーザが新規に参加ユーザとして登録する場合に、自分が知っている名前が登録済みの参加ユーザの名前の中にあれば、安心して登録を行うことができる。
参加ユーザは、まだ参加ユーザとして画像処理装置10に登録していない場合、「新規登録」のボタンを押し、既に参加ユーザとして登録済みの場合には、「内容修正」のボタンを押す。
「新規登録」のボタンが押されると、図29に示すように、アカウント情報保存部40により、参加ユーザとして登録する名前および個別パスワード(図29では「秘密のコトバ」と表示される)を登録するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、指示入力部70を介して、名前として本名またはニックネームを入力し、秘密のコトバとして任意の文字列を入力する。
参加ユーザの名前および秘密のコトバは、参加ユーザのアカウント情報となる。参加ユーザは、図28に示すように、新規な参加ユーザを登録するための画面において、「内容修正」のボタンを押し、既に登録済みの名前および秘密のコトバを入力することによって、既にアップロードした画像、画像の評価情報、寄せ書きメッセージ等を修正することができる。
参加ユーザの名前および秘密のコトバが入力され、「次へ」のボタンが押されると、アカウント情報保存部40により、その参加ユーザの名前および秘密のコトバが取得され、参加ユーザのアカウント情報として保存される。
続いて、図30に示すように、画像取得部46により、参加ユーザがアップロードする画像を選択するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、アップロードする画像を選択するための画面において、「画像追加」のボタンを押すことによって、アップロードする画像を選択することができる。アップロードする画像を選択するための画面には、参加ユーザによって選択された画像の枚数が表示される。
アップロードする画像が選択された後、「次へ」のボタンが押されると、画像取得部46により、参加ユーザからアップロードされた画像、つまり、参加ユーザの端末装置14から投稿された画像が取得される(ステップS9)。このように、画像取得部46は、2以上の参加ユーザの端末装置14から送信された複数の画像を取得する。また、画像取得部46によって画像が取得される毎に、画像解析部58により画像の解析が行われ、評価値算出部60により、画像の解析結果に基づいて画像の解析評価値が算出される(ステップS10)。
続いて、図31に示すように、評価情報取得部48により、2以上の参加ユーザの端末装置14から送信された複数の画像の各々を評価するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、各々の画像を評価するための画面において、指示入力部70を介して、各々の画像に対して高評価または低評価を表す評価情報を付与することができる。例えば、参加ユーザは、各々の画像を閲覧し、自分が好きな画像に対して、「いいね」のボタンを押すことによって高評価を表す評価情報を付与し、嫌いな画像に対して、「いまいち」のボタンを押すことによって低評価を表す評価情報を付与することができる。
各々の参加ユーザの端末装置14から各々の画像に対して高評価および低評価を表す評価情報が付与されると、評価情報取得部48により、各々の画像に対して付与された高評価および低評価を表す評価情報が、参加ユーザの端末装置14から取得される(ステップS11)。
評価情報が付与された後、「次へ」のボタンが押されると、図32に示すように、メッセージ取得部50により、寄せ書きページがフォトブックの巻末に入ることを通知する画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きページがフォトブックの巻末に入ることを通知する画面を閲覧して確認する。
続いて、「次へ」のボタンが押されると、図33に示すように、メッセージ取得部50により、寄せ書きページにおいて使用する参加ユーザのプロフィール画像を設定するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、プロフィール画像を設定するための画面を押すことによって、参加ユーザが参加ユーザの端末装置14において所有する画像の中からプロフィール画像として使用する画像を選択して設定することができる。また、参加ユーザは、「削除」のボタンを押すことによって、既に設定したプロフィール画像を削除し、再度、プロフィール画像を設定し直すことができる。
参加ユーザがプロフィール画像を設定した後、「次へ」のボタンが押されると、画像取得部46により、参加ユーザによって設定されたプロフィール画像が、参加ユーザの端末装置14から取得される(ステップS12)。
続いて、図34に示すように、メッセージ取得部50により、寄せ書きメッセージを入力するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きメッセージを入力するための画面において、指示入力部70を介して、寄せ書きページに含めるメッセージを150文字以内で入力する。図34の例では、「結婚おめでとう。 … 幸せになってください。」という初期メッセージが自動で入力されている。これにより、参加ユーザがメッセージを入力する手間を省くことができる。参加ユーザは、初期メッセージをそのまま使用してもよいし、他のメッセージを入力してもよい。
また、参加ユーザは、寄せ書きメッセージを入力するための画面において、「他の人の寄せ書きを見る」のボタンを押すことによって、他の参加ユーザが既にアップロードした寄せ書きメッセージを閲覧することができる。
参加ユーザが寄せ書きメッセージを入力した後、「入力完了」のボタンが押されると、図35に示すように、メッセージ取得部50により、参加ユーザが入力した寄せ書きメッセージを確認するための画面が、参加ユーザの端末装置14の画像表示部68に表示される。
参加ユーザは、寄せ書きメッセージを確認する画面において、寄せ書きメッセージを閲覧して確認し、そのメッセージでよい場合には、「投稿する」のボタンを押して次の画面へ進み、メッセージを変更したい場合には、「<」のボタンを押して前の画面に戻る。
「投稿する」のボタンが押されると、メッセージ取得部50により、参加ユーザから投稿された寄せ書きメッセージ、つまり、参加ユーザの端末装置14からアップロードされた寄せ書きメッセージが取得される(ステップS13)。
このように、複数のユーザの画像を用いてフォトブック等の合成画像を作成する場合に、フォトブックの本編ページだけでなく、寄せ書きページを含めることによって、フォトブックの受取人に対する各々の参加ユーザの気持ちを寄せ書きメッセージとして伝えることができる。
続いて、図36に示すように、寄せ書きメッセージの投稿が完了したことを表す画面が、参加ユーザの端末装置14の画像表示部68に表示される。
続いて、「完了」のボタンが押されると、画像、画像の評価情報および寄せ書きメッセージのアップロードは完了する。
続いて、日程設定部36により、画像および寄せ書きメッセージの募集締切日を過ぎたことが検出されると、画像数算出部52により、画像取得部46によって取得された画像の数が算出される(ステップS14)。また、評価数算出部54により、評価情報取得部48によって取得された高評価および低評価を表す評価情報の数が算出され(ステップS15)、メッセージ数算出部56により、メッセージ取得部50によって取得された寄せ書きメッセージの数が算出される(ステップS16)。
続いて、評価値算出部60により、各々の画像に対する高評価および低評価を表す評価情報、例えば、評価情報の数に基づいて、各々の画像の解析評価値に対して値が加減算されて、各々の画像の総合評価値が算出される(ステップS17)。
前述のように、画像が取得される毎に、画像を解析して、その解析評価値を算出することは必須ではない。しかし、画像が取得される毎に、画像を解析して、その解析評価値を算出しておくことにより、全ての画像を取得した後に画像をまとめて解析して解析評価値を算出する場合と比べて、画像の総合評価値を短時間で算出することができ、その結果、合成画像の作成にかかる時間を短縮することができる。
続いて、人物特定部72により、各々の画像の解析結果に基づいて、複数の画像に写っている複数の人物の各々が判別される。また、判別された複数の人物の中から第1人物、例えば、中心人物が特定される(ステップS18)。
続いて、画像特定部74により、各々の画像の撮影者情報に基づいて、複数の画像の中から、複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像が特定される(ステップS19)。
続いて、親密度算出部76により、各々の撮影者によって撮影された画像の解析結果および各々の撮影者によって撮影された画像の付帯情報のうちの少なくとも1つに基づいて、第1人物と各々の撮影者との親密度が算出される(ステップS20)。
既に述べたように、画像の撮影者は、撮影者によって撮影された画像に写っていない場合が多い。そのため、画像の内容、つまり、各々の画像の解析結果だけを考慮して人物同士の親密度を算出すると、人物同士の現実の親密度にずれを生じる場合がある。これに対し、画像処理装置10のように、第1人物と各々の撮影者との親密度を算出することにより、複数の画像に写っている人物同士の現実の親密度を算出することができる。
親密度算出部76は、例えば、画像を占める割合が第1閾値を超えるまたは撮影距離が第2閾値未満である、つまり、アップまたは近距離から第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、画像を占める割合が第1閾値を超えるまたは撮影距離が第2閾値未満である第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、アップまたは近距離から第1人物が写っている画像を撮影することができるが、第1人物との親密度が低い撮影者は、アップまたは近距離から第1人物が写っている画像を撮影することができない。つまり、アップまたは近距離から第1人物が写っている画像を、より多くの枚数撮影している撮影者であるほど、第1人物との親密度が、より高い撮影者であると言える。
距離は、次の(1)〜(4)に示す距離の測定法のうちのいずれとしてもよい。
(1)各々の人物が占める領域を特定し、デジタルスチルカメラ等の撮影装置と各々の人物が占める領域とを結ぶ最短距離
(2)各々の人物の顔が占める領域を特定し、撮影装置と各々の人物の顔が占める領域とを結ぶ最短距離
(3)各々の人物が占める領域の重心点を特定し、撮影装置と各々の人物が占める領域の重心点とを結ぶ最短距離
(4)各々の人物の顔が占める領域の重心点を特定し、撮影装置と各々の人物の顔が占める領域の重心点とを結ぶ最短距離
また、距離は、次の(1)〜(3)に示す距離のうちのいずれを用いてもよい。
(1)画像におけるピクセル数
(2)画像における画像の短辺または長辺との比率
(3)人物の顔の大きさから推定した、実際の距離
また、親密度算出部76は、例えば、寝顔、笑顔、泣き顔、怒った顔等のように、平常時の表情とは異なる、特定の表情を有している第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、特定の表情を有している第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、例えば、寝顔のように、特定の表情を有している第1人物が写っている画像をより多くの枚数撮影することができるが、第1人物との親密度が低い撮影者は、特定の表情を有している第1人物が写っている画像をより少ない枚数しか撮影することができない。つまり、寝顔の第1人物が写っている画像を、より多くの枚数撮影している撮影者であるほど、第1人物との親密度が、より高い撮影者であると言える。
また、親密度算出部76は、少ない種類の表情の第1人物が写っている画像を撮影した撮影者よりも、多くの種類の表情の第1人物が写っている画像を撮影した撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、笑顔、泣き顔、怒った顔等のように、より多くの種類の表情の第1人物が写っている画像を撮影することができるが、第1人物との親密度が低い撮影者は、より少ない種類の表情の第1人物が写っている画像しか撮影することができない。つまり、多くの種類の表情の第1人物が写っている画像を撮影している撮影者であるほど、第1人物との親密度が、より高い撮影者であると言える。
また、親密度算出部76は、第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、第1人物が写っている画像を撮影した枚数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、第1人物が写っている画像をより多くの枚数撮影することができるが、第1人物との親密度が低い撮影者は、第1人物が写っている画像をより少ない枚数しか撮影することができない。つまり、第1人物が写っている画像を、より多くの枚数撮影している撮影者であるほど、第1人物との親密度が、より高い撮影者であると言える。
また、親密度算出部76は、第1人物が写っている画像を撮影した日数が少ない撮影者よりも、第1人物が写っている画像を撮影した日数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、第1人物が写っている画像をより多くの日数撮影することができるが、第1人物との親密度が低い撮影者は、第1人物が写っている画像をより少ない日数しか撮影することができない。つまり、第1人物が写っている画像を、より多くの撮影日において撮影している撮影者であるほど、第1人物と行動を共にしている時間が長いことから、第1人物との親密度が、より高い撮影者であると言える。
また、第1人物が写っている画像を撮影した枚数が同じ撮影者であったとしても、結婚式等の1日のイベントにおいて第1人物が写っている画像を多くの枚数撮影した撮影者と、旅行等の数日のイベントにおいて第1人物が写っている画像を多くの枚数撮影した撮影者とでは、後者の第1人物が写っている画像を、より多くの撮影日において撮影している撮影者の方が、第1人物と行動を共にしている時間が長いことから、第1人物との親密度は高いと言える。
また、親密度算出部76は、第1人物が写っている画像を撮影した場所の数が少ない撮影者よりも、第1人物が写っている画像を撮影した場所の数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、第1人物が写っている画像をより多くの場所において撮影することができるが、第1人物との親密度が低い撮影者は、第1人物が写っている画像をより少ない場所においてしか撮影することができない。つまり、第1人物が写っている画像を、より多くの撮影場所において撮影している撮影者であるほど、第1人物と行動を共にしている時間が長いことから、第1人物との親密度が、より高い撮影者であると言える。
なお、画像を撮影した場所の数をカウントする方法は特に限定されない。例えば、画像を撮影した場所を、緯度および経度により複数のブロックに分けてブロックの数をカウントしてもよいし、画像を撮影した場所を行政区画により分けて行政区画の数をカウントしてもよいし、あるいは、画像を撮影した場所を最寄りの鉄道の駅により分けて鉄道の駅の数をカウントしてもよい。
また、親密度算出部76は、第1人物が写っている画像を撮影した時間帯の数が少ない撮影者よりも、第1人物が写っている画像を撮影した時間帯の数が多い撮影者を、第1人物との親密度が高い撮影者であると算出することができる。
第1人物との親密度が高い撮影者は、第1人物が写っている画像をより多くの時間帯、例えば、早朝および夜間等においても撮影することができるが、第1人物との親密度が低い撮影者は、第1人物が写っている画像をより少ない時間帯においてしか撮影することができない。つまり、第1人物が写っている画像を、より多くの時間帯において撮影している撮影者であるほど、第1人物と行動を共にしている時間が長いことから、第1人物との親密度が、より高い撮影者であると言える。
画像を撮影した時間帯の数のカウント方法は特に限定されない。例えば、1日を1時間毎の24個の時間帯に分けて、画像を撮影した時間帯の数をカウントしてもよいし、1日を午前および午後の2つの時間帯に分けて、画像を撮影した時間帯の数をカウントしてもよいし、1日を朝、昼および夜の3つの時間帯に分けて、画像を撮影した時間帯の数をカウントしてもよい。
また、親密度算出部76は、複数の画像のテーマに基づいて、第1人物と各々のユーザとの親密度を算出することができる。
この場合、例えば、テーマ判定部78により、各々の画像の解析結果と、複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、複数の画像のテーマを判定する。
続いて、画像分割部86により、複数の画像を、それぞれ、複数の画像に写っている複数の人物の各々が写っている画像を含む複数のグループに分割する。つまり、各々のグループには、各々異なる人物が写っている画像が含まれる。
続いて、年齢性別判定部80により、各々の画像の解析結果に基づいて、複数のグループの各々に含まれる画像に写っている人物の年齢および性別を判定する。
続いて、人間関係判定部82により、テーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、第1人物と各々の撮影者との人間関係を判定する。
続いて、親密度算出部76により、第1人物と各々の撮影者との人間関係に基づいて、第1人物と各々のユーザとの親密度を算出する。
また、人間関係判定部82は、複数の画像のテーマのサブテーマに基づいて、第1人物と各々の撮影者との人間関係を判定してもよい。
この場合、例えば、画像数算出部52により、各々のグループに含まれる各々の人物が写っている画像の数を算出する。
続いて、テーマ判定部78により、各々のグループに含まれる各々の人物が写っている画像の数に基づいて、複数の画像のテーマのサブテーマを判定する。
続いて、人間関係判定部82により、サブテーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物のうち、少なくともサブテーマに基づいて、第1人物と各々の撮影者との人間関係を判定する。
続いて、親密度算出部76により、第1人物と各々の撮影者との人間関係に基づいて、第1人物と各々のユーザとの親密度を算出する。
さらに、親密度算出部76は、親密度評価に当たって、上記のアップまたは近距離から第1人物が写っている画像を撮影した枚数、特定の表情を有している第1人物が写っている画像を撮影した枚数、異なる種類の表情の第1人物が写っている画像を撮影した枚数、第1人物が写っている画像を撮影した枚数、第1人物が写っている画像を撮影した日数、第1人物が写っている画像を撮影した場所の数、第1人物が写っている画像を撮影した時間帯の数、複数の画像のテーマまたはサブテーマに基づく第1人物と各々のユーザとの親密度の算出等の観点を組合せて評価してもよい。
以下、複数の画像のテーマまたはサブテーマに基づいて、第1人物と各々のユーザとの親密度を算出する場合の具体例を挙げて説明する。
表1に示すように、テーマの判定条件が、撮影期間、撮影日数、画像内容および撮影場所の場合、例えば、撮影期間が1日〜2週間、撮影日数が連続した複数日、画像内容が風景、料理、看板(イラスト)等、撮影場所の範囲が中〜大であれば、テーマ判定部78は、テーマが旅行であると判定することができる。
また、撮影期間が数時間、撮影日数が1日、画像内容が指輪、料理、ケーキ等、撮影場所の範囲が中〜小であれば、テーマ判定部78は、テーマが結婚である判定することができる。
撮影期間が1年、撮影日数が多数、画像内容が多数の人物、撮影場所の範囲が中〜大であれば、テーマ判定部78は、テーマが卒業アルバムまた卒園アルバムであると判定することができる。
例えば、テーマが旅行であると判定された場合に、図37に示すように、グループに含まれる画像における登場回数が特に多い人物が写っている画像を含む第1グループと、第1グループの次に登場回数が多い人物が写っている画像を含む第2グループおよび第3グループとが存在すれば、テーマ判定部78は、さらに、旅行のテーマのサブテーマが、子供および両親からなる家族旅行であると判定する。
また、図37に示すように、第1グループに含まれる画像に写っている人物の年齢が0歳、性別が女性であり、この人物によって撮影された画像がなければ、人間関係判定部82は、この人物が第1人物であり、第1人物は子供であると判定する。
また、第2グループに含まれる画像に写っている人物の年齢が30台、性別が女性であり、この人物によって撮影された画像に写っている人物が、第1グループおよび第3グループに含まれる画像に写っている二人の人物であれば、第2グループに含まれる画像に写っている人物が撮影者であり、この撮影者は子供の母親であると判定する。
また、第3グループに含まれる画像に写っている人物の年齢が30台、性別が男性であり、この人物によって撮影された画像に写っている人物が、第1グループおよび第2グループに含まれる画像に写っている二人の人物であれば、第3グループに含まれる画像に写っている人物が撮影者であり、この撮影者は子供の父親であると判定する。
親密度算出部76は、子供と母親および父親(両親)との親密度は高いと判断し、第1人物である子供と撮影者である両親との親密度を高くする。
この場合、画像抽出部88は、例えば、複数の画像の中から、第1人物である子供が写っている画像を最優先に抽出し、撮影者である母親および父親の各々が写っている画像を均等に抽出することができる。
また、テーマが旅行であると判定された場合、登場回数が一定数を超える人物が写っている画像を含む複数の第1グループと、登場回数が少ない人物が写っている画像を含む少数の第2グループとが存在すれば、テーマ判定部78は、さらに、旅行のテーマのサブテーマが、数人の友人からなる友人同士の旅行であると判定する。
この場合、人間関係判定部82は、複数の第1グループに含まれる画像に写っている複数の第1グループに含まれる画像に写っている全ての人物が第1人物である、または、複数の人物の中に第1人物は存在しないと判定する。
親密度算出部76は、友人同士の親密度は等しいと判断し、各々の友人同士の親密度を等しくする。
この場合、画像抽出部88は、例えば、複数の画像の中から、各々の友人が写っている画像を均等に抽出することができる。
また、テーマが結婚式であると判定された場合、テーマ判定部78は、結婚式のサブテーマを判定しない。
人間関係判定部82は、登場回数が最も多い二人の人物が写っている画像を含むグループに含まれる画像に写っている二人の人物が第1人物であり、第1人物は新郎新婦あると判定する。また、テーマ、人物の年齢、人物の性別、および、各々の撮影者によって撮影された画像に写っている人物に基づいて、新郎新婦と各々の撮影者との人間関係、例えば撮影者が、新郎新婦の友人なのか、親族なのか等を判定する。
親密度算出部76は、第1人物である新郎新婦と各々の撮影者との人間関係に基づいて、新郎新婦と各々の撮影者との親密度を算出する。
この場合、画像抽出部88は、例えば、新郎新婦と各々の撮影者との親密度に基づいて、複数の画像の中から、各々の撮影者によって撮影された画像を抽出することができる。
このように、複数の画像のテーマまたはサブテーマに基づいて、第1人物と各々の撮影者との親密度を算出することにより、第1人物と各々の撮影者との親密度をより正確に算出することができる。
続いて、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、合成画像作成部26に対して合成画像の作成を指示する。
合成画像作成部26に対して合成画像の作成が指示されると、表紙作成部62により、表紙ページのデザインの情報に対応するデザインであり、幹事ユーザによって設定されたタイトルが記載され、幹事ユーザによって設定された色の表紙ページが作成される(ステップS21)。
続いて、幹事ユーザは、幹事ユーザの端末装置14において、指示入力部70を介して、プライベートモード、パブリックモードおよびニュートラルモードの中から1つのモードを設定する。
モードが設定されると、モード設定部84により、幹事ユーザによって設定された1つのモードの情報が、幹事ユーザの端末装置14から取得される(ステップS22)。
なお、モード設定部84は、例えば、プライベートモード、パブリックモードおよびニュートラルモードのうちの1つのモードを、デフォルトのモードとして設定してもよい。
これにより、幹事ユーザは、デフォルトのモードを使用する場合に、モードを設定する手間を省くことができる。また、幹事ユーザは、デフォルトのモードから他の任意のモードに随時自由に変更することができる。
続いて、本編作成部64により、画像取得部46によって取得された複数の画像のうちの少なくとも1つの画像を用いて、フォトブックの本編ページが作成される(ステップS23)。
本編作成部64では、画像分割部86により、画像取得部46によって取得された複数の画像が、本編ページのページ数に対応する複数のグループに分割される。
続いて、画像抽出部88により、画像のグループ毎に、画像の総合評価値に基づいて、例えば、総合評価値が最も高い画像から順に、グループに含まれる画像の中から、本編ページにおいて使用する複数の合成対象画像が抽出される。
続いて、画像配置部90により、画像のグループ毎に、画像の総合評価値に基づいて、各々の合成対象画像のサイズおよび本編ページにおける配置位置が決定され、合成対象画像が、各々対応する本編ページに配置される。例えば、本編ページに配置される複数の合成対象画像のうち、総合評価値が最も高い合成対象画像が、他の合成対象画像よりも大きいサイズで、そのページの中央位置に配置される。
画像抽出部88は、第1人物と各々の撮影者との親密度に基づいて、複数の画像の中から、本実施形態の場合には、画像のグループ毎に、グループに含まれる画像の中から、合成画像において使用する画像を合成対象画像として抽出してもよいし、画像の総合評価値、および、第1人物と各々の撮影者との親密度の両方に基づいて、複数の画像の中から、合成対象画像を抽出してもよい。
第1人物と各々の撮影者との親密度に基づいて合成対象画像を抽出する場合、画像抽出部88により、モード設定部84によって取得された1つのモードの情報に基づいて、複数の画像の中から合成対象画像が抽出される。
プライベートモードに設定された場合、画像抽出部88により、第1人物との親密度が低い撮影者によって撮影された画像よりも、第1人物との親密度が高い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像が抽出される。
この場合、複数の画像の中から、第1人物との親密度がより高い撮影者によって撮影された画像をより多く抽出することができるため、プライベート感が高い合成画像を作成することができる。
パブリックモードに設定された場合、画像抽出部88により、第1人物との親密度が高い撮影者によって撮影された画像よりも、第1人物との親密度が低い撮影者によって撮影された画像を優先して、複数の画像の中から合成対象画像が抽出される。
この場合、複数の画像の中から、第1人物との親密度がより低い撮影者によって撮影された画像をより多く抽出することができるため、パブリック感が高い合成画像を作成することができる。
ニュートラルモードに設定された場合、画像抽出部88により、第1人物と各々の撮影者との親密度に関わらず、複数の画像の中から合成対象画像が抽出される。
この場合、複数の画像の中から、第1人物と撮影者との親密度に関わらず画像を抽出することができるため、プライベート感およびパブリック感に拘らないニュートラル感の高い合成画像を作成することができる。
第1人物と各々の撮影者との親密度に基づいて合成対象画像を抽出する場合、例えば、第1の撮影者によって撮影された複数の画像の中から合成対象画像を抽出すると、抽出された合成対象画像の中には、第1の撮影者自身が写っている画像が含まれないことになる。この場合、画像抽出部88により、第1の撮影者以外の撮影者によって撮影された複数の画像の中から、第1の撮影者が写っている画像を抽出してもよい。
この場合、例えば、画像取得部46により、各々のユーザの顔画像を取得し、人物特定部72により、各々のユーザの顔画像に基づいて、複数の人物の中から、各々のユーザを特定する。
続いて、画像特定部74により、人物特定部72によって特定された各々のユーザに基づいて、複数の画像の中から、各々のユーザに対応する各々の撮影者が写っている画像を特定する。
続いて、画像抽出部88により、複数の画像の中から、重要人物取得部98によって取得された重要人物との親密度が低い撮影者が写っている画像よりも、重要人物との親密度が高い撮影者が写っている画像を優先して合成対象画像を抽出する。つまり、複数の画像の中から、重要人物との親密度がより高い撮影者が写っている画像を、より多くの枚数抽出する。
例えば、複数の画像が、家族が写っている画像群である場合、重要人物取得部98により、両親および赤ちゃん等の中心人物の中から、赤ちゃんが重要人物として特定される。この場合、画像抽出部88により、複数の画像の中から、赤ちゃんとの親密度が低い撮影者、例えば、友人が写っている画像よりも、赤ちゃんとの親密度が高い撮影者、例えば、父親が写っている画像を優先して合成対象画像を抽出する。
これにより、複数の画像における登場回数が少ないなどの理由により、複数の画像の中から優先して抽出することが困難な場合であっても、第1人物と各々の撮影者との親密度に基づいて、撮影者が被写体として写っている画像を優先して抽出することができる。
続いて、寄せ書き作成部66により、参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、寄せ書きページのデザインの情報に対応するデザインの寄せ書きページが作成される(ステップS24)。
寄せ書き作成部66では、メッセージ分割部92により、メッセージ取得部50によって取得された寄せ書きメッセージが、寄せ書きページのページ数に対応する数のグループに分割される。
続いて、メッセージ配置部94により、寄せ書きメッセージのグループ毎に、例えば、グループに含まれる寄せ書きメッセージと対応する参加ユーザのプロフィール画像とが組み合わされて、寄せ書きメッセージのグループに対応するページの寄せ書きページに配置されて寄せ書きページが作成される。各々の寄せ書きページにおいて、寄せ書きメッセージは、例えば、寄せ書きメッセージがアップロードされた順序で順次配置される。
上記のように、表紙作成部62、本編作成部64および寄せ書き作成部66によって、2以上の参加ユーザの端末装置14から取得された複数の画像、参加ユーザのプロフィール画像および寄せ書きメッセージを用いて、それぞれ、表紙ページのデザインの情報に対応する表紙ページ、本編ページ、および、寄せ書きページのデザインの情報に対応する寄せ書きページを含むフォトブックが自動で作成される。
画像処理装置10では、本編ページだけでなく、寄せ書きページを含むフォトブック等の合成画像を作成することができる。また、画像の総合評価値に基づいて、本編ページにおいて使用する画像の他、各々の画像のサイズおよび本編ページにおける配置位置等を決定することによって、画像の良し悪しだけでなく、複数の参加ユーザの好みを反映した合成画像を作成することができる。
幹事ユーザは、幹事ユーザの端末装置14において、自動で作成された表紙ページ、本編ページおよび寄せ書きページからなるフォトブックの各ページを閲覧する。幹事ユーザは、自動で作成されたフォトブックをそのまま採用してもよいし、各ページの内容、例えば、各ページにおいて使用する画像、画像のサイズ、画像および寄せ書きメッセージの配置位置等を編集してもよい。また、コメントの追加、スタンプ画像の追加、各ページの背景の種類および色の変更等を行うことができる。
幹事ユーザは、日程設定部36によって設定された合成画像の作成期間内、本実施形態の場合、12月4日までにフォトブックの作成を完了し、作成を完了したフォトブックの内容で画像商品を注文する(ステップS25)。幹事ユーザが注文する画像商品には、紙媒体のフォトブックおよび電子データのフォトブックの少なくとも一方が含まれる。
画像商品が注文されると、注文された画像商品のフォトブックが作成され、日程設定部36によって設定された画像商品の配送日、本実施形態の場合、12月20日までに配送先へ送付される(ステップS26)。紙媒体のフォトブックの場合には、例えば、紙媒体のフォトブックが配送先へ送付され、電子データのフォトブックの場合には、例えば、電子データのフォトブック、あるいは電子データをダウンロードするためのURL等が配送先のメールアドレスへ送付される。
以上のように、画像処理装置10では、複数の参加ユーザの端末装置14から取得された複数の画像および寄せ書きメッセージを用いて、寄せ書きページを含むフォトブック等の合成画像を作成することができる。
なお、幹事ユーザだけが合成画像を作成することは必須ではなく、合成画像の作成に関わる複数のユーザが共同で合成画像を作成してもよいし、複数のユーザのうちの少なくとも一人のユーザが合成画像を作成してもよい。
画像処理装置10を構成する各部位の具体的な構成は特に限定されず、同様の機能を果たすことができる各種構成のものを利用することができる。
また、上記実施形態では、サーバ12が情報設定部18、情報管理部20、データ取得部22、データ解析部24および合成画像作成部26を備えているが、これらのうちの少なくとも1つをユーザの端末装置14が備えていてもよい。
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
10 画像処理装置
12 サーバ
14 端末装置(クライアント)
16 ネットワーク
18 情報設定部
20 情報管理部
22 データ取得部
24 データ解析部
26 合成画像作成部
28 予算設定部
30 商材取得部
32 表紙デザイン設定部
34 寄せ書きデザイン設定部
36 日程設定部
38 設定保存部
40 アカウント情報保存部
42 管理画面情報送付部
44 アップロード催促部
46 画像取得部
48 評価情報取得部
50 メッセージ取得部
52 画像数算出部
54 評価数算出部
56 メッセージ数算出部
58 画像解析部
60 評価値算出部
62 表紙作成部
64 本編作成部
66 寄せ書き作成部
68 画像表示部
70 指示入力部
72 人物特定部
74 画像特定部
76 親密度算出部
78 テーマ判定部
80 年齢性別判定部
82 人間関係判定部
84 モード設定部
86 画像分割部
88 画像抽出部
90 画像配置部
92 メッセージ分割部
94 メッセージ配置部
96 撮影者情報取得部
98 重要人物取得部

Claims (26)

  1. 複数のユーザの端末装置から、ネットワークを介して、複数の画像を取得する画像取得部と、
    前記複数のユーザの端末装置から、前記ネットワークを介して、前記複数の画像の各々を撮影した撮影者情報を取得する撮影者情報取得部と、
    前記各々の画像の内容を解析する画像解析部と、
    前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物を判別し、前記判別した人物の中から1以上の第1人物を特定する人物特定部と、
    前記各々の画像における前記第1人物の存在および前記各々の画像の撮影者情報に基づいて、前記第1人物と前記各々の撮影者との親密度を算出する親密度算出部とを備える画像処理装置。
  2. 前記親密度算出部は、画像を占める割合が第1閾値を超えるまたは撮影距離が第2閾値未満である前記第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、前記割合が前記第1閾値を超えるまたは前記撮影距離が前記第2閾値未満である前記第1人物が写っている画像を撮影した枚数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1に記載の画像処理装置。
  3. 前記親密度算出部は、特定の表情を有している前記第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、前記特定の表情を有している前記第1人物が写っている画像を撮影した枚数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1または2に記載の画像処理装置。
  4. 前記親密度算出部は、少ない種類の表情の前記第1人物が写っている画像を撮影した撮影者よりも、多くの種類の表情の前記第1人物が写っている画像を撮影した撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1ないし3のいずれか一項に記載の画像処理装置。
  5. 前記親密度算出部は、前記第1人物が写っている画像を撮影した枚数が少ない撮影者よりも、前記第1人物が写っている画像を撮影した枚数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1ないし4のいずれか一項に記載の画像処理装置。
  6. 前記親密度算出部は、前記第1人物が写っている画像を撮影した日数が少ない撮影者よりも、前記第1人物が写っている画像を撮影した日数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1ないし5のいずれか一項に記載の画像処理装置。
  7. 前記親密度算出部は、前記第1人物が写っている画像を撮影した場所の数が少ない撮影者よりも、前記第1人物が写っている画像を撮影した場所の数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1ないし6のいずれか一項に記載の画像処理装置。
  8. 前記親密度算出部は、前記第1人物が写っている画像を撮影した時間帯の数が少ない撮影者よりも、前記第1人物が写っている画像を撮影した時間帯の数が多い撮影者を、前記第1人物との親密度が高い撮影者であると算出する請求項1ないし7のいずれか一項に記載の画像処理装置。
  9. さらに、前記各々の画像の解析結果と、前記複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、前記複数の画像のテーマを判定するテーマ判定部と、
    前記各々の画像の解析結果に基づいて、前記前記各々の画像に写っている人物の年齢および性別を判定する年齢性別判定部と、
    前記テーマ、前記人物の年齢、前記人物の性別、および、前記各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、前記第1人物と前記各々の撮影者との人間関係を判定する人間関係判定部とを備え、
    前記親密度算出部は、さらに、前記第1人物と前記各々の撮影者との人間関係に基づいて、前記第1人物と前記各々のユーザとの親密度を算出する請求項1ないし8のいずれか一項に記載の画像処理装置。
  10. さらに、前記複数の画像を、それぞれ、前記各々の人物が写っている画像を含む複数のグループに分割する画像分割部を備え、
    前記年齢性別判定部は、前記各々の画像の解析結果に基づいて、前記複数のグループの各々に含まれる画像に写っている人物の年齢および性別を判定する請求項9に記載の画像処理装置。
  11. さらに、各々の前記人物が写っている画像の数を算出する画像数算出部を備え、
    前記テーマ判定部は、さらに、前記各々の人物が写っている画像の数に基づいて、前記複数の画像のテーマのサブテーマを判定し、
    前記人間関係判定部は、少なくとも前記サブテーマに基づいて、前記第1人物と前記各々の撮影者との人間関係を判定する請求項9または10に記載の画像処理装置。
  12. さらに、前記第1人物と前記各々の撮影者との親密度に基づいて、前記複数の画像の中から、合成画像において使用する画像を合成対象画像として抽出する画像抽出部と、
    前記合成対象画像を用いて前記合成画像を作成する合成画像作成部とを備える請求項1ないし11のいずれか一項に記載の画像処理装置。
  13. 前記画像抽出部は、前記第1人物との親密度が低い撮影者によって撮影された画像よりも、前記第1人物との親密度が高い撮影者によって撮影された画像を優先して、前記複数の画像の中から前記合成対象画像を抽出する請求項12に記載の画像処理装置。
  14. 前記画像抽出部は、前記第1人物との親密度が高い撮影者によって撮影された画像よりも、前記第1人物との親密度が低い撮影者によって撮影された画像を優先して、前記複数の画像の中から前記合成対象画像を抽出する請求項12に記載の画像処理装置。
  15. さらに、第1モード、第2モードおよび第3モードの中から前記複数のユーザのうちの第1ユーザによって設定された1つのモードの情報を、前記ネットワークを介して、前記第1ユーザの端末装置から取得するモード設定部を備え、
    前記画像抽出部は、前記モードの情報に基づいて、前記第1モードに設定された場合に、前記第1人物との親密度が低い撮影者によって撮影された画像よりも、前記第1人物との親密度が高い撮影者によって撮影された画像を優先して、前記複数の画像の中から前記合成対象画像を抽出し、前記第2モードに設定された場合に、前記第1人物との親密度が高い撮影者によって撮影された画像よりも、前記第1人物との親密度が低い撮影者によって撮影された画像を優先して、前記複数の画像の中から前記合成対象画像を抽出し、前記第3モードに設定された場合に、前記第1人物と前記各々の撮影者との親密度に関わらず、前記複数の画像の中から前記合成対象画像を抽出する請求項12に記載の画像処理装置。
  16. さらに、前記各々の画像の前記撮影者情報に基づいて、前記複数の画像の中から、前記複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備える請求項12ないし15のいずれか一項に記載の画像処理装置。
  17. さらに、前記各々の画像の付帯情報に含まれる前記各々の画像の撮影者の情報に基づいて、前記複数の画像の中から、前記複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備える請求項12ないし15のいずれか一項に記載の画像処理装置。
  18. さらに、前記画像取得部によって前記各々のユーザの端末装置から前記各々の画像が取得された場合に、前記各々の画像が取得された各々の端末装置のユーザが、前記取得された各々の画像を撮影した各々の撮影者であると判断し、前記複数の画像の中から、前記複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定する画像特定部を備える請求項12ないし15のいずれか一項に記載の画像処理装置。
  19. さらに、前記第1人物の中から重要人物を取得する重要人物取得部を備え、
    前記画像取得部は、さらに、前記各々のユーザの顔画像を取得し、
    前記人物特定部は、さらに、前記各々のユーザの顔画像に基づいて、前記複数の人物の中から、前記各々のユーザを特定し、
    前記画像特定部は、さらに、前記特定された各々のユーザに基づいて、前記複数の画像の中から、前記各々のユーザに対応する前記各々の撮影者が写っている画像を特定し、
    前記画像抽出部は、さらに、前記複数の画像の中から、前記重要人物との親密度が低い撮影者が写っている画像よりも、前記重要人物との親密度が高い撮影者が写っている画像を優先して前記合成対象画像を抽出する請求項16ないし18のいずれか一項に記載の画像処理装置。
  20. 画像取得部が、複数のユーザの端末装置から、ネットワークを介して、複数の画像を取得するステップと、
    撮影者情報取得部が、前記複数のユーザの端末装置から、前記ネットワークを介して、前記複数の画像の各々を撮影した撮影者情報を取得するステップと、
    画像解析部が、前記各々の画像の内容を解析するステップと、
    人物特定部が、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物を判別し、前記判別した人物の中から1以上の第1人物を特定するステップと、
    親密度算出部が、前記各々の画像における前記第1人物の存在および前記各々の画像の撮影者情報に基づいて、前記第1人物と前記各々の撮影者との親密度を算出するステップとを含む画像処理方法。
  21. さらに、テーマ判定部が、前記各々の画像の解析結果と、前記複数の画像の撮影期間、撮影日数、撮影枚数および撮影場所のうちの少なくとも1つとに基づいて、前記複数の画像のテーマを判定するステップと、
    年齢性別判定部が、前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物の年齢および性別を判定するステップと、
    人間関係判定部が、前記テーマ、前記人物の年齢、前記人物の性別、および、前記各々の撮影者によって撮影された画像に写っている人物のうちの少なくとも1つに基づいて、前記第1人物と前記各々の撮影者との人間関係を判定するステップとを含み、
    前記親密度を算出するステップは、さらに、前記第1人物と前記各々の撮影者との人間関係に基づいて、前記第1人物と前記各々のユーザとの親密度を算出する請求項20に記載の画像処理方法。
  22. さらに、画像抽出部が、前記第1人物と前記各々の撮影者との親密度に基づいて、前記複数の画像の中から、合成画像において使用する画像を合成対象画像として抽出するステップと、
    合成画像作成部が、前記合成対象画像を用いて前記合成画像を作成するステップとを含む請求項20または21に記載の画像処理方法。
  23. さらに、画像特定部が、前記各々の画像の前記撮影者情報に基づいて、前記複数の画像の中から、前記複数のユーザの各々に対応する複数の撮影者の各々によって撮影された画像を特定するステップを含む請求項22に記載の画像処理方法。
  24. さらに、重要人物取得部が、前記第1人物の中から重要人物を取得するステップと、
    前記画像取得部が、前記各々のユーザの顔画像を取得するステップと、
    前記人物特定部が、前記各々のユーザの顔画像に基づいて、前記複数の人物の中から、前記各々のユーザを特定するステップと、
    前記画像特定部が、前記特定された各々のユーザに基づいて、前記複数の画像の中から、前記各々のユーザに対応する前記各々の撮影者が写っている画像を特定するステップとを含み、
    前記画像を抽出するステップは、さらに、前記複数の画像の中から、前記重要人物との親密度が低い撮影者が写っている画像よりも、前記第1人物との親密度が高い撮影者が写っている画像を優先して前記合成対象画像を抽出する請求項23に記載の画像処理方法。
  25. 請求項20ないし24のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
  26. 請求項20ないし24のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
JP2016052081A 2016-03-16 2016-03-16 画像処理装置、画像処理方法、プログラムおよび記録媒体 Active JP6533481B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016052081A JP6533481B2 (ja) 2016-03-16 2016-03-16 画像処理装置、画像処理方法、プログラムおよび記録媒体
US15/439,971 US10262193B2 (en) 2016-03-16 2017-02-23 Image processing apparatus and method which determine an intimacy between a person in an image and a photographer of the image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016052081A JP6533481B2 (ja) 2016-03-16 2016-03-16 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2017167793A true JP2017167793A (ja) 2017-09-21
JP6533481B2 JP6533481B2 (ja) 2019-06-19

Family

ID=59855701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016052081A Active JP6533481B2 (ja) 2016-03-16 2016-03-16 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (2)

Country Link
US (1) US10262193B2 (ja)
JP (1) JP6533481B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067067A (ja) * 2017-09-29 2019-04-25 Kddi株式会社 判定装置、判定方法及び情報提供システム
JP2021099748A (ja) * 2019-12-23 2021-07-01 株式会社ミクシィ 情報処理装置、制御プログラム、及び制御方法
JP7193663B1 (ja) 2022-01-18 2022-12-20 株式会社エクサウィザーズ 情報処理装置、情報処理プログラム、及び情報処理方法
WO2023007955A1 (ja) * 2021-07-28 2023-02-02 株式会社iUM 生成システム、及び生成プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6533481B2 (ja) * 2016-03-16 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11169661B2 (en) * 2017-05-31 2021-11-09 International Business Machines Corporation Thumbnail generation for digital images
US11163940B2 (en) * 2019-05-25 2021-11-02 Microsoft Technology Licensing Llc Pipeline for identifying supplemental content items that are related to objects in images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127285A (ja) * 2002-09-13 2004-04-22 Sony Corp 画像認識装置、画像認識処理方法および画像認識プログラム
JP2011514575A (ja) * 2008-01-25 2011-05-06 イーストマン コダック カンパニー 個人的写真集合からの社会的関係の割出し
WO2013132557A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 コンテンツ加工装置とその集積回路、方法、およびプログラム
JP2014225206A (ja) * 2013-05-17 2014-12-04 株式会社Nttドコモ 情報処理装置及び情報処理方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4719335B2 (ja) 2000-04-13 2011-07-06 楽天株式会社 寄せ書き管理装置及び寄せ書き管理方法
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP2006295890A (ja) * 2005-03-15 2006-10-26 Fuji Photo Film Co Ltd アルバム作成装置、アルバム作成方法、及びプログラム
WO2006127660A2 (en) * 2005-05-23 2006-11-30 Picateers, Inc. System and method for collaborative image selection
JP4762731B2 (ja) * 2005-10-18 2011-08-31 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2007166594A (ja) * 2005-11-17 2007-06-28 Fujifilm Corp アルバム作成システム、アルバム作成方法、およびアルバム作成プログラム
US8812582B2 (en) * 2006-11-30 2014-08-19 Red Hat, Inc. Automated screen saver with shared media
JP2008257308A (ja) 2007-03-31 2008-10-23 Fujifilm Graphic Systems Co Ltd アルバム制作システムおよびサーバ装置
JP2009259238A (ja) * 2008-03-26 2009-11-05 Fujifilm Corp 画像シェアリング用保存装置、画像シェアリングシステムおよび方法
JP5251547B2 (ja) * 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
US8477207B2 (en) * 2008-06-06 2013-07-02 Sony Corporation Image capturing apparatus, image capturing method, and computer program
WO2010087818A1 (en) * 2009-01-28 2010-08-05 Hewlett-Packard Development Company, L.P. Dynamic image collage
US20110029860A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W Artistic digital template for image display
US8988456B2 (en) * 2010-03-25 2015-03-24 Apple Inc. Generating digital media presentation layouts dynamically based on image features
JPWO2012070430A1 (ja) * 2010-11-24 2014-05-19 日本電気株式会社 感性表現語処理装置、感性表現語処理方法および感性表現語処理プログラム
US20130147933A1 (en) * 2011-12-09 2013-06-13 Charles J. Kulas User image insertion into a text message
US9256620B2 (en) * 2011-12-20 2016-02-09 Amazon Technologies, Inc. Techniques for grouping images
JP6012309B2 (ja) * 2012-07-09 2016-10-25 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
US20140161356A1 (en) * 2012-12-10 2014-06-12 Rawllin International Inc. Multimedia message from text based images including emoticons and acronyms
JP5936658B2 (ja) * 2013-09-24 2016-06-22 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5931829B2 (ja) * 2013-09-30 2016-06-08 富士フイルム株式会社 合成画像作成アシスト装置、合成画像作成アシスト方法、合成画像作成アシストプログラムおよびその記録媒体
WO2015102338A1 (ko) * 2014-01-06 2015-07-09 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6415817B2 (ja) 2014-01-14 2018-10-31 株式会社yosetti 寄せ書きシステム提供サーバ、寄せ書きシステム提供方法、および、寄せ書きシステム提供プログラム
US9043196B1 (en) * 2014-07-07 2015-05-26 Machine Zone, Inc. Systems and methods for identifying and suggesting emoticons
US9779532B2 (en) * 2014-07-31 2017-10-03 Emonster, Inc. Customizable animations for text messages
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US20160180560A1 (en) * 2014-12-17 2016-06-23 Created To Love, Inc. Image insertion in a message
JP6533481B2 (ja) * 2016-03-16 2019-06-19 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR20180057366A (ko) * 2016-11-22 2018-05-30 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004127285A (ja) * 2002-09-13 2004-04-22 Sony Corp 画像認識装置、画像認識処理方法および画像認識プログラム
JP2011514575A (ja) * 2008-01-25 2011-05-06 イーストマン コダック カンパニー 個人的写真集合からの社会的関係の割出し
WO2013132557A1 (ja) * 2012-03-05 2013-09-12 パナソニック株式会社 コンテンツ加工装置とその集積回路、方法、およびプログラム
JP2014225206A (ja) * 2013-05-17 2014-12-04 株式会社Nttドコモ 情報処理装置及び情報処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019067067A (ja) * 2017-09-29 2019-04-25 Kddi株式会社 判定装置、判定方法及び情報提供システム
JP2021099748A (ja) * 2019-12-23 2021-07-01 株式会社ミクシィ 情報処理装置、制御プログラム、及び制御方法
JP7485893B2 (ja) 2019-12-23 2024-05-17 株式会社Mixi 情報処理装置、制御プログラム、及び制御方法
WO2023007955A1 (ja) * 2021-07-28 2023-02-02 株式会社iUM 生成システム、及び生成プログラム
JP7343202B2 (ja) 2021-07-28 2023-09-12 株式会社iUM 生成システム、及び生成プログラム
JP7193663B1 (ja) 2022-01-18 2022-12-20 株式会社エクサウィザーズ 情報処理装置、情報処理プログラム、及び情報処理方法
JP2023104685A (ja) * 2022-01-18 2023-07-28 株式会社エクサウィザーズ 情報処理装置、情報処理プログラム、及び情報処理方法

Also Published As

Publication number Publication date
JP6533481B2 (ja) 2019-06-19
US10262193B2 (en) 2019-04-16
US20170270353A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
JP6533481B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP5655112B2 (ja) 合成画像作成システム、画像処理装置および画像処理方法
JP5719406B2 (ja) 合成画像作成システム、画像処理装置および画像処理方法
JP6858865B2 (ja) 画像を共有する自動提案
TWI522821B (zh) 相片管理系統
US8190639B2 (en) Ordering content in social networking applications
JP7111632B2 (ja) 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US20120265758A1 (en) System and method for gathering, filtering, and displaying content captured at an event
JP6595956B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20120210200A1 (en) System, method, and touch screen graphical user interface for managing photos and creating photo books
US10990824B2 (en) Image processing apparatus, image processing method, program, and recording medium
JP2019185747A (ja) メディアオブジェクトをグループ化するコンピュータ実装方法及びプログラム、並びに画像取り込み装置
US20110099089A1 (en) System and Methods for Event Networking, Media Sharing, and Product Creation
JP2013003630A (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US10783355B2 (en) Image processing system, image processing method, program, and recording medium
JP6674798B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6502280B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6502272B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US10846771B2 (en) Image processing apparatus, image processing method, program, and recording medium
KR101837030B1 (ko) 인터렉티브한 디스플레이 장치를 이용한 방명록 서비스 제공 시스템
WO2017169963A1 (ja) 画像処理システム、画像処理方法、プログラムおよび記録媒体
TWI621954B (zh) 影像檔案分類方法及系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190524

R150 Certificate of patent or registration of utility model

Ref document number: 6533481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250