JP2020052750A - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP2020052750A JP2020052750A JP2018181689A JP2018181689A JP2020052750A JP 2020052750 A JP2020052750 A JP 2020052750A JP 2018181689 A JP2018181689 A JP 2018181689A JP 2018181689 A JP2018181689 A JP 2018181689A JP 2020052750 A JP2020052750 A JP 2020052750A
- Authority
- JP
- Japan
- Prior art keywords
- image
- tag information
- event
- images
- appearances
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Abstract
【課題】ユーザが所有する画像群から、そのユーザの趣味を正確に判定することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、趣味判定部が、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する。【選択図】 図２
Description
本発明は、ユーザが所有する画像群から、ユーザの趣味を判定する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
SNS（Social Networking Service：ソーシャル・ネットワーキング・サービス）を利用して、ユーザが所有する画像を、SNSを利用する任意のユーザに公開したり、共有相手のみと共有したりすることが行われている。また、SNSにおいて、一般的に人気のあるコンテンツおよびSNSを利用しているユーザにとって興味があると思われるコンテンツを表示することが行われている。
ユーザにとって興味があると思われるコンテンツを表示する場合、そのユーザが所有する画像群に基づいて、ユーザの趣味を判定することができれば、その趣味に合致するコンテンツを表示することができる。
画像処理に関する一般的な技術として、画像に写っている被写体（人物および人物以外のオブジェクト）を認識する被写体認識が知られている。この被写体認識の技術を利用することにより、例えば画像にテーブルが写っている、画像にカップが置いてある、画像に人物が写っている、その画像に写っている人物は女性である、等のように、画像に写っている被写体を推定することができる。
上記のように、既存技術を利用して、画像に写っている被写体を認識することはできるが、必ずしも画像に写っている被写体に関連する趣味をユーザが有しているとは限らない。例えば、グルメ、電車、お酒のラベルおよびマンホール等のように、ユーザの趣味が画像に写っている被写体に直接現れているものものあれば、「旅行」および「音楽鑑賞」等のように、ユーザの趣味が画像に直接写っていないものもあるからである。
ここで、本発明に関連性のある先行技術文献として、特許文献１〜６がある。
特許文献１には、画像データから抽出される画像情報に基づいて、画像データを複数含む画像データ群毎にテーマ性を解析し、テーマ性と関連付けて記憶された所定の処理と、画像データ群との組合せを、テーマ性に基づいて選択する情報処理装置が記載されている。
特許文献２には、端末装置から受け付けた画像データを解析して、端末装置のユーザの嗜好に関する嗜好情報を抽出し、抽出された嗜好情報に関連する関連情報をデータベースから選択して、端末装置に送信する画像サーバが記載されている。
特許文献３には、候補画像群に含まれる画像の画像解析情報に基づいて、候補画像群のテーマを判別し、候補画像群のテーマに基づいて、テンプレートを選択し、候補画像群に含まれる画像が商材テンプレートの上にレイアウトされた推奨合成画像を作成する画像処理装置が記載されている。
特許文献４には、ディジタルカメラから画像やExif情報をパーソナルコンピュータに取り込み、画像自体、およびその画像のExif情報からメタデータを抽出し、抽出したメタデータに基づいて、画像を撮影したときのイベントを識別することが記載されている。
特許文献５には、ユーザが所有する画像群を取得し、その各々の画像の画像解析を行い、画像解析情報に基づいて画像群のテーマを判別し、画像群のテーマに基づいてユーザの嗜好を分析することが記載されている。
特許文献６には、画像ではなく物品に関するものであるが、ユーザが所有する、複数の物品各々に付されたタグから物品に関する情報を受信し、物品に関する情報をキーとしてデータベースを検索して物品に関する情報に対応付けられた物品名を取得し、物品の位置情報に基づき、物品をクラスタリングし、クラスタ毎に、各クラスタに含まれる物品に対応する趣味を特定後、特定した趣味に対応付けられている結果を結果記憶部から取得し、その結果に基づいて、趣味情報を取得した回数が閾値以上の趣味をユーザの趣味であると推定することが記載されている。
本発明の目的は、ユーザが所有する画像群から、そのユーザの趣味を正確に判定することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
上記目的を達成するために、本発明の第１態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部と、を備える、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部と、を備える、画像処理装置を提供する。
また、本発明の第２態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部と、を備え、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備える、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部と、を備え、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備える、画像処理装置を提供する。
また、本発明の第３態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備える、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備える、画像処理装置を提供する。
また、本発明の第４態様は、第１態様の画像処理装置において、さらに、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部、を備え、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
趣味判定部は、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
趣味判定部は、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
本発明の第５態様は、第１、第２および第４態様のいずれかの画像処理装置において、さらに、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
趣味判定部は、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
趣味判定部は、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
また、第１、第２および第４態様のいずれかの画像処理装置において、さらに、タグ情報の種類毎に、閾値を設定する閾値設定部を備えるのが好ましい。
また、第３または第５態様の画像処理装置において、さらに、タグ情報の種類毎に、閾値を設定する閾値設定部を備えるのが好ましい。
さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントの１回当たりの費用を設定する費用設定部を備え、
閾値設定部は、費用設定部によって設定されたイベントの１回当たりの費用が高くなるほど、閾値が小さくなるように設定するのが好ましい。
閾値設定部は、費用設定部によって設定されたイベントの１回当たりの費用が高くなるほど、閾値が小さくなるように設定するのが好ましい。
さらに、各々の画像の属性情報に含まれる撮影場所、および、第１ユーザの自宅場所の情報を含む、第１ユーザのアカウント情報の少なくとも一方から、第１ユーザの自宅場所を解析する自宅場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所を解析する撮影場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離を算出する距離算出部と、を備え、
閾値設定部は、距離算出部によって算出された距離が遠くなるほど、閾値が小さくなるように設定するのが好ましい。
画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所を解析する撮影場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離を算出する距離算出部と、を備え、
閾値設定部は、距離算出部によって算出された距離が遠くなるほど、閾値が小さくなるように設定するのが好ましい。
また、趣味判定部は、全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報のうちの出現回数の割合が閾値以上であるタグ情報を、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の中から除外するのが好ましい。
また、趣味判定部は、全てのユーザが所有する画像群に含まれる画像に付与された１の種類のタグ情報の出現回数に対する、第１ユーザが所有する画像群に含まれる画像に付与された１の種類のタグ情報の出現回数の割合が閾値以上であるタグ情報に関連する趣味を、他のタグ情報に関連する趣味よりも重要な趣味であると判定するのが好ましい。
さらに、第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含めるのが好ましい。
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含めるのが好ましい。
また、趣味判定部は、第１ユーザに対して共有された、第２ユーザが所有する画像のうち、第１画像が、第１ユーザが所有する画像群として保存され、第２画像が、第１ユーザが所有する画像群として保存されていない場合、第１画像に付与されたタグ情報の出現回数が、第２画像に付与されたタグ情報の出現回数よりも多くなるように重み付けを行うのが好ましい。
また、本発明の第６態様は、画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
趣味判定部が、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
趣味判定部が、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
また、本発明の第７態様は、画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
シーン検出部が、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するステップと、
タグ情報付与部が、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与するステップと、
趣味判定部が、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
シーン検出部が、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するステップと、
タグ情報付与部が、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与するステップと、
趣味判定部が、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
また、本発明の第８態様は、画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
グループ抽出部が、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するステップと、
イベント決定部が、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するステップと、
タグ情報付与部が、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与するステップと、
趣味判定部が、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
属性情報取得部が、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得するステップと、
画像解析部が、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行うステップと、
タグ情報付与部が、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するステップと、
グループ抽出部が、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するステップと、
イベント決定部が、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するステップと、
タグ情報付与部が、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与するステップと、
趣味判定部が、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含む、画像処理方法を提供する。
また、本発明の第９態様は、第６態様の画像処理方法において、さらに、シーン検出部が、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するステップと、
タグ情報付与部が、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与するステップと、
趣味判定部が、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含むのが好ましい。
タグ情報付与部が、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与するステップと、
趣味判定部が、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含むのが好ましい。
また、本発明の第１０態様は、第６、第７および第９態様の画像処理方法において、さらに、グループ抽出部が、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するステップと、
イベント決定部が、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するステップと、
タグ情報付与部が、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与するステップと、
趣味判定部が、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含むのが好ましい。
イベント決定部が、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するステップと、
タグ情報付与部が、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与するステップと、
趣味判定部が、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するステップと、を含むのが好ましい。
また、本発明の第１１態様は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
また、本発明の第１２態様は、上記のいずれかの画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
本発明の第１３態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部と、を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部と、を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
また、本発明の第１４態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部と、を備え、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部、シーン検出部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部と、を備え、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部、シーン検出部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
また、本発明の第１５態様は、第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部、グループ抽出部、イベント決定部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する属性情報取得部と、
画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析を行う画像解析部と、
画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与するタグ情報付与部と、
各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する趣味判定部を備え、
画像受付部、属性情報取得部、画像解析部、タグ情報付与部、グループ抽出部、イベント決定部および趣味判定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成される、画像処理装置を提供する。
また、本発明の第１６態様は、第１態様の画像処理装置において、さらに、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンを検出するシーン検出部、を備え、
シーン検出部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
趣味判定部は、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
シーン検出部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
タグ情報付与部は、さらに、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与し、
趣味判定部は、さらに、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
本発明の第１７態様は、第１３、第１４および第１６態様のいずれかの画像処理装置において、さらに、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
グループ抽出部およびイベント決定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
趣味判定部は、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
グループ抽出部およびイベント決定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
タグ情報付与部は、さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与し、
趣味判定部は、さらに、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定するのが好ましい。
また、第１３、第１４および第１６態様のいずれかの画像処理装置において、さらに、タグ情報の種類毎に、閾値を設定する閾値設定部を備え、
閾値設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されるのが好ましい。
閾値設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されるのが好ましい。
また、第１５または第１７態様の画像処理装置において、さらに、タグ情報の種類毎に、閾値を設定する閾値設定部を備え、
閾値設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されるのが好ましい。
閾値設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成されるのが好ましい。
さらに、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントの１回当たりの費用を設定する費用設定部を備え、
費用設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
閾値設定部は、費用設定部によって設定されたイベントの１回当たりの費用が高くなるほど、閾値が小さくなるように設定するのが好ましい。
費用設定部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
閾値設定部は、費用設定部によって設定されたイベントの１回当たりの費用が高くなるほど、閾値が小さくなるように設定するのが好ましい。
さらに、各々の画像の属性情報に含まれる撮影場所、および、第１ユーザの自宅場所の情報を含む、第１ユーザのアカウント情報の少なくとも一方から、第１ユーザの自宅場所を解析する自宅場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所を解析する撮影場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離を算出する距離算出部と、を備え、
自宅場所解析部、撮影場所解析部および距離算出部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
閾値設定部は、距離算出部によって算出された距離が遠くなるほど、閾値が小さくなるように設定するのが好ましい。
画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所を解析する撮影場所解析部と、
画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離を算出する距離算出部と、を備え、
自宅場所解析部、撮影場所解析部および距離算出部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
閾値設定部は、距離算出部によって算出された距離が遠くなるほど、閾値が小さくなるように設定するのが好ましい。
さらに、第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
画像共有部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含めるのが好ましい。
画像共有部は、専用のハードウェアまたはプログラムを実行するプロセッサによって構成され、
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部は、第１ユーザが所有する画像群として、共有された画像を含めるのが好ましい。
本発明によれば、タグ情報の出現回数を、そのタグ情報が付与された画像の撮影日の数でカウントすることにより、持続性をもって繰り返し出現するタグ情報に関連する趣味を、第１ユーザが有していると正確に判定することができる。
また、シーンタグ情報およびイベントタグ情報を用いて、第１ユーザの趣味を判定することにより、第１ユーザの趣味が画像に直接写っていないものである場合であっても、第１ユーザの趣味を正確に判定することができる。
また、シーンタグ情報およびイベントタグ情報を用いて、第１ユーザの趣味を判定することにより、第１ユーザの趣味が画像に直接写っていないものである場合であっても、第１ユーザの趣味を正確に判定することができる。
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。図１に示す画像処理システム１０は、サーバ１２と、ネットワーク１６を介して各々サーバ１２に接続された複数のクライアント１４と、を備えている。
サーバ１２は、画像処理システム１０を利用する複数のユーザが所有する画像群を取得し、複数のユーザの各々が所有する画像群に含まれる各々の画像を、任意のユーザに公開する、共有相手のみと共有する、または非公開に設定する機能等を有する。
サーバ１２は、１台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置等を有する、ワークステーション等によって構成される。
サーバ１２は、１台に限らず、複数台であってもよく、制御装置、記憶装置および通信装置等を有する、ワークステーション等によって構成される。
クライアント１４は、本実施形態の画像処理装置であり、ユーザが所有する画像群から、ユーザの趣味を判定する機能等を有する。
クライアント１４は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ等を有する、デスクトップPC（パーソナルコンピュータ）、ノートPC、タブレットPC、あるいは、携帯電話およびスマートフォン等の携帯端末等によって構成される。
クライアント１４は、制御装置、入力装置、記憶装置、通信装置およびディスプレイ等を有する、デスクトップPC（パーソナルコンピュータ）、ノートPC、タブレットPC、あるいは、携帯電話およびスマートフォン等の携帯端末等によって構成される。
図２は、クライアントの構成を表す一実施形態のブロック図である。図２に示すクライアント１４は、指示取得部１８と、画像受付部２０と、属性情報取得部２２と、画像解析部２４と、タグ情報付与部２６と、趣味判定部２８と、シーン検出部３０と、グループ抽出部３２と、イベント決定部３４と、費用設定部３６と、自宅場所解析部３８と、撮影場所解析部４０と、距離算出部４２と、閾値設定部４４と、画像共有部４６と、通信部４８と、ディスプレイ５０と、を備えている。
以下、第１ユーザが所有するクライアント１４について説明する。
第１ユーザは、画像処理システム１０を利用する全てのユーザのうちの任意の一人のユーザである。本実施形態では、第１ユーザのクライアント１４について説明するが、第１ユーザ以外の他のユーザが所有するクライアント１４についても同様の構成および機能を有する。
第１ユーザは、画像処理システム１０を利用する全てのユーザのうちの任意の一人のユーザである。本実施形態では、第１ユーザのクライアント１４について説明するが、第１ユーザ以外の他のユーザが所有するクライアント１４についても同様の構成および機能を有する。
第１ユーザのクライアント１４において、まず、指示取得部１８は、キーボード、マウス、タッチパネル等の入力装置を利用して第１ユーザから入力される各種の指示を取得する。
第１ユーザは、ディスプレイ５０に表示された画面を見ながら、入力装置を用いて指示を入力する。
第１ユーザが入力する指示には、特に制限はないが、画像群を指定する指示、イベントの費用を設定する指示、画像群に含まれる画像の中から画像を選択する指示、画像の共有相手を設定する指示、画像を公開する、共有する、または非公開に設定する指示等が含まれる。
第１ユーザが入力する指示には、特に制限はないが、画像群を指定する指示、イベントの費用を設定する指示、画像群に含まれる画像の中から画像を選択する指示、画像の共有相手を設定する指示、画像を公開する、共有する、または非公開に設定する指示等が含まれる。
続いて、画像受付部２０は、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力を受け付ける。言い換えると、画像受付部２０は、第１ユーザが所有する画像群を取得する。
第１ユーザが所有する画像群には、特に制限はないが、第１ユーザのクライアント１４の記憶装置に格納された画像群、USB（Universal Serial Bus）メモリ、SD（Secure Digital）メモリ、CD（Compact Disc）、DVD（Digital Versatile Disc）およびHD（Hard Disk）等の外部記録媒体に記録された画像群、オンラインストレージに格納された画像群、SNSに投稿された画像群等が含まれる。また、画像には、静止画像だけではなく動画像も含まれる。
続いて、属性情報取得部２２は、画像群に含まれる各々の画像に付与されている、各々の画像の撮影日時を含む属性情報を、各々の画像から取得する。
画像群に含まれる複数の画像の各々には、属性情報を付与することができる。
属性情報は、画像の属性を表す情報であり、例えばExif（Exchangeable image file format）情報等を例示することができる。Exif情報は、画像の撮影条件に関する情報であり、例えば画像の撮影日時、撮影場所（位置情報）、焦点距離、露出等の情報を含む。Exif情報は、デジタルカメラ等によって撮影された画像（画像データ）のヘッダ情報として付与される。
属性情報は、画像の属性を表す情報であり、例えばExif（Exchangeable image file format）情報等を例示することができる。Exif情報は、画像の撮影条件に関する情報であり、例えば画像の撮影日時、撮影場所（位置情報）、焦点距離、露出等の情報を含む。Exif情報は、デジタルカメラ等によって撮影された画像（画像データ）のヘッダ情報として付与される。
続いて、画像解析部２４は、画像群に含まれる画像毎に、画像に写っている被写体（人物および人物以外のオブジェクト）を認識する被写体認識を含む、画像の解析を行う。
被写体認識は、顔検出、人物認識（顔認識）、およびオブジェクト認識（肉、果物、花、ケーキ、…）等を含む。
画像解析は、特に限定されないが、明るさ判定、色評価、ボケブレ評価等を含む。
画像解析は、特に限定されないが、明るさ判定、色評価、ボケブレ評価等を含む。
続いて、タグ情報付与部２６は、画像群に含まれる画像毎に、画像の属性情報および画像の解析結果に基づいて、タグ情報を画像に付与する。
タグ情報付与部２６は、本実施形態の場合、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報を、画像に付与する。
タグ情報は、画像の属性情報、画像に写っている被写体、および画像から読み取られる感情等を表す名称である。
例えば、画像の撮影年が２０１８年である場合、「２０１８年」というタグ情報が画像に付与され、画像の撮影場所が東京である場合、「東京」というタグ情報が画像に付与される。また、被写体として「肉」および複数の「人物」が画像に写っている場合、「肉」、「人物」、「飲み会」および「女子会」等のタグ情報が画像に付与される。画像に写っている「人物」が笑顔であれば、「笑顔」および「楽しい」等のタグ情報が画像に付与される。
また、感情については、ウェアラブル端末における心拍数、呼吸数、血圧、心電図、体温および発汗等の測定および検知、ならびに、ゴーグル型端末における瞳孔の開き具合の測定および検知等から測定することもできる。
例えば、画像の撮影年が２０１８年である場合、「２０１８年」というタグ情報が画像に付与され、画像の撮影場所が東京である場合、「東京」というタグ情報が画像に付与される。また、被写体として「肉」および複数の「人物」が画像に写っている場合、「肉」、「人物」、「飲み会」および「女子会」等のタグ情報が画像に付与される。画像に写っている「人物」が笑顔であれば、「笑顔」および「楽しい」等のタグ情報が画像に付与される。
また、感情については、ウェアラブル端末における心拍数、呼吸数、血圧、心電図、体温および発汗等の測定および検知、ならびに、ゴーグル型端末における瞳孔の開き具合の測定および検知等から測定することもできる。
また、タグ情報付与部２６は、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報を画像に付与することができる。
シーンタグ情報は、画像のシーンを表す名称である。
シーンとは、「子供」、「青空」、「海」、「学校」、「運動会」のシーン等のように、１枚の画像が撮影された時点における一場面を表す。
例えば、「境内」、「和装」および「子供」が画像に写っている場合、「七五三」というシーンタグ情報が画像に付与される。
シーンとは、「子供」、「青空」、「海」、「学校」、「運動会」のシーン等のように、１枚の画像が撮影された時点における一場面を表す。
例えば、「境内」、「和装」および「子供」が画像に写っている場合、「七五三」というシーンタグ情報が画像に付与される。
さらに、タグ情報付与部２６は、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報を、イベントおよびイベントにおいて撮影された各々の画像に付与することができる。
イベントタグ情報は、イベントを表す名称である。
イベントとは、「入学式」、「運動会」、「旅行」等のように、画像グループが撮影された期間にわたって発生している出来事を表す。
例えば、複数日連続して撮影された画像グループにおいて、「風景」および「料理」が写っている場合、あるいは、さらに「ランドマーク」および「普段と異なる撮影場所」が写っている場合、「旅行」というイベントタグ情報が、そのイベント、および画像グループに含まれる、そのイベントにおいて撮影された各々の画像に付与される。
イベントとは、「入学式」、「運動会」、「旅行」等のように、画像グループが撮影された期間にわたって発生している出来事を表す。
例えば、複数日連続して撮影された画像グループにおいて、「風景」および「料理」が写っている場合、あるいは、さらに「ランドマーク」および「普段と異なる撮影場所」が写っている場合、「旅行」というイベントタグ情報が、そのイベント、および画像グループに含まれる、そのイベントにおいて撮影された各々の画像に付与される。
タグ情報、シーンタグ情報およびイベントタグ情報は、第１ユーザが手動で画像に付与することもできる。また、タグ情報付与部２６がタグ情報、シーンタグ情報およびイベントタグ情報を画像に付与することなく、画像に既に付与されているタグ情報、シーンタグ情報およびイベントタグ情報を使用することもできる。なお、「子供」および「運動会」等のように、タグ情報、シーンタグ情報およびイベント情報の少なくとも２以上が同じ名称で表される場合もある。
続いて、趣味判定部２８は、画像群に含まれる画像に付与されたタグ情報の種類毎に、タグ情報の出現回数に基づいて、第１ユーザの趣味を判定する。
趣味判定部２８は、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合、または、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定することができる。
また、趣味判定部２８は、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の撮影日の数でカウントし、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定することができる。
さらに、趣味判定部２８は、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントし、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数でカウントしたイベントタグ情報の出現回数の割合、または、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定することができる。
趣味判定部２８は、タグ情報の種類毎に、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントしたタグ情報の出現回数の割合に応じて、そのタグ情報に関連する趣味を、第１ユーザが有している確率、言い換えると、趣味度を判定してもよい。同様に、シーンタグ情報およびイベントタグ情報についても、趣味度を判定してもよい。
続いて、シーン検出部３０は、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて、画像のシーンを検出する。
シーン検出部３０は、画像の全ての属性情報および画像に付与された全てのタグ情報を総合して、その画像全体についてのハイコンテクストなシーンを検出する。ハイコンテクストなシーンとは、「七五三」および「旅行」等のように、画像全体から読み取ることができるシーンである。ハイコンテクストなシーンに対して、「子供」等のように、画像に写っている被写体から検出できるシーンをローコンテクストなシーンという。
続いて、グループ抽出部３２は、各々の画像の撮影日時に基づいて、画像群から、２以上の画像を含む画像グループを抽出する。
グループ抽出部３２は、画像群から、例えば画像の撮影日時が近い複数の画像、つまり、撮影間隔が閾値未満である２以上の画像を同じ画像グループとして抽出する。
続いて、イベント決定部３４は、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントを決定する。
イベント決定部３４は、画像グループに含まれる画像の全ての属性情報および画像グループに含まれる画像に付与された全てのタグ情報を総合して、その画像グループについてのハイコンテクストなイベントを検出する。
続いて、費用設定部３６は、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントの１回当たりの費用を設定する。
費用設定部３６は、イベントの費用を設定する指示に応じて、イベントの種類毎に、イベントの費用を設定してもよいし、あるいは、例えばインターネットを利用してイベントの費用を検索し、複数の費用の検索結果の平均値を、そのイベントの費用として設定することもできる。
続いて、自宅場所解析部３８は、各々の画像の属性情報に含まれる撮影場所、および、第１ユーザの自宅場所の情報を含む、第１ユーザのアカウント情報の少なくとも一方から、第１ユーザの自宅場所を解析する。
撮影場所を含む属性情報が各々の画像に付与されている場合、例えば画像群のうちの多くの画像が同じ範囲内の場所で撮影されていれば、その範囲内の場所が第１ユーザの自宅場所であると解析することができる。また、第１ユーザがSNSを利用している場合、アカウント情報として、第１ユーザの自宅場所の情報を登録している場合がある。この場合、第１ユーザのアカウント情報から、第１ユーザの自宅場所を解析することができる。
続いて、撮影場所解析部４０は、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所を解析する。
イベントにおいて撮影された画像が同じ範囲内の場所で撮影されていれば、その範囲内の場所が、そのイベントにおいて撮影された画像の撮影場所であると解析することができる。
続いて、距離算出部４２は、画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離を算出する。
続いて、閾値設定部４４は、第１ユーザが所有する画像群に含まれる画像に付与されたタグ情報の種類毎に、趣味判定部２８において用いられる閾値を設定する。
続いて、画像共有部４６は、第１ユーザと、第２ユーザと、の間で画像を共有する。
第２ユーザは、画像処理システム１０を利用する全てのユーザのうち、第１ユーザ以外の任意の一人のユーザまたは複数のユーザである。
画像共有部４６は、画像を公開する、または非公開に設定する指示に応じて、画像を選択する指示によって選択された画像を、任意のユーザに公開する、または非公開に設定する。また、画像共有部４６は、画像を共有する指示に応じて、画像を選択する指示によって選択された画像を、共有相手を設定する指示によって設定された共有相手のみと共有する。
画像共有部４６は、画像を公開する、または非公開に設定する指示に応じて、画像を選択する指示によって選択された画像を、任意のユーザに公開する、または非公開に設定する。また、画像共有部４６は、画像を共有する指示に応じて、画像を選択する指示によって選択された画像を、共有相手を設定する指示によって設定された共有相手のみと共有する。
続いて、通信部４８は、クライアント１４が有する通信装置であり、サーバ１２が有する通信装置との間で各種のデータの送受信を行う。
通信部４８は、例えばクライアント１４の記憶装置に格納された画像（画像データ）を、クライアント１４からネットワーク１６を介してサーバ１２へアップロードしたり、サーバ１２の記憶装置に格納された画像を、サーバ１２からネットワーク１６を介してクライアント１４へダウンロードしたりする。
次に、図３に示すフローチャートおよび図４に示す概念図を参照して、第１ユーザの趣味を判定する場合の画像処理システム１０の動作を説明する。
図３は、画像処理システムの動作を表す一実施形態のフローチャートである。また、図４は、イベントタグ情報を付与する様子を表す一実施形態の概念図である。図４においては、第１ユーザが所有する画像群に含まれる２つの画像グループが示されている。
第１ユーザが所有するクライアント１４において、まず、画像受付部２０により、画像群を指定する指示に応じて、第１ユーザが所有する画像群の入力が受け付けられる（S1）。画像群は、クライアント１４の記憶装置に格納される。また、画像群は、クライアント１４からネットワーク１６を介してサーバ１２へアップロードされ、サーバ１２の記憶装置に格納される。
続いて、属性情報取得部２２により、画像群に含まれる各々の画像の撮影日時を含む属性情報が、各々の画像から取得される（S2）。
続いて、画像解析部２４により、画像群に含まれる画像毎に、画像に写っている被写体を認識する被写体認識を含む、画像の解析が行われる（S3）。
続いて、タグ情報付与部２６により、画像群に含まれる画像毎に、画像の属性情報および画像に写っている被写体の少なくとも一方に関連するタグ情報が、画像に付与される（S4）。
図４に示すように、画像によっては、１のタグ情報に限らず、２以上のタグ情報が付与されるものもあり、１つのタグ情報も付与されないものもある。
図４に示すように、画像によっては、１のタグ情報に限らず、２以上のタグ情報が付与されるものもあり、１つのタグ情報も付与されないものもある。
なお、画像受付部２０によって画像群の入力が受け付けられた直後に、属性情報の取得、画像の解析、およびタグ情報の付与等を行ってもよいし、あるいは画像受付部２０によって画像群の入力が受け付けられた後、画像処理システム１０によって何も処理が行われていない期間、例えば夜間等に、属性情報の取得、画像の解析、およびタグ情報の付与等を行ってもよい。
本実施形態の場合、まず、タグ情報に基づいて、第１ユーザの趣味が判定される。
この場合、趣味判定部２８により、タグ情報の種類毎に、タグ情報の出現回数が、タグ情報が付与された画像の撮影日の数でカウントされる（S5）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントした出現回数の割合が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定される（S6）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、撮影日の数でカウントした出現回数の割合が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定される（S6）。
趣味判定部２８は、グルメ、電車、お酒のラベルおよびマンホール等のように、第１ユーザの趣味が画像に写っている被写体に直接現れているものである場合、言い換えると、被写体に関連するタグ情報のみから第１ユーザの趣味を判定できる場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の中で、出現回数が相対的に多い種類のタグ情報に関連する趣味を、第１ユーザが有していると判定する。
例えば、ある１日に集中して画像群が撮影され、その画像群に含まれる多くの画像に同じ種類のタグ情報が付与されたとしても、他の日には、そのタグ情報が付与された画像が全く撮影されていない場合もある。つまり、ある１日に集中して画像が撮影され、その画像群に含まれる多くの画像に同じ種類のタグ情報が付与されたとしても、直ちに、そのタグ情報に関連する趣味を、第１ユーザが有しているとは限らない。
趣味とは、一般的に持続性をもって繰り返し行われるものである。従って、本実施形態のように、タグ情報の出現回数を、そのタグ情報が付与された画像の撮影日の数でカウントすることにより、持続性を持って繰り返し行われている趣味なのか否かを判定することができ、持続性をもって繰り返し出現するタグ情報に関連する趣味を、第１ユーザが有していると正確に判定することができる。
または、趣味判定部２８は、タグ情報の種類毎に、タグ情報の出現回数を、タグ情報が付与された画像の数でカウントし、画像の数でカウントしたタグ情報の出現回数が閾値以上であるタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。
例えば、第１ユーザの趣味が、１年に１回だけ、海外旅行に行くことである場合もある。従って、タグ情報の出現回数を、そのタグ情報が付与された画像の数でカウントすることにより、出現回数が少ないタグ情報に関連する趣味であっても、持続性を持って繰り返し行われている趣味なのか否かを判定することができ、その趣味を第１ユーザが有していると判定することができる。
続いて、シーンタグ情報に基づいて、第１ユーザの趣味が判定される。
この場合、シーン検出部３０により、画像群に含まれる画像毎に、画像の属性情報およびタグ情報に基づいて画像のシーンが検出される（S7）。
続いて、タグ情報付与部２６により、画像群に含まれる画像毎に、タグ情報として、画像のシーンに関連するシーンタグ情報が画像に付与される（S8）。
図４に示すように、画像によっては、シーンタグ情報が付与されるものもあり、付与されないものもある。
図４に示すように、画像によっては、シーンタグ情報が付与されるものもあり、付与されないものもある。
続いて、趣味判定部２８により、シーンタグ情報の種類毎に、シーンタグ情報の出現回数が、シーンタグ情報が付与された画像の撮影日の数でカウントされる（S9）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定される（S10）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のシーンタグ情報の総出現回数に対する、撮影日の数でカウントしたシーンタグ情報の出現回数の割合が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定される（S10）。
趣味判定部２８は、「旅行」および「音楽鑑賞」等のように、第１ユーザの趣味が画像に直接写っていないものである場合、言い換えると、被写体に関連するタグ情報のみから第１ユーザの趣味を判定することが難しい場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のシーンタグ情報の中で、出現回数が相対的に多い種類のシーンタグ情報に関連する趣味を、第１ユーザが有していると判定する。
または、趣味判定部２８は、シーンタグ情報の種類毎に、シーンタグ情報の出現回数を、シーンタグ情報が付与された画像の数でカウントし、画像の数でカウントしたシーンタグ情報の出現回数が閾値以上であるシーンタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。
続いて、イベントタグ情報に基づいて、第１ユーザの趣味が判定される。
この場合、グループ抽出部３２により、各々の画像の撮影日時に基づいて、画像群から画像グループが抽出される（S11）。
続いて、イベント決定部３４により、画像群から抽出された画像グループ毎に、画像グループに含まれる画像の属性情報およびタグ情報に基づいて、画像グループにおいて発生しているイベントが決定される（S12）。
続いて、タグ情報付与部２６により、画像群から抽出された画像グループにおいて発生しているイベント毎に、タグ情報として、イベントに関連するイベントタグ情報が、そのイベント、および画像グループに含まれる、そのイベントにおいて撮影された各々の画像にフィードバックされて付与される（S13）。
図４に示すように、画像グループによっては、１のイベントタグ情報に限らず、２以上のイベントタグ情報が付与されるものもあるし、１つのイベントタグ情報も付与されないものもある。
図４に示すように、画像グループによっては、１のイベントタグ情報に限らず、２以上のイベントタグ情報が付与されるものもあるし、１つのイベントタグ情報も付与されないものもある。
続いて、趣味判定部２８により、イベントタグ情報の種類毎に、イベントタグ情報の出現回数が、イベントタグ情報が付与された画像の撮影日の数またはイベントタグ情報が付与されたイベントの数でカウントされる（S14）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定される（S15）。
続いて、趣味判定部２８により、画像群に含まれる画像に付与された全ての種類のイベントタグ情報の総出現回数に対する、撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定される（S15）。
趣味判定部２８は、同様に、第１ユーザの趣味が画像に直接写っていないものである場合、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のイベントタグ情報の中で、出現回数が相対的に多い種類のイベントタグ情報に関連する趣味を、第１ユーザが有していると判定する。
または、趣味判定部２８は、イベントタグ情報の種類毎に、イベントタグ情報の出現回数を、イベントタグ情報が付与された画像の数でカウントし、画像の数でカウントしたイベントタグ情報の出現回数が閾値以上であるイベントタグ情報に関連する趣味を、第１ユーザが有していると判定してもよい。
上記のように、シーンタグ情報およびイベントタグ情報を用いて、第１ユーザの趣味を判定することにより、第１ユーザの趣味が画像に直接写っていないものである場合であっても、第１ユーザの趣味を正確に判定することができる。
趣味判定部２８において用いられる閾値は、画像処理システム１０において、一定値（固定値）が設定されていてもよいし、閾値設定部４４により、タグ情報の種類毎に設定されてもよい。シーンタグ情報およびイベントタグ情報についても同様である。また、全ての種類のタグ情報について共通の閾値を設定してもよいし、タグ情報の種類毎に、異なる閾値を設定してもよい。
例えば、第１ユーザがイベントを行うための費用に応じて、イベントの種類毎に、そのイベントに関連するタグ情報についての閾値を設定することができる。
この場合、費用設定部３６により、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントの１回当たりの費用が設定される。
続いて、閾値設定部４４により、費用設定部３６によって設定されたイベントの１回当たりの費用が高くなるほど、閾値が小さくなるように設定される。
例えば、第１ユーザが、旅行に行く１回当たりの費用は、通常、ラーメンを食べる１回当たりの費用よりも高額であると考えられる。高額であってもそのイベントを行うことから、イベントを行うための費用が高額になるほど、そのイベントについての第１ユーザの趣味度は高くなると考えられる。従って、旅行に関連するタグ情報についての閾値が、ラーメンに関連するタグ情報についての閾値よりも、小さくなるように設定する。
このように、イベントを行うための１回当たりの費用に応じて閾値を変更することにより、第１ユーザの趣味を正確に判定することができる。
また、第１ユーザがイベントを行った場所に応じて、イベントの種類毎に、そのイベントに関連するタグ情報についての閾値を設定することができる。
この場合、自宅場所解析部３８により、各々の画像の属性情報に含まれる撮影場所、および、第１ユーザの自宅場所の情報を含む、第１ユーザのアカウント情報の少なくとも一方から、第１ユーザの自宅場所が解析される。
続いて、撮影場所解析部４０により、画像群から抽出された画像グループにおいて発生しているイベント毎に、イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、イベントにおいて撮影された画像の撮影場所が解析される。
続いて、距離算出部４２により、画像群から抽出された画像グループにおいて発生しているイベント毎に、自宅場所と撮影場所との間の距離が算出される。
続いて、閾値設定部４４により、距離算出部によって算出された距離が遠くなるほど、そのイベントについての閾値が小さくなるように設定される。
距離が遠くてもそのイベントを行うことから、自宅場所と撮影場所との間の距離が遠くなるほど、そのイベントについての第１ユーザの趣味度は高くなると考えられる。従って、自宅場所と撮影場所との間の距離が遠いイベントに関連するタグ情報についての閾値が、自宅場所と撮影場所との間の距離が近いイベントに関連するタグ情報についての閾値よりも、小さくなるように設定する。
このように、自宅場所と撮影場所との間の距離に応じて閾値を変更することにより、第１ユーザの趣味を正確に判定することができる。
タグ情報付与部２６によって画像に付与されるタグ情報の中には、皿、テーブル、コップ等のように、一般的な被写体に関連するタグ情報も含まれる場合がある。しかし、例えば皿は一般的な被写体であり、家の中で撮影された画像に皿が写っている場合も多々あるため、皿に関連するタグ情報の出現回数が多いからと言って、皿のタグ情報に関連する趣味を、第１ユーザが有しているとは限らない。
例えば、全てのユーザで共通して頻出する被写体がある場合、この被写体は一般的な被写体であり、第１ユーザの趣味を判定するための対象被写体ではないと考えることができる。
これに応じて、趣味判定部２８は、全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報のうちの出現回数の割合が閾値以上であるタグ情報を、第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の中から除外してもよい。
これにより、一般的な被写体は、ユーザの趣味を判定するための対象被写体から除外されるため、ユーザの趣味を、より正確に判定することができる。
一方、全てのユーザにおけるタグ情報の分布と比較しても出現回数が多いタグ情報があれば、そのタグ情報は、そのユーザにとって特に重要な趣味であると考えることができる。
これに応じて、趣味判定部２８は、全てのユーザが所有する画像群に含まれる画像に付与された１の種類のタグ情報の出現回数に対する、第１ユーザが所有する画像群に含まれる画像に付与された１の種類のタグ情報の出現回数の割合が閾値以上であるタグ情報に関連する趣味を、他のタグ情報に関連する趣味よりも重要な趣味であると判定してもよい。
これにより、ユーザにとって特に重要な趣味を判定することができるため、ユーザの趣味を、より正確に判定することができる。
また、画像処理システム１０においては、画像共有部４６により、第１ユーザと、第２ユーザと、の間で画像が共有される場合がある。
例えば、第２ユーザが、第１ユーザに対して第２ユーザが所有する画像を共有した場合、第１ユーザは、サーバ１２の記憶装置において、その共有された画像を、第１ユーザが所有する画像群を格納する領域にコピーして保存することができる。また、サーバ１２から第１ユーザのクライアント１４へダウンロードして、第１ユーザのクライアント１４の記憶装置に保存することができる。あるいは、第１ユーザは、共有された画像を保存することなく、閲覧だけすることもできる。
第２ユーザが所有する画像が、第１ユーザに対して共有された場合、画像受付部２０は、第１ユーザが所有する画像群として、共有された画像を含めてもよい。
この場合、共有された画像についても、第１ユーザが所有する画像群として扱われ、属性情報の取得、画像の解析、および、タグ情報の付与、シーンタグ情報の付与、イベントタグ情報の付与等の処理が行われる。
この場合、共有された画像についても、第１ユーザが所有する画像群として扱われ、属性情報の取得、画像の解析、および、タグ情報の付与、シーンタグ情報の付与、イベントタグ情報の付与等の処理が行われる。
これにより、第１ユーザが所有する画像群として、共有された画像を含めて、第１ユーザの趣味を判定することができる。
第１ユーザが、共有された画像を、第１ユーザが所有する画像群として保存した場合、この格納された画像は、単に閲覧だけされただけで格納されていない画像よりも、第１ユーザにとって重要な画像であると考えることができる。
これに応じて、趣味判定部２８は、第１ユーザに対して共有された、第２ユーザが所有する画像のうち、第１画像が、第１ユーザが所有する画像群として保存され、第２画像が、第１ユーザが所有する画像群として保存されていない場合、第１画像に付与されたタグ情報の出現回数が、第２画像に付与されたタグ情報の出現回数よりも多くなるように重み付けを行ってもよい。
これにより、第１画像の出現回数は、実際の出現回数よりも多くすることができるため、第２画像よりも、第１画像に付与されたタグ情報を優先して、第１ユーザの趣味を正確に判定することができる。
画像処理システム１０においては、第１ユーザの趣味を正確に判定することができるため、例えば第１ユーザの趣味に合致するコンテンツ等を表示して、第１ユーザに提案したり、販売したりすることができる。
なお、本発明の画像処理装置をクライアント１４のみで実現することは必須ではなく、クライアント１４が備える複数の構成要素のうちの１以上の構成要素をサーバ１２が備える構成としていてもよい。
本発明の装置において、指示取得部１８、画像受付部２０、属性情報取得部２２、画像解析部２４、タグ情報付与部２６、趣味判定部２８、シーン検出部３０、グループ抽出部３２、イベント決定部３４、費用設定部３６、自宅場所解析部３８、撮影場所解析部４０、距離算出部４２、閾値設定部４４、画像共有部４６および通信部４８等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。
例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。
また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
１０ 画像処理システム
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像受付部
２２ 属性情報取得部
２４ 画像解析部
２６ タグ情報付与部
２８ 趣味判定部
３０ シーン検出部
３２ グループ抽出部
３４ イベント決定部
３６ 費用設定部
３８ 自宅場所解析部
４０ 撮影場所解析部
４２ 距離算出部
４４ 閾値設定部
４６ 画像共有部
４８ 通信部
５０ ディスプレイ
１２ サーバ
１４ クライアント
１６ ネットワーク
１８ 指示取得部
２０ 画像受付部
２２ 属性情報取得部
２４ 画像解析部
２６ タグ情報付与部
２８ 趣味判定部
３０ シーン検出部
３２ グループ抽出部
３４ イベント決定部
３６ 費用設定部
３８ 自宅場所解析部
４０ 撮影場所解析部
４２ 距離算出部
４４ 閾値設定部
４６ 画像共有部
４８ 通信部
５０ ディスプレイ
Claims (20)
- 第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得する属性情報取得部と、
前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行う画像解析部と、
前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するタグ情報付与部と、
前記タグ情報の種類毎に、前記タグ情報の出現回数を、前記タグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記タグ情報の総出現回数に対する、前記撮影日の数でカウントしたタグ情報の出現回数の割合、または、前記タグ情報の種類毎に、前記タグ情報の出現回数を、前記タグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、前記第１ユーザが有していると判定する趣味判定部と、を備える、画像処理装置。 - 第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得する属性情報取得部と、
前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行う画像解析部と、
前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するタグ情報付与部と、
前記画像群に含まれる画像毎に、前記画像の属性情報およびタグ情報に基づいて前記画像のシーンを検出するシーン検出部と、を備え、
前記タグ情報付与部は、さらに、前記画像群に含まれる画像毎に、前記タグ情報として、前記画像のシーンに関連するシーンタグ情報を前記画像に付与し、
さらに、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記シーンタグ情報の総出現回数に対する、前記撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、前記第１ユーザが有していると判定する趣味判定部を備える、画像処理装置。 - 第１ユーザが所有する画像群の入力を受け付ける画像受付部と、
前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得する属性情報取得部と、
前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行う画像解析部と、
前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するタグ情報付与部と、
前記各々の画像の撮影日時に基づいて、前記画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
前記画像群から抽出された前記画像グループ毎に、前記画像グループに含まれる画像の属性情報およびタグ情報に基づいて、前記画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
前記タグ情報付与部は、さらに、前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記タグ情報として、前記イベントに関連するイベントタグ情報を、前記イベントおよび前記イベントにおいて撮影された各々の画像に付与し、
さらに、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の撮影日の数または前記イベントタグ情報が付与されたイベントの数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記イベントタグ情報の総出現回数に対する、前記撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、前記第１ユーザが有していると判定する趣味判定部を備える、画像処理装置。 - さらに、前記画像群に含まれる画像毎に、前記画像の属性情報およびタグ情報に基づいて前記画像のシーンを検出するシーン検出部、を備え、
前記タグ情報付与部は、さらに、前記画像群に含まれる画像毎に、前記タグ情報として、前記画像のシーンに関連するシーンタグ情報を前記画像に付与し、
前記趣味判定部は、さらに、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記シーンタグ情報の総出現回数に対する、前記撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、前記第１ユーザが有していると判定する、請求項１に記載の画像処理装置。 - さらに、前記各々の画像の撮影日時に基づいて、前記画像群から、２以上の画像を含む画像グループを抽出するグループ抽出部と、
前記画像群から抽出された前記画像グループ毎に、前記画像グループに含まれる画像の属性情報およびタグ情報に基づいて、前記画像グループにおいて発生しているイベントを決定するイベント決定部と、を備え、
前記タグ情報付与部は、さらに、前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記タグ情報として、前記イベントに関連するイベントタグ情報を、前記イベントおよび前記イベントにおいて撮影された各々の画像に付与し、
前記趣味判定部は、さらに、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の撮影日の数または前記イベントタグ情報が付与されたイベントの数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記イベントタグ情報の総出現回数に対する、前記撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、前記第１ユーザが有していると判定する、請求項１，２および４のいずれか一項に記載の画像処理装置。 - さらに、前記タグ情報の種類毎に、前記閾値を設定する閾値設定部を備える、請求項１，２および４のいずれか一項に記載の画像処理装置。
- さらに、前記タグ情報の種類毎に、前記閾値を設定する閾値設定部を備える、請求項３または５に記載の画像処理装置。
- さらに、前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記イベントの１回当たりの費用を設定する費用設定部を備え、
前記閾値設定部は、前記費用設定部によって設定された前記イベントの１回当たりの費用が高くなるほど、前記閾値が小さくなるように設定する、請求項７に記載の画像処理装置。 - さらに、前記各々の画像の属性情報に含まれる撮影場所、および、前記第１ユーザの自宅場所の情報を含む、前記第１ユーザのアカウント情報の少なくとも一方から、前記第１ユーザの自宅場所を解析する自宅場所解析部と、
前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記イベントにおいて撮影された画像の属性情報に含まれる撮影場所に基づいて、前記イベントにおいて撮影された画像の撮影場所を解析する撮影場所解析部と、
前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記自宅場所と前記撮影場所との間の距離を算出する距離算出部と、を備え、
前記閾値設定部は、前記距離算出部によって算出された距離が遠くなるほど、前記閾値が小さくなるように設定する、請求項７または８に記載の画像処理装置。 - 前記趣味判定部は、全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の総出現回数に対する、前記全てのユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報のうちの出現回数の割合が閾値以上であるタグ情報を、前記第１ユーザが所有する画像群に含まれる画像に付与された全ての種類のタグ情報の中から除外する、請求項１ないし９のいずれか一項に記載の画像処理装置。
- 前記趣味判定部は、全てのユーザが所有する画像群に含まれる画像に付与された１の種類のタグ情報の出現回数に対する、前記第１ユーザが所有する画像群に含まれる画像に付与された前記１の種類のタグ情報の出現回数の割合が閾値以上であるタグ情報に関連する趣味を、他の前記タグ情報に関連する趣味よりも重要な趣味であると判定する、請求項１ないし１０のいずれか一項に記載の画像処理装置。
- さらに、前記第１ユーザと、第２ユーザと、の間で画像を共有する画像共有部を備え、
前記第２ユーザが所有する画像が、前記第１ユーザに対して共有された場合、前記画像受付部は、前記第１ユーザが所有する画像群として、前記共有された画像を含める、請求項１ないし１１のいずれか一項に記載の画像処理装置。 - 前記趣味判定部は、前記第１ユーザに対して共有された、前記第２ユーザが所有する画像のうち、第１画像が、前記第１ユーザが所有する画像群として保存され、第２画像が、前記第１ユーザが所有する画像群として保存されていない場合、前記第１画像に付与されたタグ情報の出現回数が、前記第２画像に付与されたタグ情報の出現回数よりも多くなるように重み付けを行う、請求項１２に記載の画像処理装置。
- 画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得するステップと、
画像解析部が、前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行うステップと、
タグ情報付与部が、前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するステップと、
趣味判定部が、前記タグ情報の種類毎に、前記タグ情報の出現回数を、前記タグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記タグ情報の総出現回数に対する、前記撮影日の数でカウントしたタグ情報の出現回数の割合、または、前記タグ情報の種類毎に、前記タグ情報の出現回数を、前記タグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたタグ情報の出現回数、が閾値以上であるタグ情報に関連する趣味を、前記第１ユーザが有していると判定するステップと、を含む、画像処理方法。 - 画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得するステップと、
画像解析部が、前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行うステップと、
タグ情報付与部が、前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するステップと、
シーン検出部が、前記画像群に含まれる画像毎に、前記画像の属性情報およびタグ情報に基づいて前記画像のシーンを検出するステップと、
前記タグ情報付与部が、さらに、前記画像群に含まれる画像毎に、前記タグ情報として、前記画像のシーンに関連するシーンタグ情報を前記画像に付与するステップと、
趣味判定部が、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記シーンタグ情報の総出現回数に対する、前記撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、前記第１ユーザが有していると判定するステップと、を含む、画像処理方法。 - 画像受付部が、第１ユーザが所有する画像群の入力を受け付けるステップと、
属性情報取得部が、前記画像群に含まれる各々の画像に付与されている、前記各々の画像の撮影日時を含む属性情報を、前記各々の画像から取得するステップと、
画像解析部が、前記画像群に含まれる画像毎に、前記画像に写っている被写体を認識する被写体認識を含む、前記画像の解析を行うステップと、
タグ情報付与部が、前記画像群に含まれる画像毎に、前記画像の属性情報および前記画像に写っている被写体の少なくとも一方に関連するタグ情報を、前記画像に付与するステップと、
グループ抽出部が、前記各々の画像の撮影日時に基づいて、前記画像群から、２以上の画像を含む画像グループを抽出するステップと、
イベント決定部が、前記画像群から抽出された前記画像グループ毎に、前記画像グループに含まれる画像の属性情報およびタグ情報に基づいて、前記画像グループにおいて発生しているイベントを決定するステップと、
前記タグ情報付与部が、さらに、前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記タグ情報として、前記イベントに関連するイベントタグ情報を、前記イベントおよび前記イベントにおいて撮影された各々の画像に付与するステップと、
趣味判定部が、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の撮影日の数または前記イベントタグ情報が付与されたイベントの数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記イベントタグ情報の総出現回数に対する、前記撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、前記第１ユーザが有していると判定するステップと、を含む、画像処理方法。 - さらに、シーン検出部が、前記画像群に含まれる画像毎に、前記画像の属性情報およびタグ情報に基づいて前記画像のシーンを検出するステップと、
前記タグ情報付与部が、さらに、前記画像群に含まれる画像毎に、前記タグ情報として、前記画像のシーンに関連するシーンタグ情報を前記画像に付与するステップと、
前記趣味判定部が、さらに、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の撮影日の数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記シーンタグ情報の総出現回数に対する、前記撮影日の数でカウントしたシーンタグ情報の出現回数の割合、または、前記シーンタグ情報の種類毎に、前記シーンタグ情報の出現回数を、前記シーンタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたシーンタグ情報の出現回数、が閾値以上であるシーンタグ情報に関連する趣味を、前記第１ユーザが有していると判定するステップと、を含む、請求項１４に記載の画像処理方法。 - さらに、グループ抽出部が、前記各々の画像の撮影日時に基づいて、前記画像群から、２以上の画像を含む画像グループを抽出するステップと、
イベント決定部が、前記画像群から抽出された前記画像グループ毎に、前記画像グループに含まれる画像の属性情報およびタグ情報に基づいて、前記画像グループにおいて発生しているイベントを決定するステップと、
前記タグ情報付与部が、さらに、前記画像群から抽出された前記画像グループにおいて発生しているイベント毎に、前記タグ情報として、前記イベントに関連するイベントタグ情報を、前記イベントおよび前記イベントにおいて撮影された各々の画像に付与するステップと、
前記趣味判定部が、さらに、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の撮影日の数または前記イベントタグ情報が付与されたイベントの数でカウントし、前記画像群に含まれる画像に付与された全ての種類の前記イベントタグ情報の総出現回数に対する、前記撮影日の数またはイベントの数でカウントしたイベントタグ情報の出現回数の割合、または、前記イベントタグ情報の種類毎に、前記イベントタグ情報の出現回数を、前記イベントタグ情報が付与された画像の数でカウントし、前記画像の数でカウントしたイベントタグ情報の出現回数、が閾値以上であるイベントタグ情報に関連する趣味を、前記第１ユーザが有していると判定するステップと、を含む、請求項１４，１５および１７のいずれか一項に記載の画像処理方法。 - 請求項１４ないし１８のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
- 請求項１４ないし１８のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181689A JP6934001B2 (ja) | 2018-09-27 | 2018-09-27 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| US16/550,860 US11210829B2 (en) | 2018-09-27 | 2019-08-26 | Image processing device, image processing method, program, and recording medium |
| CN201910873432.6A CN110956075A (zh) | 2018-09-27 | 2019-09-12 | 图像处理装置、图像处理方法及记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018181689A JP6934001B2 (ja) | 2018-09-27 | 2018-09-27 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020052750A true JP2020052750A (ja) | 2020-04-02 |
| JP6934001B2 JP6934001B2 (ja) | 2021-09-08 |
Family
ID=69946359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018181689A Active JP6934001B2 (ja) | 2018-09-27 | 2018-09-27 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11210829B2 (ja) |
| JP (1) | JP6934001B2 (ja) |
| CN (1) | CN110956075A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7155074B2 (ja) * | 2019-07-03 | 2022-10-18 | 富士フイルム株式会社 | 情報提案システム、情報提案方法、プログラムおよび記録媒体 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011257868A (ja) * | 2010-06-07 | 2011-12-22 | Nikon Corp | 画像サーバ、撮像装置および制御プログラム |
| JP2014110006A (ja) * | 2012-12-04 | 2014-06-12 | Olympus Corp | サーバシステム、端末装置及びプログラム |
| JP2017059101A (ja) * | 2015-09-18 | 2017-03-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5141015B2 (ja) | 2004-05-19 | 2013-02-13 | 日本電気株式会社 | ロボット、ユーザ嗜好推定装置、プログラム及びユーザ嗜好推定方法 |
| JP4232774B2 (ja) * | 2005-11-02 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP2011170690A (ja) | 2010-02-19 | 2011-09-01 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム。 |
| JP5936658B2 (ja) | 2013-09-24 | 2016-06-22 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP6268303B2 (ja) * | 2014-02-04 | 2018-01-24 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | ２ｄ画像分析装置 |
| US9384422B2 (en) * | 2014-04-04 | 2016-07-05 | Ebay Inc. | Image evaluation |
| JP6033821B2 (ja) | 2014-09-12 | 2016-11-30 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP6440604B2 (ja) * | 2015-09-29 | 2018-12-19 | 富士フイルム株式会社 | 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体 |
| US11429832B2 (en) * | 2016-06-02 | 2022-08-30 | Kodak Alaris Inc. | System and method for predictive curation, production infrastructure, and personal content assistant |
| US10074038B2 (en) * | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
| JP7099925B2 (ja) * | 2018-09-27 | 2022-07-12 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP7171349B2 (ja) * | 2018-09-28 | 2022-11-15 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
-
2018
- 2018-09-27 JP JP2018181689A patent/JP6934001B2/ja active Active
-
2019
- 2019-08-26 US US16/550,860 patent/US11210829B2/en active Active
- 2019-09-12 CN CN201910873432.6A patent/CN110956075A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011257868A (ja) * | 2010-06-07 | 2011-12-22 | Nikon Corp | 画像サーバ、撮像装置および制御プログラム |
| JP2014110006A (ja) * | 2012-12-04 | 2014-06-12 | Olympus Corp | サーバシステム、端末装置及びプログラム |
| JP2017059101A (ja) * | 2015-09-18 | 2017-03-23 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6934001B2 (ja) | 2021-09-08 |
| CN110956075A (zh) | 2020-04-03 |
| US20200105036A1 (en) | 2020-04-02 |
| US11210829B2 (en) | 2021-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10900772B2 (en) | Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams | |
| JP7091504B2 (ja) | 顔認識アプリケーションにおけるフォールスポジティブの最小化のための方法および装置 | |
| US9721183B2 (en) | Intelligent determination of aesthetic preferences based on user history and properties | |
| CN105653636B (zh) | 一种信息处理方法和装置、一种用于信息处理的装置 | |
| US11055759B1 (en) | Color selection for image matching visual search | |
| CN106575280B (zh) | 用于分析用户关联图像以产生非用户生成标签以及利用该生成标签的系统和方法 | |
| US11594027B2 (en) | Image processing device, image processing method, program, and recording medium | |
| CA2913461A1 (en) | Tag suggestions for images on online social networks | |
| KR101782590B1 (ko) | 이미지 분석기반의 관계형 태그생성 및 추천 방법 | |
| WO2014168177A1 (ja) | 画像処理装置 | |
| CN108197336B (zh) | 一种视频查找的方法及装置 | |
| US9117275B2 (en) | Content processing device, integrated circuit, method, and program | |
| US9621505B1 (en) | Providing images with notifications | |
| KR101715708B1 (ko) | 이미지 분석기반의 자동화된 관계형 태그 생성 시스템과 이를 이용한 서비스 제공방법 | |
| JP7171349B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| JP6934001B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US20170061642A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
| US20200092484A1 (en) | Image display control apparatus, image display control method, program, and recording medium | |
| US20200074218A1 (en) | Information processing system, information processing apparatus, and non-transitory computer readable medium | |
| CN110008364B (zh) | 图像处理方法、装置和系统 | |
| CN112991016A (zh) | 一种信息推送方法及装置、电子设备、存储介质 | |
| CN111813980A (zh) | 图片处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210820 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6934001 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |