CN112148967A - 信息处理装置及方法以及记录介质 - Google Patents

信息处理装置及方法以及记录介质 Download PDF

Info

Publication number
CN112148967A
CN112148967A CN202010583570.3A CN202010583570A CN112148967A CN 112148967 A CN112148967 A CN 112148967A CN 202010583570 A CN202010583570 A CN 202010583570A CN 112148967 A CN112148967 A CN 112148967A
Authority
CN
China
Prior art keywords
information
news
image
user
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010583570.3A
Other languages
English (en)
Inventor
山路启
松本彻也
园田慎一郎
田中伸也
吉泽宏俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN112148967A publication Critical patent/CN112148967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种能够更准确地推断用户的嗜好的信息处理装置及方法以及记录介质。信息处理装置具备：图像信息获取部，获取与用户相关联的图像及图像的至少包括拍摄日期的信息的附带信息；新闻信息获取部，获取表示新闻网站所发布的新闻内容的新闻信息；图像分析部，从图像分析图像内容；及推断部，根据通过图像分析部的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好。

Description

信息处理装置及方法以及记录介质
技术领域
本发明涉及一种信息处理装置及方法以及记录介质，尤其涉及一种从用户所持有的图像推断用户的嗜好的信息处理技术。
背景技术
在专利文献1中，记载有如下信息处理装置，即，从服务器下载包括由投稿人投稿到提供社交网络服务(SNS：Social Networking Service)的服务器中的图像及在该图像中所附带的投稿人评论的内容数据并分析投稿人的嗜好倾向。
在专利文献2中，记载有如下技术，即，基于用户的行为信息、拍摄信息、拍摄图像及投稿到SNS的文章数据等来推断用户的兴趣爱好。
在专利文献3中，记载有如下技术，即，将与图像相对应的拍摄日期和时间、拍摄地点及被摄体的名称等标签信息设为图像搜索关键词的候选，并从存储于存储站点中的图像组搜索图像。
专利文献1：日本特开2019-028793号公报
专利文献2：日本特开2014-110001号公报
专利文献3：日本特开2010-020719号公报
最近，在电子商务网站或SNS广告等中，正在运用推荐各种各样的商品和/或服务的推荐系统。在这种推荐系统中，能够通过正确地掌握用户的嗜好来实现有用的建议(recommendation)。虽然能够通过专利文献1及专利文献2中所记载的技术来粗略地推断用户的嗜好，但是并不一定充分。例如，仅通过分析图像组，难以评价用户的嗜好程度(嗜好度)是否为极高的狂热的水平等嗜好程度。为了对各用户进行更适当的信息提供，也需要更准确地推断用户的嗜好。
发明内容
本发明是鉴于这种情况而完成的，其目的在于提供一种能够更准确地推断用户的嗜好的信息处理装置及方法以及记录介质。
本公开的一方式所涉及的信息处理装置具备获取与用户相关联的图像及图像的至少包括拍摄日期的信息的附带信息的图像信息获取部、获取表示新闻网站所发布的新闻内容的新闻信息的新闻信息获取部、从图像分析图像内容的图像分析部及根据通过图像分析部的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好的推断部。
新闻信息可以为从新闻网站发布的新闻报道，也可以为从新闻报道的内容特定的事情、提取的关键词等信息。用户为实际的“人物”，且使用典型地用户ID(Identification：识别)等唯一识别信息来识别每个用户。“用户的嗜好”等术语并不限于嗜好的对象物，还包括嗜好程度、用户重视的物体或事情以及对于用户来说重要的物体或事情等概念。
根据本方式，从新闻网站获取仅从图像的分析及附带信息无法掌握的信息，并组合图像的分析结果和新闻信息来推断用户的嗜好。因此能够更准确地推断用户的嗜好，并能够提出适当的建议。
本公开的另一方式所涉及的信息处理装置能够设为还具备生成与通过推断部推断的用户的嗜好相关的信息的相关信息生成部的结构。
例如，与用户的嗜好相关的信息可以包括对用户推荐的商品或服务的信息。根据本方式，能够对用户提出适当的建议。
在本公开的又一方式中，推断部能够设为从新闻信息推断用户的嗜好程度的结构。
本公开的又一方式所涉及的信息处理装置能够设为还具备基于拍摄日期的信息从预先指定的多个新闻网站的发布报道中提取与图像相关的新闻的新闻搜索部的结构。
在本公开的又一方式中，附带信息能够设为包括拍摄地点的信息且新闻搜索部使用拍摄地点的信息来提取与图像相关的新闻的结构。
通过利用拍摄地点的信息，变得容易提取与图像相关的新闻。
在本公开的又一方式中，图像分析部能够设为包括生成与图像内容相关的单词的单词生成部且新闻搜索部使用所生成的单词提取与图像相关的新闻的结构。
与图像内容相关的单词例如可以表示图像中所映射的对象的名称、活动的内容或从标志性建筑物等特定的地点等。“单词”也可以换作“关键词”或“语句”。通过单词生成部生成的单词可以添加到图像的附带信息中。
在本公开的又一方式中，新闻搜索部能够设为搜索包括预先设定的特定关键词的新闻报道来提取与图像相关的新闻的结构。
能够设为在预先设定的特定关键词中包括大批、蜂拥而至、高价、昂贵、纪念日、周年纪念日、贵重及稀有中的至少1个的结构。这些语句暗示着嗜好程度高或事情的重要性高。
本公开的又一方式所涉及的信息处理装置能够设为还具备预先存储与用户相关联的多个图像的存储装置及从存储于存储装置中的图像组中搜索与新闻信息的相关性高的图像的图像搜索部且推断部从通过图像搜索部的搜索而命中的图像和用于搜索的新闻信息推断用户的嗜好的结构。
本公开的又一方式所涉及的信息处理装置能够设为还具备从预先指定的多个新闻网站经由新闻信息获取部收集新闻报道并按所收集的新闻报道的每个事情生成整理成包括日期、地点及相关的关键词在内的新闻信息的新闻信息列表的新闻信息列表生成部的结构。
在本公开的又一方式中，图像搜索部能够设为从存储于存储装置中的图像组中搜索与新闻信息的日期、地点及相关的关键词的相关性高的图像且推断部基于通过图像搜索部的搜索而命中的图像和用于搜索的信息来推断用户的嗜好的结构。
在本公开的又一方式中，新闻信息列表生成部能够设为在将包括预先设定的特定关键词在内的新闻报道的新闻信息列入新闻信息列表时，附加表示是包括特定关键词在内的新闻报道的事情的识别信息的结构。
在本公开的又一方式中，推断部能够设为在通过搜索命中与附加有识别信息的新闻信息的相关性高的图像的情况下，从识别信息判定用户对于附加有识别信息的新闻信息的事情的嗜好程度的结构。
在本公开的又一方式中，存储装置能够设为存储与多个用户中的每个用户相关联的多个图像的结构。
根据本方式，按每个用户分析嗜好或通过统计处理来分析多个用户的嗜好倾向或从嗜好的相似度等观点对多个用户进行分类等能够进行多方面的信息活用。
在本公开的又一方式中，图像分析部及推断部中的至少一部分可以由使用了神经网络的已学习模型构成。
例如，图像的对象识别处理、与对象相关的单词生成处理及进行嗜好推断的推论处理等一部分或所有的处理能够使用利用深度学习所学习的已学习模型来实现。
本公开的又一方式所涉及的信息处理方法中，由使用计算机构成的信息处理装置执行如下处理：获取与用户相关联的图像及图像的至少包括拍摄日期的信息的附带信息；获取表示新闻网站所发布的新闻内容的新闻信息；从图像分析图像内容；及根据通过分析的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好。
本公开的又一方式所涉及的信息处理方法能够设为如下结构，即，信息处理装置还执行生成与所推断的用户的嗜好相关的信息的处理。
本公开的又一方式所涉及的记录有程序的记录介质所记录的程序为用于使计算机实现如下功能的程序，即，获取与用户相关联的图像及图像的至少包括拍摄日期的信息的附带信息的功能、获取表示新闻网站所发布的新闻内容的新闻信息的功能、从图像分析图像内容的功能及根据通过分析的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好的功能。
本公开的又一方式所涉及的信息处理装置具备处理器及存储有用于使处理器执行的命令的非暂时性计算机可读介质，处理器通过执行命令来进行包括如下的处理，即，获取与用户相关联的图像及图像的至少包括拍摄日期的信息的附带信息、获取表示新闻网站所发布的新闻内容的新闻信息、从图像分析图像内容及根据通过分析的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好。
发明效果
根据本发明，组合图像的分析结果和从新闻网站发布的新闻的信息来推断用户的嗜好，因此能够更准确地推断用户的嗜好。
附图说明
图1是示意地表示包括本发明的实施方式所涉及的信息处理装置的计算机系统的例的整体结构图。
图2是表示图像保存服务器的结构例的功能框图。
图3是表示第1实施方式所涉及的信息处理装置的结构例的功能框图。
图4是示例性地表示本发明的实施方式所涉及的信息处理方法的步骤的流程图。
图5是表示基于第1实施方式所涉及的信息处理装置的处理的例的流程图。
图6是表示通过用户拍摄的图像组的例的图。
图7是表示第2实施方式所涉及的信息处理装置的结构例的功能框图。
图8是表示汇总从多个新闻网站收集的新闻信息而得的新闻信息列表的例的图表。
图9是表示计算机的硬件结构的例的框图。
具体实施方式
以下，按照附图对本发明优选的实施方式进行详细叙述。
《计算机系统的整体结构》
图1是示意地表示包括本发明的实施方式所涉及的信息处理装置的计算机系统的例的整体结构图。图1所示的计算机系统10为提供保存图像数据的云存储服务的系统，且包括图像保存服务器20及信息处理装置30。另外，图1中，对图像保存服务器20与信息处理装置30分别构成为单独的装置的例进行说明，这些功能可以由1台计算机实现，也可以由2个以上的多台计算机分担处理的功能来实现。
图像保存服务器20及信息处理装置30与电信线路70连接。电信线路70例如可以为互联网等广域网。“连接”等术语并不限于有线连接，也包括无线连接的概念。
利用本例的云存储服务的用户在利用服务之前需要同意预先设定的使用条款并进行用户注册。已完成用户注册的用户能够使用用户终端72或店面终端74等信息终端将图像数据上传到图像保存服务器20中。
用户终端72及店面终端74均为具备能够与电信线路70连接的通信功能的装置。用户终端72例如可以为用户所拥有的智能手机、平板终端或个人电脑等。用户终端72并不限定于用户的拥有物，用户终端72也可以为由多个人共享的设备。店面终端74为设置于提供照片打印服务的商店或便利店等各种商店的信息终端。店面终端74具备用于从存储卡等外部存储装置获取图像数据的介质接口和/或能够与外部设备连接的通信接口。另外，图1中示出1台用户终端72和1台店面终端74，在电信线路70中能够连接有多个用户终端72及多个店面终端74。
图像保存服务器20按每个用户整理从用户终端72或店面终端74接收的图像数据并进行保存及管理。
信息处理装置30分析保存于图像保存服务器20中的图像、生成与图像的对象或场景等图像内容相应的标签信息或分析用户的嗜好性等进行各种信息处理。“图像内容”可以换作“拍摄内容”。另外，信息处理装置30的处理功能可以编入图像保存服务器20中。
在电信线路70中连接有多个新闻网站NS1、NS2……NSn。以多个新闻网站NS1、NS2……NSn为代表，以下记为“新闻网站NS”。新闻网站NS包括发布新闻报道的网络服务器。信息处理装置30从预先指定的多个新闻网站NS收集信息。预先指定的新闻网站NS优选为报道的可靠性高的网站，例如优选为国家报纸的新闻社、地方报纸的新闻社、通信社或电视台或者相似的报道机构所提供的新闻网站。多个新闻网站NS中的一部分例如也可以为汇集从多个新闻提供社提供的报道并进行新闻发布的新闻发布服务网站。
信息处理装置30使用保存于图像保存服务器20中的图像和从新闻网站NS获得的新闻的信息来推断用户的嗜好，并提出符合用户的嗜好的各种各样的商品和/或服务。
《图像保存服务器20的结构例》
图2是表示图像保存服务器20的的结构例的功能框图。图像保存服务器20具备通信部22、控制部24及图像存储器26。通信部22为用于与电信线路70连接的通信接口。控制部24控制经由通信部22进行的数据的传输。并且，控制部24包括用户认证部28，且控制向图像存储器26的数据的写入及从图像存储器26的数据的读取。用户认证部28进行用户认证的处理。
图像存储器26为大容量的存储装置，且按每个用户整理由各用户上传的图像并进行保存。若将识别多个用户中的每个用户的索引设为i，则用户Ui所持有的图像组与用户Ui的信息建立关联并保存于图像存储器26中。例如，用户U1所持有的图像组与用户U1的信息建立关联并保存于图像存储器26中。对于用户U2所持有的图像组也相同地，与用户U2的信息建立关联并保存于图像存储器26中。另外，用户Ui所持有的图像组可以按照拍摄日期或拍摄地点等关键词进行分类并保存于图像存储器26中。
保存于图像存储器26中的图像可以为使用数码相机或智能手机等拍摄装置进行拍摄的数码照片，也可以为将模拟照片转换成数字数据的图像。在保存于图像存储器26中的图像文件中可以包括有关图像的附带信息。并且，保存于图像存储器26中的图像也可以为视频。
在附带信息中例如包括拍摄日期和时间的信息、拍摄地点的信息、特定被摄体的名称的信息、特定场景的信息、特定进行了拍摄的活动的信息、表示图像的对象的名称的信息、图像的分类或用于搜索的关键词的信息等中的至少1个信息。附带信息优选至少包括拍摄日期的信息。作为更优选的方式，附带信息包括拍摄日期和时间的信息及拍摄地点的信息。附带信息包括标签信息、元数据及注解的概念。
拍摄日期和时间的信息例如可以为从数码相机或智能手机等用于拍摄的拍摄装置的内置时钟等获得的日期和时间信息。拍摄地点的信息例如可以为从拍摄装置中所内置的GPS(Global Positioning System：全球定位系统)装置获得的位置信息。在使用能够记录拍摄日期和时间及位置信息的拍摄装置进行拍摄的图像中，自动地附加有包括拍摄日期和时间及位置信息的附带信息，并生成包括附带信息的图像文件。另外，在拍摄装置中设定成禁止使用位置信息的情况下，在图像文件中不记录位置信息而记录拍摄日期和时间的信息来作为附带信息。
附带信息并不限于通过拍摄装置等来自动赋予的情况，可以通过处理图像数据来特定拍摄日期、拍摄时间及拍摄地点中的至少1个信息，并且也可以为根据需要由用户使用适当的输入接口来进行输入操作，从而输入或编辑的信息。例如，能够从模拟照片中所映射的日期的信息获取拍摄日期的信息。并且，例如，能够从使用基于图像分析的对象识别技术检测的标志性建筑物等特定拍摄地点。附带信息的一部分可以通过信息处理装置30来写入。
《信息处理装置30的结构例》
图3是表示第1实施方式所涉及的信息处理装置30的结构例的功能框图。信息处理装置30的功能能够通过计算机的硬件和软件的组合来实现。信息处理装置30具备通信部32、运算处理部34、存储装置35、输入装置36及显示装置38。
通信部32为用于与电信线路70连接的通信接口。运算处理部34例如包括CPU(Central Processing Unit：中央处理单元)而构成。运算处理部34包括图像信息获取部40、图像分析部42、附带信息分析部44、新闻搜索部46、新闻信息获取部48及嗜好推断部50。运算处理部34利用存储装置35的存储区域来进行各种处理。
图像信息获取部40包括用于获取图像及附带信息的数据的接口。图像信息获取部40可以包括从外部或装置内的另一信号处理部获取图像及附带信息的数据的数据输入端子而构成。图像信息获取部40也可以与通信部32一体地构成。图像信息获取部40经由通信部32从图像保存服务器20获取图像及附带信息。图像信息获取部40还可以从用户终端72或店面终端74获取图像及附带信息。
经由图像信息获取部40获取的图像被发送到图像分析部42中。图像分析部42对所输入的图像进行场景分析及对象识别等处理。图像分析部42包括单词生成部43。单词生成部43生成图像中所映射的对象的名称或活动等有关图像内容的单词。通过单词生成部43生成的单词可以添加到附带信息中来作为图像的标签数据。基于通过单词生成部43生成的单词，能够自动地对图像组进行分类。图像分析部42的分析结果被发送到新闻搜索部46及嗜好推断部50中。
经由图像信息获取部40获取的附带信息被发送到附带信息分析部44中。附带信息分析部44从附带信息的内容提取用于新闻报道的搜索的信息。附带信息分析部44例如提取拍摄日期、拍摄时间及拍摄地点的信息。
新闻搜索部46至少基于拍摄日期的信息从预先指定的多个新闻网站NS的发布报道中提取与图像相关的新闻。发生成为新闻的事情的日期和时间与发布对该事情的新闻报道的日期和时间存在时间差，因此在搜索或收集新闻报道的信息时，优选考虑这种时间差而至少给予1天、优选给予几天左右的时间范围的期限来判断相关性。
新闻搜索部46优选除了拍摄日期的信息以外还使用拍摄地点的信息来提取与图像相关的新闻。并且，新闻搜索部46优选使用通过单词生成部43生成的单词来提取与图像相关的新闻。而且，新闻搜索部46可以搜索包括预先设定的特定关键词的新闻报道来提取与图像相关的新闻。
新闻信息获取部48获取表示新闻网站NS所发布的新闻内容的新闻信息。新闻信息获取部48包括用于从新闻网站NS获取新闻报道的数据的接口。新闻信息获取部48可以包括从外部或装置内的另一信号处理部获取图像及附带信息的数据的数据输入端子而构成。新闻信息获取部48可以与通信部32一体地构成。新闻信息获取部48经由通信部32从新闻网站NS收集信息。
嗜好推断部50进行根据通过图像分析部42的处理而掌握的图像内容和与拍摄日期对应的时期的新闻信息来推断用户的嗜好的处理。在此的“用户的嗜好”包括用户的喜好的倾向、嗜好程度、用户重视的物体或事情及对于用户来说重要的物体或事情等的概念。在嗜好程度中例如包括用户与普通人相比是否为非常热情(狂热的)即核心粉丝等的嗜好程度。有时将嗜好程度称为“嗜好度”或“核心度”等。
嗜好推断部50还具备生成与所推断的用户的嗜好相关的信息的相关信息生成部51。与嗜好相关的信息例如包括建议与嗜好相关的商品或服务的推荐信息。本例中的相关信息生成部51生成推荐信息，所述推荐信息告知与用户的嗜好相关并对用户推荐的推荐商品或服务的信息。通过嗜好推断部50生成的推荐信息经由通信部32提供给用户终端72等。嗜好推断部50为本公开中的“推断部”的一例。
图像分析部42及嗜好推断部50中的至少一部分由通过机器学习进行学习的已学习模型构成使用了神经网络的模型。在本例的图像分析部42及嗜好推断部50中可以使用通过深度学习而学习的已学习模型。
存储装置35包括CPU内部的半导体存储器、主存储装置(主存储器)及辅助存储装置。从图像保存服务器20获取的图像及附带信息保存于存储装置35中。存储装置35可以用作图像存储器26的一部分或全部。图像存储器26、存储装置35或这些的组合为本公开中的“存储装置”的一例。
输入装置36例如由键盘、鼠标、触摸面板或其他定点设备或语音输入装置或者它们的任意组合构成。显示装置38例如由液晶显示器、有机EL(organic electro-luminescence(有机电致发光)：OEL)显示器或投影仪或者它们的任意组合构成。
《信息处理方法的概要》
信息处理装置30根据用户所持有的图像的拍摄内容及附带信息和与此对应的新闻信息来推断该用户的嗜好。图像的附带信息中的拍摄日期的信息及拍摄地点的信息能够用于从新闻网站所发布的多个新闻报道中提取与用户的图像对应的新闻信息。并且，图像的附带信息能够用于从图像组中提取与某个特定的新闻信息对应的图像。
新闻信息能够为包括从图像分析难以掌握的事实或事情的信息。即，新闻信息为有助于评价用户对从图像掌握的事情的嗜好程度的信息，而且为有助于评价该图像的重要性或图像中所映射的事情的重要性等的信息。
信息处理装置30除了表示通过图像分析而掌握的图像内容(拍摄内容)的信息以外还使用与图像对应的新闻信息来推断用户的嗜好，由此与不利用新闻信息的情况相比，能够更准确地推断用户的嗜好。
图4是示例性地表示本发明的实施方式所涉及的信息处理方法的步骤的流程图。图4的各步骤通过作为信息处理装置30而发挥功能的计算机执行程序来实现。
本实施方式所涉及的信息处理方法包括信息处理装置30获取图像及附带信息(步骤S1)、信息处理装置30获取新闻信息(步骤S2)、信息处理装置30进行图像分析(步骤S3)、信息处理装置30推断用户的嗜好(步骤S4)及信息处理装置30生成推荐信息(步骤S5)。
在步骤S1中，信息处理装置30从图像保存服务器20获取特定的用户所持有的图像及其附带信息。在此所言的“特定的用户”是指欲推断嗜好的对象人物。
在步骤S2中，信息处理装置30从新闻网站获取新闻信息。例如，信息处理装置30基于图像的附带信息来获取与拍摄日期对应的时期所发布的新闻报道的信息。“与拍摄日期对应的时期”可以为与拍摄日期同一天，也可以为包括拍摄日期的其前后几天的范围。另外，在此以“拍摄日期”为基准，但是也可以包括时间的信息而以拍摄日期和时间为基准来收集新闻报道的信息。
在步骤S3中，信息处理装置30分析在步骤S1中所获取的图像。该图像分析的步骤例如包括基于对象识别的被摄体物的检测处理及与所检测的对象相关的关键词的生成处理。图像分析的算法可以为利用机器学习来学习的已学习的神经网络模型。
信息处理装置30对用户所持有的图像组中的至少1个、优选为多个图像、更优选为所有图像进行分析。
在步骤S4中，信息处理装置30基于从步骤S3获得的图像的分析结果和从步骤S2获得的新闻信息来推断用户的嗜好。嗜好推断的算法可以为利用机器学习来学习的已学习的神经网络模型。
在步骤S5中，信息处理装置30按照在步骤S4中所推断的用户的嗜好生成推荐信息。在步骤S5中所生成的推荐信息从信息处理装置30输出并例如显示于用户终端72的显示画面中。在步骤S5之后，信息处理装置30结束图4的流程图。
信息处理装置30能够通过按每个用户实施图4的流程图来提供符合各用户的嗜好的适当的推荐信息。
《基于第1实施方式所涉及的信息处理装置30的处理流程的例》
使用图5对进一步详细的例进行说明。图5是表示基于第1实施方式所涉及的信息处理装置30的处理的例的流程图。
在步骤S11中，信息处理装置30获取用户所持有的图像组。信息处理装置30可以从图像保存服务器20获取图像组，也可以从用户终端72或店面终端74获取图像组。所获取的图像组存储于存储装置35中。
在步骤S12中，信息处理装置30分析所获取的图像组中所包括的各图像的图像内容。步骤S12的处理通过图像分析部42来进行。
在步骤S13中，信息处理装置30分析图像的附带信息。步骤S13的处理通过附带信息分析部44来进行。另外，步骤S12和步骤S13的顺序可以互换，且步骤S12和步骤S13也可以并行处理。
在步骤S14中，信息处理装置30的运算处理部34判定是否存在未分析的图像。在步骤S11中所获取的图像组中存在未实施步骤S12及步骤S13的分析的处理的某个图像的情况下，运算处理部34返回到步骤S12。若对所有图像实施步骤S12及步骤S13的分析而步骤S14的判定结果成为“否”判定，则运算处理部34进入步骤S16。
在步骤S16中，运算处理部34基于在步骤S12及步骤S13中所掌握的图像内容、日期和时间及地点来搜索相关的新闻，并判定是否已提取与图像相关的新闻信息。
在步骤S16的判定结果为“是”判定的情况下，即，在已提取与图像相关的新闻信息的情况下，运算处理部34进入步骤S20。在步骤S16的判定结果为“否”判定的情况下，即，在未能够提取与图像相关的新闻信息的情况下，运算处理部34进入步骤S17。在步骤S17中，运算处理部34基于图像的位置信息来搜索本地新闻，并判定是否已收集与图像相关的新闻信息。
在步骤S17的判定结果为“是”判定的情况下，运算处理部34进入步骤S20。在步骤S17的判定结果为“否”判定的情况下，运算处理部34进入步骤S18。在步骤S18中，运算处理部34进一步改变搜索条件来搜索相关的新闻，并判定是否已收集与图像相关的新闻信息。步骤S18中，例如忽略拍摄日期的信息而仅利用图像内容或地点的信息来进行搜索。在步骤S18的判定结果为“是”判定的情况下，运算处理部34进入步骤S20。在步骤S18的判定结果为“否”判定的情况下，运算处理部34进入步骤S21。
在步骤S20中，运算处理部34基于在步骤S16～步骤S18中的任一步骤中所提取的新闻报道的内容来推断用户的嗜好度。在存在与图像对应的新闻报道的情况下，能够评价从图像内容无法掌握的用户的嗜好度。
在步骤S21中，运算处理部34不利用新闻信息而从图像内容推断用户的嗜好度。步骤S20及步骤S21的处理通过嗜好推断部50来进行。在步骤S20或步骤S21之后，运算处理部34进入步骤S22。
在步骤S22中，运算处理部34按照所推断的用户的嗜好度生成推荐信息。步骤S22的处理通过相关信息生成部51来进行。在步骤S22中所生成的推荐信息从信息处理装置30输出并提供给用户终端72等。在步骤S22之后，信息处理装置30结束图5的流程图。
信息处理装置30能够通过按每个用户实施图5的流程图来提供符合各用户的嗜好的适当的推荐信息。
《具体例1》
以下，示出具体例对信息处理装置30的操作进行说明。分析用户U所持有的图像的拍摄内容的结果，自动生成了“休闲设施T”、“角色(Character)M”、“游行(Parade)”等关键词。“休闲设施T”及“角色M”分别为实际存在的名称。并且，根据图像的附带信息，拍摄日期为“11月18日”，且拍摄地点为“休闲设施T”。
使用这些关键词来搜索新闻网站的报道，其结果，提取了如下新闻报道。
“[新闻报道]在11月18日迎来庆生90周年的超人气角色的角色M。在休闲设施T中，为祝福角色M的生日，访客涌入设施内的游乐设施中，竟发生等待长达11小时等异常事态。对“梦之国”的异样光景，顾客的不满声此起彼伏。”
若考虑该新闻报道的内容来分析用户的嗜好，则推断该用户U为休闲设施T和/或角色M的核心粉丝。即，根据新闻报道的内容，尽管是若为普通人会犹豫的长达11小时的等待等严重拥堵的不利情况，该用户U也在庆生90周年等特殊纪念日访问休闲设施T。这种用户U的行为能够评价为表示对休闲设施T和/或角色M的嗜好程度极高。并且，照片的图像为庆生90周年的纪念日等珍贵的场景，可以认为对于用户U来说极有可能是非常重要的事情。
因此，对于该用户U，能够进行如下等应对，即，推荐因为是核心粉丝才会想要购买的休闲设施T和/或角色M的相关商品或推荐与特别的纪念日相关的商品和/或服务等。
《具体例2》
对某个用户U所持有的图像的拍摄内容进行分析的结果，自动生成了“观看足球比赛”等关键词。并且，根据图像的附带信息，拍摄日期为“10月31日”，且拍摄地点为“新宿”。使用这些关键词中所包括的单词来搜索新闻网站的报道，其结果，提取了如下新闻报道。
“[新闻报道]对在31日举行的世界杯亚洲足球决赛预选赛中战胜澳大利亚并确定参加决赛的日本代表队，列岛欢呼！在东京·涩谷站前的十字路口，自比赛结束后不久以年轻人为主赶来大批兴奋的支持者，一度引起骚乱。为了防止发生事故，警察局负责警备。”
搜索新闻的结果，虽未能够提取与“新宿”等拍摄地点的位置信息相关的新闻，但是提取了与“足球”相关的新闻报道。若考虑该新闻报道的内容来分析用户的嗜好，则推断为该用户U为足球粉丝。即，根据新闻报道的内容，照片的图像为确定参加决赛的亚洲决赛预选赛的重要的比赛的观看场景，可以认为对于用户U来说极有可能是非常重视的事情。因此，对于用户U，能够进行如下等应对，即，推荐足球的相关商品或推荐所观看的比赛的相关商品和/或决赛的相关商品。
《新闻信息的利用例1》
通过使用基于图像分析的对象识别技术，能够识别在各图像中映射有哪种对象。例如，能够识别在各图像中映射有哪种角色。在此，设为从某个用户所持有的图像组识别出角色A、角色B及角色C这3种类的角色。角色A、角色B及角色C中的每个设为实际上具有专有名词的角色。
但是，仅根据该图像分析的结果无法评价对于用户来说更重视哪一角色。另外，在对于用户来说重视或重要等情况的“用户”中可以包括用户的家人等用户亲近的人。
因此，本实施方式中，将图像的对象识别或附带信息等作为搜索项目来搜索在线新闻报道，并将新闻报道的内容用于嗜好程度的评价。
图6是某个用户所持有的图像组的例。拍摄日期从附带信息特定。关于图像中所映射的角色A、角色B及角色C的判别，通过对象识别来特定。拍摄地点例如从附带信息中所包括的GPS信息特定。在附带信息中不包括GPS信息的情况下，只要能够从基于对象识别的标志性建筑物等的识别或移动电话基站的信息等判别地点，则可以使用该所判别的地点的信息。
新闻搜索部46以预先指定的多个新闻网站NS的报道组为对象，在“AND条件”下搜索“拍摄日期”、“角色名称”及“拍摄地点”的各关键词。例如，在图6的例的情况下，以如下搜索式进行搜索。
搜索式1：“4月7日”*“角色A”*“未来港”
搜索式2：“4月14日”*“角色B”*“新横滨”
搜索式3：“4月21日”*“角色C”*“新宿”
其结果，例如设为在“搜索式3”中没有相对应的报道而没有出来搜索结果，但是在“搜索式1”及“搜索式2”的每个中存在相对应的报道而出来搜索结果。在这种情况下，能够推断该用户或包括用户的家人等在未来港拍摄的角色A的图像及在新横滨拍摄的角色B的图像比在另一天(4月21日)拍摄的角色C的图像更有意图。由此，作为用户重视的物体，能够提取角色A及角色B。另外，在此作为拍摄日期使用“月/日”，但是也可以使用包括“年”的“年/月/日”。
《新闻信息的利用例2》
在进行基于上述搜索式1～3的搜索时，进一步搜索在“AND条件”下各搜索式1～3中是否存在包括特定的语句的报道。将特定的语句称为“特定关键词”。特定关键词例如为如下单词。
特定关键词：{大批、蜂拥而至、高价、昂贵、纪念日、周年纪念日、贵重、稀有}
这些特定关键词暗示着用户的嗜好程度极高。预先设定特定关键词。对于包括“大批”或“蜂拥而至”等语句的新闻报道的事情，能够推测“即使拥挤也想看”等用户的积极的意向。对于包括“高价”或“昂贵”等语句的新闻报道的事情，能够推测“贵也想看或贵也想买”等用户的积极的意向。对于包括“纪念日”或“周年纪念日”等语句的新闻报道的事情，能够推测“因为是核心粉丝，因此无论如何都想参加特别的纪念活动并庆祝”等用户的积极的意向。对于“贵重”或“稀有”等语句包括的新闻报道的事情，能够推测“因为是核心粉丝，因此无论如何都想看或购买”等用户的积极的意向。
《有助于推断嗜好的另一信息的例》
在推断用户的嗜好时，嗜好推断部50除了图像内容、拍摄日期和时间及拍摄地点的信息以外，也可以利用拍摄频率及拍摄间隔中的至少一个信息。例如，在以短时间间隔拍摄许多图像的情况下，可以认为对该拍摄内容的关注度高。并且，在有关某个对象的拍摄频率高的情况下，可以认为关注度高。
《有关提供推荐信息的例》
信息处理装置30特定与所推断的用户的嗜好有相关的某个商品和/或服务，并向用户推荐该商品和/或服务。推荐的时期设为从图像数量较多的拍摄日期起一定期间(例如，1年)。经过一定期间后可以结束推荐。优选通过建议的商品和/或服务的种类来适当调整推荐的时期。
在推荐商品和/或服务时，相关信息生成部51可以附加表示打折或减价的信息。
并且，在相同事件连续发生的情况下，信息处理装置30存储所发生的次数，并在检知到超过了预先设定的期间也没有发生相同事件的情况下，可以根据该次数来泱定打折率或减价金额。
《第2实施方式》
图7是表示第2实施方式所涉及的信息处理装置130的结构例的功能框图。可以采用图7所示信息处理装置130来代替图3中所说明的信息处理装置30。在图7中，对与图3所示的结构相同或相似的要件标注相同的符号，并省略该说明。对图7所示的信息处理装置130与第1实施方式所涉及的信息处理装置30的不同点进行说明。图3所示的第1实施方式所涉及的信息处理装置30为利用图像的附带信息和/或图像的分析结果来从新闻网站收集信息的结构。相对于此，图7所示的第2实施方式所涉及的信息处理装置130为首先从新闻网站NS收集新闻的信息并搜索与所列入的新闻的日期、时间、地点及关键词的相关性高的图像的结构。
信息处理装置130具备运算处理部134来代替运算处理部34。如图7所示，运算处理部134具备新闻信息列表生成部54及图像搜索部56。
新闻信息列表生成部54从经由新闻信息获取部48获取的新闻报道生成新闻信息列表。新闻信息列表为按每个新闻报道的内容整理日期、时间、地点及关键词等的列表。用于嗜好推断的新闻信息并不限于新闻报道其本身，也可以为如列入新闻信息列表中的信息那样基于新闻报道进行加工(编辑)的信息。
图像搜索部56从保存于图像保存服务器20中的图像组中搜索与列入新闻信息列表的日期、时间、地点及关键词的相关性高的图像。在进行图像搜索时，优选在各图像中附加与图像内容相关的关键词等标签数据。该标签数据能够通过单词生成部43来生成。基于图像搜索部56的搜索结果被发送到嗜好推断部50中。
嗜好推断部50从通过图像搜索部56提取的图像推断用户的嗜好，并生成与所推断的用户的嗜好相关的推荐信息。另外，图像搜索部56的功能可以编入嗜好推断部50中。对基于信息处理装置130的处理的具体例进行说明。
《新闻信息的利用例3》
新闻网站NS的数量有限，因此信息处理装置130例如每天从多个新闻网站NS收集所有在日本国内所发生的事情、例如活动的信息、新商品或服务的发布等信息。另外，在此以“日本国内”的新闻为例进行说明，但是也可以从多个国家的新闻网站收集信息，还可以从世界各地的新闻网站收集信息。收集新闻信息的国家或地区的范围只要预先指定即可。
有关从新闻网站NS收集信息的时机，例如可以认为在星期日发生的事件在该当天或第二天的星期一作为新闻发布的情况较多，因此假定将有关在星期日发生的事件的信息在星期二进行收集等流程。信息处理装置130按新闻的每个事情收集日期、所发生的时间(时间带)、地点及相关的关键词。
图8是表示新闻信息列表的例的图表。新闻信息列表生成部54例如生成如图8那样的新闻信息列表。报道图8中的如“No.2001”那样的新商品的发布的新闻虽然是与“地点”无关的事情，但是可考虑用户拿着新发布的商品拍摄照片。
报道如“No.2002”那样的服务开始的新闻等可能很难考虑到相关的图像，但是有时在技术上难以进行排除缺乏与图像的相关性的新闻报道等操作，因此在收集信息时，可以列入而不进行排除处理。只要在线保存的图像组中没有与No.2002相关的图像，则由于图像搜索的结果为“不符合”等而系统上没有问题，因此信息处理装置130机械收集新闻报道等即可。
在新闻信息列表中，可以附加对报道的种类进行分类的信息。新闻信息列表生成部54能够从新闻内容生成对报道的种类进行分类的单词。
信息处理装置130例如将本系统的所有用户的在信息收集对象之日被在线保存的全图像组作为对象，搜索与在上述中所列入的时间、地点、关键词的相关性高的图像。对于通过该图像搜索而命中的图像，可知用于搜索的关键词所表示的事项为持有该图像的用户所重视的事项。
《新闻信息的利用例4》
在列入上述“新闻信息的利用例3”的新闻信息时，对包括预先设定的特定关键词的新闻报道预先设置标记。在与标注有该标记的报道相关的图像命中的情况下，可知持有该图像的用户为该报道的相关关键词的核心粉丝。
与“新闻信息的利用例2”相同地，特定关键词为暗示着用户的嗜好程度极高的语句，例如可以为{大批、蜂拥而至、高价、昂贵、纪念日、周年纪念日、贵重、稀有}等。
新闻信息列表生成部54判定在新闻报道中是否包括特定的语句，并按照判定结果进行赋予标记的处理。在新闻信息列表中包括标记的信息。标记为本公开中的“识别信息”的一例。
《对用户提供适当的推荐的方法》
如在上述“新闻信息的利用例1～4”中进行了具体说明那样，根据本发明的实施方式，能够评价对于用户来说图像内的对象的重要度。即，通过图像分析特定的各对象能够分类成如下[1]～[3]。即，能够分类成[1]只在图像中出现多次的对象、[2]用户可以认为重视的对象、[3]如用户为核心粉丝那样的对象。
这些分类与用户对对象的嗜好程度对应。在对分类成[1]～[3]中的任一个的对象提供与该对象相关的商品和/或服务的推荐的情况下，优选按照[1]～[3]的分类使所提供的推荐的内容、频率及次数不同。
例如，重视程度越高，有关该对象的推荐的频率越高。重视程度越高，即使是在更偏远地区进行的活动也越推荐。重视程度越高，越推荐更高价的商品和/或服务等，可以考虑如上不同的方法。
《关于用户的个人信息的保护》
<1>设为本发明的实施方式中的系统管理员对于分析用户的图像及根据分析结果发送推荐需要获得用户的同意。
<2>向用户发送某个商品和/或服务等的提供者想要向用户推荐的商品和/或服务等的推荐的主体可以为系统管理员，也可以为商品和/或服务等的提供者。
<3>在商品和/或服务等的提供者成为向用户发送推荐的主体的情况下，设为对于将向用户发送推荐时所需的信息传递给商品和/或服务等的提供者需要获得用户的同意。发送推荐时所需的信息优选设为电子邮件地址等最基本的信息。
<4>当分析多个用户的图像并将多个所拍摄的被摄体发送给合作公司等进行信息提供时，应不提供用户信息及如特定用户那样的信息。并且，应预先进行匿名化之后获得用户对进行信息提供需要的同意。
《计算机的硬件结构的例》
图9是表示计算机的硬件结构的例的框图。计算机800可以为个人电脑，也可以为工作站，并且还可以为服务器计算机。计算机800能够用作实现已说明的图像保存服务器20、信息处理装置30、用户终端72及店面终端74的功能的装置。
计算机800具备CPU(Central Processing Unit)802、RAM(Random AccessMemory：随机存取存储器)804、ROM(Read Only Memory：只读存储器)806、GPU(GraphicsProcessing Unit：图形处理单元)808、存储器810、通信部812、输入装置814、显示装置816及总线818。另外，只要根据需要设置GPU808即可，若运算负担不重，则可以省略。
CPU802读取存储于ROM806或存储器810等中的各种程序并执行各种处理。RAM804用作CPU802的工作区域。并且，RAM804用作临时存储所读取的程序及各种数据的存储部。
存储器810例如包括硬盘装置、光盘、磁光盘或半导体存储器或使用它们的它们的任意组合所构成的存储装置而构成。在存储器810中存储对学习处理、图像分析处理和/或嗜好推断处理及其他各种处理所需的各种程序或数据等。通过存储于存储器810中的程序被加载到RAM804中并通过CPU802来执行该程序，计算机作为进行由程序规定的各种处理的机构而发挥功能。
通信部812为通过有线或无线来进行与外部装置的通信处理且与外部装置之间进行信息交换的接口。
输入装置814为接收对于计算机800的各种操作输入的输入接口。输入装置814例如可以为键盘、鼠标、触摸面板或其他定点设备或语音输入装置或者它们的任意组合。
显示装置816为显示各种信息的输出接口。显示装置816例如可以为液晶显示器、有机EL(organic electro-luminescence：OEL)显示器或投影仪或者它们的任意组合。
《关于使计算机操作的程序》
能够将使计算机实现上述各实施方式中所说明的图像保存服务器20、信息处理装置30及信息处理装置130中的至少1个处理功能的一部分或全部的程序记录于光盘、磁盘或半导体存储器及其他有形材料的非暂时性信息存储介质的计算机可读介质中，并通过该信息存储介质提供程序。
并且，也能够利用互联网等电信线路将程序信号作为下载服务而提供的方式来代替在这种有形材料的非暂时性信息存储介质中存储程序而提供的方式。
并且，也能够将上述各实施方式中所说明的图像分析功能、嗜好推断功能及推荐提供功能中的至少1个处理功能的一部分或全部作为应用程序服务器而提供，并通过电信线路进行提供处理功能的服务。
《关于各处理部的硬件结构》
图2、图3及图7中所说明的控制部24、用户认证部28、图像信息获取部40、图像分析部42、单词生成部43、附带信息分析部44、新闻搜索部46、新闻信息获取部48、嗜好推断部50、相关信息生成部51、新闻信息列表生成部54及图像搜索部56等执行各种处理的处理部(processing unit：处理单元)的硬件结构例如为如下所示的各种处理器(processor)。
在各种处理器中包括执行程序并作为各种处理部而发挥功能的通用的处理器即CPU、专门用于图像处理的处理器即GPU、FPGA(Field Programmable Gate Array：现场可编程门阵列)等在制造后能够变更电路结构的处理器即可编程逻辑设备(ProgrammableLogic Device：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器构成。例如，1个处理部可以由多个FPGA、CPU和FPGA的组合或CPU和GPU的组合构成。并且，可以由1个处理器构成多个处理部。作为由1个处理器构成多个处理部的例，第一有如下方式，即，如以客户端或服务器等计算机为代表，由1个以上的CPU和软件的组合构成1个处理器，且该处理器作为多个处理部而发挥功能。第二有如下方式，即，如以片上系统(System On Chip：SoC)等为代表，使用由1个IC(Integrated Circuit：集成电路)芯片实现包括多个处理部的系统整体的功能的处理器。如此，使用1个以上的上述各种处理器来作为硬件结构以构成各种处理部。
而且，更具体而言，这些各种处理器的硬件结构为组合了半导体元件等电路元件的电路(circuitry)。
《变形例1》
使用了图像保存服务器20的存储器服务和使用了信息处理装置30的建议服务可以通过单独的系统管理员(例如，不同的企业实体)来进行管理及运营。
《变形例2》
可以将信息处理装置30、130中的图像分析部42的功能搭载于图像保存服务器20中。
《变形例3》
与用户相关联的图像并不限于保存于图像保存服务器20中的用户持有的图像，也可以为投稿到SNS服务器中的投稿图像等。
《其他》
上述实施方式中所说明的结构或各变形例中所说明的事项能够适当进行组合来使用，并且也能够替换一部分的事项。
以上所说明的本发明的实施方式在不脱离本发明的宗旨的范围内能够适当变更、追加或删除构成要件。本发明并不限定于上述实施方式，能够通过在本发明的技术思想范围内具有相同关联领域的通常知识的技术人员进行许多变形。
符号说明
10-计算机系统，20-图像保存服务器，22-通信部，24-控制部，26-图像存储器，28-用户认证部，30-信息处理装置，32-通信部，34-运算处理部，35-存储装置，36-输入装置，38-显示装置，40-图像信息获取部，42-图像分析部，43-单词生成部，44-附带信息分析部，46-新闻搜索部，48-新闻信息获取部，50-嗜好推断部，51-相关信息生成部，54-新闻信息列表生成部，56-图像搜索部，70-电信线路，72-用户终端，74-店面终端，130-信息处理装置，134-运算处理部，800-计算机，810-存储器，812-通信部，814-输入装置，816-显示装置，818-总线，S1～S5-信息处理方法的步骤，S11～S22-基于第1实施方式所涉及的信息处理装置的处理的步骤。

Claims (19)

1.一种信息处理装置，其具备：
图像信息获取部，获取与用户相关联的图像及所述图像的至少包括拍摄日期的信息的附带信息；
新闻信息获取部，获取表示新闻网站所发布的新闻内容的新闻信息；
图像分析部，从所述图像分析图像内容；及
推断部，根据通过所述图像分析部的处理而掌握的所述图像内容和与所述拍摄日期对应的时期的所述新闻信息来推断所述用户的嗜好。
2.根据权利要求1所述的信息处理装置，其中，
所述信息处理装置还具备：
相关信息生成部，生成与通过所述推断部推断的所述用户的嗜好相关的信息。
3.根据权利要求2所述的信息处理装置，其中，
与所述用户的嗜好相关的信息包括对所述用户推荐的商品或服务的信息。
4.根据权利要求1至3中任一项所述的信息处理装置，其中，
所述推断部从所述新闻信息推断所述用户的嗜好程度。
5.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述信息处理装置还具备：
新闻搜索部，基于所述拍摄日期的信息从预先指定的多个所述新闻网站的发布报道中提取与所述图像相关的新闻。
6.根据权利要求5所述的信息处理装置，其中，
所述附带信息包括拍摄地点的信息，
所述新闻搜索部使用所述拍摄地点的信息来提取与所述图像相关的新闻。
7.根据权利要求5或6所述的信息处理装置，其中，
所述图像分析部包括生成与所述图像内容相关的单词的单词生成部，
所述新闻搜索部使用所生成的所述单词来提取与所述图像相关的新闻。
8.根据权利要求5至7中任一项所述的信息处理装置，其中，
所述新闻搜索部搜索包括预先设定的特定关键词的新闻报道来提取与所述图像相关的新闻。
9.根据权利要求8所述的信息处理装置，其中，
在所述预先设定的特定关键词中包括大批、蜂拥而至、高价、昂贵、纪念日、周年纪念日、贵重及稀有中的至少1个。
10.根据权利要求1至4中任一项所述的信息处理装置，其中，
所述信息处理装置还具备：
存储装置，预先存储与所述用户相关联的多个所述图像；及
图像搜索部，从存储于所述存储装置中的图像组中搜索与所述新闻信息的相关性高的图像，
所述推断部从通过所述图像搜索部的搜索而命中的图像和用于所述搜索的所述新闻信息推断所述用户的嗜好。
11.根据权利要求10所述的信息处理装置，其中，
所述信息处理装置还具备：
新闻信息列表生成部，从预先指定的多个所述新闻网站经由所述新闻信息获取部收集新闻报道，并按所收集的所述新闻报道的每个事情生成整理成包括日期、地点及相关的关键词在内的所述新闻信息的新闻信息列表。
12.根据权利要求11所述的信息处理装置，其中，
所述图像搜索部从存储于所述存储装置中的图像组中搜索与所述新闻信息的日期、地点及相关的关键词的相关性高的图像，
所述推断部基于通过所述图像搜索部的搜索而命中的图像和用于所述搜索的信息来推断所述用户的嗜好。
13.根据权利要求11或12所述的信息处理装置，其中，
在将包括预先设定的特定关键词在内的新闻报道的所述新闻信息列入所述新闻信息列表时，所述新闻信息列表生成部附加表示是包括所述特定关键词在内的新闻报道的事情的识别信息。
14.根据权利要求13所述的信息处理装置，其中，
在通过所述搜索命中与附加有所述识别信息的所述新闻信息的相关性高的图像的情况下，所述推断部从所述识别信息判定所述用户对于附加有所述识别信息的所述新闻信息的事情的嗜好程度。
15.根据权利要求10至14中任一项所述的信息处理装置，其中，
在所述存储装置中存储与多个用户中的每个用户相关联的多个图像。
16.根据权利要求1至15中任一项所述的信息处理装置，其中，
所述图像分析部及所述推断部中的至少一部分由使用了神经网络的已学习模型构成。
17.一种信息处理方法，由使用计算机构成的信息处理装置执行如下处理：
获取与用户相关联的图像及所述图像的至少包括拍摄日期的信息的附带信息；
获取表示新闻网站所发布的新闻内容的新闻信息；
从所述图像分析图像内容；及
根据通过所述分析的处理而掌握的所述图像内容和与所述拍摄日期对应的时期的所述新闻信息来推断所述用户的嗜好。
18.根据权利要求17所述的信息处理方法，其中，
所述信息处理装置还执行生成与所推断的所述用户的所述嗜好相关的信息的处理。
19.一种记录有程序的记录介质，所述程序用于使计算机实现如下功能：
获取与用户相关联的图像及所述图像的至少包括拍摄日期的信息的附带信息的功能；
获取表示新闻网站所发布的新闻内容的新闻信息的功能；
从所述图像分析图像内容的功能；及
根据通过所述分析的处理而掌握的所述图像内容和与所述拍摄日期对应的时期的所述新闻信息来推断所述用户的嗜好的功能。
CN202010583570.3A 2019-06-28 2020-06-23 信息处理装置及方法以及记录介质 Pending CN112148967A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-121332 2019-06-28
JP2019121332A JP7098579B2 (ja) 2019-06-28 2019-06-28 情報処理装置及び方法並びにプログラム

Publications (1)

Publication Number Publication Date
CN112148967A true CN112148967A (zh) 2020-12-29

Family

ID=73887488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010583570.3A Pending CN112148967A (zh) 2019-06-28 2020-06-23 信息处理装置及方法以及记录介质

Country Status (3)

Country Link
US (1) US20200409991A1 (zh)
JP (3) JP7098579B2 (zh)
CN (1) CN112148967A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228808A1 (ja) * 2022-05-25 2023-11-30 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび端末装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158376B2 (ja) * 2001-12-07 2008-10-01 株式会社ニコン 電子カメラおよび画像表示装置および画像表示方法
JPWO2006019101A1 (ja) * 2004-08-19 2008-07-31 日本電気株式会社 コンテンツ関連情報取得装置、コンテンツ関連情報取得方法、およびコンテンツ関連情報取得プログラム
JP2006173981A (ja) * 2004-12-15 2006-06-29 Nikon Corp 画像再生装置および画像再生システム
JP2006260192A (ja) * 2005-03-17 2006-09-28 Iiyama Corp 画像印刷装置
US20140344238A1 (en) * 2005-04-08 2014-11-20 Marshall Feature Recognition Llc System And Method For Accessing Electronic Data Via An Image Search Engine
JP2007213431A (ja) * 2006-02-10 2007-08-23 Yafoo Japan Corp 情報提供システム
JP4810469B2 (ja) * 2007-03-02 2011-11-09 株式会社東芝 検索支援装置、プログラム及び検索支援システム
US8831352B2 (en) * 2011-04-04 2014-09-09 Microsoft Corporation Event determination from photos
US8620021B2 (en) * 2012-03-29 2013-12-31 Digimarc Corporation Image-related methods and arrangements
US20140358720A1 (en) * 2013-05-31 2014-12-04 Yahoo! Inc. Method and apparatus to build flowcharts for e-shopping recommendations
US20150081440A1 (en) * 2013-09-19 2015-03-19 Jeffrey Blemaster Methods and systems for generating domain name and directory recommendations
JP2016541058A (ja) * 2013-11-27 2016-12-28 インテル コーポレイション 高詳細度のニュースマップ及び画像オーバーレイ
JP6405704B2 (ja) * 2014-05-26 2018-10-17 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP5997738B2 (ja) * 2014-09-11 2016-09-28 ヤフー株式会社 情報提供システム、情報提供サーバ、情報提供方法及びプログラム
JP2016062239A (ja) * 2014-09-17 2016-04-25 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2016061987A (ja) * 2014-09-19 2016-04-25 ヤフー株式会社 情報処理装置、配信制御方法および配信制御プログラム
JP6397704B2 (ja) * 2014-09-19 2018-09-26 株式会社東芝 情報処理装置、情報処理システム、情報処理方法及びプログラム
US20160203137A1 (en) * 2014-12-17 2016-07-14 InSnap, Inc. Imputing knowledge graph attributes to digital multimedia based on image and video metadata
JP6139617B2 (ja) * 2015-09-09 2017-05-31 工 影山 情報提供システム、情報提供サーバー、情報提供方法、及び情報提供システム用のプログラム
US20180197221A1 (en) * 2017-01-06 2018-07-12 Dragon-Click Corp. System and method of image-based service identification
JP2018120527A (ja) * 2017-01-27 2018-08-02 株式会社リコー 画像処理装置、画像処理方法及び画像処理システム
JP6569183B2 (ja) * 2017-07-31 2019-09-04 Ａｉｑ株式会社 情報処理装置、方法及びプログラム
JP6958154B2 (ja) * 2017-09-14 2021-11-02 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
US11144786B2 (en) * 2017-11-02 2021-10-12 Canon Kabushiki Kaisha Information processing apparatus, method for controlling information processing apparatus, and storage medium

Also Published As

Publication number Publication date
US20200409991A1 (en) 2020-12-31
JP2021009427A (ja) 2021-01-28
JP7098579B2 (ja) 2022-07-11
JP2022121602A (ja) 2022-08-19
JP7430222B2 (ja) 2024-02-09
JP2024026415A (ja) 2024-02-28

Similar Documents

Publication Publication Date Title
Bui et al. Revisiting tourism destination image: A holistic measurement framework using big data
US11157584B2 (en) URL normalization
Vu et al. Travel diaries analysis by sequential rule mining
AU2011249059B2 (en) System and method for directing content to users of a social networking engine
US10628875B2 (en) Product page classification
US20160364762A1 (en) Method and system for creating an audience list based on user behavior data
JP6148948B2 (ja) 情報処理システム、情報処理方法および情報処理プログラム
CN101897135A (zh) 用于用户简档的图像记录趋势识别
TW201723896A (zh) 搜尋輔助系統與方法
KR20180053325A (ko) 온라인 소셜 네트워크에서의 핵심 토픽의 감지
CN107667389A (zh) 使用数字标牌的目标广告
TW201032168A (en) User interface for interest-based targeted marketing
JP2009193465A (ja) 情報処理装置、情報提供システム、情報処理方法、およびプログラム
US20140136517A1 (en) Apparatus And Methods for Providing Search Results
US10388034B2 (en) Augmenting web content to improve user experience
US11487835B2 (en) Information processing system, information processing method, and program
US20150248656A1 (en) Shopping support computing device
JP2024026415A (ja) 情報処理装置及び方法並びにプログラム
US8751309B2 (en) Targeted communication between promoters and consumers
US20220067991A1 (en) Computerized system and method for automatically generating original memes for insertion into modified messages
JP2017151574A (ja) ユーザ情報処理サーバ及びユーザ情報の処理方法
JP7260439B2 (ja) 抽出装置、抽出方法及び抽出プログラム
AU2021200362A1 (en) System and method for directing content to users of a social networking engine
KR20220086345A (ko) 스케줄러 공백란을 활용한 정보 공유 방법
KR101743217B1 (ko) 빅데이터를 이용한 광고 제공 시스템, 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination