CN109416693A - 服务器装置、终端装置以及信息处理方法 - Google Patents

服务器装置、终端装置以及信息处理方法 Download PDF

Info

Publication number
CN109416693A
CN109416693A CN201780037226.0A CN201780037226A CN109416693A CN 109416693 A CN109416693 A CN 109416693A CN 201780037226 A CN201780037226 A CN 201780037226A CN 109416693 A CN109416693 A CN 109416693A
Authority
CN
China
Prior art keywords
information
terminal
unit
image
prompt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780037226.0A
Other languages
English (en)
Inventor
吉井伸郎
吉井伸一郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Scigineer Inc
Original Assignee
Scigineer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Scigineer Inc filed Critical Scigineer Inc
Publication of CN109416693A publication Critical patent/CN109416693A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/12—Payment architectures specially adapted for electronic shopping systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

以往，无法进行使用了拍摄的照片的信息的推荐。本发明能够通过终端装置与服务器装置，进行使用了拍摄的照片的信息的推荐，所述终端装置具备：终端发送部，将照片发送至服务器装置；终端接收部，接收推荐信息；以及终端输出部，输出推荐信息；所述服务器装置具备：图像接收部，从终端装置接收照片；对象物信息取得部，通过对照片进行的图像识别处理，识别一个以上的各对象物，取得识别一个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个以上的对象物信息；提示信息取得部，使用取得的一个以上的对象物信息，取得推荐给用户的推荐信息；以及提示信息发送部，将推荐信息发送至终端装置。

Description

服务器装置、终端装置以及信息处理方法
技术领域
本发明涉及识别图像中的对象物并使用该识别结果提示信息的服务器装置等。
背景技术
以往，存在用户检索所需的商品的方法技术。另外，以往存在一种能够在组合于第一商品中的第二商品的检索中反应出第一商品的提供方的意向的搭配方法(例如，参照专利文献1)。
进一步，以往存在输入图像并检索与该图像相似的图像的技术(例如，参照非专利文献1)。
在先技术文献
专利文献
专利文献1：日本特开2016-33708号公报(第1页、第1图等)
非专利文献
非专利文献1：“Google图像检索”、[online]、[2016年6月6日检索]、互联网[URL：https://www.google.co.jp/imghp]
发明内容
发明所要解决的技术问题
然而，使用以往技术检索用户所需的商品时，例如需要将使用字符串与文字等来表达的关键词发送至检索引擎，或者参照商品信息提供方设定的商品分类信息等来筛选分类，找到所需商品。
另外，在以往技术的专利文献1中，通过电商交易，接收商品的购入指示等的字符串信息，使用该字符串信息，取得推荐的信息(搭配处理的结果)，并发送至用户终端。
另外，在以往技术的非专利文献1中，仅检索与输入的图像相似的图像。也就是说，在以往技术中，无法检索用户不知道名称或无法用语言表达的商品等的信息。另外，在以往技术中，无法通过照片等的图像来确定商品信息或者进行与该商品相关的推荐。
因此，本发明的目的在于对接收到的图像进行图像识别，使用该识别结果取得并提示信息。在本发明中，例如以接收的图像中显示有用户所需商品本身或者显示有用于查找相关的其他商品的原始的商品等为前提。而且，本发明所涉及的技术例如为能够识别显示在照片等的图像上的对象物是什么，来提示作为该实体的商品信息或者进行购入的技术，或者为基于显示在照片等的图像上的对象物的信息提示技术。
用于解决技术问题的方案
本申请的第一项发明的信息系统为具备服务器装置与终端装置的信息系统，终端装置具备：终端存储部，存储包含一个或者两个以上的对象物的图像；终端发送部，将图像发送至服务器装置；终端接收部，接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息；以及终端输出部，输出提示信息，服务器装置具备：图像接收部，从终端装置接收图像；对象物信息取得部，通过对图像接收部接收到的图像进行的图像识别处理，识别一个以上的各对象物，取得识别一个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个以上的对象物信息；提示信息取得部，使用对象物信息取得部取得的一个以上的对象物信息，取得与通过该一个以上的对象物信息中的一个对象物信息所包含的一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息；以及提示信息发送部，将提示信息发送至终端装置。
根据该结构，能够进行使用了拍摄的图像等的信息的提示。
另外，相对于第一项发明，本申请的第二项发明的信息系统为具备如下的服务器装置的信息系统：即该服务器装置的提示信息取得部还取得与通过一个对象物识别符识别出的对象物相同的对象物的对象物信息，或者与通过一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。
根据该结构，能够进行使用了拍摄的图像等的信息的提示。
另外，相对于第一项或者第二项发明，本申请的第三项发明的信息系统为如下的信息系统：服务器装置进一步具备对象物信息发送部，所述对象物信息发送部发送对象物信息取得部取得的一个以上的对象物信息，终端装置进一步具备：终端接收部，从服务器装置接收一个以上的对象物信息；终端输出部，输出图像与一个以上的对象物信息所具有的一个以上的对象物识别符；以及终端受理部，受理用户对终端输出部输出的一个以上的对象物识别符进行的操作，终端发送部将与终端受理部受理的操作相关的操作信息发送至服务器装置，服务器装置进一步具备操作信息接收部，所述操作信息接收部从终端装置接收操作信息，提示信息取得部使用操作信息接收部接收到的操作信息，取得提示给用户的提示信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的信息的提示。
另外，相对于第一项至第三项发明中的任意一项发明，本申请的第四项发明的信息系统为如下的信息系统：操作信息具有用户对终端输出部输出的一个以上的对象物识别符所选择的一个对象物识别符，提示信息取得部使用通过一个对象物识别符识别出的对象物的对象物信息取得提示信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的适当的信息的提示。
另外，相对于第四项发明，本申请的第五项发明的信息系统为如下的信息系统：提示信息取得部取得与通过一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息，或者取得与通过一个对象物识别符识别出的对象物相同的对象物的对象物信息、或与通过所述一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的适当的信息的提示。
另外，相对于第一项至第五项发明中的任意一项发明，本申请的第六项发明的信息系统为如下的算法不同的信息系统：图像接收部与图像一并接收作为图像以外的信息的附加信息，提示信息取得部根据附加信息取得提示信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。
另外，相对于第六项发明，本申请的第七项发明的信息系统为如下的信息系统：附加信息包含与拍摄图像的摄像机相关的摄像机信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。
另外，相对于第七项发明，本申请的第八项发明的信息系统为如下的信息系统：提示信息取得部在摄像机信息为表示自拍模式的信息的情况下，取得与通过一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息，在摄像机信息为表示非自拍模式的模式的信息的情况下，取得与通过一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。
根据该结构，能够一边与用户对话，一边进行使用了拍摄的图像等的极适当的信息的提示。
另外，相对于第一项至第八项发明中的任意一项发明，本申请的第九项发明的信息系统为如下的信息系统：对象物信息取得部相对于接收部接收到的图像，通过使用了被称为深度学习的深层学习的图像识别处理，识别两个以上的各对象物，取得识别两个以上的各对象物的对象物识别符，并取得包含各对象物识别符的两个以上的对象物信息。
另外，相对于第一项至第九项发明中的任意一项发明，本申请的第十项发明的信息系统为如下的信息系统：终端受理部受理用户对终端输出部输出的提示信息进行的选择，终端发送部将与终端受理部受理的用户的选择相关的购入信息发送至服务器装置，服务器装置进一步具备：购入信息接收部，从终端装置接收购入信息；以及结算处理部，进行使用购入信息的结算处理。
根据该结构，能够进行使用了拍摄的图像等的信息的提示，能够辅助用户购入商品等。
发明的效果
根据本发明的信息系统，能够适当地进行使用了图像等的信息的提示。
附图说明
图1是第一实施方式中的信息系统A的概念图。
图2是该信息系统A的框图。
图3是对该终端装置1的动作进行说明的流程图。
图4是对该服务器装置2的动作进行说明的流程图。
图5是示出该拍摄的照片的例子的图。
图6是示出该输出例的图。
图7是示出该输出例的图。
图8是示出该输出例的图。
图9是示出该拍摄的照片的例子的图。
图10是示出该输出例的图。
图11是示出该输出例的图。
图12是该计算机系统的外观图。
图13是该计算机系统的框图。
具体实施方式
下面，参照附图，对信息系统等的实施方式进行说明。此外，在实施方式中赋予了相同的附图标记的结构要素进行相同的动作，因此存在省略重复说明的情况。
(第一实施方式)
在本实施方式中，对具备如下的服务器装置的信息系统进行说明：即该服务器装置识别接收到的图像(通常为照片)中的一个以上的对象物，取得该一个以上的对象物的识别符，将使用该一个以上的对象物识别符取得的提示信息发送至终端装置。在此，提示信息例如为与接收到的图像内的对象物(例如夹克衫)不同种类的对象物。另外，提示信息例如为与接收到的图像内的对象物(例如夹克衫)不同种类的对象物的、与图像内的对象物相配的对象物(例如裤子)的商品信息等。另外，提示信息例如为与接收到的图像内的对象物(例如夹克衫)相同或者同种的对象物的商品信息等。
另外，在本实施方式中，对具备如下的服务器装置的信息系统进行说明：即该服务器装置将对象物的识别结果发送至终端装置，在终端装置中受理用户的对象物选择，将与该选择的对象物相对应的提示信息发送至终端装置。
另外，在本实施方式中，对根据摄像机模式等的附加信息取得提示信息的、算法不同的信息系统进行说明。也就是说，例如，作为算法包括：根据附加信息，取得与图像内的对象物相同的对象物以作为提示信息的“想要这个！”算法；以及取得与图像内的对象物异种的对象物以作为提示信息的“搭配”算法。此外，“想要这个！”算法是指，例如是提示与图像内的、用户选择的对象物相同的对象物的算法，但也可以是取得与图像内的对象物相同种类的对象物以作为提示信息的算法。另外，“搭配”算法是指，例如提示与图像内的、用户选择的对象物相配(被搭配)的异种的对象物的算法。
另外，在本实施方式中，对为了进行对象物识别例如使用被称为深度学习的深层学习与其他图像解析技术的信息系统进行说明。
图1是本实施方式中的信息系统A的概念图。信息系统A具备一个或者两个以上的终端装置1以及服务器装置2。终端装置1例如为智能手机、平板终端、所谓的个人电脑、手机等。终端装置1优选具有拍摄功能。但是，终端装置1的种类不限。另外，服务器装置2为所谓的云服务器等，其种类不限。
图2是本实施方式中的信息系统A的框图。
构成信息系统A的终端装置1具备终端存储部11、终端受理部12、终端发送部13、终端接收部14、终端输出部15以及拍摄部16。
服务器装置2具备存储部20、接收部21、处理部22以及发送部23。接收部21具备图像接收部211、操作信息接收部212以及购入信息接收部213。处理部22具备对象物信息取得部221、提示信息取得部222以及结算处理部223。发送部23具备对象物信息发送部231以及提示信息发送部232。
构成终端装置1的终端存储部11存储各种信息。各种信息是指，例如包含一个或者两个以上的对象物的图像。包含对象物的图像是指，显示出对象物的图像。包含对象物的图像是指，例如显示出对象物的照片等。图像通常为拍摄的照片。图像为被发送至服务器装置2的图像。另外，对象物可以任意。对象物例如为夹克衫、T恤、裤子、鞋等物品。另外，图像例如为室内景致、附近居住环境等与房地产相关的照片。在这种情况下，对象物例如为室内物品(家具、电器产品等)、照片中显示的房子、自然物(例如山、森林等)等。另外，图像例如为食品、装盘、烹饪方法、室内景致等与就餐和餐厅相关的照片。在这种情况下，对象物例如为食品、菜肴、器皿、餐厅的座位、椅子等。另外，图像例如为景致和游乐设施等与住宿地、旅行、娱乐相关的照片。在这种情况下，对象物例如为游乐场的游乐设施、照片中显示的自然物等。除此之外，图像例如也可以是车辆与人物的图像等，是任意的。另外，各种信息是指，例如将在后面进行说明的附加信息、识别用户的用户识别符等。用户识别符也可以是识别终端装置1的信息。用户识别符例如为ID、电话号码、邮箱地址、IP地址、MAC地址、浏览器的cookie信息等。
终端受理部12受理各种信息和指示。终端受理部12例如受理用户对终端输出部15输出的一个以上的对象物识别符进行的操作。用户对一个以上的对象物识别符进行的操作通常是指对象物的选择指示。另外，终端受理部12受理用户对终端输出部15输出的提示信息进行的选择。各种信息和指示除上述以外，例如为指示拍摄的拍摄指示、指示发送图像的发送指示等。终端受理部12例如也可以受理对作为提示信息的一种的URL进行的指示。在这种情况下，由该URL确定的网页被下载到终端装置1。
在此，受理是指包含以下的概念：从键盘、鼠标、触摸面板等的输入设备输入的信息的受理、经由有线或者无线的通信线路被发送的信息的接收、从光盘、磁盘、半导体存储器等存储介质读取的信息的受理等。
各种信息和指示的输入单元可以任意，可以是触摸面板、键盘、鼠标、菜单画面等。终端受理部12能够通过触摸面板、键盘等的输入单元的设备驱动器、菜单画面的控制软件等来实现。
终端发送部13将图像发送至服务器装置2。图像既可以是通过拍摄部16拍摄并暂时存储在终端存储部11的照片，也可以是预先存储在终端存储部11的图像等。图像通常为静态图像，但是也可以为视频。另外，终端发送部13优选在拍摄部16进行拍摄并取得了图像的情况下，将该图像立即(无用户指示)发送至服务器装置2。但是，终端发送部13也可以在拍摄部16进行拍摄并取得了图像之后，根据用户的指示将该图像发送至服务器装置2。
终端发送部13可以将附加信息也发送至服务器装置2。附加信息是指图像以外的信息。附加信息是指，例如摄像机的模式等的摄像机信息、表示使用哪种算法的标记、表示使用哪种算法的用户指示的信息等。此外，优选将附加信息与图像一起发送，但是也可以不一起发送。也就是说，附加信息的发送时机不限。此外，在终端发送部13还发送附加信息的情况下，终端发送部13取得终端存储部11的附加信息。另外，附加信息例如为基于GPS的位置信息、拍摄时刻、脸书(Facebook，注册商标)与照片墙(Instagram，注册商标)等照片出处的信息、共享该照片的用户ID、“赞！”的数量等。另外，摄像机信息除了摄像机的模式以外，例如还可以为变焦倍率、曝光、快门速度等。此外，终端装置1通常具有用于取得附加信息的附加信息取得单元(未图示)。附加信息取得单元例如为GPS接收设备、时钟、用于取得照片出处的信息等的MPU以及软件等。
终端发送部13将操作信息发送至服务器装置2。操作信息是指，与终端受理部12受理的操作相关的信息。操作信息例如具有用户对终端输出部15输出的一个以上的对象物识别符所选择的一个对象物识别符。操作信息也可以仅为用户选择的一个对象物的对象物识别符。操作信息优选具有用户识别符。操作信息也可以包含用户选择的两个以上的对象物的对象物识别符。
终端发送部13将购入信息发送至服务器装置2。购入信息是指与用户购入的商品相关的信息。购入信息是与终端受理部12受理的用户的选择相关的信息。购入信息是购入结算所必须的信息。购入信息例如具有用户指示了购入的商品的商品识别符与数量。购入信息通常具有用户识别符。此外，在此，也可以认为商品也包含所谓的服务。商品通常是指贩卖对象。但是，商品也可以不是贩卖对象，而是免费的浏览对象等。
终端接收部14从服务器装置2接收一个以上的对象物信息。对象物信息为与对象物相关的信息，包含对象物识别符。对象物识别符通常为表示对象物的种类的信息(例如，夹克衫、裤子等)。也就是说，对象物识别符也可以不是唯一识别对象物的信息。另外，对象物识别符也可以是唯一识别对象物的信息。另外，对象物信息也可以仅是对象物识别符。另外，对象物信息例如可以包含与图像内的对象物的位置相关的位置信息。位置信息也可以是表示图像内的对象物的区域的信息。位置信息例如是表示图像内的对象物的位置的一个或者两个相对的坐标值。
另外，终端接收部14从服务器装置2接收提示信息。此外，提示信息是提示给用户的信息，且是与商品相关的信息。另外，提示信息也可以是推荐给用户的推荐信息。另外，提示信息也可以是检索结果的信息。另外，与商品相关的信息是指，例如用于购入商品的画面、能够购入商品的网页、能够购入商品的网页的URL、能够浏览商品的网页、能够浏览商品的网页的URL、商品的规格的信息等。
终端输出部15输出图像与一个以上的对象物识别符。图像与一个以上的对象物识别符的输出方式不限。终端输出部15优选在图像内输出一个以上的对象物识别符。终端输出部15例如在一个以上的对象物所具有的、各对象物识别符的位置信息所示的位置处，将一个以上的对象物识别符输出到图像上。
另外，终端输出部15输出终端接收部14接收到的提示信息。提示信息的输出方式不限。
在此，输出通常是指显示于显示器上，也可以是包括使用投影仪投影、打印机打字、向外部装置发送、存储在存储介质、语音朗读、向其他处理装置与其他程序等提交处理结果等的概念。
构成服务器装置2的存储部20能够存储各种信息。各种信息是指，例如一个以上的商品信息、一个以上的用户信息等。商品信息是与商品或者服务(以下称为商品等)相关的信息。商品信息例如具有识别商品等的商品识别符、商品等的图像、价格、特征、属性值(例如，颜色、尺寸、形状等)等。另外，商品信息例如是介绍商品或者购入商品的网页。但是，商品信息的构造不限。此外，商品信息也可以存在于外部的服务器装置。存储部20也可以存储用于访问外部的服务器装置的信息(例如，URL、IP地址、API等)。而且，在这种情况下，使用用于访问外部的服务器装置的信息来访问外部的服务器装置，通过服务器装置2取得商品信息等。此外，用于访问外部的服务器装置的信息也可以视为商品信息。在这种情况下，商品信息例如是介绍商品或者购入商品的网页的URL。
用户信息是与用户相关的信息。用户信息例如具有用户识别符、姓名、年龄、性别、地址、电话号码、邮箱地址、SNS的ID等。
接收部21从终端装置1接收各种信息和指示。各种信息和指示是指，例如图像、附加信息、购入信息等。
图像接收部211从终端装置1接收包含一个或者两个以上的对象物的图像(例如，照片)。另外，图像接收部211优选与图像一并接收作为图像以外的信息的附加信息。图像接收部211接收附加信息的时机不限。图像接收部211既可以与图像一起接收附加信息，也可以在接收了图像之后，例如与被选择的对象物一起接收附加信息。
操作信息接收部212从终端装置1接收与用户进行的操作相关的操作信息。操作信息例如具有对象物识别符。
购入信息接收部213从终端装置1接收购入信息。购入信息例如具有商品识别符、数量、用户识别符等。
处理部22进行各种处理。各种处理是指，例如对象物信息取得部221、提示信息取得部222、结算处理部223等进行的处理。
对象物信息取得部221通过对图像接收部211接收到的图像进行的图像识别处理，识别一个或者两个以上的各对象物，取得识别一个或者两个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个或者两个以上的对象物信息。
对象物信息取得部221也可以通过对接收部21接收到的图像进行使用被称为深度学习的深层学习、边缘检测、其他的图像识别技术或人工智能技术的图像识别处理，识别一个或者两个以上的各对象物，取得识别一个或者两个以上的各对象物的对象物识别符，并取得包含各对象物识别符的一个或者两个以上的对象物信息。使用深层学习(深度学习)的图像识别处理为公知技术，因而省略详细说明。另外，对象物信息取得部221也可以使用在图像接收部211接收到的图像中附加的信息来识别对象物。此外，在此，附加的信息是指上述附加信息，例如表示位置的位置信息、表示时刻的时刻信息等。另外，使用附加的信息进行的对象物识别也例如优选使用深层学习等的人工智能技术。
例如，在图像为照片、表示照片被拍摄的位置的位置信息为附加信息的情况下，对象物信息取得部221对与识别出的对象物相对应的位置信息按照距离作为附加信息的位置信息从近到远的顺序进行排序，取得对象物信息。此外，在这种情况下，假设与对象物信息相对应地管理与对象物对应的位置信息。
另外，在取得的对象物为上传到SNS服务器(例如照片墙(Instagram，注册商标)或脸书(Facebook，注册商标))的照片、表示相对于照片或者包含照片的投稿信息(也可以称为消息)的反应的信息(例如，表示“赞”的信息)为附加信息的情况下，对象物信息取得部221优选按照“赞”的数量由多到少的顺序取得对象物信息。在这种情况下，假设对象物信息取得部221从SNS服务器取得表示相对于照片或者包含照片的投稿信息的反应的信息。取得表示该反应的信息的处理为公知技术，因而省略详细说明。
此外，对象物信息取得部221取得一个以上的对象物识别符的算法不限。例如，在存储部20中存储有一组以上的对象物的图像与对象物识别符的组，对象物信息取得部221也可以提取图像内的轮廓，从该轮廓截取一个以上的对象物的各区域，计算截取的区域的一个以上的各图像(部分图像)与存储部20的图像之间的相似度，对于每个截取的区域的一个以上的部分图像，分别取得与相似度最大的存储部20的图像成对的对象物识别符。另外，对象物信息取得部221优选还取得确定截取的区域的位置的位置信息。
提示信息取得部222使用对象物信息取得部221取得的一个以上的对象物信息，取得与通过该一个以上的对象物信息中的一个对象物信息所包含的一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息。提示信息取得部222也可以使用对象物信息取得部221取得的一个以上的对象物信息，取得提示给用户的提示信息。提示信息取得部222也可以使用对象物信息取得部221取得的一个以上的对象物信息，取得与通过该一个以上的对象物信息中的一个对象物信息所具有的对象物识别符识别出的对象物相同的对象物的对象物信息、或者与通过一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。提示信息取得部222取得提示信息的算法不限。提示信息取得部222例如以对象物信息取得部221取得的对象物信息所包含的对象物识别符为关键词，检索存储部20的商品信息，取得一个以上的商品信息，并取得具有该一个以上的商品信息的全部或者一部分的提示信息。另外，提示信息取得部222例如取得与对象物信息取得部221取得的对象物信息所包含的对象物识别符相对应的部分图像的一个以上的特征量(例如，颜色等)，使用该一个以上的特征量，从存储部20取得一个以上的商品信息，并取得具有该一个以上的商品信息的全部或者一部分的提示信息。另外，提示信息取得部222例如取得与如下所述的图像相对应的商品信息(存储在存储部220中)，使用购入了该商品信息所表示的商品的人经常购买的一个以上的商品的商品信息，来取得提示信息，所述图像最相似于与对象物信息取得部221取得的对象物信息所包含的对象物识别符相对应的部分图像。也就是说，提示信息取得部222也可以使用协同过滤等的公知的算法来取得提示信息。另外，提示信息取得部222也可以使用例如在日本专利第5064063号、日本专利第5140289号等中记载的推荐技术来取得提示信息。另外，提示信息取得部222也可以同时执行“搭配”算法与“想要这个！”算法二者，取得两个以上的提示信息。
另外，提示信息取得部222也可以区分使用“搭配”算法与“想要这个！”算法的某一者来取得提示信息。用于区分使用“搭配”算法与“想要这个！”算法的条件不限。该条件例如是从终端装置1接收的用户的指示。该条件例如是附加信息。
另外，提示信息取得部222也可以使用在图像接收部211接收到的图像中附加的附加信息，取得相对于对象物的提示信息。
提示信息取得部222使用操作信息接收部212接收到的操作信息，取得提示给用户的提示信息。提示信息取得部222优选使用操作信息接收部212接收到的操作信息所具有的对象物识别符，取得提示信息。提示信息取得部222例如也可以使用操作信息接收部212接收到的操作信息所具有的对象物识别符，并使用上述算法等，取得提示信息。
在操作信息包含两个以上的对象物识别符的情况下，提示信息取得部222优选使用该两个以上的对象物识别符，取得提示信息。
提示信息取得部222例如取得与通过操作信息接收部212接收到的操作信息所具有的一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息。在此，一个对象物识别符通常是操作信息所具有的对象物识别符(用户所选择的对象物的识别符)。该处理的算法为“搭配”算法。更加详细地，提示信息取得部222例如对与操作信息接收部212接收到的操作信息所具有的对象物识别符不同种类的对象物，使用“搭配”算法，取得通过该对象物识别符识别出的对象物的图像的一个以上的特征量，使用该一个以上的特征量，取得与该对象物(例如，夹克衫)相配(设计上匹配)的不同种类的对象物(例如，裤子)的提示信息。
提示信息取得部222例如以如下的方式实现上述的“搭配”算法。也就是说，提示信息取得部222例如使用公知的推荐技术，相对于终端装置1的用户，取得针对通过操作信息所具有的对象物识别符识别出的对象物的、推荐的对象物集合，从该集合中取得通过与操作信息所具有的对象物识别符不同种类的对象物识别符识别出的对象物信息。此外，公知的推荐技术是指，例如协同过滤、在日本专利第5064063号、日本专利第5140289号等中记载的推荐技术、在《信息推荐系统入门—理论与实践—(共立出版)》(《情報推薦システム入門－理論と実践－(共立出版)》)等的书籍中记载的技术。提示信息取得部222优选使用终端装置1的用户的用户行动履历(用户的商品购买履历等)，取得与通过操作信息所具有的对象物识别符识别出的对象物不同种类的对象物的对象物信息。但是，提示信息取得部222取得对象物信息的算法当然不限。此外，在“搭配”算法中，提示信息取得部222只要取得与通过操作信息所具有的对象物识别符识别出的对象物不同种类的对象物的对象物信息即可。也就是说，提示信息取得部222无需取得在设计上与通过操作信息所具有的对象物识别符识别出的对象物相配的异种对象物的对象物信息。提示信息既可以包含商品信息，也可以为用于访问外部装置的URL等。
提示信息取得部222例如取得与通过一个对象物识别符识别出的对象物相同的对象物的对象物信息，以作为提示信息。在此，一个对象物识别符通常是操作信息所具有的对象物识别符。该处理的算法是“想要这个！”算法。进一步具体地，提示信息取得部222例如使用通过操作信息接收部212接收到的操作信息所具有的对象物识别符识别出的对象物的图像，检索图像，应用“想要这个！”算法，取得与该对象物相同的对象物的提示信息。此处的提示信息也可以包含商品信息，也可以为用于访问外部装置的URL等。
另外，提示信息取得部222例如取得与通过一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。在此，一个对象物识别符通常为操作信息所具有的对象物识别符。该处理的算法是对“想要这个！”算法进行扩展的算法。
优选为，提示信息取得部222取得提示信息的算法根据附加信息而不同。
在此，不同的算法是指，例如“想要这个！”算法与“搭配”算法。“想要这个！”算法是指，例如取得与通过用户选择的一个对象物识别符识别出的对象物相同的对象物的对象物信息，以作为提示信息的算法。“想要这个！”算法是指，例如取得由对象物信息取得部221取得的对象物信息，或者取得与通过用户选择的一个对象物识别符识别出的对象物相同种类的对象物信息的算法。“搭配”算法是指，取得与通过用户选择的一个对象物识别符识别出的对象物相配的异种对象物的对象物信息，以作为提示信息的算法。
提示信息取得部222例如在摄像机信息为表示自拍模式的信息的情况下，采用“搭配”算法。另外，提示信息取得部222例如在摄像机信息为表示非自拍模式(通常模式)的信息的情况下，采用“想要这个！”算法。另外，自拍模式是指，在终端装置1的显示器上显示终端装置1的用户的模式，是摄像机的拍摄方向为显示器侧的模式。通常模式是指，摄像机的拍摄方向与自拍模式相反的模式，是拍摄方向为终端装置1的背面侧的模式。
结算处理部223进行使用接收到的购入信息的结算处理。结算处理不限，只要是用于结算的处理即可。结算处理部223例如也可以为向信用卡公司的结算服务器发送购入信息的处理。结算处理部223也可以处理联属营销的信息。联属营销信息的处理是指，例如在输出到终端装置1的联属营销链接被用户指示(通常为点击)的情况下，向管理联属营销的服务器装置等发送联属营销ID等。联属营销ID是指，由管理联属营销的公司发行的ID，联属营销链接通常是指提示信息与联属营销ID被组合在一起的URL。另外，结算处理部223例如也可以为与该用户的信息相对应地保存购入信息的处理。结算处理为公知技术，因而省略详细说明。
发送部23将各种信息发送至终端装置。各种信息是指，例如对象物信息、提示信息。
对象物信息发送部231将对象物信息取得部221取得的一个以上的对象物信息发送至终端装置1。
提示信息发送部232将提示信息取得部222取得的提示信息发送至终端装置1。提示信息通常包含一个或者两个以上的商品信息。
此外，终端存储部11以及存储部20优选为非易失性的存储介质，但是也能够通过易失性的存储介质来实现。信息存储到终端存储部11等的过程不限。例如，既可以为通过存储介质将信息存储在终端存储部11等，也可以将经由通信线路等发送的信息存储在终端存储部11等，或者也可以将经由输入设备输入的信息存储在终端存储部11等。
终端发送部13、发送部23、对象物信息发送部231以及提示信息发送部232通常通过无线或者有线的通信单元来实现，但是也可以通过广播单元来实现。
终端接收部14、接收部21、图像接收部211、操作信息接收部212以及购入信息接收部213通常通过无线或者有线的通信单元来实现，但是也可以通过接收广播的单元来实现。
可认为终端输出部15包括显示器与扬声器等输出设备，也可认为不包括。终端输出部15能够通过输出设备的驱动软件或者输出设备的驱动软件与输出设备等来实现。
处理部22、对象物信息取得部221、提示信息取得部222以及结算处理部223通常可以通过MPU与存储器等来实现。处理部22等的处理步骤通常由软件来实现，该软件存储在ROM等的存储介质中。但是，也可以通过硬件(专用电路)来实现。
接下来，对信息系统A的动作进行说明。首先，使用图3的流程图，对终端装置1的动作进行说明。
(步骤S301)终端受理部12判断是否受理了拍摄指示。在受理了拍摄指示的情况下进入步骤S302，在未受理拍摄指示的情况下进入步骤S320。
(步骤S302)拍摄部16进行拍摄，取得图像。然后，拍摄部16将拍摄的图像至少暂时保存在终端存储部11。
(步骤S303)终端输出部15输出在步骤S302中取得的图像(在此为照片)。
(步骤S304)终端装置1的未图示的终端处理部判断是否发送图像。在发送图像的情况下进入步骤S305，在不发送图像的情况下返回步骤S301。此外，终端处理部检查存储在终端存储部11中的标记，在该标记为表示发送图像的信息的情况下发送图像，在该标记为表示不发送图像的信息的情况下不发送图像。此外，终端装置1的终端发送部13也可以在步骤S302中取得了图像的情况下，自动地将图像发送至服务器装置2。另外，也可以在终端受理部12受理了来自用户的发送指示的情况下，发送图像。
(步骤S305)终端发送部13取得存储在终端存储部11中的附加信息。此外，附加信息例如为摄像机模式。
(步骤S306)终端发送部13使用在步骤S302中取得的图像与在步骤S305中取得的附加信息，构成要发送的信息。此外，终端发送部13也可以不使用附加信息，而使用在步骤S302中取得的图像构成要发送的信息。
(步骤S307)终端发送部13将在步骤S306中构成的信息发送至服务器装置2。此外，在终端存储部11通常存储有用于与服务器装置2通信的信息(例如，服务器装置2的IP地址与URL等)。
(步骤S308)终端接收部14判断是否从服务器装置2接收了一个以上的对象物信息。在接收了一个以上的对象物信息的情况下进入步骤S309，在未接收的情况下返回步骤S308。此外，优选在步骤S307中的信息发送后经过了规定时间以上的情况下，因超时而返回步骤S301。
(步骤S309)终端输出部15从在步骤S308中取得的一个以上的对象物信息中取得一个以上的对象物识别符。
(步骤S310)终端输出部15使用在步骤S309中取得的一个以上的对象物识别符，构成要输出的信息。此外，终端输出部15优选以使用一个以上的各对象物信息所具有的图像的位置信息，将一个以上的对象物识别符输出到图像中的适当位置的方式，构成要输出的信息。
(步骤S311)终端输出部15输出在步骤S310中构成的信息。此外，在此，终端输出部15优选在步骤S303中输出的图像上输出包含一个以上的对象物识别符的、在步骤S310中构成的信息。
(步骤S312)终端受理部12判断是否受理了对在步骤S311中输出的一个以上的对象物识别符进行的操作。在受理了操作的情况下进入步骤S313，在未受理操作的情况下返回步骤S312。此外，优选在步骤S311中的信息输出后经过了规定时间以上的情况下，因超时而返回步骤S301。另外，此处的操作通常为从所输出的一个以上的对象物识别符中选择一个对象物识别符的操作。
(步骤S313)终端发送部13根据在步骤S312中受理的操作，构成操作信息。此外，操作信息通常具有在步骤S312中选择的一个对象物识别符。
(步骤S314)终端发送部13将在步骤S313中构成的操作信息发送至服务器装置2。
(步骤S315)终端接收部14判断是否从服务器装置2接收了提示信息。在接收了提示信息的情况下进入步骤S316，在未接收提示信息的情况下返回步骤S315。此外，优选在步骤S314中的操作信息发送后经过了规定时间以上的情况下，因超时而返回步骤S301。
(步骤S316)终端输出部15输出在步骤S315中接收的提示信息。
(步骤S317)终端受理部12判断是否受理了用户对在步骤S316中输出的提示信息进行的选择。在受理了用户的选择的情况下进入步骤S318，在未受理用户的选择的情况下返回步骤S301。
(步骤S318)终端发送部13根据在步骤S317中受理的用户的选择，构成购入信息。
(步骤S319)终端发送部13将购入信息发送至服务器装置2。返回步骤S301。
(步骤S320)终端受理部12判断是否受理了其他信息和指示。在受理了其他信息和指示的情况下进入步骤S321，在未受理其他信息和指示的情况下返回步骤S301。
(步骤S321)未图示的终端处理部进行与其他信息和指示相对应的处理。
此外，在图3的流程图中，即使不存在用户的对象物识别符的选择也接收提示信息。不存在用户的对象物识别符的选择是指，操作信息不被发送至服务器装置2。
另外，在图3的流程图中，处理通过电源关闭或处理结束的中断而结束。
另外，在图3的流程图的步骤S307中，将拍摄的图像发送至服务器装置2。但是，也可以在步骤S307中将存储在终端存储部11中的图像发送至服务器装置2。存储在终端存储部11中的图像例如为预先存储在终端装置1中的照片、从网页取得的照片、从SNS等下载的照片等。
进一步，也可以在图3的流程图中，在从服务器装置2接收了一个以上的对象物信息(S308)后，不显示表示对象物的种类的对象物识别符，而输出作为一个以上的对象物信息的提示信息(S316)。尤其是，在采用“想要这个！”算法的情况下，终端装置1优选进行该动作。
接下来，使用图4的流程图，对服务器装置2的动作进行说明。
(步骤S401)图像接收部211判断是否从终端装置1接收了图像等。在接收了图像等的情况下进入步骤S402，在未接收图像等的情况下返回步骤S401。此外，图像等是指，例如图像与附加信息。图像等例如包含用户识别符。
(步骤S402)对象物信息取得部221对在步骤S401中接收到的图像进行图像识别处理，识别一个以上的各对象物，取得识别一个以上的各对象物的对象物识别符。
(步骤S403)对象物信息取得部221使用在步骤S402中取得的一个以上的对象物识别符，构成一个以上的对象物信息。
(步骤S404)对象物信息发送部231将在步骤S403中构成的一个以上的对象物信息发送至将图像等发送过来的终端装置1。
(步骤S405)操作信息接收部212判断是否从终端装置1接收了操作信息。在接收了操作信息的情况下进入步骤S406，在未接收操作信息的情况下返回步骤S405。
(步骤S406)提示信息取得部222使用在步骤S405中接收到的操作信息，取得一个以上的对象物识别符。在此，操作信息也可以包含两个以上的对象物识别符。
(步骤S407)提示信息取得部222判断在步骤S401中接收的图像等中是否存在附加信息。如果存在附加信息则进入步骤S408，如果不存在附加信息则进入步骤S410。
(步骤S408)提示信息取得部222从在步骤S401中接收到的图像等中取得附加信息。
(步骤S409)提示信息取得部222使用在步骤S406中取得的一个以上的对象物识别符与在步骤S408中取得的附加信息等，取得提示信息。进入步骤S411。此外，例如在作为附加信息的摄像机信息为表示自拍模式的信息的情况下，提示信息取得部222采用“搭配”算法，在作为附加信息的摄像机信息为表示非自拍模式的信息的情况下，采用“想要这个！”算法，取得提示信息。
(步骤S410)提示信息取得部222使用在步骤S406中取得的一个以上的对象物识别符等，取得提示信息。提示信息取得部222例如采用“搭配”算法或者“想要这个！”算法，取得提示信息。
(步骤S411)提示信息发送部232将取得的提示信息发送至终端装置1。
(步骤S412)购入信息接收部213判断是否从终端装置1接收了购入信息。在接收了购入信息的情况下进入步骤S413，在未接收购入信息的情况下返回步骤S401。
(步骤S413)结算处理部223使用在步骤S412中接收的购入信息，进行结算处理。返回步骤S401。
此外，在图4的流程图中，在步骤S402中取得一个以上的对象物识别符后，提示信息取得部222也可以使用该一个以上的对象物识别符取得提示信息。在这种情况下，能够省略从步骤S403至步骤S406的处理。另外，在图4的流程图中，也可以在图像接收部211从终端装置1接收到图像的情况下，对象物信息取得部221进行该图像中的对象物识别，提示信息取得部222检索与该对象物相同的对象物的对象物信息，构成具有对象物信息的提示信息。而且，提示信息发送部232也可以将取得的提示信息发送至终端装置1。
另外，在图4的流程图中，处理通过电源关闭或处理结束的中断而结束。
下面，对本实施方式中的信息系统A的具体动作进行说明。信息系统A的概念图为图1。
另外，下面，对四个具体例进行叙述。具体例1是服务器装置2不使用附加信息而取得提示信息，并发送至终端装置1的情况。具体例2是服务器装置2使用表示摄像机为自拍模式的附加信息来取得提示信息，并发送至终端装置1的情况。具体例2是采用“搭配”算法的情况。具体例3是服务器装置2使用表示摄像机为通常模式的附加信息来取得提示信息，并发送至终端装置1的情况。具体例3是采用“想要这个！”算法的情况。具体例4是在从终端装置1发送图像后，服务器装置2从图像取得对象物识别符，使用该对象物识别符取得提示信息，并发送至终端装置1的情况。也就是说，具体例4是仅通过从终端装置1发送图像来从服务器装置2向终端装置1发送提示信息，而无需与用户进行交互的情况。
(具体例1)
首先，假设终端装置1的用户使用终端装置1的摄像机，拍摄了穿着衣服的人体模型。也就是说，终端装置1的终端受理部12受理拍摄指示。然后，拍摄部16进行拍摄，取得照片(图像)，将该照片暂时保存在终端存储部11。另外，终端输出部15将取得的照片显示在显示器上。假设该照片为图5。
接下来，假设用户向终端装置1输入了发送显示在显示器上的照片的照片发送指示(按下了发送按钮501)。接下来，终端受理部12受理照片发送指示。然后，终端发送部13使用与照片发送指示相对应的照片，构成要发送的信息，发送该信息。
接下来，服务器装置2的图像接收部211从终端装置1接收具有照片的信息。
然后，假设对象物信息取得部221对于接收到的照片，使用深层学习等算法进行图像识别处理，识别照片中的四个对象物，取得了四个各对象物的对象物识别符(领带、夹克衫、裤子、鞋)。此外，此处的对象物识别符是物品(例如商品)的名称。也可以认为物品的名称是物品的种类的名称。但是，物品的名称也可以是固有名称。
另外，对象物信息取得部221取得表示照片中的各对象物的相对位置的位置信息。位置信息例如既可以是确定对象物存在的区域的信息，也可以是对象物存在的区域的特征点(例如，区域左上的点或者中心点等)的坐标信息等。在此，假设对象物信息取得部221取得了相对于对象物识别符“领带”的位置信息((x11，y11)(x12，y12))、相对于对象物识别符“夹克衫”的位置信息((x21，y21)(x22，y22))、相对于对象物识别符“裤子”的位置信息((x31，y31)(x32，y32))、相对于对象物识别符“鞋”的位置信息((x41，y41)(x42，y42))。
接下来，对象物信息取得部221使用取得的四个对象物识别符(领带、夹克衫、裤子、鞋)，构成四个对象物信息。此外，对象物信息具有对象物识别符与位置信息。
接下来，对象物信息发送部231将构成的四个对象物信息发送至将照片等发送过来的终端装置1。
接下来，终端装置1的终端接收部14从服务器装置2接收四个对象物信息。
接下来，终端输出部15从四个各对象物信息中取得四个对象物识别符(领带、夹克衫、裤子、鞋)。
接下来，终端输出部15使用与四个各对象物识别符相对应的位置信息，确定输出对象物识别符的位置(照片内的位置)。此外，该位置的确定方法不限。
接下来，终端输出部15在照片内的确定出的位置输出四个对象物识别符。该输出例为图6。
接下来，假设用户想要购入与照片内的裤子相同或者相似的裤子。然后，假设用户输入了从显示出的四个对象物识别符中选择“裤子”的指示。于是，终端装置1的终端受理部12受理对输出的四个对象物识别符中的“裤子”进行的选择操作。然后，终端输出部15改变显示方式，以使对象物识别符“裤子”的显示能够在视觉上与其他对象物识别符区别开。在此，终端输出部15将对象物识别符“裤子”的显示设定为反转显示(参照601)。
接下来，假设用户按下了图6的发送按钮(602)。于是，终端受理部12受理操作信息的发送指示。然后，终端发送部13构成具有所选择的对象物识别符“裤子”的操作信息。接下来，终端发送部13将该操作信息发送至服务器装置2。
接下来，服务器装置2的操作信息接收部212从终端装置1接收操作信息。
接下来，提示信息取得部222取得接收到的操作信息所具有的对象物识别符“裤子”。然后，提示信息取得部222使用对象物识别符“裤子”，取得提示信息。在此，提示信息取得部222从存储部20取得与对象物识别符“裤子”成对的三个裤子的商品信息(未图示)。此外，假设商品信息在此具有商品的图像、商品名称、价格、商品的特征等信息。然后，提示信息取得部222构成具有三个裤子的商品信息的提示信息。此外，假设提示信息除了商品信息外，还具有用于选择进行购入的选择框、用于输入尺寸的字段等。假设该选择框、字段等构成用户界面的信息等预先存储在存储部20。
接下来，提示信息发送部232将构成的提示信息发送至终端装置1。
接下来，终端装置1的终端接收部14从服务器装置2接收提示信息。然后，终端输出部15输出接收到的提示信息。该输出例为图7。
接下来，假设用户相对于图7的画面选择了想要购入的商品(701)，输入了尺寸“M”(702)，按下了购入按钮703。于是，终端受理部12受理用户对输出的提示信息进行的选择。然后，终端发送部13根据受理的用户的选择，构成购入信息。在此，购入信息具有识别商品的识别符“裤子ABC”、尺寸“M”、识别用户的用户识别符等。此外，假设用户识别符例如存储在终端存储部11。接下来，终端发送部13将购入信息发送至服务器装置2。
接下来，服务器装置2的购入信息接收部213从终端装置1接收购入信息。然后，结算处理部223使用接收到的购入信息，进行结算处理。
通过以上的处理，能够实现使用照片的商品信息的提示以及商品的购入。此外，在具体例1中，提示信息取得部222也可以从存储部20取得与对象物识别符“裤子”成对的商品信息即具有被判断为与图6的图像内的裤子相同的裤子的图像的商品信息(未图示)。在这种情况下，具有一个商品信息的提示信息被输出到终端装置1。
(具体例2)
首先，假设终端装置1的用户将终端装置1的摄像机的模式设定为“自拍”模式。于是，终端受理部12受理将摄像机的模式设定为“自拍”模式的指示。然后，未图示的终端处理部将摄像机的模式设定为“自拍”模式。
接下来，假设终端装置1的用户使用终端装置1的摄像机拍摄了自己。也就是说，终端装置1的终端受理部12受理拍摄指示。然后，拍摄部16进行拍摄，取得自己的照片，将该照片暂时保存在终端存储部11。另外，终端输出部15将取得的照片显示在显示器上。假设该照片为图5。
接下来，假设用户向终端装置1输入了发送显示在显示器上的照片的照片发送指示。接下来，终端受理部12受理照片发送指示。然后，终端发送部13使用与照片发送指示相对应的照片，构成要发送的信息，发送该信息。此外，终端发送部13也可以取得终端存储部11的附加信息，发送具有照片与附加信息的信息。
接下来，服务器装置2的图像接收部211从终端装置1接收具有照片的信息。然后，服务器装置2进行与在具体例1中说明的处理相同的处理，将四个对象物信息发送至将照片等发送过来的终端装置1。此外，假设四个对象物信息具有四个对象物识别符(领带、夹克衫、裤子、鞋)以及相对于对象物识别符“领带”的位置信息((x11，y11)(x12，y12))、相对于对象物识别符“夹克衫”的位置信息((x21，y21)(x22，y22))、相对于对象物识别符“裤子”的位置信息((x31，y31)(x32，y32))、相对于对象物识别符“鞋”的位置信息((x41，y41)(x42，y42))。
接下来，终端装置1的终端接收部14从服务器装置2接收四个对象物信息。然后，终端装置1进行与在具体例1中说明的处理相同的处理，输出如图6所示的画面。
接下来，假设用户想要购入与照片内的裤子相配的夹克衫等，用户输入了从显示的四个对象物识别符中选择“裤子”的指示。于是，终端装置1的终端受理部12受理对输出的四个对象物识别符中的“裤子”进行的选择操作。然后，终端输出部15改变显示方式，以使对象物识别符“裤子”的显示能够在视觉上与其他对象物识别符区别开。在此，终端输出部15将对象物识别符“裤子”的显示设定为反转显示(参照601)。
接下来，假设用户按下了图6的发送按钮(602)。于是，终端受理部12受理操作信息的发送指示。然后，终端发送部13构成具有所选择的对象物识别符“裤子”与附加信息的操作信息。在此，附加信息是摄像机信息中的摄像机的模式“自拍”。然后，接下来，终端发送部13将该操作信息发送至服务器装置2。此外，在附加信息与照片被一起发送的情况下，操作信息优选不具有附加信息。
接下来，服务器装置2的操作信息接收部212从终端装置1接收操作信息。
接下来，提示信息取得部222取得接收到的操作信息所具有的对象物识别符“裤子”。接下来，提示信息取得部222从之前接收到的图像等中取得附加信息“自拍”。
接下来，提示信息取得部222使用取得的对象物识别符“裤子”与附加信息“自拍”，取得提示信息。也就是说，提示信息取得部222进行从附加信息“自拍”中取得与对象物识别符“裤子”不同的商品的商品信息的处理。进一步具体地，在此，进行取得与除了对象物识别符“裤子”以外的对象物识别符、即已经接收的对象物识别符“领带”、“夹克衫”、“鞋”相对应的商品信息的处理。另外，提示信息取得部222例如优选取得照片内的“裤子”的颜色与形状等属性值，使用该属性值，取得与照片内的“裤子”相配的“领带”、“夹克衫”、“鞋”中的一种以上的商品信息。此外，在此，假设提示信息取得部222从存储部20取得与对象物识别符“领带”成对的四个商品信息、与“夹克衫”成对的两个商品信息以及与“鞋”成对的三个商品信息。然后，提示信息取得部222使用取得的商品信息，构成提示信息。
接下来，提示信息发送部232将构成的提示信息发送至终端装置1。
接下来，终端装置1的终端接收部14从服务器装置2接收提示信息。然后，终端输出部15输出接收到的提示信息。该输出例为图8。在图8中，与用户选择的“裤子”相配的夹克衫、领带、鞋的商品信息被输出。
接下来，假设用户相对于图8的画面选择了想要购入的商品(801、802)，按下了购入按钮803。于是，终端受理部12受理用户对输出的提示信息进行的选择。然后，终端发送部13根据受理的用户的选择，构成购入信息。在此，购入信息具有识别被选择的领带的识别符、识别被选择的鞋的识别符、识别用户的用户识别符等。此外，假设用户识别符例如被存储在终端存储部11。接下来，终端发送部13将购入信息发送至服务器装置2。
接下来，服务器装置2的购入信息接收部213从终端装置1接收购入信息。然后，结算处理部223使用接收到的购入信息，进行结算处理。
通过以上的处理，能够实现使用照片的商品信息的提示等以及商品的购入。并且，提供给用户与附加信息“自拍模式”相对应的提示信息。
此外，在具体例2中，在用户在图6中选择了两个以上的对象物识别符的情况下，从终端装置1向服务器装置2发送具有两个以上的对象物识别符的选择信息。然后，服务器装置2的提示信息取得部222使用选择信息所具有的两个以上的对象物识别符，取得提示信息。然后，提示信息发送部232发送该提示信息。此外，在用户在图6中选择了裤子与领带的情况下，提示信息取得部222例如取得作为与照片内的领带和裤子不同种类的商品的、一个以上的夹克衫的商品信息，构成提示信息。此外，取得一个以上的夹克衫的商品信息的推荐算法可以是上述公知的算法。另外，使用选择信息所具有的两个以上的对象物识别符来取得提示信息是指，取得作为与选择信息所具有的两个以上的对象物识别符对应的两个以上的对象物相配的对象物(与两个以上的对象物异种的对象物)的信息的提示信息。
(具体例3)
首先，假设终端装置1的用户将终端装置1的摄像机的模式设定为作为非自拍模式的“通常”模式。“通常”一般是指设置在与终端装置的显示器相反侧的摄像机。于是，终端受理部12受理将摄像机的模式设定为“通常”模式的指示。然后，未图示的终端处理部将摄像机的模式设定为“通常”模式。
接下来，假设终端装置1的用户使用终端装置1的摄像机拍摄店铺的穿着服装的人体模型。也就是说，终端装置1的终端受理部12受理拍摄指示。然后，拍摄部16进行拍摄，取得人体模型的照片，将该照片暂时保存在终端存储部11。另外，终端输出部15将取得的照片显示在显示器上。假设该照片为图9。
接下来，假设用户向终端装置1输入了发送显示在显示器上的照片的照片发送指示。接下来，终端受理部12受理照片发送指示。然后，终端发送部13使用与照片发送指示相对应的照片和终端存储部11的附加信息“通常”，构成要发送的信息，发送该信息。
接下来，服务器装置2的图像接收部211从终端装置1接收具有照片与附加信息的信息。然后，服务器装置2进行与在具体例1中说明的处理相同的处理，使用照片，取得两个对象物信息(领带的对象物信息与夹克衫的对象物信息)，并发送至将照片等发送过来的终端装置1。此外，假设两个对象物信息具有两个对象物识别符(领带、夹克衫)以及相对于对象物识别符“领带”的位置信息((x11，y11)(x12，y12))、相对于对象物识别符“夹克衫”的位置信息((x21，y21)(x22，y22))。此外，图像接收部211将接收到的附加信息暂时保存在终端存储部11。
接下来，终端装置1的终端接收部14从服务器装置2接收两个对象物信息。然后，终端装置1进行与在具体例1中说明的处理相同的处理，输出如图10所示的画面。
接下来，假设用户想要购入与照片内的夹克衫相同或者同种的夹克衫，用户输入了从显示的两个对象物识别符中选择“夹克衫”的指示。于是，终端装置1的终端受理部12受理对输出的两个对象物识别符中的“夹克衫”进行的选择操作。然后，终端输出部15改变显示方式，以使对象物识别符“夹克衫”的显示能够在视觉上与其他对象物识别符区别开。在此，终端输出部15将对象物识别符“夹克衫”的显示设定为反转显示(参照1001)。
接下来，假设用户按下了图10的发送按钮(1002)。于是，终端受理部12受理操作信息的发送指示。然后，终端发送部13构成具有所选择的对象物识别符“夹克衫”的操作信息。然后，接下来，终端发送部13将该操作信息发送至服务器装置2。
接下来，服务器装置2的操作信息接收部212从终端装置1接收操作信息。
接下来，提示信息取得部222取得接收到的操作信息所具有的对象物识别符“夹克衫”。接下来，提示信息取得部222取得之前接收并存储在终端存储部11的附加信息“通常”。
接下来，提示信息取得部222使用取得的对象物识别符“夹克衫”与附加信息“通常”，取得提示信息。也就是说，提示信息取得部222进行根据附加信息“通常”取得与对象物识别符“夹克衫”相同或者同种的商品的商品信息的处理。此外，在此，假设提示信息取得部222进行根据附加信息“通常”取得与对象物识别符“夹克衫”相同的商品的商品信息的处理。另外，提示信息取得部222优选取得照片内的“夹克衫”的颜色与形状等属性值，使用该属性值，作为相同商品的商品信息从存储部20取得与照片内的“夹克衫”的相似度为阈值(例如，90“假设完全一致为100的情况”)以上的商品信息。然后，提示信息取得部222使用取得的商品信息，构成提示信息。
接下来，提示信息发送部232将构成的提示信息发送至终端装置1。
接下来，终端装置1的终端接收部14从服务器装置2接收提示信息。然后，终端输出部15输出接收到的提示信息。该输出例为图11。
接下来，假设用户相对于图11的画面，用户判断为进行购入，选择了商品(1101)，输入了尺寸“S”，按下了购入按钮1103。于是，终端受理部12受理用户对输出的提示信息进行的选择。然后，终端发送部13根据受理的用户的选择，构成购入信息。在此，购入信息具有识别被选择的夹克衫的识别符、识别用户的用户识别符等。此外，假设用户识别符例如存储在终端存储部11。接下来，终端发送部13将购入信息发送至服务器装置2。
接下来，服务器装置2的购入信息接收部213从终端装置1接收购入信息。然后，结算处理部223使用接收到的购入信息，进行结算处理。
通过以上的处理，能够实现使用照片等的图像的商品信息的检索、提示以及商品的购入。并且，通过以上的处理，提供给用户与附加信息“通常模式”相对应的提示信息。
(具体例4)
首先，假设终端装置1的用户使用终端装置1的摄像机拍摄了穿着衣服的人体模型。也就是说，终端装置1的终端受理部12受理拍摄指示。然后，拍摄部16进行拍摄，取得照片(图像)，将该照片暂时保存在终端存储部11。另外，终端输出部15将取得的照片显示在显示器上。假设该照片为图9。
接下来，假设用户向终端装置1输入了发送显示在显示器上的照片的照片发送指示(按下了发送按钮901)。接下来，终端受理部12受理照片发送指示。然后，终端发送部13使用与照片发送指示相对应的照片，构成要发送的信息，发送该信息。
接下来，服务器装置2的图像接收部211从终端装置1接收具有照片的信息。
然后，假设对象物信息取得部221相对于接收的照片，使用深层学习等算法进行图像识别处理，识别照片中的两个对象物，取得了两个各对象物的对象物识别符(领带、夹克衫)。
接下来，提示信息取得部222使用取得的两个对象物识别符(领带、夹克衫)，取得提示信息。在此，提示信息取得部222从存储部20取得与对应于对象物识别符“领带”或者“夹克衫”的领带以及夹克衫相配的商品信息(例如，裤子的商品信息)。此外，假设相对于领带以及夹克衫取得裤子的商品信息等的商品的组合信息(具有两个以上的商品识别符)存储在存储部20。此外，与领带以及夹克衫相配的裤子的商品信息也可以通过上述推荐算法取得。
然后，提示信息取得部222构成具有取得的商品信息的提示信息。此外，假设提示信息除了商品信息之外，还具有用于选择购入的选择框、用于输入尺寸的字段等。假设该选择框、字段等构成用户界面的信息等预先存储在存储部20。
接下来，提示信息发送部232将构成的提示信息发送至终端装置1。
接下来，终端装置1的终端接收部14从服务器装置2接收提示信息。然后，终端输出部15输出接收到的提示信息。该输出例例如为图7。
接下来，假设用户相对于提示信息的输出画面选择了想购入的商品，按下了发送按钮。于是，终端受理部12受理用户对输出的提示信息进行的选择。然后，终端发送部13根据受理的用户的选择，构成购入信息。接下来，终端发送部13将购入信息发送至服务器装置2。
接下来，服务器装置2的购入信息接收部213从终端装置1接收购入信息。然后，结算处理部223使用接收到的购入信息，进行结算处理。
通过以上的处理，能够仅通过发送照片来自动地取得提示信息，能够容易地实现商品的购入。此外，在具体例4中，提示信息取得部222也可以取得与照片中识别出的两个对象物相同的对象物的商品信息，以作为提示信息。在这种情况下，提示信息取得部222也可以通过图像检索等从外部的装置检索并取得与照片中识别出的两个各对象物相同的对象物的商品信息。
以上，根据本实施方式，能够进行使用了拍摄的图像等的信息的提示。
另外，根据本实施方式，能够一边与用户对话，一边进行使用了拍摄的图像等的适当信息的提示。
进一步，根据本实施方式，能够使用拍摄的图像等并且使用摄像机的模式等附加信息，来进行与附加信息相对应的极其适当的信息的提示。
此外，本实施方式中的处理也可以通过软件来实现。而且，也可以通过软件下载等来发布该软件。另外，也可以将该软件存储在CD-ROM等的存储介质中进行传播。此外，该方法也适合本说明书中的其他实施方式。此外，实现本实施方式中的终端装置1的软件为如下程序。也就是说，在该程序中，计算机能够访问的存储介质具备终端存储部，所述终端存储部存储包含一个或者两个以上的对象物的图像，该程序用于使计算机发挥如下部件的功能：终端发送部，将所述图像发送至所述服务器装置；终端接收部，接收提示信息，所述提示信息是提示给用户的信息，并且是与商品相关的信息；以及终端输出部，输出所述提示信息。
另外，在上述程序中，优选使计算机进一步发挥如下部件的功能：终端接收部，从所述服务器装置接收一个以上的对象物信息；终端输出部，输出所述图像、与所述一个以上的对象物信息所具有的一个以上的对象物识别符；以及终端受理部，受理用户对所述终端输出部输出的一个以上的对象物识别符进行的操作；并且使计算机发挥如下功能：所述终端发送部将与所述终端受理部受理的操作相关的操作信息发送至所述服务器装置。
另外，实现本实施方式中的服务器装置2的软件为如下程序。也就是说，该程序使计算机发挥如下部件的功能：图像接收部，从终端装置接收图像；对象物信息取得部，通过对所述图像接收部接收到的图像进行的图像识别处理，识别所述一个以上的各对象物，取得识别所述一个以上的各对象物的对象物识别符，取得包含该各对象物识别符的一个以上的对象物信息；提示信息取得部，使用所述对象物信息取得部取得的一个以上的对象物信息，取得与通过该一个以上的对象物信息中的一个对象物信息所包含的一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息；以及提示信息发送部，将所述提示信息发送至所述终端装置。
另外，在上述程序中，优选使计算机发挥如下功能：所述提示信息取得部还取得与通过所述一个对象物识别符识别出的对象物相同的对象物的对象物信息，或者与通过所述一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。
另外，在上述程序中，优选使计算机进一步发挥如下部件的功能：对象物信息发送部，发送所述对象物信息取得部取得的一个以上的对象物信息；以及操作信息接收部，从所述终端装置接收所述操作信息；并且使计算机发挥如下功能：所述提示信息取得部使用所述操作信息接收部接收到的操作信息，取得提示给用户的提示信息。
另外，在上述程序中，优选使计算机发挥如下功能：所述操作信息具有用户对所述终端输出部输出的一个以上的对象物识别符所选择的一个对象物识别符，所述提示信息取得部使用通过所述一个对象物识别符识别出的对象物的对象物信息来取得提示信息。
另外，在上述程序中，优选使计算机发挥如下功能：所述提示信息取得部取得与通过所述一个对象物识别符识别出的对象物存在关联、且与该对象物不同种类的对象物的对象物信息，以作为提示信息，或者取得与通过所述一个对象物识别符识别出的对象物相同的对象物的对象物信息或与通过所述一个对象物识别符识别出的对象物相同种类的对象物的对象物信息，以作为提示信息。
另外，在上述程序中，优选使计算机发挥如下功能：所述图像接收部接收与所述图像一并接收作为图像以外的信息的附加信息，所述提示信息取得部取得提示信息的算法根据所述附加信息而不同。
另外，在上述程序中，优选使计算机发挥如下功能：所述附加信息包含与拍摄所述图像的摄像机相关的摄像机信息。
另外，在上述程序中，优选使计算机发挥如下功能：所述提示信息取得部在所述摄像机信息为表示自拍模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息，在所述摄像机信息为表示非自拍模式的模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物相同或者相同种类的对象物的对象物信息，以作为提示信息。
另外，在上述程序中，优选使计算机发挥如下功能：所述对象物信息取得部相对于所述图像接收部所接收的图像，通过使用了深层学习的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息。
另外，在上述程序中，优选使计算机进一步发挥如下部件的功能：购入信息接收部，从所述终端装置接收所述购入信息；以及结算处理部，进行使用所述购入信息的结算处理。
另外，图12示出执行在本说明书中所述的程序并实现上述各种实施方式的终端装置1或者服务器装置2的计算机的外观。上述实施方式可以通过计算机硬件以及在其中执行的计算机程序来实现。图12为该计算机系统300的概观图，图13为系统300的框图。
在图12中，计算机系统300具备包含有CD-ROM驱动器3012的计算机301、键盘302、鼠标303以及显示器304。此外，计算机系统300也可以具备摄像机。
在图13中，计算机301包括CD-ROM驱动器3012、MPU3013、总线3014、ROM3015、RAM3016以及硬盘3017。ROM3015存储开机引导程序等的程序。RAM3016与MPU3013连接，临时存储应用程序的命令并且提供临时存储空间。硬盘3017通常存储应用程序、系统程序以及数据。在此，虽然未图示，但是计算机301也可以进一步包括提供向局域网进行连接的网卡。
使计算机系统300执行上述实施方式的服务器装置2等的功能的程序也可以存储在CD-ROM3101中，将其插入到CD-ROM驱动器3012中，再传送至硬盘3017。另外，也可以经由未图示的网络将程序发送到计算机301，并存储于硬盘3017。程序在执行时被加载到RAM3016。也可以从CD-ROM3101或者网络直接加载程序。
程序也可以不必包含使计算机301执行上述实施方式的服务器装置2等的功能的操作系统(OS)或者第三方程序等。程序也可以只包含在被控制的状态下调用适当的模块以获得期望结果的命令部分。计算机系统300如何工作是公知的，因而省略详细说明。
此外，在上述程序中，在发送信息的步骤与接收信息的步骤等中，不包含通过硬件进行的处理，例如在发送步骤中通过调制解调器与接口卡等进行的处理(仅由硬件进行的处理)。
另外，执行上述程序的计算机既可以是一个，也可以是多个。即，既可以进行集中处理，也可以进行分散处理。
另外，在上述各实施方式中，存在于一个装置中的两个以上的通信单元当然也可以在物理上通过一个介质来实现。
另外，在上述各实施方式中，各处理(各功能)可以通过由单个装置(系统)进行集中处理来实现，或者也可以通过多个装置进行分散处理来实现。
本发明并不仅限于上述实施方式，能够进行各种变更，当然，这些变更也包含在本发明的保护范围内。
产业上的利用可能性
如上所述，本发明所涉及的信息系统具有如下效果，即，能够进行使用了拍摄的图像等的信息的推荐，作为信息系统等是有用的。
附图标记说明
1：终端装置
2：服务器装置
11：终端存储部
12：终端受理部
13：终端发送部
14：终端接收部
15：终端输出部
16：拍摄部
20：存储部
21：接收部
22：处理部
23：发送部
211：图像接收部
212：操作信息接收部
213：购入信息接收部
221：对象物信息取得部
222：提示信息取得部
223：结算处理部
231：对象物信息发送部
232：提示信息发送部

Claims (12)

1.一种服务器装置，构成具备服务器装置与终端装置的信息系统，其中，
所述终端装置具备：
终端存储部，存储包含两个以上的对象物的图像；
终端发送部，将所述图像发送至所述服务器装置；
终端接收部，从所述服务器装置接收两个以上的对象物信息；
终端输出部，输出所述图像、与所述两个以上的对象物信息所具有的两个以上的对象物识别符；以及
终端受理部，受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作，
所述终端发送部将操作信息发送至所述服务器装置，所述操作信息具有用户对所述终端输出部输出的两个以上的对象物识别符所选择的至少一个对象物识别符，
所述终端接收部与所述操作信息的发送相应地接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息，
所述终端输出部输出所述提示信息，
所述服务器装置具备：
图像接收部，从所述终端装置接收所述图像；
对象物信息取得部，通过对所述图像接收部接收到的图像进行的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息；
对象物信息发送部，发送所述对象物信息取得部取得的两个以上的对象物信息；
操作信息接收部，在所述两个以上的对象物信息发送之后，从所述终端装置接收所述操作信息；
提示信息取得部，使用所述操作信息接收部接收到的操作信息，取得提示给用户的提示信息；以及
提示信息发送部，将所述提示信息发送至所述终端装置。
2.根据权利要求1所述的服务器装置，其中，
所述对象物信息发送部发送的对象物信息所具有的对象物识别符能够受理选择操作，
所述终端输出部输出所述图像与两个以上的对象物识别符，
所述终端受理部受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的选择操作。
3.根据权利要求2所述的服务器装置，其中，
所述对象物信息取得部还取得表示所述图像中的两个以上的各对象物的相对位置的位置信息，并取得包含识别所述两个以上的各对象物的对象物识别符与位置信息的两个以上的对象物信息，
所述终端输出部使用与各对象物识别符相对应的位置信息，确定输出对象物识别符的位置，在该确定的位置输出两个以上的各对象物识别符。
4.根据权利要求1所述的服务器装置，其中，
所述图像接收部与所述图像一并接收作为图像以外的信息的附加信息，
所述提示信息取得部根据所述附加信息，取得与通过所述一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息，或者取得与通过所述一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。
5.根据权利要求1所述的服务器装置，其中，
所述图像接收部与所述图像一并接收作为图像以外的信息的附加信息，
所述提示信息取得部根据所述附加信息，通过不同的算法取得提示信息，
所述附加信息包含与拍摄所述图像的摄像机相关的摄像机信息。
6.根据权利要求5所述的服务器装置，其中，
所述提示信息取得部在所述摄像机信息为表示自拍模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物不同种类的对象物的对象物信息，以作为提示信息；在所述摄像机信息为表示非自拍模式的模式的信息的情况下，取得与通过所述一个对象物识别符识别出的对象物相同或相同种类的对象物的对象物信息，以作为提示信息。
7.根据权利要求1所述的服务器装置，其中，
所述对象物信息取得部相对于所述图像接收部接收到的图像，通过使用了深层学习的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息。
8.根据权利要求1所述的服务器装置，其中，
所述终端受理部受理用户对所述终端输出部输出的提示信息进行的选择，
所述终端发送部将与所述终端受理部受理的所述用户的选择相关的购入信息发送至所述服务器装置，
所述服务器装置进一步具备：
购入信息接收部，从所述终端装置接收所述购入信息；以及
结算处理部，进行使用所述购入信息的结算处理。
9.一种服务器装置，具备：
图像接收部，从终端装置接收包含两个以上的对象物的图像；
对象物信息取得部，通过对所述图像接收部接收到的图像进行的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息；
对象物信息发送部，发送所述对象物信息取得部取得的两个以上的对象物信息；
操作信息接收部，在所述两个以上的对象物信息发送之后，从所述终端装置接收操作信息，所述操作信息与用户对由所述终端装置输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作相关；
提示信息取得部，使用所述操作信息接收部接收到的操作信息，取得提示给用户的提示信息；以及
提示信息发送部，将所述提示信息发送至所述终端装置。
10.一种终端装置，具备：
终端存储部，存储包含两个以上的对象物的图像；
终端发送部，将所述图像发送至服务器装置；
终端接收部，从所述服务器装置接收两个以上的对象物信息；
终端输出部，输出所述图像、与所述两个以上的对象物信息所具有的两个以上的对象物识别符；以及
终端受理部，受理用户对所述终端输出部输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作，
所述终端发送部将操作信息发送至所述服务器装置，所述操作信息具有用户对所述终端输出部输出的两个以上的对象物识别符所选择的至少一个对象物识别符，
所述终端接收部与所述操作信息的发送相应地接收提示信息，所述提示信息为提示给用户的信息，且为与商品相关的信息，
所述终端输出部输出所述提示信息。
11.一种信息处理方法，通过图像接收部、对象物信息取得部、对象物信息发送部、操作信息接收部、提示信息取得部以及提示信息发送部来实现，具备：
图像接收步骤，所述图像接收部从终端装置接收包含两个以上的对象物的图像；
对象物信息取得步骤，所述对象物信息取得部通过对在所述图像接收步骤中接收到的图像进行的图像识别处理，识别所述两个以上的各对象物，取得识别所述两个以上的各对象物的对象物识别符，并取得包含该各对象物识别符的两个以上的对象物信息；
对象物信息发送步骤，所述对象物信息发送部发送在所述对象物信息取得步骤中取得的两个以上的对象物信息；
操作信息接收步骤，所述操作信息接收部在所述两个以上的对象物信息发送之后，从所述终端装置接收所述操作信息；
提示信息取得步骤，所述提示信息取得部使用在所述操作信息接收步骤中接收到的操作信息，取得提示给用户的提示信息；以及
推荐信息发送步骤，所述提示信息发送部将所述提示信息发送至所述终端装置。
12.一种信息处理方法，通过终端发送部、终端接收部、终端输出部以及终端受理部来实现，具备：
终端发送步骤，所述终端发送部将包含两个以上的对象物的图像发送至服务器装置；
终端接收步骤，所述终端接收部从所述服务器装置接收两个以上的对象物信息；
终端输出步骤，所述终端输出部输出所述图像、与所述两个以上的对象物信息所具有的两个以上的对象物识别符；
终端受理步骤，所述终端受理部受理用户对在所述终端输出步骤中输出的两个以上的对象物识别符中的一个以上的对象物识别符进行的操作；
所述终端发送部将操作信息发送至所述服务器装置的步骤，所述操作信息具有用户对在所述终端输出步骤中输出的两个以上的对象物识别符所选择的至少一个对象物识别符；
所述终端接收部与所述操作信息的发送相应地接收提示信息的步骤，所述提示信息为提示给用户的信息，且为与商品相关的信息；以及
所述终端输出部输出所述提示信息的步骤。
CN201780037226.0A 2016-06-24 2017-06-19 服务器装置、终端装置以及信息处理方法 Pending CN109416693A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-125099 2016-06-24
JP2016125099A JP6120467B1 (ja) 2016-06-24 2016-06-24 サーバ装置、端末装置、情報処理方法、およびプログラム
PCT/JP2017/022477 WO2017221868A1 (ja) 2016-06-24 2017-06-19 サーバ装置、端末装置、および情報処理方法

Publications (1)

Publication Number Publication Date
CN109416693A true CN109416693A (zh) 2019-03-01

Family

ID=58666502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037226.0A Pending CN109416693A (zh) 2016-06-24 2017-06-19 服务器装置、终端装置以及信息处理方法

Country Status (4)

Country Link
US (1) US20190325497A1 (zh)
JP (1) JP6120467B1 (zh)
CN (1) CN109416693A (zh)
WO (1) WO2017221868A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990607A (zh) * 2019-11-25 2020-04-10 成都市喜爱科技有限公司 游玩照片筛选方法、装置、服务器和计算机可读存储介质
CN113065922A (zh) * 2021-04-13 2021-07-02 武汉市章瀚电子商务有限公司 基于移动互联网和大数据分析的电子商务购物平台商品智能匹配推荐方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353118B1 (ja) * 2017-05-10 2018-07-04 ヤフー株式会社 表示プログラム、情報提供装置、表示装置、表示方法、情報提供方法および情報提供プログラム
KR101895479B1 (ko) * 2018-01-19 2018-09-05 주식회사 리싸이클파크 오브젝트 인식 서버, 오브젝트 인식 시스템 및 오브젝트 인식 방법
CN111400532A (zh) * 2019-01-03 2020-07-10 福建天泉教育科技有限公司 一种照片推荐方法及终端
JP7021161B2 (ja) * 2019-09-19 2022-02-16 ヤフー株式会社 学習装置、学習方法および学習プログラム
US20230044463A1 (en) * 2019-12-20 2023-02-09 Referboard Marketing Pty Ltd System and method for locating products

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101510202A (zh) * 2008-02-12 2009-08-19 塞吉尼亚株式会社 信息处理装置、信息处理方法及程序
CN101542531A (zh) * 2007-06-14 2009-09-23 松下电器产业株式会社 图像识别装置及图像识别方法
CN102119387A (zh) * 2008-08-08 2011-07-06 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
CN104991906A (zh) * 2015-06-17 2015-10-21 百度在线网络技术（北京）有限公司 信息获取方法、服务器、终端及数据库构建方法、装置
CN105447708A (zh) * 2014-08-28 2016-03-30 阿里巴巴集团控股有限公司 一种信息提供方法及装置
CN105493124A (zh) * 2014-01-28 2016-04-13 塞吉尼亚株式会社 推荐装置、推荐方法及推荐媒介的制作方法
CN105608230A (zh) * 2016-02-03 2016-05-25 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐系统及方法
CN105678608A (zh) * 2016-02-25 2016-06-15 曹溯 图片匹配方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050157175A1 (en) * 2003-09-22 2005-07-21 Fuji Xerox Co., Ltd. Image information processing system, image information processing apparatus, image information outputting method, code information processing apparatus and program thereof
JP4531556B2 (ja) * 2004-12-27 2010-08-25 株式会社デンソーアイティーラボラトリ ユーザ支援装置及びユーザ支援方法
US8572116B2 (en) * 2009-09-30 2013-10-29 Rakuten, Inc. System for recommending an article not present in an image
JPWO2012026410A1 (ja) * 2010-08-23 2013-10-28 日本電気株式会社 推薦支援装置、推薦支援システム、ユーザ装置、推薦支援方法およびプログラム記憶媒体
JP2013085200A (ja) * 2011-10-12 2013-05-09 Canon Inc 画像処理装置、画像処理方法、及びプログラム
JP2015106862A (ja) * 2013-12-02 2015-06-08 日本放送協会 コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置
JP6476678B2 (ja) * 2014-09-19 2019-03-06 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542531A (zh) * 2007-06-14 2009-09-23 松下电器产业株式会社 图像识别装置及图像识别方法
CN101510202A (zh) * 2008-02-12 2009-08-19 塞吉尼亚株式会社 信息处理装置、信息处理方法及程序
CN102119387A (zh) * 2008-08-08 2011-07-06 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
CN105493124A (zh) * 2014-01-28 2016-04-13 塞吉尼亚株式会社 推荐装置、推荐方法及推荐媒介的制作方法
CN105447708A (zh) * 2014-08-28 2016-03-30 阿里巴巴集团控股有限公司 一种信息提供方法及装置
CN104991906A (zh) * 2015-06-17 2015-10-21 百度在线网络技术（北京）有限公司 信息获取方法、服务器、终端及数据库构建方法、装置
CN105608230A (zh) * 2016-02-03 2016-05-25 南京云创大数据科技股份有限公司 一种基于图像检索的商家信息推荐系统及方法
CN105678608A (zh) * 2016-02-25 2016-06-15 曹溯 图片匹配方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990607A (zh) * 2019-11-25 2020-04-10 成都市喜爱科技有限公司 游玩照片筛选方法、装置、服务器和计算机可读存储介质
CN110990607B (zh) * 2019-11-25 2023-07-18 成都市喜爱科技有限公司 游玩照片筛选方法、装置、服务器和计算机可读存储介质
CN113065922A (zh) * 2021-04-13 2021-07-02 武汉市章瀚电子商务有限公司 基于移动互联网和大数据分析的电子商务购物平台商品智能匹配推荐方法
CN113065922B (zh) * 2021-04-13 2021-12-07 南京莫愁智慧信息科技有限公司 基于移动互联网和大数据分析的电子商务购物平台商品智能匹配推荐方法

Also Published As

Publication number Publication date
US20190325497A1 (en) 2019-10-24
JP6120467B1 (ja) 2017-04-26
WO2017221868A1 (ja) 2017-12-28
JP2017228177A (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
CN109416693A (zh) 服务器装置、终端装置以及信息处理方法
US20190073710A1 (en) Color based social networking recommendations
US20140316894A1 (en) System and method for interfacing interactive systems with social networks and media playback devices
CN110035314A (zh) 信息的展示方法和装置、存储介质、电子装置
US20110184780A1 (en) INTEGRATION OF eCOMMERCE FEATURES INTO SOCIAL NETWORKING PLATFORM
KR102102571B1 (ko) 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법
KR102320749B1 (ko) 인플루언서를 매개로 하는 쇼핑 정보 제공 시스템 및 방법
US10853869B2 (en) Electronic wish list system
US11392996B2 (en) Systems and methods for creating a navigable path between pages of a network platform based on linking database entries of the network platform
CN110619553B (zh) 一种商品信息展示方法、装置、电子设备及存储介质
JP6085017B1 (ja) スタイリング提供システム
US20140253553A1 (en) Visualization of three-dimensional models of objects in two-dimensional environment
JP2007200099A (ja) アイテム選択支援装置、方法およびプログラム
JP2019204431A (ja) コンピュータプログラムおよび方法
JP2007249319A (ja) 画面の表示方法
US20210329310A1 (en) System and method for the efficient generation and exchange of descriptive information with media data
KR20170125619A (ko) 소셜 네트워킹 서비스 연동 쇼핑몰 서비스 제공 장치 및 방법
KR102102572B1 (ko) 온라인 쇼핑몰을 제공하는 시스템 및 방법
CN107111476A (zh) 无限搜索结果页面
JP2017228278A (ja) サーバ装置、端末装置、情報処理方法、およびプログラム
WO2019134501A1 (zh) 模拟用户试装的方法、装置、存储介质及移动终端
JP6905615B1 (ja) 拡張現実システム
US10586264B2 (en) Systems for electronic exchange of information about available items
KR20160107634A (ko) 추천 검색어의 조합을 이용한 검색 방법
KR20210025399A (ko) 전자 장치 및 이의 의류 추천 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301