CN112819025A - 识别图像中与用户向在线系统标识的产品匹配的对象 - Google Patents

识别图像中与用户向在线系统标识的产品匹配的对象 Download PDF

Info

Publication number
CN112819025A
CN112819025A CN202011296179.1A CN202011296179A CN112819025A CN 112819025 A CN112819025 A CN 112819025A CN 202011296179 A CN202011296179 A CN 202011296179A CN 112819025 A CN112819025 A CN 112819025A
Authority
CN
China
Prior art keywords
user
product
products
content item
online system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011296179.1A
Other languages
English (en)
Inventor
史蒂夫·莫林
欧阳雪薇
马丁·姆罗兹
阿努杰·马登
亚拉蒂·维贾伊·索曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN112819025A publication Critical patent/CN112819025A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0253—During e-commerce, i.e. online transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及识别图像中与用户向在线系统标识的产品匹配的对象。用户标识由用户向在线系统提供的产品。在线系统通过将识别模型应用于图像来在图像中识别用户提供的产品。如果在线系统在图像中识别出至少具有最大置信度值的产品，则在线系统自动用关于该产品的元数据来给帖子加标签，或者向用户建议标签。如果图像中的对象可以是多个产品中的一个，则在线系统为用户识别多个产品，可以基于与对象相匹配的置信度来对该多个产品进行排序，允许用户选择图像中的哪个产品。如果未列出者在图像中识别出小于最小置信度值的产品，则在线系统识别出用户提供的产品，并建议用户选择产品。

Description

识别图像中与用户向在线系统标识的产品匹配的对象
相关申请的交叉引用
本申请要求于2019年11月18日提交的第62/937,067号美国临时申请的权益，该美国临时申请通过引用以其整体并入。
背景
本公开总体上涉及在线系统对内容的显示，并且具体地涉及在线系统在图像内检测和识别向在线系统标识(identify)的产品，该图像由在线系统从用户获得。
诸如社交网络系统的在线系统允许用户关连(connect)到在线系统的其他用户并与之通信。用户可以在在线系统上创建简档，该简档与其身份相关联并包括关于用户的信息，例如兴趣和人口统计信息。用户可以是个人或实体(例如公司或慈善机构)。在线系统允许用户通过向在线系统提供内容以呈现给其他用户来容易地与其他在线系统用户交流和分享内容。
此外，在线系统的许多发布用户(publishing user)提供产品供其他用户购买，并通过在线系统向其他用户分发包括所提供产品的内容项(content item)。例如，发布用户提供家庭商品供其他用户购买，并向其他用户分发包括家庭商品图像的内容项，以提高家庭商品的知名度。为了向用户提供关于由发布用户提供的产品的更多信息，发布用户可以在包括产品的内容项中包括具有关于产品的信息的标签(tag)。标签可以包括产品的名称和价格，以及购买产品的链接。当查看内容项的用户执行与内容项的特定交互时，标签中的信息被显示给该用户，允许用户容易地从内容项获得关于产品的信息。
然而，当内容项被提供给在线系统时，传统的在线系统要求发布用户手动地给内容项中的不同产品加标签。为了手动地给内容项中的不同产品加标签，发布用户查看相应的产品目录，并将不同产品的图片与内容项中包括的产品进行比较。然后，发布用户将标识产品目录中与内容项中的产品相匹配的不同产品的标签手动地添加到内容项中。内容项中产品的这种手动标识是资源密集型的，需要花费大量的时间和计算资源来浏览发布用户的产品目录，并将不同的产品与内容项进行比较。因为用于将标识内容项中的产品的标签添加到内容项的传统技术是资源密集型的，所以许多发布用户将放弃标识提供给在线系统的内容项中的产品，从而限制了关于来自发布用户的可用产品的信息的传播。
概述
在线系统从用户获得标识在线系统的用户提供给其他用户供购买的产品的信息。所获得的信息包括与产品标识符(identifier)相关联的每个产品的一个或更多个图片，并且还可以包括关于每个产品的附加信息。例如，在线系统从用户获得产品目录，该产品目录包括用户提供的每个产品的条目(entry)。在一些实施例中，产品目录中的产品条目包括产品的产品标识符、产品的一个或更多个图片、产品的名称以及用户提供的供购买产品的价格。在一些实施例中，产品目录中的产品条目还可以包括产品的描述。在一些实施例中，从用户获得的标识产品的信息包括产品的多个图片，其中不同的图片对应于产品相对于捕获产品图片的图像捕获设备(例如，照相机)的不同位置。在线系统存储标识由用户提供的产品的信息，该信息包括与用户相关联的每个产品的一个或更多个图片。例如，在线系统将标识由用户提供的产品的信息存储在由在线系统为用户维护的用户简档中，或者将获得的标识由用户提供的产品的信息与标识用户的用户简档相关联地存储。
此外，在线系统从用户获得内容项以呈现给其他用户。从用户获得的内容项包括图像或视频，并且还可以包括文本数据或音频数据。在各种实施例中，内容项包括文本数据、音频数据、图像数据、视频数据的任意组合，用于通过在线系统呈现给其他用户。在线系统可以通过经由与用户相关联的客户端设备向用户显示的编写器界面(composerinterface)来从用户获得内容项。通过编写器界面，用户向在线系统标识图像以包含在内容项中，并输入文本数据以包含在内容项中以便与图像一起呈现。在其他实施例中，用户向在线系统标识视频以包含在内容项中，并输入文本数据以包含在内容项中以便与视频一起呈现。
当在线系统获得的内容项中包括的图像(或视频)包括用户提供的一个或更多个产品时，内容项可以包括标识图像中包括的产品的元数据。在各种实施例中，当查看内容项的用户执行特定动作时，元数据将描述产品的信息叠加在包括产品的图像的一部分上。例如，如果查看内容项的用户访问或选择包括产品的图像的部分，则描述产品的信息(例如产品的名称和产品的价格)被叠加在包括产品的图像的该部分上。在一些实施例中，描述产品的信息包括检索页面或网站的链接，所述页面或网站包括关于产品的信息，或者当由查看包括产品的图像的用户选择时用于购买产品。虽然这允许其他用户更容易地从内容项中识别用户提供的产品，但是用于在图像中识别用户产品的传统方法涉及用户向在线系统手动地标识图像中的产品。对于提供供购买的产品的用户来说，这种手动标识可能是时间和资源密集型的。
为了简化对包含在内容项的图像(或包含在视频)中的用户产品的识别，在线系统从包含在内容项中的图像(或视频)中识别对象。在各种实施例中，在线系统将从图像中识别的对象(或每个对象)与标识由用户提供的产品的信息中包含的产品图像进行比较，该信息是在线系统从用户获得的。当将从图像中识别的对象与先前获得的用户提供的产品的图像进行比较时，在线系统确定所识别的对象与用户提供的不同产品相匹配的置信度(confidence)。为了将从图像中识别的对象与用户提供的产品进行比较，在线系统将识别模型应用于所识别的对象和从用户获得的用户提供的产品的图像。在线系统根据从图像识别的对象与各种用户向在线系统标识的产品的比较来训练机器学习识别模型，并且在训练识别模型时，还可以考虑对象与标识不同产品的公开可用信息的比较。在线系统训练识别模型以基于图像中的对象与不同产品的先前匹配来确定从图像中识别的对象与产品相匹配的可能性。例如，在线系统将指示与从图像中识别的对象相匹配的产品的标记(label)应用于从图像中识别的对象的特征。根据从图像中提取的对象的标记特征，在线系统使用任何合适的训练方法或训练方法的组合来训练识别模型(例如，如果识别模型是神经网络，则使用反向传播来训练识别模型，如果识别模型是线性回归，则使用曲线拟合技术)。在训练之后，在线系统将经训练的识别模型应用于图像内识别的对象的特征，并且识别模型输出对象与不同产品相匹配的置信度。
在各种实施例中，在线系统确定所识别的对象与由用户提供并向在线系统标识的每个产品相匹配的置信度。可选地，在线系统确定所识别的对象与由用户提供并向在线系统标识的产品集合中的每一个产品相匹配的置信度。在各种实施例中，在线系统含有(maintain)阈值置信度值，并将所识别的对象与用户提供的不同产品相匹配的置信度与阈值置信度进行比较。响应于在线系统确定所识别的对象与用户提供的产品相匹配的置信度等于或超过最大置信度值，在线系统自动地在内容项中包括标签，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度。可选地，响应于在线系统确定所识别的对象与用户提供的产品相匹配的置信度等于或超过阈值置信度值，在线系统向用户提供界面，使得标签能够被包括在内容项中。例如，在显示由用户提供的产品和图像的界面中，界面显示在内容项中包括标签的建议，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度。该建议可以包括先前从用户获得的产品图像，以及描述产品的其他信息(例如，产品名称、产品描述、产品价格等)。对应于包括在图像中的产品的标签包括描述由用户提供的产品的元数据，所识别的对象对于由用户提供的该产品具有等于或超过最大置信度值的匹配置信度。在各种实施例中，产品的标签与所识别的对象在图像中的位置相关联，并且当查看图像的用户选择或执行与图像的特定交互时，包括标签的元数据被显示在所识别的对象在图像中的位置处(或附近)。
如果用户提供的多个产品与所识别的对象相匹配的置信度等于或超过阈值置信度值，则在线系统向用户显示包括标识每个产品的信息的界面，该产品与所识别对象相匹配的置信度等于或超过阈值置信度值。在各种实施例中，在线系统对与所识别的对象相匹配的置信度等于或超过阈值置信度值的产品进行排名，使得与所识别的对象相匹配的置信度较高的子集的产品在排名中具有较高的位置，并且标识与所识别的对象相匹配的置信度等于或超过最大置信度值的产品的信息以对应于排名的顺序被显示。如上进一步所述，当用户选择标识特定产品的显示信息时，在线系统在内容项中包括标识用户选择的特定产品的标签。
响应于确定所识别的对象的置信度既没有等于也没有超过与由用户提供的至少一个产品相匹配的阈值置信度值，在线系统经由界面向用户显示标识由用户提供的产品的信息，以及显示用标识由用户提供的产品的信息来给所识别的对象加标签的建议。在各种实施例中，在线系统基于用户提供的产品与所识别的对象相匹配的相应置信度来对这些产品进行排名，因此用户提供的、与所识别的对象相匹配的置信度较高的产品在排名中具有较高的位置。在线系统可以基于排名来显示标识由用户提供的产品的信息。可选地，在线系统识别由用户提供的、在排名中至少具有阈值位置的产品集合，并基于排名显示标识该产品集合的信息，同时还以基于从用户获得的标识供销售产品的信息的顺序，来显示标识在排名中具有低于阈值位置的其他产品(即，不在所识别的集合中的产品)的信息。例如，在线系统显示标识排名前五位(having the five highest positions in the ranking)的产品的信息，其中相对位置基于排名，同时以在线系统从用户获得的产品目录指定的顺序来显示标识由用户提供的剩余产品的信息。这允许用户更有效地识别图像中包括的、由用户提供的产品。
在将标签包括在内容项中之后，当在线系统向在线系统的其他用户显示内容项时，查看内容项的用户可以从包括在内容项中的标签中检索描述产品的信息。例如，当用户执行与内容项的特定交互时，从标签中检索标识产品的信息，并将该信息与内容项一起显示。在一些实施例中，标识产品的信息从标签中被检索出来，并且该信息在图像内包括与产品相匹配的对象的位置处显示为内容项中的图像上的叠加。例如，当用户选择内容项时，产品的名称和产品的价格被显示在图像内包括与产品相匹配的对象的位置处。在一些实施例中，标签包括到页面或网站的链接，当被向其显示图像的用户选择时，检索页面或网站，使得显示内容项的客户端设备显示页面或网站。这通过简化在用户通过在线系统分发给其他用户的图像中标识供购买的产品，来使得提供供购买的产品的用户更容易地将标识供购买产品的信息分发给其他用户。将经机器学习的识别模型应用于从图像中识别的对象和由用户提供来销售的产品，允许在线系统通过识别具有大于与所识别的对象相匹配的阈值置信度值的产品，或者通过以基于不同产品与从图像中识别的对象相匹配的置信度的顺序来向用户显示由用户提供的产品，从而减少用户检查以识别图像中的产品的数据量。这重新组织了向用户显示标识产品的信息，以允许用户更有效地选择对应于图像中识别的对象的产品。
附图简述
图1是根据实施例的在线系统在其中进行操作的系统环境的框图。
图2是根据实施例的在线系统的框图。
图3是根据实施例的、在线系统在图像内识别用户提供的产品的方法的流程图，该图像是在线系统从用户获得的。
图4A和图4B是根据实施例的、在线系统在图像内识别用户提供的产品的示例界面，该图像是在线系统从用户获得的。
附图仅为了说明的目的而描绘各种实施例。本领域中的技术人员从下面的讨论中将容易认识到本文示出的结构和方法的可选的实施例可以被采用而不偏离本文所述的原理。
详细描述
系统架构
图1是用于在线系统140的系统环境100的框图。图1所示的系统环境100包括一个或更多个客户端设备110、网络120、一个或更多个第三方系统130和在线系统140。在替代配置中，系统环境100中可以包括不同和/或附加的部件。例如，在线系统140是社交网络系统、内容共享网络或向用户提供内容的另一种系统。
客户端设备110是能够接收用户输入以及经由网络120发送和/或接收数据的一个或更多个计算设备。在一个实施例中，客户端设备110是传统的计算机系统，例如台式计算机或膝上型计算机。替代地，客户端设备110可以是具有计算机功能的设备，例如个人数字助理(PDA)、移动电话、智能手机或其他合适的设备。客户端设备110被配置成经由网络120进行通信。在一个实施例中，客户端设备110执行允许客户端设备110的用户与在线系统140交互的应用。例如，客户端设备110执行浏览器应用，以使得客户端设备110和在线系统140之间能够经由网络120进行交互。在另一实施例中，客户端设备110通过运行在客户端设备110的本机(native)操作系统(例如
Figure BDA0002785484120000071
或ANDROIDTM)上的应用编程接口(API)来与在线系统140交互。
客户端设备110被配置成使用有线和/或无线通信系统经由网络120进行通信，网络120可以包括局域网和/或广域网的任何组合。在一个实施例中，网络120使用标准通信技术和/或协议。例如，网络120包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、3G、4G、码分多址(CDMA)、数字用户线路(DSL)等技术的通信链路。用于经由网络120进行通信的网络协议的示例包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)和文件传输协议(FTP)。通过网络120交换的数据可以使用任何合适的格式(例如超文本标记语言(HTML)或可扩展标记语言(XML))来表示。在一些实施例中，网络120的所有或一些通信链路可以使用任何合适的一种或多种技术来加密。
一个或更多个第三方系统130可以耦合到网络120，用于与在线系统140通信，这将在下面结合图2进一步描述。在一个实施例中，第三方系统130是应用提供商，其传送描述用于由客户端设备110执行的应用的信息，或者向客户端设备110传送数据以供在客户端设备上执行的应用使用。在其他实施例中，第三方系统130经由客户端设备110提供用于呈现的内容或其他信息。第三方系统130还可以向在线系统140传送信息，例如广告、内容或关于第三方系统130提供的应用的信息。
图2是在线系统140的架构的框图。图2所示的在线系统140包括用户简档储存器205、内容储存器210、动作记录器215、动作日志220、边储存器(edge store)225、内容选择模块230和web服务器235。在其他实施例中，在线系统140可以包括用于各种应用的附加的、更少的或不同的部件。没有示出常规部件(例如网络接口、安全功能、负载平衡器、故障转移服务器、管理和网络操作控制台等)，以便不使系统架构的细节模糊。
在线系统140的每个用户与被存储在用户简档储存器205中的用户简档相关联。用户简档包括由用户明确共享的关于用户的声明性信息，并且还可以包括由在线系统140推断的简档信息。在一个实施例中，用户简档包括多个数据字段(data field)，每个数据字段描述相应在线系统用户的一个或更多个属性。存储在用户简档中的信息的示例包括传记信息、人口统计信息和其他类型的描述性信息(例如工作经历、教育历史、性别、爱好或偏好、位置等)。用户简档还可以存储用户提供的其他信息，例如图像或视频。在某些实施例中，可以用标识图像中显示的在线系统用户的信息来给用户的图像加标签，其中标识图像(图像中的用户被加标签)的信息存储在用户的用户简档中。用户简档储存器205中的用户简档还可以维护对相应用户在内容储存器210中的内容项上执行的并存储在动作日志220中的动作的引用。
在各种实施例中，在线系统140从用户接收标识用户提供供购买的各种产品的信息。所获得的信息包括与产品标识符相关联的每个产品的一个或更多个图片，并且还可以包括关于每个产品的附加信息。例如，在线系统140从用户获得产品目录，该产品目录包括用户提供的每个产品的条目。在一些实施例中，产品目录中的产品条目包括产品的产品标识符、产品的一个或更多个图片、产品的名称以及用户提供的供购买产品的价格。在一些实施例中，产品目录中的产品条目还可以包括产品的描述。在一些实施例中，从用户获得的标识产品的信息包括产品的多个图片，不同的图片对应于产品相对于捕获产品图片的图像捕获设备(例如，照相机)的不同位置。在各种实施例中，在线系统140存储标识由用户提供的产品的信息，该信息包括在用户简档储存器205中的用户的用户简档中与用户相关联的每个产品的一个或更多个图片。可选地，在线系统140将所获得的描述由用户提供的产品的信息以及用户的用户简档和所获得的信息之间的关联存储在内容储存器210中。
虽然用户简档储存器205中的用户简档通常与个人相关联，允许个人经由在线系统140彼此互动，但是也可以为诸如企业或组织的实体而存储用户简档。这允许实体在在线系统140上建立存在，用于与其他在线系统用户联系并交换内容。实体可以使用与该实体的用户简档相关联的品牌页面来发布关于其自身、关于其产品的信息或者向在线系统140的用户提供其他信息。在线系统140的其他用户可以连接到品牌页面以接收被发布到品牌页面的信息或者从品牌页面接收信息。与品牌页面相关联的用户简档可以包括关于实体自身的信息，以向用户提供关于实体的背景或信息数据。
内容储存器210存储对象，这些对象各自表示各种类型的内容。对象表示的内容的示例包括页面帖子、状态更新、照片、视频、链接、分享的内容项、游戏应用成就、在本地企业处的签到(check-in)事件、品牌页面或任何其他类型的内容。在线系统用户可以创建由内容储存器210存储的对象，例如状态更新、被用户标记为与在线系统140中的其他对象相关联的照片、事件、群组或应用。在一些实施例中，从第三方应用或独立于在线系统140的第三方应用接收对象。在一个实施例中，内容储存器210中的对象表示单条内容(single pieceof content)或内容“项(item)”。因此，通过经由各种通信渠道将各种类型的媒体的文本和内容项发布到在线系统140来鼓励在线系统用户彼此进行通信。这增加了用户彼此之间的交互的量，并增加了用户在在线系统140内交互的频率。
内容储存器210中包括的一个或更多个内容项是“赞助内容项(sponsoredcontent item)”，其包括用于呈现给用户的内容，并且在线系统140从在线系统140从其处获得赞助内容项的用户接收报酬(compensation)，作为交换将内容项呈现给另一用户，这可能取决于在来自赞助内容项的内容被显示给另一用户之后另一用户是否执行特定动作。在各种实施例中，内容还指定内容页面。例如，赞助内容项包括登陆页面，该登陆页面指定当内容项被访问时用户被引导到的内容页面的网络地址。在各种实施例中，赞助内容项的出价金额(bid amount)指定在线系统140作为向用户显示赞助内容项的交换而接收到的报酬量。出价金额可以用于确定以下情况时由用户向在线系统140提供的期望值(例如货币报酬)：赞助内容项中的内容被呈现给查看用户的情况、赞助内容项中的内容在被呈现时从查看用户接收到交互的情况、或者赞助内容项中的内容被呈现给用户时满足任何合适的条件的情况。例如，赞助内容项的出价金额指定赞助内容项中的内容被显示的情况下，在线系统140从向在线系统140提供赞助内容项的用户接收到的货币金额。在一些实施例中，给在线系统140的呈现来自赞助内容项的内容的期望值可以通过将出价金额乘以内容项的内容被用户访问的概率来被确定。
在各种实施例中，内容项包括能够被在线系统140识别和检索的各种组件。内容项的示例组件包括：标题、文本数据、图像数据、音频数据、视频数据、登陆页面、与内容项相关联的用户或任何其他合适的信息。在一些实施例中，在线系统140可以检索用于呈现的内容项的一个或更多个特定组件。例如，在线系统140可以从内容项中识别标题和图像，并提供标题和图像用于呈现，而不是提供内容项的整体。
各种内容项(例如赞助内容项)可以包括标识交互的意图(objective)，该交互是与内容项相关联的用户希望其他用户在被呈现包括在内容项中的内容时执行的。示例意图包括：安装与内容项相关联的应用、指示对内容项的偏好、与其他用户分享内容项、与和内容项相关联的对象进行交互、或者执行任何其他合适的交互。当来自内容项的内容被呈现给在线系统用户时，在线系统140记录在被呈现内容项的用户之间的交互或者与和内容项相关联的对象的交互。一个或更多个意图可以标识与登陆页面的特定交互，诸如赞助内容项的内容项包括到该登陆页面的链接。与登陆页面的示例性特定交互包括：经由在线系统140建立到登陆页面的连接(connection)、经由登陆页面上包括的链接通过在线系统向发布用户发送消息、指示对登陆页面上包括的一个或更多个内容项的偏好、选择与登陆页面上包括的在线系统140不同的域中的网站的链接、选择登陆页面上的链接以建立到发布用户的电话呼叫、通过登陆页面购买一个或更多个产品、选择登陆页面上的链接以获得到与发布用户相关联的物理位置的方向、选择登陆页面上的链接以向发布用户发送电子邮件消息、以及它们的任意组合。此外，当在线系统用户执行与内容项的交互，其满足内容项中包括的意图时，在线系统140从与该内容项相关联的用户接收报酬。
另外，诸如赞助内容项的内容项可以包括由向在线系统140提供内容项的用户指定的一个或更多个定位标准(targeting criteria)。被包括在内容项请求中的定位标准指定有资格被呈现内容项的用户的一个或更多个特征。例如，定位标准用于识别具有满足定位标准中的至少一项的用户简档信息、边或动作的用户。因此，定位标准允许用户识别具有特定特征的用户，这简化了随后向不同用户分发内容。
在各种实施例中，内容储存器210包括多个活动(campaign)，每个活动包括一个或更多个内容项。在各种实施例中，活动与归因于活动的每个内容项的一个或更多个特征相关联。例如，与活动相关联的出价金额与活动的每个内容项相关联。类似地，与活动相关联的意图与活动的每个内容项相关联。在各种实施例中，向在线系统140提供内容项的用户向在线系统140提供各种活动，每个活动包括具有不同特征(例如，与不同内容相关联，包括用于呈现的内容的不同类型)的内容项，并且活动存储在内容储存器中。
在一个实施例中，定位标准可以指定用户与在线系统140的另一用户或对象之间的动作或关连的类型。定位标准还可以指定用户与在在线系统140外部(例如在第三方系统130上)执行的对象之间的交互。例如，定位标准识别已经采取特定动作(例如向另一用户发送消息、使用应用、加入群组、离开群组、加入事件、生成事件描述、使用在线市场购买或查看产品或服务、从第三方系统130请求信息、安装应用或执行任何其他合适的动作)的用户。在定位标准中包括动作允许用户进一步细分(refine)有资格被呈现内容项的用户。作为另一示例，定位标准识别与另一用户或对象有关连或者与另一用户或对象有特定类型的关连的用户。
另外，在各种实施例中，内容储存器210包括一个或更多个内容卷轴(contentreel)，每个内容卷轴包括一个或更多个内容项。内容卷轴包括一个或更多个内容项以及当显示内容卷轴时内容项的显示顺序。用户选择内容项以包含在内容卷轴中，并且内容储存器210存储与用户的标识符和内容卷轴中包含的内容项的标识符相关联的内容卷轴的标识符，以及内容项将被显示的顺序。在各种实施例中，内容项被包括在内容卷轴中一段特定的时间量，并且在内容项被包括在内容卷轴中的特定时间量之后，内容项被从内容卷轴中移除。例如，在线系统140在内容项被与内容卷轴相关联的用户包括在内容卷轴中24小时之后，移除内容项的标识符和内容卷轴的标识符之间的关联。
动作记录器215接收关于在线系统140内部和/或外部的用户动作(或“交互”)的通信，用关于用户动作的信息填充动作日志220。动作的示例包括添加与另一用户的关连、向另一用户发送消息、上传图像、从另一用户读取消息、查看与另一用户相关联的内容以及参加由另一用户发布的事件。此外，许多动作可能涉及一个对象和一个或更多个特定用户，因此这些动作也与特定用户相关联并存储在动作日志220中。
在线系统140可以使用动作日志220来跟踪在线系统140上的用户动作，以及向在线系统140传递信息的第三方系统130上的动作。用户可以与在线系统140上的各种对象交互，并且描述这些交互的信息存储在动作日志220中。与对象的交互的示例包括：评论帖子、分享链接、经由客户端设备110向物理位置的签到、访问内容项以及任何其他合适的交互。包括在动作日志220中的与在线系统140上的对象的交互的附加示例包括：评论相册、与用户通信、与对象建立关连、加入事件、加入群组、创建事件、授权应用、使用应用、表达对对象的反应(“赞(like)”对象)、以及参与交易。此外，动作日志220可以记录用户与在线系统140上的广告的交互以及与在线系统140上运行的其他应用的交互。在一些实施例中，来自动作日志220的数据用于推断用户的兴趣或偏好，增强用户的用户简档中包括的兴趣，并允许对用户偏好的更完整的理解。
动作日志220还可以存储在诸如外部网站的第三方系统130上采取并传送给在线系统140的用户动作。例如，电子商务网站可以通过使电子商务网站能够识别在线系统140的用户的社交插件来辨识在线系统140的用户。因为在线系统140的用户是唯一可识别的，所以(例如在前面的示例中)电子商务网站可以将关于用户在在线系统140外部的动作的信息传送给在线系统140，用于与用户进行关联。因此，动作日志220可以记录关于用户在第三方系统130上执行的动作的信息，包括网页浏览历史、参与的广告、完成的购买以及来自购物和购买的其他模式。此外，用户经由与第三方系统130相关联的应用来执行的且在客户端设备110上执行的动作可以由该应用传送给动作记录器215，用于在动作日志220中进行记录和与用户进行关联。
在一个实施例中，边储存器225将描述用户与在线系统140上的其他对象之间的关连的信息存储为边。某些边可以由用户定义，允许用户指定他们与其他用户的关系。例如，用户可以生成与其他用户的边，这些边并行于用户的现实生活关系(例如朋友、同事、伙伴等)。当用户与在线系统140中的对象交互(例如表达对在线系统140上的页面的兴趣、与在线系统140的其他用户分享链接、以及对由在线系统140的其他用户制作的帖子进行评论)时，生成其他边。
边可以包括各种特征，每个特征表示用户之间的交互、用户和对象之间的交互、或者对象之间的交互的特性。例如，边中包括的特征描述了两个用户之间的交互的速率、两个用户最近如何彼此进行交互、一个用户检索关于对象的信息的速率或量、或者用户发布的关于对象的评论的数量和类型。这些特征还可以表示描述特定对象或用户的信息。例如，特征可以表示用户对特定主题的兴趣程度、用户登录在线系统140的速率、或者描述关于用户的人口统计信息的信息。每个特征可以与源对象或用户、目标对象或用户以及特征值相关联。特征可以被指定为基于描述源对象或用户、目标对象或用户、或者源对象或用户与目标对象或用户之间的交互的值的表达式；因此，边可以被表示为一个或更多个特征表达式。
边储存器225还存储关于边的信息，例如对象、兴趣和其他用户的亲和力分数(affinity score)。在线系统140可以随时间计算亲和力分数或“亲和力”，以基于用户执行的动作来近似用户对在线系统140中的另一用户或对象的兴趣。在线系统140可以随时间计算用户的亲和力，以基于用户执行的动作来近似用户对在线系统140中的另一用户、对象或主题的兴趣。在于2010年12月23日提交的第12/978,265号美国专利申请、于2012年11月30日提交的第13/690,254号美国专利申请、于2012年11月30日提交的第13/689,969号美国专利申请和于2012年11月30日提交的第13/690,088号美国专利申请中进一步描述了亲和力的计算，这些专利申请中的每一个专利申请都在此通过引用以其整体并入。在一个实施例中，用户和特定对象之间的多个交互可以作为单条边存储在边储存器225中。替代地，用户和特定对象之间的每次交互都被存储为单独的边。在一些实施例中，用户之间的关连可以存储在用户简档储存器205中，或者用户简档储存器205可以访问边储存器225以确定用户之间的关连。
内容选择模块230选择用于传送给客户端设备110的一个或更多个内容项，以呈现给用户。内容选择模块230从内容储存器210或从另一个源检索有资格呈现给用户的内容项，内容选择模块230选择这些内容项中的一个或更多个内容项用于呈现给查看用户。有资格呈现给用户的内容项是与用户的特性所满足的至少阈值数量的定位标准相关联的内容项，或者是与定位标准不相关联的内容项。在各种实施例中，内容选择模块230包括在一个或更多个选择过程中的有资格呈现给用户的内容项，这些选择过程识别一组要呈现给用户的内容项。例如，内容选择模块230通过在线系统140基于与用户相关联的特征并基于用户对不同内容项的亲和力来确定各种内容项与用户的相关性的度量。在一些实施例中，当确定内容项与用户的相关性的度量时，内容选择模块230确定在内容项被呈现之后(例如，在内容项被呈现给用户的阈值时间量内)用户执行与内容项包括至其的链接的内容页面的特定交互的可能性；在各种实施例中，发布用户将特定交互与内容项相关联，在线系统140从该发布用户处获得内容项。基于相关性度量，内容选择模块230选择内容项用于呈现给用户。作为附加示例，内容选择模块230选择具有最高相关性度量或具有至少阈值相关性度量的内容项用于呈现给用户。替代地，内容选择模块230基于其相关联的相关性度量来对内容项进行排名，并选择在排名中具有最高位置或者在排名中至少具有阈值位置的内容项用于呈现给用户。
有资格呈现给用户的内容项可以包括与出价金额相关联的内容项。当选择呈现给用户的内容时，内容选择模块230使用与内容项相关联的出价金额。在各种实施例中，内容选择模块230基于各种内容项的出价金额来确定与各种内容项相关联的预期值，并选择与最大预期值相关联或至少与阈值预期值相关联的内容项来呈现。与内容项相关联的预期值表示对用于呈现内容项给在线系统140的预期报酬量。例如，与内容项相关联的预期值是内容项的出价金额和用户与内容项交互的可能性的乘积。在各种实施例中，与内容项相关联的期望值是内容项中包括的出价金额和在内容项被显示给用户之后用户执行与登陆页面(内容项包括至该登陆页面的链接)的特定交互的可能性的乘积。在各种实施例中，与登陆页面的特定交互由在线系统140从其获得内容项的发布用户指定。内容选择模块230可以基于内容项的相关出价金额来对内容项进行排名，并选择在排名中至少具有阈值位置的内容项以呈现给用户。在一些实施例中，内容选择模块230基于与内容项相关联的出价金额和相关性度量，在统一的排名中对与出价金额不相关联的内容项和与出价金额相关联的内容项进行排名。基于该统一排名，内容选择模块230选择内容以呈现给用户。在于2012年7月10日提交的第13/545,266号美国专利申请中进一步描述了通过统一排名来选择与出价金额相关联的内容项和与出价金额不相关联的内容项，该专利申请在此通过引用以其整体并入。
例如，内容选择模块230接收向在线系统140的用户呈现内容信息流(feed)的请求。该信息流可以包括与出价金额相关联的一个或更多个内容项和其他内容项，例如描述与关连到用户的其他在线系统用户相关联的动作的动态(story)，这些其他内容项与出价金额无关。内容选择模块230访问用户简档储存器205、内容储存器210、动作日志220和边储存器225中的一个或更多个，以检索关于用户的信息。例如，对描述与关连到该用户的其他用户相关联的动作或者与关连到该用户的用户相关联的其他数据的信息进行检索。内容选择模块230检索并分析来自内容储存器210的内容项，以识别有资格呈现给用户的候选内容项。例如，与未关连到该用户的用户相关联的内容项或者与该用户具有小于阈值亲和力的用户相关联的动态被舍弃用作候选内容项。基于各种标准，内容选择模块230选择一个或更多个被识别为候选内容项的内容项，用于呈现给识别的用户。所选择的内容项被包括在呈现给该用户的内容信息流中。例如，内容信息流包括至少阈值数量的内容项，其描述与经由在线系统140关连到该用户的用户相关联的动作。
在各种实施例中，内容选择模块230通过动态消息(newsfeed)向用户呈现内容，该动态消息包括被选择用于向用户呈现的多个内容项。一个或更多个内容项也可以被包括在信息流中。内容选择模块230还可以确定所选择的内容项经由信息流被呈现的顺序。例如，内容选择模块230基于用户与各种内容项交互的可能性来对信息流中的内容项进行排序。
在各种实施例中，内容选择模块230训练并存储一个或更多个机器学习模型，该机器学习模型识别包括在内容项中的图像内或视频内的对象，并确定所识别的对象与由从其获得内容项的用户提供的产品相匹配的置信度。在各种实施例中，内容选择模块230维护被训练来识别图像或视频中的对象的一个或更多个经机器学习的模型，并且维护单独的经机器学习的识别模型，该识别模型将图像或视频中识别的对象与从其获得图像或视频的用户提供供购买的产品的图片进行比较。如下面结合图3进一步描述的，识别模型基于所识别的对象的特征和用户提供的不同产品的图片的特征，来确定在图像或视频中的识别的对象与用户提供的不同产品相匹配的置信度。基于所识别的对象与不同产品相匹配的置信度，内容选择模块230结合图像或视频来呈现标识由用户提供的一个或更多个产品的信息。这允许用户选择所提供的产品，以与所识别的对象相关联，并在内容项中包括具有描述该产品的信息的标签，如下面结合图3进一步描述的。
web服务器235经由网络120将在线系统140链接到一个或更多个客户端设备110以及链接到一个或更多个第三方系统130。web服务器235提供网页以及其他内容，例如
Figure BDA0002785484120000161
XML等。web服务器235可以接收消息并在在线系统140和客户端设备110之间路由该消息(例如即时消息、排队消息(例如，电子邮件)、文本消息、短消息服务(SMS)消息或使用任何其他合适的消息传送技术发送的消息)。用户可以向web服务器235发送上传存储在内容储存器210中的信息(例如，图像或视频)的请求。此外，web服务器235可以提供应用编程接口(API)功能，以将数据直接发送到本机客户端设备操作系统，例如
Figure BDA0002785484120000171
ANDROIDTM或BlackberryOS。
在线系统在从用户接收的图像中识别由用户提供的产品
图3是在线系统140在图像内识别由用户提供的产品的方法的一个实施例的流程图，该图像是在线系统140从用户获得的。为了说明的目的，图3描述了结合在从用户获得的图像内识别由用户提供的产品的方法，但是结合图3描述的方法也可以用于在从用户获得的视频内识别用户提供的产品(例如，如下面结合图3关于从用户获得的图像所描述的，该方法可以应用于从用户获得的视频帧)。在各种实施例中，该方法可以包括与结合图3描述的步骤不同的或额外的步骤。另外，在一些实施例中，该方法可以以与结合图3描述的顺序不同的顺序来执行步骤。
如以上结合图2进一步描述的，在线系统140从用户获得305标识在线系统140的用户提供来供其他用户购买的产品的信息。所获得的信息包括与产品标识符相关联的每个产品的一个或更多个图像，并且还可以包括关于每个产品的附加信息。所获得的信息还可以包括与产品标识符相关联的每个产品的一个或更多个视频。例如，在线系统140从用户获得305产品目录，该产品目录包括用户提供的每个产品的条目。在一些实施例中，产品目录中的产品条目包括产品的产品标识符、产品的一个或更多个图像、产品的名称以及用户提供的供购买产品的价格。在一些实施例中，产品目录中的产品条目还可以包括产品的描述。在一些实施例中，从用户获得305的标识产品的信息包括产品的多个图像，不同的图像对应于产品相对于捕获产品图像的图像捕获设备(例如，照相机)的不同位置。在线系统140存储标识由用户提供的产品的信息，该信息包括与用户相关联的每个产品的一个或更多个图像。例如，在线系统140将标识由用户提供的产品的信息存储在由在线系统140为用户维护的用户简档中，或者将获得的标识由用户提供的产品的信息与标识用户的用户简档相关联地存储。
此外，在线系统140从用户获得310用于呈现给其他用户的内容项。从用户获得310的内容项包括图像或视频，并且还可以包括文本数据或音频数据。在各种实施例中，内容项包括文本数据、音频数据、图像数据、视频数据的任意组合，用于经由在线系统140呈现给其他用户。在线系统140可以通过经由与用户相关联的客户端设备110向用户显示的编写器界面来从用户获得310内容项。通过编写器界面，用户向在线系统140标识图像以包含在内容项中，并输入文本数据以包含在内容项中以便与图像一起呈现。
当在线系统140获得310的内容项中包括的图像(或视频)包括用户提供的一个或更多个产品时，内容项可以包括标识图像中包括的产品的元数据。在各种实施例中，当查看内容项的用户执行特定动作时，元数据将描述产品的信息叠加在包括产品的图像的一部分上。例如，如果查看内容项的用户访问或选择包括产品的图像的部分，则描述产品的信息(例如产品的名称和产品的价格)被叠加在包括产品的图像的该部分上。在一些实施例中，描述产品的信息包括检索页面或网站的链接，所述页面或网站包括关于产品的信息，或者当由查看包括产品的图像的用户选择时用于购买产品。虽然这允许其他用户更容易地从内容项中识别用户提供的产品，但是用于在图像中识别用户产品的传统方法涉及用户向在线系统140手动地标识图像中的产品。对于提供供购买的产品的用户来说，这种手动标识可能是时间和资源密集型的。
为了简化对包含在内容项的图像(或包含在视频中)中的用户产品的识别，在线系统140从包含在内容项中的图像中识别315对象。在各种实施例中，在线系统140将一种或更多种对象检测方法应用于内容项的图像，其识别内容项内的图像中的对象。在各种实施例中，在线系统140还识别所识别的对象在图像内的位置。例如，在线系统140生成围绕内容项内图像中识别的每个对象的边界框。在各种实施例中，在线系统140使用一种或更多种对象检测方法来识别315图像内的对象，并生成对应于每个所识别的对象的边界框。当从图像(或从视频)中识别315对象时，在线系统140还可以为每个所识别的对象识别类别或类型。例如，由在线系统140应用的对象检测方法基于对象的特征将不同类别与对象相关联，并且在线系统140将来自对象检测方法的类型或类别与所识别的对象相关联。
在线系统140将从图像(或从视频)识别315的每个对象与在线系统140从用户获得305的标识由用户提供的产品的信息中包括的产品图像进行比较。当将从图像中识别315的对象与先前获得305的用户提供的产品的图像进行比较时，在线系统140确定320所识别的对象与用户提供的不同产品相匹配的置信度。为了将从图像中识别315的对象与用户提供的产品进行比较，在线系统140将识别模型应用于所识别的对象和从用户获得305的用户提供的产品的图像。在线系统140根据从图像识别的对象与各种用户向在线系统140标识305的产品的比较来训练机器学习识别模型，并且还可以在训练识别模型时考虑对象与标识不同产品的公开可用信息的比较。在线系统训练识别模型以基于图像中的对象与不同产品的先前匹配来确定从图像中识别的对象与产品相匹配的可能性。例如，在线系统140将指示与从图像中识别的对象相匹配的产品的标记应用于从图像中识别的对象的特征。根据从图像中提取的对象的标记特征，在线系统140使用任何合适的训练方法或训练方法的组合来训练识别模型(例如，如果识别模型是神经网络，则使用反向传播来训练识别模型，如果识别模型是线性回归，则使用曲线拟合技术)。在训练之后，在线系统140将经训练的识别模型应用于图像内识别的对象的特征，并且识别模型输出对象与不同产品相匹配的置信度。
在各种实施例中，在线系统140确定320所识别的对象与由用户提供并向在线系统140标识的每个产品相匹配的置信度。可选地，在线系统140确定320所识别的对象与由用户提供并向在线系统140标识的产品子集中的每一个产品相匹配的置信度。在各种实施例中，在线系统140含有阈值置信度值，并将所识别的对象与用户提供的不同产品相匹配的置信度与阈值置信度进行比较。在一些实施例中，响应于在线系统140确定325所识别的对象与用户提供的产品相匹配的置信度等于或超过最大置信度值，在线系统140自动地在内容项中包括330标签，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度。可选地，响应于在线系统140确定325所识别的对象与用户提供的产品相匹配的置信度等于或超过阈值置信度值，在线系统140向用户提供界面，使得标签能够被包括在内容项中。例如，界面显示在内容项中包括330标签的建议，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度。该建议可以包括先前从用户获得305的产品的图像，以及描述该产品的其他信息(例如，产品名称、产品描述、产品价格等)。对应于包括在图像中的产品的标签包括描述由用户提供的产品的元数据，所识别的对象对于该由用户提供的产品具有等于或超过最大置信度值的匹配置信度。在各种实施例中，产品的标签与所识别的对象在图像(或视频)中的位置相关联，并且当查看图像(或视频)的用户选择或执行与图像的特定交互时，包括标签的元数据被显示在所识别的对象在图像(或视频)中的位置处(或附近)。
如果用户提供的多个产品与所识别对象相匹配的置信度等于或超过阈值置信度值，则在线系统140通过界面向用户显示标识每个产品的信息，该产品与所识别对象相匹配的置信度等于或超过阈值置信度值。在各种实施例中，在线系统140对与所识别的对象相匹配的置信度等于或超过阈值置信度值的产品进行排名，使得与所识别的对象相匹配的置信度较高的产品在排名中具有较高的位置，并通过界面以对应于排名的顺序来显示标识与所识别的对象相匹配的置信度等于或超过最大置信度值的产品的信息。当用户选择标识特定产品的显示信息时，在线系统140在内容项中包括330标识用户选择的特定产品的标签，如上面进一步描述的。在各种实施例中，在线系统140在界面中显示内容项的图像，以及以基于产品与所识别的对象相匹配的置信度的顺序显示标识产品的信息。该界面可以在视觉上区分所识别的对象和图像中的其他对象，以允许用户更好地识别与产品对比的对象。视觉区分所识别的对象的示例包括显示所识别的对象周围的边界、增加所识别的对象的亮度以及改变所识别的对象的颜色，尽管可以使用任何合适的方法来视觉区分所识别的对象和其他对象。
响应于确定325所识别的对象的置信度既没有等于也没有超过与由用户提供的至少一个产品相匹配的阈值置信度值，在线系统140经由界面向用户显示335标识由用户提供的产品的信息，以及显示用标识由用户提供的产品的信息来给所识别的对象加标签的建议。在各种实施例中，在线系统140基于用户提供的产品与所识别的对象相匹配的相应置信度来对这些产品进行排名，因此用户提供的、与所识别的对象相匹配的置信度较高的产品在排名中具有较高的位置。在线系统140可以基于排名来显示335标识由用户提供的产品的信息，因此标识由用户提供的产品的信息以基于排名的顺序显示在界面中。可选地，在线系统140识别由用户提供的、在排名中至少具有阈值位置的产品集合，并经由界面基于排名显示335标识该产品集合的信息，同时经由界面以基于从用户获得305的、标识供销售的产品的信息的顺序，来显示335标识在排名中具有低于阈值位置的产品(即，不在所识别的集合中的产品)的信息。例如，在线系统140显示335界面，该界面包括标识排名前五位的产品的信息，其中相对位置基于排名，同时以在线系统140从用户获得305的产品目录指定的顺序来显示335标识由用户提供的剩余产品的信息。在各种实施例中，在线系统140在界面中显示包括在内容项中的图像(或视频)，连同显示标识基于其在排名中的位置而被排序的产品集合的信息，并且连同以基于从用户获得305的标识产品的信息的顺序来显示标识在排名中具有低于阈值位置的其他产品的信息。该界面可以在视觉上区分所识别的对象和图像中的其他对象，以允许用户更好地识别与产品相比的对象。视觉区分所识别的对象的示例包括显示所识别的对象周围的边界、增加所识别的对象的亮度以及改变所识别的对象的颜色，尽管可以使用任何合适的方法来视觉区分所识别的对象和其他对象。这允许用户更有效地识别包括在图像(或视频)中的由用户提供的产品。
在其他实施例中，在线系统140含有最大置信度值和最小置信度值。响应于在线系统140确定所识别的对象与用户提供的产品相匹配的置信度等于或超过最大置信度值，在线系统140自动地在内容项中包括标签，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度。或者，响应于在线系统140确定所识别的对象与用户提供的产品相匹配的置信度等于或超过最大置信度值，在线系统140向用户提供界面，使得能够在内容项中包括标签，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度(例如，显示在内容项中包括标签的建议，该标签标识由用户提供的产品，所识别的对象对于该产品具有等于或超过最大置信度值的置信度)。该建议可以包括先前从用户获得305的产品的图像，以及描述该产品的其他信息(例如，产品名称、产品描述、产品价格等)。对应于包括在图像(或视频)中的产品的标签包括描述由用户提供的产品的元数据，所识别的对象对于由用户提供的该产品具有等于或超过最大置信度值的匹配置信度。在各种实施例中，产品的标签与所识别的对象在图像中的位置相关联，并且当查看图像的用户选择或执行与图像的特定交互时，包括标签的元数据被显示在所识别的对象在图像中的位置处(或附近)。
如果用户提供的多个产品与所识别的对象相匹配的置信度等于或超过最大置信度值，则在线系统140向用户显示界面，该界面呈现标识与所识别的对象相匹配的置信度等于或超过最大置信度值的每个产品的信息。在各种实施例中，在线系统140对与所识别的对象相匹配的置信度等于或超过最大置信度值的产品进行排名，使得与所识别的对象相匹配的置信度较高的子集的产品在排名中具有较高的位置，并且标识与所识别的对象相匹配的置信度等于或超过最大置信度值的产品的信息以对应于排名的顺序显示在界面中。当用户选择标识特定产品的显示信息时，在线系统140在内容项中包括330标识用户选择的特定产品的标签，如上面进一步描述的。
响应于确定所识别的对象的置信度既没有等于也没有超过与由用户提供的至少一个产品相匹配的最大置信度值，在线系统140选择由用户提供的产品的子集，所识别的对象对于该子集具有小于最大匹配置信度值，但是所识别的对象对于该子集至少具有最小匹配置信度值。在线系统140通过界面向用户显示标识该子集的产品的信息，允许用户通过界面选择该子集的产品。响应于用户选择该子集的产品，在线系统140在内容项中包括330标签，该标签标识由用户从子集选择的由用户提供的产品，如上面进一步描述的。在各种实施例中，当向用户显示335标识该子集的产品的信息时，在线系统140基于它们与所识别的对象相匹配的相应置信度值来对该子集的产品进行排序。例如，在线系统140对该子集的产品进行排序，从而将与所识别的对象相匹配的置信度较高的该子集的产品显示335在与所识别的对象相匹配的置信度较低的该子集的其他产品之前。在各种实施例中，在线系统140基于子集的产品与所识别的对象相匹配的相应置信度来对该子集的产品进行排名，使得与所识别的对象相匹配的置信度较高的子集的产品在排名中具有较高的位置，并以对应于排名的顺序来显示标识子集的产品的信息。这允许用户更有效地识别包括在图像(或视频)中的由用户提供的产品。
响应于在线系统140确定所识别的对象的置信度既没有等于也没有超过与用户提供的至少一个产品相匹配的最小置信度值，在线系统140显示标识用户提供的产品的信息以及给用户的建议用户选择对应于所识别的对象的产品的消息。在各种实施例中，在线系统140基于用户提供的产品与所识别的对象相匹配的相应置信度来对这些产品进行排名，使得用户提供的、与所识别的对象相匹配的置信度较高的产品在排名中具有较高的位置，并且以对应于排名的顺序来显示标识由用户提供的产品的信息。响应于用户从标识由用户提供的产品的显示信息中选择产品，在线系统140在内容项中包括330标识由用户选择的用户提供的产品的标签，如上面进一步描述的。
在内容项中包括330标签之后，当在线系统140向在线系统140的其他用户显示内容项时，查看内容项的用户可以从内容项中包括330的标签中检索描述产品的信息。例如，当用户执行与内容项的特定交互时，从标签中检索标识产品的信息，并与内容项一起显示。在一些实施例中，从标签中检索标识产品的信息，并在图像内的包括与产品匹配的对象的位置处将该信息显示为内容项中的图像(或视频)上的叠加。例如，当用户选择内容项时，产品的名称和产品的价格被显示在图像(或视频)内的包括与产品相匹配的对象的位置处。在一些实施例中，标签包括到页面或网站的链接，当被向其显示图像的用户选择时，检索页面或网站，导致显示内容项的客户端设备110显示页面或网站。这通过简化在用户经由在线系统140分发给其他用户的图像(或视频)中识别供购买的产品，来使得提供供购买的产品的用户更容易地将标识供购买产品的信息分发给其他用户。将经机器学习的识别模型应用于从图像中识别315的对象和由用户提供供销售的产品，允许在线系统140通过识别具有大于与所识别的对象相匹配的阈值置信度值的产品，或者通过以基于不同产品与从图像(或从视频)中识别的对象相匹配的置信度的顺序来向用户显示由用户提供的产品，从而减少用户检查以识别图像中的产品的数据量。这重新组织了向用户显示标识产品的信息，以允许用户更有效地选择对应于图像中识别315的对象的产品。
图4A和图4B是在线系统140在在线系统140从用户获得的图像内识别用户提供的产品的示例界面400。图4A和图4B示出了用于在在线系统140从用户获得的视频中识别用户提供的产品的界面400。在图4A和图4B的示例中，在线系统140从用户接收包括多个对象410、415、420、425、430的图像405。如以上结合图3进一步描述的，在线系统140还接收标识由用户提供的产品的信息。如以上结合图3进一步描述的，标识由用户提供的产品的信息包括用户提供的不同产品的图像。
在线系统140识别图像405中包括的对象410、415、420、425、430，如以上结合图3进一步描述的。另外，在线系统140将以上结合图3进一步描述的识别模型应用于图像405内识别的不同对象410、415、420、425、430以及标识由用户提供的不同产品的信息。如以上结合图3进一步描述的，识别模型基于从用户获得的产品集合中的每一个产品的图像，确定图像405中包括的对象410、415、420、425、430与用户提供的产品集合中的每一个产品相匹配的置信度。在图4A的示例中，在线系统140正在将识别模型应用于对象425，因此界面400在视觉上区分对象425和对象410、415、420、430。出于说明的目的，图4A中的界面400显示围绕对象425的边界框435，以在视觉上区分对象425和对象410、415、420、430。然而，在其他实施例中，界面400使用任何合适的方法来从视觉上区分对象425和其他对象410、415、420、430。
在图4A的示例中，由在线系统140应用于对象425的识别模型确定对象425至少具有与产品445相匹配的阈值置信度值，该产品由在线系统140从用户获得的信息来标识。响应于对象425与产品445相匹配的置信度等于或超过阈值置信度值，在线系统140向用户显示用标识产品445的信息来给图像405中的对象425加标签的建议440。在图4A的示例中，建议440包括描述产品445的图像或其他信息以及对用户在图像405中包括标识产品445的标签的提示。然而，在其他实施例中，在线系统140在图像405中对应于对象425的位置处自动包括标签，该标签包括识别产品445的信息。
图4B示出了当在线系统140将识别模型应用于对象410时的界面400，界面400在视觉上区分对象410和对象415、420、425、430。出于说明的目的，图4B中的界面400显示围绕对象410的边界框435，以在视觉上区分对象410和对象415、420、425、430。然而，在其他实施例中，界面400使用任何合适的方法来从视觉上区分对象410和其他对象415、420、425、430。当将识别模型应用于对象410时，在线系统140确定对象410不是至少具有与用户提供的产品相匹配的阈值置信度值，因此在线系统140生成界面400以显示图像405和建议450，以用产品以及标识产品集合中的每一个的信息来给图像405加标签。在图4B所示的示例中，建议450以基于集合中不同产品与对象410相匹配的置信度的顺序来显示标识集合中不同产品的信息，因此具有较高置信度的产品在顺序中具有较高的位置。如图4B所示，产品455具有匹配对象410的最高置信度，产品460具有匹配对象410的第二高置信度，并且产品465具有匹配对象410的第三高置信度。因此，由界面400显示的建议450在第一位置显示标识产品455的信息，在第二位置显示标识产品460的信息，并且在第三位置显示标识产品465的信息。在一些实施例中，建议450基于产品子集与对象410相匹配的相应置信度的顺序来显示标识产品子集的信息，同时以不同顺序显示标识不在该子集中的其他产品的信息。例如，建议450以基于从用户获得的标识由用户提供的产品的信息的顺序来显示标识不在子集中的产品的信息。在线系统140可以以基于其与对象410相匹配的相应置信度的顺序来显示标识具有与对象410最高匹配置信度的特定数量的产品的信息，同时以基于先前从用户获得的标识由用户提供的产品的信息的顺序来显示标识其他产品的信息。例如，建议450以基于其相应置信度的顺序来显示标识由用户提供的具有与对象410相匹配的排名前三位的置信度的产品的信息，同时以基于从用户获得的标识由用户提供的产品的信息的顺序，来显示标识与对象410相匹配的置信度低于第三高置信度的产品的信息。
响应于用户选择图4B中的产品455、460、465之一，在线系统140在图像405中包括标签，该标签标识与对象410相关联的产品455、460、465中选定的一个产品。例如，标签包括到具有关于产品455、460、465中选定的一个产品的附加信息的页面的链接，或者到用于购买产品455、460、465中选定的一个产品的页面的链接。该标签可替代地或附加地包括产品455、460、465中选定的一个产品的名称或描述以及产品455、460、465中选定的一个产品的价格。如以上结合图3进一步描述的，在图像405中包括标签之后，当向其显示包括标签的图像405的另一用户执行与图像405的特定交互时，来自标签的信息结合图像405被显示。例如，在图4B中，当查看包括标签的图像405的用户选择图像405时，来自标签的信息在靠近对象410的位置叠加在图像405上。因此，经由界面400结合图像405显示包括用户提供的产品的建议450允许在线系统140更有效地向用户呈现关于产品的信息，减少了用户查看以识别图像405内的产品的信息量。
结论
为了说明的目的提出了本公开的实施例的前述描述；它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域中的技术人员可以认识到，按照上面的公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
实施例也可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者任何类型的适于存储电子指令的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。
实施例也可以涉及由本文所述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制专利权利。因此，意图是本专利权利的范围不受该详细描述限制，而是受在基于此的申请上所发布的任何权利要求限制。因此，实施方案的公开内容意图对本专利权利的范围是说明性的，而不是限制性的，在所附的权利要求中阐述了本专利权利的范围。

Claims (20)

1.一种方法，包括：
获取标识由在线系统的用户提供的产品的信息，所获取的信息包括不同产品的一个或更多个图片；
在所述在线系统处，从用户接收用于呈现给其他用户的内容项，所述内容项包括图像；
通过将识别模型应用于在所述图像中识别的对象和用户提供的产品集合中每个产品的图片，由所述在线系统确定所识别的对象与所述产品集合中的每个产品相匹配的置信度；
确定所识别的对象具有与所述集合中的产品相匹配的、等于或超过阈值置信度值的置信度；和
响应于所述确定：
生成标签，所述标签包括描述所述集合中的产品的元数据，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度，以及
自动将所述标签包括在所述内容项中，或者提供使得所述标签能够被包括在所述内容项中的界面。
2.根据权利要求1所述的方法，还包括：
响应于所识别的对象与所述产品集合中的产品相匹配的每个置信度小于所述阈值置信度值，基于所识别的对象与所述集合中的不同产品相匹配的置信度来对所述产品集合中的产品进行排名；
选择所述集合中在排名中至少具有阈值位置的产品；和
经由所述界面以对应于所选对象在所述排名中的位置的顺序来向用户显示标识每个所选产品的信息。
3.根据权利要求2所述的方法，其中，经由所述界面以对应于所选对象在所述排名中的位置的顺序来向用户显示标识每个所选产品的信息包括：
在所述界面中显示包括在所述内容项中的所述图像，和以对应于所选对象在所述排名中的位置的顺序来显示标识每个所选产品的信息。
4.根据权利要求2所述的方法，还包括：
经由所述界面以对应于标识由用户提供的产品的信息的顺序来向用户显示标识所述集合中具有低于所述排名中的所述阈值位置的其他产品的信息。
5.根据权利要求4所述的方法，其中，经由所述界面以对应于标识由用户提供的产品的信息的顺序来向用户显示标识所述集合中具有低于所述排名中的所述阈值位置的其他产品的信息包括：
在所述界面中显示包括在所述内容项中的所述图像，在所述界面中以对应于所选对象在所述排名中的位置的顺序来显示标识每个所选产品的信息，以及在所述界面中以对应于标识由用户提供的产品的信息的顺序来显示标识所述集合中的其他产品的信息。
6.根据权利要求1所述的方法，其中，提供使得所述标签能够被包括在所述内容项中的界面包括：
在显示所述图像和所述集合中的该产品的所述界面中显示将所述标签包括在所述内容项中的建议，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度；
响应于接收到对所述集合中的该产品的选择，将所述标签包括在所述内容项中，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
7.根据权利要求1所述的方法，还包括：
向另一用户显示包括所述标签的所述内容项；和
响应于接收到所述另一用户与所述内容项的特定交互，结合所述图像向所述另一用户显示描述所述集合中的该产品的所述元数据，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
8.根据权利要求1所述的方法，其中，描述所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的所述元数据包括：所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的名称。
9.根据权利要求8所述的方法，其中，描述所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的所述元数据还包括：所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的来自用户的价格。
10.根据权利要求1所述的方法，其中，描述所述集合中的该产品的所述元数据包括到包含关于该产品的信息的页面的链接，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
11.一种包括非暂时性计算机可读存储介质的计算机程序产品，该非暂时性计算机可读存储介质上编码有指令，当由处理器执行时，所述指令使得所述处理器：
获取标识由在线系统的用户提供的产品的信息，所获取的信息包括不同产品的一个或更多个图片；
在所述在线系统处，从用户接收用于呈现给其他用户的内容项，所述内容项包括图像；
将识别模型应用于所述图像，以确定在所述图像中识别出对象的置信度；
通过将识别模型应用于在所述图像中识别的对象和用户提供的产品集合中每个产品的图片，由所述在线系统确定所识别的对象与所述产品集合中的每个产品相匹配的置信度；
确定所识别的对象具有与所述集合中的产品相匹配的、等于或超过阈值置信度值的置信度；和
响应于所述确定：
生成标签，所述标签包括描述所述集合中的该产品的元数据，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度，以及
自动将所述标签包括在所述内容项中，或者提供使所述标签能够被包括在所述内容项中的界面。
12.根据权利要求11所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质上还编码有指令，当由所述处理器执行时，该指令使得所述处理器：
响应于所识别的对象与所述产品集合中的产品相匹配的每个置信度小于所述阈值置信度值，基于所识别的对象与所述集合中的不同产品相匹配的置信度来对所述产品集合中的产品进行排名；
选择所述集合中在排名中至少具有阈值位置的产品；和
经由所述界面以对应于所选对象在所述排名中的位置的顺序来向用户显示标识每个所选产品的信息。
13.根据权利要求12所述的计算机程序产品，其中，经由所述界面以对应于所选对象在所述排名中的位置的顺序来向用户显示标识每个所选产品的信息包括：
在所述界面中显示包括在所述内容项中的所述图像，和以对应于所选对象在所述排名中的位置的顺序来显示标识每个所选产品的信息。
14.根据权利要求12所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质上还编码有指令，当由所述处理器执行时，该指令使得所述处理器：
经由所述界面以对应于标识由用户提供的产品的信息的顺序来向用户显示标识所述集合中具有低于所述排名中的所述阈值位置的其他产品的信息。
15.根据权利要求14所述的计算机程序产品，其中，经由所述界面以对应于标识由用户提供的产品的信息的顺序来向用户显示标识所述集合中具有低于所述排名中的所述阈值位置的其他产品的信息包括：
经由所述界面显示包括在所述内容项中的所述图像，经由所述界面结合所述图像显示标识每个所选产品的信息，并且经由所述界面以对应于标识由用户提供的产品的信息的顺序来显示标识所述集合中的其他产品的信息。
16.根据权利要求11所述的计算机程序产品，其中，提供使所述标签能够被包括在所述内容项中的界面包括：
在显示所述图像和所述集合中的该产品的所述界面中显示将所述标签包括在所述内容项中的建议，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度；和
响应于接收到对所述集合中的该产品的选择，将所述标签包括在所述内容项中，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
17.根据权利要求11所述的计算机程序产品，其中，所述非暂时性计算机可读存储介质上还编码有指令，当由所述处理器执行时，该指令使得所述处理器：
向另一用户显示包括所述标签的所述内容项；和
响应于接收到所述另一用户与所述内容项的特定交互，结合所述图像向所述另一用户显示描述所述集合中的该产品的所述元数据，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
18.根据权利要求11所述的计算机程序产品，其中，描述所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的所述元数据包括：所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的名称。
19.根据权利要求18所述的计算机程序产品，其中，描述所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的所述元数据还包括：所述集合中所识别的对象对于其具有等于或超过所述阈值置信度值的置信度的产品的来自用户的价格。
20.根据权利要求11所述的计算机程序产品，其中，描述所述集合中的该产品的所述元数据包括到包含关于该产品的信息的页面的链接，所识别的对象对于所述集合中的该产品具有等于或超过所述阈值置信度值的置信度。
CN202011296179.1A 2019-11-18 2020-11-18 识别图像中与用户向在线系统标识的产品匹配的对象 Pending CN112819025A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962937067P 2019-11-18 2019-11-18
US62/937,067 2019-11-18
US16/796,635 2020-02-20
US16/796,635 US11704716B2 (en) 2019-11-18 2020-02-20 Identifying objects within an image from a user of an online system matching products identified to the online system by the user

Publications (1)

Publication Number Publication Date
CN112819025A true CN112819025A (zh) 2021-05-18

Family

ID=73343973

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011296179.1A Pending CN112819025A (zh) 2019-11-18 2020-11-18 识别图像中与用户向在线系统标识的产品匹配的对象

Country Status (3)

Country Link
US (1) US11704716B2 (zh)
EP (1) EP3822904A1 (zh)
CN (1) CN112819025A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691443A (zh) * 2021-08-30 2021-11-23 维沃移动通信（杭州）有限公司 图像分享方法、装置和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11704716B2 (en) * 2019-11-18 2023-07-18 Meta Platforms, Inc. Identifying objects within an image from a user of an online system matching products identified to the online system by the user
US11776253B2 (en) * 2020-03-27 2023-10-03 Snap Inc. Displaying object names in association with augmented reality content
US11556223B2 (en) * 2020-08-27 2023-01-17 Ebay Inc. Automatic feedback system using visual interactions
WO2023147137A2 (en) * 2022-01-31 2023-08-03 Hot Sake Llc Content sharing platform

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110078049A1 (en) * 2009-09-30 2011-03-31 Muhammad Faisal Rehman Method and system for exposing data used in ranking search results
US20150036919A1 (en) * 2013-08-05 2015-02-05 Facebook, Inc. Systems and methods for image classification by correlating contextual cues with images
CN105719156A (zh) * 2015-10-15 2016-06-29 深圳市麻省图创科技有限公司 用于识别和推广已添加标签的商品的系统及方法
US20180302682A1 (en) * 2017-04-17 2018-10-18 Facebook, Inc. Matching and ranking content items

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193009A1 (en) * 2015-12-31 2017-07-06 Entefy Inc. Systems and methods for filtering of computer vision generated tags using natural language processing
US10133958B2 (en) * 2016-08-16 2018-11-20 Ebay Inc. Determining an item that has confirmed characteristics
US11188579B2 (en) * 2019-04-08 2021-11-30 Adobe Inc. Personalized dynamic content via content tagging and transfer learning
US11631234B2 (en) * 2019-07-22 2023-04-18 Adobe, Inc. Automatically detecting user-requested objects in images
US11704716B2 (en) * 2019-11-18 2023-07-18 Meta Platforms, Inc. Identifying objects within an image from a user of an online system matching products identified to the online system by the user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110078049A1 (en) * 2009-09-30 2011-03-31 Muhammad Faisal Rehman Method and system for exposing data used in ranking search results
US20150036919A1 (en) * 2013-08-05 2015-02-05 Facebook, Inc. Systems and methods for image classification by correlating contextual cues with images
CN105719156A (zh) * 2015-10-15 2016-06-29 深圳市麻省图创科技有限公司 用于识别和推广已添加标签的商品的系统及方法
US20180302682A1 (en) * 2017-04-17 2018-10-18 Facebook, Inc. Matching and ranking content items

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113691443A (zh) * 2021-08-30 2021-11-23 维沃移动通信（杭州）有限公司 图像分享方法、装置和电子设备
CN113691443B (zh) * 2021-08-30 2022-11-11 维沃移动通信（杭州）有限公司 图像分享方法、装置和电子设备

Also Published As

Publication number Publication date
US11704716B2 (en) 2023-07-18
US20210150611A1 (en) 2021-05-20
EP3822904A1 (en) 2021-05-19

Similar Documents

Publication Publication Date Title
US10122808B2 (en) Determining an audience of users to assign to a posted content item in an online system
US10419560B2 (en) Presenting additional content items to a social networking system user based on receiving an indication of boredom
US20200250702A1 (en) Clustering users of a social networking system based on user interactions with content items associated with a topic
US11704716B2 (en) Identifying objects within an image from a user of an online system matching products identified to the online system by the user
US20170353769A1 (en) Selecting content items for presentation in conjunction with video content presented to a user based on objects identified in the video content
US20140207609A1 (en) Generating and maintaining a list of products desired by a social networking system user
US11030650B2 (en) Selecting a third party website on which an action associated with a content item may be performed
US10528982B2 (en) Determining a prompt for performing an action presented to a user in association with video data
EP3905177A1 (en) Recommending that an entity in an online system create content describing an item associated with a topic having at least a threshold value of a performance metric and to add a tag describing the item to the content
US9380128B2 (en) Combining user profile information maintained by various social networking systems
US20160247204A1 (en) Identifying Additional Advertisements Based on Topics Included in an Advertisement and in the Additional Advertisements
US10956525B1 (en) Personalizing content associated with a third party system for presentation to an online system user based on interactions performed by the user with content from the third party system
US11379908B2 (en) Three-dimensional reconstruction of a product from content including the product provided to an online system by users
US20180336600A1 (en) Generating a content item for presentation to an online system including content describing a product selected by the online system
US20160034956A1 (en) Presenting targeting criteria options for inclusion in targeting criteria associated with content items
US11276103B2 (en) Evaluating presentation of products offered by a publishing user based on content items provided to an online system by other users
EP3933742A1 (en) Identifying cooccuring products in content provided to an online system by users
EP3901885A1 (en) Providing an entity with an option to select an online system user to create content on behalf of the entity based on content associated with the entity previously created by the user
EP3913564A1 (en) Updating a profile of an online system user to include an affinity for an item based on an image of the item included in content received from the user and/or content with which the user interacted
EP3905184A1 (en) Arranging information describing items within a page maintained in an online system based on an interaction with a link to the page
US20240020345A1 (en) Semantic embeddings for content retrieval
US20180336620A1 (en) Selecting a product for inclusion in a content item for a user of an online system based on products previously accessed by the user and by other online system users
US20180336621A1 (en) Selecting a product for inclusion in a content item for a user of an online system based on products previously accessed by the user and by other online system users

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.