CN113590851A - 建议在线系统中的实体创建内容并向内容添加标签 - Google Patents

建议在线系统中的实体创建内容并向内容添加标签 Download PDF

Info

Publication number
CN113590851A
CN113590851A CN202110461588.0A CN202110461588A CN113590851A CN 113590851 A CN113590851 A CN 113590851A CN 202110461588 A CN202110461588 A CN 202110461588A CN 113590851 A CN113590851 A CN 113590851A
Authority
CN
China
Prior art keywords
content
content items
item
online system
topic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110461588.0A
Other languages
English (en)
Inventor
史蒂夫·莫林
欧阳雪薇
马丁·姆罗兹
阿努杰·马登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Facebook Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Facebook Inc filed Critical Facebook Inc
Publication of CN113590851A publication Critical patent/CN113590851A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G06Q30/0246—Traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0254—Targeted advertisements based on statistics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0261—Targeted advertisements based on user location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0275—Auctions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Library & Information Science (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Multimedia (AREA)
  • Human Resources & Organizations (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)

Abstract

本申请涉及建议在线系统中的实体创建内容并向内容添加标签。在线系统访问基于与一组内容项相关联的主题和该组内容项的内容而训练的模型。在线系统应用该模型来基于多个内容项中的每一个的内容预测该多个内容项中的每一个与主题相关联的概率，并且识别与至少阈值概率相关联的内容项。在线系统检索描述用户对所识别的内容项的参与的信息，并基于该信息确定主题的性能度量的值。如果该值至少是阈值，并且在线系统从实体接收描述与该主题相关联的项目的内容，则在线系统向该实体传送创建描述该项目的内容项的推荐，并且在确定这样做的机会时添加与该项目相关联的标签。

Description

建议在线系统中的实体创建内容并向内容添加标签
技术领域
本公开总体上涉及在线系统，并且更具体地，涉及建议在线系统中的实体(entity)创建描述与至少具有性能度量的阈值的主题(topic)相关联的项目的内容，并向该内容添加描述该项目的标签。
背景
在线系统允许其用户与其他在线系统用户关连(connect)和通信。用户于在线系统中创建简档(profile)，该简档与他们的身份相关联并且包括关于用户的信息(例如兴趣和人口统计信息)。用户可以是个人或实体(例如公司或慈善机构)。由于在线系统的流行和在线系统中维护的大量用户特定信息，在线系统提供了一个理想的论坛，允许用户通过创建内容项(content item)来共享内容，以呈现给其他在线系统用户。例如，用户可以通过创建包括照片或视频的内容项来共享他们上传的照片或视频，这些内容项被呈现给在线系统中他们所关连的其他用户。
为了便于内容的分发，在线系统通常允许其用户向内容项添加标签，这有助于其他在线系统用户搜索内容项。当创建内容项时，在线系统用户可以添加标签，该标签突出可能与内容项中包括的内容相关联的关键字或主题。标签可以由井号(#)后面跟着文本(例如关键字、短语、类别、主题等)或者是表情符号(emoji)组成，并且可以被添加到内容项的一部分(例如，在标题中、在对内容项的评论中等等)。例如，当创建包括花的照片的内容项时，在线系统用户可以通过在标题中包括“#花(#flower)”和“#照片(#photo)”来向内容项添加标签。在该示例中，一旦创建了内容项，当其他在线系统用户搜索包括一个或更多个标签的内容项时，该内容项可以被包括在搜索结果中返回的内容项之中。由于标签为在线系统用户提供了搜索当前流行或“热门(trending)”主题的便利方式，因此创建内容项的用户可能更倾向于创建与热门主题相关联的内容项，并将对应于热门主题(trending topic)的标签添加到他们的内容项。
然而，潜在地可能创建与热门主题相关联的内容项的在线系统用户可能不知道该主题是热门的，并且可能放弃创建内容项或者可能创建内容项，但是放弃添加与热门主题相对应的标签。例如，假设皮夹克的主题当前是热门的，并且搜索与该主题相关联的内容项的大多数在线系统用户正在搜索包括标签“#皮夹克(#leatherjacket)”的内容项。在该示例中，还假设于在线系统中具有存在的实体先前已向在线系统提供了产品目录，并且皮夹克被包括在被包括于产品目录中的产品之中。在上面的示例中，虽然实体可能创建与热门主题相关联的一个或更多个内容项，但是如果实体不知道主题是热门的，则实体可能不这样做。此外，在上述示例中，即使实体创建了与热门主题相关联的内容项，如果内容项不包括标签“#皮夹克”(例如，如果标签被拼错)，或者如果内容项包括在线系统用户不经常用来搜索内容的不同标签或标签组合，则在线系统用户可能不会发现内容项。
概述
为了便于内容的分发，在线系统通常允许他们的用户在创建内容项时向内容项添加标签，这有助于其他在线系统用户搜索内容项。由于标签为在线系统用户提供了搜索热门主题的便利方式，因此创建内容项的用户可能更倾向于创建与热门主题相关联的内容项，并将对应于热门主题的标签添加到他们的内容项。然而，潜在地可能创建与热门主题相关联的内容项的在线系统用户可能不知道该主题是热门的，并且可能放弃创建内容项或者可能创建内容项，但是放弃添加与热门主题相对应的标签。
为了鼓励在线系统用户创建与热门主题相关联的内容项并将对应于热门主题的标签添加到内容项，在线系统建议在线系统中的实体创建描述与至少具有性能度量的阈值的主题相关联的项目的内容项，并将描述该项目的标签添加到内容项。更具体地，在线系统检索于在线系统中被维护的多个内容项，并访问基于与一组内容项相关联的主题和该组内容项的内容而训练的机器学习模型。在线系统应用该模型来基于每个检索到的内容项的内容预测每个检索到的内容项与主题相关联的概率，并且识别与至少阈值概率相关联的一个或更多个内容项。在线系统检索描述用户对所识别的内容项的参与的信息，并基于该信息确定主题的性能度量值。如果在线系统确定该值至少是阈值，并且从在于在线系统上具有存在的实体接收到描述与该主题相关联的项目的内容，则在线系统确定向该实体传送推荐以创建描述该项目的内容项并将与该项目相关联的标签添加到该内容项的机会。然后，在线系统将推荐传送给实体。
附图简述
图1是根据实施例的在线系统在其中操作的系统环境的框图。
图2是根据实施例的在线系统的框图。
图3是根据实施例的方法的流程图，该方法用于建议在线系统中的实体创建描述与至少具有性能度量的阈值的主题相关联的项目的内容，并将描述该项目的标签添加到该内容。
图4是根据实施例的用户界面的示例，该用户界面包括创建描述项目的内容项并向内容项添加各种组成部分的推荐。
附图仅为了说明的目的而描绘各种实施例。本领域中的技术人员从下面的讨论中将容易认识到，本文示出的结构和方法的替代实施例可以被采用而不偏离本文所述的原理。
详细描述
系统架构
图1是在线系统140的系统环境100的框图。图1所示的系统环境100包括一个或更多个客户端设备110、网络120、一个或更多个第三方系统130和在线系统140。在替代配置中，系统环境100中可以包括不同和/或附加的部件。
客户端设备110是能够接收用户输入以及经由网络120发送和/或接收数据的一个或更多个计算设备。在一个实施例中，客户端设备110是常规的计算机系统，诸如台式计算机或膝上型计算机。替代地，客户端设备110可以是具有计算机功能的设备，例如个人数字助理(PDA)、移动电话、智能手机或其他合适的设备。客户端设备110被配置成经由网络120进行通信。在一个实施例中，客户端设备110执行允许客户端设备110的用户与在线系统140交互的应用。例如，客户端设备110执行浏览器应用，以使得客户端设备110和在线系统140之间能够经由网络120进行交互。在另一实施例中，客户端设备110通过运行在客户端设备110的本机(native)操作系统(例如
Figure BDA0003042572570000041
或ANDROIDTM)上的应用编程接口(API)来与在线系统140交互。
客户端设备110被配置成使用有线和/或无线通信系统经由网络120进行通信，网络120可以包括局域网和/或广域网的任何组合。在一个实施例中，网络120使用标准通信技术和/或协议。例如，网络120包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、3G、4G、码分多址(CDMA)、数字用户线路(DSL)等技术的通信链路。用于经由网络120进行通信的网络协议的示例包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)和文件传输协议(FTP)。可以使用任何合适的格式(例如超文本标记语言(HTML)或可扩展标记语言(XML))来表示通过网络120交换的数据。在一些实施例中，可以使用任何合适的一项技术或多项技术来对网络120的所有或一些通信链路进行加密。
一个或更多个第三方系统130可以耦合到网络120，以与在线系统140进行通信，这将在下面结合图2进行进一步的描述。在一个实施例中，第三方系统130是应用提供者，其传送描述用于由客户端设备110执行的应用的信息，或者向客户端设备110传送数据以供在客户端设备110上执行的应用使用。在其他实施例中，第三方系统130(例如，内容发布者)通过客户端设备110提供用于呈现的内容或其他信息。第三方系统130还可以向在线系统140传送信息，诸如广告、内容或关于第三方系统130提供的应用的信息。
图2是在线系统140的架构的框图。图2所示的在线系统140包括用户简档储存器205、内容储存器210、动作记录器215、动作日志220、边储存器225、主题提取引擎230、机器学习模块235、预测模块240、性能确定模块245、受众确定模块(audience determinationmodule)250、用户界面生成器255、内容选择模块260和web服务器265。在其他实施例中，在线系统140可以包括用于各种应用的附加的、更少的或不同的部件。没有示出常规部件(例如网络接口、安全功能、负载平衡器、故障转移服务器、管理和网络操作控制台等)，以便不使系统架构的细节模糊。
在线系统140的每个用户与被存储在用户简档储存器205中的用户简档相关联。用户简档包括由用户明确分享的关于用户的声明性信息，并且还可以包括由在线系统140推断的简档信息。在一个实施例中，用户简档包括多个数据字段，每个数据字段描述相应在线系统用户的一个或更多个属性。被存储在用户简档中的信息的示例包括传记信息、人口统计信息和其他类型的描述性信息(例如工作经历、教育历史、性别、爱好或偏好、位置等)。用户简档还可以存储用户提供的其他信息，例如图像或视频。在某些实施例中，可以用标识图像中显示的在线系统用户的信息来对用户的图像进行标记，其中标识用户被标记的图像的信息存储在用户的用户简档中。用户简档储存器205中的用户简档还可以维护对相应用户在内容储存器210中的内容项上执行的、并被存储在动作日志220中的动作的引用。
虽然用户简档储存器205中的用户简档通常与个人相关联，允许个人经由在线系统140彼此进行交互，但是也可以为诸如企业或组织的实体而存储用户简档。这允许实体在在线系统140中建立存在，用于与其他在线系统用户关连并交换内容。实体可以使用与该实体的用户简档相关联的品牌页面来发布关于其自身、关于其产品的信息或者向在线系统140的用户提供其他信息。在线系统140的其他用户可以关连到品牌页面以接收被发布到品牌页面的信息或者从品牌页面接收信息。与品牌页面相关联的用户简档可以包括关于实体自身的信息，以向用户提供关于实体的背景或信息数据。
内容储存器210存储对象，这些对象各自表示各种类型的内容。由对象表示的内容的示例包括页面帖子、状态更新、照片、视频、链接、共享的内容项、游戏应用成就、本地企业处的签到(check-in)事件、页面(例如，品牌页面)、广告或任何其他类型的内容。在线系统用户可以创建由内容储存器210存储的对象，诸如状态更新、被用户标记为与在线系统140中的其他对象相关联的照片、事件、群组或应用。在一些实施例中，从第三方应用或独立于在线系统140的第三方应用接收对象。在一个实施例中，内容储存器210中的对象表示单条内容(single piece of content)或内容“项目(item)”。因此，通过经由各种通信渠道将文本和各种类型的媒体的内容项发布到在线系统140来鼓励在线系统用户与彼此进行通信。这增加了用户与彼此之间的交互的量，并增加了用户在在线系统140内交互的频率。
动作记录器215接收关于在线系统140内部和/或外部的用户动作的通信，用关于用户动作的信息填充动作日志220。动作的示例包括添加与另一用户的关连、向另一用户发送消息、上传图像、读取来自另一用户的消息、查看与另一用户相关联的内容以及参加由另一用户发布的事件。此外，许多动作可能涉及一个对象和一个或更多个特定用户，因此这些动作也与这些用户相关联并被存储在动作日志220中。
在线系统140可以使用动作日志220来跟踪在线系统140中的用户动作，以及跟踪向在线系统140传送信息的第三方系统130中的动作。用户可以与在线系统140中的各种对象交互，并且描述这些交互的信息被存储在动作日志220中。与对象的交互的示例包括：评论帖子、分享链接、经由客户端设备110在物理位置签到、访问内容项以及任何其他合适的交互。包括在动作日志220中的与在线系统140中的对象的交互的附加示例包括：评论相册、与用户通信、与对象建立关连、加入事件、加入群组、创建事件、授权应用、使用应用、表达对对象的偏好(“点赞(like)”对象)、以及参与交易。此外，动作日志220可以记录用户与在线系统140中的广告的交互以及与在线系统140中运行的其他应用的交互。在一些实施例中，来自动作日志220的数据被用于推断用户的兴趣或偏好，增强了用户的用户简档中包括的兴趣，并允许对用户偏好的更完整的理解。
动作日志220还可以存储在第三方系统130(例如外部网站)上采取的、并被传送给在线系统140的用户动作。例如，电子商务网站可以通过使电子商务网站能够识别在线系统140的用户的社交插件(social plug-in)来辨识在线系统140的用户。因为在线系统140的用户是唯一可识别的，所以(例如在前面的示例中)电子商务网站可以将关于用户于在线系统140外部的动作的信息传送给在线系统140，用于与用户进行关联。因此，动作日志220可以记录关于用户在第三方系统130上执行的动作的信息，包括网页浏览历史、参与的广告、完成的购买以及来自购物和购买的其他模式。此外，用户经由与第三方系统130相关联并在客户端设备110上运行的应用执行的动作可以被传送到动作记录器215，以由该应用存储在动作日志220中，用于由在线系统140记录并与用户相关联。
在一个实施例中，边储存器225将描述用户与在线系统140中的其他对象之间的关连的信息存储为边。某些边可以由用户定义，允许用户指定他们与其他用户的关系。例如，用户可以生成平行于用户的现实生活关系(例如朋友、同事、伙伴等等)的与其他用户的边。当用户与在线系统140中的对象交互(例如表达对在线系统140中的页面的兴趣、与在线系统140的其他用户分享链接、以及对由在线系统140的其他用户制作的帖子进行评论)时，生成其他边。
在一个实施例中，边可以包括各种特征，每个特征表示用户之间的交互、用户和对象之间的交互或者对象之间的交互的特征。例如，边中包括的特征描述了两个用户之间的交互的速率、两个用户最近如何与彼此进行交互、一个用户检索关于对象的信息的速率或量、或者用户发布的关于对象的评论的数量和类型。这些特征还可以表示描述特定对象或用户的信息。例如，特征可以表示用户对特定主题的兴趣程度、用户登录在线系统140的速率、或者描述关于用户的人口统计信息的信息。每个特征可以与源对象或用户、目标对象或用户以及特征值相关联。特征可以被指定为基于描述源对象或用户、目标对象或用户、或者源对象或用户与目标对象或用户之间的交互的值的表达式；因此，边可以被表示为一个或更多个特征表达式。
边储存器225还存储关于边的信息，例如对象、兴趣和其他用户的亲和力分数(affinity score)。在线系统140可以随时间计算亲和力分数或“亲和力”，以基于用户执行的动作来近似用户对在线系统140中的另一用户或对象的兴趣。在线系统140可以随时间计算用户的亲和力，以基于用户执行的动作来近似用户对在线系统140中的另一用户、对象或主题的兴趣。在于2010年12月23日提交的第12/978,265号美国专利申请、于2012年11月30日提交的第13/690,254号美国专利申请、于2012年11月30日提交的第13/689,969号美国专利申请和于2012年11月30日提交的第13/690,088号美国专利申请中进一步描述了亲和力的计算，这些专利申请中的每一个专利申请都在此通过引用以其整体并入。在一个实施例中，用户和特定对象之间的多个交互可以作为单条边被存储在边储存器225中。替代地，用户和特定对象之间的每次交互都被存储为单独的边。在一些实施例中，用户之间的关连可以被存储在用户简档储存器205中，或者用户简档储存器205可以访问边储存器225以确定用户之间的关连。
在线系统140包括主题提取引擎230，其识别与内容储存器210中的对象相关联的一个或更多个主题。为了识别与内容项相关联的主题，主题提取引擎230识别被包括在内容项中的锚定词汇(anchor terms)，并确定锚定词汇的含义，如在2011年6月24日提交的美国专利申请第13/167,701号(2017年10月3日发布的美国专利第9,779,385号)中进一步描述的，该申请通过引用以其整体结合于此。例如，主题提取引擎230确定与内容储存器210中维护的内容项相关联的一个或更多个主题。与内容项相关联的一个或更多个主题被存储并与对应于该内容项的对象标识符相关联。在各种实施例中，对象标识符和主题之间的关联存储在主题提取引擎230或内容储存器210中，以简化与对象标识符相关联的一个或更多个主题的检索或与指定主题相关联的对象标识符的检索。与内容项相关联的结构化信息也可以用于提取与内容项相关联的主题。下面结合图3进一步描述主题提取引擎230的功能。
机器学习模块235可以训练机器学习模型来预测内容项与主题相关联的概率。内容项可以关联的主题的示例包括人(例如，私人、公众人物或团体)、政治问题或运动、组织、特定项目(例如，特定产品)、产品或服务的类别、书籍类型、菜肴(cuisine)、饮食等。机器学习模型可以是卷积神经网络、深度学习模型或任何其他合适的机器学习模型。在一些实施例中，机器学习模块235可以训练共同预测内容项与主题相关联的概率的多个机器学习模型。机器学习模块235可以基于与内容项的训练集和包括在内容项的每个训练集中的内容相关联的一个或更多个主题来训练机器学习模型。包括在可用于训练机器学习模型的内容项中的内容可包括各种类型的结构化和/或非结构化数据，例如文本数据、图像数据、视频数据、音频数据或可包括在内容项中的任何其他合适类型的数据。
机器学习模块235可以使用各种技术来训练机器学习模型。在用于训练机器学习模型的内容包括文本数据(例如，包括在标题、评论、标签、元数据或与内容项相关联的位置中的文本)的实施例中，机器学习模块235可以使用一种或更多种自然语言处理技术(例如主题建模算法和/或词嵌入算法(例如，潜在语义分析(LSA)、概率潜在语义分析(PLSA)、潜在狄利克雷分配(LDA)、Word2Vec、LDA2Vec等))来训练机器学习模型。在用于训练机器学习模型的内容包括音频数据的实施例中，机器学习模块235可以预处理音频数据，例如通过去除噪声、将语音转录成文本(例如，手动或使用音频转录技术(例如，自动语音识别(ASR))等)。机器学习模块235还可以使用一个或更多个算法来训练机器学习模型，这些算法将音频数据分类(例如，分成不同类型的噪声、不同类型的音乐等)。此外，在用于训练机器学习模型的音频数据包括被转录成文本的语音的实施例中，如上所述，该文本可以用于使用一种或更多种自然语言处理技术来训练机器学习模型。在用于训练机器学习模型的内容包括图像数据和/或视频数据的实施例中，如下所述，机器学习模块235可以使用一种或更多种图像处理技术来训练机器学习模型。
在用于训练机器学习模型的内容包括图像数据和/或视频数据的实施例中，一旦被训练，机器学习模型可以首先检测包含在内容项中的一个或更多个对象，然后预测每个对象与主题相关联的概率。机器学习模型可以通过对图像应用一种或更多种对象检测方法来检测被包括在内容项中的图像内(或者被包括在内容项中所包括的视频的一个或更多个帧中的图像内)的一个或更多个对象。机器学习模型还可以(例如，通过生成围绕每个对象的边界框)识别在图像中检测到的对象的位置。在各种实施例中，机器学习模型使用一种或更多种对象检测方法来识别对应于在图像中检测到的每个对象的类别或类型。例如，使用对象检测方法，机器学习模型基于对象的属性将不同类别或类型(例如，产品或其他项目的类型)与图像内检测到的对象相关联。然后，机器学习模型做出一个或更多个预测，每个预测对应于在图像中检测到的对象与主题(例如，机器学习模型已经将其与对象相关联的类别或类型)相关联的概率，并输出一个或更多个概率。在各种实施例中，机器学习模型可以预测在图像中检测到的对象对应于特定项目(例如，产品)，其中该项目对应于主题。在这样的实施例中，机器学习模型可以将对象与项目的图像(例如，包括在产品目录中的产品的图像)进行比较，并且基于比较做出一个或更多个预测，每个预测对应于在图像中检测到的对象与主题相关联的概率。
在机器学习模型预测在被包括在内容项中的图像内检测到的对象与主题相关联的概率的实施例中，机器学习模块235可以基于包括与不同主题相关联的不同对象的图像的训练图像集来训练机器学习模型。在一些实施例中，训练图像集可以包括标识与不同对象相关联的不同主题的公共可用信息。也可以基于表征每个训练图像集的属性(例如，形状、边缘、曲线等)以及标识与每个训练图像集相关联的主题的信息来训练机器学习模型。
在机器学习模型预测在图像内检测到的对象对应于特定项目的概率的实施例中，机器学习模块235可以基于在图像内检测到的对象与项目的图像的比较来训练机器学习模型。在一些实施例中，机器学习模块235训练机器学习模型，以基于在图像内检测到的对象与不同项目(例如，包括在一个或更多个产品目录中的不同产品的图像)的先前匹配来预测在图像内检测到的对象与项目匹配的概率。例如，机器学习模块235基于对象的属性(例如，徽标、商标、标志、图标、图案、纹理、印刷品等)将标记应用于在图像中检测到的对象，指示该对象与项目(例如，产品)匹配。根据从图像提取的对象的标记的属性，机器学习模块235使用任何合适的训练方法或训练方法的组合(例如，如果机器学习模型是神经网络，则使用反向传播，如果机器学习模型是线性回归模型，则使用曲线拟合技术，等等)来训练机器学习模型。下面结合图3进一步描述机器学习模块235的功能。
预测模块240(例如，从内容储存器210)检索(例如，如图3的步骤305所示)于在线系统140中维护的内容项。例如，预测模块240访问内容储存器210并检索由在线系统140的一个或更多个用户创建的各种内容项。在一些实施例中，预测模块240可以基于一组标准(例如，基于内容项的创建者、基于内容项何时被创建、基于与内容项相关联的地理位置等)来检索内容项。例如，预测模块240可以仅检索由在线系统140的非商家用户在过去一个月内创建的内容项。或者，在上述示例中，预测模块240可以仅检索在线系统140的商家用户在过去一个月内创建的内容项。
预测模块240还访问(例如，如图3的步骤310所示)经训练的机器学习模型，并应用(例如，如图3的步骤315所示)机器学习模型来预测内容项与主题相关联的概率。在一些实施例中，机器学习模型可以由机器学习模块235训练，而在其他实施例中，机器学习模型可以由第三方系统130训练。为了使用机器学习模型来预测内容项与主题相关联的概率，预测模块240向机器学习模型提供包括内容项的内容的输入。如上所述，内容项的内容可以包括内容项的一个或更多个组成部分(例如，标题、一个或更多个图像、一个或更多个视频、一个或更多个标签、指定内容项的受众的一组定位标准、位置、一个或更多个音频文件等)中所包括的各种类型的结构化和/或非结构化数据(例如，文本数据、图像数据、视频数据、音频数据等)。基于内容项的内容，机器学习模型预测内容项与主题相关联的概率。预测模块240然后从机器学习模型接收对应于预测概率的输出。在一些实施例中，预测模块240可以访问和应用共同执行机器学习模型的功能的多个机器学习模型。下面结合图3进一步描述预测模块240的功能。
性能确定模块245识别(例如，如图3的步骤320所示)一个或更多个内容项，每个内容项与机器学习模型预测的至少是阈值概率的概率相关联。在一些实施例中，性能确定模块245可以通过将与内容项相关联的预测概率与阈值概率进行比较，然后基于该比较来确定预测概率是否至少是阈值概率来这样做。例如，假设预测模块240已经应用机器学习模型来预测多个内容项与主题相关联的概率。在该示例中，性能确定模块245可以将与机器学习模型预测的每个内容项相关联的概率与阈值概率进行比较。在该示例中，如果概率至少是阈值概率，则性能确定模块245识别内容项。在上述示例中，如果概率小于阈值概率，则性能确定模块245不识别内容项。
性能确定模块245还检索(例如，如图3的步骤325所示)描述用户对一个或更多个内容项的参与的信息。用户对内容项的参与的类型的示例可以包括查看内容项、共享内容项、保存内容项、表达对内容项的偏好、评论内容项、报告内容项不合适、与内容项交互以取消订阅由创建内容项的在线系统用户创建的内容等。性能确定模块245可以从动作日志220和/或边储存器225中检索描述用户对内容项的参与的信息。例如，性能确定模块245可以从动作日志220和/或边储存器225检索信息，该信息描述内容项被查看的次数、内容项被共享的次数、内容项被保存的次数、在线系统140的一个或更多个用户表达对内容项的偏好的次数、对内容项的评论的次数、每个用户参与内容项的时间等。或者，在上述示例中，性能确定模块245可以从动作日志220和/或边储存器225中检索描述用户对内容项的参与的类型发生的每个实例的信息，然后可以将其制成表格以确定用户对内容项的参与的类型发生的次数。
在一些实施例中，描述用户对由性能确定模块245检索的内容项的参与的信息还可以包括与参与内容项的每个在线系统用户相关联的各种类型的信息。例如，性能确定模块245可以检索标识参与内容项的每个用户的信息、描述与用户相关联的客户端设备110的类型的信息等。在性能确定模块245检索标识参与内容项的每个用户的信息的实施例中，性能确定模块245可以将该信息传送给受众确定模块250。在一些实施例中，如下文进一步描述的，如果性能确定模块245确定与内容项相关联的主题的性能度量的值至少是阈值，则性能确定模块245可以这样做。或者，在一些实施例中，如下文进一步描述的，如果性能确定模块245确定与内容项相关联的主题的性能度量的值为异常(anomaly)(例如，对于当前时间段)，则性能确定模块245可以将标识参与内容项的每个用户的信息传送给受众确定模块250。
性能确定模块245还基于由性能确定模块245检索的描述用户对与主题相关联的一个或更多个内容项(例如，与机器学习模型预测的概率相关联的至少是阈值概率的内容项)的参与的信息，来确定(例如，如图3的步骤330所示)主题的性能度量的值。性能度量的示例包括点击率(CTR)、转化率或描述用户对一个或更多个内容项的参与的任何其他合适类型的性能度量。在性能确定模块245基于描述用户对与主题相关联的多个内容项的参与的信息来确定主题的性能度量值的实施例中，性能确定模块245可以确定每个内容项的性能度量值，并且基于所有内容项的性能度量值来确定主题的性能度量值。例如，性能确定模块245可以将主题的点击率的值确定为与该主题相关联的多个内容项的点击率的平均值。
一旦性能确定模块245已经确定了主题的性能度量的值，性能确定模块245可以确定该值是否至少是阈值。性能确定模块245可以通过将该主题的性能度量的值与阈值进行比较，然后基于该比较确定该主题的性能度量的值是否至少是阈值来这样做。例如，假设性能确定模块245已经将主题的性能度量的值确定为3.5％，其中性能度量的值对应于与主题相关联的多个内容项的登录页面转化率的平均值。在该示例中，如果阈值对应于值3.2％，则性能确定模块245确定335主题的性能度量的值至少是阈值，因为3.5％等于或大于3.2％。
在一些实施例中，性能确定模块245可以确定主题的性能度量的值是否为异常。在这样的实施例中，性能确定模块245可以针对特定时间段(例如，当前时间段)做出确定。例如，性能确定模块245可以将当前时间段的主题的性能度量值与先前时间段的主题的性能度量值进行比较。在该示例中，如果当前时间段的主题的性能度量的值比先前时间段的主题的性能度量的值大至少阈值量，则性能确定模块245可以确定当前时间段的主题的性能度量的值为异常。或者，在上述示例中，如果当前时间段的主题的性能度量的值不大于先前时间段的主题的性能度量的值至少阈值量，则性能确定模块245可以确定当前时间段的主题的性能度量的值不是异常。性能确定模块245可以使用任何异常检测技术(例如，基于密度的技术，诸如k最近邻法、一类支持向量机等)来确定主题的性能度量的值是否为异常。下面结合图3进一步描述性能确定模块245的功能。
受众确定模块250可以确定与主题相关联的一组定位标准。为此，受众确定模块250可以接收标识参与了与主题相关联的内容项的每个在线系统用户的信息(例如，来自性能确定模块245)。受众确定模块250然后可以(例如，从用户简档储存器205、动作日志220和/或边储存器225)检索与每个用户相关联的各种属性，并基于检索到的信息确定与主题相关联的一组定位标准。例如，基于与参与与主题相关联的内容项的每个在线系统用户相关联的用户名，受众确定模块250可以从用户简档储存器205检索描述与每个用户相关联的人口统计信息(例如，与每个用户相关联的年龄和地理位置)、描述每个用户的爱好和职业的信息等的信息。在该示例中，受众确定模块250还可以从动作日志220和/或边储存器225中检索描述每个用户的交互(例如，与在线系统140的其他用户或于在线系统140中维护的对象的交互)的信息。在上述示例中，基于检索到的信息，受众确定模块250可以确定与主题相关联的一组定位标准，其中定位标准由可能对主题有亲和力的在线系统140的用户满足。下面结合图3进一步描述受众确定模块250的功能。
用户界面生成器255生成创建内容项的推荐。在一些实施例中，该推荐可以对应于创建描述项目的内容项的推荐。此外，在这样的实施例中，项目可以与主题相关联。在一些实施例中，该推荐可以被包括在由用户界面生成器255生成的编辑器界面中。在其他实施例中，该推荐可以被包括在由用户界面生成器255生成的窗口(例如，弹出窗口)或任何其他合适的用户界面中。包括推荐的编辑器界面或其他用户界面可以经由与用户/实体相关联的客户端设备110被传送给在线系统140的用户或于在线系统140上具有存在的其他实体。
由用户界面生成器255生成的推荐也可以或替代地包括一个或更多个选项，以向内容项添加各种组成部分。可以添加到内容项的组成部分的示例包括一个或更多个标签、标题、一个或更多个视频、一个或更多个图像、指定内容项的受众的一组定位标准、位置、一个或更多个音频文件或任何其他合适类型的组成部分。在推荐包括向内容项添加各种组成部分的一个或更多个选项的实施例中，推荐还可以包括对应于组成部分的预先填充的信息。例如，如果推荐包括向内容项添加一个或更多个标签的选项，则推荐可以包括与对象或主题相关联的标签，例如预先填充有描述对应于对象的产品的信息或描述对应于主题的产品类别的信息的标签。在上述示例中，如果推荐还包括向内容项添加一个或更多个图像的选项，则推荐可以预先填充有被包括在产品目录中的产品的一个或更多个图像。
在推荐包括与内容项的一个或更多个组成部分相对应的预先填充的信息的实施例中，预先填充的信息可以被接受或拒绝。例如，假设在线系统140已经向实体传送了创建内容项并将标签和图像添加到内容项的推荐，其中该推荐包括与标签和图像相对应的预先填充的信息。在该示例中，实体可以通过向在线系统140传送创建内容项的请求来接受预先填充的信息，其中该请求包括预先填充的信息。在该示例中，在线系统140然后可以基于该请求创建内容项。或者，在上述示例中，实体可以(例如，通过取消选择或删除标签和/或图像)拒绝与一个或更多个组成部分相对应的预先填充的信息。在该示例中，实体可以向在线系统140传送创建内容项的请求，其中该请求不再包括被实体拒绝的预先填充的信息。在该示例中，在线系统140然后可以基于该请求创建内容项。
用户界面生成器255可以生成包括一个或更多个主题的一个或更多个性能度量的一个或更多个值的用户界面。用户界面可以对应于可以结合由用户界面生成器255生成的推荐被传送的窗口(例如，弹出窗口)。在用户界面生成器255生成包括推荐的编辑器界面的实施例中，主题的性能度量的值也可以包括在编辑器界面中。可以以各种方式(例如，通过文本、以图表形式等)来表示主题的性能度量的值。例如，假设主题的性能度的量值对应于网球相关内容的转化率，并且假设主题的性能度量的附加值对应于网球相关内容的点击率。在该示例中，用户界面生成器255可以生成包括多个图表(graph)的编辑器界面或单独的窗口，这些图表指示在线系统140的用户对网球相关内容的转化率和点击率，在线系统140的这些用户被呈现了与网球主题相关联的内容项。在一些实施例中，由用户界面生成器255生成的用户界面/编辑器界面可以包括一个或更多个交互元素(例如，下拉菜单、按钮等)。在上述示例中，包括在编辑器界面/窗口中的交互元素可以允许被呈现图表的其他实体或在线系统140的用户查看对应于不同时间段、不同地理位置等的性能度量的值的图表。
在一些实施例中，用户界面生成器255还可以基于从在线系统140的用户或于在线系统140上具有存在的任何其他实体接收的请求来生成内容项。该请求可以经由用户界面(例如，编辑器界面)接收，并且可以包括请求中指定的一个或更多个组成部分。内容项的组成部分可以包括标题、一个或更多个图像、一个或更多个视频、一个或更多个标签、指定内容项的受众的一组定位标准、位置、一个或更多个音频文件或任何其他合适类型的组成部分。在一些实施例中，用户界面生成器255可以生成内容项，以包括对应于内容项的一个或更多个组成部分的预先填充的信息，该预先填充的信息已被在线系统用户或请求创建内容项的其他实体接受。在各种实施例中，用户界面生成器255还可以或可替换地生成内容项，以包括与内容项的一个或更多个组成部分相对应的信息，该信息已经由请求创建内容项的在线系统用户或其他实体提供。下面结合图3和图4进一步描述用户界面生成器255的功能。
内容选择模块260可以识别有资格被呈现给在线系统140的观看用户的一个或更多个候选内容项。内容选择模块260从内容储存器210或从另一个源检索有资格被呈现给观看用户的候选内容项，内容选择模块260可以对候选内容项进行排名，并选择一个或更多个候选内容项来呈现给观看用户。有资格被呈现给观看用户的候选内容项是与由观看用户的特征满足的至少阈值数量的定位标准相关联的内容项，或者是与定位标准不相关联的内容项。在各种实施例中，内容选择模块260包括在一个或更多个内容选择过程(其识别用于呈现给观看用户的一组内容项)中有资格被呈现给观看用户的候选内容项。例如，内容选择模块260基于在线系统140与观看用户相关联的特征，并基于观看用户对不同候选内容项的亲和力，来确定各种候选内容项与观看用户的相关性的度量。基于相关性的度量，内容选择模块260选择内容项以呈现给观看用户。作为另外的示例，内容选择模块260选择具有最高相关性度量或至少具有阈值相关性度量的内容项，以呈现给观看用户。可选地，内容选择模块260基于候选内容项的相关联的相关性度量对其进行排名，并选择在排名中具有靠前位置或者在排名中具有至少阈值位置的内容项以呈现给观看用户。
被选择用于呈现给观看用户的内容项可以与出价金额相关联。当选择呈现给观看用户的内容时，内容选择模块260可以使用与候选内容项相关联的出价金额。在各种实施例中，内容选择模块260基于各种候选内容项的出价金额来确定与各种候选内容项相关联的期望值，并且选择与最大期望值相关联或者与至少阈值期望值相关联的内容项以呈现给观看用户。与候选内容项相关联的期望值表示对在线系统140呈现候选内容项的预期的报酬(compensation)金额。例如，与候选内容项相关联的期望值是候选内容项的出价金额和观看用户与来自候选内容项的内容交互的可能性的乘积。内容选择模块260可以基于候选内容项的相关出价金额对其进行排名，并选择在排名中至少具有阈值位置的内容项以呈现给观看用户。在一些实施例中，内容选择模块260基于与候选内容项相关联的出价金额和相关性度量，在统一的排名中对不与出价金额相关联的候选内容项和与出价金额相关联的候选内容项进行排名。基于统一排名，内容选择模块260选择内容以呈现给观看用户。在2012年7月10日提交的美国专利申请第13/545,266号中进一步描述了通过统一排名选择内容项，该申请通过引用以其整体结合于此。
例如，内容选择模块260接收向在线系统140的观看用户呈现内容信息流(feed)的请求。该信息流可以包括一个或更多个广告以及其他内容项，例如描述与关连到观看用户的其他在线系统用户相关联的动作的动态(story)。内容选择模块260访问用户简档储存器205、内容储存器210、动作日志220和边储存器225中的一个或更多个，以检索关于观看用户的信息。例如，检索与关连到观看用户的用户相关联的动态或其他数据。内容选择模块260分析检索到的动态或其他内容项，以识别可能与观看用户相关的候选内容。例如，与未关连到观看用户的用户相关联的动态或者与观看用户具有小于阈值亲和力的用户相关联的动态被放弃为候选内容。基于各种标准，内容选择模块260选择被识别为候选内容的一个或更多个内容项以呈现给观看用户。所选择的内容项可以被包括在呈现给观看用户的内容信息流中。例如，内容的信息流包括描述与通过在线系统140关连到观看用户的用户相关联的动作的至少阈值数量的内容项。
在各种实施例中，内容选择模块260通过动态消息(newsfeed)向观看用户呈现内容，该动态消息包括被选择用于呈现给观看用户的多个内容项。一个或更多个广告也可以被包括在信息流中。内容选择模块260还可以确定所选择的内容项经由信息流被呈现的顺序。例如，内容选择模块260基于观看用户与各种内容项交互的可能性来对信息流中的内容项进行排序。下面结合图3进一步描述内容选择模块260的功能。
web服务器265经由网络120将在线系统140链接到一个或更多个客户端设备110以及链接到一个或更多个第三方系统130。web服务器265提供网页以及其他内容，例如
Figure BDA0003042572570000181
XML等。web服务器265可以接收消息并在在线系统140和客户端设备110之间路由该消息(例如即时消息、排队消息(例如，电子邮件)、文本消息、短消息服务(SMS)消息或使用任何其他合适的消息传送技术发送的消息)。用户可以向web服务器265发送上传存储在内容储存器210中的信息(例如，图像或视频)的请求。此外，web服务器265可以提供应用编程接口(API)功能，以将数据直接发送到本机客户端设备操作系统，例如
Figure BDA0003042572570000182
ANDROIDTM、
Figure BDA0003042572570000183
或BlackberryOS。
建议在线系统中的实体创建描述与至少具有性能度量的阈值的主题相关联的项 目的内容，并将描述该项目的标签添加到该内容
图3是一种方法的流程图，该方法用于建议在线系统中的实体创建描述与至少具有性能度量的阈值的主题相关联的项目的内容，并将描述该项目的标签添加到该内容。在其他实施例中，该方法可以包括不同于图3所示的步骤和/或附加步骤。另外，该方法的步骤可以以不同于结合图3描述的顺序来执行。
在线系统140(例如，从内容储存器210)检索305(例如，使用预测模块240)于在线系统140中维护的多个内容项。例如，在线系统140访问内容储存器210并检索305由在线系统140的一个或更多个用户创建的各种内容项。在一些实施例中，在线系统140可以基于一组标准(例如，基于内容项的创建者、基于内容项何时被创建、基于与内容项相关联的地理位置等)来(在步骤305中)检索内容项。例如，在线系统140可以(在步骤305)仅检索由在线系统140的非商家用户在过去一个月内创建的内容项。或者，在上述示例中，在线系统140可以(在步骤305)仅检索在线系统140的商家用户在过去一个月内创建的内容项。
在线系统140然后(例如，使用预测模块240)访问310经训练的机器学习模型(例如，由机器学习模块235或由第三方系统130训练的机器学习模型)，该模型经训练以预测内容项与主题相关联的概率。可以与内容项相关联的主题的示例包括人(例如，私人、公众人物或团体)、政治问题或运动、组织、特定项目(例如，特定产品)、产品或服务的类别、书籍类型、菜肴、饮食等。如上所述，机器学习模型可以是卷积神经网络、深度学习模型或任何其他合适的机器学习模型。在一些实施例中，在线系统140可以访问共同执行机器学习模型的功能的多个机器学习模型。
可以基于与内容项的训练集相关联的一个或更多个主题和包括在每个内容项的训练集中的内容来训练机器学习模型。被包括在可用于训练机器学习模型的内容项中的内容可包括各种类型的结构化和/或非结构化数据，例如文本数据、图像数据、视频数据、音频数据或可包括在内容项中的任何其他合适类型的数据。如上所述，可以使用各种技术来训练机器学习模型。在用于训练机器学习模型的内容包括文本数据(例如，被包括在标题、评论、标签、元数据或与内容项相关联的位置中的文本)的实施例中，可以使用一种或更多种自然语言处理技术(例如主题建模算法和/或词嵌入算法(例如，潜在语义分析(LSA)、概率潜在语义分析(PLSA)、潜在狄利克雷分配(LDA)、Word2Vec、LDA2Vec等))来训练机器学习模型。在用于训练机器学习模型的内容包括音频数据的实施例中，音频数据可以被预处理(例如，通过去除噪声、将语音转录成文本等)。也可以使用一个或更多个算法来训练机器学习模型，这些算法将音频数据分类(例如，分成不同类型的噪声、不同类型的音乐等)。此外，在用于训练机器学习模型的音频数据包括被转录成文本的语音的实施例中，如上所述，该文本可以用于使用一种或更多种自然语言处理技术来训练机器学习模型。在用于训练机器学习模型的内容包括图像数据和/或视频数据的实施例中，如下所述，可以使用一种或更多种图像处理技术来训练机器学习模型。
在用于训练机器学习模型的内容包括图像数据和/或视频数据的实施例中，机器学习模型可以首先检测被包括于在线系统140检索305的每个内容项中的一个或更多个对象，然后预测每个对象与主题相关联的概率。机器学习模型可以通过对图像应用一种或更多种对象检测方法来检测被包括在内容项中的图像内(或者被包括在内容项中所包括的视频的一个或更多个帧中的图像内)的一个或更多个对象。机器学习模型还可以(例如，通过生成围绕每个对象的边界框)识别在图像中检测到的对象的位置。在各种实施例中，机器学习模型使用一种或更多种对象检测方法来识别对应于在图像中检测到的每个对象的类别或类型。例如，使用对象检测方法，机器学习模型基于对象的属性将不同类别或类型(例如，产品或其他项目的类型)与图像内检测到的对象相关联。然后，机器学习模型做出一个或更多个预测，每个预测对应于在图像中检测到的对象与主题(例如，机器学习模型已经将其与对象相关联的类别或类型)相关联的概率，并输出一个或更多个概率。在各种实施例中，机器学习模型可以预测在图像中检测到的对象对应于特定项目(例如，产品)，其中项目对应于主题。在这样的实施例中，机器学习模型可以将对象与项目的图像(例如，被包括在产品目录中的产品的图像)进行比较，并且基于比较做出一个或更多个预测，每个预测对应于在图像中检测到的对象与主题相关联的概率。
在机器学习模型预测在被包括在内容项中的图像内检测到的对象与主题相关联的概率的实施例中，可以基于包括与不同主题相关联的不同对象的图像的训练图像集来训练机器学习模型。在一些实施例中，训练图像集可以包括标识与不同对象相关联的不同主题的公共可用信息。也可以基于表征每个训练图像集的属性(例如，形状、边缘、曲线等)以及标识与每个训练图像集相关联的主题的信息来训练机器学习模型。
在机器学习模型预测在图像内检测到的对象对应于特定项目的概率的实施例中，可以基于在图像内检测到的对象与项目的图像的比较来训练机器学习模型。在一些实施例中，机器学习模型被训练成基于在图像内检测到的对象与不同项目(例如，被包括在一个或更多个产品目录中的不同产品的图像)的先前匹配来预测在图像内检测到的对象与项目匹配的概率。例如，当训练机器学习模型时，在线系统140(或第三方系统130)基于对象的属性(例如，徽标、商标、标志、图标、图案、纹理、印刷品等)将标记应用于在图像内检测到的对象，指示该对象与项目(例如，产品)匹配。根据从图像提取的对象的被标记的属性，使用任何合适的训练方法或训练方法的组合(例如，如果机器学习模型是神经网络，则使用反向传播，如果机器学习模型是线性回归模型，则使用曲线拟合技术，等等)来训练机器学习模型。
在线系统140然后(例如，使用预测模块240)应用315机器学习模型来预测由在线系统140检索305的每个内容项与主题相关联的概率。为了应用315机器学习模型来预测由在线系统140检索305的内容项与主题相关联的概率，在线系统140向机器学习模型提供包括内容项的内容的输入。如上所述，内容项的内容可以包括内容项的一个或更多个组成部分(例如，标题、一个或更多个图像、一个或更多个视频、一个或更多个标签、指定内容项的受众的一组定位标准、位置、一个或更多个音频文件等)中所包括的各种类型的结构化和/或非结构化数据(例如，文本数据、图像数据、视频数据、音频数据等)。基于内容项的内容，机器学习模型预测内容项与主题相关联的概率。在线系统140然后从机器学习模型接收对应于预测概率的输出。在在线系统140检索共同执行机器学习模型功能的多个机器学习模型的实施例中，在线系统140可以以类似的方式应用机器学习模型。
在线系统140(例如，使用性能确定模块245)识别320一个或更多个内容项，每个内容项与机器学习模型预测的至少是阈值概率的概率相关联。在一些实施例中，在线系统140可以通过将与内容项相关联的预测概率与阈值概率进行比较，然后基于该比较来确定预测概率是否至少是阈值概率来这样做。例如，假设在线系统140已经应用315机器学习模型来预测由在线系统140检索305的内容项与主题相关联的概率。在该示例中，在线系统140可以将与机器学习模型预测的每个内容项相关联的概率与阈值概率进行比较。在该示例中，如果概率至少是阈值概率，则在线系统140识别320内容项。在上述示例中，如果概率小于阈值概率，则在线系统140不识别320内容项。
在一些实施例中，在线系统140可以(例如，使用主题提取引擎230)确定与在线系统140检索305的每个内容项相关联的一个或更多个主题，并识别与该主题相关联的一个或更多个内容项，而不是访问310并应用315机器学习模型，然后识别320与至少阈值概率相关联的一个或更多个内容项。例如，在线系统140可以通过识别被包括在内容项中的锚定词汇，然后确定每个锚定词汇的含义，来确定与每个检索到的内容项相关联的一个或更多个主题。在该示例中，与内容项相关联的每个主题然后可以与内容项相关联地存储(例如，存储在内容储存器210中)。继续该示例，在线系统140可以识别与主题相关联地存储的每个内容项。
在线系统140随后(例如，使用性能确定模块245)检索325描述用户对由在线系统140(例如，从动作日志220和/或边储存器225)识别320的内容项的参与的信息。用户参与内容项的类型的示例可以包括查看内容项、共享内容项、保存内容项、表达对内容项的偏好、评论内容项、报告内容项不合适、与内容项交互以取消订阅由创建内容项的在线系统用户创建的内容等。例如，在线系统140可以从动作日志220和/或边储存器225中检索325信息，该信息描述由在线系统140识别320的每个内容项被查看的次数、每个内容项被共享的次数、每个内容项被保存的次数、在线系统140的一个或更多个用户表达对每个内容项的偏好的次数、对每个内容项的评论的数量、每个用户参与每个内容项的时间等。可选地，在上述示例中，在线系统140可以从动作日志220和/或边储存器225中检索325描述用户对在线系统140所识别320的每个内容项的参与的类型发生的每个实例的信息，然后可以将其制成表格以确定用户对每个内容项的参与的类型的发生的次数。在一些实施例中，描述用户对由在线系统140检索325的、由在线系统140识别320的每个内容项的参与的信息还可以包括与参与内容项的每个用户相关联的各种类型的信息。例如，在线系统140可以检索325标识参与由在线系统140识别320的每个内容项的每个用户的信息、描述与用户相关联的客户端设备110的类型的信息等。
在线系统140然后基于检索到的描述用户对内容项的参与的信息来(例如，使用性能确定模块245)确定330主题的性能度量的值。性能度量的示例包括点击率(CTR)、转化率或描述用户对内容项的参与的任何其他合适类型的性能度量。在在线系统140基于描述用户对多个内容项的参与的信息来确定330主题的性能度量的值的实施例中，在线系统140可以确定每个内容项的性能度量的值，并且基于所有内容项的性能度量的值来确定主题的性能度量的值。例如，在线系统140可以将主题的点击率的值确定为在线系统140识别320的多个内容项的点击率的平均值。
一旦在线系统140已经确定330该主题的性能度量的值，在线系统140可以确定该值是否至少是阈值。在线系统140可以通过将该主题的性能度量的值与阈值进行比较，然后基于该比较确定该主题的性能度量的值是否至少是阈值来这样做。例如，假设在线系统140已经确定330该主题的性能度量的值为3.5％，其中该主题的性能度量的值对应于多个内容项的登录页面转化率的平均值。在该示例中，如果阈值对应于值3.2％，则在线系统140确定335主题的性能度量的值至少是阈值，因为3.5％等于或大于3.2％。
在一些实施例中，在线系统140可以(例如，使用性能确定模块245)确定主题的性能度量的值是否为异常。在这样的实施例中，在线系统140可以针对特定时间段(例如，当前时间段)做出确定。例如，在线系统140可以将当前时间段的主题的性能度量的值与先前时间段的主题的性能度量的值进行比较。在该示例中，如果当前时间段的主题的性能度量的值比先前时间段的主题的性能度量的值大至少阈值量，则在线系统140可以确定当前时间段的主题的性能度量的值为异常。可选地，在上述示例中，如果当前时间段的主题的性能度量的值不大于先前时间段的主题的性能度量的值至少阈值量，则在线系统140可以确定当前时间段的主题的性能度量的值不是异常。在线系统140可以使用任何异常检测技术(例如，基于密度的技术，诸如k最近邻法、一类支持向量机等)来确定该主题的性能度量的值是否为异常。
在一些实施例中，在线系统140可以(例如，使用受众确定模块250)确定与主题相关联的一组定位标准。在线系统140可以通过检索与在线系统140的一个或更多个用户相关联的各种属性来这样做，在线系统140的这些用户参与了由在线系统140识别320的每个内容项。在线系统140然后可以基于检索到的信息确定与主题相关联的一组定位标准。例如，在线系统140可以从用户简档储存器205中检索信息，该信息描述与参与由在线系统140识别320的每个内容项的每个用户相关联的人口统计信息(例如，与每个用户相关联的年龄和地理位置)、描述每个用户的爱好和职业的信息等。在该示例中，在线系统140还可以从动作日志220和/或边储存器225中检索描述参与由在线系统140识别320的每个内容项的每个用户的交互(例如，与在线系统140的其他用户或在线系统140中维护的对象的交互)的信息。在上述示例中，基于检索到的信息，在线系统140可以确定与主题相关联的一组定位标准，其中定位标准由在线系统140的可能对主题有亲和力的用户来满足。在一些实施例中，如果在线系统140确定335主题的性能度量的值至少是阈值，则在线系统140可以确定与主题相关联的一组定位标准。或者，在一些实施例中，如果在线系统140确定性能度量的值为异常(例如，对于当前时间段)，则在线系统140可以这样做。
在线系统140从于在线系统140上具有存在的实体接收340描述项目的内容，其中项目与主题相关联。在一些实施例中，从实体接收340的描述项目的内容是与实体相关联的产品目录。在这样的实施例中，产品目录可以包括与每个产品相关联的各种类型的信息，例如产品标识符、产品的一个或更多个图像、产品名称、实体提供的用于产品购买的价格、产品描述等。在一些实施例中，在线系统140可以存储从实体(例如，在与标识实体的信息相关联的内容储存器中)接收340的内容。在各种实施例中，在线系统140可以从实体接收描述项目和/或主题的信息。在各种实施例中，在线系统140可以确定从实体接收340的内容描述了项目和/或项目与主题相关联。在这样的实施例中，在线系统140可以使用上述方法之一(例如，通过提供内容作为对机器学习模型的输入，通过基于内容中包括的一个或更多个锚定词汇来确定与内容相关联的主题，等等)来这样做。
如果在线系统140确定335该主题的性能度量的值至少是阈值(或者确定该主题的性能度量的值为异常)，则在线系统140确定345向实体传送创建描述该项目的内容项的推荐的机会。例如，假设在线系统140从实体接收340描述对应于网球拍的项目的网球产品目录，其中该项目与网球主题相关联。在该示例中，在线系统140可以在接收到登录与实体相关联的用户账户的请求时，确定345向实体传送创建描述网球拍的内容项的推荐的机会。在一些实施例中，该推荐也可以或替代地包括向内容项添加一个或更多个组成部分的选项(例如，与项目相关联的标签)。在推荐仅包括向内容项添加一个或更多个组成部分的选项的实施例中，在线系统140可以在从实体接收到创建内容项的请求时，确定向实体传送推荐的机会。例如，假设在线系统140从实体接收到创建描述与主题相关联的项目的内容项的请求。在该示例中，在线系统140可以在接收到请求时确定向实体传送将项目的一个或更多个图像添加到内容项的推荐的机会。
一旦在线系统140已经确定345向实体传送推荐的机会，在线系统140可以(例如，使用用户界面生成器255)生成推荐。在一些实施例中，推荐可以被包括在由在线系统140生成的编辑器界面中，而在其他实施例中，推荐可以被包括在由在线系统140生成的窗口(例如，弹出窗口)或其他类型的用户界面中。如上所述，在一些实施例中，推荐可以包括向内容项添加一个或更多个组成部分的一个或更多个选项(例如，与该项目相关联的标签)。可以添加到内容项的组成部分的示例包括一个或更多个标签、标题、一个或更多个视频、一个或更多个图像、指定内容项的受众的一组定位标准、位置、一个或更多个音频文件或任何其他合适类型的组成部分。在推荐包括向内容项添加一个或更多个组成部分的一个或更多个选项的实施例中，推荐还可以包括对应于组成部分的预先填充的信息。
现在参考图4，假设主题对应于网球，并且项目对应于网球拍，使得在线系统140已经对实体生成创建描述网球拍的内容项的推荐405。在该示例中，还假设推荐405被包括在编辑器界面400中，并且推荐405包括向内容项添加各种组成部分的选项。在该示例中，推荐405可以预先填充有(例如，从接收340自实体的产品目录中检索的)网球拍的图像410、与项目相关联的标签415(即，“#网球拍(#tennisracket)”)、指定内容项的受众的定位标准420A-420B(即，年龄在25岁至34岁之间具有包括网球在内的爱好/兴趣的用户)、以及实体的位置425(即，“州Z，城市A”中的“体育用品商店”)。
在一些实施例中，在线系统140还可以生成包括主题的性能度量的值的用户界面(例如，窗口)。在推荐被包括在由在线系统140生成的编辑器界面中的实施例中，主题的性能度量的值也可以被包括在编辑器界面中。可以用各种方式(例如，通过文本、以图表形式等)来表示主题的性能度量的值。如图4的示例所示，假设该主题的性能度量的值对应于网球相关内容的转化率。在该示例中，包括推荐405的编辑器界面400可以包括区域430，该区域430使用指示在线系统140的用户对网球相关内容的转化率的多个图表来显示该主题的性能度量的值，在线系统140的这些用户在一段时间(例如，之前的七天)内被呈现了与各种地理位置(例如，美国、澳大利亚等)的网球主题相关联的内容项。
在一些实施例中，用户界面或编辑器界面可以包括一个或更多个主题的一个或更多个性能度量的多个值。如图4的示例中所示，如果该主题的性能度量的附加值对应于网球相关内容的点击率，则编辑器界面400的区域430还可以包括多个图表，这些图表指示在线系统140的用户对网球相关内容的点击率，在线系统140的这些用户在一段时间(例如，之前的七天)内被呈现了与各种地理位置(例如，美国、澳大利亚等)的网球主题相关联的内容项。在一些实施例中，用户界面或编辑器界面还可以包括一个或更多个交互元素(例如，下拉菜单、按钮等)。在图4的示例中，包括在编辑器界面400中的交互元素可以允许查看附加图表(例如，对应于主题的附加性能度量的值的图表，对应于不同时间段、不同地理位置、不同人口统计等的性能度量的值的图表)。
返回参考图3，在线系统140然后将推荐传送350给实体。例如，在线系统140可以经由与实体相关联的客户端设备110将推荐传送350给实体。在其中在线系统140生成包括主题的性能度量的值的用户界面且该用户界面与包括推荐的用户界面分离的实施例中，主题的性能度量的值可以与推荐一起传送给实体。
在线系统140随后可以从实体接收创建内容项的请求，并且在线系统140然后可以基于该请求(例如，使用用户界面生成器255)生成内容项。在一些实施例中，内容项可以包括预先填充的信息，该预先填充的信息对应于已经被实体接受的内容项的一个或更多个组成部分。在推荐包括对应于内容项的一个或更多个组成部分的预先填充的信息的实施例中，预先填充的信息可以被接受或拒绝。在图4的示例中，在线系统140可以在接收到与编辑器界面400的交互元素435的交互时，从实体接收创建内容项的请求。在该示例中，如果在在线系统140接收到请求时，编辑器界面400包括组成部分的预先填充的信息(即，图像410、标签415、指定内容项的受众的定位标准420A-420B以及位置425)，则预先填充的信息被接受，并且可以基于该请求创建内容项。或者，在上述示例中，如果在线系统140接收到请求时从编辑器界面移除了一些或全部预先填充的信息，则已经移除的预先填充的信息被拒绝，并且可以基于该请求创建内容项。在各种实施例中，内容项也可以或可替换地包括对应于由实体提供的内容项的一个或更多个组成部分的信息。在上述示例中，内容项可以包括由实体添加的标题以及一个或更多个附加图像、标签和定位标准。
在线系统140随后可以向在线系统140的一个或更多个观看用户发送用于显示的内容项。例如，在确定向在线系统140的观看用户呈现内容的机会时，在线系统140可以基于与内容项相关联的定位标准来(例如，使用内容选择模块260)识别有资格被呈现给观看用户的一组候选内容项。如果内容项被包括在该组候选内容项中，则在线系统140可以基于与该内容项相关联的定位标准和与该组候选内容项中包括的每个附加内容项相关联的定位标准，(例如，使用内容选择模块260)在该组候选内容项中对该内容项进行排名。在线系统140然后基于排名(例如，使用内容选择模块260)从一组候选内容项中选择一个或更多个内容项以呈现给观看用户，并且发送所选择的内容项以呈现给观看用户。
总结
为了说明的目的提出了实施例的前述描述；它并不旨在是无遗漏的或将专利权限制到所公开的精确形式。相关领域的技术人员可以理解，根据上述公开，许多修改和变化是可能的。
本描述的一些部分从对信息的操作的算法和符号表示方面描述了实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，在不失一般性的情况下，将这些操作安排称为模块有时也被证明是方便的。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或其任何组合中。
可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。
实施例还可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这种计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，其可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计来提高计算能力的架构。
实施例还可以涉及通过本文描述的计算过程产生的产品。这样的产品可以包括由计算过程产生的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。
最后，在说明书中使用的语言主要为了可读性和指导目的而被选择，并且它可以不被选择来描绘或限制创造性主题。因此，意图是本专利权的范围不受该详细描述限制，而是受在基于此的申请上所发布的任何权利要求限制。因此，实施例的公开内容意图对本专利权的范围是说明性的，而不是限制性的，本专利权的范围在所附的权利要求中阐述。

Claims (20)

1.一种方法，包括：
检索于在线系统中被维护的多个内容项；
访问经训练的机器学习模型，至少部分地基于与一组内容项中的每一个相关联的主题和包括所述一组内容项中的每一个的内容来训练所述经训练的机器学习模型；
应用所述经训练的机器学习模型来预测所述多个内容项中的每一个与所述主题相关联的概率，至少部分地基于包括所述多个内容项中的每一个的内容来预测所述概率；
识别所述多个内容项中的与至少阈值概率相关联的一个或更多个内容项；
检索描述所述在线系统的一个或更多个用户对所识别的一个或更多个内容项的用户参与的信息；
至少部分地基于检索到的信息来确定所述主题的性能度量的值；
确定所述性能度量的值至少是阈值；
从在所述在线系统上具有存在的实体接收描述项目的内容，其中，所述项目与所述主题相关联；
确定向所述实体传送创建描述所述项目的内容项并将与所述项目相关联的标签添加到所述内容项的推荐的机会；和
将所述推荐传送给所述实体。
2.根据权利要求1所述的方法，还包括：
检索与所述一个或更多个用户中的每一个相关联的一组属性；和
至少部分地基于与所述一个或更多个用户中的每一个相关联的一组属性来确定与所述主题相关联的一组定位标准。
3.根据权利要求2所述的方法，其中，所述推荐还包括从由以下项组成的组中选择的一个或更多个选项：指定所述内容项的受众的选项，以及将所述项目的一个或更多个图像添加到所述内容项的选项，其中，所述内容项的受众对应于与所述主题相关联的定位标准。
4.根据权利要求3所述的方法，还包括：
从所述实体接收创建描述所述项目的内容项的请求，其中，所述请求指定所述内容项的受众对应于与所述主题相关联的定位标准；
至少部分地基于所述请求生成描述所述项目的内容项；
确定向所述在线系统的观看用户呈现内容的机会；
至少部分地基于所述定位标准来识别有资格呈现给所述观看用户的一组候选内容项，其中，所述内容项被包括在所述一组候选内容项之中；
至少部分地基于所述定位标准，在所述一组候选内容项中对所述内容项进行排名；
至少部分地基于所述排名，从所述一组候选内容项中选择一个或更多个内容项以呈现给所述观看用户；和
发送所选择的一个或更多个内容项以呈现给所述观看用户。
5.根据权利要求3所述的方法，其中，描述从所述实体接收的项目的内容包括与所述实体相关联的产品目录。
6.根据权利要求5所述的方法，其中，所述项目的一个或更多个图像包括产品的一个或更多个图像，所述产品的一个或更多个图像包括与所述实体相关联的产品目录。
7.根据权利要求5所述的方法，其中，所述标签预先填充有描述产品的信息，所述描述产品的信息包括与所述实体相关联的产品目录。
8.根据权利要求1所述的方法，其中，描述由所述在线系统的一个或更多个用户对所识别的一个或更多个内容项的用户参与的信息包括从由以下项组成的组中选择的一个或更多个：所识别的一个或更多个内容项中的每一个被观看的次数、所识别的一个或更多个内容项中的每一个被共享的次数、所识别的一个或更多个内容项中的每一个被保存的次数、所述在线系统的一个或更多个用户表达对所识别的一个或更多个内容项中的每一个的偏好的次数、以及对所识别的一个或更多个内容项中的每一个的评论的次数。
9.根据权利要求1所述的方法，其中，所述推荐与所述主题的性能度量的值一起被传送给所述实体。
10.根据权利要求1所述的方法，其中，所述多个内容项中的每一个与所述主题相关联的概率至少部分地基于从由以下项组成的组中选择的一个或更多个来被预测：包括所述多个内容项中的一个或更多个的标签、包括所述多个内容项中的一个或更多个的图像，以及包括所述多个内容项中的一个或更多个的视频。
11.一种计算机程序产品，包括其上编码有指令的计算机可读存储介质，当由处理器执行时，所述指令使得所述处理器：
检索于在线系统中被维护的多个内容项；
访问经训练的机器学习模型，至少部分地基于与一组内容项中的每一个相关联的主题和包括所述一组内容项中的每一个的内容来训练所述经训练的机器学习模型；
应用所述经训练的机器学习模型来预测所述多个内容项中的每一个与所述主题相关联的概率，至少部分地基于包括所述多个内容项中的每一个的内容来预测所述概率；
识别所述多个内容项中的与至少阈值概率相关联的一个或更多个内容项；
检索描述所述在线系统的一个或更多个用户对所识别的一个或更多个内容项的用户参与的信息；
至少部分地基于检索到的信息来确定所述主题的性能度量的值；
确定所述性能度量的值至少是阈值；
从在所述在线系统上具有存在的实体接收描述项目的内容，其中，所述项目与所述主题相关联；
确定向所述实体传送创建描述所述项目的内容项并将与所述项目相关联的标签添加到所述内容项的推荐的机会；和
将所述推荐传送给所述实体。
12.根据权利要求11所述的计算机程序产品，其中，所述计算机可读存储介质还具有编码在其上的指令，当由所述处理器执行时，所述指令使得所述处理器：
检索与所述一个或更多个用户中的每一个相关联的一组属性；和
至少部分地基于与所述一个或更多个用户中的每一个相关联的一组属性来确定与所述主题相关联的一组定位标准。
13.根据权利要求12所述的计算机程序产品，其中，所述推荐还包括从由以下项组成的组中选择的一个或更多个选项：指定所述内容项的受众的选项，以及将所述项目的一个或更多个图像添加到所述内容项的选项，其中，所述内容项的受众对应于与所述主题相关联的定位标准。
14.根据权利要求13所述的计算机程序产品，其中，所述计算机可读存储介质还具有编码在其上的指令，当由所述处理器执行时，所述指令使得所述处理器：
从所述实体接收创建描述所述项目的内容项的请求，其中，所述请求指定所述内容项的受众对应于与所述主题相关联的定位标准；
至少部分地基于所述请求生成描述所述项目的内容项；
确定向所述在线系统的观看用户呈现内容的机会；
至少部分地基于所述定位标准来识别有资格呈现给所述观看用户的一组候选内容项，其中，所述内容项被包括在所述一组候选内容项之中；
至少部分地基于所述定位标准，在所述一组候选内容项中对所述内容项进行排名；
至少部分地基于所述排名，从所述一组候选内容项中选择一个或更多个内容项以呈现给所述观看用户；和
发送所选择的一个或更多个内容项以呈现给所述观看用户。
15.根据权利要求13所述的计算机程序产品，其中，描述从所述实体接收的项目的内容包括与所述实体相关联的产品目录。
16.根据权利要求15所述的计算机程序产品，其中，所述项目的一个或更多个图像包括产品的一个或更多个图像，所述产品的一个或更多个图像包括与所述实体相关联的产品目录。
17.根据权利要求15所述的计算机程序产品，其中，所述标签预先填充有描述产品的信息，所述描述产品的信息包括与所述实体相关联的产品目录。
18.根据权利要求11所述的计算机程序产品，其中，描述由所述在线系统的一个或更多个用户对所识别的一个或更多个内容项的用户参与的信息包括从由以下项组成的组中选择的一个或更多个：所识别的一个或更多个内容项中的每一个被观看的次数、所识别的一个或更多个内容项中的每一个被共享的次数、所识别的一个或更多个内容项中的每一个被保存的次数、所述在线系统的一个或更多个用户表达对所识别的一个或更多个内容项中的每一个的偏好的次数、以及对所识别的一个或更多个内容项中的每一个的评论的次数。
19.根据权利要求11所述的计算机程序产品，其中，所述推荐与所述主题的性能度量的值一起被传送给所述实体。
20.根据权利要求11所述的计算机程序产品，其中，所述多个内容项中的每一个与所述主题相关联的概率至少部分地基于从由以下项组成的组中选择的一个或更多个来被预测：包括所述多个内容项中的一个或更多个的标签、包括所述多个内容项中的一个或更多个的图像、以及包括所述多个内容项中的一个或更多个的视频。
CN202110461588.0A 2020-05-01 2021-04-27 建议在线系统中的实体创建内容并向内容添加标签 Pending CN113590851A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/864,705 US11615444B2 (en) 2020-05-01 2020-05-01 Recommending that an entity in an online system create content describing an item associated with a topic having at least a threshold value of a performance metric and to add a tag describing the item to the content
US16/864,705 2020-05-01

Publications (1)

Publication Number Publication Date
CN113590851A true CN113590851A (zh) 2021-11-02

Family

ID=75639724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110461588.0A Pending CN113590851A (zh) 2020-05-01 2021-04-27 建议在线系统中的实体创建内容并向内容添加标签

Country Status (3)

Country Link
US (1) US11615444B2 (zh)
EP (1) EP3905177A1 (zh)
CN (1) CN113590851A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727450B2 (en) * 2020-09-25 2023-08-15 Kyndryl, Inc. Singularity recommendation engine
US11841892B2 (en) * 2021-03-11 2023-12-12 Dell Products, L.P. Generating test scenarios by detecting failure patterns and themes in customer experiences
CN115080547A (zh) * 2021-03-15 2022-09-20 伊姆西Ip控股有限责任公司 用于数据处理的方法、电子设备和计算机程序产品

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207917A (zh) * 2013-04-25 2013-07-17 百度在线网络技术（北京）有限公司 标注多媒体内容的方法、生成推荐内容的方法及系统
US20150067505A1 (en) * 2013-08-28 2015-03-05 Yahoo! Inc. System And Methods For User Curated Media
US20150281163A1 (en) * 2014-03-27 2015-10-01 International Business Machines Corporation User recommendations in a social media network
CN105069172A (zh) * 2015-09-09 2015-11-18 中国人民大学 兴趣标签生成方法
US20160092576A1 (en) * 2014-09-26 2016-03-31 Yahoo!, Inc. Association- and perspective-based content item recommendations
CN106104522A (zh) * 2014-03-18 2016-11-09 微软技术许可有限责任公司 命名的实体平台和存储
CN108255999A (zh) * 2017-12-29 2018-07-06 北京奇虎科技有限公司 内容推荐方法及装置
US20190095961A1 (en) * 2017-09-22 2019-03-28 Facebook, Inc. Applying a trained model for predicting quality of a content item along a graduated scale
CN110162624A (zh) * 2019-04-16 2019-08-23 腾讯科技（深圳）有限公司 一种文本处理方法、装置以及相关设备
CN110555135A (zh) * 2018-03-27 2019-12-10 优酷网络技术（北京）有限公司 内容推荐方法、内容推荐装置和电子设备
US20200042610A1 (en) * 2018-08-01 2020-02-06 Facebook, Inc. Optimizing user engagement with content based on an optimal set of attributes for media included in the content

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1993705A (zh) * 2004-06-30 2007-07-04 皇家飞利浦电子股份有限公司 支持用户在商业广告中导航
US9027100B2 (en) * 2010-01-05 2015-05-05 Yahoo! Inc. Client-side ad caching for lower ad serving latency
US10069781B2 (en) * 2015-09-29 2018-09-04 Theatro Labs, Inc. Observation platform using structured communications with external devices and systems
US9779385B2 (en) 2011-06-24 2017-10-03 Facebook, Inc. Inferring topics from social networking system communications
US20150012350A1 (en) * 2013-07-02 2015-01-08 Yue Li Measuring the value of marketing contributions to deals
US20150067048A1 (en) * 2013-08-30 2015-03-05 Linkedln Corporation Techniques for suggesting content to promote via a feed
WO2015039222A1 (en) * 2013-09-19 2015-03-26 Sysomos L.P. Systems and methods for actively composing content for use in continuous social communication
US10430827B2 (en) * 2014-08-15 2019-10-01 Facebook, Inc. Maintaining information describing a group of online system users specified by a third-party system
US9070171B2 (en) * 2014-09-04 2015-06-30 Atelier CAAAW, Inc. System and method for providing automated clothing fashion recommendations
US20180336589A1 (en) * 2017-05-18 2018-11-22 Facebook, Inc. Advertisment targeting criteria suggestions
US10380650B2 (en) * 2017-07-26 2019-08-13 Jehan Hamedi Systems and methods for automating content design transformations based on user preference and activity data
US20190172075A1 (en) * 2017-12-01 2019-06-06 International Business Machines Corporation Maintaining Dynamic Product Catalogs By Tracking Current Trends
US20190205473A1 (en) * 2017-12-29 2019-07-04 Moves Media Ventures, LLC Social media influencer orchestration
US11816436B2 (en) * 2018-07-24 2023-11-14 MachEye, Inc. Automated summarization of extracted insight data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103207917A (zh) * 2013-04-25 2013-07-17 百度在线网络技术（北京）有限公司 标注多媒体内容的方法、生成推荐内容的方法及系统
US20150067505A1 (en) * 2013-08-28 2015-03-05 Yahoo! Inc. System And Methods For User Curated Media
CN106104522A (zh) * 2014-03-18 2016-11-09 微软技术许可有限责任公司 命名的实体平台和存储
US20150281163A1 (en) * 2014-03-27 2015-10-01 International Business Machines Corporation User recommendations in a social media network
US20160092576A1 (en) * 2014-09-26 2016-03-31 Yahoo!, Inc. Association- and perspective-based content item recommendations
CN105069172A (zh) * 2015-09-09 2015-11-18 中国人民大学 兴趣标签生成方法
US20190095961A1 (en) * 2017-09-22 2019-03-28 Facebook, Inc. Applying a trained model for predicting quality of a content item along a graduated scale
CN108255999A (zh) * 2017-12-29 2018-07-06 北京奇虎科技有限公司 内容推荐方法及装置
CN110555135A (zh) * 2018-03-27 2019-12-10 优酷网络技术（北京）有限公司 内容推荐方法、内容推荐装置和电子设备
US20200042610A1 (en) * 2018-08-01 2020-02-06 Facebook, Inc. Optimizing user engagement with content based on an optimal set of attributes for media included in the content
CN110162624A (zh) * 2019-04-16 2019-08-23 腾讯科技（深圳）有限公司 一种文本处理方法、装置以及相关设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RONG HU 等: "Tag recommendation based on tag-topic model", 《2012 IEEE 2ND INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENCE SYSTEMS》, 14 November 2013 (2013-11-14), pages 1501 - 1505 *
冯时: "面向网络舆情分析的观点挖掘关键技术研究", 《中国博士学位论文全文数据库信息科技辑》, no. 7, 15 July 2015 (2015-07-15), pages 138 - 156 *

Also Published As

Publication number Publication date
US11615444B2 (en) 2023-03-28
US20210342927A1 (en) 2021-11-04
EP3905177A1 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
US11514333B2 (en) Combining machine-learning and social data to generate personalized recommendations
US9830313B2 (en) Identifying expanding hashtags in a message
US10740690B2 (en) Automatically tagging topics in posts during composition thereof
US10122808B2 (en) Determining an audience of users to assign to a posted content item in an online system
KR102173250B1 (ko) 광고 타겟팅에 대한 부정적인 신호
US9374396B2 (en) Recommended content for an endorsement user interface
US9774559B2 (en) Prompting social networking system users in a newsfeed to provide additional user profile information
US20140129324A1 (en) System and method for dynamically placing and scheduling of promotional items or content based on momentum of activities of a targeted audience in a network environment
US10193849B2 (en) Determining stories of interest based on quality of unconnected content
US20150373067A1 (en) Prompting social networking system users to provide additional user profile information
CN112534826B (zh) 基于内容中包括的媒体的属性的最优集合优化用户对内容的参与
EP3905177A1 (en) Recommending that an entity in an online system create content describing an item associated with a topic having at least a threshold value of a performance metric and to add a tag describing the item to the content
US9959503B2 (en) Filtering automated selection of hashtags for computer modeling
CN112819025A (zh) 识别图像中与用户向在线系统标识的产品匹配的对象
US20160189234A1 (en) Selecting content items for presentation to a social networking system user based in part on content item appearance
US10803077B2 (en) Applying templates to customize presentation of content based on surface type
US10353963B2 (en) Filtering automated selection of keywords for computer modeling
US9569727B2 (en) Predicting computer model accuracy
US20160247204A1 (en) Identifying Additional Advertisements Based on Topics Included in an Advertisement and in the Additional Advertisements
US10817564B1 (en) Content creator feed generation
US20180293611A1 (en) Targeting content based on inferred user interests
US11087369B1 (en) Context-based provision of media content
US20240020345A1 (en) Semantic embeddings for content retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.

CB02 Change of applicant information