CN111436213A - 基于情感分析选择视觉元素的系统和方法 - Google Patents

Abstract

本文中详细描述了用于基于情感分析选择要插入到内容项中的视觉元素的系统和方法。数据处理系统可以使用训练数据集建立内容项的表现预测模型，该表现预测模型将组成视觉元素与情感表现度量相关联。数据处理系统可以识别内容项和要插入的候选视觉元素。内容项可以具有组成视觉元素。数据处理系统可以使用表现预测模型来确定内容项的总情感表现度量。数据处理系统可以使用表现预测模型来确定候选视觉元素和视觉元素之间的组合表现度量。组合表现度量可以指示对总表现度量的预测效果。数据处理系统可以基于组合表现度量选择要插入到内容项中的候选视觉元素。

Description

基于情感分析选择视觉元素的系统和方法

背景技术

在诸如互联网的计算机联网环境中，可以由应用(例如，网络浏览器)在信息资源(例如，网页)上渲染内容项。信息资源的每个内容项可以经由计算机联网环境从不同的服务器发送到计算设备。一个或多个这些不同的服务器可能未被授权在信息资源上包括内容项。

发明内容

至少一个方面针对一种基于情感分析(sentiment analysis)选择要插入到内容项中的视觉元素的方法。一种具有一个或多个处理器的数据处理系统可以使用具有多个测试内容项的训练数据集建立内容项的表现预测模型，其中该表现预测模型将组成视觉元素与情感表现度量相关联。每个测试内容项可以具有多个视觉元素和测量情感表现度量。数据处理系统可以识别内容项和要插入到该内容项中的多个候选视觉元素。内容项可以具有多个组成视觉元素。数据处理系统可以使用表现预测模型和内容项的所述多个组成视觉元素来确定内容项的总情感表现度量。数据处理系统可以使用表现预测模型，为所述多个候选视觉元素中的每个候选视觉元素确定候选视觉元素和内容项的所述多个视觉元素之间的组合表现度量。组合表现度量可以指示对内容项的总表现度量的预测效果。数据处理系统可以基于候选视觉元素与内容项中的所述多个组成视觉元素的组合表现度量，从所述多个候选视觉元素中选择要插入到内容项中的候选视觉元素。

在一些实施方式中，数据处理系统可以跨多个信息资源，向第一组客户端设备呈现具有候选视觉元素的内容项，并且在第二组客户端设备上呈现不具有候选视觉元素的内容项。在一些实施方式中，数据处理系统可以根据跨多个信息资源进行呈现来确定具有候选视觉元素的内容项的第一交互统计和不具有候选视觉元素的内容项的第二交互统计。

在一些实施方式中，数据处理系统可以在多个信息资源的每个信息资源上呈现信息资源上的具有候选视觉元素的内容项。在一些实施方式中，数据处理系统可以根据在所述多个信息资源上呈现内容项来确定插入了候选视觉元素的内容项的交互统计。在一些实施方式中，数据处理系统可以基于表现度量、内容项的多个组成视觉元素以及插入到内容项中的候选视觉元素来更新表现预测模型。

在一些实施方式中，数据处理系统可以使用表现预测模型为内容项上的多个组成视觉元素中的每个组成视觉元素确定组成视觉元素的贡献表现度量。在一些实施方式中，确定总情感表现度量可以包括基于内容项上的多个组成视觉元素的多个贡献表现度量来确定总情感表现度量。

在一些实施方式中，数据处理系统可以识别感知内容项的多个受众分群(audience segment)，每个受众分群由共同特征(common trait)定义。在一些实施方式中，建立表现预测模型可以包括使用具有多个测试内容项的训练数据集来建立表现预测模型。每个测试内容项可以具有对于每个受众分群的测量情感表现度量。在一些实施方式中，确定总情感表现度量可以包括确定对于多个受众分群中的每个受众分群的、内容项的总情感表现度量。在一些实施方式中，确定组合表现度量可以包括确定对于多个受众分群中的每个受众分群的、候选视觉元素的组合表现度量。

在一些实施方式中，建立表现预测模型可以包括使用训练数据集建立表现预测模型。训练数据集可以包括第一测试内容项和第二测试内容项。第一内容项可以在第一位置处具有具备第一测量情感表现度量的视觉元素。第二内容项可以在第二位置处具有具备第二测量情感表现度量的视觉元素。在一些实施方式中，确定组合表现度量可以包括使用表现预测模型来确定内容项内用于插入的候选位置处的候选视觉元素的组合表现度量。

在一些实施方式中，建立表现预测模型可以包括使用训练数据集建立表现预测模型。训练数据集的每个测试内容项可以具有多个视觉元素。每个视觉元素可以具有一个或多个图形特征。在一些实施方式中，确定组合表现度量可以包括使用表现预测模型来确定内容项内用于插入的候选位置处的组合表现度量。

在一些实施方式中，识别多个组成视觉元素可以包括通过以下中的至少一个来识别所述多个组成视觉元素：将对象识别算法应用于对内容项的渲染来识别每个视觉元素，以及解析对应于内容项的脚本来识别每个视觉元素。在一些实施方式中，数据处理系统可以经由调查界面接收具有多个视觉元素的测试内容项的测量情感表现度量。测量情感表现度量可以包括说服力(persuasion)、链接性(linkage)、显著性(salience)和可记忆性(memorability)中的至少一个。在一些实施方式中，数据处理系统可以基于对应的多个候选视觉元素的多个组合表现度量，在内容选择管理界面上呈现多个候选视觉元素。

至少一个方面针对一种用于基于情感分析选择要插入到内容项中的视觉元素的系统。该系统可以包括在具有一个或多个处理器的数据处理系统上可执行的模型训练器。模型训练器可以使用具有多个测试内容项的训练数据集来建立内容项的表现预测模型，其中该表现预测模型将组成视觉元素与情感表现度量相关联。每个测试内容项可以具有多个视觉元素和测量情感表现度量。该系统可以包括在数据处理系统上可执行的内容界面。内容界面可以识别内容项和要插入到内容项中的多个候选视觉元素，内容项具有多个组成视觉元素。该系统可以包括在数据处理系统上可执行的表现估计器。表现估计器可以使用表现预测模型和内容项的多个组成视觉元素来确定内容项的总情感表现度量。表现估计器可以使用表现预测模型为多个候选视觉元素中的每个候选视觉元素确定候选视觉元素和内容项的多个视觉元素之间的组合表现度量。组合表现度量可以指示对内容项的总表现度量的预测效果。该系统可以包括在数据处理系统上可执行的元素选择器。元素选择器可以基于候选视觉元素与内容项中的多个组成视觉元素的组合表现度量，从多个候选视觉元素中选择要插入到内容项中的候选视觉元素。

在一些实施方式中，该系统可以包括在数据处理系统上可执行的呈现跟踪器。呈现跟踪器可以跨越多个信息资源，向第一组客户端设备呈现具有候选视觉元素的内容项，并且在第二组客户端设备上呈现不具有候选视觉元素的内容项。在一些实施方式中，呈现跟踪器可以根据跨多个信息资源的呈现来确定具有候选视觉元素的内容项的第一交互统计和不具有候选视觉元素的内容项的第二交互统计。

在一些实施方式中，该系统可以包括在数据处理系统上可执行的呈现跟踪器。呈现跟踪器可以在多个信息资源的每个信息资源上呈现信息资源上的具有候选视觉元素的内容项。在一些实施方式中，呈现跟踪器可以根据在多个信息资源上呈现内容项来确定插入了候选视觉元素的内容项的交互统计。在一些实施方式中，模型训练器可以基于表现度量、内容项的多个组成视觉元素以及插入到内容项中的候选视觉元素来更新表现预测模型。

在一些实施方式中，表现估计器可以使用表现预测模型为内容项上的多个组成视觉元素中的每个组成视觉元素确定组成视觉元素的贡献表现度量。在一些实施方式中，表现估计器可以基于内容项上的多个组成视觉元素的多个贡献表现度量来确定总情感表现度量。

在一些实施方式中，模型训练器可以识别感知内容项的多个受众分群，每个受众分群由共同特征定义。在一些实施方式中，模型训练器可以使用具有多个测试内容项的训练数据集来建立表现预测模型。每个测试内容项可以具有对于每个受众分群的测量情感表现度量。在一些实施方式中，表现估计器可以确定对于多个受众分群中的每个受众分群的、内容项的总情感表现度量。在一些实施方式中，表现估计器可以确定对于多个受众分群中的每个受众分群的、候选视觉元素的组合表现度量。

在一些实施方式中，模型训练器可以使用训练数据集来建立表现预测模型。训练数据集可以包括第一测试内容项和第二测试内容项。第一内容项可以在第一位置处具有具备第一测量情感表现度量的视觉元素。第二内容项可以在第二位置处具有具备第二测量情感表现度量的视觉元素。在一些实施方式中，表现估计器可以使用表现预测模型来确定内容项内用于插入的候选位置处的候选视觉元素的组合表现度量。

在一些实施方式中，模型训练器可以使用训练数据集来建立表现预测模型。训练数据集的每个测试内容项可以具有多个视觉元素。每个视觉元素可以具有一个或多个图形特征。在一些实施方式中，表现估计器可以在多个候选持续时间中的候选持续时间内确定。组合表现度量可以是使用表现预测模型的在持续时间内显示的候选视觉元素之间。

在一些实施方式中，内容界面可以通过以下中的至少一个来识别多个组成视觉元素：将对象识别算法应用在内容项的渲染以识别每个视觉元素、以及解析对应于内容项的脚本来识别每个视觉元素。在一些实施方式中，模型训练器可以经由调查界面接收具有多个视觉元素的测试内容项的测量情感表现度量。测量情感表现度量可以包括说服力、链接性、显著性和可记忆性中的至少一个。在一些实施方式中，元素选择器可以基于对应的多个候选视觉元素的多个组合表现度量在内容选择管理界面上呈现多个候选视觉元素。

这些和其他方面以及实施方式将在下面详细讨论。前述信息和以下详细描述包括各种方面和实施方式的说明性示例，并且提供了用于理解所要求保护的方面和实施方式的性质和特征的概述或框架。附图提供了对各个方面和实施方式的说明和进一步理解，并且被结合在本说明书中并构成其一部分。

附图说明

附图并非旨在按比例绘制。各个附图中相同的附图标记和名称表示相同的元件。为了清楚的目的，可以并非在每个附图中标注每个组件。在附图中：

图1是描绘根据说明性实施方式的用于在计算机网络环境中基于情感分析选择视觉元素的环境的一个实施方式的框图；

图2A-图2C每个是描绘用于基于情感分析选择视觉元素的图形用户界面(graphical user interface，GUI)的框图；

图3A-图3C每个是用于基于情感分析选择视觉元素的图形用户界面(GUI)的屏幕截图；

图4是描绘根据说明性实施方式的基于情感分析选择视觉元素的方法的流程图；以及

图5是示出了根据说明性实施方式的计算机系统的一般架构的框图，该计算机系统可以用于实现本文中描述和示出的系统和方法的元素。

具体实施方式

以下是与在计算机网络环境中基于情感分析选择视觉元素的方法、装置和系统相关的各种概念以及所述方法、装置和系统的实施方式的更详细描述。因为所描述的概念不限于任何特定类型的实施方式，所以上面介绍的和下面更详细讨论的各种概念可以以多种方式中的任何一种来实现。

内容投放(placement)平台可以呈现单个内容项的交互表现数据。这种交互表现数据的示例可以包括点击率、悬停率和观看数量。然而，内容投放平台可能缺乏对交互表现数据中的任何见解或贡献因素的任何显示或计算。此外，这些平台可能不提供或不考虑关于用户方面对内容项的情感或心理反应的任何表现数据。确定和提供用户对内容项的情感反应的能力在选择插入到信息资源(例如，网页)上的内容项时可能是有用的。这些功能的缺乏可能导致被浪费的网络资源和计算资源，因为内容项被投放和显示在信息资源上，而观众(viewer)方面没有任何交互或反应。

为了解决这些能力的缺乏，内容投放平台可以使用预测模型来确定内容项的组成视觉元素和内容项的整体表现数据之间的关联性。表现数据可以包括交互表现度量(例如，点击率、悬停率和观看数量)以及情感表现度量(例如，说服力、链接性、显著性和可记忆性)。预测模型可以符合任何数量的机器学习技术，诸如人工神经网络、支持向量机、贝叶斯网络和马尔可夫模型等。为了训练预测模型，可以使用包括内容项上的视觉元素与测量表现度量的关联性的训练数据集。训练数据集的交互表现度量可以通过测量来自跨多个信息资源的呈现的交互统计来确定。可以从向内容项的观众询问他们对内容项的心理反应的调查来汇总训练数据集的情感表现度量。

该平台可以将预测模型应用于内容项的组成视觉元素，以确定预测表现度量。可以使用图像识别技术或对内容项的脚本的解析来提取和识别内容项的组成视觉元素。预测表现度量可以包括内容项的交互表现度量以及情感表现度量。该平台还可以计算每个视觉元素对内容项的总体预测表现度量的贡献度量。使用该预测模型，该平台还可以选择一个或多个候选视觉元素来添加或插入到内容项上。该平台可以将该预测模型应用于组成视觉元素以及候选视觉元素的各种排列(permutation)，以计算内容项的预测表现度量。使用候选视觉元素的预测表现度量，该平台可以选择候选视觉元素中的一个或多个作为要插入到内容项中的推荐。

一旦被选择并投放到内容投放活动中，该平台就可以跟踪和测量内容项的表现数据。在跟踪和测量表现数据时，该平台可以对其中被插入了各种视觉元素的内容项运行A/B测试。使用该测试的结果，该平台可以持续更新预测模型，以提供要插入到内容项中的更新的推荐。

图1是描绘用于在计算机网络环境中部署对抗未被授权的脚本的对策的环境的一个实施方式的框图，其中该未被授权的脚本对信息资源上的内容元素的渲染进行干扰。环境100包括至少一个数据处理系统110。数据处理系统110可以包括至少一个处理器和存储器，即处理电路。所述存储器存储处理器可执行指令，当该处理器可执行指令被处理器执行时，该处理器可执行指令使得处理器执行本文中描述的操作中的一个或多个。处理器可以包括微处理器、专用集成电路(application-specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)等、或者它们的组合。存储器可以包括但不限于电子存储或传输设备、光学存储或传输设备、磁性存储或传输设备、或者能够向处理器提供程序指令的任何其他存储或传输设备。存储器还可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ASIC、FPGA、只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、电可擦除ROM(electrically-erasable ROM，EEPROM)、可擦除可编程ROM(erasable-programmable ROM，EPROM)、闪存、光学介质、或者处理器可以从中读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。数据处理系统可以包括可以执行各种功能的一个或多个计算设备或服务器。在一些实施方式中，数据处理系统可以包括被配置为主持拍卖的广告拍卖系统。在一些实施方式中，数据处理系统不包括广告拍卖系统，而是被配置为经由网络105与广告拍卖系统通信。

网络105可以包括计算机网络(诸如互联网、局域网、广域网、城域网或其他区域网、内联网、卫星网络)、其他计算机网络(诸如语音或数据移动电话通信网络)、以及它们的组合。系统100的数据处理系统110可以经由网络105与例如至少一个内容提供者115、至少一个内容发布者120或至少一个客户端设备125通信。网络105可以是在客户端设备125、数据处理系统110和一个或多个内容源(例如，网络服务器、广告服务器等)之间中继信息的任何形式的计算机网络。例如，网络105可以包括互联网和/或其他类型的数据网络(诸如局域网(local area network，LAN)、广域网(wide areanetwork，WAN)、蜂窝网络、卫星网络或其他类型的数据网络)。网络105还可以包括被配置为在网络105内接收和/或发送数据的任何数量的计算设备(例如，计算机、服务器、路由器、网络交换机等)。网络105还可以包括任何数量的硬连线连接和/或无线连接。例如，客户端设备125可以与被硬连线(例如，经由光纤电缆、CAT5电缆等)到网络105中的其他计算设备的收发器无线通信(例如，经由WiFi、蜂窝、无线电等)。

内容提供者115可以包括由内容提供者实体操作的服务器或其他计算设备，以向内容发布者120或数据处理系统110提供内容元素。由内容提供者115提供的内容可以包括用于在信息资源(诸如包括主要内容(例如，由内容发布者120提供的内容)的网站或网页)上显示的第三方内容元素。内容元素也可以被显示在搜索结果网页上。与内容提供者115相关联的内容元素可以被显示在除网页之外的信息资源(诸如作为智能电话或其他客户端设备125上的应用的执行的一部分而显示的内容)上。内容发布者120或数据处理系统110反过来可以选择内容提供者115的内容元素。例如，数据处理系统110可以运行广告拍卖，以基于各个内容元素的各种表现度量来选择内容元素。内容发布者120或数据处理系统可以发送内容提供者计算设备的所选择的内容元素，以用于在客户端设备125处在信息资源上显示。

内容发布者120可以包括由内容发布实体操作的服务器或其他计算设备，以经由网络105提供用于显示的主要内容。例如，内容发布者120可以包括提供用于在网页上显示的主要内容的网页操作者。内容发布者120还可以经由网络105提供从内容提供者115接收到的用于显示的第三方内容。主要内容可以包括除了由内容发布者120提供的内容之外的内容，并且网页可以包括被配置用于显示由内容发布者120从内容提供者115接收到的内容元素的内容位(slot)。例如，内容发布者120可以操作公司的网站，并且可以提供用于显示在该网站的网页上的关于该公司的内容。网页可以包括被配置用于显示从内容提供者115接收到的内容元素(诸如图像、文本、视频、或它们的任何组合)的内容位。在一些实施方式中，内容发布者120包括操作搜索引擎网站的搜索引擎操作者的搜索引擎计算设备(例如，服务器)。搜索引擎网页(例如，结果或登陆网页)的主要内容可以包括搜索结果以及被显示在内容位中的第三方内容元素(诸如来自内容提供者115的内容元素)。在一些实施方式中，内容发布者120可以包括用于提供视频内容的服务器。

客户端设备125可以包括被配置为经由网络105通信或经由网络105以显示诸如由内容发布者120提供的内容(例如，主要网页内容或其他信息资源)和由内容提供者115提供的内容(例如，被配置为在信息资源中显示的内容元素)的数据的计算设备。客户端设备125、内容提供者115和内容发布者120可以包括桌上型计算机、膝上型计算机、平板计算机、智能电话、个人数字助理、移动设备、消费者计算设备、服务器、客户端、数字录像机、电视机的机顶盒、视频游戏控制台、或被配置为经由网络105进行通信的任何其他计算设备。客户端设备125可以是通过其终端用户可以提交接收内容的请求的通信设备。该请求可以是对搜索引擎的请求，并且该请求可以包括搜索查询。在一些实施方式中，该请求可以包括访问网页的请求。

内容提供者115、内容发布者120和客户端设备125可以包括处理器和存储器，即处理电路。存储器存储机器指令，当该机器指令由处理器执行时，该机器指令使得处理器执行本文中描述的操作中的一个或多个。处理器可以包括微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等、或者它们的组合。存储器可以包括但不限于电子存储或传输设备、光学存储或传输设备、磁性存储或传输设备、或者能够向处理器提供程序指令的任何其他存储或传输设备。存储器还可以包括软盘、CD-ROM、DVD、磁盘、存储器芯片、ASIC、FPGA、只读存储器(ROM)、随机存取存储器(RAM)、电可擦除ROM(EEPROM)、可擦除可编程ROM(EPROM)、闪存、光学介质、或者处理器可以从中读取指令的任何其他合适的存储器。指令可以包括来自任何合适的计算机编程语言的代码。

内容提供者115、内容发布者120和客户端设备125也可以包括一个或多个用户接口设备。通常，用户接口设备是指通过生成感官信息(例如，显示器上的可视化、一个或多个声音等)向用户传送数据和/或将从用户接收到的感官信息转换成电子信号的任何电子设备(例如，键盘、鼠标、定点(pointing)设备、触摸屏显示器、麦克风等)。根据各种实施方式，所述一个或多个用户接口设备可以在内容提供者115、内容发布者120和客户端设备125的外壳内部(例如，内置显示器、麦克风等)，或者在内容提供者115、内容发布者120和客户端设备125的外壳外部(例如，连接到客户端设备125的监视器和连接到客户端设备125的扬声器等)。例如，内容提供者115、内容发布者120和客户端设备125可以包括电子显示器，其中该电子显示器使用经由网络105从一个或多个内容源和/或从数据处理系统110接收到的网页数据来可视地显示网页。

数据处理系统110可以包括至少一个服务器。例如，数据处理系统110可以包括位于至少一个数据中心或服务器群中的多个服务器。在一些实施方式中，数据处理系统110包括内容投放系统，例如广告服务器或广告投放系统。数据处理系统110可以包括至少一个模型训练器130、至少一个内容界面135、至少一个表现估计器140、至少一个元素选择器145、至少一个呈现跟踪器150和至少一个数据库155。模型训练器130、内容界面135、表现估计器140、元素选择器145和呈现跟踪器150各自可以包括被配置为经由网络105与数据库155和经由网络105与其他计算设备(例如，内容提供者115、内容发布者120或客户端设备125)通信的至少一个处理单元、服务器、虚拟服务器、电路、引擎、代理、电器、或诸如可编程逻辑阵列的其他逻辑设备。模型训练器130、内容界面135、表现估计器140、元素选择器145、呈现跟踪器150和数据库155可以包括或执行至少一个计算机程序或至少一个脚本。模型训练器130、内容界面135、表现估计器140、元素选择器145、呈现跟踪器150可以是单独的组件、单个组件或数据处理系统110的一部分。模型训练器130、内容界面135、表现估计器140、元素选择器145、呈现跟踪器150可以包括软件和硬件的组合，诸如被配置为执行一个或多个脚本的一个或多个处理器。

数据处理系统110还可以包括一个或多个内容储存库或数据库155。数据库155可以位于数据处理系统110的本地。在一些实施方式中，数据库155可以位于数据处理系统110的远程，但是可以经由网络105与数据处理系统110通信。数据库155可以包括信息资源(例如，网页)、内容项和选择内容项的模型等，以服务于客户端设备125。在一些实施方式中，信息资源和信息资源的内容元素可以包括在图2A-2C中说明性描绘的那些。数据库155可以包括用于管理要经由网络105提供给客户端设备125的内容项的分发和选择的内容选择活动的界面。在一些实施方式中，界面可以包括图2A-3C中说明性描绘的那些界面。将在下面提供数据库155的内容的附加细节。

模型训练器130可以为内容项建立表现预测模型，以将组成视觉元素与情感表现度量或交互表现度量相关联。表现预测模型可以用于基于包括在内容项中的组成视觉元素来预测内容项的情感表现度量或交互表现度量。每个内容项可以包括一个或多个组成视觉元素。每个内容项可以包括或对应于一个或多个文档对象模型(Document Object Model，DOM)元素，诸如图像元素、文本元素、链接元素、视频元素和画布元素等、或者它们的任何组合。对于每个内容项，组成视觉元素可以包括或对应于内容项的DOM元素中的一个或多个。组成视觉元素可以具有一个或多个图形特征，诸如内容项内的位置、大小、颜色(或逐像素识别的组成颜色)、以及字体样式等。在一些实施方式中，组成视觉元素可以包括或对应于内容项的一个DOM元素的至少一部分。例如，一个组成视觉元素可以对应于图像元素的左子集部分，而另一个组成视觉元素可以对应于内容项的相同图像元素的右子集部分。

内容项可以与情感表现度量或交互表现度量相关或相关联。情感表现度量可以测量或可以对应于当终端用户通过客户端设备125被呈现内容项时终端用户方面的心理感知或反应。情感表现度量可以包括各种类型的感知或反应，并且可以包括说服力、链接性、显著性、可记忆性和情绪等。说服力可以对应于终端用户将响应于内容项的呈现而改变态度或行为的可能性。链接性可以对应于终端用户将在被呈现内容项时将该内容项的消息关联或连接到与该内容项相关联的实体的可能性。显著性可以对应于终端用户在内容项被呈现在信息资源上时将注意到该内容项的可能性。可记忆性可以对应于终端用户在内容项呈现之后的持续时间(例如，在看到内容项之后的12小时到一周)内回忆该内容项的消息或实体的可能性。情绪可以对应于终端用户在被呈现内容项时将以特定感觉(例如，快乐、惊讶、中性、悲伤、愤怒、厌恶和恐惧)进行反应的可能性。在每种类型的感知或心理反应中，可能性可以是数值(例如，-1至1之间、0至1之间、-10至10之间、0至10之间、-100至100之间、或者0至100之间)。此外，交互表现度量可以测量或可以对应于终端用户在通过客户端设备125被呈现内容项时、使用客户端设备125的输入/输出(I/O)设备与内容项的交互。交互表现度量可以包括使用客户端设备125的I/O设备与内容项的各种类型的交互，诸如观看数量、悬停率和点击率等。

在建立表现预测模型时，模型训练器130可以使用训练数据集来训练表现预测模型。表现预测模型可以是例如人工神经网络(artificial neuralnetwork，ANN)、卷积神经网络(convolution neural network，CNN)、支持向量机(support vector machine，SVM)、朴素贝叶斯分类器、贝叶斯模型、马尔可夫模型、和回归模型(线性或逻辑)等，并且可以根据模型的类型来被训练。表现预测模型可以具有输入集合、输出集合和指定表现预测模型的输入和输出之间的关系的权重集合。表现预测模型中的输入集合可以包括内容项的组成视觉元素的图形特征。表现预测模型的输出集合可以包括情感表现度量的各种类型的心理反应和所述类型的交互表现度量。权重集合可以将内容项的图形特征与情感表现度量和交互表现度量的数值相关联。在一些实施方式中，模型训练器130可以为不同类型的情感表现度量和交互表现度量训练单独的表现预测模型。

模型训练器130可以从数据库155中检索或识别训练数据集来训练表现预测模型。训练数据集可以包括与测量情感表现度量或测量交互表现度量等相关联的测试内容项集合。训练数据集可以指定每个内容项的图形特征，诸如大小、颜色和字体样式等。在一些实施方式中，训练数据集可以指定测试内容项的每个组成视觉元素的图形特征。测试内容项的组成视觉元素的图形特征可以包括位置、大小、颜色和字体样式等。在一些实施方式中，测试内容项的组成视觉元素中的至少一个的图形特征可以包括持续时间。例如，当被呈现在测试内容项上的同时，组成元素可以在持续时间期间改变或消失。测量情感表现度量或测量交互表现度量可以与组成视觉元素从内容项改变或消失的持续时间相关联。在一些实施方式中，训练数据集可以包括多个测试内容项，其中至少一个相同的组成视觉元素位于测试内容项内的不同位置。对于在测试内容项内的不同位置处的相同的组成视觉元素，测试内容项的测量情感表现度量或测量交互表现度量不同。

在一些实施方式中，训练数据集的情感表现度量可以来自小组研究(panelstudy)数据，其中终端用户集合被呈现测试内容项的。小组研究数据可以包括来自终端用户集合的调查，该调查由终端用户指示内容项的说服力、链接性、显著性、可记忆性和情绪。该调查可以包括例如终端用户要回答的、关于内容项的问题。在一些实施方式中，小组研究数据可以指示小组研究的终端用户所属的受众分群(audience segment)。每个受众分群可以由共同特征(trait)(例如，地理位置或设备类型)来定义。在一些实施方式中，训练数据集的交互表现度量可以来自通过数据处理系统110(或一些其他服务器)的先前的分发以及测试内容项经由网络105向客户端设备125的呈现。根据先前的分发和呈现，可以确定观看数量、悬停率和点击率。

在一些实施方式中，训练数据集可以为每个测试内容项或为每个视觉组成视觉元素指定外部特征。外部特征可以包括在其上插入测试内容项的信息资源(例如，网页)的话题类别。话题类别可以对应于例如信息资源上的文本内容的语义概要或与信息资源相关联的实体。外部特征可以包括指定的受众分群。指定的受众分群可以由共同特征(诸如地理位置、设备类型和人群类型等)来定义。外部特征可以独立于交互表现度量或情感表现度量。

模型训练器130可以将训练数据集应用到表现预测模型上，以训练表现预测模型。模型训练器130可以将训练数据馈送到表现预测模型中，直到表现预测模型达到收敛。在馈送训练数据时，模型训练器130可以调整或修改表现预测模型中的权重集合，以将内容项的各种组成视觉元素与内容项的情感表现度量和交互表现度量相关联。一旦被训练，表现预测模型可以被数据处理系统110用来使用组成视觉元素预测其他内容项的情感表现度量和交互表现度量。此外，表现预测模型可以被数据处理系统110用来确定各种组成视觉元素对内容项的总体的情感表现度量和交互表现度量的影响。表现预测模型还可以被数据处理系统110用来关联内容项的视觉元素、情感表现度量和交互表现度量。此外，表现预测模型可以被数据处理系统110用来针对不同受众分群确定情感表现度量和交互表现度量。

利用对表现预测模型的训练，内容界面135可以检索或识别要从候选视觉元素170A-N(下文中，一般被称为候选视觉元素170)的集合向其插入或添加一个或多个视觉元素的至少一个内容项160A-N(下文中，一般被称为内容项160)。从数据库155中检索或识别内容项可以响应于向内容项160添加视觉元素的请求。在一些实施方式中，该请求本身可以包括要从候选视觉元素170的集合向其插入视觉元素的内容项160。在一些实施方式中，该请求可以经由内容选择管理界面做出。在一些实施方式中，内容界面135可以访问数据库155以检索或识别要从候选视觉元素170的集合向其插入或添加视觉元素的内容项160。在一些实施方式中，内容界面135可以从内容提供者115接收内容项160。内容项本身160可以已经包括一个或多个组成视觉元素165，诸如图像元素、文本元素、链接元素、视频元素和画布元素等。在一些实施方式中，表现估计器140可以识别整个内容项160的图形特征，诸如大小、颜色(或逐像素识别的组成颜色)和字体样式等。

为了识别每个内容项160的组成视觉元素165，内容界面135可以在内容项160上应用对象识别算法。对象识别算法可以包括尺度不变特征变换(scale-invariant featuretransform，SIFT)算法、加速鲁棒特征(speeded uprobust features，SURF)算法、几何哈希(geometric hashing)算法、光学字符识别、人脸检测、姿态估计和其他模式识别技术。通过将对象识别算法应用到内容项160上，内容界面135还可以识别每个组成视觉元素165的图形特征，诸如位置、大小、颜色和字体样式等。内容界面135还可以解析对应于内容项的脚本，以识别每个组成视觉元素165。该脚本可以是标记语言(例如，超文本标记语言(HyperText Markup Language，HTML)和层叠样式表(Cascading Style Sheets，CSS)，并且指定应用(例如，网络浏览器)如何在信息资源(例如，网页)上渲染内容项。在解析对应于内容项的脚本时，内容界面135可以将内容项160内的一个或多个DOM元素识别为内容项的组成视觉元素165。在一些实施方式中，内容界面135可以识别被指定为作为内容项160的组成视觉元素165渲染的DOM元素的子集。内容界面135还可以识别内容项160的每个识别的组成视觉元素165的图形特征。

内容界面135还可以识别要从其向内容项插入视觉元素的候选视觉元素170的集合。在一些实施方式中，内容界面135可以访问数据库155来检索或识别候选视觉元素170的集合。候选视觉元素170的集合可以包括任何类型的DOM元素，诸如图像元素、文本元素、链接元素、视频元素和画布元素等。候选视觉元素170中的至少一个可以被插入或添加到内容项160。每个候选视觉元素170可以包括或指定一个或多个图形特征，诸如位置、大小、颜色、字体样式和持续时间等。在一些实施方式中，具有相同大小、颜色和字体样式的候选视觉元素170在候选视觉元素170要被显示的持续时间上可以不同。在一些实施方式中，内容界面135可以基于包括在内容项160中的组成视觉元素165从总的集合中识别候选视觉元素的子集。对于每个候选视觉元素165，内容界面135可以将候选视觉元素170的类型与包括在内容项160中的组成视觉元素165的类型进行比较。根据该比较，内容界面135可以识别候选视觉元素170的类型和组成视觉元素165的类型之间的一个或多个匹配。响应于该识别，内容界面135可以从要从其向内容项160插入或添加的候选视觉元素170的集合中移除候选视觉元素170。例如，内容界面135可以识别链接元素已经被包括在内容项160中。内容界面135可以从候选视觉元素170的集合中移除要添加到内容项160的链接元素，以避免在内容项160上出现的相同类型的元素中的冗余。另一方面，内容项界面135可以识别与组成视觉元素165的类型相比的、候选视觉元素170的不匹配类型。响应于该识别，内容界面135可以将候选视觉元素170保持或包括到要从其向内容项160插入的候选视觉元素170的集合中。

在一些实施方式中，内容界面135可以应用对象识别技术来识别内容项160内的要插入候选视觉元素170的一个或多个候选位置。每个候选位置可以标识边界的坐标和边界的大小。例如，使用对象识别技术，内容界面135可以将内容项160的组成视觉元素165当中的矩形负空间识别为要插入候选视觉元素170的候选位置。对于每个候选位置，内容界面135可以基于候选视觉元素170的指定的视觉特征来选择或识别与候选位置兼容的候选视觉元素170的子集。在一些实施方式中，内容界面135可以将每个候选视觉元素170的指定的大小与候选位置的识别到的大小进行比较。当候选视觉元素170的大小被确定为大于候选位置的识别到的大小时，内容界面135可以确定候选视觉元素170与候选位置不兼容。内容界面135还可以从要插入到内容项160的候选视觉元素170的子集移除候选视觉元素170。相反，当候选视觉元素170的大小被确定为小于候选位置的识别到的大小时，内容界面135可以确定候选视觉元素170与候选位置兼容。内容界面135还可以将候选视觉元素170包括到要添加到内容项160的、候选视觉元素170的子集。

利用对内容项160及其组成视觉元素165的识别，表现估计器140可以使用表现预测模型来计算、预测、估计或以其他方式确定内容项160的至少一个总表现度量。总表现度量可以指示或对应于在交互表现或语义表现方面具有组成视觉元素165的整个内容项160的总体度量。总表现度量可以包括包含所有组成视觉元素165的整个内容项160的总语义表现度量或总交互语义度量。内容项160的总语义表现度量可以是任何类型，诸如说服力、链接性、显著性、可记忆性和情绪等。内容项160的总交互表现度量可以是任何类型，诸如观看数量、悬停率和点击率等。在一些实施方式中，表现估计器140可以将整个内容项160的一个或多个图形特征作为输入应用于表现预测模型。通过输入上的应用，表现预测模型可以经由模型的权重输出单个的组成视觉元素165的贡献表现度量。根据表现预测模型的输出，表现估计器140可以确定内容项160的总表现度量。

在确定内容项160的总表现度量时，表现估计器140可以计算、预测、估计或确定每个组成视觉元素165的贡献表现度量。贡献表现度量可以指示或对应于每个组成视觉元素165对整个的、内容项160的总表现度量的因子(factorial)度量。贡献表现度量可以包括内容项160的组成视觉元素165的贡献语义表现度量或贡献交互语义度量。为了确定贡献表现度量，表现估计器140可以将每个组成视觉元素165作为输入应用于表现预测模型。表现估计器140可以将附加参数作为输入应用于表现预测模型。在一些实施方式中，表现估计器140可以将组成视觉元素165的一个或多个图形特征作为输入应用于表现预测模型。如上所述，组成视觉元素165的图形特征可以包括位置、大小、颜色、字体样式和持续时间等。在一些实施方式中，在确定每个组成视觉元素165的贡献表现度量时，表现估计器140可以将整个内容项160的一个或多个图形特征作为输入应用于表现预测模式。通过输入上的应用，表现预测模型可以经由模型的权重输出单个的组成视觉元素165的贡献表现度量。根据表现预测模型的输出，表现估计器140可以获得或确定每个组成视觉元素165的贡献表现度量。

在一些实施方式中，表现估计器140可以识别或确定内容项160的组成视觉元素165的布置(arrangement)(例如，排列(permutation))集合，以辨别贡献表现度量。每个布置可以包括来自内容项160的组成视觉元素165中的一个或多个。表现估计器140可以将组成视觉元素165的每个布置的图形特征应用于表现预测模型。表现估计器140可以在将组成视觉元素165作为输入应用于表现预测模型时遍历(iterate through)组成视觉元素165的布置。根据表现预测模型的输出，表现估计器140可以确定输入到表现预测模型中的组成视觉元素165的布置的分量表现度量。分量表现度量可以包括组成视觉元素165的布置的语义表现度量或交互语义度量。基于整个布置集合上的分量表现度量，表现估计器140可以确定内容项160的组成视觉元素165的贡献表现度量。在一些实施方式中，表现估计器140可以应用因子分析(factor analysis)技术来确定每个组成视觉元素165的贡献表现度量。因子分析技术可以包括例如探索性因子分析(exploratory factor analysis)、验证性因子分析(confirmatory factor analysis)、回归分析和主分量分析等。

在一些实施方式中，由表现估计器140确定的组成视觉元素165的贡献表现度量可以是针对使用表现预测模型的特定受众分群。如上所述，每个受众分群可以由共同特征(例如，地理位置或设备类型)来定义。贡献情感表现度量或贡献交互表现度量可以因受众分群而不同。例如，组成视觉元素165在经由智能电话或膝上型计算机被呈现时可以具有不同的情感表现度量。在一些实施方式中，表现估计器140可以接收或识别对针对其来确定情感表现度量和交互表现度量的一个或多个受众分群的选择。可以经由内容选择管理界面进行该选择。在一些实施方式中，可以使用群体分类器标识符(例如，字母数字串)来标识受众分群。在一些实施方式中，表现估计器140可以将每个受众分群作为输入应用于表现预测模型，以确定每个组成视觉元素165的贡献表现度量。根据表现预测模型的输出，表现估计器140可以获得或确定每个受众分群的每个组成视觉元素165的贡献表现度量。

基于每个组成视觉元素165的贡献表现度量，表现估计器140可以计算、预测、估计或以其他方式确定整个内容项160的总表现度量。在一些实施方式中，表现估计器140可以基于组成视觉元素165的贡献表现度量的组合(例如，求和)来确定内容项160的总表现度量。在一些实施方式中，由表现估计器140总体确定的内容项160的总表现度量可以是针对使用表现预测模型的特定受众分群。表现估计器140可以基于受众分群的组成视觉元素165的贡献表现度量的组合，来确定每个受众分群的内容项160的总表现度量。组成视觉元素165中的一些的贡献表现度量可以是正的，导致对内容项160的总表现度量的加效果(additive effect)。另一方面，组成视觉元素165中的一些的贡献表现度量可以是负的，导致对内容项160的总表现度量的减效果(subtractive effect)。此外，基于所确定的表现度量的类型，加效果或减效果可能不同。例如，一个组成视觉元素165可以对于显著性和悬停率具有正的贡献表现度量，但是可以对于说服力和点击率具有负的贡献表现度量。每个单个的组成视觉元素165的贡献表现度量的组合可以产生内容项160的总表现度量。

利用对每个候选视觉元素170的识别，表现估计器140可以计算、预测、估计或以其他方式确定与候选视觉元素170和内容项160的组成视觉元素165的组合表现度量。组合表现度量可以指示响应于向内容项160添加候选视觉元素170的对内容项160的总表现度量的因子效果(factorial effect)。在一些实施方式中，表现估计器140可以识别候选视觉元素170的一个或多个图形特征，诸如大小、颜色、字体样式和持续时间等。对于每个候选视觉元素170，表现估计器140可以将候选视觉元素170中的至少一个作为输入应用于表现预测模型，以确定组合表现度量。表现估计器140可以将附加参数作为输入应用于表现预测模型。在一些实施方式中，表现估计器140可以将内容项160的一个或多个图形特征整体作为输入应用于表现预测模型。在一些实施方式中，表现估计器140可以将候选视觉元素170的一个或多个图形特征应用到表现预测模型的输入上。在一些实施方式中，表现估计器140可以将内容项160内的被识别为与候选视觉元素170兼容的每个候选位置作为图形特征之一应用到表现预测模型的输入上。例如，对应于候选位置的位置可以被表现估计器140包括在候选视觉元素170的一个或多个图形特征中，作为表现预测模型的输入。在一些实施方式中，在确定候选视觉元素170的组合表现度量时，表现估计器140可以将一个或多个受众分群作为输入应用于表现预测模型。

通过输入上的应用，表现预测模型可以经由模型的权重输出在候选视觉元素170被插入到内容项160中时的候选视觉元素170的组合表现度量。根据表现预测模型的输出，表现估计器140可以确定候选视觉元素170的组合表现度量。在一些实施方式中，由表现估计器140确定的候选视觉元素170的组合表现度量可以是针对使用表现预测模型的特定受众分群。候选视觉元素170的组合表现度量可以是正的，导致对内容项160的总表现度量的加效果。另一方面，候选视觉元素170的组合表现度量可以是负的，导致对内容项160的总表现度量的减效果。此外，基于表现度量的类型(例如，语义或交互)，加效果或减效果可以不同。

在一些实施方式中，表现估计器140可以确定在候选视觉元素170被插入到内容项160中时的内容项160的聚合表现度量。对聚合表现度量的确定可以基于候选视觉元素170的组合表现度量和包括在内容项160中的组成视觉元素156的贡献表现度量的组合(例如，求和)。为了确定聚合表现度量，表现估计器140可以确定相同类型的表现度量(例如，语义或交互)的组合。插入了候选视觉元素170的内容项160的聚合表现度量可以不同于(例如，大于或小于)不具有候选视觉元素170的内容项160的总表现度量。因此，聚合表现度量可以反映在候选视觉元素170被插入到内容项160中时的候选视觉元素170的组合表现度量的加效果或减效果。

在一些实施方式中，表现估计器140可以识别或确定包括组成视觉元素165中的至少一个和候选视觉元素170的布置(arrangement)(例如，排列(permutation))集合。每个布置可以包括组成视觉元素165中的一个或多个、以及插入到内容项160的候选视觉元素170中的一个或多个。在将候选视觉元素170作为输入应用于表现预测模型时，表现估计器140可以遍历组成视觉元素165和候选视觉元素170的布置。在一些实施方式中，该布置可以包括组成视觉元素165和不同候选位置处的候选视觉元素170中的一个或多个。如上所述，候选位置可以是内容项160内与候选视觉元素170兼容的位置。表现估计器140可以将组成视觉元素165的每个布置和候选视觉元素170的每个布置的图形特征应用于表现预测模型。根据表现预测模型的输出，表现估计器140可以确定输入到表现预测模型中的布置的分量表现度量。分量表现度量可以包括布置的语义表现度量或交互语义度量。基于整个布置集合上的分量表现度量，表现估计器140可以确定在组成视觉元素170被插入到内容项160中时的组成视觉元素170的组合表现度量。在一些实施方式中，表现估计器140可以应用因子分析技术来确定组成视觉元素170的组合表现度量。因子分析技术可以包括例如探索性因子分析、验证性因子分析、回归分析和主分量分析等。

使用候选视觉元素170的组合表现度量，元素选择器145可以选择一个或多个候选视觉元素170来添加或插入到内容项160中。用于比较和选择候选视觉元素170的表现度量的类型可以是情感表现度量(例如，说服力、链接性、显著性、可记忆性或情感反应)或交互表现度量(例如，观看数量、悬停率或点击率)。在选择候选视觉元素170时，元素选择器145可以在相同类型的组合表现度量或聚合表现度量之间进行比较。在一些实施方式中，元素选择器145可以通过组合表现度量(或通过聚合表现度量)对候选视觉元素170进行排序。根据候选视觉元素170的排序，元素选择器145可以选择具有最高的对应组合表现度量(或通过聚合表现度量)的、候选视觉元素170的子集。例如，元素选择器145可以选择具有最高三个组合表现度量的候选视觉元素170中的三个。在一些实施方式中，元素选择器145可以基于对应于候选位置的组合表现度量(或聚合表现度量)为候选视觉元素170选择候选位置。对于每个候选视觉元素170，元素选择器145可以通过对应于每个候选位置的组合表现度量(或聚合表现度量)来对内容项160内的兼容候选位置进行排序。根据兼容候选位置的排序，元素选择器145可以选择具有最高的对应组合表现度量(或聚合表现度量)的、候选位置的子集。以这种方式，可以选择候选视觉元素170以及内容项160内的候选位置两者来插入到内容项160中。

在一些实施方式中，候选视觉元素170中的一个或多个可以由元素选择器145自动选择。元素选择器145可以基于如上所述的组合表现度量或聚合表现度量来选择候选视觉元素170中的一个或多个以插入到内容项160中，而无需任何管理员输入。在一些实施方式中，可以经由内容选择管理界面手动选择候选视觉元素170中的一个或多个来插入到内容项170中。内容选择管理界面可以由数据处理系统110提供给另一个计算设备(例如，内容提供者115、内容发布者120或客户端设备125)。元素选择器145可以在内容选择管理界面上基于对应组合表现度量将候选视觉元素170显示或呈现为要插入到内容项160中的推荐。在一些实施方式中，元素选择器145可以呈现具有大于阈值度量的组合表现度量(或聚合表现度量)的、候选视觉元素170的子集。在一些实施方式中，元素选择器145可以呈现通过组合表现度量或聚合表现度量排序的、候选视觉元素170的子集。在一些实施方式中，元素选择器145可以呈现候选视觉元素170的子集以及与每个视觉元素170相关联的外部特征。如上所述，外部特征可以包括内容项要被插入到其上的信息资源的话题类别和指定的受众分群等。外部特征可以作为文本标签与候选视觉元素170的子集一起被呈现或显示。使用内容选择管理界面，可以选择候选视觉元素170中的一个或多个以插入到内容项160中。在一些实施方式中，内容选择管理界面可以用于选择内容项160内的候选位置，以插入候选视觉元素170之一。结合图2A-图3C在本文中描述了关于内容选择管理界面的更多细节。

利用基于组合表现度量或聚合表现度量对候选视觉元素170的选择，元素选择器145可以将所选择的候选视觉元素170添加或插入到内容项160中。在一些实施方式中，元素选择器145可以在对应于所选择的候选位置的位置处插入所选择的候选视觉元素170。在一些实施方式中，元素选择器145可以响应于经由内容选择管理界面的选择来插入所选择的候选视觉元素170。在一些实施方式中，元素选择器145可以识别每个所选择的候选视觉元素170的对应脚本。该脚本可以是标记语言(例如，超文本标记语言(HTML)和层叠样式表(CSS))并且可以指定应用(例如，网络浏览器)如何渲染内容项160内的候选视觉元素170。元素选择器145可以将所选择的候选视觉元素170的对应脚本插入到与内容项160的脚本相对应的脚本中。一旦被添加，内容项160可以包括组成视觉元素165和一个或多个所选择的候选视觉元素170。所选择的候选视觉元素170可以由元素选择器145作为子DOM元素插入到对应于内容项160的DOM元素中。在一些实施方式中，元素选择器145可以将对应于候选视觉元素170的DOM元素作为子元素(child)插入到与内容项160的组成视觉元素165之一相对应的、DOM元素之一中。

为了测量插入了候选视觉元素170的内容项160的表现，呈现跟踪器150可以跨被客户端设备125访问的一个或多个信息资源(例如，网页)显示或呈现内容项160。在一些实施方式中，呈现跟踪器150(或另一服务器)可以响应于接收到将内容插入到信息资源的内容位(例如，内嵌框架)中的请求，向客户端设备125发送内容项160。在发送将内容插入到内容位中的请求之前或与之结合，信息资源可以已经被客户端设备125请求。在一些实施方式中，呈现跟踪器150可以将插入了候选视觉元素170的内容项160提供给单独的服务器或数据处理系统110的另一组件，以将内容项160分发到多个客户端设备125。

根据向多个客户端设备125提供内容项160，呈现跟踪器150可以识别或确定插入候选视觉元素170的内容项160的交互统计。内容项160可以包括当在信息资源上被执行和显示时从客户端设备125发送与内容项160的交互的指示符的脚本。指示符可以指定交互的类型，诸如观看、悬停或点击等。在一些实施方式中，指示符还可以包括内容项160内的交互的位置。在一些实施方式中，指示符可以包括对应于客户端设备125的受众分群标识符。受众分群标识符可以指定被呈现有内容项160的客户端设备125的特征(例如，地理位置或设备类型)。呈现跟踪器150可以聚合从当被呈现有插入了候选视觉元素170的内容项160时的多个客户端设备125接收到的指示符。使用聚合的指示符，呈现跟踪器150可以计算或确定内容项160的交互统计。交互统计可以包括由被提供有内容项160的客户端设备125做出的观看数量、悬停率和点击率等。在一些实施方式中，呈现跟踪器150还可以存储内容项160内的交互的位置。在一些实施方式中，呈现跟踪器150还可以存储对应于客户端设备125的受众分群标识符。通过该确定，呈现跟踪器150可以经由内容选择管理界面呈现不具有候选视觉元素170的内容项160的交互统计。内容选择管理界面还可以指示与内容项160交互的客户端设备125的交互的位置和受众分群标识符。结合图2A-图3C在本文中描述了关于内容选择管理界面的更多细节。

在一些实施方式中，呈现跟踪器150可以执行统计假设测试(例如，A/B测试)，以测量或确定具有和不具有候选视觉元素170的内容项160的表现。在向客户端设备125提供内容项160时，呈现跟踪器150可以将具有插入的候选视觉元素170的内容项160发送到一组客户端设备125，以用于在信息资源上显示。此外，呈现跟踪器150可以将不具有插入的候选视觉元素170的内容项160发送到另一组客户端设备125，以用于在信息资源上显示。无论具有还是不具有候选视觉元素170，内容项160都可以包括当在信息资源上被执行和显示时从客户端设备125发送与内容项160的交互的指示符的脚本。指示符可以指定交互的类型，诸如观看、悬停或点击等。指示符可以指定候选视觉元素170是否被插入到内容项160中。在一些实施方式中，指示符还可以包括内容项160内的交互的位置。在一些实施方式中，指示符可以包括对应于客户端设备125的受众分群标识符。呈现跟踪器150可以聚合从当被呈现有内容项160时的多个客户端设备125接收到的指示符。

基于聚合的指示符，呈现跟踪器150可以计算或确定具有候选视觉元素170的内容项160的交互统计。另外，呈现跟踪器150可以基于聚合的指示符计算或确定不具有候选视觉元素170的内容项160的单独的交互统计。交互统计可以包括由被提供有内容项160的客户端设备125做出的观看数量、悬停率和点击率等。呈现跟踪器150可以识别指定候选视觉元素170被插入到内容项160中的指示符。使用识别到的指示符，呈现跟踪器150可以基于交互的类型来确定具有候选视觉元素170的内容项160的交互统计。交互统计可以指示具有候选视觉元素170的内容项160的观看数量、悬停率和点击率。呈现跟踪器150可以识别指定候选视觉元素170没有被插入到内容项160的指示符。使用识别到的指示符，呈现跟踪器150可以基于交互的类型来确定具有候选视觉元素170的内容项160的交互统计。交互统计可以指示不具有候选视觉元素170的内容项160的观看数量、悬停率和点击率。通过该确定，呈现跟踪器150可以经由内容选择管理界面呈现具有和不具有候选视觉元素170的内容项160的交互统计。内容选择管理界面还可以指示与内容项160交互的客户端设备125的交互的位置和受众分群标识符。结合图2A-图3C在本文中描述了关于内容选择管理界面的更多细节。

使用从向多个客户端设备125呈现内容项160而确定的交互统计，模型训练器130可以更新表现预测模型。在一些实施方式中，模型训练器130可以识别内容项160的一个或多个图形特征，诸如大小、颜色和字体样式等。模型训练器130可以识别具有和不具有候选视觉元素165的内容项160的一个或多个图形特征。此外，模型训练器130可以识别组成视觉元素165中的每一个的一个或多个图形特征，诸如位置、大小、颜色、字体样式和持续时间。模型训练器130还可以识别插入到内容项160中的每个候选视觉元素170的一个或多个图形特征。模型训练器130可以将识别到的、内容项160的图形特征应用到表现预测模型的输入中。通过输入的应用，表现预测模型可以输出内容项160的估计的总表现度量。根据该输出，模型训练器130可以获得或确定估计的总表现度量。估计的总表现度量可以是交互表现度量，诸如观看数量、悬停率和点击率等。模型训练器130可以计算或确定由表现预测模型估计的总表现度量和从向客户端设备125呈现内容项160测量的交互统计之间的偏差度量。基于该偏差度量，模型训练器130可以调整表现预测模型的权重。以这种方式，对表现预测模型的输入的后续应用可以导致对各种内容项的交互表现度量的更准确的预测。

现在参考图2A，描绘了描绘用于基于情感分析选择视觉元素的图形用户界面(GUI)200A的框图。GUI 200A可以对应于如前所述的内容选择管理界面，并且可以包括内容项205和用于情绪分析结果215的窗口等。内容项205可以对应于内容项160，并且包括图像元素210A、文本元素210B和链接元素210C。图像元素210A、文本元素210B和链接元素210C各自可以对应于组成视觉元素165之一。在图1的上下文中，内容界面135可以识别图像元素210A、文本元素210B和链接元素210C中的每一个的一个或多个图形特征。使用应用于表现预测模型的图形特征，表现估计器140可以总体确定内容项205的总情感表现度量。此外，表现估计器140可以确定图像元素210A、文本元素210B和链接元素210C中的每一个的贡献情感表现度量。由表现估计器140确定的情感表现度量可以包括说服力220A、链接性220B、显著性220C和可记忆性220D。表现估计器140可以在条形图225A-D上显示总情感表现度量和贡献情感表现度量。条形图225A可以对应于说服力220A。条形图225B可以对应于链接性225B。条形图225C可以对应于显著性220C。条形图225D可以对应于可记忆性220D。每个条形图225A-D可以示出总情感表现度量、以及三个片段230A-C。每个片段230A-C可以示出图像元素210A、文本元素210B和链接元素210C中的每一个对整个内容项205的总情感表现度量的贡献情感表现度量。片段230A可以对应于图像元素210A的贡献情感表现度量。片段230B可以对应于文本元素210B的贡献情感表现度量。片段230C可以对应于链接元素210的贡献表现度量。

现在参考图2B，描绘了描绘用于基于情感分析选择视觉元素的图形用户界面(GUI)200B的框图。GUI 200B可以对应于如前所述的内容选择管理界面。GUI 200B可以包括具有图像元素210A、文本元素210B和链接元素210C的内容项205。此外，GUI 200B可以包括要添加的元素的列表235的窗口。要添加的元素的列表235可以包括要插入到内容项205中的推荐视觉元素240A-C的集合。在图1的上下文中，要添加的元素的列表235可以由表现估计器140和元素选择器145来确定和选择。推荐视觉元素240A-C可以从候选视觉元素170中选择，以插入到内容项160中。对于候选视觉元素170，表现估计器140可以已经确定了当候选视觉元素170被添加到内容项160时的组合表现度量。基于所计算的组合表现度量，元素选择器145可以已经选择了具有三个最高组合表现度量的前三个候选视觉元素170作为推荐视觉元素240A-C。

现在参考图2C，描绘了描绘用于基于情感分析选择视觉元素的图形用户界面(GUI)200C的框图。GUI 200C可以对应于如前所述的内容选择管理界面。GUI 200C可以包括如来自GUI 200A和200B的具有图像元素210A、文本元素210B和链接元素210C的内容项205。在GUI 200C中，内容项205还可以包括文本元素210D。可以已经从来自GUI 200B的要添加的元素的列表235中选择了文本元素210。此外，GUI 200C可以包括示出表现结果245的窗口。在图1的上下文中，可以已经由呈现跟踪器150生成和确定表现结果245。呈现跟踪器150可以已经在两组客户端设备125上执行了A/B测试。呈现跟踪器150可以已经向一组客户端设备125分发或提供了具有图像元素210A、文本元素210B、链接元素210C和文本元素210D的内容项205。呈现跟踪器150可以已经向另一组客户端设备125分发或提供了具有图像元素210A、文本元素210B和链接元素210C但是不具有文本元素210D的内容项205。根据对内容项205的该提供，呈现跟踪器150可以确定交互统计。

交互统计可以包括观看数量250A、悬停率250B和点击率250，并且可以使用表现结果245窗口来显示交互统计。对于两组客户端设备125，交互统计还可以分为两个条形图。条形图255A可以对应于由对应的一组客户端设备125对具有文本元素210D的内容项205的观看数量。条形图255B可以对应于由对应的一组客户端设备125对不具有文本元素210D的内容项205的观看数量。条形图255’A可以对应于由对应的一组客户端设备125对具有文本元素210D的内容项205的悬停率。条形图255’B可以对应于由对应的一组客户端设备125对不具有文本元素210D的内容项205的悬停率。条形图255”A可以对应于由对应的一组客户端设备125对具有文本元素210的内容项205的点击率。条形图255”B可以对应于由对应的一组客户端设备125对不具有文本元素210D的内容项205的点击率。

现在参考图3A，示出了用于基于情感分析选择视觉元素的图形用户界面(GUI)300A的屏幕截图。GUI 300A可以对应于如前所述的内容选择管理界面。GUI 300A可以包括示出两个内容项的渲染的第一部分305。对于在第一部分305中渲染的每个内容项，GUI300A可以包括示出内容项的目标交互统计的第二部分310。此外，GUI 300A可以包括示出对内容项的预测的情感反应的第三部分315。可以已经由表现估计器140确定预测的情感反应。此外，GUI 300A可以包括示出其他预测的情感表现度量(诸如“说服力”、“链接性”、“穿透性(cut-through)”(有时在本文中被称为显著性)和“关键消息”(有时在本文中被称为可记忆性))的第四部分320。

现在参考图3B，示出了用于基于情感分析选择视觉元素的图形用户界面(GUI)300B的屏幕截图。GUI 300B可以对应于如前所述的内容选择管理界面。GUI 300B可以包括修改内容项(例如，内容项160或205)的多个推荐325A、325B、330A和330B。在图1的上下文中，可以已经由表现估计器140和元素选择器145确定和选择推荐325A、325B、330A和330B。例如，表现估计器140可以已经确定在提供推荐325A时附加文本元素对应于更高的聚合表现度量。表现估计器140可以已经确定在提供推荐325B时具有不同类型的元素对应于更高的聚合表现度量。表现估计器140可以已经确定在提供推荐330A时添加具有不同颜色的另一元素作为现有内容项导致更高的聚合表现度量。另外，表现估计器140可以已经确定一个或多个图像元素在被插入到内容项中时可以具有正的组合表现度量。

现在参考图3C，示出了用于基于情感分析选择视觉元素的图像用户界面(GUI)300C的屏幕截图。GUI 300C可以对应于如前所述的内容选择管理界面。GUI 300C可以包括内容项的表现度量和交互统计的详细分解。GUI300C可以包括显示相对于内容项(例如，内容项160或205)的目标统计随时间的交互统计的第一部分335。GUI 300C可以包括示出与被呈现有内容项的客户端设备125相对应的设备类型的分布的第二部分340。GUI 300C可以包括示出内容项内的各种位置上的交互的热度图(heat map)的第三部分345。GUI 300C可以包括示出使用表现预测模型的对内容项的预测的情感反应的第四部分350。GUI 300C可以包括示出被呈现有内容项的客户端设备125的受众分群的分布的第五部分355。GUI 300C可以包括示出被呈现有内容项的客户端设备125的地理分布的第六部分360。GUI 300C可以包括示出其他情感表现度量(诸如“说服力”、“链接性”、“穿透性”(有时在本文中被称为显著性)和“关键消息”(有时在本文中被称为可记忆性))的第七部分370。GUI 300C可以包括示出关于在客户端设备125上的内容项的呈现的其他受众分群的第八部分380。

参考图4，图4是描绘基于情感分析选择视觉元素的方法400的流程图。本文中关于方法500描述的功能性可以由如图1所示的数据处理系统110或客户端设备125、或者如图5所示的计算系统、或者它们的任何组合来执行或以其他方式执行。数据处理系统可以识别训练数据集(405)。数据处理系统可以训练表现预测模型(410)。数据处理系统可以识别内容项(415)。数据处理系统可以从内容项中检测视觉元素(420)。数据处理系统可以确定视觉元素的情感表现度量(425)。数据处理系统可以确定内容中是否存在更多的视觉元素(430)。如果是，则数据处理系统可以识别下一个视觉元素(435)。否则，数据处理系统可以确定总情感表现度量(440)。数据处理系统可以识别候选视觉元素(445)。数据处理系统可以确定候选视觉元素的情感表现度量(450)。数据处理系统可以确定是否存在更多的候选视觉元素(455)。如果是，则数据处理系统可以识别下一个候选视觉元素(460)。否则，数据处理系统可以选择候选视觉元素(465)。数据处理系统可以将候选视觉元素插入到内容项中(470)。数据处理系统可以测量交互统计(475)。数据处理系统可以更新表现预测模型(480)。

更详细地，数据处理系统(例如，数据处理系统110)可以识别训练数据集(405)。训练数据集可以包括与测量情感表现度量或测量交互表现度量等相关联的测试内容项的集合。训练数据集可以指定每个内容项的图形特征和内容项中的组成视觉元素的图形特征，诸如大小、颜色和字体样式等。数据处理系统可以训练表现预测模型(410)。使用训练数据集，数据处理系统可以训练表现预测模型(例如，直到收敛)。表现预测模型可以是例如人工神经网络(ANN)。表现预测模型可以包括输入集合、输出集合和权重集合。输入集合可以包括内容项的组成视觉元素的图形特征。输出集合可以包括表现度量。权重集合可以将内容项的图形特征与表现度量的数值相关联。

数据处理系统可以识别内容项(例如，内容项160)(415)。可以从数据库或从内容提供者访问内容项，并且可以将内容项作为请求的一部分提供给数据处理系统。数据处理系统可以从内容项中检测视觉元素(例如，组成视觉元素165)(420)。内容项可以已经包括一个或多个视觉元素，诸如图像元素、文本元素、链接元素、视频元素和画布元素等。数据处理系统可以将对象识别算法应用于对内容项的渲染来识别视觉元素。数据处理系统还可以解析内容项的脚本以识别视觉元素。利用对视觉元素的检测，数据处理系统可以识别每个视觉元素的图形特征和整个内容项的图形特征。

数据处理系统可以确定视觉元素的情感表现度量(425)。数据处理系统可以将内容项的组成视觉元素的图形特征作为输入应用于表现预测模型。根据表现预测模型的输出，数据处理系统可以获得视觉元素的情感表现度量。数据处理系统可以确定内容中是否存在更多的视觉元素(430)。如果是，数据处理系统可以识别下一个视觉元素(435)。否则，数据处理系统可以确定总情感表现度量(440)。数据处理系统可以基于内容项的组成视觉元素的各个情感表现度量的组合来确定整个内容项的总情感表现度量。

数据处理系统可以识别候选视觉元素(445)。数据处理系统可以确定候选视觉元素的情感表现度量(450)。数据处理系统可以识别候选视觉元素的图形特征。然后，数据处理系统可以将图形特征作为输入应用于表现预测模型。根据表现预测模型的输出，数据处理系统可以获得候选视觉元素在被添加到内容项时的情感表现度量。数据处理系统可以确定是否存在更多的候选视觉元素(455)。如果是，数据处理系统可以识别下一个候选视觉元素(460)。否则，数据处理系统可以选择候选视觉元素(465)。数据处理系统可以通过各个情感表现度量对候选视觉元素进行排序。根据排序，数据处理系统可以选择具有使用表现预测模型估计的最高情感表现度量的候选视觉元素的子集。数据处理系统可以将候选视觉元素插入到内容项中(470)。

数据处理系统可以测量交互统计(475)。在测量交互统计时，数据处理系统可以向一组客户端设备提供具有插入的候选视觉元素的内容项。当客户端设备检测到与内容项的交互时，数据处理系统可以从客户端设备接收交互的指示。数据处理系统可以聚合来自多个客户端设备的指示，以确定内容项的交互统计。交互统计可以包括观看数量、悬停率和点击率等。数据处理系统可以更新表现预测模型(480)。数据处理系统可以基于为具有添加了候选视觉元素的内容项聚合的交互统计来更新表现预测模型。

图5示出了根据一些实施方式的说明性计算机系统500的一般架构，该计算机系统500可以用于实现本文讨论的计算机系统(包括数据处理系统110及其组件(诸如模型训练器130、内容界面135、表现估计器140、元素选择器145、呈现跟踪器150和数据库155))中的任何一种。计算机系统500可以用于经由网络105提供信息以用于显示。图5的计算机系统500包括通信地耦合到存储器525的一个或多个处理器520、一个或多个通信接口505、一个或多个输出设备510(例如，一个或多个显示单元)和一个或多个输入设备515。处理器520可以被包括在数据处理系统110或数据处理系统110的其他组件(诸如模型训练器130、内容界面135、表现估计器140、元素选择器145和呈现跟踪器150)中。

在图5的计算机系统500中，存储器525可以包括任何计算机可读存储介质，并且可以存储计算机指令(诸如用于实现本文中针对各个系统描述的各种功能的处理器可执行指令)以及与之相关的、由此生成的、或经由(多个)通信接口或(多个)输入设备(如果存在)接收到的任何数据。再次参考图1的数据处理系统110，数据处理系统110可以包括存储器525，以存储与一个或多个内容单元的库存可用性、一个或多个内容单元的预订等相关的信息。存储器525可以包括数据库155。图5中所示的(多个)处理器520可以用于执行存储在存储器525中的指令，并且在这样做时，还可以从存储器读取或向存储器写入根据指令的执行而处理和/或生成的各种信息。

图5所示的计算机系统500的处理器520也可以通信地耦合到或控制(多个)通信接口505，以根据指令的执行来发送或接收各种信息。例如，(多个)通信接口505可以耦合到有线或无线网络、总线或其他通信装置，并且因此可以允许计算机系统500向其他设备(例如，其他计算机系统)发送信息或从其他设备接收信息。虽然在图1的系统中没有明确示出，但是一个或多个通信接口促进了系统500的组件之间的信息流。在一些实施方式中，(多个)通信接口可以被配置(例如，经由各种硬件组件或软件组件)为提供网站作为对计算机系统500的至少一些方面的访问门户。通信接口505的示例包括用户可以通过其与数据处理系统110通信的用户接口(例如，网页)。

例如，可以提供图5所示的计算机系统500的输出设备510，以允许结合指令的执行来查看或以其他方式感知各种信息。例如，可以提供(多个)输入设备515，以允许用户在指令执行期间进行手动调整、进行选择、输入数据或者以各种方式中的任何一种与处理器交互。本文中还提供了与可以用于本文中讨论的各种系统的通用计算机系统架构相关的附加信息。

本说明书中描述的主题和操作的实施方式可以在数字电子电路中实现，或者在具体实现在有形介质、固件或硬件上的包括本说明书中公开的结构及其结构等价物的计算机软件中实现，或者在它们中的一个或多个的组合中实现。本说明书中描述的主题的实施方式可以被实现为被编码在计算机存储介质上的一个或多个计算机程序(即一个或多个计算机程序指令模块)，以用于由数据处理装置执行或控制数据处理装置的操作。程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电、光或电磁信号，该人工生成的传播信号被生成来编码信息以传输到合适的接收器装置，以便由数据处理装置执行。计算机存储介质可以是或包括在计算机可读存储设备、计算机可读存储基底、随机或串行存取存储器阵列或设备、或者它们中的一个或多个的组合中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以包括编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是或包括在一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储设备)中。

本文中公开的特征可以在智能电视机模块(或连接的电视机模块、混合电视机模块等)上实现，该智能电视机模块可以包括被配置为将互联网连接与更传统的电视机节目源(例如，经由电缆、卫星、空中或其他信号接收到的)相结合的处理模块。智能电视机模块可以物理地结合到电视机中，或者可以包括单独的设备，诸如机顶盒、蓝光或其他数字媒体播放器、游戏控制台、酒店电视机系统和其他配套设备。智能电视机模块可以被配置为允许观众搜索和查找网络上、本地有线TV(电视机)频道上、卫星TV频道上或者存储在本地硬盘驱动器上的视频、电影、照片和其他内容。机顶盒(set-topbox，STB)或机顶单元(set-topunit，STU)可以包括信息家电设备，该信息家电设备可以包含调谐器并连接到电视机和外部信号源，将信号转换成接下来被显示在电视机屏幕或其他显示设备上的内容。智能电视机模块可以被配置为提供主屏幕或顶层屏幕，其中主屏幕或顶层屏幕包括用于多个不同应用(诸如网络浏览器和多个流媒体服务、连接的电缆或卫星媒体源、其他网络“频道”等)的图标。智能电视机模块还可以被配置为向用户提供电子节目指南。智能电视机模块的配套应用可以在移动计算设备上操作来向用户提供关于可用节目的附加信息，以允许用户控制智能电视机模块等。在替代实施方式中，该特征可以在膝上型计算机或其他个人计算机、智能电话、其他移动电话、手持计算机、平板PC(个人计算机)或其他计算设备上实现。本说明书中描述的操作可以实现为由数据处理设备对存储在一个或多个计算机可读存储设备上或从其他源接收的数据执行的操作。

术语“数据处理装置”、“数据处理系统”、“用户设备”或“计算设备”包括用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统或前述中的多个或组合。该装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。模型训练器130、内容界面135、表现估计器140、元素选择器145和呈现跟踪器150可以包括或共享一个或多个数据处理装置、计算设备或处理器。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明性或过程性语言)编写，并且可以以任何形式(包括作为独立程序、或者作为模块、组件、子例程、对象或适合在计算环境中使用的其他单元)部署。计算机程序可以(但不需要)对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，可以被存储在专用于所讨论的程序的单个文件中，或可以被存储在多个协调文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。计算机程序可以被部署为在一个计算机上、或者在位于一个站点或跨多个站点分布并通过通信网络互连的多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行，以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路来执行，并且装置也可以被实现为专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

举例来说，适于执行计算机程序的处理器包括通用微处理器和专用微处理器两者、以及任何类型的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括一个或多个用于存储数据的大容量存储设备，例如磁盘、磁光盘或光盘，或者可操作地耦合到一个或多个用于存储数据的大容量存储设备，以从一个或多个大容量存储设备接收数据或向一个或多个大容量存储设备传送数据或两者兼而有之。然而，计算机不必具有这样的设备。此外，计算机可以嵌入到另一个设备中，例如，移动电话、个人数字助理(personal digitalassistant，PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GlobalPositioning System，GPS)接收器或便携式存储设备(例如，通用串行总线(universalserial bus，USB)闪存驱动器)。适于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如半导体存储器设备，例如EPROM、EEPROM和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路来补充，或者可以并入专用逻辑电路中。

为了提供与用户的交互，本说明书中描述的主题的实施方式可以在计算机上实现，其中该计算机具有用于向用户显示信息的显示设备(例如，CRT(cathode ray tube，阴极射线管)、等离子体或LCD(liquid crystal display，液晶显示器)监视器)、以及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以包括任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。此外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档(例如，通过响应于从网络浏览器接收到的请求，将网页发送到用户的客户端设备上的网络浏览器)来与用户交互。

本说明书中描述的主题的实施方式可以在计算系统中实现，该计算系统包括后端组件(例如，作为数据服务器)，或者包括中间件组件(例如，应用服务器)，或者包括前端组件(例如，具有图形用户界面或网络浏览器的客户端计算机，其中用户可以通过该图形用户界面或网络浏览器与本说明书中描述的主题的实施方式进行交互)，或者包括一个或多个这样的后端组件、中间件组件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(localareanetwork，LAN)和广域网(wide area network，WAN)、互连网络(例如，互联网)和对等网络(例如，ad hoc对等网络)。

诸如系统500或系统110的计算系统可以包括客户端和服务器。例如，数据处理系统110可以包括一个或多个数据中心或服务器群中的一个或多个服务器。客户端和服务器一般彼此远离，并且典型地通过通信网络进行交互。客户端和服务器的关系是由运行在各自计算机上并且相互之间具有客户端-服务器关系的计算机程序产生的。在一些实施方式中，服务器将数据(例如，HTML页面)发送到客户端设备(例如，出于向与客户端设备交互的用户显示数据和从该用户接收用户输入的目的)。可以在服务器处从客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。

尽管本说明书包含许多具体的实现细节，但这些不应被解释为对任何发明的范围或可能要求保护的内容的限制，而是被解释为对本文中描述的系统和方法的特定实施方式所特有的特征的描述。本说明书中在单独的实施方式的上下文中描述的某些特征也可以在单个实施方式中组合实现。相反，在单个实施方式的上下文中描述的各种特征也可以分别在多个实施方式中或者在任何合适的子组合中实现。此外，尽管特征可以在上面被描述为在某些组合中起作用，甚至最初也是这样要求保护的，但是在某些情况下，来自所要求保护的组合的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以针对子组合或子组合的变体。

类似地，尽管在附图中以特定的次序描述了操作，但是这不应该被理解为要求以所示的特定次序或顺序次序执行这些操作、或者执行所有示出的操作以获得期望的结果。在一些情况下，权利要求中列举的动作可以以不同的顺序执行，并且仍然获得期望的结果。此外，附图中描绘的过程不一定需要所示的特定次序或顺序次序以获得期望的结果。

在某些情况下，多任务和并行处理可能是有利的。此外，上述实施方式中的各种系统组件的分离不应该被理解为在所有实施方式中需要这样的分离，并且应该理解，所描述的程序组件和系统一般可以一起集成在单个软件产品中或者封装到多个软件产品中。例如，模型训练器130、内容界面135、表现估计器140、元素选择器145和呈现跟踪器150可以是数据处理系统110的一部分、单个模块、具有一个或多个处理模块的逻辑设备、或者一个或多个服务器。

现在已经描述了一些说明性的实施方式和实施例，明显的是，前面所述是说明性的而非限制性的并且已经通过示例的方式呈现。特别地，尽管本文中呈现的示例中的许多示例涉及方法动作或系统元素的特定组合，但是这些动作和这些元素可以以其他方式组合以实现相同的目的。仅结合一个实施方式讨论的动作、元素和特征不旨在被排除在其他实施方式或实施例中的类似角色之外。

本文中使用的措辞和术语是为了描述的目的，不应该被认为是限制性的。本文中使用的“包括”、“具有”、“包含”、“涉及”、“特征在于”及其变型意味着包含其后列出的项目、其等同物和附加项目、以及由其后专门列出的项目排他地构成的替代实施方式。在一个实施方式中，本文描述的系统和方法由一个所描述的元素、动作或组件、多于一个所描述的元素、动作或组件的每种组合、或者所有所描述的元素、动作或组件构成。

本文中以单数形式提及的对系统和方法的实施方式或元素或动作的任何引用也可以包括包含多个这些元素的实施方式，并且本文中以复数形式提及的任何实施方式或元素或动作也可以包括仅包含单个元素的实施方式。单数或复数形式的引用不旨在将当前公开的系统或方法、它们的组件、动作或元素限制为单个或多个配置。对基于任何信息、动作或元素的任何动作或元素的引用可以包括动作或元素至少部分基于任何信息、动作或元素的实施方式。

本文中公开的任何实施方式可以与任何其他实施方式相结合，并且对“实施方式”、“一些实施方式”、“替代实施方式”、“各种实施方式”、“一个实施方式”等的引用不一定相互排斥，并且旨在指示结合该实施方式描述的特定特征、结构或特性可以包括在至少一个实施方式中。本文中使用的这些术语不一定都指相同的实施方式。任何实施方式都可以以与本文公开的方面和实施方式一致的任何方式(包括性地或排他性地)与任何其他实施方式相结合。

对“或”的引用可以被解释为包含性的，使得使用“或”描述的任何术语可以指示单个所描述的术语、多于一个所描述的术语以及所有描述的术语中的任何一种。

在附图、详细描述或任何权利要求中的技术特征之后跟随有附图标记的情况下，包括附图标记的唯一目的是增加附图、详细描述和权利要求的可理解性。因此，附图标记存在或不存在对任何权利要求元素的范围都没有任何限制作用。

在不脱离本文中描述的系统和方法的特性的情况下，本文中描述的系统和方法可以以其他特定形式具体实现。尽管本文中提供的示例涉及基于情感分析选择要插入到内容项中的视觉元素，但是本文中描述的系统和方法可以包括应用于其他环境。前述实施方式是说明性的，而不是对所描述的系统和方法的限制。因此，本文中描述的系统和方法的范围由所附权利要求来指示，而不是由前面的描述来指示，并且在权利要求的等同物的含义和范围内的变化包含在其中。

Claims (20)

1.一种基于情感分析选择要插入到内容项中的视觉元素的方法，包括：

由具有一个或多个处理器的数据处理系统使用具有多个测试内容项的训练数据集来建立内容项的表现预测模型，其中所述表现预测模型将组成视觉元素与情感表现度量相关联，每个测试内容项具有多个视觉元素和测量情感表现度量；

由所述数据处理系统识别内容项和要插入到所述内容项中的多个候选视觉元素，所述内容项具有多个组成视觉元素；

由所述数据处理系统使用所述表现预测模型和所述内容项的所述多个组成视觉元素来确定所述内容项的总情感表现度量；

由所述数据处理系统使用所述表现预测模型为所述多个候选视觉元素中的每个候选视觉元素确定所述候选视觉元素和所述内容项的所述多个视觉元素之间的组合表现度量，所述组合表现度量指示对所述内容项的总表现度量的预测效果；以及

由所述数据处理系统基于所述候选视觉元素与所述内容项中的所述多个组成视觉元素的组合表现度量，从所述多个候选视觉元素中选择要插入到所述内容项中的候选视觉元素。

2.根据权利要求1所述的方法，还包括：

由所述数据处理系统跨多个信息资源向第一组客户端设备呈现具有所述候选视觉元素的内容项，并且在第二组客户端设备上呈现不具有所述候选视觉元素的内容项；以及

由所述数据处理系统根据跨所述多个信息资源的呈现来确定具有所述候选视觉元素的内容项的第一交互统计和不具有所述候选视觉元素的内容项的第二交互统计。

3.根据权利要求1所述的方法，还包括：

由所述数据处理系统在多个信息资源的每个信息资源上呈现所述信息资源上的具有所述候选视觉元素的内容项；

由所述数据处理系统根据在所述多个信息资源上呈现所述内容项来确定插入了所述候选视觉元素的内容项的交互统计；以及

由所述数据处理系统基于所述表现度量、所述内容项的所述多个组成视觉元素以及插入到所述内容项中的所述候选视觉元素来更新所述表现预测模型。

4.根据权利要求1所述的方法，还包括：

由所述数据处理系统使用所述表现预测模型为所述内容项上的所述多个组成视觉元素的每个组成视觉元素确定所述组成视觉元素的贡献表现度量；并且

其中，确定所述总情感表现度量还包括基于所述内容项上的所述多个组成视觉元素的多个贡献表现度量来确定总情感表现度量。

5.根据权利要求1所述的方法，还包括：

由所述数据处理系统识别感知所述内容项的多个受众分群，每个受众分群由共同特征定义；

其中，建立所述表现预测模型还包括使用具有所述多个测试内容项的所述训练数据集来建立所述表现预测模型，每个测试内容项具有对于每个受众分群的测量情感表现度量；

其中，确定所述总情感表现度量还包括确定对于所述多个受众分群中的每个受众分群的、所述内容项的总情感表现度量；并且

其中，确定所述组合表现度量还包括确定对于所述多个受众分群中的每个受众分群的、所述候选视觉元素的组合表现度量。

6.根据权利要求1所述的方法，其中，建立所述表现预测模型还包括使用所述训练数据集建立所述表现预测模型，所述训练数据集包括第一测试内容项和第二测试内容项，第一内容项在第一位置处具有具备第一测量情感表现度量的视觉元素，第二内容项在第二位置处具有具备第二测量情感表现度量的视觉元素；并且

其中，确定所述组合表现度量还包括使用所述表现预测模型确定所述内容项内用于插入的候选位置处的候选视觉元素的组合表现度量。

7.根据权利要求1所述的方法，其中，建立所述表现预测模型还包括使用所述训练数据集建立所述表现预测模型，所述训练数据集的每个测试内容项具有多个视觉元素，每个视觉元素具有一个或多个图形特征；并且

其中，确定所述组合表现度量还包括使用所述表现预测模型基于所述候选视觉元素的一个或多个图形特征来确定所述组合表现度量。

8.根据权利要求1所述的方法，其中，识别所述多个组成视觉元素还包括通过以下中的至少一个来识别所述多个组成视觉元素：将对象识别算法应用于对所述内容项的渲染来识别每个视觉元素，以及解析对应于所述内容项的脚本来识别每个视觉元素。

9.根据权利要求1所述的方法，还包括由所述数据处理系统经由调查界面接收具有所述多个视觉元素的测试内容项的测量情感表现度量，所述测量情感表现度量包括说服力、链接性、显著性和可记忆性中的至少一个。

10.根据权利要求1所述的方法，还包括由所述数据处理系统基于对应的多个候选视觉元素的多个组合表现度量在内容选择管理界面上呈现所述多个候选视觉元素。

11.一种用于基于情感分析选择要插入到内容项中的视觉元素的系统，包括：

在具有一个或多个处理器的数据处理系统上可执行的模型训练器，被配置为使用具有多个测试内容项的训练数据集来建立内容项的表现预测模型，其中所述表现预测模型将组成视觉元素与情感表现度量相关联，每个测试内容项具有多个视觉元素和测量情感表现度量；

在所述数据处理系统上可执行的内容界面，被配置为识别内容项和要插入到所述内容项中的多个候选视觉元素，所述内容项具有多个组成视觉元素；

在所述数据处理系统上可执行的表现估计器，被配置为：

使用所述表现预测模型和所述内容项的所述多个组成视觉元素来确定所述内容项的总情感表现度量；以及

使用所述表现预测模型，为所述多个候选视觉元素中的每个候选视觉元素确定所述候选视觉元素和所述内容项的所述多个视觉元素之间的组合表现度量，所述组合表现度量指示对所述内容项的总表现度量的预测效果；和

在所述数据处理系统上可执行的元素选择器，被配置为基于所述候选视觉元素与所述内容项中的所述多个组成视觉元素的组合表现度量，从所述多个候选视觉元素中选择要插入到所述内容项中的候选视觉元素。

12.根据权利要求11所述的系统，还包括在所述数据处理系统上可执行的呈现跟踪器，所述呈现跟踪器被配置为：

跨多个信息资源向第一组客户端设备呈现具有所述候选视觉元素的内容项，并且在第二组客户端设备上呈现不具有所述候选视觉元素的内容项；以及

根据跨所述多个信息资源的呈现来确定具有所述候选视觉元素的内容项的第一交互统计和不具有所述候选视觉元素的内容项的第二交互统计。

13.根据权利要求11所述的系统，还包括在所述数据处理系统上可执行的呈现跟踪器，所述呈现跟踪器被配置为：

在多个信息资源的每个信息资源上，呈现所述信息资源上的具有所述候选视觉元素的内容项；

根据在所述多个信息资源上呈现所述内容项来确定插入了所述候选视觉元素的内容项的交互统计；并且

其中，所述模型训练器还被配置为基于所述表现度量、所述内容项的所述多个组成视觉元素以及插入到所述内容项中的所述候选视觉元素来更新所述表现预测模型。

14.根据权利要求11所述的系统，其中，所述表现估计器还被配置为：

使用所述表现预测模型，为所述内容项上的所述多个组成视觉元素中的每个组成视觉元素确定所述组成视觉元素的贡献表现度量；以及

基于所述内容项上的所述多个组成视觉元素的多个贡献表现度量来确定所述总情感表现度量。

15.根据权利要求11所述的系统，其中，所述模型训练器还被配置为：

识别感知所述内容项的多个受众分群，每个受众分群由共同特征定义；以及

使用具有所述多个测试内容项的所述训练数据集来建立所述表现预测模型，每个测试内容项具有对于每个受众分群的测量情感表现度量；并且

其中，所述表现估计器还被配置为：

确定对于所述多个受众分群中的每个受众分群的、所述内容项的总情感表现度量；以及

确定对于所述多个受众分群中的每个受众分群的、所述候选视觉元素的组合表现度量。

16.根据权利要求11所述的系统，其中，所述模型训练器还被配置为使用所述训练数据集来建立所述表现预测模型，所述训练数据集包括第一测试内容项和第二测试内容项，第一内容项在第一位置处具有具备第一测量情感表现度量的视觉元素，第二内容项在第二位置处具有具备第二测量情感表现度量的视觉元素；并且

其中，所述表现估计器还被配置为使用所述表现预测模型来确定所述内容项内用于插入的候选位置处的候选视觉元素的组合表现度量。

17.根据权利要求11所述的系统，其中，所述模型训练器还被配置为使用所述训练数据集来建立所述表现预测模型，所述训练数据集的每个测试内容项具有所述多个视觉元素，每个视觉元素具有一个或多个图形特征；并且

其中，所述表现估计器还被配置为使用所述表现预测模型基于所述候选视觉元素的一个或多个图形特征来确定所述组合表现度量。

18.根据权利要求11所述的系统，其中，所述内容界面还被配置为通过以下中的至少一个来识别所述多个组成视觉元素：将对象识别算法应用于对所述内容项的渲染上来识别每个视觉元素，以及解析对应于所述内容项的脚本来识别每个视觉元素。

19.根据权利要求11所述的系统，其中，所述模型训练器还被配置为经由调查界面接收具有所述多个视觉元素的测试内容项的测量情感表现度量，所述测量情感表现度量包括说服力、链接性、显著性和可记忆性中的至少一个。

20.根据权利要求11所述的系统，其中，所述元素选择器还被配置为基于对应的多个候选视觉元素的多个组合表现度量，在内容选择管理界面上呈现所述多个候选视觉元素。

Images