CN114556330A - 评估数字内容的视觉质量 - Google Patents

Abstract

公开了用于评估数字内容的视觉质量的系统、设备、方法和计算机可读介质。方法可以包括识别包括一个或更多个图像的内容资产，所述内容资产被组合以创建分发给一个或更多个客户机设备的不同数字组件。使用一个或更多个机器学习模型来评估所述一个或更多个图像中的每个的质量，所述一个或更多个机器学习模型被训练来评估一个或更多个方面，所述一个或更多个方面被认为是视觉质量的指示。至少部分地基于所述一个或更多个机器学习模型的输出来确定内容资产的聚合质量，该输出指示所述一个或更多个图像中的每个的视觉质量。更新第一计算设备的图形用户界面以呈现内容资产的聚合质量的视觉指示。

Description

评估数字内容的视觉质量

技术领域

本说明书总体上涉及数据处理，更具体地涉及数字内容评估。

背景技术

计算设备可以创建数字组件，并将它们分发到各种客户机设备。数字组件可以由被共同组合以形成数字组件的诸如图像、文本等的内容资产形成。在一些情况下，即使用于形成数字组件的单个内容资产具有较差的质量——例如图像模糊、包括令人反感的内容(例如，性明示内容)、具有不符合其上将显示数字组件的区域的取向等——所得到的数字组件的质量也可能受到负面影响。

发明内容

一般而言，在本说明书中描述的主题的一个创新方面可以体现在方法中，所述方法包括以下操作：由一个或更多个处理器识别包括一个或更多个图像的内容资产，所述内容资产被组合以创建分发给一个或更多个客户机设备的不同数字组件；由所述一个或更多个处理器使用一个或更多个机器学习模型评估所述一个或更多个图像中的每个的质量，所述一个或更多个机器学习模型被训练来评估一个或更多个视觉方面，所述一个或更多个视觉方面被认为是视觉质量的指示；由所述一个或更多个处理器至少部分地基于所述一个或更多个机器学习模型的输出来确定内容资产的聚合质量，该输出指示所述一个或更多个图像中的每个的视觉质量；以及由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现内容资产的聚合质量的视觉指示。该方面的其它实施例包括被编码在计算机存储设备上被配置为执行方法的动作的对应方法、装置和计算机程序。这些和其它实施例可以各自可选地包括以下特征中的一个或更多个。

方法可以包括由所述一个或更多个处理器接收所述一个或更多个图像中的一个的修改；由所述一个或更多个处理器评估经修改的图像的质量；由所述一个或更多个处理器基于经修改的图像的质量更新内容资产的聚合质量；以及由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现内容资产的聚合质量的更新的视觉指示。

方法可以包括：由所述一个或更多个处理器将聚合质量与预设质量启发式方法进行比较；由所述一个或更多个处理器确定聚合质量不符合预设质量启发式方法；由所述一个或更多个处理器响应于确定聚合质量不符合预设质量启发式方法而生成用于改善聚合质量的一个或更多个推荐；以及由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现所述一个或更多个推荐。

所述一个或更多个推荐可以包括用于修改图像的视觉特征的第一推荐。

评估所述一个或更多个图像中的每个的质量可以包括：由所述一个或更多个处理器在图像上部署所述多个机器学习模型以生成多个质量特征中的每个质量特征的得分；由所述一个或更多个处理器为每个得分分配权重以生成加权得分；由所述一个或更多个处理器组合加权得分以生成图像的组合得分；以及由所述一个或更多个处理器将组合得分与一个或更多个阈值进行比较以生成图像的质量。

确定内容资产的聚合质量可以包括：为每个图像确定总可能得分；为每个图像计算组合得分与总可能得分的比率，其中图像的比率是一个或更多个图像的一个或更多个比率的一部分；以及计算所述一个或更多个比率的平均值，其中所述一个或更多个比率的平均值指示内容资产的聚合质量。

方法可以包括：确定包括来自内容资产的至少一个图像和至少一个其它内容资产的数字组件的质量；由所述一个或更多个处理器将数字组件的质量与阈值进行比较；由所述一个或更多个处理器确定数字组件的质量小于阈值；以及由所述一个或更多个处理器响应于确定数字组件的质量小于阈值而限制将数字组件分发到一个或更多个客户机设备。

这里描述的主题可以提供各种优点。例如，由贯穿本文档讨论的技术提供的质量信息可以用于限制或防止低质量(例如，低于质量阈值水平)内容资产和/或数字组件的创建、存储和/或传输，从而减少这些内容资产和/或数字组件的创建、存储和/或传输所消耗的计算资源、存储器组件和/或网络带宽。关于内容资产的质量信息可以存储在索引中，从而使该质量信息在自动(或手动)创建使用两个或更多个内容资产的数字组件期间是可获得的，使得数字组件的总体质量可以基于用于创建数字组件的内容资产的聚合质量来评估。这可以防止低质量数字组件被存储并占用有限的存储器空间。根据所描述的技术，各个图像的图像质量可以被确定并存储在数据库中。因为可以通过组合图像的不同排列来生成大量数字组件，所以这种模块化方法能够更高效地确定数字组件的图像质量。在第一数字组件包括第一图像集合并且第二数字组件包括第二图像集合的情况下，在第一图像集合和第二图像集合之间可能存在重叠，即它们可能包括一些相同的图像。如果作为确定第一图像集合的图像质量的部分，已经确定了第二图像集合中的一些图像的图像质量，则可以从数据库中检索这些图像的图像质量得分，从而避免重复评估相同图像的需要，并从而更高效地利用可用的计算资源。存储的质量信息还可以用于识别导致具有低于指定质量级别的数字组件的内容资产的组合，从而在生成、存储和/或传输包括内容资产的那些组合的数字组件时不浪费计算资源。这里讨论的技术还可以识别数字组件中包括的一个或更多个内容资产难以辨认、被遮挡或以其它方式阻止用户对由内容资产呈现的信息的视觉感知的情况，并且可以防止浪费计算资源来传输这些将无法向用户传达信息的数字组件。此外，一些内容发布者可能在发布数字组件之前对其进行评估。在这种情况下，数字组件可以由内容提供者发送到内容分发系统，并从内容分发系统发送到内容发布者，只是为了防止被发布。通过在内容分发系统评估图像质量，所描述的技术因此减少与传输不太可能被显示的低质量数字组件相关联的处理器和带宽需求。这里讨论的技术还可以检测数字组件中包括的内容资产何时将导致与数字组件的元素的无意用户交互，该无意用户交互触发网络对附加信息的调用。防止这些类型的数字组件的分发可以防止浪费的计算资源和/或用于发起非预期网络呼叫的网络带宽和/或响应于那些非预期网络呼叫向用户的信息传递。照此，这里讨论的技术可以防止信息在网络上的意外传输，从而使网络更高效并降低带宽需求。考虑到导致意外网络呼叫的数字组件可以快速分发给数百万用户，使用贯穿本文档讨论的技术提供的效率可以迅速成倍增加。所描述的技术能够使用机器学习模型对数字图像和数字图像质量进行评估、确定和/或分类。这能够更高效地评估图像质量，并更高效地大规模生成、评估和传输数字组件。

诸如神经网络模型的机器学习模型可以用于评估数字组件的内容资产的质量。在此描述的机器学习模型可以在大量内容资产上进行训练，当这样的经训练的机器学习模型部署在新内容资产上时，这进而可以生成对该新内容资产质量的准确评估。此外，机器学习模型可以基于正在生成的新数据不断学习，并且每个神经网络模型内各个层的输入和输出之间的关系可以根据需要相互关联，然后随时修改。这样的持续更新和灵活性可以使机器学习模型的训练保持更新，这进而提高使用机器学习模型生成的得分的准确性。

在一些实施方式中，可以使用硬件加速器来部署机器学习模型。这样的硬件加速器可以包括几个计算单元(其也可以被称为计算块)，其中可以分布机器学习模型(例如，神经网络)的计算，该机器学习模型被部署来计算指示数字组件内的一个或更多个内容资产的质量的得分。与如果神经网络由中央处理单元处理将需要的指令数量相比，计算块上的这样的计算分布允许通过使用减少数量的指令来处理神经网络。指令数量的这样的减少提高计算多个类别的概率的速度，从而减少确定指示数字组件内的一个或更多个内容资产的质量的得分的过程中的延迟。

在此描述的主题的一个或更多个变体的细节在附图和以下描述中被阐述。在此描述的主题的其它特征和优点将由描述、附图和权利要求明显。

附图说明

图1示出了计算环境，其中形成数字组件的一个或更多个内容资产的质量可用于调节内容的分发。

图2A和图2B示出了由内容分发系统渲染或更新的计算设备的图形用户界面。

图3示出了由内容分发系统实现的用于促进在计算设备上显示内容资产集合的质量指示的过程。

图4示出了由内容分发系统训练和部署的机器学习模型的示例。

图5示出了同时部署多个机器学习模型以确定数字组件内的新图像的质量。

图6示出了由内容分发系统实现的用于训练和部署机器学习模型确定内容资产的质量的过程。

图7是可用于执行上述操作的示例计算机系统的框图。

各图中相同的参考符号指示相同的元素。

具体实施方式

图1示出了计算环境102，其中形成数字组件106的一个或更多个内容资产104的质量可用于调节内容的分发。在一些示例中，内容资产104可以是图像、文本、音频、动画、视频、交互式内容、任何其它多媒体和/或用户界面元素(诸如交互式按钮)中的一个或更多个，数字组件106可以是内容资产104中的两个或更多个的组合。

计算环境102包括内容分发系统107(例如，包括一个或更多个服务器或者一个或更多个其它数据处理装置)，该内容分发系统107从有可能用于形成数字组件106的内容提供者108或内容服务器110接收内容资产104，组装(例如，组合)那些内容资产104中的至少一些以形成不同的数字组件106，并响应于外部调用112将数字组件106发送到各个客户机设备114。为简洁起见，以下讨论将指从内容提供者108接收的内容资产104，但是讨论同样适用于从内容服务器110或其它地方接收的内容资产104。在一些情况下，内容分发系统107可以使用关于内容资产104和/或数字组件106的质量信息(例如，图像质量信息)来调整或调节分发哪些数字组件106和/或如何将数字组件106分发到客户机设备114。例如，内容分发系统107可以防止(或限制)具有低于指定阈值质量水平的质量的数字组件106的分发。

如上所述，数字组件106被描述为由内容分发系统107从内容资产104创建。例如，数字组件106由内容分发系统107(或另一计算系统)以编程方式创建。例如，内容提供者108可以上传内容资产(例如，图像、文本和/或用户界面元素，诸如交互式按钮)104的集合，并允许内容分发系统107以不同的方式组合不同的内容资产104以使用内容资产104的该集合来创建多个不同的数字组件106。

一旦内容资产104的集合(例如，8个不同的内容资产104)已经被上传到内容分发系统107，内容分发系统107就可以评估：(a)该集合内的每个单独内容资产的质量，(b)内容资产104的整个集合作为整体的质量，和/或(c)每个数字组件106的质量，其中每个数字组件106使用对应的资产104(例如，针对该数字组件106从8个内容资产的集合中选择的3个内容资产)来形成。这些评估在下面描述。

内容分发系统107可以评估上传的内容资产104集合内的每个单独的内容资产104的质量(例如，图像质量，也称为视觉质量)，并将每个内容资产104的质量数据存储在内容资产数据库116中。在一些实施方式中，内容分发系统107可以评估由内容提供者108提供的内容资产104的整个集合的质量。内容分发系统107可以向内容提供者108呈现质量——例如每个单独的内容资产104的内在质量(例如，视觉质量)和/或内容资产104集合的总体质量。在一些示例中，可以如下执行对图像集合的质量的评估。如果质量启发式方法(例如，指示用于创建和分发数字组件106的标准的预设规则)指示当内容资产104集合包括至少预设数量(例如，5个)的高质量图像(例如，具有至少指定质量水平的图像)时可以生成更高质量的数字组件106，则当集合中包括的高质量图像比预设数量少(例如，少于5个)时，可以降低内容资产104集体的质量。类似地，质量启发式方法可以指示当内容资产104集合包括具有(例如，对应于正方形格式的)第一高宽比的至少两个图像和具有(例如，对应于横向(landscape)格式的)第二高宽比的至少两个图像时可以生成更高质量的数字组件106。在该示例中，当具有第一高宽比或第二高宽比的图像少于两个时，可以降低内容资产104集合的质量水平。

使用内容资产104创建的每个数字组件106的质量水平也可以由内容分发系统107评估。在一些实施方式中，数字组件的评估可以基于用来创建数字组件106的内容资产104的聚合质量和/或组装后的数字组件106的特征(例如，功能特征的视觉特征)。例如，包括也被分类为不雅图像(例如，具有高肤色像素计数)的模糊图像的数字组件106可以比具有未被归类为不雅图像的不那么模糊的图像(例如，被模型认为不模糊)的另一数字组件106具有更低的质量得分。类似地，其中一个内容资产模糊或遮挡另一内容资产104中包括的一些或全部文本的数字组件可以比以不模糊或遮挡文本的方式来安排相同内容资产104的不同数字组件106更低的质量得分。

在数字组件106由内容提供者108生成的情况下，内容分发系统107可以在数字组件106的创建期间或在数字组件106完成之后提供交互式用户界面，该交互式用户界面可以向内容提供者108(例如，创建和/或上传数字组件106的实体)呈现关于数字组件106的质量的信息。例如，假设内容提供者108将图像内容资产104与文本内容资产104组合。在该示例中，内容分发系统107可以向内容提供者108呈现数字组件106的渲染(例如，提供导致数字组件106的渲染的呈现的数据)，并且还呈现质量的指示104，该指示104告知内容提供者数字组件106的如由内容分发系统107评估的质量水平。使用此交互式用户界面，内容提供者108能够迭代地修改数字组件106(例如，通过重新安排内容资产104在数字组件106内的位置和/或改变数字组件106中包括的内容资产104的组合)，并从内容分发系统107获得更新的质量信息。

如下面详细讨论的，内容分发系统107(a)训练和部署机器学习模型，这些机器学习模型生成一个或更多个内容资产104和/或由一个或更多个内容资产104形成的数字组件106的质量的指示104，(b)促进/控制向内容提供者108显示这样的指示104，和/或基于质量的指示104来控制数字组件106的分发。

内容资产104可以是文本、音频、图像、动画、视频、交互式内容或任何其它多媒体中的一种或更多种。在一些实施方式中，内容资产104从内容提供者108上传到内容分发系统107。然后内容资产可以被组装(例如，组合在一起)以形成数字组件106。在一个示例中，数字组件106可以是数字广告文档(其也可称为广告)。在一些实施方式中，当组装那些内容资产104以创建数字组件106时，内容资产104按接收到的那样被使用(例如，不修改那些内容资产104)。在其它实施方式中，至少一些内容资产104可以在它们被组装以形成数字组件106之前被修改。例如，内容分发系统107可以部署软件模块，这些软件模块允许在内容提供者108的图形用户界面上修改内容资产104当中的图像的视觉特征——诸如模糊、取向(例如，横向、竖向(portrait))、分辨率、颜色、各种对象和/或文本的大小、任何其它视觉特征和/或其任何组合。每个软件模块可以是计算机程序的一部分，该部分可以包括可经由链接模块组合或链接的多个独立开发的模块。每个软件模块可以包括一个或更多个软件例程，软件例程是执行对应的过程或功能的软件代码。

内容分发系统107识别由内容提供者108上传的可包括一个或更多个图像的内容资产104，所述一个或更多个图像可以用于创建分发给客户机设备114的不同数字组件106。内容分发系统107评估包括一个或更多个图像的上传的内容资产的质量，所述一个或更多个图像使用被训练来评估一个或更多个视觉方面(例如，模糊、令人反感的材料的包含、取向或任何其它视觉方面)的一个或多个机器学习模型，所述一个或更多个视觉方面被认为指示视觉质量。如上所述，视觉质量的指示可以存储在内容资产数据库116中，该内容资产数据库116被索引到(例如，参考)为其生成视觉质量的指示的内容资产。当内容资产104用于创建数字组件106和/或向内容提供者108呈现质量的指示时，将视觉质量的指示索引到内容资产104有助于视觉质量的指示的使用。

当使用在内容资产数据库116中标识的内容资产104中的一个或更多个内容资产104来生成数字组件106时，内容分发系统107可以针对数字组件106中使用的内容资产104和/或至少部分地基于所述一个或更多个机器学习模型的输出来确定聚合质量，所述输出指示包括一个或更多个图像的数字组件的视觉质量(例如，图像组合的视觉质量)。内容资产的聚合质量的视觉指示在指示104中呈现。

如上所述，一旦内容资产104的集合(例如，8个不同的内容资产104)已经被上传到内容分发系统107，内容分发系统107就可以评估：(a)该集合内的每个单独的内容资产的质量，(b)内容资产104的整个集合作为整体的质量，和/或(c)每个数字组件106的质量，每个数字组件106使用对应的资产104(例如，针对该数字组件106从8个内容资产的集合中选择的3个内容资产)来形成。内容分发系统107可以通过以下来进行此类评估：评估每个内容资产104以确定该内容资产的质量，然后聚合上传的内容资产104集合内的所有内容资产的此类质量值以确定该集合的聚合质量，以及聚合数字组件106内的所有内容资产104的此类质量值以确定数字组件的聚合质量。每个内容资产104的评估如下执行。

为了评估每个内容资产104，内容分发系统107可以训练和部署多个机器学习模型，诸如模糊模型、令人反感的内容模型、取向模型等。在训练阶段，内容资产104可以具有多个标签(例如，模糊值、令人反感的内容值、取向值)中的一个或更多个。每个标签可以表征内容资产(例如，图像)的对应的质量特征(例如，模糊、令人反感的内容的包含、取向)。可以训练每个模型以根据所述多个标签中的相应标签对内容资产(例如，图像)进行分类。一旦模型(例如，模糊模型、令人反感的内容模型和取向模型)被训练，内容分发系统107就可以将那些模型部署在数字组件106的内容资产104上以生成标签(例如，模糊、令人反感的内容和取向)中的每个的得分。内容分发系统107可以将权重分配给每个得分以生成加权得分，然后组合加权得分以生成该内容资产104的组合得分。内容分发系统107可以将组合得分与一个或更多个阈值进行比较以生成对该内容资产的质量的推断。在一些示例中，推断可以是“优秀”质量、“平庸”质量或“差”质量。

内容分发系统107可以如下评估内容资产104的集合的质量。上传的内容资产104集合的质量可以是形成该集合的各种内容资产104的各个质量的组合(例如，总和)——或者在一些实施方式中，平均、加权平均、中值等。在一些情况下，内容资产104集合的聚合质量可以被计算作为该集合内所有内容资产104的组合得分与所有那些内容资产104的总可能得分的比率。

内容分发系统107可以如下评估数字组件106的质量。数字组件106的质量可以是形成该数字组件106的各种内容资产104的各个质量的组合。例如，数字组件106的内容资产104的聚合质量(例如，平均质量、加权平均、中值质量或其它适当的聚合)可以被指示为四个“优秀”图像和一个“平庸”图像的组合。在另一示例中，数字组件106的质量可以被记录为四个“优秀”内容资产104和三个“平庸”内容资产104的组合。在其它实施方式中，数字组件106的聚合质量203可以被记录为用于形成数字组件106的所有内容资产104的组合得分之和。在一些情况下，数字组件106的聚合质量可以被计算为所有内容资产的组合得分与所有内容资产104的总可能得分的比率。

如上所述，内容分发系统107可以训练一个或更多个机器学习模型，以及部署经训练的模型来为每个新的内容资产104生成指示120。在一些实施方式中，内容分发系统107可以从另外的一个或更多个服务器接收经训练的机器学习模型，并部署那些接收到的机器学习模型。例如，内容分发系统107可以从经由通信网络耦合到内容分发系统107的第一服务器接收模糊模型，从经由通信网络耦合到内容分发系统107的第二服务器接收令人反感的内容模型，从经由通信网络耦合到内容分发系统107的第三服务器接收取向模型，等等。在与该示例一致的一些实施方式中，第一服务器、第二服务器和第三服务器可以是可位于相同或不同物理位置的三个单独的服务器。在其它实施方式中，服务器、第二服务器和第三服务器可以是在单个物理位置的单个服务器。

虽然上述示例讨论了机器学习模型(例如，模糊模型、令人反感的内容模型、限向模型等)按其被接收到的那样来部署，但在它他示例中，可以在部署接收到的机器学习模型之前定制这些机器学习模型，以适应由内容提供者108用来形成数字组件106的特定类型的内容资产104。例如，这样的定制在经训练的机器学习模型已由耦合到内容分发系统107的其它服务器基于一些内容资产104(例如，图像)训练的情况下可以是有效的，但是内容分发系统107可以访问额外的相关内容资产104(例如，图像)，其可以更有效地训练机器学习模型以做出更准确的推断。在一些实施方式中，在部署接收到的机器学习模型之前，可以首先定制这些机器学习模型(例如，模糊模型、令人反感的内容模型、取向模型等)以适应由内容分发系统107施加的系统要求。内容分发系统107可以基于内容分发系统107的架构信息、内容提供者108的系统要求(例如，架构信息)和/或一个或更多个客户机设备的系统要求(例如，架构信息)中的一个或更多个来施加系统要求。在一些实施方式中，内容分发系统107可以为每个内容提供者108单独定制机器学习模型，当每个计算设备的用户(例如，广告商)对将要组合以形成数字组件106的各个集合的图像的类型具有不同偏好时，这可以是有益的。

机器学习模型可以是神经网络模型、最近邻模型、朴素贝叶斯模型、决策树模型、回归模型、支持向量机(SVM)、任何其它机器学习模型和/或其任何组合。可以定制机器学习模型。例如，在机器学习模型是神经网络模型的情况下，机器学习模型可以通过改变神经网络模型的大小(即节点数)、神经网络模型的宽度(即特定层中的节点数)、神经网络模型的深度(即层数)、神经网络模型的容量(即可通过网络配置学习的函数的类型或结构；也称为表示容量)或神经网络模型的架构(即层和节点的具体排列)中的一个或更多个来执行。

虽然每个内容资产104的质量指示被描述为“优秀”质量、“平庸”质量或“差”质量，但在其它示例中，可以使用任何其他类别名称(即除了优秀、平庸或差以外的类别；诸如分别为出色、一般或不良；等等)。此外，虽然描述了三个质量类别，但在一些实施方式中，类别的数量可以是两个或更多的任何其它数量。当然，可以使用其它类型的质量指示，诸如数字标度(例如，1-10)或能够比较多个不同内容资产104之间的质量的一些其它适当的质量指示。

视觉质量的评估可以存储在内容资产数据库116中，索引到(例如，参照)为其生成视觉质量指示的内容资产104。对内容资产104的视觉质量的指示进行索引允许内容分发系统107在需要时(例如，在对该内容资产104的任何质量评估期间、在评估任何内容资产104集合期间，以及在评估使用该内容资产104的任何数字组件106期间)快速检索该内容资产的质量。这样的快速检索防止内容分发系统107在每次需要这种质量时(例如，在对该内容资产104的任何质量评估期间，在评估包括该内容资产104的任何内容资产104集合期间，以及在评估使用该内容资产104的任何数字组件106期间)重新计算该内容资产104的质量。对重新评估内容资产104的质量的需要的这种避免可以减少在质量评估期间的延迟。这进而提高向内容提供者108(例如，在图形用户界面上)呈现(例如，显示)质量的速度。

数字组件106可以在分发之前被修改，如果数字组件106具有总体不希望的/低的质量(例如，不满足质量启发式方法的质量，这可以是可指示创建和分发数字组件106的标准的预设规则)，则这可以是所期望的。在一些示例中，内容分发系统107可以允许内容提供者108：(a)更新用于形成数字组件106的一个或更多个内容资产104，和/或(b)将用于形成数字组件106的一个或更多个内容资产104替换为另外的一个或更多个内容资产104。在一些示例中，内容分发系统107可以(a)自动更新用于形成数字组件106的一个或更多个内容资产104，和/或(b)自动将用于形成数字组件106的一个或更多个内容资产104替换为另外的一个或更多个内容资产104。

在一个示例中，质量启发式方法可以指示应存在于上传的内容资产104集合(从中选择一些内容资产104来创建数字组件106)中的“优秀”内容资产(例如，图像)104的数量、该上传集合中的各种内容资产(例如，图像)108的取向、该集合中的内容资产104的基于内容的指南等。数字组件106可以(a)由内容分发系统107自动生成(例如，通过从上传的内容资产104集合中自动选择满足质量启发式方法的内容资产104)，(b)由从上传的集合中选择一个或更多个内容资产104的内容提供者108并由组合所选择的内容资产104以形成数字组件的内容分发系统107生成，或(c)由执行内容资产104的这样的选择和组合以形成数字组件的内容提供者108生成。在内容提供者108通过组合特定于数字组件106的内容资产104来生成该数字组件106的实施方式中，内容分发系统107可以允许内容提供者108使用用户界面118来迭代地对数字组件106进行修改。例如，内容分发系统107可以生成对内容资产104和/或数字组件106的修改的推荐，以提高这样的内容资产104和/或数字组件106的质量。

在一些示例中，当内容资产104的质量是“平庸”时，内容分发系统107可以生成推荐，使得质量可以提高到“优秀”，当内容资产104的质量是“差”时，内容分发系统107可以生成第一推荐集合使得质量可以提高到“平庸”和/或第二推荐集合使得质量可以提高到“优秀”。一些提高质量的推荐可以是建议改变各种视觉特征——例如，所识别的图像的亮度、对比度、颜色、颜色强度、色调、饱和度、大小、噪声、锐度、明度、不希望的元素、令人反感的元素、任何其它特征和/或其任何组合。

在内容分发系统107共同评估上传的内容资产104集合的实施方式中，内容分发系统107可以生成用于修改该集合内的内容资产104的推荐。在一些实施方式中，内容分发系统107可以在例如内容资产104集合不能支持根据质量启发式方法创建数字组件106时生成这样的推荐。例如，当数字组件106的视觉质量的预设规则指示数字组件106必须包括3个正方形图像，但内容资产集合仅包括2个正方形图像时，可以生成推荐。在另一示例中，当数字组件106的视觉质量的预设规则指示数字组件106必须包括3个“优秀”质量正方形图像，但内容资产集合仅包括2个“优秀”质量正方形图像时，可以生成推荐。

在内容分发系统107评估数字组件106的实施方式中，内容分发系统107可以生成用于修改形成该数字组件106的内容资产104的推荐。在一些实施方式中，当例如数字组件104不满足质量启发式方法(即规则)时，内容分发系统107可以生成这样的推荐。例如，当数字组件106的视觉质量的预设规则指示数字组件106必须包括3个正方形图像，但数字组件仅由1个正方形图像组成时，可以生成推荐。在另一示例中，当数字组件106的视觉质量的预设规则指示数字组件106必须包括2个“优秀”质量正方形图像，但内容资产集合仅包括1个“优秀”质量正方形图像时，可以生成推荐。在一些推荐中，内容分发系统107可以推荐在数字组件106内重新安排一个或更多个内容资产104的位置和/或改变数字组件106中包括的内容资产104的组合以提高数字组件106的总体质量。

一旦生成了用于修改一个或更多个内容资产的推荐(在任何实施方式中——即评估每个单独的内容资产104的实施方式、评估上传的内容资产104集合的实施方式和/或评估数字组件的实施方式)，内容分发系统107可以在图形用户界面118上渲染推荐。响应于这样的推荐，内容分发系统107可以更新图形用户界面118以显示选项，内容提供者108可以选择该选项以接受或拒绝对一个或更多个内容资产104进行的自动改善。内容分发系统107可以迭代地更新上传的内容资产104集合和/或数字组件106的质量(即，每次内容提供者108进行任何改变就更新质量评价)，并在用户界面118上显示更新的质量指示。

在一些实施方式中，内容分发系统107可以针对其它质量指示(例如，重叠元素、欺骗点击、不良裁剪、巨型按钮等)重新评估完成的数字组件106。数字组件106的这样的二次评估可以用于生成用来增强聚合质量的推荐。例如，如果按钮覆盖图像的不雅或模糊部分，则数字组件106的总体质量可以优于构成部分的聚合质量。另一方面，太大且覆盖大部分图像的按钮可能降低质量，即使资产单独来说是高质量的。

在内容分发系统107通过组合内容资产104来生成数字组件106的实施方式中，内容分发系统107可以自动地对一个或更多个内容资产104和/或数字组件106进行改善(即，没有与内容提供者108的任何交互)。例如，内容分发系统107可以以提高总体数字组件106的质量的方式(例如，通过覆盖图像的不雅部分)来调整叠加在图像资产上的按钮资产的位置。一旦进行了这样的改善，内容分发系统107就可以更新数字组件106的质量(即，每次内容提供者进行任何改变就更新质量评价)。

在一些实施方式中，内容分发系统107可以如下基于数字组件106的最终质量来限制数字组件106的分发。针对数字组件106可以存在预设质量规则/启发式方法，其可以指示用于创建和分发数字组件106的标准。内容分发系统107可以将数字组件106(其可能已如上所述更新)与预设质量规则/启发式方法进行比较以确定数字组件106是否适合分发。例如，如果质量启发式方式指示一标准——例如以下一个或更多个：(a)数字组件106一定不能包含“差”质量图像，(b)数字组件106一定不能包含“不雅”图像，(c)数字组件106一定不能具有“横向”图像，(d)数字组件106必须具有“正方形”格式的单个图像，等等——然后内容分发系统107可以允许分发满足该标准的数字组件106但阻止分发不满足该标准的另一数字组件106。内容分发系统107可以进一步或替代地基于对这种标准的满足来限制用于分发的数字组件106。因此，内容分发系统107可以自动限制数字组件106的分发。

虽然上面描述了分发的自动控制，但是在一些实施方式中，内容分发系统107可以给予内容提供者108基于由内容分发系统107确定的质量来手动控制数字组件106的分发的机会。例如，内容分发系统107可以将数字组件106的质量的指示120与相关的质量启发式方法一起提供在内容提供者108的交互式用户界面118上。交互式用户界面118可以进一步向内容提供者108提供选项以继续分发数字组件106、阻止分发数字组件106和/或修改数字组件106(例如，以提高数字组件106的质量从而满足质量启发式方法)。在这样的实施方式中，内容提供者108可以控制分发——例如，即使当数字组件106不满足质量启发式方法时，内容提供者也可以允许分发数字组件106，或者即使当数字组件106满足质量启发式方法时，内容提供者也可以阻止分发数字组件106。

内容提供者108可以通过计算设备(诸如膝上型计算机、台式计算机、平板计算机、手机平板计算机、电话、信息亭计算机、任何其它计算设备和/或其任何组合)与内容分发系统107交互。计算设备可以被配置为由例如域主机(例如，广告商)通过例如输入认证数据(诸如用户名和密码)、生物特征数据、从外部设备(例如，嵌入在安全密钥卡上的安全数据、从电子邮件或连接到计算设备的软件应用获得的一次性密码等)、任何其它认证数据和/或其任何组合来管理。

用户使用客户机设备114(诸如膝上型计算机、台式计算机、平板计算机、手机平板计算机、电话、信息亭计算机、任何其它计算设备和/或其任何组合)与内容分发系统107交互。客户机设备114可以被配置为由任何终端用户使用。内容资产数据库116可以是存储器设备，诸如计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、任何另外的一个或更多个存储设备和/或其任何组合。内容服务器110或内容分发系统107中的任何一个可以是具有至少一个可编程处理器和存储指令的机器可读介质的系统，该指令当由所述至少一个处理器运行时使所述至少一个可编程处理器执行这里描述的各种操作。

每个内容服务器110可以是具有至少一个可编程处理器和存储指令的机器可读介质的系统，该指令当由所述至少一个处理器运行时使所述至少一个可编程处理器执行各种操作，诸如收集内容资产104并根据数字组件106的需要将它们发送给内容提供者108。在一些实施方式中，内容服务器110可以是膝上型计算机、台式计算机、平板计算机、手机平板计算机、电话、信息亭计算机、任何其它计算设备和/或其任何组合。

图1所示的各种组件之间的箭头可以指示那些组件之间的通信网络，其可以包括凭借局域网、广域网、互联网、内联网、蓝牙网络、红外网络、任何另外的一个或更多个网络和/或其任何组合的有线连接或无线连接。

图2A和2B示出了可以呈现在内容提供者108上的图形用户界面。图2A示出了图形用户界面200，其显示：(a)由内容提供者108上传的内容资产104(例如，图像)的集合202，从中选择特定的内容资产104以形成数字组件106，(b)集合202内所有内容资产104的聚合质量203，以及(c)用于各种推荐的按钮204，该各种推荐提高(i)形成集合202的至少一个内容资产104或(ii)整个集合202的质量使得数字组件106符合质量启发式方法(例如，可以指示数字组件106或其中的内容资产104的质量阈值使得数字组件106可以被分发到各种客户机计算设备114的预设规则)。在一些示例中，数字组件106可以是数字广告文档，诸如由两个或更多个内容资产104的组合形成的广告。在该示例中，集合202内的内容资产104包括图像206、208、210、212和214以及文本216。虽然集合202内的内容资产104被描述为图像或文本，但在一些实施方式中，内容资产104还可以包括音频、动画、视频、交互式内容、其它多媒体和/或用户界面元素(诸如交互式按钮)。

图像206-218中的任何一个可以是具有任何格式的数字图像，诸如联合图像专家组(JPEG)、JPEG文件交换格式(JFIF)、可交换图像文件格式(Exif)、标记图像文件格式(TIFF)、图形交换格式(GIF)、位图(BMP)、可移植网络图形(PNG)、可移植像素图(PPM)、可移植灰度图(PGM)、可移植位图(PBM)、可移植任意地图(PNM；其可以是PPM、PGM和PBM的组合)、原始图像格式和/或任何其它格式。

集合202的聚合质量203可以如下生成。首先，内容分发系统107可以评估形成该集合的每个内容资产104的质量(即图像206、208、210、212和214以及文本216中的每个的质量)。为此，内容分发系统107可以训练和部署多个机器学习模型，诸如模糊模型、令人反感的内容模型、取向模型等。在训练阶段，每个内容资产104(例如，图像206-214之一)可以具有多个标签(例如，模糊值、令人反感的内容值、取向值)中的一个或更多个。每个标签可以表征图像的对应质量特征(例如，模糊、包括令人反感的内容、取向)。可以训练每个模型以根据所述多个标签中的相应标签对图像进行分类。一旦模型(例如，模糊模型、令人反感的内容模型和取向模型)被训练，内容分发系统107就可以在图像206-214中的每个图像上部署那些模型以为每个标签(例如，模糊、令人反感的内容和方向)生成得分。内容分发系统107可以为每个得分分配权重以生成加权得分，然后组合加权得分以为该图像生成组合得分。内容分发系统107可以将组合得分与一个或更多个阈值进行比较，以生成对该内容资产(例如，图像)的质量的推断。在一些示例中，推断可以是“优秀”质量、“平庸”质量或“差”质量。

虽然每个内容资产104的质量指示被描述为“优秀”质量、“平庸”质量或“差”质量，但在其它示例中，可以使用任何其它类别名称(即，除了优秀、平庸或差以外的类别名称；诸如分别为出色、一般或不良；等等)。此外，虽然描述了三个质量类别，但在一些实施方式中，类别的数量可以是两个或更多个的任何其它数量。当然，可以使用其它类型的质量指示，诸如数字标度(例如，1-10)或能够比较多个不同内容资产104之间的质量的一些其它适当的质量指示。

在一些实施方式中，集合202的聚合质量203可以被记录为四个“优秀”图像和三个“平庸”图像的组合。在一些情况下，集合202的聚合质量203可以被记录为所有图像206-214的组合得分之和。在一些情况下，集合202的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率，如图2A所示。在所示示例中，所有图像206-214的总可能得分为10。

内容分发系统107可以生成用于改善集合202的质量的推荐。在一些示例中，内容分发系统107可以仅当集合202的聚合质量203低于阈值(例如，低于5/10)时生成这样的推荐。这样的阈值可以指示符合将要使用集合202内的一个或更多个内容资产104形成的数字组件106的质量启发式方法的最小质量值。在一些示例中，如果质量启发式方法指示数字组件106必须包含具有“横向格式”的“优秀”质量的图像的标准，则内容分发系统107可以评估图像206-214以确定是否满足这样的标准。如果不满足，则内容分发系统107可以进行以下推荐：(a)可以提高图像206-210中的“横向”图像的质量，或(b)将这样的图像替换为具有“优秀”图像质量的另一“横向”图像。图形用户界面200向内容提供者108提供点击与这样的推荐对应的按钮204的选项，以对图2B的图形用户界面上的各个图像进行修改。

图2B示出了图形用户界面232，其允许内容提供者108对单独的图像206或以上关于图2A讨论的内容资产104的集合202内的其它资产进行修改，从而提高图像206的质量并因此提高集合202的聚合质量203。如上所述，图形用户界面232将图像的质量指示为“优秀”、“平庸”或“差”。在所示示例中，图像206的质量通过部署机器学习模型被确定为“平庸”，如上面关于图2A所解释的。图形用户界面232可以向内容提供者108提供选项236以格式化图像206。格式化选项236可以包括自动修改图像206的选项，如内容分发系统107所推荐的以提高图像206的质量。在一些实施方式中，格式化选项236可以允许内容提供者108手动地对图像206做出改变。

图形用户界面232还包括允许内容提供者108接受对图像206的修改的选项238、允许内容提供者108拒绝对图像206的修改的另一选项240、以及允许内容提供者108丢弃来自数字组件108的图像的另一选项242。如果图像具有无法改善很多的非常差的质量，则内容提供者108可能想要从数字组件108移除图像。

当图像206被修改或改善时，内容分发系统107可以迭代地更新质量指示234以对应于经修改或改善的图像204(即部署经训练的机器学习模型以在每次图像204被修改时更新质量评价)。图像206-214中的每个的质量(其包括图像206的更新质量)可以用于为集合202生成聚合质量203。

图3示出了由内容分发系统107实现的过程，该过程有助于向内容提供者108显示内容资产的集合202中的每个单独的内容资产104和/或数字组件106的质量。在302，内容分发系统107可以识别存在于集合202中的包括图像的内容资产104(即，可以被组合以创建可分发到一个或更多个客户机设备114的不同数字组件106的内容资产)。内容资产104的识别可以包括从内容服务器110和/或内容资产数据库116检索特定的内容资产104。如果内容资产104的质量之前已经被确定，则这样的质量在内容资产数据库116中被索引到内容资产104旁边。这样的索引允许在需要时从内容资产数据库116中简单地检索内容资产104的质量，这可以防止重新计算内容资产104的质量的需要。

在304，内容分发系统107可以使用一个或更多个机器学习模型来评估形成集合202的每个图像(例如，集合202中的图像206-214的每个)的质量，所述一个或更多个机器学习模型被训练来评估视觉方面(例如，模糊、令人反感性、取向等)，该视觉方面被认为是视觉质量的指示。例如，内容分发系统107可以训练和部署那些一个或更多个机器学习模型。在一些实施方式中，内容分发系统107可以单独训练模糊模型、令人反感的内容模型、取向模型和/或被训练来检测一些图像质量特征的任何其它机器学习模型。在一些实施方式中，内容分发系统107可以创建以及训练机器学习模型。在其它实施方式中，内容分发系统107可以从另外的一个或更多个服务器获得机器学习模型，然后可以进一步训练那些模型以例如适合内容提供者108和各种客户机设备114的架构细节。内容分发系统107可以部署经训练的模型来生成相应的质量得分。例如，模糊模型可以生成量化图像中的模糊的模糊得分，令人反感的内容模型可以生成量化图像中的内容的令人反感性的令人反感的内容得分，第三模型可以生成量化图像的宽度和高度与典型数字组件106(例如，具有预设大小的宽度和高度的数字组件)的标准宽度和高度的兼容性的取向得分，等等。

内容分发系统107可以基于所述一个或更多个机器学习模型的输出来确定图像的质量，该输出指示每个图像的视觉质量。在一些实施方式中，内容分发系统107可以将权重分配给由相应机器学习模型生成的每个得分以生成加权得分。例如，内容分发系统107可以将第一权重分配给模糊得分，将第二权重分配给令人反感的内容得分，将第三权重分配给取向得分。然后，内容分发系统107可以组合加权得分以为图像生成组合得分。内容分发系统107可以将组合得分与一个或更多个阈值进行比较以生成对图像质量的推断。例如，如果得分小于下限阈值，则内容分发系统107生成图像具有“差”质量的推断；如果得分在下限阈值和上限阈值之间(下限阈值和上限阈值两者被包括在该范围内)，则内容分发系统107生成图像具有“平庸”质量的推断；如果得分大于上限阈值，则内容分发系统107生成图像具有“优秀”质量的推断。这样的推断在此也被称为质量的指示120。

在306，内容分发系统107可以确定形成集合202的内容资产104(例如，图像206-214)的聚合质量203。在一些示例中，集合202的聚合质量203可以被记录为四个“优秀”图像和三个“平庸”图像的组合。在一些情况下，集合202的聚合质量203可以被计算为形成数字组件106的所有图像206-214的组合得分之和。在一些情况下，数字组件106的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2A所示，其中所有图像206-214的总可能得分为10)。

在308，内容分发系统107可以更新内容提供者108的图形用户界面200以呈现集合202的聚合质量203的视觉指示。图形用户界面203的更新可以包括向内容提供者108发送形成集合202的图像的聚合质量203的视觉指示。

在一些实施方式中，内容分发系统107还可以生成对内容资产104的修改的推荐，以提高这样的内容资产104的质量，进而提高包括该内容资产104的集合202的质量。在一些示例中，当内容资产104的质量指示质量为“平庸”时，内容分发系统107可以生成推荐，使得质量可以提高到“优秀”，当内容资产104的质量被确定为“差”时，内容分发系统107可以生成第一推荐集合使得质量可以提高到“平庸”和/或第二推荐集合使得质量可以提高到“优秀”。一些提高质量的推荐可以是建议改变各种特征——例如，图像的亮度、对比度、颜色、颜色强度、色调、饱和度、大小、噪声、锐度、明度、不希望的元素、令人反感的元素、任何其它特征和/或其任何组合。在一些进一步的实施方式中，内容分发系统107可以根据建议的改变自动改善图像。内容分发系统107可以更新内容提供者108的图形用户界面以显示选项，内容提供者108可以选择该选项来接受或拒绝对图像进行的自动改善。

图4示出了由内容分发系统107训练和部署的机器学习模型的示例。所示的机器学习模型是神经网络模型402。神经网络模型402也可以被简称为神经网络，人工神经网络或人工神经网络模型。尽管已经描述了神经网络模型，但在其它实施方式中，机器学习模型可以是任何其它机器学习模型，诸如最近邻模型、朴素贝叶斯模型、决策树模型、回归模型、支持向量机(SVM)、任何其它机器学习模型和/或其任何组合(其可以包括与神经网络模型组合的任何此类模型)。如所示出的，神经网络模型402的类型可以是前馈神经网络。在其它实施方式中，神经网络模型402可以是任何其它类型，诸如径向基函数神经网络、多层感知器、卷积神经网络、循环神经网络、模块化神经网络、由两个循环神经网络构成的序列到序列模型和/或任何其它类型的神经网络。

神经网络模型402可以具有多个层，包括输入层404、一个或更多个内部层(也称为隐藏层)406和输出层408。层404、406和408中的每个可以具有一个或更多个节点，节点也可以被称为神经元或人工神经元。例如，在所示实施方式中，层404具有三个节点，层406中的每个具有四个节点，层408具有单个节点。每个节点(也称为神经元)是一个计算单元。在一些实施方式中，隐藏层的数量和每个对应层中的节点数量可以基于其上训练模型的图像的数目/数量而变化。例如，当图像的数目/数量非常高(例如，大于阈值，诸如1000、5000、10000、100000或特定于实施方式的任何其它阈值)时，可以使用更多数量的节点和/或更多数量的层以加快训练过程以及部署过程期间的推理。在一些实施方式中，节点和/或层的数量可以随着训练阶段的进行而变化，从而通过实验确定神经网络402中的节点和/或层的理想数量。

输入层404被配置为接收内容资产(例如，图像)作为输入。在该模型402的训练阶段(即，该模型402被训练的持续时间)，输入层402接收其上训练模型402的图像。在部署阶段(即，训练模型402用于生成推理的持续时间)，输入层402接收将要为其推断质量的新图像(例如，图像204)。输入层404的每个节点(也称为神经元)是以某种可配置的方式来组合来自图像的数据的计算单元，并具有输出连接。

内部层406也被称为隐藏层，因为它们不能从实现神经网络模型402的系统的输入和输出被直接观察到。每个隐藏层406的每个节点(也称为神经元)是具有一个或更多个加权输入连接、以某种可配置方式来组合输入的传递函数、以及输出连接的计算单元。

输出层408输出所输入的图像(例如，图像206-214中的任何一个)的得分。例如，模糊模型的输出层408可以输出模糊得分，令人反感的内容模型的输出层408可以输出令人反感的内容得分，取向模型的输出层408可以输出取向得分，等等。在训练阶段，每个模型402可以在不同的(或在其它实施方式中，相同的)图像集合上被训练。然而，在部署阶段，每个模型接收将在其上进行质量推断的相同的新图像(例如，图像206-214中的任何一个)。所示示例中的输出层408具有单个节点，该节点具有一个或更多个加权输入连接、以及以某种可配置方式来组合输入以生成得分的传递函数(例如，在模型是模糊模型的情况下是模糊得分，在模型是令人反感的内容模型的情况下是令人反感的内容得分，在模型是取向模型的情况下是取向得分，等等)。

在一些实施方式中，可以使用硬件加速器来部署机器学习模型。这样的硬件加速器可以包括几个计算单元(也可以称为计算块)，其中可以分布机器学习模型(例如，神经网络)的计算，该机器学习模型被部署来计算指示数字组件内的一个或更多个内容资产的质量的得分。与如果神经网络由中央处理单元处理将需要的指令数量相比，计算块上的这样的计算分布允许通过使用减少数量的指令来处理神经网络。指令数量的这样的减少提高计算多个类别的概率的速度，从而减少确定指示数字组件内的一个或更多个内容资产的质量的得分的过程中的延迟。

图5示出了同时部署多个机器学习模型402-1、402-2、……和402-n以确定新图像(例如，图像206-214中的任何一个)的质量。这里，n可以是任何固定的整数值。每个模型402-i(其中i是范围从1至n的任何整数值)可以接收新图像(例如，图像206-214中的任何一个)作为输入，并输出量化模型402-i被训练来确定的视觉特征的得分Si。例如，模型402-1可以是可接收图像204作为输入并输出模糊得分S1的模糊模型，模型402-2可以是可接收图像204作为输入并输出令人反感的内容得分S2的令人反感的内容模型，……，模型402-n可以是可接收图像204作为输入并输出取向得分Sn的取向模型。虽然这里的讨论集中在特定的机器学习模型上，但在一些实施方式中，可以附加地或替代地训练和部署额外的模型(未示出)以检测数字组件106中的大按钮、数字组件106中的欺骗点击问题、数字组件106内的图像的不雅、数字组件106的图像的不良裁剪、数字组件106中不适当的文本叠加、数字组件106中徽标的位置等，并相应地对数字组件进行分类。

每个模型402-i(其中i是范围从1至n的任何整数值)可以具有不同的隐藏层406(例如，不同数量的隐藏层406和/或每个隐藏层406中不同数量的节点)，因为隐藏层406可以在不同模型402i之间被添加或修改，以调整每个模型以进行对应的推断。

内容分发系统107可以包括计算单元(例如，一个或更多个处理器)502，该计算单元可以将权重Wi(其中i是范围从1至n的任何固定整数)分配给每个模型402-i的得分Si，然后将所有模型的加权得分WiSi相加以生成总得分504(也可以称为组合得分)。

总得分504可以指示输入图像(例如，图像206-218中的任何一个)的质量。内容分发系统107可以将总得分504与一个或更多个阈值进行比较以生成输入图像(例如，图像206-218中的任何一个)的质量的推断。在一些示例中，推断可以是“优秀”质量、“平庸”质量或“差”质量。虽然质量的指示120被描述为“优秀”质量、“平庸”质量或“差”质量，但在其它示例中，可以使用任何其它类别名称(即，除了优秀、平庸或差以外的类别名称；诸如分别为出色、一般或不良；等等)。此外，虽然描述了三个质量类别，但在一些实施方式中，类别的数量可以是两个或更多个的任何其它数量。

内容分发系统107可以确定形成集合202的内容资产104(例如，图像206-214)的聚合质量203。在一些示例中，集合202的聚合质量203可以被记录为四个“优秀”图像和三个“平庸”图像的组合。在一些情况下，集合202的聚合质量203可以被计算为形成集合202的所有图像206-214的组合得分之和。在一些情况下，数字组件106的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2A所示，其中所有图像206-218的总可能得分为10)。

内容分发系统107可以更新内容提供者108的图形用户界面以呈现形成数字组件106的内容资产104的聚合质量203的视觉指示120。更新图形用户界面可以包括将形成集合202的图像的聚合质量203的视觉指示发送到内容提供者108。

虽然这里描述了特定的神经网络模型，但在其它实施方式中，可以使用不会损害延迟和处理能力的任何其它神经网络模型或任何合适的机器学习模型。例如，任何神经网络模型402-i(其中i是范围从1至n的任何固定整数)可以是前馈神经网络(如所示出的)或任何其它神经网络，诸如径向基函数神经网络、多层感知器、卷积神经网络、循环神经网络、模块化神经网络、由两个循环神经网络构成的序列到序列模型和/或任何其它类型的神经网络。

图6示出了由内容分发系统107实现的用于训练和部署机器学习模型402-i(其中i是范围从1至n的任何固定整数)的过程。在602，内容分发系统107可以在从内容服务器110和/或内容资产数据库116获得的多个图像上训练多个机器学习模型(例如，模糊模型、令人反感的内容模型和取向模型)。在这样的训练期间，那些图像中的每个被分配指示图像的质量特征(例如，模糊、令人反感的内容的数量、与数字组件106的取向兼容性)的得分(例如，模糊得分、令人反感的内容得分、取向得分)。每个机器学习模型(例如，模糊模型、令人反感的内容模型或取向模型)被训练为针对相应质量特征(例如，分别为模糊、令人反感的内容的数量、与数字组件106的取向兼容性)对图像进行打分。

在604，内容分发系统107可以从内容提供者108接收评估由内容提供者108上传的内容资产104的集合202中包括的新图像(例如，图像206-214中的任何一个)的质量的请求。响应于这样的请求，在606，内容分发系统107可以在新图像上部署机器学习模型(例如，模糊模型、令人反感的内容模型和取向模型)以生成每个质量特征的得分S1、S2、……、Sn(例如，模糊的得分S1，令人反感的内容量的数量的得分S2，……，取向兼容性的得分Sn)。

内容分发系统107可以包括计算单元(例如，一个或更多个处理器)502，该计算单元502可以将权重Wi(其中i是范围从1至n的任何固定整数)分配给每个模型402-i(例如，模糊模型、令人反感的内容模型和取向模型中的每个)的得分Si。在608，内容分发系统107可以组合每个模型的加权得分WiSi以生成图像(例如，图像206-214中的任何一个)的组合得分504。总得分504可以指示输入图像(例如，图像206-214中的任何一个)的质量。

在610，内容分发系统107可以将总得分504与一个或更多个阈值进行比较以生成对输入图像(例如，图像206-214中的任一个)的质量的推断。推断也被称为质量的指示。在一些示例中，推断(即质量的指示)可以是“优秀”质量、“平庸”质量或“差”质量。虽然质量的指示被描述为“优秀”质量、“平庸”质量或“差”质量，但在其它示例中，可以使用任何其它类别名称(即除了优秀、平庸或差以外的类别名称；诸如分别为出色、一般或不良；等等)。此外，虽然描述了三个质量类别，但在一些实施方式中，类别的数量可以是两个或更多个的任何其它数量。

在612，内容分发系统107可以确定形成数字组件106的内容资产104(例如，所有图像206-214)的聚合质量203。在一些示例中，数字组件106的聚合质量203可以被记录为四个“优秀”图像和三个“平庸”图像的组合。在一些情况下，数字组件106的聚合质量203可以被计算为形成数字组件106的所有图像206-214的组合得分之和。在一些情况下，数字组件106的聚合质量203可以被计算为所有图像206-214的组合得分与所有图像206-214的总可能得分的比率(如图2A所示，其中所有图像206-214的总可能得分为10)。

内容分发系统107可以将指示集合202的聚合质量203的数据发送到内容提供者108。这样的发送可以更新内容提供者108的图形用户界面以显示对一个或更多个图像的集合202的质量的推断(即指示203)。

图7是可用于执行上述操作的示例计算机系统700的框图。系统700包括处理器710、存储器720、存储设备730和输入/输出设备740。组件710、720、730和740中的每个可以例如使用系统总线750互连。处理器710能够处理用于在系统700内运行的指令。在一个实施方式中，处理器710是单线程处理器。在另一实施方式中，处理器710是多线程处理器。处理器710能够处理存储在存储器720中或在存储设备730上的指令。

存储器720将数据存储在系统700内。在一个实施方式中，存储器720是计算机可读介质。在一个实施方式中，存储器720是易失性存储器单元。在另一实施方式中，存储器720是非易失性存储器单元。

存储设备730能够为系统700提供大容量存储。在一个实施方式中，存储设备730是计算机可读介质。在各种不同的实施方式中，存储设备730可以包括例如硬盘设备、光盘设备、由多个计算设备通过网络共享的存储设备(例如，云存储设备)或一些其它大容量存储设备。

输入/输出设备740为系统700提供输入/输出操作。在一个实施方式中，输入/输出设备740可以包括网络接口设备中的一个或更多个，例如以太网卡、串行通信设备(例如，RS-232端口)和/或无线接口设备(例如，802.11卡)。在另一实施方式中，输入/输出设备可以包括配置为接收输入数据并将输出数据发送到其它输入/输出设备的驱动器设备，例如键盘、打印机和显示设备760。然而，也可以使用其它实施方式，诸如移动计算设备、移动通信设备、机顶盒电视客户机设备等。

尽管已经在图7中描述了示例处理系统，但是本说明书中描述的主题和功能操作的实施方式可以以其它类型的数字电子电路或以计算机软件、固件或硬件(包括本说明书中公开的结构及其结构等同物)来实现，或以它们中的一种或更多种的组合来实现。

在本说明书中描述的主题和操作的实施例可以以数字电子电路或以计算机软件、固件或硬件(包括在本说明书中公开的结构及其结构等同物)来实现，或以它们中的一种或更多种的组合来实现。在本说明书中描述的主题的实施例可以被实现为一个或更多个计算机程序，即编码在计算机存储介质上以供数据处理装置运行或控制数据处理装置的操作的计算机程序指令的一个或更多个模块。替代地或附加地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电、光或电磁信号)上，该人工生成的传播信号被生成来编码数据以供传输到合适的接收器装置以供数据处理装置运行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或更多个的组合，或被包括在计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备、或它们中的一个或更多个的组合中。此外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质也可以是一个或更多个单独的物理组件或介质(例如，多个CD、磁盘或其它存储设备)，或被包括在一个或更多个单独的物理组件或介质(例如，多个CD、磁盘或其它存储设备)中。

在本说明书中描述的操作可以被实现为由数据处理装置对存储在一个或更多个计算机可读存储设备上或从其它源接收的数据执行的操作。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，包括例如可编程处理器、计算机、片上系统、或前述内容的多个或组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建运行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或更多个的组合的代码。装置和运行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以以任何形式的编程语言(包括编译或解释语言、声明性或过程性语言)来编写，并且它可以以任何形式(包括作为独立程序或作为模块、组件、子例程、对象或适用于计算环境的其它单元)来部署。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在包含其它程序或数据的一部分文件(例如，存储在标记语言文档中的一个或更多个脚本)中、在专用于所讨论的程序的单个文件中或在多个协调文件(例如，存储一个或更多个模块、子程序或部分代码的文件)中。可以部署计算机程序以在一个计算机上或在位于一个站点或分布在多个站点并通过通信网络互连的多个计算机上运行。

在本说明书中描述的过程和逻辑流可以由一个或更多个可编程处理器执行，该一个或更多个可编程处理器运行一个或更多个计算机程序以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以被实现为专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。

适合于运行计算机程序的处理器包括例如通用微处理器和专用微处理器两者以及任何种类的数字计算机的任何一个或更多个处理器。一般而言，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一个或更多个存储器设备。一般而言，计算机还将包括用于存储数据的一个或更多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或可操作地耦合以从所述一个或更多个大容量存储设备接收数据、或向所述一个或更多个大容量存储设备传送数据、或既从所述一个或更多个大容量存储设备接收数据又向所述一个或更多个大容量存储设备传送数据。然而，计算机不必具有这样的设备。此外，计算机可以嵌入另一设备，例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括例如：半导体存储器设备，例如EPROM、EEPROM和闪速存储器设备；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或结合在专用逻辑电路中。

为了提供与用户的交互，在本说明书中描述的主题的实施例可以在具有显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及键盘和定点设备(例如，鼠标或轨迹球)的计算机上实现，该显示设备用于向用户显示数据，用户可以通过该键盘和定点设备向计算机提供输入。也可以使用其它各类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；可以以任何形式接收来自用户的输入，包括声音输入、语音输入或触觉输入。此外，通过向用户使用的设备发送文档和从用户使用的设备接收文档；例如通过响应于从网络浏览器接收到的请求而将网页发送到用户的客户机设备上的网络浏览器，计算机可以与用户交互。

在本说明书中描述的主题的实施例可以以计算系统来实现，该计算系统包括后端组件，例如作为数据服务器，或包括中间件组件，例如应用服务器，或包括前端组件，例如具有用户可通过其与在本说明书中描述的主题的实施方式交互的图形用户界面或网络浏览器的客户机计算机，或包括一个或更多个这样的后端组件、中间件组件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)、网际间网络(例如，互联网)和对等网络(例如，自组织对等网络)。

计算系统可以包括客户机和服务器。客户机和服务器一般彼此远离并且通常通过通信网络进行交互。客户机和服务器的关系通过在相应计算机上运行并彼此具有客户机-服务器关系的计算机程序而产生。在一些实施例中，服务器将数据(例如，HTML页面)发送到客户机设备(例如，出于向与客户机设备交互的用户显示数据并从该用户接收用户输入的目的)。可以在服务器处从客户机设备接收在客户机设备处生成的数据(例如，在线交互的结果)。

虽然本说明书包含许多具体的实施方式细节，但这些细节不应被解释为对任何发明的范围或可要求保护内容的限制，而是应被解释为对特定发明的特定实施例特有的特征的描述。在本说明书中在单独的实施例的上下文中描述的某些特征也可以在单个实施例中被组合实现。相反，在单个实施例的上下文中描述的各种特征也可以在多个实施例中分开实现或以任何合适的子组合来实现。此外，尽管特征可以在上面被描述为在某些组合中起作用并且甚至最初如此要求保护，但是在一些情况下可以从组合中去除来自要求保护的组合的一个或更多个特征，并且要求保护的组合可以针对子组合或子组合的变体。

类似地，虽然在附图中按特定顺序绘出了操作，但这不应被理解为要求按所示出的特定顺序或按依次的顺序来执行此类操作，或要求执行所有示出的操作，以实现期望的结果。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施例中各种系统组件的分离不应被理解为在所有实施例中要求这样的分离，应理解，所描述的程序组件和系统一般可以一起集成在单个软件产品中或打包成多个软件产品。

因此，已经描述了主题的特定实施例。其它实施例在所附权利要求的范围内。在一些情况下，权利要求中所述的动作可以按不同的顺序执行，并且仍能达到期望的结果。此外，附图中绘出的过程未必要求所示的特定顺序或依次的顺序来达到期望的结果。在某些实施方式中，多任务和并行处理可以是有利的。

Claims (9)

1.一种方法，包括：

由一个或更多个处理器识别包括一个或更多个图像的内容资产，所述内容资产被组合以创建分发给一个或更多个客户机设备的不同数字组件；

由所述一个或更多个处理器使用一个或更多个机器学习模型评估所述一个或更多个图像中的每个的质量，所述一个或更多个机器学习模型被训练来评估所述一个或更多个图像的一个或更多个方面，所述一个或更多个方面被认为是视觉质量的指示；

由所述一个或更多个处理器至少部分地基于所述一个或更多个机器学习模型的输出来确定内容资产的聚合质量，该输出指示所述一个或更多个图像中的每个的图像质量；以及

由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现内容资产的聚合质量的视觉指示。

2.根据权利要求1所述的方法，还包括：

由所述一个或更多个处理器接收所述一个或更多个图像中的一个的修改；

由所述一个或更多个处理器评估经修改的图像的质量；

由所述一个或更多个处理器基于经修改的图像的质量更新内容资产的聚合质量；以及

由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现内容资产的聚合质量的更新的视觉指示。

3.根据权利要求1或权利要求2所述的方法，还包括：

由所述一个或更多个处理器将聚合质量与预设质量启发式方法进行比较；

由所述一个或更多个处理器确定聚合质量不符合预设质量启发式方法；

由所述一个或更多个处理器响应于确定聚合质量不符合预设质量启发式方法而生成用于改善聚合质量的一个或更多个推荐；以及

由所述一个或更多个处理器更新第一计算设备的图形用户界面以呈现所述一个或更多个推荐。

4.根据权利要求3所述的方法，其中所述一个或更多个推荐包括用于修改图像的视觉特征的第一推荐。

5.根据任何前述权利要求所述的方法，其中评估所述一个或更多个图像中的每个的质量包括：

由所述一个或更多个处理器在图像上部署所述多个机器学习模型以生成多个质量特征中的每个质量特征的得分；

由所述一个或更多个处理器为每个得分分配权重以生成加权得分；

由所述一个或更多个处理器组合加权得分以生成图像的组合得分；以及

由所述一个或更多个处理器将组合得分与一个或更多个阈值进行比较以生成图像的质量。

6.根据权利要求5所述的方法，其中确定内容资产的聚合质量包括：

为每个图像确定总可能得分；

为每个图像计算组合得分与总可能得分的比率，其中图像的比率是所述一个或更多个图像的一个或更多个比率的一部分；以及

计算所述一个或更多个比率的平均值，其中所述一个或更多个比率的平均值指示内容资产的聚合质量。

7.根据任何前述权利要求所述的方法，还包括：

确定包括来自内容资产的至少一个图像和至少一个其它内容资产的数字组件的质量；

由所述一个或更多个处理器将数字组件的质量与阈值进行比较；

由所述一个或更多个处理器确定数字组件的质量低于阈值；以及

由所述一个或更多个处理器响应于确定数字组件的质量小于阈值而限制将数字组件分发到所述一个或更多个客户机设备。

8.一种系统，包括：

存储计算机可运行指令的存储器；以及

配置为运行指令的一个或更多个计算机，其中指令的运行使所述一个或更多个计算机执行根据前述权利要求中任一项所述的操作。

9.一种存储指令的非暂时性计算机可读介质，该指令当由一个或更多个计算机运行时使所述一个或更多个计算机执行根据权利要求1-7中任一项所述的操作。

Images