CN113261299B - 多层可伸缩媒体分析 - Google Patents

Abstract

方法、系统和装置，其包括被编码在计算机存储介质上的计算机程序，用于增强与界面的用户交互。方法包括：使用第一评估规则，确定内容描绘了令人反感的材料的可能性。所述内容被传递给评级实体，以便基于所述内容描绘了令人反感的材料的所述可能性来进行进一步评估。当所述内容描绘了令人反感的材料的所述可能性低于指定的修改阈值时，将所述内容的未修改版本传递给所述评级实体。当所述内容描绘了令人反感的材料的所述可能性高于所述指定的修改阈值时，对所述内容进行修改以减弱对所述令人反感的材料的描绘，并且将修改后的所述内容传递给所述评级实体。所述评级实体返回指示所述内容是否违反内容准则的评估反馈。基于所述评估反馈来指定分发策略。

Description

多层可伸缩媒体分析

背景技术

本说明书涉及媒体的数据处理和分析。因特网提供对几乎任何用户都可以上传的媒体的访问，例如，流媒体。例如，用户可以创建视频文件和/或音频文件并将其上传到媒体共享站点。一些为第三方(例如，不是网站的管理员)发布或分发内容的站点要求用户遵守一套内容准则，也称为内容准则，以便在他们的站点上共享媒体或代表这些第三方分发内容。这些内容准则可以包括与不适合在站点上共享因此没有资格进行分发的内容有关的策略。

发明内容

通常，本说明书中描述的主题的一个创新方面可以体现在方法中，该方法包括以下操作：使用第一评估规则，确定内容描绘了令人反感的材料的可能性；将内容传递给评级实体集合，以便基于内容描绘了令人反感的材料的可能性进行进一步评估，包括：当内容描绘了令人反感的材料的可能性低于指定的修改阈值时，将内容的未修改版本传递给评级实体集合；并且当内容描绘了令人反感的材料的可能性高于指定的修改阈值时：修改内容以减弱对令人反感的材料的描绘；并且将修改后的内容传递给评级实体集合；从评级实体集合接收指示内容是否违反内容准则的评估反馈；以及基于评估反馈制定分发策略，包括：当评估反馈指示内容违反内容准则时，阻止内容的分发；并且当评估反馈指示内容未违反内容准则时，分发内容。该方面的其他实施例包括对应的方法、装置和编码在计算机存储设备上被配置为执行该方法的动作的计算机程序。可选地，这些和其他实施例可以分别包括一个或者多个以下特征。

制定分发策略可以包括制定基于地理的分发策略，该基于地理的分发策略为不同的地理区域指定不同的分发策略。方法可以包括：基于评估反馈来确定内容违反了针对第一地理区域的第一内容准则，但是没有违反针对第二地理区域的第二内容准则，其中：当评估反馈指示内容违反了内容准则时阻止内容的分发包括：基于对第一内容准则的违反，阻止内容在第一地理区域中的分发；并且当评估反馈指示内容没有违反内容准则时分发内容包括：基于内容没有违反第二内容准则，在第二地理区域中分发内容，而不管内容是否违反了第一地理区域的第一内容准则。

方法可以包括生成评级实体集合，包括：确定在第一上下文中被认为需要在评级实体集合之间达成共识的一个或多个实体属性；并且创建评级实体集合，以仅包括具有在特定上下文中被认为需要在评级实体集合之间达成共识的一个或多个实体属性的实体。

方法可以包括：生成不具有一个或多个实体属性中的至少一个实体属性的第二评级实体集合；从第二评级实体集合获得指示内容是否违反内容准则的评估反馈；并且基于从第二评级实体集合获得的评估反馈，确定一个或多个实体属性是否需要达成共识，包括：当从第二评级实体集合获得的评估反馈不同于从实体集合接收到的评估反馈时，确定一个或多个属性需要达成共识；并且当从第二评级实体集合获得的评估反馈与从实体集合接收到的评估反馈匹配时，确定一个或多个属性不需要达成共识。

方法可以包括：将内容解析为内容的更小部分，每个部分均包括少于全部内容，其中：将内容传递给评级实体集合以便进行进一步评估包括：将内容的每个更小部分传递给来自实体集合的不同实体子集，以便并行评估；并且接收指示内容是否违反内容准则的评估反馈包括：从更小部分被传递到的不同实体子集接收针对每个更小部分的单独反馈。

方法可以包括：对传递给评级实体集合的内容量进行限流。对传递给评级实体集合的内容量进行限流可以包括：对于实体集合中的每个不同实体：确定在预先指定的时间量内已经传递给不同实体的内容量；确定不良分数，不良分数量化在预先指定的时间量内已经传递给不同实体的内容的不适当程度；并且当(i)在预先指定的时间量内已经传递给不同实体的内容量超过阈值量或者(ii)不良分数超过最大可接受不良分数时，阻止将附加内容传递给不同实体。

确定内容描绘了令人反感的材料的可能性可以包括：通过一个或多个数据处理器，执行利用皮肤检测算法、血液检测算法、对象标识分析或语音识别分析中的一种或多种的自动评级实体。

修改内容以减弱对令人反感的材料的描绘可以包括使内容的一部分模糊、像素化或静音中的任何一种。

可以实施在本说明书中描述的主题的特定实施例以实现一个或者多个以下优点。例如，本文档通篇讨论的技术使计算机系统能够利用分层评估过程，该分层评估过程降低将不适当的内容分发给用户的风险，同时还减少了评估内容所需的时间量，从而可以更快地进行内容的分发。即，不适当的内容在被呈现给公众之前会被更准确地过滤。所讨论的技术还可以通过在将内容呈现给评级实体之前修改内容和/或将内容划分为更小的子部分并且将每个子部分提供给不同的评级实体，来减少令人反感的内容的呈现对评级实体和/或用户的心理影响。所讨论的技术还可以在对用户生成的内容进行公开分发之前对用户生成的内容进行实时评估，同时还可以通过将内容(例如视频)的持续时间划分为更小的持续时间并且使每个更小的持续时间同时被评估来确保快速发表内容，从而减少了评估内容的整个持续时间所需的总时间。所述技术还可以基于评级实体的特性及其对所评估内容的各自分类，来确定对所评估内容的分类是以地理为基础还是以用户特点为基础进行变化，这可以用于阻挡或允许以每个地理区域为基础和/或以每个用户为基础的内容分发。即，所公开的主题的各方面解决了提供改进的内容过滤方法的技术问题。

本主题的另一创新方面涉及一种系统，该系统包括存储一个或多个评估规则的数据存储；以及一个或多个数据处理器，其被配置为与一个或多个评估规则进行交互，并且执行本文公开的任何方法的操作。

本主题的另一创新方面涉及一种存储指令的非暂时性计算机可读介质，该指令在由一个或多个数据处理装置执行时使该一个或多个数据处理装置执行包括本文所公开的任何方法的操作。

若适当，各方面的可选特征可以与其他方面组合。

在附图和下面的描述中阐述了在本说明书中描述的主题的一个或多个实施例的细节。本主题的其他特征、方面和优点将通过描述、附图和权利要求书变得显而易见。

附图说明

图1是分析和分发内容的示例环境的框图。

图2是用于分层内容评估过程的示例数据流的框图。

图3是描绘了评级实体集合的管理的框图。

图4是描绘了基于实体属性来管理评级实体集合的过程的框图。

图5是描绘了将内容的子部分分发到评级实体子集的框图。

图6是示例多层可伸缩媒体分析过程的流程图。

图7是可用于执行所描述的操作的示例计算机系统的框图。

在各个图中，相似的参考编号和称号表示相似的元件。

具体实施方式

本文档公开了用于促进对媒体项或其他内容的分析以及内容分发策略的实施的方法、系统、装置和计算机可读介质。在一些实施方式中，使用分层评估过程来减少将不适当的内容分发给用户的风险，同时还减少了评估内容所需的时间量。如下面更详细地讨论的，使用多级内容评估和分发系统来实现分层评估过程。可以实施这样的技术，该技术提高在分发不适当的内容之前标识不适当的内容的能力，同时还减少了不适当的内容可能对审查和/或提供关于内容是否违反内容准则的反馈的评级实体的负面影响。例如，如下面更详细地讨论的，当内容描绘了令人反感的材料的可能性很高时，可以以一种或多种方式修改内容，以减弱对令人反感的材料的描绘。在一些情况下，在评级实体对内容进行评估期间，通过对内容进行像素化或缩短内容的持续时间，可以减弱对令人反感的材料的描绘。对令人反感的材料的描绘的这种减弱减少了令人反感的材料对评级实体的负面心理影响。

如在整个本文档中所使用的，短语“内容”和“媒体”是指数字内容或数字信息的离散单元(例如，视频剪辑、音频剪辑、多媒体剪辑、图像、文本或其他内容单元)。内容可以作为单个文件或文件的类集以电子方式存储在物理存储器设备中，并且内容可以采取视频文件、音频文件、多媒体文件、图像文件或文本文件的形式，并且可以包括广告信息。内容可以由各种实体提供以进行分发，并且内容分发系统可以将内容分发到针对许多不同内容生成器(也称为内容创建器)的各种站点和/或本机应用。

图1是示例环境100的框图，在该示例环境100中数字组件被分发以与电子文档一起呈现。示例环境100包括网络102，诸如局域网(LAN)、广域网(WAN)、因特网或其组合。网络102连接电子文档服务器104、客户端设备106、媒体生成器107、媒体服务器108和媒体分发系统110(也称为内容分发系统(CDS))。示例环境100可以包括许多不同的电子文档服务器104、客户端设备106、媒体生成器107和媒体服务器108。

客户端设备106是能够通过网络102请求和接收资源的电子设备。示例客户端设备106包括个人计算机、移动通信设备以及可以通过网络102发送和接收数据的其他设备。客户端设备106通常包括诸如web浏览器之类的用户应用，以促进通过网络102发送和接收数据，但是由客户端设备106执行的本机应用也可以促进通过网络102发送和接收数据。

电子文档是在客户端设备106上呈现内容集的数据。电子文档的示例包括网页、文字处理文档、便携式文档格式(PDF)文档、图像、视频、搜索结果页面和馈源。本机应用(例如“app”)，诸如安装在移动设备、平板或台式计算机设备上的应用，也是电子文档的示例。可以通过电子文档服务器104(“Electronic Doc Server”)将电子文档提供给客户端设备106。例如，电子文档服务器104可以包括托管发布者网站的服务器。在该示例中，客户端设备106可以发起对给定发布者网页的请求，并且托管该给定发布者网页的电子文档服务器104可以通过发送机器可执行指令来响应该请求，该机器可执行指令发起在客户端设备106处的给定网页的呈现。

在另一示例中，电子文档服务器104可以包括应用服务器，客户端设备106可以从该应用服务器下载应用。在该示例中，客户端设备106可以下载在客户端设备106处安装应用所需的文件，然后在本地执行已下载的应用。可以将已下载的应用配置为呈现作为应用本身一部分的本地内容，以及在应用外部(例如，由媒体生成器107)生成并且呈现在应用内的媒体的组合。

电子文档可以包括各种内容。例如，电子文档可以包括在电子文档本身内和/或不随时间变化的静态内容(例如，文本或其他指定的内容)。电子文档还可以包括动态内容，该动态内容可能会随时间或以每个请求为基础而变化。例如，给定电子文档的发布者可以维护数据源，该数据源用于填充电子文档的各个部分。在该示例中，给定电子文档可以包括标签或脚本，当给定电子文档被客户端设备106处理(例如，呈现或执行)时，该标签或脚本使客户端设备106向数据源请求内容。客户端设备106将从数据源获得的内容集成到给定电子文档中，以创建包括从数据源获得的内容的复合电子文档。

在一些情况下，给定电子文档可以包括引用媒体分发系统110的媒体标签或媒体脚本。在这些情况下，当给定电子文档被客户端设备106处理时，媒体标签或媒体脚本被客户端设备106执行。媒体标签或媒体脚本的执行将客户端设备106配置为生成媒体请求112，该媒体请求112通过网络102被发送到媒体分发系统110。例如，媒体标签或媒体脚本可以使客户端设备106能够生成包括报头和有效载荷数据的分组式数据请求。媒体请求112可以包括指定特征的事件数据，诸如从其请求媒体的服务器的名称(或网络位置)、请求设备(例如，客户端设备106)的名称(或网络位置)、和/或媒体分发系统110可以用来选择一个或多个响应于该请求而提供的媒体项(例如，媒体的不同部分)的信息。客户端设备106通过网络102(例如，电信网络)将媒体请求112传输到媒体分发系统110的服务器。

媒体请求112可以包括指定其他事件特征的事件数据，诸如被请求的电子文档以及可以在其上呈现媒体的电子文档的位置的特性。例如，指定将在其中呈现媒体的电子文档(例如，网页或应用)的引用(例如，统一资源定位符(URL))、可用于呈现媒体的电子文档的可用位置、可用位置的大小、和/或有资格在这些位置中呈现的媒体类型的事件类型可以被提供给媒体分发系统110。相似地，指定与电子文档相关联的关键字(“文档关键字”)或电子文档所引用的实体(例如，“人”、“地方”或“事物”)的事件数据也可以被包括在媒体请求112中(例如，作为有效载荷数据)，并且被提供给媒体分发系统110，以方便标识有资格与电子文档一起呈现的媒体。事件数据还可以包括搜索查询，该搜索查询被从客户端设备106提交以获得搜索结果页面(例如，标准搜索结果页面或呈现音频和/或视频媒体的搜索结果的媒体搜索结果页面)、和/或指定搜索结果和/或在搜索结果中包括的文本内容、听觉内容或其他视觉内容的数据。

媒体请求112还可以包括与其他信息有关的事件数据，诸如客户端设备的用户已提供的信息、指示提交组件请求的状态或区域的地理信息、或针对将在其中显示数字组件的环境提供上下文的其他信息(例如，组件请求的一天中的时间、组件请求的一星期中的一天、将在其上显示数字组件的设备的类型，诸如移动设备设备或平板设备)。媒体请求112可以例如通过分组式网络被传输，并且媒体请求112本身可以被格式化为具有报头和有效载荷数据的分组式数据。报头可以指定分组的目的地，并且有效载荷数据可以包括上面讨论的任何信息。

包括一个或多个媒体分发服务器的媒体分发系统110，响应于接收到媒体请求112和/或使用在媒体请求112中包括的信息，选择将与给定电子文档一起呈现的媒体项。在一些实施方式中，在不到一秒的时间内选择了媒体项，以避免可能由于媒体项的延迟选择而引起的错误。例如，响应于媒体请求112而提供媒体的延迟可能导致客户端设备106处的页面加载错误，或者甚至在电子文档的其他部分被呈现在客户端设备106处之后也导致电子文档的部分仍未被填充。而且，随着向客户端设备106提供媒体的延迟增加，当媒体被传送到客户端设备106时，电子文档更有可能不再呈现在客户端设备106上，从而对用户对电子文档的体验造成负面影响。此外，例如，如果在提供媒体时电子文档不再被呈现在客户端设备106处，则提供媒体的延迟可能会导致媒体的传送失败。

在一些实施方式中，媒体分发系统110被实施在分布式计算系统中，该分布式计算系统包括例如服务器和多个计算设备114的集合，这些计算设备相互连接并且响应于媒体请求112而标识和分发数字组件。多个计算设备114的集合一起操作以从数百万个可用媒体项(MI1-x)的语料库中标识出有资格在电子文档中呈现的媒体项的集合。例如，可以在媒体项数据库116中为数百万个可用媒体项建立索引。每个媒体项索引条目都可以引用对应的媒体项和/或包括有助于(例如，设条件或限制)对应媒体项的分发/传输的分发参数(DP1-DPx)。例如，分发参数可以通过要求媒体请求包括至少一个与媒体项的其中一个分发参数匹配(例如，完全匹配或具有某种预先指定的相似程度)的判据，来有助于媒体项的传输。

在一些实施方式中，针对特定媒体项的分发参数可以包括必须被匹配(例如，被电子文档、文档关键字或在媒体请求112中指定的术语)的分发关键字，以便使媒体项有资格进行演示。分发参数还可以要求媒体请求112包括指定特定地理区域(例如，国家或州)的信息和/或指定媒体请求112起源于特定类型的客户端设备(例如，移动设备或平板设备)的信息，以便使媒体项有资格进行演示。分发参数还可以指定用于评估媒体项进行分发/传输(例如，在其他可用数字组件中)的资格的资格值(例如，排名分数或其他指定值)，下面将更详细地讨论。在一些情况下，资格值可以指定当特定事件归因于媒体项时(例如，当通过与媒体项的交互或可归因于媒体项的呈现而将应用安装在客户端设备上时)将提交的量。

有资格的媒体项的标识可以被分割成多个任务117a-117c，然后在多个计算设备的集合114内的计算设备之间分配这多个任务。例如，集合114中的不同计算设备可以分别分析媒体项数据库116的不同部分，以标识具有与媒体请求112中包括的信息匹配的分发参数的各个媒体项。在一些实施方式中，集合114中的每个给定计算设备可以分析不同的数据维度(或维度集合)，并且将分析的结果(Res 1-Res 3)118a-118c传递(例如发送)回媒体分发系统110。例如，由集合114中的每个计算设备提供的结果118a-118c可以标识媒体项的子集，该媒体项的子集是响应于媒体请求而有资格进行分发的媒体项的子集和/或具有某些分发参数的媒体项的子集。媒体项的子集的标识可以包括：例如，将事件数据与分发参数进行比较，并且标识具有与事件数据的至少一些特征匹配的分发参数的媒体项的子集。

媒体分发系统110聚合从多个计算设备114的集合接收到的结果118a-118c，并且使用与聚合结果相关联的信息来选择响应于媒体请求112将提供的一个或多个媒体项。例如，媒体分发系统110可以基于一个或多个媒体评估过程的结果来选择获胜媒体项(一个或多个媒体项)的集合。进而，媒体系统110可以通过网络102生成并且传输回复数据120(例如，表示回复的数字数据)，该回复数据使客户端设备106能够将获胜媒体项的集合集成到给定电子文档中，使得在客户端设备106的显示器上一起呈现获胜媒体项的集合和电子文档的内容。

在一些实施方式中，客户端设备106执行在回复数据120中包括的指令，该指令配置并且使客户端设备106能够从一个或多个媒体服务器108获得获胜媒体项的集合。例如，回复数据120中的指令可以包括网络位置(例如，URL)和脚本，该脚本使客户端设备106向媒体服务器108传输服务器请求(SR)121以从媒体服务器108获得给定的获胜媒体项。响应于服务器请求121，媒体服务器108将标识在服务器请求121中指定的给定获胜媒体项(例如，在存储多个媒体项的数据库中)，并且将媒体项数据(MI数据)122传输到客户端设备106，该媒体项数据(MI数据)122在客户端设备106处将给定获胜媒体项呈现在电子文档中。

为了促进电子文档的搜索，环境100可以包括搜索系统150，该搜索系统150通过对电子文档进行爬网和索引(例如，基于所爬网的电子文档的内容进行索引)来标识电子文档。可以基于数据所关联的电子文档来索引关于电子文档的数据。电子文档的索引的和(可选地)缓存的副本存储在搜索索引152(例如，(多个)硬件存储器设备)中。与电子文档相关联的数据是表示电子文档中包括的内容和/或针对电子文档的元数据的数据。

客户端设备106可以通过网络102向搜索系统150提交搜索查询。作为响应，搜索系统150访问搜索索引152以标识与搜索查询相关的电子文档。搜索系统150以搜索结果的形式标识电子文档，并且在搜索结果页面中将搜索结果返回给客户端设备106。搜索结果是由搜索系统150生成的数据，该数据标识响应于特定搜索查询(例如，与其相关的)的电子文档，并且包括使客户端设备响应于用户与搜索结果的交互而向指定位置请求数据的活动链接(例如，超文本链接)。示例搜索结果可以包括网页标题、从网页提取的文本片段或图像的一部分、以及网页的URL。另一示例搜索结果可以包括可下载应用的标题、描绘可下载应用的文本片段、描绘可下载应用的用户界面的图像和/或可从其下载应用到客户端设备106的位置的URL。另一示例搜索结果可以包括流媒体的标题、描述流媒体的文本片段、描绘流媒体的内容的图像和/或可从其下载流媒体到客户端设备106的位置的URL。相似于其他电子文档，搜索结果页面可以包括一个或多个插槽，可以在插槽中呈现数字组件(例如，广告、视频剪辑、音频剪辑、图像或其他数字组件)。

媒体项可以由媒体生成器107生成，并且以媒体上传(Media UL)160的形式上传到媒体服务器108。媒体上传160可以采取文件传送的形式，例如，现有视频文件、图像文件或音频文件的传送。可替代地或另外地，媒体上传可以采取“现场流”或“实时流捕获”的形式。现场流和实时流捕获与文件传送的不同之处可以在于，这些类型的媒体上传通常可以在捕获媒体时实时发生，即，无需先在本地记录媒体，然后再通过文件传送方式上传媒体。

媒体生成器107可以包括生成要作为商业活动的一部分分发给用户的媒体的专业组织(或公司)，并且还可以包括上传内容以与其他用户共享的个人。例如，个人可以将视频或音频文件上传到媒体共享站点(或应用)以与全球其他用户共享该媒体。相似地，个人可以将视频或音频文件上传到社交站点(例如，通过将视频或音频发表到他们的账户或流)，以供其朋友、指定的社交网络用户或社交网络的所有用户查看。个人基本上在一天中的任何时间、一周中的任何一天上传媒体的能力以及个人进行的大量媒体上传，使得在不大量增加在媒体生成器107发起媒体上传160的时间与媒体可以由媒体分发系统110和/或媒体服务器108进行分发的时间之间的时间量的情况下，难以执行与对不适当的内容进行制约相关的内容准则。此外，针对特定站点/应用的内容准则可以以地理为基础而变化，并且什么东西会被认为是不适当的内容的内容规范可以以地理为基础而变化、以信仰为基础而变化和/或随时间而变化(例如，鉴于最近的社会事件)。构成不适当的内容的这些变动使及时有效地标识不适当的内容变得更加困难。

为了促进媒体的分析，媒体分发系统110包括评估装置170。如下面更详细地讨论的，评估装置170实现分层媒体审查技术，该技术使用机器自动审查实体和现场审查实体的组合。自动审查实体可以确定由媒体生成器107上传的内容(例如，媒体项)描绘了令人反感的材料(例如，违反指定的内容准则或基于给定用户社区的社会标准的令人反感的内容)的可能性。如下面更详细地讨论的，由机器自动审查实体审查的一些(或全部)内容被传递给现场审查实体，以进一步分析内容是否描绘了令人反感的材料。

在一些实施方式中，可以按照确保可以就内容的分类达成共识的方式，选择要提供内容的给定部分的评级实体集合(例如，该组中至少有指定部分或百分比的评级实体同意对于内容的分类)。在一些情况下，这意味着评估装置170基于地理位置(或另一区别特征)选择不同的评级实体组，以确定内容是否描绘了在一个地理区域中被视为令人反感的但在另一地理区域中则被视为可接受的材料。在一些情况下，如果使用最初选择的一组评级实体未就内容的适当性达成共识，则评估装置170可以将附加的评级实体添加到特定的一组评级实体。此外，在对内容的一次或多次先前评估指示内容包括令人反感的材料的可能性很高(但不是肯定)的情况下，评估装置170可以修改内容。例如，评估装置可以使内容模糊、像素化、静音或减弱，以减少该潜在令人反感的材料对暴露于可疑内容的任何后续评级实体的影响。然后将修改后的内容提供给其他评级实体，以进行进一步的分析和/或评估。

图2是可由评估装置170实现的示例分层媒体评估过程200的框图。评估过程200本质上是分层的(或多层的)，因为它开始于由第一评级实体集合210对内容进行的初始分析，并且内容的后续动作和/或分析由不同评级实体集合(例如，评级实体220和/或评级实体230)基于从初始分析获得的反馈来执行。相似地，可以在分层审查过程的每个后续级别上执行不同的动作和/或进一步的分析。例如，在初始分析期间(例如，分层审查过程的最高或第一级别)，可以针对第一内容准则集合(例如，原创性、暴力和/或成人材料)对媒体进行分析和/或评估，同时可以在分层审查过程的更低级别(例如，第二级别)针对第二内容准则集合(例如，声音质量、视频质量和/或媒体描述的准确性)对媒体进行分析或评估。如下面更详细地讨论的，可以在分层审查过程的其他级别上再次评估在分层审查过程的一个级别上评估的媒体的各个方面。

过程200可以从包括评估装置170的内容分发系统(CDS)110从媒体生成器107接收媒体上传160开始。媒体上传160包括在完全公开分发之前(例如，在发表到视频共享站点或在网页或应用的时隙中分发之前)由评估装置170评估的内容202。内容202可以是视频内容、音频内容、或视频和音频内容的组合。媒体上传还可以包括其他信息，诸如媒体上传160的源(例如，提交媒体上传160的媒体生成器)、关于媒体上传中的内容202的描述性信息、内容202的目标分发站点、发起媒体上传160的时间戳和/或媒体上传160中包括的内容202的唯一标识符。

在接收到媒体上传160后，评估装置170根据第一评估规则触发内容202的初始评估。在一些实施方式中，评估装置170通过使用第一评估规则对内容202进行初始评估来触发初始评估。在其他实施方式中，评估装置170通过将内容202传递给自动评级实体集合210来触发初始评估。

内容202的初始评估可以由评估装置170或自动评级实体集合210使用一种或多种算法和/或机器学习方法来执行。内容202的初始评估可以包括视频分析、皮肤检测算法、暴力检测算法、对象检测算法和/或语言检测算法。内容202的初始评估的输出可以以令人反感的材料的可能性212的形式提供。在一些实施方式中，令人反感的材料的可能性212是表示内容202不能满足的内容准则的总体可能性的数值。例如，令人反感的材料的可能性可以是从0到10范围内的数字，其中更接近0的数字指示内容202具有确定的描绘了令人反感的材料的可能性更低，而更接近10的数字则指示内容202描绘了令人反感的材料的可能性更高。当然，令人反感的材料的可能性212可以使用任何适当的比例来表达。可以通过内容202的初始评估来检测的常见令人反感的材料的示例包括色情、诅咒和血腥场景。

使用所确定的令人反感的材料的可能性212，评估装置170可以确定内容202是否符合公开分发的条件、需要进一步评估还是不符合公开分发的条件。在一些实施方式中，通过将令人反感的材料的可能性212与一个或多个阈值进行比较来做出该确定。例如，当令人反感的材料的可能性212大于指定的反感阈值(例如，按0-10计，大于8的数字)时，评估装置170可以认为内容202不符合公开分发的条件，当令人反感的材料的可能性212低于反感阈值时，将内容202传递给另一评级实体集合(例如，评级实体220)以进行进一步评估。在另一示例中，当令人反感的材料的可能性212低于指定的安全阈值(例如，按0-10计，低于2)时，评估装置107可以认为内容202符合准备公开分发的条件，并且当令人反感的材料的可能性212大于安全阈值时，将内容202传递给另一评级实体集合。在又一示例中，评估装置170可以按照如下方式使用安全阈值和反感阈值：当令人反感的材料的可能性212介于安全阈值和反感阈值之间时，仅将内容202传递给另一评级实体集合。在一些情况下，评估装置170可以将内容202传递给另一评级实体集合，而不管在初始评估中确定的令人反感的材料的可能性212。

令人反感的材料的可能性212也可以用于确定在将内容202传递给另一评级实体集合之前是否应修改内容202。在一些实施方式中，当令人反感的材料的可能性212小于指定的修改阈值时，评估装置170将内容202传递给一个或多个其他评级实体集合而无需修改。然而，当令人反感的材料的可能性212达到(例如，等于或大于)修改阈值时，评估装置170可以在将内容202传递给另一评级实体集合(例如，在分层评估过程的第二级别或其他更低级别中的评级实体集合)之前修改内容202。在一些实施方式中，评估装置170可以通过使视觉内容模糊、像素化或改变其颜色来修改内容202，这减少了内容202对内容所传递给的评级实体的心理影响。

在一些实施方式中，评估装置170将内容202(修改的或未修改的)传递给处于分层评估过程的一个或多个更低级别的中间级别的评级实体集合220。该中间级别的评级实体集合220可以是或可以包括人类评估者，人类评估者被用于审查令人反感的材料的内容和/或已经注册以基于某些激励来提供内容评估的服务。在一些实施方式中，评级实体由某些属性来表征。示例属性可以包括人类评估者的年龄范围、地理位置、在线活动和/或评级历史。评级实体的属性可以由这些评级实体在注册为评级实体时提交。评级历史可以指示由评级实体先前评级的内容的类型、应用于内容的评级、评级实体在先前等级与内容的整体等级之间的相关性分数以及其他信息。中间级别的评级实体集合220可以被请求以与初始评估中所考虑的因素相同和/或不同的因素来评估内容。

内容202所传递到的中间级别的评级实体集合220可以从评级实体池中选取。可以按照可能根据内容202的上下文提供对内容202的鲁棒评估的方式，来选择中间级别的评级实体集合220(也称为中间评级者220)。例如，如果内容202仅可以在特定地理区域(例如，单个国家)中被访问，则可以选取中间评级者220以仅包括来自该特定地理区域的评级实体。同时，还可以选取中间评级者220，以便提供多样性，从而可以揭示内容202是否是广泛可接受的(或令人反感的)、和/或群体中的某些子组在确定内容202是否令人反感时是否有所不同。例如，一个特定的中间评级者集合220可以仅包括位于美国但具有多样化的其他属性集合的评级实体。同时，另一中间评级者集合220可以仅包括位于印度但具有多样化的其他属性集合的评级实体。在该示例中，不同的中间评级者220的构造可以提供关于内容202在美国和印度是否通常被认为是令人反感的见解，并且可以提供关于内容202在美国与印度被认为有多令人反感的差异的信息。

为了促进这些确定，评估装置170将内容202传递给每个所选取的中间评级者220，并且从那些中间评级者220接收评估反馈222。内容202可以被传递到中间评级者220，例如，通过受密码保护的专用应用或网页，使得对内容202的访问仅限于已注册以对内容进行评级的中间评级者。

评估装置170接收到的评估反馈222可以指定一个分数，该分数表示内容202令人反感的程度。例如，通过评估反馈，每个中间评级者220(或任何其他评级实体)可以提供按0到10计的分数，其中0指最不令人反感的材料，而10指最令人反感的材料。在另一示例中，评估反馈可以指定支持或反对认为内容202令人反感的投票。例如，关于内容202的投票为“是”可以指内容描绘了令人反感的材料的投票，而关于内容202的投票“否”可以指内容202没有描绘令人反感的材料的投票。评估装置170可以使用评估反馈222来评估内容202是否违反一个或多个内容准则，如下面更详细地讨论的。

在一些情况下，除了内容202是否描绘令人反感的材料之外，评估装置170还向评级实体请求更详细的信息。例如，评估装置170可以请求关于内容202所描绘的材料的类型(例如，以成人为主题、暴力、血腥、毒品使用等)的信息，并且可以将内容202索引为内容所描绘的材料的类型，这有助于确定内容202是否违反了指定的内容准则。

如下面更详细地讨论的，评估装置170可以确定在中间评级者220(或其他评级实体)之间是否达成了共识，该共识是关于内容202描绘了令人反感的材料或者内容202没有描绘令人反感的材料。在一些情况下，可以基于提交了匹配的评估反馈的中间评级者220的百分比来确定在中间评级者220之间是否达成了共识。例如，如果所有中间评级者220(或至少部分被指定的中间评级者)提交的评估反馈222指示内容202描绘了令人反感的材料，则评估装置170可以将内容202分类为描绘了令人反感的材料。相似地，如果所有中间评级者220(或至少部分被指定的中间评级者)提交的评估反馈222指示内容202没有描绘令人反感的内容，则评估装置170可以将内容202分类为没有描绘令人反感的材料。进而，评估装置170可以按照与上述相似的方式，继续确定内容202是否符合公开分发的条件、是否需要进一步评估或是否不符合公开分发的条件。此外，评估装置170还可以再次确定在将内容进一步分发给附加评级实体(例如，附加中间评级者220或处于分层结构的另一级别的附加评级者)之前是否应该修改内容。

评估装置170可以继续将内容202传递给附加评级实体集合，以收集关于内容202的附加评估反馈。例如，在将内容202传递给中间评级者220之后，评估装置170可以继续将内容202传递给普通评级者集合(也称为普通评级者)230。普通评级者230可以是未被采用并且尚未注册以对内容进行评级的评级实体。例如，普通评级者230可以是例如在视频共享站点中、在网页或应用的时隙中或在另一在线资源中向其呈现内容202的常规用户。可以按照与上述参考中间评级者220的方式相似的方式来选取普通评级者230。

内容202的呈现可以包括对评估反馈232的请求(例如，以请求评估反馈232为结束)、以及用于提交评估反馈的控件。例如，提供给普通评级者230的内容202可以是5秒的视频剪辑，其以结束描述250(例如，最终内容呈现)而告终，结束描述250要求普通评级者230指定他们对视频剪辑有多令人反感的评定。如图所示，普通评级者可以选择一些星星来表达他们对视频剪辑有多令人反感的意见。可以使用其他技术从普通评级者230征求并且获得评估反馈232。例如，结束描述250可以询问普通评级者230视频剪辑是否描绘了暴力或可能违反指定内容准则的另一类内容。此外，评估装置170可以跟进更具体的请求，诸如普通评级者230认为内容令人反感的原因(例如，暴力、成人主题、酗酒等)，以获得更详细的评估反馈232。

如下面更详细地讨论的，评估装置170可以确定在普通评级者230(或其他评级实体)之间是否达成了共识，该共识是关于内容202描绘了令人反感的材料或者内容202没有描绘令人反感的材料。在一些情况下，可以按照与上述参考中间评级者220的方式相似的方式，确定在普通评级者230之间是否达成了共识。进而，评估装置170可以按照与上述相似的方式继续确定内容202是否符合公开分发的条件、是否需要进一步评估、或者是否不符合公开分发的条件。此外，评估装置170还可以再次确定在将内容进一步分发给附加评级实体之前是否应该修改内容。

在分层评估过程中的任何一个点处(例如，在中间评级者级别或普通评级者级别)，评估装置170可以确定在评级实体之间尚未达成共识。作为响应，评估装置170可以修改内容202所传递到的评级实体的构成，以在评级实体之间达成共识和/或确定正在提交匹配的评估反馈的评级实体的子集之间的相似性。例如，虽然可能无法从整体上在最初选取的中间评级者集合220之间达成共识，但对从中间评级者220接收的评估反馈222的分析可以揭示，在一个特定地理区域中的中间评级者220一致地将内容202分类为描绘了令人反感的材料，而处于不同特定地理区域的中间评级者220则一致地将内容202分类为没有描绘令人反感的材料。此类信息可用于确定如何在不同的地理区域中分发内容202和/或是否应将内容警告附加到内容。评级实体集合的修改将在下面更详细地讨论。

评估装置170使用评估反馈来确定内容202是否违反内容准则。如上面所讨论的，内容准则指定了不允许由上传到服务的媒体所描绘的材料，该服务指定了内容准则。例如，视频共享站点可能具有禁止成人主题内容的内容准则，而广告分发系统可能禁止描绘毒品使用或极端暴力的内容。在一些实施方式中，评估装置170可以将评估反馈222和232和/或初始评估的结果与内容准则进行比较，以确定内容202是否描绘了内容准则所禁止的材料。当评估装置170确定(例如，基于该比较)内容202描绘了内容准则所不允许的材料时，内容202被认为违反了内容准则，并且阻止内容202的分发。当评估装置170确定(例如，基于该比较)内容202没有描绘内容准则所禁止的材料时，内容202被认为符合内容准则，并且可以继续内容202的分发。

在一些情况下，针对特定服务的内容准则将以地理为基础或以一些其他为基础而有所不同。在这些情况下，评估装置170可以按照每个地理区域为基础或按照一些其他基础来制定分发策略。例如，描绘毒品使用的内容可以在一个地理区域中被完全制约/阻止，而在另一地理区域中则随内容警告一起分发。

为了促进以每个地理区域为基础的分发策略的使用，评估装置170可以创建不同的评级实体组，以针对不同地理区域对内容进行评估。例如，评估装置170可以创建针对地理区域A评估内容202的第一评级实体集合，以及创建针对地理区域B评估内容202的第二评级实体集合。在一些实施方式中，第一集合中的评级实体都可以位于地理区域A中，而第二集合中的评级实体都可以位于地理区域B中。每个组中的评级实体的这种划定确保从每个组接收到的反馈评估将准确地反映出相关地理区域中的评级实体对内容202的评估。可替代地或另外地，每个组中的评级实体可以经过关于相应地理区域的内容准则的训练或了解关于相应地理区域的内容准则，并提供与内容准则一致的评估反馈。

评估装置170在从两个评级实体集合中的每一个集合接收到评估反馈后，确定内容202是否违反了特定于地理区域A或地理区域B的任何内容准则。例如，评估装置170可以通过评估反馈确定内容202没有违反地理位置A的内容准则，但违反了地理位置B的内容准则。在这种情况下，评估装置可以将内容202分发给地理区域A中的用户，同时阻止内容202在地理位置B中的分发。

在一些实施方式中，对内容的评估要求评级实体集合中的实体具有某种技能。例如，特定语言下的音频剪辑。为了评估音频剪辑中是否有被认为是令人反感的粗俗单词或评论，评级实体应该能够理解特定的语言。在这些实施方式中，当形成评级实体集合时，可以考虑关于评级实体所说和/或所理解的语言的信息，以确保评级实体可以准确地确定音频剪辑是否描绘了令人反感的语言。

更一般而言，为了确定内容202是否描绘了违反内容准则的令人反感的材料，评估装置170可以确定评级实体为了有效地分析内容202而需要具有的属性。例如，可能仅应依赖已针对特定内容准则进行过训练或先前已对内容进行了准确分类的评级实体，来针对特定内容准则对内容进行分类。在该示例中，评估装置170可以创建评级实体集合，以仅包括针对指定的内容准则具有适当知识水平的那些评级实体。

在一些情况下，通过评级实体集合对内容202的评估可能不会导致就内容202的分类(例如，内容是否描绘了令人反感的材料)达成共识。例如，评级实体集合在他们对内容202的分类上可能有所不同，这可以被认为是内容202被认为是令人反感的以及内容202被认为不是令人反感的这两种情况之间的僵局。在这种情况下，评估装置170可以将新的(例如，附加评级实体)评级实体添加到评级实体集合中，直到达成共识为止(例如，部分被指定的评级实体以相同的方式对内容进行分类)。

图3是描绘了评级实体集合330的管理的框图300，可以包括：当未就内容的分类达成共识时，将评级实体添加到评级实体集合330。评级实体集合330由可用于分析内容的评级实体池310形成。在一些实施方式中，评级实体集合330可以最初形成为包括多样化的评级实体集合(例如，来自各种不同的地理区域)，并且可以从初始评级实体集合接收关于内容的特定部分的评估反馈。如果基于从初始评级实体集合接收的评估反馈达成共识，则评估装置可以继续基于评估反馈制定分发策略。当使用来自初始评级实体集合的评估反馈未达成共识时，评估装置可以修改评级实体集合以努力获得共识，这将在下面进行更详细的讨论。

出于示例的目的，假设评估装置选择评级实体R1-R6来创建评级实体集合330。可以选择评级实体R1-R6具有不同的属性，以创建多样化的评级实体集合来最初分析内容的特定部分。例如，评级实体可以来自至少两个不同的地理区域。

在该示例中，评估装置将内容的特定部分提供给评级实体集合330中的每个评级实体(例如，R1-R6)，并且从那些评级实体中的每个评级实体接收评估反馈。假设从评级实体收到的评估反馈未就内容的特定部分的分类达成共识。例如，假设来自R1-R3的评估反馈将内容分类为描绘了令人反感的材料，而来自R4-R6的评估反馈将内容分类为描绘了不令人反感的材料。在这种情况下，评估装置可以采取动作以尝试达成共识。

在一些实施方式中，评估装置可以将附加评级实体添加到评级实体集合330中，以尝试就内容的分类达成共识。例如，评估装置可以将评级实体R11添加到评级实体集合330，将内容的特定部分提供给R11，并且从R11接收评估反馈。在该示例中，来自R11的评估反馈将打破僵局，并且评估装置可以简单地考虑基于打破僵局而达成的共识，例如，通过基于来自R11的评估反馈对内容进行分类。然而，在一些实施方式中，评估装置不仅仅需要简单多数票来确定达成共识。例如，评估装置可能需要评估反馈匹配的至少70％(或另一指定部分，例如60％、80％、85％、90％等)，来考虑达成了共识。因此，为了达成共识，评估装置可以选择一个以上的要添加到评级实体集合330中的附加评级实体。

当将更多评级实体添加到评级实体集合330中导致达成共识时，评估装置可以基于共识来对内容进行分类，并且继续基于共识来制定分发策略。当将更多评级实体添加到评级实体集合中未导致达成共识时，评估装置可以确定在已经提交了匹配评估反馈的那些实体之间是否存在共同的属性，然后基于该确定采取动作。

继续上面的示例，假设R1、R2和R3都来自地理区域A，而R4、R5和R6都来自地理区域B。在该示例中，评估装置可以比较评级实体的属性，并且确定来自地理区域A的所有评级实体将内容分类为描绘了令人反感的材料，而来自地理区域B的所有评级实体将内容分类为描绘了不令人反感的材料。在该示例中，评估装置可以制定按地理区域的分发策略，在该策略中，可以在地理区域A中分发内容，并且阻止在地理区域B中分发内容(或与内容警告一起分发)。可替代地或另外地，评估装置可以将附加评级实体添加到评级实体集合，以确认评级实体的地理位置与评估反馈之间的相关性。

例如，评估装置可以在评级实体池310中搜索位于地理区域A中的附加评级实体和位于地理区域B中的附加评级实体。可以向这些其他评级实体提供内容，可以分析来自这些其他评级实体的评估反馈，以确定是否在来自地理区域A的评级实体之间达成了共识以及是否在来自地理区域B的评级实体之间达成了共识。当在评级实体集合的子集之间达成共识时，可以制定基于地理的分发策略，如本文其他部分中所讨论的。

上面的示例指的是内容分类中基于地理的差异的标识，但是，评级实体在内容分类之间的相似性可以与任意数量的评级实体属性相关。例如，先前已经对特定类型的内容进行过至少指定次数的评级的评级实体，相较于没有经常或者根本没有对该特定类型的内容进行过评级的评级实体，会更相似地对该特定类型的内容(或另一类型的内容)进行评级。相似地，评级实体对内容的分类可以基于评级实体的世代而不同。例如，婴儿潮一代对内容的特定部分的分类可能非常相似，但与千禧一代对内容的特定部分的分类不同。如下面更详细地讨论的，评估装置可以标识提交匹配的评估反馈(例如，提交内容的特定部分或类型的相同分类)的那些评级实体之间共有的属性，并且在创建评级实体集合来分析附加内容时使用那些标识出的相似性。

图4是描绘了基于实体属性来管理评级实体集合的框图400。在图4中，将基于评级实体池410创建将分析内容的一部分的评级实体集合，评级实体池410可以包括可用于分析内容的所有评级实体。在一些实施方式中，评级实体集合由评估装置基于评级实体的一个或多个属性来创建。例如，评估装置可以使用关于先前内容分析的历史信息，确定被认为需要在评级实体之间就这部分内容的分类达成共识的评级实体的属性。更具体地说，先前对相似内容的分析可能已经揭示要进行评级的内容类型的分类以地理为基础、以世代为基础或以经验为基础会有所不同。评估装置可以使用从先前内容分析中揭示的信息来创建不同的评级实体集合，以评估这部分内容，这可以提供对于这部分内容的特定于上下文的分类(例如，内容是否在不同上下文中描绘了令人反感的内容，诸如在被传送到不同的受众时)。

出于示例的目的，假设评估装置已经确定要由评级实体分析的这部分内容与内容的特定体裁有关，并且先前对该特定体裁的内容的分析指示，关于该特定体裁的内容所接收到的评估反馈基于评级实体的地理区域以及世代基础有所不同。在该示例中，评估装置可以使用该历史信息来创建将对这部分内容进行评估的多个评级实体集合，并且促进以上下文为基础(例如，分发的地理区域和/或可能的或预期的受众)来制定分发策略。

更具体地，评估装置可以创建第一评级实体集合420和第二评级实体集合430，它们将分别提供针对这部分内容的评估反馈。继续上面的示例，评估装置可以从实体群体410选择来自地理区域A和婴儿潮一代的那些评级实体，并且创建第一评级实体集合420。例如，虚线圆425中的评级实体具有这种属性组合，使得评估装置将这些评级实体包括在第一评级实体集合420中。评估装置还可以从实体群体410选择来自地理区域B和千禧一代的那些实体。例如，虚线圆435中的评级实体具有这种属性组合，使得评估装置将这些评级实体包括在第一评级实体集合430中。在该示例中，评估装置基于指示这些属性与特定体裁的内容的不同分类高度相关的历史信息，来创建评级实体集合，使得以这些属性为基础创建评级实体集合被认为是在每个集合中的评级实体之间达成共识所需要的。评估装置还可以创建评级实体对照集合，或者首先创建上面讨论的多样化的初始评级实体集合，然后仅在未达成共识后才确定达成共识所需要的属性。

继续该示例，评估装置将内容提供给第一评级实体集合420和第二评级实体集合430中的每个评级实体，并且从评级实体获得评估反馈。然后，评估装置例如基于其从每个评级实体集合420、430中的评级实体接收到的评估反馈的共识，来确定每个评级实体集合如何对内容进行分类。

出于示例的目的，假设第一评级实体集合将这部分内容分类为描绘了被认为是违反内容准则的令人反感的材料，而第二评级实体集合将这部分内容分类为描绘了不令人方案的材料。在该示例中，评估装置可以将这部分内容索引到分类的上下文(例如，评级实体的地理和世代属性)以及分类本身。以这种方式索引内容使评估装置能够以每种上下文为基础制定分发策略。例如，对于给定的分发机会(例如，内容请求或推送消息)，评估装置可以收集上下文信息(例如，与预期受众有关的地理和/或世代信息)，并且基于索引到该特定上下文的分类来分发内容或阻止分发。

如上面讨论的，已经被认为包括令人反感的内容的内容可以在将其进一步分发给评级实体之前被修改。在一些实施方式中，以减少内容对正在评估内容的评级实体的负面影响的方式来修改内容。例如，如上面讨论的，内容可以在视觉上被像素化或模糊，并且在听觉上被修改以减小音量、静音、发出哔哔声或减弱听觉上令人反感的材料的呈现(例如，诅咒、尖叫等)。另外地或可替代地，可以对内容进行分段，从而为每个评级实体提供的内容少于全部内容，这被称为内容的子部分。除了减少令人反感的内容对评级实体的影响之外，通过不同评级实体(例如，并行的评级实体)对内容的子部分进行评估，也能够在单个评级实体对内容的整个持续时间进行评估所花的时间的一小部分内完成对内容的评估，从而减少了由于评估过程而导致分发内容的延迟。

图5是描绘了将内容的子部分发到评级实体子集的框图。图5描绘了将由评级实体集合520评估的具有3分钟长度的视频剪辑510。该评级实体集合520可以由评估装置使用包括上面讨论的技术在内的任何适当技术来创建。

为了促进视频剪辑510的更快评估并且减少令人反感的内容对评级实体集合520中的评级实体的负面影响，评估装置可以将视频剪辑510解析为多个不同的子部分，并且将不同的子部分提供给评级实体集合510中的不同评级实体子集。视频剪辑510的子部分可以具有小于视频剪辑510的总持续时间的持续时间。在图5中，视频剪辑510被解析为三个子部分512、514和516。那些不同的子部分512、514和516可以被分别传递给三个不同的评级实体子集522、524和526。例如，子部分512可以被传递到子集522，子部分514可以被传递到子集524，并且子部分516可以被传递到子集526。在图5中，长度为3分钟的视频剪辑被分为三个部分，并且视频剪辑的每个部分具有1分钟的持续时间。每个子部分的持续时间可以是任何适当的持续时间(例如10秒、30秒、45秒、1分钟等)。如上面所讨论的，评估装置接收针对子部分512、514和516中的每个子部分的评估反馈，并且基于评估反馈来确定内容是否违反任何内容准则。在一些实施方式中，当针对子部分512、514和516中的任何子部分的评估反馈指示违反了内容准则时，视频剪辑510(或其他内容)被认为违反了内容准则。

在一些实施方式中，评估装置对分发给评级实体的内容量进行限流，这还可以减少令人反感的内容对评级实体的负面影响。例如，评估装置可以确定在预先指定的时间量内分发给评级实体的内容量，并将所确定的量与时间量的阈值进行比较。如果在预先指定的时间量内分发给特定评级实体的内容量大于阈值，则评估装置将阻止更多内容被分发给评级实体。例如，如果预先指定的时间量为1小时并且内容量的阈值为15张图像，则分层评估过程将在一个小时的时间内向特定评级实体分发15张或更少的图像以进行评估。

在一些实施方式中，基于不良分数来对分发给评级实体的内容进行限流。在这种实施方式中，内容的不良分数量化了在预先指定的时间量内分发给评级实体的内容的不适当程度。例如，评估装置可以基于已经传递给特定评级实体的(或由其评估的)令人反感的内容量和/或强度，来确定提供给特定评级实体(或评级实体集合)的内容的不良分数。不良分数随着已经传递给评级实体的令人反感的材料的持续时间和/或令人反感的材料的强度而增加。

令人反感的材料的强度可以基于所描绘的令人反感的材料的类型(例如，随意饮酒与极度暴力动作)，并且可以将每种类型的令人反感的材料映射到不良值。持续时间和强度的组合可能会产生已经传递给特定评级实体的内容的总体不良分数。可以将该总体不良分数与指定的最大可接受不良分数进行比较，并且当不良分数达到最大可接受不良分数时，评估装置可以阻止将内容进一步分发到该特定评级实体，直到其不良分数降至最大可接受不良分数以下为止。在一些实施方式中，不良分数将根据衰减函数随时间减小。

图6是示例多层可伸缩媒体分析过程600的流程图。过程600的操作可以由一个或多个数据处理装置或计算设备(诸如上面讨论的评估装置170)执行。过程600的操作也可以被实现为存储在计算机可读介质上的指令。该指令的执行可以使一个或多个数据处理装置或计算设备执行过程600的操作。过程600的操作也可以由包括一个或多个数据处理装置或计算设备以及存储器设备的系统来实现，该存储器设备存储指令，该指令使该一个或多个数据处理装置或计算设备执行过程600的操作。

确定内容描绘了令人反感的材料的可能性(602)。在一些实施方式中，使用第一评估规则确定内容描绘了令人反感的材料的可能性。第一评估规则可以包括一个或多个内容准则和/或其他规则，这些规则指定了在实现过程600的平台上进行分发的不被接受的内容。例如，第一评估规则可以指定过度的暴力和/或毒品使用可以是对内容准则的违反，这可能会阻止内容的分发。

如上面详细讨论的，在一些实施方式中，令人反感的材料的可能性是表示内容202不满足内容准则的总体可能性的数值。例如，令人反感的材料的可能性可以是从0到10范围内的数字，其中更接近0的数字指示内容具有确定的描绘了令人反感的材料的可能性较低，而更接近10的数字则指示内容描绘了令人反感的材料的可能性较高。

在一些实施方式中，可以通过利用各种内容检测算法的自动评级实体来确定令人反感的材料的可能性。例如，自动评级实体可以利用皮肤检测算法、血液检测算法、对象标识技术、语音识别技术和其他适当的技术来标识媒体项的特定对象或属性，并且基于该分析对媒体项进行分类。

确定可能性是否高于指定的修改阈值(604)。在一些实施方式中，通过将可能性与修改阈值进行比较来进行确定。修改阈值是内容被认为包括令人反感的内容的值。当达到修改阈值时，就可以高度肯定内容包括令人反感的内容。

当内容描绘了令人反感的材料的可能性高于指定阈值时，修改内容以减弱对令人反感的材料的描绘(606)。如上面讨论的，可以例如通过像素化、模糊或减弱视觉上令人反感的材料的生动性和/或清晰度来修改内容。还可以通过使令人反感的音频内容发出哔哔声、使令人反感的音频内容静音、减小令人反感的音频内容的音量或减弱令人反感的音频内容的听觉呈现来修改内容。在一些实施方式中，内容的修改可以包括将内容解析为子部分，如在本文档中通篇详细讨论的。当内容描绘了令人反感的内容的可能性低于指定的阈值时，可以维护内容的未修改版本，并且进行分析，如下面更详细讨论的。

生成评级实体集合(608)。评级实体集合包括将进一步评估内容是否违反内容准则(包括关于内容是否包括令人反感的材料的进一步确定)的那些评级实体。在一些实施方式中，生成评级实体集合以提供多样化的评级实体集合属性。例如，可以生成评级实体集合，以包括来自不同地理区域、不同世代和/或不同经验水平的评级实体。

在一些实施方式中，基于要评估的内容的方面来生成评级实体集合。这样，可以确定要由评级实体集合评估的内容的方面。例如，可以基于尚未评估的内容的方面和/或尚未达到最小可接受评级置信度的内容的方面来进行确定。例如，如果内容的特定方面已经被评估，但是该方面的分类的置信度不满足最小可接受评级置信度，则可以按照适合于评估内容的该特定方面的方式生成评级实体集合(例如，通过包括已经进行过培训以评估该特定方面的评级实体，或者具有评估该特定方面的经验的评级实体)。

在一些实施方式中，生成评级实体集合，使得评级实体集合中的评级实体具有指定的属性集合。例如，可以确定被认为在评级实体集合之间达成共识所需要的一个或多个实体属性，并且可以将评级实体集合创建为仅包括实体，该实体具有在特定上下文中被认为在评级实体集合之间达成共识所需要的该一个或多个实体属性。例如，如上面讨论的，当正在评估内容是否适合在地理区域A中分发内容时，可以选择评级实体集合以便仅包括来自地理区域A的评级实体，使得来自评级实体集合的评估反馈将根据地理区域A的社会规范反映内容是否包含令人反感的材料。

在一些实施方式中，可以生成多个评级实体集合，以便比较来自基于不同评级实体属性创建的不同评级实体集合的评估反馈。例如，除了基于地理区域A的地理属性生成的评级实体集合之外，还可以生成第二评级实体集合。可以生成第二评级实体集合，使得第二集合中的评级实体不具有该一个或多个实体属性中的至少一个实体属性。例如，可以要求第二评级实体集合具有除地理区域A之外的地理属性，或者具有与第一评级实体集合中的所有实体不同的至少一个属性(例如，具有地理区域A的地理属性)。

将内容传递给评级实体集合(610)。在一些实施方式中，将内容传递给单个评级实体集合，而在其他实施方式中，将内容传递给多个不同的评级实体集合。可以将内容传递给评级实体集合，以便基于内容描绘了令人反感的材料的可能性进行进一步评估。当内容描绘了令人反感的内容的可能性未达到本该阻止内容分发的水平时，可以将内容传递给评级实体集合。如上面讨论的，当内容描绘了令人反感的材料的可能性小于反感阈值时，可以将内容传递给评级实体。可以基于其他因素，诸如确认内容的先前分类(例如，被分类为描绘令人反感的材料或特定类型的内容)，来将内容传递给评级实体集合。

当在604处令人反感的内容的可能性未达到修改阈值时，将内容的未修改版本传递给评级实体。当在604处令人反感的内容的可能性达到修改阈值时，可以对内容进行修改，如上面讨论的，在将内容传递给评级实体集合之前，将已修改的内容而不是未修改的内容传递给评级实体集合。

在一些实施方式中，可选地，可以将内容解析成子部分(612)。可以在将内容传递给评级实体集合之前执行解析。可以例如通过将内容分段成内容的更小部分来执行解析，每个更小部分均包括少于全部的内容。例如，如上面讨论的，可以将单个视频(或任何其他类型的媒体)解析为多个子部分，每个子部分具有小于视频的持续时间的持续时间。当在将内容传递给评级实体集合之前对内容进行解析时，可以将内容的每个更小部分(子部分)传递给实体集合中的不同实体子集，以便按照与上面讨论的方式类似的方式并行进行评估。

接收指示内容是否违反内容准则的评估反馈(614)。从评级实体集合接收评估反馈。内容是否违反内容准则的指示可以采用多种形式。例如，评估反馈可以指定支持或反对内容是令人反感的投票。例如，关于内容的投票“是”可以指内容描绘了令人反感的材料的投票，而关于内容投票“否”可以指内容没有描绘令人反感的材料的投票。可替代地或另外地，评估反馈可以指定内容所描绘的材料的类型、和/或内容所违反的特定内容准则。例如，评估反馈可以指定内容是描绘暴力还是毒品使用。

在一些实施方式中，评估反馈可以用于确定关于内容的评估达成共识所需要的评级实体属性。例如，在从多个不同评级实体集合中的每个评级实体集合(或同一评级实体集合中的多个评级实体)获得指示内容是否违反内容分发策略的评估反馈之后，确定是否需要一个或多个实体属性来就内容是否令人反感达成共识(例如，在特定的分发上下文中)。

在一些实施方式中，当从评级实体集合获得的评估反馈与从另一实体集合接收的评估反馈不同时，该确定揭示需要该一个或多个属性来达成共识。例如，可以确定地理区域A中的评级实体将内容分类为描绘了令人反感的材料，而地理区域B中的评级实体将内容分类为描绘不令人反感的材料。在该示例中，在地理区域的上下文中，需要地理区域A的属性以针对与地理区域A相关联的社会规范来就内容是否包含令人反感的材料达成共识。

在一些实施方式中，当从一个评级实体集合获得的评估反馈与从另一实体集合接收的评估反馈匹配时，该确定审查不需要该一个或多个属性来达成共识。参考上面的示例，如果两个评级实体集合都以相同的方式对内容进行分类，则地理区域A的地理属性不被认为是达成共识所需要的。

当内容被解析为子部分时，如参考612所讨论的，将针对每个更小部分，从更小部分被传递给的不同实体子集接收单独的评估反馈。如上面讨论的，每个更小部分(例如，子部分)的评估反馈将用于确定内容的整体分类。

基于评估反馈制定分发策略(616)。在一些实施方式中，分发策略的制定包括当评估反馈指示内容违反内容准则时阻止内容的分发。在一些实施方式中，分发策略的制定包括当评估反馈指示内容没有违反内容准则时分发内容。

在一些实施方式中，分发策略是基于地理的分发策略，其为不同的地理区域指定不同的分发策略。在这些实施方式中，将根据内容打算分发到的地理区域来进行分发策略的制定。例如，当确定内容违反针对第一地理区域的第一分发策略，但不违反针对第二地理区域的第二分发策略时，将基于违反第一内容分发策略而阻止内容在第一地理区域中的分发，而基于内容没有违反第二内容分发策略而进行内容在第二地理区域中的分发，而不管内容是否违反第一地理区域的第一内容分发策略。

对传递给评级实体集合的内容量进行限流(618)。如上面讨论的，可以对内容量进行进行限流以减少令人反感的材料对评级实体的影响。可以对评级实体集合中的每个不同实体执行限流。为了进行限流，可以确定在预先指定的时间量内已经传递给不同实体的内容量，可以确定量化了在预先指定的时间量内已经传递给不同实体的内容的不适当程度的不良分数，并且当(i)在预先指定的时间量内已经传递给不同实体的内容量超过阈值量或者(ii)不良分数超过最大可接受不良分数时，可以阻止将附加内容传递给不同实体。

图7是可用于执行上面讨论的操作的示例计算机系统700的框图。系统700包括处理器710、存储器720、存储设备730和输入/输出设备740。每个组件710、720、730和740可以例如使用系统总线750互连。处理器710能够处理在系统700内执行的指令。在一种实施方式中，处理器710是单线程处理器。在另一实施方式中，处理器710是多线程处理器。处理器710能够处理存储在存储器720或存储设备730中的指令。

存储器720将信息存储在系统700内。在一种实施方式中，存储器720是计算机可读介质。在一种实施方式中，存储器720是易失性存储器单元。在另一实施方式中，存储器720是非易失性存储器单元。

存储设备730能够为系统700提供大容量存储。在一种实施方式中，存储设备730是计算机可读介质。在各种不同的实施方式中，存储设备730可以包括例如硬盘设备、光盘设备、由多个计算设备(例如，云存储设备)通过网络共享的存储设备、或一些其他大容量存储设备。

输入/输出设备740为系统700提供输入/输出操作。在一种实施方式中，输入/输出设备740可以包括一个或多个网络接口设备，(例如以太网卡)，串行通信设备(例如RS-232端口)、和/或无线接口设备(例如802.11卡)。在另一实施方式中，输入/输出设备可以包括驱动器设备，该驱动器设备被配置为接收输入数据并且将输出数据发送到其他输入/输出设备，例如键盘、打印机和显示设备。然而，也可以使用其他实施方式，诸如移动计算设备、移动通信设备、机顶盒电视客户端设备等。

虽然已经在图7中对示例处理系统进行了描述，但是可以通过使用其他类型的数字电子电路系统，或者在计算机软件、固件、或者硬件中(包括本说明书所公开的结构及其结构等效物)、或者在它们中的一个或者多个的组合中实现在本说明书中描述的主题和功能操作的实施方式。

电子文档(为简便起见将其简称为文档)不一定与文件相对应。文档可以存储在保存其他文档的文件的一部分中、存储在探讨中的文档专用的单个文件中、或存储在多个协调文件中。

可以在数字电子电路系统中、或者在计算机软件、固件、或者硬件中(包括本说明书所公开的结构及其结构等效物)、或者它们中的一个或者多个的组合中实现在本说明书中描述的主题和操作的实施例。可以将本说明书中描述的主题的实施例实现为一个或者多个计算机程序，即，编码在计算机存储介质上以由数据处理装置执行或者以控制该数据处理装置的操作的计算机程序指令的一个或者多个模块。可替代地或者另外地，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电气、光学、或者电磁信号，生成该信号是为了对信息进行编码以便传输至合适的接收器装置以供数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或者串行存取存储器阵列或者设备、或者它们中的一个或者多个的组合，或者可以被包括在其中。此外，当计算机存储介质不是传播信号时，计算机存储介质可以是被编码在人工生成的传播信号中的计算机程序指令的源或者目的地。计算机存储介质也可以是一个或者多个单独的物理组件或者介质(例如，多个CD、磁盘、或者其他存储设备)，或者可以被包括在其中。

可以将本说明书中描述的操作实现为由数据处理装置对存储在一个或者多个计算机可读存储设备或者从其他源接收到的数据执行的操作。

术语“数据处理装置”涵盖用于处理数据的所有种类的装置、设备和机器，举例说明，包括可编程处理器、计算机、片上系统、或上述装置中的多个或组合。该装置可以包括专用逻辑电路系统，例如，FPGA(现场可编程门阵列)或者ASIC(专用集成电路)。除了硬件之外，该装置还可以包括为探讨中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时间环境、虚拟机、或者它们中的一个或者多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如，web服务、分布式计算和网格计算基础设施。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明性或过程语言)编写，并且可以部署为任何形式，包括作为独立程序或作为模块、组件、子例程、对象或其他适合在计算环境中使用的单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在保持其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中、存储在探讨中的程序专用的单个文件中、或存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。可以将计算机程序部署为在一个计算机上执行、或者在位于一个站点上或分发在多个站点上并通过通信网络互连的多个计算机上执行。

可以通过一个或者多个可编程处理器来进行本说明书中描述的过程和逻辑流程，该一个或者多个可编程处理器执行一个或者多个计算机程序以通过操作输入数据并且生成输出来执行动作。还可以由专用逻辑电路系统(例如，FPGA(现场编程门阵列)或者ASIC(专用集成电路))来执行过程和逻辑流，并且还可以将装置实现为专用逻辑电路系统(例如，FPGA(现场编程门阵列)或者ASIC(专用集成电路))。

适合执行计算机程序的处理器包括：举例说明，通用微处理器和专用微处理器两种。通常，处理器将接收来自只读存储器或者随机存取存储器或者两者的指令和数据。计算机的必要元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或者多个存储器设备。通常，计算机还会包括用于存储数据的一个或者多个大容量存储设备(例如，磁盘、磁光盘、或者光盘)，或者计算机可以操作地耦合以接收来自该大容量存储设备的数据或者将数据传输至该大容量存储设备或者进行两者。然而，计算机不需要具有这种设备。此外，计算机可以嵌入在另一设备中，例如，移动电话、个人数字助理(PDA)、移动音频或者视频播放器、游戏机、全球定位系统(GPS)接收器、或者便携式存储设备(例如，通用串行总线(USB)闪存驱动)，仅举数例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，包括：举例说明，半导体存储器设备，例如，EPROM、EEPROM、和闪速存储器设备；磁盘，例如，内部硬盘或者可移除盘；磁光盘；以及CD-ROM盘和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或者可以并入该专用逻辑电路系统中。

为了提供与用户的交互，可以在计算机上实施本说明书中描述的主题的实施例，该计算机具有：用于向用户显示信息的显示设备，例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器；以及键盘和指向设备(例如鼠标或者轨迹球)，用户可以通过该键盘和该指向设备来将输入提供给计算机。其他种类的设备还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈，例如，视觉反馈、听觉反馈或者触觉反馈；并且可以用任何形式(包括声学输入、语音输入或者触觉输入)来接收来自用户的输入。另外，计算机可以通过将文档发送至用户所使用的设备并且接收来自该设备的文档(例如，通过响应于从web浏览器接收的请求来将网页发送至在用户的客户端设备上的web浏览器)来与用户进行交互。

在本说明书中描述的主题的实施例可以被实施在计算系统中，该计算系统包括后端组件(例如，作为数据处理器)、或者包括中间件组件(例如，应用服务器)、或者包括前端组件(例如，具有图形用户界面或者web浏览器的客户端计算机，通过该web浏览器，用户可以与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端组件、中间件组件、或者前端组件的任何组合。系统的组件可以通过任何形式或者介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN)和广域网(“WAN”)、网际网(例如，因特网)、以及点对点网络(例如，ad hoc点对点网络)。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。在一些实施例中，服务器将数据(例如，HTML页面)发送到客户端设备(例如，为了向与客户端设备交互的用户显示数据并且接收来自该用户的用户输入)。可以从在服务器处的客户端设备接收在客户端设备上生成的数据(例如，用户交互的结果)。

虽然本说明书包含了许多具体实施细节，但是不应该将这些细节视为对任何发明或者可能被要求的内容的范围的限制，而是作为针对特定发明的特定实施例的特征的描述。在本说明书中在单独实施例的背景下描述的某些特征还可以组合地实施在单个实施例中。相反，在单个实施例的背景中描述的各种特征也可以单独地或者按照任何合适的子组合实施在多个实施例中。此外，虽然上文可能将特征描述为以某些组合来起作用并且最初甚至同样地对该特征进行了要求，但是在一些情况下可以从组合中删除来自所要求的组合的一个或多个特征，并且所要求的组合可以针对子组合或者子组合的变化。

同样，虽然在附图中按照特定顺序示出了操作，但是不应该将其理解为需要按照所述的特定顺序或者按照相继的顺序来进行这种操作，或者需要进行所有图示的操作以实现期望的结果。在某些情况下，多任务处理和并行处理可能是有利的。此外，不应该将在上述实施例中的各种系统组件的分离理解为在所有实施例中需要这种分离，并且应该理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。

因此，已经描述了本主题的特定实施例。其他实施例在以下权利要求书的范围内。在一些情况下，在权利要求书中叙述的动作可以按照不同的顺序来进行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定需要所示的特定顺序或者相继顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可能是有利的。

Claims (17)

1.一种用于增强与界面的用户交互的方法，包括：

通过一个或多个数据处理器将具有给定持续时间的视频分割成多个子部分，其中每个所述子部分(i)具有比所述视频的所述给定持续时间短的持续时间以及(ii)包括所述视频的与所述视频的另一子部分不同的子集；

针对所述视频的所述子部分中的两个或更多个子部分中的每一个，通过所述一个或多个数据处理器使用第一评估规则确定所述视频的该子部分描绘了违犯所述第一评估规则的材料的可能性；

通过所述一个或多个数据处理器并行地将所述视频的所述两个或更多个子部分中的所述视频的每个子部分传递给不同的评级实体，以便基于所述视频的该子部分描绘了违犯所述第一评估规则的材料的所述可能性进行进一步评估，包括：

针对所述视频的第一子部分确定所述视频的所述第一子部分描绘了违犯所述第一评估规则的材料的所述可能性低于指定的修改阈值：

将所述视频的所述第一子部分的未修改版本传递给所述不同的评级实体中的第一评级实体；以及

针对所述视频的第二子部分确定所述视频的所述第二子部分描绘了违犯所述第一评估规则的材料的所述可能性高于所述指定的修改阈值：

通过在将所述视频的所述第二子部分的经修改的版本传递给所述不同的评级实体中的第二评级实体之前修改所述视频的所述第二子部分来生成所述视频的所述第二子部分的所述经修改的版本，其中修改所述视频的所述第二子部分包括减弱在所述修改之后通过所述视频的所述第二子部分的所述经修改的版本要呈现的违犯所述第一评估规则的所述材料的描绘；以及

将所述视频的所述第二子部分的所述经修改的版本传递给所述第二评级实体；

通过所述一个或多个数据处理器从所述不同的评级实体接收指示所述视频的所述两个或更多个子部分中的每一个是否违反内容准则的评估反馈；以及

通过所述一个或多个数据处理器基于所述评估反馈制定分发策略，包括：

基于针对所述视频的所述子部分中的至少一个的所述评估反馈指示所述视频的所述子部分中的所述至少一个违反所述内容准则中的一个或多个，阻止所述视频的分发。

2.根据权利要求1的方法，其中：

制定分发策略包括制定基于地理的分发策略，所述基于地理的分发策略为不同的地理区域指定不同的分发策略，所述方法还包括：

基于所述评估反馈来确定所述视频违反了针对第一地理区域的第一内容准则，但是没有违反针对第二地理区域的第二内容准则，其中：

当所述评估反馈指示所述视频违反了内容准则时阻止所述视频的分发包括：基于对所述第一内容准则的违反，阻止所述视频在所述第一地理区域中的分发；以及

当所述评估反馈指示所述视频没有违反所述内容准则时分发所述视频包括：基于所述视频没有违反所述第二内容准则，在所述第二地理区域中分发所述视频，而不管所述视频是否违反所述第一地理区域的所述第一内容准则。

3.根据权利要求1所述的方法，还包括生成包括所述不同的评级实体的评级实体集合，包括：

确定在上下文中被认为需要在所述评级实体集合之间达成共识的一个或多个实体属性；以及

创建所述评级实体集合，以仅包括具有所述一个或多个实体属性的实体，所述一个或多个实体属性在所述上下文中被认为需要在所述评级实体集合之间达成共识。

4.根据权利要求3所述的方法，还包括：

生成不具有所述一个或多个实体属性中的至少一个实体属性的第二评级实体集合；

从所述第二评级实体集合获得指示所述视频是否违反内容准则的评估反馈；以及

基于从所述第二评级实体集合获得的所述评估反馈，确定所述一个或多个实体属性是否需要达成共识，包括：

当从所述第二评级实体集合获得的所述评估反馈不同于从所述实体集合接收到的所述评估反馈时，确定所述一个或多个属性需要达成共识；以及

当从所述第二评级实体集合获得的所述评估反馈与从所述实体集合接收到的所述评估反馈匹配时，确定所述一个或多个属性不需要达成共识。

5.根据权利要求3所述的方法，还包括：对传递给所述评级实体集合的视频量进行限流。

6.根据权利要求1所述的方法，其中，确定视频描绘了令人反感的材料的所述可能性包括：

通过所述一个或多个数据处理器执行利用皮肤检测算法、血液检测算法、对象标识分析或语音识别分析中的一个或多个的自动评级实体。

7.根据权利要求1所述的方法，其中，修改所述视频以减弱对包括使所述视频的一部分模糊或像素化中的任何一个的材料的描绘。

8.一种用于增强与界面的用户交互的系统，包括：

存储一个或多个评估规则的数据存储；以及

一个或多个数据处理器，所述一个或多个数据处理器被配置为与所述一个或多个评估规则进行交互并且执行操作，所述操作包括：

将具有给定持续时间的视频分割成多个子部分，其中每个所述子部分(i)具有比所述视频的所述给定持续时间短的持续时间以及(ii)包括所述视频的与所述视频的另一子部分不同的子集；

针对所述视频的所述子部分中的两个或更多个子部分中的每一个，使用第一评估规则确定所述视频的该子部分描绘了违犯所述第一评估规则的材料的可能性；

并行地将所述视频的所述两个或更多个子部分中的所述视频的每个子部分传递给不同的评级实体，以便基于所述视频的该子部分描绘了违犯所述第一评估规则的材料的所述可能性进行进一步评估，包括：

针对所述视频的第一子部分确定所述视频的所述第一子部分描绘了违犯所述第一评估规则的材料的所述可能性低于指定的修改阈值：

将所述视频的所述第一子部分的未修改版本传递给所述不同的评级实体中的第一评级实体；以及

针对所述视频的第二子部分确定所述视频的所述第二子部分描绘了违犯所述第一评估规则的材料的所述可能性高于所述指定的修改阈值：

通过在将所述视频的所述第二子部分的经修改的版本传递给所述不同的评级实体中的第二评级实体之前修改所述视频的所述第二子部分来生成所述视频的所述第二子部分的所述经修改的版本，其中修改所述视频的所述第二子部分包括减弱在所述修改之后通过所述视频的所述第二子部分的所述经修改的版本要呈现的违犯所述第一评估规则的所述材料的描绘；以及

将所述视频的所述第二子部分的所述经修改的版本传递给所述第二评级实体；

从所述不同的评级实体接收指示所述视频的所述两个或更多个子部分中的每一个是否违反内容准则的评估反馈；以及

基于所述评估反馈制定分发策略，包括：

基于针对所述视频的所述子部分中的至少一个的所述评估反馈指示所述视频的所述子部分中的所述至少一个违反所述内容准则中的一个或多个，阻止所述视频的分发。

9.根据权利要求8所述的系统，其中：

制定分发策略包括制定基于地理的分发策略，所述基于地理的分发策略为不同的地理区域指定不同的分发策略；

所述操作进一步包括基于所述评估反馈来确定所述视频违反了针对第一地理区域的第一内容准则，但是没有违反针对第二地理区域的第二内容准则；

当所述评估反馈指示所述视频违反内容准则时阻止所述视频的分发包括：基于对所述第一内容准则的违反，阻止所述视频在所述第一地理区域中的分发；以及

当所述评估反馈指示所述视频没有违反所述内容准则时分发所述视频包括：基于所述视频没有违反所述第二内容准则，在所述第二地理区域中分发所述视频，而不管所述视频是否违反所述第一地理区域的所述第一内容准则。

10.根据权利要求8所述的系统，其中，所述操作进一步包括生成包括所述不同的评级实体的评级实体集合，包括：

确定在上下文中被认为需要在所述评级实体集合之间达成共识的一个或多个实体属性；以及

创建所述评级实体集合，以仅包括具有所述一个或多个实体属性的实体，所述一个或多个实体属性在所述上下文中被认为需要在所述评级实体集合之间达成共识。

11.根据权利要求10所述的系统，其中，所述操作进一步包括：

生成不具有所述一个或多个实体属性中的至少一个实体属性的第二评级实体集合；

从所述第二评级实体集合获得指示所述视频是否违反内容准则的评估反馈；以及

基于从所述第二评级实体集合获得的所述评估反馈，确定所述一个或多个实体属性是否需要达成共识，包括：

当从所述第二评级实体集合获得的所述评估反馈不同于从所述实体集合接收到的所述评估反馈时，确定所述一个或多个属性需要达成共识；以及

当从所述第二评级实体集合获得的所述评估反馈与从所述实体集合接收到的所述评估反馈匹配时，确定所述一个或多个属性不需要达成共识。

12.根据权利要求8所述的系统，其中，所述操作进一步包括：

将所述视频解析为所述视频的两个或更多个不同的子集，其中所述视频的所述两个或更多个不同的子集中的每一个均包括少于全部所述视频的视频，其中所述视频的所述两个或更多个不同的子集中的每一个均包括与所述两个或更多个不同的子集中的另一子集不同的所述视频的子集，其中：

将所述视频传递给评级实体集合以便进一步评估包括：将所述视频的所述两个或更多个不同的子集中的每一个传递给来自所述实体集合的不同实体子集，以便并行评估；以及

接收指示所述视频是否违反内容准则的评估反馈包括：从所述不同的子集被传递到的所述不同实体子集接收针对所述视频的所述两个或更多个不同的子集中的每一个的单独反馈。

13.根据权利要求10所述的系统，其中，所述操作进一步包括对传递给所述评级实体集合的视频量进行限流。

14.一种存储指令的非暂时性计算机可读介质，所述指令在由一个或多个数据处理装置执行时使所述一个或多个数据处理装置执行操作，所述操作包括：

将具有给定持续时间的视频分割成多个子部分，其中每个所述子部分(i)具有比所述视频的所述给定持续时间短的持续时间以及(ii)包括所述视频的与所述视频的另一子部分不同的子集；

针对所述视频的所述子部分中的两个或更多个子部分中的每一个，使用第一评估规则确定所述视频的该子部分描绘了违犯所述第一评估规则的材料的可能性；

并行地将所述视频的所述两个或更多个子部分中的所述视频的每个子部分传递给不同的评级实体，以便基于所述视频的该子部分描绘了违犯所述第一评估规则的材料的所述可能性进行进一步评估，包括：

针对所述视频的第一子部分确定所述视频的所述第一子部分描绘了违犯所述第一评估规则的材料的所述可能性低于指定的修改阈值：

将所述视频的所述第一子部分的未修改版本传递给所述不同的评级实体中的第一评级实体；以及

针对所述视频的第二子部分确定所述视频的所述第二子部分描绘了违犯所述第一评估规则的材料的所述可能性高于所述指定的修改阈值：

通过在将所述视频的所述第二子部分的经修改的版本传递给所述不同的评级实体中的第二评级实体之前修改所述视频的所述第二子部分来生成所述视频的所述第二子部分的所述经修改的版本，其中修改所述视频的所述第二子部分包括减弱在所述修改之后通过所述视频的所述第二子部分的所述经修改的版本要呈现的违犯所述第一评估规则的所述材料的描绘；以及

将所述视频的所述第二子部分的所述经修改的版本传递给所述第二评级实体；

从所述不同的评级实体接收指示所述视频的所述两个或更多个子部分中的每一个是否违反内容准则的评估反馈；以及

基于所述评估反馈制定分发策略，包括：

基于针对所述视频的所述子部分中的至少一个的所述评估反馈指示所述视频的所述子部分中的所述至少一个违反所述内容准则中的一个或多个，阻止所述视频的分发。

15.根据权利要求14所述的非暂时性计算机可读介质，其中：

制定分发策略包括制定基于地理的分发策略，所述基于地理的分发策略为不同的地理区域指定不同的分发策略；

所述操作进一步包括：基于所述评估反馈确定所述视频违反针对第一地理区域的第一内容准则，但是没有违反针对第二地理区域的第二内容准则；

当所述评估反馈指示所述视频违反内容准则时阻止所述视频的分发包括：基于对所述第一内容准则的违反，阻止所述视频在所述第一地理区域中的分发；以及

当所述评估反馈指示所述视频没有违反所述内容准则时分发所述视频包括：基于所述视频没有违反所述第二内容准则，在所述第二地理区域中分发所述视频，而不管所述视频是否违反了所述第一地理区域的所述第一内容准则。

16.根据权利要求14所述的非暂时性计算机可读介质，其中，所述操作进一步包括生成包括所述不同的评级实体的评级实体集合，包括：

确定在上下文中被认为需要在所述评级实体集合之间达成共识的一个或多个实体属性；以及

创建所述评级实体集合，以仅包括具有所述一个或多个实体属性的实体，所述一个或多个实体属性被认为在所述上下文中需要在所述评级实体集合之间达成共识。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述操作进一步包括：

生成不具有所述一个或多个实体属性中的至少一个实体属性的第二评级实体集合；

从所述第二评级实体集合获得指示所述视频是否违反内容准则的评估反馈；以及

基于从所述第二评级实体集合获得的所述评估反馈，确定所述一个或多个实体属性是否需要达成共识，包括：

当从所述第二评级实体集合获得的所述评估反馈不同于从所述实体集合接收到的所述评估反馈时，确定所述一个或多个属性需要达成共识；以及

当从所述第二评级实体集合获得的所述评估反馈与从所述实体集合接收到的所述评估反馈匹配时，确定所述一个或多个属性不需要达成共识。