CN114125054A - 一种内容审核系统、方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种内容审核系统、方法、装置、设备及介质。由于该第一设备可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备进行审核，从而实现帮助多个业务服务器监控待审核内容的重审过程，降低了多个业务服务器的工作压力。第一设备对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备上的接收接口出现问题，也只需修改该一个推审协议，大大减少了第二设备的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性。

Description

一种内容审核系统、方法、装置、设备及介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种内容审核系统、方法、装置、设备及介质。

背景技术

随着互联网技术的发展和技术革新，信息传播的速度大幅度增快，数据量呈指数级暴增，同时数据质量参差不齐，给用户带来不好的影响。为了加强网络文明建设，用户通过智能设备上运行的应用所发布的内容，需要被内容审核服务器进行审核。

现有的内容审核方式为，业务服务器会向内容审核服务器发送对目标内容进行审核的请求，以获取内容审核服务器对目标内容的审核结果。业务服务器根据该审核结果，对该目标内容进行处理。在该审核方式中，如果由于网络故障、内容审核服务器故障等原因，比如，由于网络原因导致无法将业务服务器的请求发送至内容审核服务器，或，无法将内容审核服务器的反馈结果发送至业务服务器，使得业务服务器无法获取到目标内容的审核结果，则业务服务器会向该内容审核服务器发送对目标内容进行重审的重审请求。图1为现有的一种内容审核的过程示意图。如图1所示，如果后续业务服务器仍获取不到内容审核服务器对该目标内容的重审结果，则该业务服务器会再次发送重审请求，直至获取到该目标内容的重审结果，从而避免将一些违规内容一直在网络上传播，影响网络健康环境。在该种方式下，每个业务服务器需要自行向内容审核服务器发送重审请求，且在未接收到该重审请求对应的审核结果之前会一直向内容审核服务器发送该重审请求，增加了每个业务服务器的工作压力和负载。且针对每个业务服务器，该业务服务器需要与审核内容服务器预先约定好该业务服务器所提供的每种业务分别对应的推审协议，才能实现后续根据该业务服务器所提供的某一业务对应的推审协议，将业务的重审请求发送至审核内容服务器，但如果出现审核内容服务器上用于接收重审请求的接口发生变化时，需要将所有业务分别对应的推审协议进行修改，使得该方式不具有通用性，内容审核服务器的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费大量的工作量，降低了内容审核过程的灵活性。

发明内容

本发明实施例提供了一种内容审核系统、方法、装置、设备及介质，用以解决现有审核方式中的业务服务器的负载高、且现有审核方式的通用性差的问题。

本发明实施例提供了一种内容审核系统，所述系统包括：第一设备以及第二设备；

所述第一设备，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；根据预设的一个推审协议，分别将每个所述重审请求发送至所述第二设备；接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器；

所述第二设备，用于根据所述推审协议，接收每个所述重审请求；针对每个所述重审请求，根据预先配置的业务类型与审核方式的对应关系，确定该重审请求携带的目标业务类型对应的目标审核方式；根据所述目标审核方式，对该重审请求携带的待审核内容进行审核，获取该重审请求对应的审核结果并发送至所述第一设备。

本发明实施例提供了一种内容审核方法，所述方法包括：

获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器。

本发明实施例提供了一种内容审核装置，所述装置包括：

获取单元，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

发送单元，用于根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

所述获取单元，还用于接收所述第二设备发送的任一重审请求对应的审核结果；

所述发送单元，还用于将该重审请求对应的审核结果返回给该重审请求对应的业务服务器。

本发明实施例提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述所述内容审核方法的步骤。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述内容审核方法的步骤。

由于内容审核系统中设置有第一设备，该第一设备可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备进行审核，从而实现通过第一设备代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。并且，第一设备对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备的接收接口发生变化对内容审核过程的影响。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有的一种内容审核的过程示意图；

图2为本发明实施例提供的一种内容审核系统的结构示意图；

图3为本发明实施例提供的内容审核系统的工作交互示意图；

图4为本发明实施例提供的一种重审请求的示意图；

图5为本发明实施例提供的一种内容审核过程示意图；

图6为本发明实施例提供的具体的内容审核流程示意图；

图7为本发明实施例提供的一种内容审核装置的结构示意图；

图8为本发明实施例提供的一种电子设备结构示意图。

具体实施方式

下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本发明可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

在本文中，需要理解的是，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

为了方便理解，下面对本发明实施例中涉及的部分概念进行解释：

Redis：是一个使用C语言编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。

Codis：是一个分布式的Redis解决方案，对于上层应用来说，连接到Codis Proxy和连接原生的Redis Server没有明显的区别，上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，数据迁移等工作。

Javascript对象表示法(JavaScript Object Notation，JSON)：是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成，而且非常容易扩展。

Pika：Pika是360数据库管理员(Database Administrator，DBA)和基础架构组联合开发的类Redis存储系统,使用Redis协议，兼容redis绝大多数命令(如String，Hash，List，ZSet，Set等命令)。

内容审核：为了营造一个良好的App环境，需要对用户上传到应用的视频、图片以及文字内容等进行人工审核或者通过审核算法进行审核后，才能在应用中公开。因为审核内容需要一定时间且大部分的内容是合法的，为了较好的用户体验，一般在用户上传内容到应用时，先允许内容公开到应用，同时异步对内容进行审核，如果审核不过，再触发非法内容的删除。

推审：指业务服务器把待审核的内容推送给内容审核服务后台。

实施例1：

图2为本发明实施例提供的一种内容审核系统的结构示意图，该系统包括：第一设备21以及第二设备22；

所述第一设备21，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；根据预设的一个推审协议，分别将每个所述重审请求发送至所述第二设备22；接收所述第二设备22发送的任一审核请求对应的审核结果并返回给该审核请求对应的业务服务器；

所述第二设备22，用于根据所述推审协议，接收每个所述重审请求；针对每个所述重审请求，根据预先配置的业务类型与审核方式的对应关系，确定该审核请求携带的目标业务类型对应的目标审核方式；根据所述目标审核方式，对该审核请求携带的待审核内容进行审核，获取该审核请求对应的审核结果并发送至所述第一设备21。

在本发明实施例中，该内容审核系统包括用于处理多个业务服务器发送的重审请求的第一设备21，以及用于审核内容的第二设备22(如内容审核服务器)。

其中，该第一设备21和第二设备22均为电子设备，该电子设备可以为如移动终端、电脑等智能设备，也可以是服务器等。

在实际应用场景中，业务服务器获取到各个用户通过智能设备上传的内容后，可以将上传的内容确定为待审核内容，例如，视频、图片、文字、昵称等。然后根据该待审核内容以及对应的业务类型，生成审核请求并将该审核请求发送至第二设备22。第二设备22接收到该审核请求后，对该审核请求进行解析，获取该审核请求中携带的待审核内容以及业务类型。然后第二设备22根据预先配置的业务类型与审核方式的对应关系，确定该审核请求携带的业务类型(记为目标业务类型)对应的目标审核方式，根据该目标审核方式，对该审核请求携带的待审核内容进行审核，获取该审核请求对应的审核结果并发送至业务服务器。若业务服务器在发送审核请求之后的预设时间段内未收到该审核请求对应的审核结果，说明对该待审核内容审核失败，则需要对该待审核内容进行重审。图3为本发明实施例提供的内容审核系统的工作交互示意图，如图3所示，业务服务器生成携带有目标数据的生成重审请求，将该重审请求发送至第一设备21，以通过第一设备21请求第二设备22对该待审核内容进行审核，这样可以实现通过第一设备21代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。

其中，该目标数据包括目标业务类型以及待审核内容。

例如，该目标业务类型包括视频、图片、链接、文字、昵称、语音等。该待审核内容包括视频的具体内容、图片的具体内容、链接的具体内容、文字的具体内容、昵称的具体内容、语音的具体内容等。

考虑到不同业务类型的待审核内容的格式是不同的，从而会影响到后续第一设备21采用何种推审协议，将重审请求发送至第二设备22。因此，在本发明实施例中，不同业务服务器可以统一采用容易使用且容易扩展且易读的数据接口格式JSON，来生成重审请求。

在一种可能的实施方式中，因为不同场景下，需要推送给第二设备22的待审核数据的数据是不同的，例如用户昵称进行推审时，需要把用户uid以及用户昵称推送给第二设备22，对视频帖子进行推审时，需要把帖子id以及帖子的源视频url推送给第二设备22。因此，为了方便第二设备22对不同业务类型的待审核内容进行审核，该目标业务类型可以通过目标业务类型对应的标识进行表征，且不同业务类型对应的标识可以由第一设备21和第二设备22共同约定。后续业务服务器在生成重审请求时，可以根据预先约定的每种业务类型对应的标识，确定当前目标业务类型所对应的标识。根据包含有该目标业务所对应的标识以及待审核数据的目标数据，生成重审请求并发送至第一设备21，这样可以保证不同业务服务器提供相同业务类型的业务所对应的标识是相同的，第二设备22可以直接采用该标识对应的审核机制，对该标识对应的业务类型的待审核内容进行重审，减少第二设备22保存不同标识对应的审核机制所耗费的空间，避免不同业务服务器之间相互独立所导致的相同业务类型的业务对应不同的标识，第二设备22需要针对每种标识预先配置好该标识对应的审核机制，造成大量的重复工作，且第二设备22需要耗费大量的存储空间保存不同标识对应的审核机制。

例如，业务类型为用户昵称对应的标识为1，用户个人签名对应的标识为2，用户头像对应的标识为3。

第一设备21接收到多个业务服务器发送的携带有目标数据的重审请求后，可以将接收到的重审请求发送至第二设备22，以通过第二设备22对该重审请求中携带的待审核内容进行审核。

第二设备22根据推审协议，接收重审请求，并对该重审请求进行解析，获取该重审请求中携带的目标业务类型和待审核数据。根据预先配置的业务类型与审核方式的对应关系，确定该重审请求携带的目标业务类型对应的目标审核方式；根据目标审核方式，对该重审请求携带的待审核内容进行审核，获取该重审请求对应的审核结果并发送至第一设备21。

例如，图4为本发明实施例提供的一种重审请求的示意图。如图3所示，图4所示的重审请求的格式为JSON，第二设备22在收到第一设备21发是的JSON格式的重审请求后，会解析该重审请求，从该重审请求中的ID得到目标业务类型对应的标识，从该重审请求中的description字段得到对该业务类型的描述，从该重审请求中的detail字段解析出待审核内容，根据预先配置的业务类型与审核方式的对应关系，确定该重审请求携带的目标业务类型对应的目标审核方式；根据目标审核方式，对该重审请求携带的待审核内容进行审核，获取该重审请求对应的审核结果并发送至第一设备21。

由于第二设备22的接口可能出现变化等情况，对推审协议的影响比较大。因此，在本发明实施例中，预先约定好第一设备21上的通用接口和第二设备22上的通用接口，以通过两个设备上的通用接口，实现第二设备22向第一设备21转发所有业务服务器发送的重审请求。并基于第一设备21上的通用接口和第二设备22上的通用接口，确定该第一设备21与第二设备22之间的推审协议。当基于上述的实施例第一设备21接收到多个业务服务器发送的携带有目标数据的重审请求后，可以根据该预设的一个推审协议，将接收到的每个重审请求均发送至第二设备22。这样可以实现第一设备21对于接收到的每个重审请求，均根据预设的一个推审协议，分别将每个重审请求发送至第二设备22进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备22上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备22的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备22的接收接口发生变化对内容审核过程的影响。

在一种可能的实施方式中，为了方便与多个业务方进行交互，该第一设备21上还提供一个通用接口给多个业务服务器调用。其中，在设置该通用接口时，需满足统一、易用、易扩展的属性。

在实际应用场景中，可能出现网络故障、第二设备22故障等问题，导致第一设备21未能成功接收到第二设备22发送的某一审核请求分别对应的审核结果。因此，在本发明实施例中，设置有第一预设时间段，第一设备21可以根据在将任一重审请求发送至第二设备22之后的第一预设时间段内，是否接收到该重审请求对应的审核结果，确定是否继续向第二设备22请求该重审请求对应的审核结果，这样可以尽可能保证第一设备21及时获取到该重审请求对应的审核结果，以避免将违规内容在网络中传播。

具体实施过程中，第一设备21在将任一重审请求发送至第二设备22后，初始化计时器并开始计时。当该计时器所记录的时间达到第一预设时间段时，可以确定在发送该重审请求之后的第一预设时间段内是否接收到该重审请求对应的审核结果。若第一设备21在将任一重审请求发送至所述第二设备22之后的第一预设时间段内，未接收到该重审请求对应的审核结果，说明则确定该重审请求重审失败，并根据所述推审协议，将该重审请求发送至所述第二设备22。

在一种示例中，该第一设备21可以是配置有proxy层的电子设备，通过该proxy层，第一设备21可以实现接收多个业务服务器发送的重审请求以及对接收到的重审请求进行监控等功能。

由于网络故障、第二设备22故障、第二设备22过载等问题，导致第二设备22无法对第一设备21发送的重审请求进行处理，使得第一设备21无法接收到这些重审请求对应的重审结果，且这些无法接收到对应的重审结果的重审请求的数量在短时间内剧增，即第一设备21在短时间内确定了大量重审失败的重审请求，造成大量待审核内容无法被及时审核，影响后续对待审核内容的处理效率，如果这些无法及时被审核的待审核内容中存在违规内容，则会使该违规内容在该时间段内广泛传播，影响网络文明。因此，在本发明实施例中，预设有第二预设时间段内，以使第一设备21在当前时间之前第二预设时间段内获取到大量的重审失败的重审请求后，可以及时输出告警信息(第一告警信息)来通知工作人员采用人工的方式对这些重审失败的重审请求进行内容审核，这样可以实现及时对待审核内容进行处理，避免影响对待审核内容的处理效率，及时且准确地对违规内容进行删除，降低违规内容的传播范围。

具体实施过程中，第一设备21每确定重审失败的重审请求，便记录当前的记录时间。后续第一设备21根据每个重审失败的重审请求对应的记录时间以及当前时间，可以获取在当前时间之前的第二预设时间段内，确定的重审失败的重审请求的数量(记为第一数量)。然后根据该第一数量以及预设的数量阈值(记为第一数量阈值)，输出第一告警信息。具体的，若该第一数量大于预设的第一数量阈值，说明当前存在大量的待审核内容无法被重审，则可以输出第一告警信息。若该第一数量不大于预设的第一数量阈值，说明当前不存在大量的待审核内容无法被重审，则继续等待。

例如，第一设备21每确定重审失败的重审请求，便记录当前的记录时间，然后通过第一设备21的业务层，根据该记录时间对该重审失败的重审请求中的时间进行更新。

其中，该第一告警信息可以为语音、图片、文字(如“请求人工帮助”等)，也可以为其他形式的，具体实施过程中，可以根据实际需求进行灵活设置，在此不做赘述。

当第一设备21接收到第二设备22发送的任一重审请求对应的审核结果，可以将该审核结果返回给对应的业务服务器，即返回给发送该重审请求的业务服务器，以方便业务服务器根据该审核结果对该重审请求中携带的待审核内容进行处理。

现有技术中，各个业务服务器是自行向内容审核服务器发送对某一待审核内容进行重审的重审请求的，导致各个业务服务器并不考虑当前内容审核服务器的负载，也没有考虑要向审核人员告警，以通知审核人员及时发现问题以及解决问题。并且第二设备22的网络可能存在短时间抖动的问题，例如由于网络或者其他原因导致第一设备21在几分钟内发送的重审请求均被确定为审核失败的重审请求，那么即使第一设备21继续将重审失败的重审请求发送至第二设备22，也仍然无法获取到该重审请求对应的审核结果，而第一设备21短时间频繁将重审请求发送至第二设备22会造成资源和算力的浪费，也可能给第二设备22带来数倍访问量的增长压力，进而造成第二设备22崩溃。因此，在本发明实施例中，第一设备21可以考虑按照一定的周期向第二设备22发送重审请求，以避免一直向第二设备22发送对某一待审核内容进行审核的重审请求，加剧该第二设备22的负载，降低资源和算力的浪费。

在一种可能的实施方式中，可以设置不同业务类型与预设周期的对应关系。比如，重要程度越高的业务类型对应的周期越短，重要程度越低的业务类型对应的周期越长。第一设备21在将某一重审请求发送至第二设备22之前，可以根据该预先配置的业务类型与预设周期的对应关系，确定该重审请求携带的目标业务类型所对应的目标预设周期。按照该目标预设周期，根据预设的推审协议，将该重审请求发送至第二设备22，这样可以实现按照不同业务类型的重要程度，设置不同重审请求分别对应的周期，进而可以实现保证携带有重要程度较高的业务类型的重审请求可以按照比较高的频率进行发送，保障重要程度较高的业务类型的重审请求的重审效率。

在一种可能的实施方式中，可以设置重审请求不同的发送次数与预设周期的对应关系。比如，发送次数越多的重审请求对应的预设周期越长，发送次数越短的重审请求对应的预设周期越短。第一设备21在将某一重审请求发送至第二设备22之前，可以统计已发送该重审请求的发送次数(记为目标发送次数)。根据预先配置的发送次数与预设周期的对应关系，确定目标发送次数对应的目标预设周期。按照该目标预设周期，根据预设的推审协议，将该重审请求发送至第二设备22，这样可以实现避免发送次数较多的重审请求占用第一设备21和第二设备22大量的计算资源，影响对其它发送次数较少的重审请求的处理，实现根据重审请求的不同发送次数，将发送不同重审请求的时间分散开来，减少第二设备22在同一时间需要处理的重审请求的数量。

例如，第一设备21接收到业务服务器发送的某一重审请求后，将该重审请求透传给第二设备22。若第一设备21在发送该重审请求后的第一预设时间段内，接收到该重审请求对应的审核结果，则将该重审请求对应的审核结果发送至该重审请求对应的业务服务器；否则，确定该重审请求重审失败，并根据该重审失败的重审请求已发送的发送次数为1，确定将该重审失败的重审请求加入到预设周期为1分钟的重试队列，也就是按照预设周期1分钟，将该预设周期为1分钟的重试队列中的重审请求发送至第二设备22。若按照预设周期1分钟，将该重审请求发送至第二设备22后，仍未接收到该重审请求对应的重审结果，确定该重审请求重审失败，并根据该重审失败的重审请求已发送的发送次数为2，确定将该重审失败的重审请求加入到预设周期为5分钟的重试队列，也就是按照预设周期5分钟，将该预设周期为5分钟的重试队列中的重审请求发送至第二设备22。若按照预设周期5分钟，将该重审请求发送至第二设备22后，仍未接收到该重审请求对应的重审结果，确定该重审请求重审失败，并根据该重审失败的重审请求已发送的发送次数为3，确定将该重审失败的重审请求加入到预设周期为20分钟的重试队列，也就是按照预设周期20分钟，将该预设周期为20分钟的重试队列中的重审请求发送至第二设备22。

在一种可能的实施方式中，可以配置有不同预设周期对应的队列。当确定了按照某一预设周期，将某一重审请求发送至第二设备22时，可以将该重审请求加入到该预设周期对应的队列中。该队列中的重审请求可以按照重审请求中携带的时间进行排序，例如图3所示的重审请求中timestamp字段携带的内容，从而根据每个重审请求中携带的时间以及该队列对应的预设周期，确定每个重审请求对应的发送时间。

其中，对于发送次数为0的重审请求，该重审请求携带的时间为生成该重审请求的时间。对于发送次数不为0的重审请求，该重审请求携带的时间为最近被确定为重审失败时的时间。

考虑到按照某一预设周期进行推送的重审请求过多，可能会导致第一设备21和第二设备22在同一时间需要处理的重审请求的数量也比较多，即按照某一预设周期进行推送的重审请求堆积到一起等待发送。因此，在本发明实施例中，可以针对每个预设周期，监控按照该预设周期待发送的重审请求的数量是否过多，以在确定该预设周期待发送的重审请求的数量过多时，可以通过输出告警信息(记为第二告警信息)来通知工作人员采用人工的方式对该预设周期待发送的重审请求进行内容审核，这样可以实现及时对待审核内容进行处理，避免影响对待审核内容的处理效率，及时且准确地对违规内容进行删除，降低违规内容的传播范围。

具体实施过程中，预设有第二数量阈值。第一设备21可以针对每个预设周期，统计按照该预设周期待发送的重审请求的数量(记为第二数量)。然后判断该第二数量是否小于预设的第二数量阈值。若该第二数量小于预设的第二数量阈值，说明按照该预设周期进行推送的重审请求还未出现堆积，则对按照该预设周期进行推送的重审请求继续正常处理。若该第二数量不小于预设的第二数量阈值，说明按照该预设周期进行推送的重审请求出现堆积，则输出第二告警信息。

考虑到第一设备21用于接收多个业务服务器发送的重审请求，当某一时间段内第一设备21接收到的重审请求的数量过多，则也会造成大量的重审请求堆积。因此，在本发明实施例中，预设有第二预设时间段，第一设备21可以确定是否在当前时间之前的第二预设时间段内接收到大量的重审请求，并在确定在当前时间之前的第二预设时间段内接收到大量的重审请求时，输出告警信息(记为第三告警信息)来通知工作人员采用人工的方式对接收到的大量重审请求进行内容审核，这样可以实现及时对待审核内容进行处理，避免影响对待审核内容的处理效率，及时且准确地对违规内容进行删除，降低违规内容的传播范围。

具体实施过程中，预设有第三数量阈值。第一设备21可以统计在当前时间之前的第二预设时间段内接收到的重审请求的数量(记为第三数量)。然后判断该第三数量是否小于预设的第三数量阈值。若该第三数量小于预设的第三数量阈值，说明在当前时间之前的第二预设时间段内接收到的重审请求还未出现堆积，则对在当前时间之前的第二预设时间段内接收到的重审请求继续正常处理。若该第三数量不小于预设的第三数量阈值，说明在当前时间之前的第二预设时间段内接收到的重审请求出现堆积，则输出第三告警信息。

在本发明实施例中，第一设备21可以从重审请求中，或审核结果中获取到业务类型，从而可以根据不同的业务类型，对重审请求进行统计，比如在某一时间段内，哪一业务类型的重审请求的数量最多，在某一时间段内，哪一业务类型的重审请求的发送次数最多等，或可以根据不同的业务类型，对审核结果进行统计，比如在某一时间段内，哪一业务类型的审核结果的数量最多等。

在一种可能的实施方式中，如果多个业务服务器新增了所提供的业务，则任一新增了该业务的业务服务器可以向第一设备21发送携带有该新增业务的业务类型的新增请求。第一设备21接收到该新增请求后，对该新增请求进行解析，获取该新增请求中携带的业务类型并保存，以便后续可以根据该新增业务的业务类型，对重审请求和/或审核结果进行统计。

由于内容审核系统中设置有第一设备21，该第一设备21可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备22进行审核，从而实现通过第一设备21代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。并且，第一设备21对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备22进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备22上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备22的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备22的接收接口发生变化对内容审核过程的影响。

实施例2：

本发明实施例提供了一种内容审核方法，图5为本发明实施例提供的一种内容审核过程示意图，该过程包括：

S501：获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

S502：根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

S503：接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器。

需要说明的是，本发明实施例提供的内容审核方法解决技术问题的原理可以参见上述实施例1中的描述，重复之处不做赘述。

进一步地，所述方法还包括：

若在将任一重审请求发送至所述第二设备之后的第一预设时间段内，未接收到该重审请求对应的审核结果，则确定该重审请求重审失败，并根据所述推审协议，将该重审请求发送至所述第二设备。

进一步地，所述方法还包括：

获取在当前时间之前的第二预设时间段内，重审失败的重审请求的第一数量；

若确定所述第一数量大于预设的第一数量阈值，则输出第一告警信息。

进一步地，根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备，包括：

统计已发送该重审请求的目标发送次数；

根据预先配置的发送次数与预设周期的对应关系，确定所述目标发送次数对应的目标预设周期；

按照所述目标预设周期，根据所述推审协议，将该重审请求发送至所述第二设备。

进一步地，所述方法还包括：

针对每个所述预设周期，若确定按照该预设周期待发送的重审请求的第二数量不小于预设的第二数量阈值，则输出第二告警信息。

进一步地，所述方法还包括：

获取在当前时间之前的第二预设时间段内接收到的重审请求的第三数量；若确定所述第三数量不小于预设的第三数量阈值，则输出第三告警信息。

进一步地，所述方法还包括：

获取所述多个业务服务器发送的增添业务的新增请求；其中，所述新增请求携带有所述新增业务的业务类型。

图6为本发明实施例提供的具体的内容审核流程示意图，该流程包括：

S601：根据预设的一个推审协议，将任一重审请求发送至所述第二设备。

S602：判断发送该重审请求之后的第一预设时间段内，是否接收到该重审请求对应的审核结果，若是，则执行S605，否则，执行S603。

S603：确定该重审请求重审失败，统计已发送该重审请求的目标发送次数；根据预先配置的发送次数与预设周期的对应关系，确定所述目标发送次数对应的目标预设周期。

S604：按照所述目标预设周期，根据所述推审协议，将该重审请求发送至所述第二设备，执行S602。

S605：将该重审请求对应的审核结果返回给该重审请求对应的业务服务器。

S606：删除该重审请求。

实施例3：

本发明实施例还提供了一种内容审核装置，图7为本发明实施例提供的一种内容审核装置的结构示意图，该结构包括：

获取单元71，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

发送单元72，用于根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

所述获取单元71，还用于接收所述第二设备发送的任一重审请求对应的审核结果；

所述发送单元72，还用于将该重审请求对应的审核结果返回给该重审请求对应的业务服务器。

需要说明的是，本发明实施例提供的内容审核装置解决技术问题的原理可以参见上述实施例1-2中的描述，重复之处不做赘述。

由于内容审核系统中设置有第一设备，该第一设备可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备进行审核，从而实现通过第一设备代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。并且，第一设备对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备的接收接口发生变化对内容审核过程的影响。

实施例4：

图8为本发明实施例提供的一种电子设备结构示意图，该电子设备，包括：处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信；

所述存储器803中存储有计算机程序，当所述程序被所述处理器801执行时，使得所述处理器801执行如下步骤：

获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器。

由于上述电子设备解决问题的原理与内容审核方法相似，因此上述电子设备的实施可以参见方法的实施，重复之处不再赘述。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口802用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

由于内容审核系统中设置有第一设备，该第一设备可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备进行审核，从而实现通过第一设备代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。并且，第一设备对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备的接收接口发生变化对内容审核过程的影响。

实施例5：

在上述各实施例的基础上，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：

获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器。

由于计算机可读存储介质解决问题的原理与上述实施例中的内容审核方法相似，因此具体实施可以参见服务器的选择方法的实施。

由于内容审核系统中设置有第一设备，该第一设备可以接收多个业务服务器发送的携带有目标数据的重审请求，并将接收到的重审请求发送至第二设备进行审核，从而实现通过第一设备代理多个业务服务器在内容重审过程所执行的工作，帮助多个业务服务器监控待审核内容的重审过程，减少了多个业务服务器的工作量，降低了多个业务服务器的工作压力。并且，第一设备对于接收到的每个重审请求，均根据预设的一个推审协议，实现分别将每个重审请求发送至第二设备进行重审，即不同业务均对应相同的一个推审协议，使得后续即使第二设备上的接收接口出现问题，也只需修改该一个推审协议，减少了第二设备的接收接口发送变化时，修改每个业务分别对应的推审协议需耗费的工作量，提高了内容审核的灵活性以及通用性，减少第二设备的接收接口发生变化对内容审核过程的影响。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (11)

1.一种内容审核系统，其特征在于，所述系统包括：第一设备以及第二设备；

所述第一设备，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；根据预设的一个推审协议，分别将每个所述重审请求发送至所述第二设备；接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器；

所述第二设备，用于根据所述推审协议，接收每个所述重审请求；针对每个所述重审请求，根据预先配置的业务类型与审核方式的对应关系，确定该重审请求携带的目标业务类型对应的目标审核方式；根据所述目标审核方式，对该重审请求携带的待审核内容进行审核，获取该重审请求对应的审核结果并发送至所述第一设备。

2.如权利要求1所述的系统，其特征在于，所述第一设备，还用于若在将任一重审请求发送至所述第二设备之后的第一预设时间段内，未接收到该重审请求对应的审核结果，则确定该重审请求重审失败，并根据所述推审协议，将该重审请求发送至所述第二设备。

3.如权利要求2所述的系统，其特征在于，所述第一设备，还用于获取在当前时间之前的第二预设时间段内，重审失败的重审请求的第一数量；若确定所述第一数量大于预设的第一数量阈值，则输出第一告警信息。

4.如权利要求1-3任一所述的系统，其特征在于，所述第一设备，具体用于统计已发送该重审请求的目标发送次数；根据预先配置的发送次数与预设周期的对应关系，确定所述目标发送次数对应的目标预设周期；按照所述目标预设周期，根据所述推审协议，将该重审请求发送至所述第二设备。

5.如权利要求4所述的系统，其特征在于，所述第一设备，还用于针对每个所述预设周期，若确定按照该预设周期待发送的重审请求的第二数量不小于预设的第二数量阈值，则输出第二告警信息。

6.如权利要求1所述的系统，其特征在于，所述第一设备，还用于获取在当前时间之前的第二预设时间段内接收到的重审请求的第三数量；若确定所述第三数量不小于预设的第三数量阈值，则输出第三告警信息。

7.如权利要求1所述的系统，其特征在于，所述第一设备，还用于获取所述多个业务服务器发送的增添业务的新增请求；其中，所述新增请求携带有所述新增业务的业务类型。

8.一种内容审核方法，其特征在于，所述方法包括：

获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

接收所述第二设备发送的任一重审请求对应的审核结果并返回给该重审请求对应的业务服务器。

9.一种内容审核装置，其特征在于，所述装置包括：

获取单元，用于获取多个业务服务器发送的携带有目标数据的重审请求；其中，所述目标数据中包含有目标业务类型以及待审核内容；

发送单元，用于根据预设的一个推审协议，分别将每个所述重审请求发送至第二设备；

所述获取单元，还用于接收所述第二设备发送的任一重审请求对应的审核结果；

所述发送单元，还用于将该重审请求对应的审核结果返回给该重审请求对应的业务服务器。

10.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求8所述内容审核方法的步骤。

11.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述内容审核方法的步骤。

Images