CN109831699B - 图像审核处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像审核处理方法、装置、电子设备及计算机可读取存储介质，该方法包括：判断当前审核页面是否具有空余空间；在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像；将请求获取的待审核图像显示在当前审核页面的空余空间。本申请减少了人工审核中手动请求的重复操作，可有效避免高危审核时效的滞后，提高审核效率。

Description

图像审核处理方法、装置、电子设备及存储介质

技术领域

本申请涉及直播审核技术领域，更具体地，涉及一种图像审核处理方法、装置、电子设备及计算机可读取存储介质。

背景技术

目前，随着互联网的发展，多媒体直播以其形式新颖、内容丰富受到人们的广泛关注。然而，由于多媒体直播的来源广泛、数量庞大等特殊性，使得不少掺杂着违规内容以博取流量的多媒体直播有了可乘之机，这些违规内容对直播平台以及观众均会产生不良影响。如何及时发现直播中的违规内容以遏制其传播，成为了亟待解决的问题。

发明内容

鉴于上述问题，本申请提出了一种图像审核处理方法、装置、电子设备及计算机可读取存储介质，可以提高直播内容审核的效率。

第一方面，本申请实施例提供了一种图像审核处理方法，应用于审核终端，审核终端用于运行多媒体直播审核系统的客户端，客户端具有用于审核待审核图像的审核页面，待审核图像为筛选出的疑似违规的多媒体直播图像，该方法包括：判断当前审核页面是否具有空余空间；在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像；将请求获取的待审核图像显示在当前审核页面的空余空间。

第二方面，本申请实施例提供了一种图像审核处理装置，应用于审核终端，审核终端用于运行多媒体直播审核系统的客户端，客户端具有用于审核待审核图像的审核页面，待审核图像为筛选出的疑似违规的多媒体直播图像，该装置包括：判断模块，用于判断当前审核页面是否具有空余空间；请求模块，用于在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像；显示模块，用于将请求获取的待审核图像显示在当前审核页面的空余空间。

第三方面，本申请实施例提供了一种电子设备，其包括一个或多个处理器、存储器以及一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于执行如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读取存储介质，该计算机可读取存储介质中存储有程序代码，该程序代码可被处理器调用执行如上述第一方面所述的方法。

本申请实施例提供的图像审核处理方法、装置、电子设备及计算机可读取存储介质，可先判断当前审核页面是否具有空余空间，并在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像，再将请求获取的待审核图像显示在当前审核页面的空余空间。本申请实施例可在直播内容高危审核阶段，基于预设时间间隔向服务器自动请求获取待审核图像，减少了人工审核中手动请求的重复操作，可有效避免手动请求导致的高危审核时效的滞后，保持审核及时性，提高人工审核的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例的应用环境示意图；

图2示出了一种适用于本申请实施例的审核逻辑的流程示意图；

图3示出了本申请一个实施例提供的图像审核处理方法的流程示意图；

图4示出了本申请又一个实施例提供的图像审核处理方法的流程示意图；

图5示出了本申请又一个实施例提供的图像审核处理方法中步骤S215至步骤S216的流程示意图；

图6示出了本申请实施例提供的图像审核处理装置的模块框图；

图7是本申请实施例的用于执行根据本申请实施例的图像审核处理方法的电子设备的框图；

图8是本申请实施例的用于保存或者携带实现根据本申请实施例的图像审核处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前，随着互联网的发展，多媒体直播以其形式新颖、内容丰富受到人们的广泛关注。随着直播行业的快速发展，越来越多的人开始作为主播进入直播行业，在不断丰富观众多样化观看需求的同时，也造成直播行业内主播生产的直播内容良莠不齐。

由于多媒体直播的来源广泛、数量庞大等特殊性，使得不少掺杂着违规内容以博取流量的多媒体直播有了可乘之机，这些违规内容对直播平台以及观众均会产生不良影响。

为了对直播内容进行监管，直播平台都会引入大量的审核人员，对直播平台上的直播内容进行监控。但是，人工审核效率低，成本高，审核人员的工作负荷大，有时难以及时发现违规内容，随着直播内容的快速增长，直播平台在直播内容审核方面面临巨大的压力。

为了提高人工审核的效率，在一些直播审核流程中，会先通过机器对直播内容进行初步审核，在机器审核发现可能违规的内容后，再推送给人工审核进行确认，直至人工审核确认该内容违规后，才会对生产该内容的直播间进行相应的处罚。然而，在人工审核的过程中，往往需要人工请求加载新图，在提交审核结果后，才能进行下一张图的审核，由于审核一张图需要时间，导致审核员当前手动请求并看到的图片可能已经是一段时间之前的图，在时效上具有滞后性，使得目前的直播审核流程难以及时对违规内容进行处理。如何及时发现并消除直播中的违规内容，成为了亟待解决的问题。

为了解决上述的问题，发明人经过研究，提出了本申请实施例中的图像审核处理方法、装置、电子设备及计算机可读取存储介质。

为了更好理解本申请实施例提供的图像审核处理方法、装置、电子设备及计算机可读取存储介质，下面先对适用于本申请实施例的直播网络构架和审核逻辑进行描述。

请参阅图1，图1为适用于本申请实施例的一种内容审核系统的应用场景图。如图1所示，内容审核系统包括服务器10以及审核终端20(服务器10与审核终端20的数量可以是一个或多个，在此不作限定)，多媒体直播审核系统的客户端安装于审核终端20中，服务端安装于服务器10中，审核终端20和服务器10位于无线网络或有线网络中，审核终端20和服务器10可以进行数据交互。进一步地，多个审核终端20之间可以相互通过互联网进行通信连接，也可以将服务器10作为传输中介，并通过互联网来进行相互间的通信连接。

其中，审核终端20可以包括但不限于笔记本电脑、台式电脑、平板电脑、智能手机、可穿戴电子设备等电子设备。

在一些实施方式中，客户端安装于审核终端20内，例如，可以是安装在审核终端20的应用程序。客户端具有用于审核待审核图像的审核页面，待审核图像可以是通过切片抽样等规则筛选出的疑似违规的多媒体直播图像。用户在客户端通过帐号登录，则该帐号对应的所有信息可以存储在服务器10的存储空间内。

其中，服务器10可以是单独的服务器，也可以是服务器集群，可以是本地服务器，也可以是云端服务器，在此不作限定。在一些实施方式中，服务器10中可以安装多媒体直播审核系统的服务端，可以用于采集以及分发直播数据。

在一些实施方式中，审核人员在客户端登录审核帐号，不同的审核人员对应不同的审核帐号。审核人员通过客户端显示的审核页面对直播数据(或用户上传的视频数据)进行审核，并根据审核得到的审核结果提交处罚结果，处罚结果存储于服务器10。

进一步地，请参阅图2，图2为适用于本申请实施例的一种审核逻辑的流程示意图。多媒体直播审核系统中可采用如图2所示的审核逻辑，如图2所示，在一些实施例中，直播数据可以先通过机器审核，在机器审核阶段利用图像识别以及数据分析，对直播数据进行初步判断，判断直播数据是否安全。经过判断，可以将安全的直播数据存储归档，并将不安全的直播数据作为审核样本存储于审核数据分发队列中，在一些实施方式中，审核数据分发队列存储于服务器10，服务器10上可以安装多媒体直播审核系统的服务端，可以用于向审核终端20分发审核数据分发队列中的审核样本(待审核图像)。

其中，审核数据分发队列中包括至少一个审核样本，审核样本可以是图片、视频、音频等。作为一种方式，在审核样本为图像时，审核样本至少包括图片和视频截图中的一种。审核数据分发队列中的审核样本将进入人工审核阶段，具体的，人工审核可以由多个审核人员通过客户端对审核样本进行审核。

在一些实施方式中，服务器10根据审核数据分发队列将审核样本分别分发至多个审核人员对应的审核帐号下，审核人员可以通过在多媒体直播审核系统客户端中登录审核帐号，获取该审核帐号对应的审核样本进行审核。

作为一种方式，人工审核可以包括第一次人工审核(人工一审)以及第二次人工审核(人工二审)。具体的，可以将机器审核筛选出的可能违规的审核样本先分发入人工一审，进一步地，经人工一审仍判断为可能违规(人工一审无法确认其是否一定违规)的审核样本可以分发入人工二审，进行第二次人工审核(高危审核)，以提升违规内容判断的准确性。

在一些实施方式中，在人工一审阶段，还可以根据审核规则从未经机审的海量截图中发现疑似违规，提交给人工二审；在人工二审阶段，可以根据审核规则核实直播内容，并快速做出判断，选择合理的处理方式。其中，审核规则是审核人员对审核样本进行违规判断的依据，作为一种方式，审核人员可以根据审核规则，确定审核样本的违规类型。

进一步地，将经人工审核判断为确定违规的违规直播内容所对应的主播帐号进行处罚，处罚可以包括但不限于封号、罚款等，处罚结果存储于服务器10。

需要说明的是，本申请实施例提供的审核逻辑及审核逻辑的流程示意图仅为方便理解，而本申请实施例可以适用多种审核逻辑，故上述审核逻辑及审核逻辑的流程示意图不对本方案构成限定。

下面将通过具体实施例对本申请实施例提供的图像审核处理方法、装置、电子设备以及存储介质进行详细说明。

请参阅图3，图3示出了本申请一个实施例提供的图像审核处理方法的流程示意图。本实施例中，图像审核处理方法可应用于审核终端，审核终端用于运行多媒体直播审核系统的客户端，客户端具有用于审核待审核图像的审核页面，待审核图像为筛选出的疑似违规的多媒体直播图像。图像审核处理方法可先判断当前审核页面是否具有空余空间，并在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像，再将请求获取的待审核图像显示在当前审核页面的空余空间，可在直播内容高危审核阶段，基于预设时间间隔向服务器自动请求获取待审核图像，减少了人工审核中手动请求的重复操作，可有效避免手动请求导致的高危审核时效的滞后，保持审核及时性，提高人工审核的效率。在具体的实施例中，图像审核处理方法可应用于如图7所示的图像审核处理装置300以及配置有图像审核处理装置300的电子设备100(图8)。下面将针对图3所示的流程进行详细的阐述。上述的图像审核处理方法具体地可以包括以下步骤：

步骤S101：判断当前审核页面是否具有空余空间。

本实施例中，当前审核页面，可以是多媒体直播审核系统的客户端显示于终端交互界面上的审核页面，该审核页面可用于显示待审核图像，以及获取用户(审核人员)对该待审核图像的处理结果。

本实施例中，当前审核页面作为加载待审核图像的容器，具有显示待审核图像的数量上限(即容量)，在待审核图像填满当前审核页面后，当前审核页面即不能显示更多的待审核图像。若当前审核页面显示的待审核图像未填满该当前审核页面，即可认为当前审核页面具有能够显示更多待审核图像的空余空间。

作为一种方式，当前审核页面上显示的待审核图像的尺寸是可以调节的，根据用户对待审核图像的尺寸调节，当前审核页面上能够显示的待审核图像的最大数量是可以变化的。

本实施例中，在当前审核页面具有空余空间时，可进行步骤S102。

步骤S102：基于预设时间间隔向服务器请求获取待审核图像。

本实施例中，多媒体直播审核系统的服务端可以运行于服务器中。作为一种方式，服务器存储有待审核图像分发队列，服务器可以从直播平台上正在进行的多媒体直播(或已进行完毕的多媒体直播的视频录像)中通过机器识别分析筛选出可能违规的直播内容图像作为待审核图像，并将待审核图像添加至待审核图像分发队列。分发队列中的待审核图像，可用于分发给各个客户端以进行人工审核。

本实施例中，服务器将待审核图像分发给客户端进行人工审核，可以适用于高危审核场景(即待审核图像均为疑似违规的人工审核场景)。由于进入分发队列的待审核图像已经经过图像识别技术(机器审核)的过滤，机器判定为疑似违规的图像才会推送到分发队列，并进一步分发至各个客户端进行人工审核的进一步确认，当人工审核确定为违规后，该待审核图像对应的直播内容即可被确定为违规内容，审核人员即可对产出该待审核图像的直播间进行处罚。

本实施例中，预设时间间隔，可以是客户端向服务器自动发起获取待审核图像的请求的周期。在当前审核页面具有空余空间时，客户端可以按照一定的自动刷新频率(即预设时间间隔)，自动向服务器发起请求，以获取待审核图像。作为一种方式，该预设时间间隔可以根据用户的需求进行设定，例如2s，5s，10s等。

需要注意的是，在一些实施方式中，若当前审核页面存在已经标注审核结果但还未进行提交的待审核图像，当客户端的当前审核页面在自动刷新并添加新的待审核图像时，对于当前审核页面内的所有已经标注审核结果的待审核图像，其审核结果可以全部保留(例如可以在对某张待审核图像标记审核结果后，将该待审核图像的编号与对应的审核结果存储在客户端的缓存中)，以避免刷新进图可能导致的未提交的审核结果丢失。在另一些实施方式中，在对当前审核页面内的待审核图像进行审核后，还可以自动将已经审核过的待审核图像进行提交，可及时为新的待审核图像留出空余的审核空间页面。

在高危审核场景中，由于进入高危审核队列(高危审核对应的待审核图像分发队列)的待审核图像已经经过机器或人工的初步筛选，因此高危审核队列中正在等待分发的待审核图像的数量，在不同的时间段可能是不一样的。例如，在某一时间段中，整个直播平台都没有出现机器或人工初筛认为可能违规的直播图像，此时高危审核队列可能在一段时间内都没有新的待审核图像加入；若在另一时间段内，经过机器或人工初筛出现了较多的疑似违规图像，此时高危审核队列可能在短时间内就进入了数量较多待审核图像。因此，在高危审核场景中，若仅依靠人工请求进图，则审核人员无法判断当前高危审核队列中存在多少张待审核图像，只能依靠手动点击来尝试获取待审核图像，若高危审核队列中不存在正在队列中等待分发的待审核图像，审核人员的手动请求则无效；若间隔很长时间才进行一次手动请求，则有可能漏掉违规情况更严重的待审核图像。

本实施例中，通过基于预设时间间隔自动向服务器请求获取待审核图像，可以有效解决仅依靠人工请求进图出现的上述问题，避免了审核人员需要反复手动请求进图的情况。

步骤S103：将请求获取的待审核图像显示在当前审核页面的空余空间。

本实施例中，在客户端自动向服务器请求获取待审核图像后，若服务器中的高危审核队列中存在待审核图像，则会响应客户端的请求下发其高危审核队列中的部分或全部的待审核图像至客户端，客户端即可将请求获取的待审核图像显示在当前审核页面的空余空间上。

可以理解的是，客户端(或终端)的数量可以是多个，即同一时间段内可能存在多个进行高危审核的审核人员，此时，为了均衡不同审核人员的审核效率，作为一种方式，服务器可以根据当前同时进行高危审核的客户端的数量，来灵活调节基于一次客户端的请求下发的待审核图像的数量。例如，若高危审核队列中存在有10张待审核图像，当同时存在两个客户端正在进行高危审核时，其中客户端A向服务器发送了获取待审核图像的请求，服务器可以仅向客户端A下发5张待审核图像(即现存待审核图像总量的一半)；当同时存在十个客户端正在进行高危审核时，客户端B向服务器发送获取待审核图像的请求，服务器可以向客户端B下发2张待审核图像(即现存待审核图像的1/5)。可以理解的是，服务器响应客户端发来的每次请求下发的待审核图像的数量，可以根据审核系统的需求进行设置，以求整体的审核效率最大化。

本申请一个实施例提供的图像审核处理方法，可在直播内容高危审核阶段，基于预设时间间隔向服务器自动请求获取待审核图像，减少了人工审核中手动请求的重复操作，可有效避免手动请求导致的高危审核时效的滞后，保持审核及时性，提高人工审核的效率。

请参阅图4，图4示出了本申请又一个实施例提供的图像审核处理方法的流程示意图。下面将针对图4所示的流程进行详细的阐述。上述的图像审核处理方法具体地可以包括以下步骤：

步骤S201：获取当前审核页面的页面尺寸以及预设的图像显示尺寸。

本实施例中，当前审核页面的页面尺寸，可以是当前审核页面具有的能够用于显示待审核图像的区域尺寸。作为一种方式，当前审核页面的页面尺寸，与客户端所运行的当前终端的显示屏大小以及分辨率有关。在一些实施方式中，当前审核页面用于显示待审核图像的页面尺寸还可以是可调的。

本实施例中，预设的图像显示尺寸，可以是显示在当前审核页面上的每张待审核图像的显示尺寸。作为一种方式，待审核图像的图像显示尺寸可以供审核人员根据需求进行实时的调节。

在一些实施方式中，用于调节图像显示尺寸的选项，可以设置于当前审核页面的非待审核图像显示区域，以供用户对待审核图像的图像显示尺寸进行调节。作为一种方式，当前审核页面的非待审核图像显示区域同时可以设置提交审核结果、清屏、重载裂图、翻页(选择上一页或下一页审核页面)、停止审核等选项，还可以显示当前已审核的图像数量、待审核图像的数量、上一次刷新进图(向服务器请求获取待审核图像)的时间等数据。

步骤S202：根据页面尺寸以及图像显示尺寸，计算当前审核页面的容量。

本实施例中，当前审核页面的容量为当前审核页面能够容纳的待审核图像的数量。根据当前审核页面的页面尺寸以及每张待审核图像的图像显示尺寸，即可计算出当前审核页面能够容纳的待审核图像的数量。

步骤S203：获取当前审核页面已显示的待审核图像的数量。

本实施例中，客户端可以自动获取当前审核页面上已显示的待审核图像的数量。作为一种方式，显示在当前审核页面上的待审核图像，可以是审核人员还未进行审核，或还未确认审核结果并进行提交的待审核图像。

在一些高危审核场景中，在当前审核页面上同时存在多张待审核图像时，审核人员可能没有按照固定的顺序对这些待审核图像进行审核，而是先初步确认哪些待审核图像为明显违规或明显不违规的图像，并优先提交这部分容易判断的待审核图像的审核结果；对于那些难以判断是否违规的图像，审核人员可以将这些待审核图像暂时保留在当前审核页面，先处理严重的或容易分辨的，再处理疑难的。

作为一种方式，在审核人员确认对某张待审核图像的审核结果并提交至服务器后，该待审核图像即变为已审核图像，从当前审核页面清除。

步骤S204：根据已显示的待审核图像的数量以及容量，判断当前审核页面是否具有空余空间。

本实施例中，根据当前审核页面已显示的待审核图像的数量，以及当前审核页面的容量，即可直接判断当前审核页面能够显示的待审核图像数量是否达到上限，若未达到上限，即可认为当前审核页面具有能够容纳新的待审核图像的空余空间，此时即可向服务器请求进图。

本实施例中，在当前审核页面具有空余空间时，可进行步骤S205。

步骤S205：基于预设时间间隔向服务器发送进图请求。

本实施例中，作为一种方式，进图请求中可以包含当前审核页面的剩余容量的信息，该剩余容量为当前审核页面的空余空间能够容纳的待审核图像的数量。作为一种方式，客户端在获取当前审核页面已显示的待审核图像的数量以及当前审核页面的容量后，可以自动计算出当前审核页面的剩余容量是多少。

作为一种方式，客户端向服务器发送包含当前审核页面的剩余容量的进图请求后，服务器可以选择根据该客户端当前审核页面的剩余容量，合理分配下发待审核图像的数量。

步骤S206：获取服务器响应进图请求下发的待审核图像。

在一些实施方式中，在客户端向服务器发送包含当前审核页面的剩余容量的进图请求后，服务器响应进图请求下发的待审核图像的数量可以小于或等于当前审核页面的剩余容量。

在另一些实施方式中，客户端向服务器发送的进图请求中也可以不包含当前审核页面的剩余容量的信息，此时，作为一种方式，服务器不会根据发起请求的客户端的当前审核页面的剩余容量进行分配，而可以根据服务器当前高危审核队列中的待审核图像数量与当前进行高危审核的客户端数量进行分配，以优化整体的审核效率。

本实施例中，当服务器相应进图请求下发的待审核图像的数量可能存在大于当前审核页面的剩余容量的情况时，在步骤S206之后，可以进行步骤S207。

步骤S207：判断请求获取的待审核图像的数量是否大于当前审核页面的剩余容量。

本实施例中，当请求获取的待审核图像的数量大于当前审核页面的剩余容量时，在一些实施方式中，可以根据预设规则，将请求获取的待审核图像中数量与剩余容量相等的部分图像显示在当前审核页面的空余空间。

作为一种方式，如图4所示，当请求获取的待审核图像的数量大于当前审核页面的剩余容量时，可进行步骤S208。

步骤S208：获得请求获取的待审核图像的产生时间。

本实施例中，待审核图像的产生时间，可以是待审核图像对应的直播内容发生的实际时间。作为一种方式，在待审核图像进入审核系统进行机器或人工初筛时，即可记录其产生时间，该产生时间可以标记在对应待审核图像的数据中，当客户端获取服务器下发的待审核图像的同时，即可获取其产生时间。

在其他可能的实施方式中，客户端还可以根据待审核图像的编号信息(或身份信息)在服务器中查找对应待审核图像的产生时间，以从服务器获取待审核图像的产生时间。

步骤S209：将请求获取的待审核图像中产生时间靠前的数量与剩余容量相等的部分图像优先显示在当前审核页面的空余空间。

本实施例中，客户端请求服务器下发的多张待审核图像，其产生时间可能是不同的，为了相对保证人工审核的及时性，在服务器下发的待审核图像数量超过当前审核页面的剩余容量时，可以将产生时间靠前的待审核图像优先分配至客户端进行审核，以避免待审核图像的审核时效延误过长。

本实施例中，在将请求获取的部分待审核图像优先显示在当前审核页面的空余空间之后，可以进一步对多余的待审核图像进行处理。

步骤S210：将请求获取的待审核图像中没有在当前审核页面显示的多余待审核图像退回至服务器中的待审核图像队列。

本实施例中，作为一种方式，在将请求获取的部分待审核图像优先显示在当前审核页面的空余空间之后，可以将多余的没有在当前审核页面显示的待审核图像，退回至服务器中的待审核图像队列(即高危审核队列)中，以保证这些未能分配至当前客户端的待审核图像能够继续被分配给其他有空余空间的客户端进行审核，保证审核过程的连续性与及时性。

在一些可能的实施方式中，当多个运行有审核系统客户端的终端之间互相能够进行通信数据传输时，还可以将没有在当前审核页面显示的多余待审核图像直接分配给与当前终端通信连接的其他终端的客户端中，以降低服务器的数据分配压力。

步骤S211：将请求获取的待审核图像中没有在当前审核页面显示的多余待审核图像预加载至下一审核页面。

本实施例中，作为另一种方式，在将请求获取的部分待审核图像优先显示在当前审核页面的空余空间之后，还可以将多余的没有在当前审核页面显示的待审核图像，预加载至下一审核页面。

本实施例中，下一审核页面可用于在当前审核页面清屏后替换当前审核页面。作为一种方式，预加载至下一审核页面的待审核图像数据保存在客户端的缓存中，预加载的过程在客户端后台进行，当前台的当前审核页面上显示的所有待审核图像均提交审核结果并清除后，后台预加载的下一审核页面即可替换为当前审核页面，以实现连续审核。

在一些审核场景中，若当前正在进行高危审核的其他服务端均处于满载状态(即均不具有空余空间的状态)时，服务器在接收到当前客户端的进图请求后，可以将高危审核队列中的数量大于其当前审核页面剩余容量的待审核图像分配至当前客户端，客户端即可将多余的未能显示在当前审核页面的待审核图像预加载至下一审核页面，以降低服务器的数据分配压力，保持审核的连续性。

本实施例中，作为一种方式，在步骤S203之后，还可以进行步骤S212。

步骤S212：在当前审核页面显示已显示的待审核图像的数量以及容量。

本实施例中，当前审核页面已显示的待审核图像的数量以及当前审核页面的容量，可以均显示在当前审核页面的非待审核图像显示区域，例如当前审核页面的顶端，以供审核人员随时获知当前的审核情况，并根据审核情况合理调整审核速度或当前审核页面的容量，以优化审核效率。

本实施例中，在当前审核页面不具有空余空间时，在步骤S204之后，还可以进行步骤S213。

步骤S213：暂停基于预设时间间隔向服务器请求获取待审核图像，直至当前审核页面具有空余空间。

本实施例中，在容器满屏(即当前审核页面不具有空余空间)时，客户端可以自动暂停根据预设时间间隔向服务器发送进图请求，以避免进图数量超额导致的不能及时审核等问题，降低服务器接收请求反馈图像的系统压力。

作为一种方式，自动刷新进图(基于预设时间间隔向服务器发送进图请求)的功能选项可以直接设置在当前审核页面的非待审核图像显示区域，以供审核人员随时根据需求进行开启或关闭自动刷新进图的功能。

本实施例中，在步骤S207判断请求获取的待审核图像的数量小于或等于当前审核页面的剩余容量时，可以进行步骤S214。

步骤S214：将请求获取的待审核图像显示在当前审核页面的空余空间。

本实施例中，作为一种方式，在步骤S207判断请求获取的待审核图像的数量等于当前审核页面的剩余容量时，再执行步骤S214的同时，也可以执行步骤S213，暂停自动刷新进图的功能。

请参照图5，本实施例中，在当前审核页面不具有空余空间时，即当前审核页面满屏时，还可以进行如图5所示的步骤。

步骤S215：在当前审核页面不具有空余空间时，记录满屏持续时间。

在一些实际审核场景中，由于人工审核并不能保证审核人员时刻都能够保持高的审核效率，也无法保证审核人员不会离开工位，因此可能会存在审核页面内的待审核图像堆满审核页面且审核进度长时间无法推进的情况。为避免这种情况，可以在当前审核页面满屏后，记录其满屏的持续时间，并根据满屏持续时间对当前审核页面上显示的待审核图像进行一些合理的处理。

步骤S216：当满屏持续时间超过预设满屏时长时，根据预设退回规则，将当前审核页面上显示的待审核图像退回服务器。

本实施例中，在满屏持续时间超过预设满屏时长时，可将当前审核页面上显示的待审核图像按照一定的预设退回规则，退回服务器中，以使服务器能够将退回的待审核图像继续分发至其他审核终端。

作为一种方式，根据预设退回规则退回待审核图像，可以是将当前审核页面上显示的未提交审核结果的待审核图像中，停留时间超过预设停留时长的待审核图像退回服务器，以避免长时间停留在当前审核页面的待审核图像无人及时审核的情况。

在一些实施方式中，预设满屏时长，以及预设停留时长，可以由人工审核的管理终端进行设定。例如，管理人员可以通过登录审核系统的管理帐号，并根据每个审核人员的实际情况(例如审核效率，是否经常离开工位等)，设定每个审核人员的审核帐号对应的预设满屏时长与预设停留时长。对于审核效率较低但工作态度端正的审核人员，由于其只是因为审核较慢但审核工作一直在推进，可以适当延长其预设满屏时长；对于经常在工作时间离开工位的审核人员，由于其一旦停止审核，就可以预知其会有一段时间一直无法推进审核进度，可以将其预设满屏时长缩短，以避免多余的等待时间，使没有进行审核的待审核图像尽快退回服务器重新进行分发。

在一些实施方式中，还可以对每个审核人员对应的审核帐号在一段时间内的审核正确率、审核效率等进行统计，并对每个审核帐号进行评分。在服务器对当前审核帐号登录的客户端分发待审核图像时，或客户端将待审核图像退回服务器中时，均可以根据当前审核帐号的评分，合理的进行待审核图像的分配与退回。例如，对于评分高的审核帐号，可以分配一些较复杂或难以进行违规判断的待审核图像，对于评分较低的审核帐号，则可以分配一些简单就能够判断其是否违规的待审核图像。其中，待审核图像的识别难度，可以根据机器审核中待审核图像与预存的违规图像的匹配程度进行量化，例如，匹配程度超过疑似违规阈值但是匹配程度较低的，可以认为识别难度较高；匹配程度超过疑似违规阈值且匹配程度较高的，可以认为是容易识别的图像。在一些实施方式中，还可以根据审核帐号的评分，开启或关闭其将待审核图像预加载至下一审核页面的权限。例如，对于评分较高的审核帐号，可以认为其对应的审核人员的审核能力较强，预加载的权限即可开启；对于评分较低的审核账号，可认为其对应的审核人员的审核效率过低，预加载的图像不能得到及时审核，可自动关闭其预加载的权限。

本申请又一个实施例提供的图像审核处理方法，相对于图3所示的图像审核处理方法，本实施例还进一步根据服务器下发的待审核图像的数量与当前审核页面剩余容量的关系，合理设计待审核图像的分配逻辑，确保最先产生的待审核图像能够优先审核，进一步提升了审核的及时性。

请参阅图6，图6示出了本申请一个实施例提供的图像审核处理装置300的模块框图。本实施例中，图像审核处理装置300可应用于审核终端，审核终端用于运行多媒体直播审核系统的客户端，客户端具有用于审核待审核图像的审核页面，待审核图像为筛选出的疑似违规的多媒体直播图像。下面将针对图7所示的模块框图进行阐述，图像审核处理装置300包括：判断模块310、请求模块320以及显示模块330，其中：

判断模块310，用于判断当前审核页面是否具有空余空间。进一步的，判断模块310包括：

尺寸获取单元，用于获取当前审核页面的页面尺寸以及预设的图像显示尺寸。

计算单元，英语根据页面尺寸以及图像显示尺寸，计算当前审核页面的容量，容量为当前审核页面能够容纳的待审核图像的数量。

数量获取单元，用于获取当前审核页面已显示的待审核图像的数量。

判断单元，用于根据已显示的待审核图像的数量以及容量，判断当前审核页面是否具有空余空间。

请求模块320，用于在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像。进一步的，请求模块320包括：

请求单元，用于在当前审核页面具有空余空间时，基于预设时间间隔向服务器发送进图请求，进图请求中包含当前审核页面的剩余容量的信息，剩余容量为当前审核页面的空余空间能够容纳的待审核图像的数量。

图像获取单元，用于获取服务器响应进图请求下发的待审核图像。在一些实施方式中，服务器响应进图请求下发的待审核图像的数量小于或等于当前审核页面的剩余容量。

显示模块330，用于将请求获取的待审核图像显示在当前审核页面的空余空间。进一步的，显示模块330包括：

数量判断单元，用于判断请求获取的待审核图像的数量是否大于当前审核页面的剩余容量，剩余容量为当前审核页面的空余空间能够容纳的待审核图像数量。

显示单元，用于当请求获取的待审核图像的数量大于当前审核页面的剩余容量时，根据预设规则，将请求获取的待审核图像中数量与剩余容量相等的部分图像显示在当前审核页面的空余空间。进一步的，显示单元包括：

时间子单元，用于获得请求获取的待审核图像的产生时间。

显示子单元，用于将请求获取的待审核图像中产生时间靠前的数量与剩余容量相等的部分图像优先显示在当前审核页面的空余空间。

进一步的，图像审核处理装置300还包括：

数量显示模块，用于在当前审核页面显示已显示的待审核图像的数量以及容量。

退回模块，用于将请求获取的待审核图像中没有在当前审核页面显示的多余待审核图像退回至服务器中的待审核图像队列。

预加载模块，用于将请求获取的待审核图像中没有在当前审核页面显示的多余待审核图像预加载至下一审核页面，下一审核页面用于在当前审核页面清屏后替换当前审核页面。

暂停模块，用于在当前审核页面不具有空余空间时，暂停基于预设时间间隔向服务器请求获取待审核图像，直至当前审核页面具有空余空间。

计时模块，用于在当前审核页面不具有空余空间时，记录满屏持续时间。

满屏退回模块，用于当满屏持续时间超过预设满屏时长时，根据预设退回规则，将当前审核页面上显示的待审核图像退回服务器，以使服务器将退回的待审核图像继续分发至其他审核终端。进一步的，满屏退回模块包括：

退回单元，用于将当前审核页面上显示的未提交审核结果的待审核图像中，停留时间超过预设停留时长的待审核图像退回服务器。

本申请一个实施例提供的图像审核处理装置，可在直播内容高危审核阶段，基于预设时间间隔向服务器自动请求获取待审核图像，减少了人工审核中手动请求的重复操作，可有效避免手动请求导致的高危审核时效的滞后，保持审核及时性，提高人工审核的效率。

请参阅图7，其示出了本申请实施例提供的一种电子设备100的结构框图。该电子设备100可以是个人电脑、智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件：处理器110、存储器120以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参阅图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质200中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质200可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质200包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质200具有执行上述方法中的任何方法步骤的程序代码210的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码210可以例如以适当形式进行压缩。

综上所述，本申请实施例提供的图像审核处理方法、装置、电子设备及计算机可读取存储介质，可先判断当前审核页面是否具有空余空间，并在当前审核页面具有空余空间时，基于预设时间间隔向服务器请求获取待审核图像，再将请求获取的待审核图像显示在当前审核页面的空余空间。本申请实施例可在直播内容高危审核阶段，基于预设时间间隔向服务器自动请求获取待审核图像，减少了人工审核中手动请求的重复操作，可有效避免手动请求导致的高危审核时效的滞后，保持审核及时性，提高人工审核的效率。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种图像审核处理方法，其特征在于，应用于审核终端，所述审核终端用于运行多媒体直播审核系统的客户端，所述客户端具有用于审核待审核图像的审核页面，所述待审核图像为筛选出的疑似违规的多媒体直播图像，所述方法包括：

获取当前审核页面的页面尺寸以及预设的图像显示尺寸；

根据所述页面尺寸以及所述图像显示尺寸，计算所述当前审核页面的容量，所述容量为所述当前审核页面能够容纳的待审核图像的数量；

获取所述当前审核页面已显示的待审核图像的数量；

根据所述已显示的待审核图像的数量以及所述容量，判断所述当前审核页面是否具有空余空间；

在当前审核页面具有空余空间时，基于预设时间间隔向服务器发送进图请求，所述进图请求中包含所述当前审核页面的剩余容量的信息，所述剩余容量为所述当前审核页面的空余空间能够容纳的待审核图像的数量；

获取所述服务器响应所述进图请求下发的待审核图像；

将请求获取的待审核图像显示在所述当前审核页面的空余空间。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述当前审核页面显示所述已显示的待审核图像的数量以及所述容量。

3.根据权利要求1所述的方法，其特征在于，所述服务器响应所述进图请求下发的待审核图像的数量小于或等于所述当前审核页面的剩余容量。

4.根据权利要求1所述的方法，其特征在于，所述将请求获取的待审核图像显示在所述当前审核页面的空余空间，包括：

判断请求获取的待审核图像的数量是否大于所述当前审核页面的剩余容量，所述剩余容量为所述当前审核页面的空余空间能够容纳的待审核图像数量；

当请求获取的待审核图像的数量大于所述当前审核页面的剩余容量时，根据预设规则，将请求获取的待审核图像中数量与所述剩余容量相等的部分图像显示在所述当前审核页面的空余空间。

5.根据权利要求4所述的方法，其特征在于，所述根据预设规则，将请求获取的待审核图像中数量与所述剩余容量相等的部分图像显示在所述当前审核页面的空余空间，包括：

获得请求获取的待审核图像的产生时间；

将请求获取的待审核图像中产生时间靠前的数量与所述剩余容量相等的部分图像优先显示在所述当前审核页面的空余空间。

6.根据权利要求4所述的方法，其特征在于，在所述根据预设规则，将请求获取的待审核图像中数量与所述剩余容量相等的部分图像显示在所述当前审核页面的空余空间之后，所述方法还包括：

将请求获取的待审核图像中没有在所述当前审核页面显示的多余待审核图像退回至所述服务器中的待审核图像队列。

7.根据权利要求4所述的方法，其特征在于，在所述根据预设规则，将请求获取的待审核图像中数量与所述剩余容量相等的部分图像显示在所述当前审核页面的空余空间之后，所述方法还包括：

将请求获取的待审核图像中没有在所述当前审核页面显示的多余待审核图像预加载至下一审核页面，所述下一审核页面用于在所述当前审核页面清屏后替换所述当前审核页面。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在当前审核页面不具有空余空间时，暂停基于预设时间间隔向服务器请求获取待审核图像，直至所述当前审核页面具有空余空间。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在当前审核页面不具有空余空间时，记录满屏持续时间；

当所述满屏持续时间超过预设满屏时长时，根据预设退回规则，将所述当前审核页面上显示的待审核图像退回所述服务器，以使所述服务器将退回的所述待审核图像继续分发至其他审核终端。

10.根据权利要求9所述的方法，其特征在于，所述根据预设退回规则，将所述当前审核页面上显示的待审核图像退回所述服务器，包括：

将所述当前审核页面上显示的未提交审核结果的待审核图像中，停留时间超过预设停留时长的待审核图像退回所述服务器。

11.一种图像审核处理装置，其特征在于，应用于审核终端，所述审核终端用于运行多媒体直播审核系统的客户端，所述客户端具有用于审核待审核图像的审核页面，所述待审核图像为筛选出的疑似违规的多媒体直播图像，所述装置包括：

尺寸获取模块，用于获取当前审核页面的页面尺寸以及预设的图像显示尺寸；

计算模块，用于根据所述页面尺寸以及所述图像显示尺寸，计算所述当前审核页面的容量，所述容量为所述当前审核页面能够容纳的待审核图像的数量；

数量获取模块，用于获取所述当前审核页面已显示的待审核图像的数量；判断模块，用于根据所述已显示的待审核图像的数量以及所述容量，判断所述当前审核页面是否具有空余空间；

请求模块，用于在当前审核页面具有空余空间时，基于预设时间间隔向服务器发送进图请求，所述进图请求中包含所述当前审核页面的剩余容量的信息，所述剩余容量为所述当前审核页面的空余空间能够容纳的待审核图像的数量；获取所述服务器响应所述进图请求下发的待审核图像；

显示模块，用于将请求获取的待审核图像显示在所述当前审核页面的空余空间。

12.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-10任一项所述的方法。

13.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。

Images