CN109408669A - 一种针对不同应用场景的内容审核方法及装置 - Google Patents

Abstract

本发明涉及视频信息技术领域，尤其涉及一种针对不同应用场景的内容审核方法及装置，方法包括：获取多个不同应用场景的数据；根据多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型；根据用户需求和多个不同应用场景的场景模型，确定多个不同应用场景的审核策略；根据多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。本发明提供的方法可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。

Description

一种针对不同应用场景的内容审核方法及装置

技术领域

本发明涉及视频信息技术领域，尤其涉及一种针对不同应用场景的内容审核方法及装置。

背景技术

目前内容审核的需求主要集中于UGC、直播、视频网站等应用场景，然而不同的应用场景对审核尺度的要求不尽一致，这就对内容审核造成了不便，严重影响审核效率。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种针对不同应用场景的内容审核方法及装置。

本发明解决上述技术问题的技术方案如下：一种针对不同应用场景的内容审核方法，包括：

获取多个不同应用场景的数据；

根据多个所述不同应用场景的数据和通用内容审核模型，确定多个所述不同应用场景的场景模型；

根据用户需求和多个所述不同应用场景的场景模型，确定多个所述不同应用场景的审核策略，多个所述不同应用场景的审核策略分别对应不同的审核尺度；

根据多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

本发明的有益效果是：通过获取的多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型后，基于用户需求和这多个不同应用场景的场景模型，确定多个不同应用场景的审核策略，而这多个不同应用场景的审核策略分别对应不同的审核尺度，再根据这多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，从而可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，根据多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，包括：

确定所述待审核应用场景所属的应用场景；

从多个所述不同应用场景的审核策略中确定所述待审核应用场景所属应用场景对应的审核策略；

根据所述待审核应用场景所属应用场景对应的审核策略，对所述待审核应用场景的内容进行审核，并返回审核结果。

采用上述进一步方案的有益效果是：通过确定待审核应用场景所属的应用场景以及与之相对应的审核策略，可以更加方便快速的对待审核应用场景进行内容审核。

进一步地，所述方法还包括：

根据所述审核结果调整所述审核策略；

根据调整后的所述审核策略更新多个所述不同应用场景的审核策略。

采用上述进一步方案的有益效果是：通过审核结果去调整原有的审核策略并将其更新为调整之后的审核策略，可以不断的调整不同应用场景对应的审核策略，使得对内容审核的工作更加快捷有效。

进一步地，所述审核结果包括：拒绝、通过，或者，拒绝、审核、通过。

本发明为了解决上述技术问题还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一项实施例中的针对不同应用场景的内容审核方法。

本发明为了解决上述技术问题还提供一种针对不同应用场景的内容审核设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项实施例中的针对不同应用场景的内容审核方法的步骤。

本发明解决上述技术问题的另一种技术方案如下：一种针对不同应用场景的内容审核装置，包括：

获取模块，用于获取多个不同应用场景的数据；

处理模块，用于根据所述获取模块获取的多个所述不同应用场景的数据和通用内容审核模型，确定多个所述不同应用场景的场景模型，根据用户需求和多个所述不同应用场景的场景模型，确定多个所述不同应用场景的审核策略，多个所述不同应用场景的审核策略分别对应不同的审核尺度；

审核模块，用于根据所述处理模块确定的多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

本发明的有益效果是：处理模块通过获取模块获取的多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型后，基于用户需求和这多个不同应用场景的场景模型，确定多个不同应用场景的审核策略，而这多个不同应用场景的审核策略分别对应不同的审核尺度，审核模块再根据这多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，从而可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步地，所述审核模块具体用于确定所述待审核应用场景所属的应用场景，从多个所述不同应用场景的审核策略中确定所述待审核应用场景所属应用场景对应的审核策略，并根据所述待审核应用场景所属应用场景对应的审核策略，对所述待审核应用场景的内容进行审核，并返回审核结果。

进一步地，所述处理模块还用于，根据所述审核结果调整所述审核策略，并根据调整后的所述审核策略更新多个所述不同应用场景的审核策略。

进一步地，所述审核结果包括：拒绝、通过，或者，拒绝、审核、通过。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种针对不同应用场景的内容审核方法的示意性流程图；

图2为本发明另一实施例提供的一种针对不同应用场景的内容审核方法的示意性流程图；

图3为本发明另一实施例提供的一种针对不同应用场景的内容审核方法的示意性流程图；

图4为本发明实施例提供的一种针对不同应用场景的内容审核装置的示意性结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

如图1所示，一种针对不同应用场景的内容审核方法100，包括：

110、获取多个不同应用场景的数据。

120、根据多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型。

130、根据用户需求和多个不同应用场景的场景模型，确定多个不同应用场景的审核策略。其中，多个不同应用场景的审核策略分别对应不同的审核尺度。

140、根据多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

具体的，在该实施例中，多个不同的应用场景的内容可以包括：游戏、动漫、表情包和真人秀中的一种或者多种。而不同的应用场景对相同内容的审核尺度是不同的，而审核结果可以包括：拒绝、通过，或者，拒绝、审核、通过。

在本实施例中，通过获取的多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型后，基于用户需求和这多个不同应用场景的场景模型，确定多个不同应用场景的审核策略，而这多个不同应用场景的审核策略分别对应不同的审核尺度，再根据这多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，从而可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。

需要说明的是，在该实施例中，有多个不同的应用场景，每个应用场景包括多个内容，每个内容对应一个审核策略，每个审核策略对应一个审核尺度。

另外，在该实施例中，步骤110中的应用场景的数据是指应用场景的内容，也就是说，场景的内容就是数据，比如图片，采集一部分图片数据用来标注和训练。步骤120可以采用深度学习方法，比如CNN(卷积神经网络)，将每个应用场景的数据输入通用内容审核模型进行模型训练，得到每个应用场景的场景模型。

步骤130中，由于针对相同的内容在不同的场景下，用户需求不同，所以会有不同的审核策略。例如：针对“性感的图片”，在游戏场景(比如吃鸡游戏直播)下，用户通常对性感的容忍度会高一点，则对性感的图片可以返回通过；而儿童教育直播的场景下(比如vipkid)，用户不允许性感的图片出现，则对性感的图片需要返回拒绝。

可选地，在一个实施例中，如图2所示，步骤140可以包括：

141、确定待审核应用场景所属的应用场景。

142、从多个不同应用场景的审核策略中确定待审核应用场景所属应用场景对应的审核策略。

143、根据待审核应用场景所属应用场景对应的审核策略，对待审核应用场景的内容进行审核，并返回审核结果。

具体的，在该实施例中，若确定待审核应用场景所属的应用场景为直播场景，待审核应用场景的内容为游戏内容，则从多个不同应用场景的审核策略中选择直播场景对应的审核策略A，再根据审核策略A对直播场景的游戏内容进行审核，并返回审核结果。

可选地，在另一个实施例中，如图3所示，方法100还可以包括：

150、根据审核结果调整审核策略。

160、根据调整后的审核策略更新多个不同应用场景的审核策略。

具体的，在该实施例中，若根据审核策略A对直播场景的游戏内容进行审核，返回的审核结果为“拒绝”，则需要将审核策略A调整为审核策略A1，其中审核策略A1的审核尺度宽于审核策略A，并用审核策略A1替换审核策略A，完成多个不同应用场景的审核策略的更新。如此一来，当下一次待审核的应用场景为直播场景，待审核应用场景的内容为游戏内容时，可以直接使用审核策略A1进行审核，从而使得对内容审核的工作更加快捷有效。

应理解，在该实施例中，步骤140可以包括步骤141-143，为了描述的简洁，在此不再赘述。需要说明的是，上述实施例中仅是以直播场景的游戏内容为例，以其审核结果为“拒绝”举例说明本发明实施例的技术方案而已，并不对本发明实施例构成任何限定。

还应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现如上述任一项实施例的针对不同应用场景的内容审核方法。

本发明实施例还提供一种针对直播场景下的快速训练内容审核模型的设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一项实施例的针对不同应用场景的内容审核方法的步骤。

上文中结合附图1-3，对本发明实施例提供的一种针对不同应用场景的内容审核方法的技术方案进行了详细的描述，下面结合附图4对本发明实施例提供一种针对不同应用场景的内容审核练装置技术方案进行了详细的描述。

如图4所示，一种针对不同应用场景的内容审核装置200包括：获取模块210、处理模块220和审核模块230。其中，

获取模块210用于获取多个不同应用场景的数据。

处理模块220用于根据获取模块210获取的多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型，并根据用户需求和多个不同应用场景的场景模型，确定多个不同应用场景的审核策略。其中，多个不同应用场景的审核策略分别对应不同的审核尺度。

审核模块230用于根据处理模块220确定的多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

应理解，在本发明实施例中，根据本发明实施例的装置200，可对应于根据本发明实施例的方法的执行主体，并且该装置200中的各个器件的上述和其它操作和/或功能分别为了实现图1-3中的各个方法的相应流程，为了简洁，在此不再赘述。

在本实施例中，处理模块通过获取模块获取的多个不同应用场景的数据和通用内容审核模型，确定多个不同应用场景的场景模型后，基于用户需求和这多个不同应用场景的场景模型，确定多个不同应用场景的审核策略，而这多个不同应用场景的审核策略分别对应不同的审核尺度，审核模块再根据这多个不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，从而可以针对不同的应用场景提供不同的审核尺度，提高内容审核的效率。

可选地，在一个实施例中，审核模块230具体用于确定待审核应用场景所属的应用场景，从多个不同应用场景的审核策略中确定待审核应用场景所属应用场景对应的审核策略，并根据待审核应用场景所属应用场景对应的审核策略，对待审核应用场景的内容进行审核，并返回审核结果。

具体的，在该实施例中，假设审核模块230确定的待审核应用场景所属的应用场景为直播场景，待审核应用场景的内容为游戏内容，则从多个不同应用场景的审核策略中选择直播场景对应的审核策略A，再根据审核策略A对直播场景的游戏内容进行审核，并返回审核结果。

可选地，在另一个实施例中，处理模块220具体用于，根据审核结果调整审核策略，并根据调整后的审核策略更新多个不同应用场景的审核策略。

具体的，在该实施例中，假设处理模块220根据审核策略A对直播场景的游戏内容进行审核，返回的审核结果为“拒绝”，则需要将审核策略A调整为审核策略A1，其中审核策略A1的审核尺度宽于审核策略A，并用审核策略A1替换审核策略A，完成多个不同应用场景的审核策略的更新。如此一来，当下一次待审核的应用场景为直播场景，待审核应用场景的内容为游戏内容时，可以直接使用审核策略A1进行审核，从而使得对内容审核的工作更加快捷有效。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种针对不同应用场景的内容审核方法，其特征在于，包括：

获取多个不同应用场景的数据；

根据多个所述不同应用场景的数据和通用内容审核模型，确定多个所述不同应用场景的场景模型；

根据用户需求和多个所述不同应用场景的场景模型，确定多个所述不同应用场景的审核策略，多个所述不同应用场景的审核策略分别对应不同的审核尺度；

根据多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

2.根据权利要求1所述的方法，其特征在于，根据多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果，包括：

确定所述待审核应用场景所属的应用场景；

从多个所述不同应用场景的审核策略中确定所述待审核应用场景所属应用场景对应的审核策略；

根据所述待审核应用场景所属应用场景对应的审核策略，对所述待审核应用场景的内容进行审核，并返回审核结果。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述审核结果调整所述审核策略；

根据调整后的所述审核策略更新多个所述不同应用场景的审核策略。

4.根据权利要求1或2所述的方法，其特征在于，所述审核结果包括：拒绝、通过，或者，拒绝、审核、通过。

5.一种针对不同应用场景的内容审核装置，其特征在于，包括：

获取模块，用于获取多个不同应用场景的数据；

处理模块，用于根据所述获取模块获取的多个所述不同应用场景的数据和通用内容审核模型，确定多个所述不同应用场景的场景模型，并根据用户需求和多个所述不同应用场景的场景模型，确定多个所述不同应用场景的审核策略，多个所述不同应用场景的审核策略分别对应不同的审核尺度；

审核模块，用于根据所述处理模块确定的多个所述不同应用场景的审核策略对待审核应用场景的内容进行审核，并返回审核结果。

6.根据权利要求5所述的装置，其特征在于，所述审核模块具体用于确定所述待审核应用场景所属的应用场景，从多个所述不同应用场景的审核策略中确定所述待审核应用场景所属应用场景对应的审核策略，并根据所述待审核应用场景所属应用场景对应的审核策略，对所述待审核应用场景的内容进行审核，并返回审核结果。

7.根据权利要求5或6所述的装置，其特征在于，所述处理模块还用于，根据所述审核结果调整所述审核策略，并根据调整后的所述审核策略更新多个所述不同应用场景的审核策略。

8.根据权利要求5或6所述的装置，其特征在于，所述审核结果包括：拒绝、通过，或者，拒绝、审核、通过。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-4任一项所述的针对不同应用场景的内容审核方法。

10.一种针对不同应用场景的内容审核设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的针对不同应用场景的内容审核方法的步骤。