CN112819434A - 一种数据内容审核方法和装置 - Google Patents

Abstract

本发明提供一种数据内容审核方法和装置，方案包括：获取待审核业务内容；对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；调取与所述业务结构相匹配的审核策略；基于所述审核策略对所述待审核业务内容进行审核。在对待审核业务内容进行审核时，能够基于不同的待审核业务内容的业务结构，选择合适的审核策略，采用这些审核测量对所述待审核业务内容进行审核，能够基于待审核业务内容的业务结构的变化快速调整审核策略，实现了对待审核业务内容的快速、高效的审核。

Description

一种数据内容审核方法和装置

技术领域

本发明涉及数据处理技术领域，具体涉及一种持业务多样化媒体组合的数据内容审核方法和装置。

背景技术

在以用户为中心的互联网应用产品中，经常会提供用户自己生产发布内容，以及用户之间相互交流的基本功能。用户自己生产发布的内容媒体格式包括文本、语音、视频、图片等，发布内容的业务场景经常通常是多种媒体格式组合的情况。目前针对单一的媒体格式可以通过相应内容审核策略进行逐个内容审核，但这样在不同的业务场景中会有大量的相同格式内容的审核，并且无法应对业务的多变性。

例如，当前的业务场景下用户生产发布的内容有成长圈、评论等。成长圈中用户可以发布文本、图文、视频、音频混排的内容，评论主要是发布文本、图片、音频等单一内容。这两种业务场景允许发布的内容类型组合变动较频繁，每种类型的内容校验规则变动也比较大。同时其他业务场景也存在用户发布内容的情况，随时可能根据业务的需要对可能存在的用户发布的其他场景进行内容安全的接入。

当前对于内容审核的处理常用的方案是针对业务场景的特点进行不同格式的内容拆分，逐个进行审核，针对审核的结果进行逻辑控制。这种情况下业务若调整成长圈或评论的内容组合，则之前的内容安全审核将会失效。需要针对新的组合类型进行重新迭代上线支持。这样在业务快速发展的情况下很难高效的支持和响应。

发明内容

有鉴于此，本发明实施例提供一种数据内容审核方法和装置，以实现对待审核业务内容的快速、高效的审核。

为实现上述目的，本发明实施例提供如下技术方案：

一种数据内容审核方法，包括：

获取待审核业务内容；

对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

调取与所述业务结构相匹配的审核策略；

基于所述审核策略对所述待审核业务内容进行审核。

可选的，上述数据内容审核方法中，对所述待审核业务内容进行解析，包括：

基于预设时间间隔由上位系统中获取并存储业务元数据信息，基于获取到的业务元数据信息对待审核业务内容进行解析。

可选的，上述数据内容审核方法中，基于获取到的业务元数据信息对待审核业务内容进行解析，包括：

确定所述数据内容审核方法的应用系统的应用场景，获取并持久化存储与所述应用场景所匹配的审核策略，基于持久化存储的审核策略对待审核业务内容进行解析。

可选的，上述数据内容审核方法中，所述审核策略包括：

文本审核策略、图片审核策略、语音审核策略和/或视频审核策略。

可选的，上述数据内容审核方法中，基于所述审核策略对所述待审核业务内容进行审核，包括：

基于各个审核策略对所述待审核业务内容中对应的对应部分进行审核，判断所述待审核业务内容的各个部分是否均通过所述审核策略审核，如果否，向所述待审核业务内容的生成方反馈审核结果。

一种数据内容审核装置，包括：

业务采集单元，用于获取待审核业务内容；

业务解析单元，用于对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

策略选择单元，用于调取与所述业务结构相匹配的审核策略；

审核单元，用于基于所述审核策略对所述待审核业务内容进行审核。

可选的，上述数据内容审核装置中，对所述待审核业务内容进行解析，包括：

基于预设时间间隔由上位系统中获取并存储业务元数据信息，基于获取到的业务元数据信息对待审核业务内容进行解析。

可选的，上述数据内容审核装置中，基于获取到的业务元数据信息对待审核业务内容进行解析，包括：

确定所述数据内容审核方法的应用系统的应用场景，获取并持久化存储与所述应用场景所匹配的审核策略，基于持久化存储的审核策略对待审核业务内容进行解析。

可选的，上述数据内容审核装置中，所述审核策略包括：

文本审核策略、图片审核策略、语音审核策略和/或视频审核策略。

可选的，上述数据内容审核装置中，基于所述审核策略对所述待审核业务内容进行审核，包括：

基于各个审核策略对所述待审核业务内容中对应的对应部分进行审核，判断所述待审核业务内容的各个部分是否均通过所述审核策略审核，如果否，向所述待审核业务内容的生成方反馈审核结果。

基于上述技术方案，本发明实施例提供的上述方案中，在对待审核业务内容进行审核时，能够基于不同的待审核业务内容的业务结构，选择合适的审核策略，采用这些审核测量对所述待审核业务内容进行审核，能够基于待审核业务内容的业务结构的变化快速调整审核策略，实现了对待审核业务内容的快速、高效的审核。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的数据内容审核方法的流程示意图；

图2为本申请实施例公开的数据内容审核装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对于所需审核的数据内容的结构类型的多变性，本申请公开了一种数据内容审核方法，参见图1，该方法可以包括：

步骤S101：获取待审核业务内容；

在本方案中，本申请实施例公开的数据内容审核方法应用于内容安全平台端，用户在生成所需发布的待审核业务内容后，将该待审核业务内容推送至所述内容安全平台，所述待审核业务内容可以为单一格式的内容，例如，文本内容、图片内容、声音内容或是视频内容，也可以是混排后的内容，不同的场景所述待审核业务内容的构成形式不同。

步骤S102：对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

在本步骤中，对所述待审核业务内容进行解析，得到所述待审核业务内容的业务结构，即，通过解析可以得到该待审核业务内容包含的是文本内容、图片内容、声音内容还是视频内容；基于业务结构，将该待审核业务内容拆分成多个组成部分，在对所述待审核业务内容进行审核时，分别采用不同的审核策略对待审核业务内容不同的组成部分进行审核。

步骤S103：调取与所述业务结构相匹配的审核策略；

上一步骤通过对所述待审核业务内容进行解析，得到所述待审核业务内容的业务结构以后，基于业务结构调取所需的审核策略，例如，当所述待审核业务内容由文字、图片构成时，获取所述文字对应的审核策略以及所述图片的审核策略。

步骤S104：基于所述审核策略对所述待审核业务内容进行审核；

本步骤中，当确定用于对所述待审核业务内容相适配的审核策略以后，采用所述审核策略对所述待审核业务内容的各个部分进行审核，例如，采用文字审核策略对所述待审核业务内容中的文字部分进行审核，采用图片审核策略对所述待审核业务内容中的图片部分进行审核，采用声音审核策略对所述待审核业务内容中的声音部分进行审核，采用视频审核策略对所述待审核业务内容中的视频部分进行审核。

在本方案中，在对待审核业务内容进行审核时，能够基于不同的待审核业务内容的业务结构，选择合适的审核策略，采用这些审核测量对所述待审核业务内容进行审核，能够基于待审核业务内容的业务结构的变化快速调整审核策略，实现了对待审核业务内容的快速、高效的审核。

在本申请实施例公开的技术方案中，可以通过指定的统一的业务元数据信息(业务描述元数据)实现业务层与内容审核对业务的统一理解，可以通过所述业务元数据信息解析所述待审核业务内容的内容格式组合，在本申请另一实施例公开的技术方案中，可以基于设定时间间隔或者是基于设定时间由上位系统中获取业务元数据信息，将获取到的业务元数据信息从存储中加载到内存，内容安全平台可以基于内存中的业务元数据信息解析所述待审核业务内容的业务结构。

在本申请另一实施例公开的技术方案中，场景不同，所需审核的待审核业务内容的结构形式不同，例如，在有的场景下，所述待审核业务内容可以由文字和图片组成，在有的场景下，所述待审核业务内容可以由声音和文字组成，因此，在本方案中，应用本申请实施例提供的数据内容审核方法的内容安全平台，在由上位系统获取到审核策略以后，可以先确定所述数据内容审核方法的应用系统的应用场景，确定所述应用场景对应的审核策略，由获取到的审核策略中提取所述应用场景对应的审核策略，将提取到的审核策略持久化存储，基于该持久化存储的审核策略对待审核业务内容进行解析。

在本申请另一实施例公开的技术方案中，不同时间节点的审核策略不同，在本方案中，例如，在某一时间节点，词汇A为敏感词汇，B为非敏感词汇，而在另一时间节点，词汇A为非敏感词汇，B为敏感词汇，由此可知，在不同的时间节点需要采用不通的审核策略，由此，在本方案中可以基于预设时间间隔对存储的审核策略进行更新，以使得审核策略能够满足当前时段的审核需求。

在本申请实施例公开的技术方案中，由所述上位系统获取到的审核策略可以包括：文本审核策略、图片审核策略、语音审核策略和/或视频审核策略中的一种或多种的组合。

在本申请实施例公开的技术方案中，在基于所述审核策略对所述待审核业务内容进行审核时，需要采用不同的审核策略对所述待审核业务内容中的不同的组成结构部分进行审核，不同类型的审核策略对应不同类型的组成结构部分，只有当所述待审核业务内容中的各个组成结构部分均通过对应的审核策略时，才能判定该待审核业务内容审核通过，只要其中任意一项或多项组成结构部分没有通过对应的审核策略，就认为该待审核业务内容审核未通过，此时需要向所述待审核业务内容的生成方反馈审核结果。

本实施例中公开了一种数据内容审核装置，装置中的各个单元的具体工作内容，请参见上述方法实施例的内容，下面对本发明实施例提供的数据内容审核装置进行描述，下文描述的数据内容审核装置与上文描述的数据内容审核方法可相互对应参照。参见图2，该数据内容审核装置可以包括：

业务采集单元100，其与上述方法中步骤S101相匹配，用于获取待审核业务内容；

业务解析单元200，其与上述方法中步骤S102相匹配，用于对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

策略选择单元300，其与上述方法中步骤S103相匹配，用于调取与所述业务结构相匹配的审核策略；

审核单元400，其与上述方法中步骤S104相匹配，用于基于所述审核策略对所述待审核业务内容进行审核。

与上述方法相对应，所述业务解析单元200对所述待审核业务内容进行解析时，具体用于：

基于预设时间间隔由上位系统中获取并存储业务元数据信息，基于获取到的业务元数据信息对待审核业务内容进行解析。所述基于获取到的业务元数据信息对待审核业务内容进行解析，又具体可以为：

确定所述数据内容审核方法的应用系统的应用场景，获取并持久化存储与所述应用场景所匹配的审核策略，基于持久化存储的审核策略对待审核业务内容进行解析。

上述方案中，所述审核单元400在基于所述审核策略对所述待审核业务内容进行审核时，具体用于：

基于各个审核策略对所述待审核业务内容中对应的对应部分进行审核，判断所述待审核业务内容的各个部分是否均通过所述审核策略审核，如果否，向所述待审核业务内容的生成方反馈审核结果。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据内容审核方法，其特征在于，包括：

获取待审核业务内容；

对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

调取与所述业务结构相匹配的审核策略；

基于所述审核策略对所述待审核业务内容进行审核。

2.根据权利要求1所述的数据内容审核方法，其特征在于，对所述待审核业务内容进行解析，包括：

基于预设时间间隔由上位系统中获取并存储业务元数据信息，基于获取到的业务元数据信息对待审核业务内容进行解析。

3.根据权利要求2所述的数据内容审核方法，其特征在于，基于获取到的业务元数据信息对待审核业务内容进行解析，包括：

确定所述数据内容审核方法的应用系统的应用场景，获取并持久化存储与所述应用场景所匹配的审核策略，基于持久化存储的审核策略对待审核业务内容进行解析。

4.根据权利要求1所述的数据内容审核方法，其特征在于，所述审核策略包括：

文本审核策略、图片审核策略、语音审核策略和/或视频审核策略。

5.根据权利要求1所述的数据内容审核方法，其特征在于，基于所述审核策略对所述待审核业务内容进行审核，包括：

基于各个审核策略对所述待审核业务内容中对应的对应部分进行审核，判断所述待审核业务内容的各个部分是否均通过所述审核策略审核，如果否，向所述待审核业务内容的生成方反馈审核结果。

6.一种数据内容审核装置，其特征在于，包括：

业务采集单元，用于获取待审核业务内容；

业务解析单元，用于对所述待审核业务内容进行解析，获取所述待审核业务内容的业务结构；

策略选择单元，用于调取与所述业务结构相匹配的审核策略；

审核单元，用于基于所述审核策略对所述待审核业务内容进行审核。

7.根据权利要求6所述的数据内容审核装置，其特征在于，对所述待审核业务内容进行解析，包括：

基于预设时间间隔由上位系统中获取并存储业务元数据信息，基于获取到的业务元数据信息对待审核业务内容进行解析。

8.根据权利要求7所述的数据内容审核装置，其特征在于，基于获取到的业务元数据信息对待审核业务内容进行解析，包括：

确定所述数据内容审核方法的应用系统的应用场景，获取并持久化存储与所述应用场景所匹配的审核策略，基于持久化存储的审核策略对待审核业务内容进行解析。

9.根据权利要求6所述的数据内容审核装置，其特征在于，所述审核策略包括：

文本审核策略、图片审核策略、语音审核策略和/或视频审核策略。

10.根据权利要求6所述的数据内容审核装置，其特征在于，基于所述审核策略对所述待审核业务内容进行审核，包括：

基于各个审核策略对所述待审核业务内容中对应的对应部分进行审核，判断所述待审核业务内容的各个部分是否均通过所述审核策略审核，如果否，向所述待审核业务内容的生成方反馈审核结果。

Images