CN109948052A

CN109948052A - 一种互联网信息过滤审核系统、方法及装置

Info

Publication number: CN109948052A
Application number: CN201910175356.1A
Authority: CN
Inventors: 张鹏; 彭垚; 姚唐仁; 倪华健; 张晓腾; 宋云峰; 吕桂华
Original assignee: SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Current assignee: SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Priority date: 2019-03-08
Filing date: 2019-03-08
Publication date: 2019-06-28

Abstract

本发明实施例提出一种互联网信息过滤审核系统、方法及装置，涉及信息处理技术领域。所述系统包括：边缘节点过滤审核单元，对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果；中心过滤审核单元，对第一处理结果进行分类精细化审核，去除边缘节点过滤审核单元未能处理的冗余残留信息，然后统一归类，输出结果供用户使用。无须改变原有架构，降低了审核成本，同时提升了审核速度。

Description

一种互联网信息过滤审核系统、方法及装置

技术领域

本发明涉及信息处理技术领域，具体而言，涉及一种互联网信息过滤审核系统、方法及装置。

背景技术

当前对互联网上的大量信息(图片、视频、文本、语音等)进行内容审核时，一般采用人工智能方式进行处理，可以大大提高审核效率，提升审核效果的同事节省人力成本。

但是现有的产品、解决方案中为了满足可靠的召回率和精准度，实时的处理能力比较低，对于海量信息处理，比如用户自产生内容，专业生产内容，每天的图片、视频量在千万、上亿级别以上，如果需要完全的进行审核，需要大量的服务器硬件资源，如：带宽、流量等。商业价值及市场普及化受到一定的限制。另外在某些数据量庞大的存储场所，如IDC机房等，系统架构不变，如何不改变已有架构的情况下满足审核需求，也成为实施及推广的难点。

发明内容

本发明的目的在于提供一种互联网信息过滤审核系统、方法及装置，无须改变原有架构，降低了审核成本，同时提升了审核速度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种互联网信息过滤审核系统，所述系统包括：

边缘节点过滤审核单元，对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果；

中心过滤审核单元，对第一处理结果进行分类精细化审核，去除边缘节点过滤审核单元未能处理的冗余残留信息，然后统一归类，输出结果供用户使用。

进一步的，所述边缘节点过滤审核单元包括：

数据过滤清洗模块，将各个业务节点产生的海量数据进行过滤清洗，剔除无效、无用的数据内容；

信息数据池模块，将过滤后的信息数据进行分类；

深度学习网络模块，将信息数据池模块中的信息数据取出，使用定制的分类检测模型，进行加速处理；

内容检索信息分类模块，按照用户业务需求，检索出相应标签，归类成正常数据丢弃，提炼出违规信息和客户关注的业务标签信息，发送给所述中心过滤审核单元处理。

进一步的，所述边缘节点过滤审核单元还包括：用户自定义模块，用户可以通过该模块自定义信息数据池模块中的数据的标签。

第二方面，本发明实施例提供了一种互联网信息过滤审核方法，所述方法执行以下步骤：

对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果；

对第一处理结果进行分类精细化审核，去除边缘节点过滤审核单元未能处理的冗余残留信息，然后统一归类，输出结果供用户使用。

进一步的，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的方法执行以下步骤：

将各个业务节点产生的海量信息数据进行过滤清洗，剔除无效、无用的数据内容；

将过滤后的信息数据进行分类；

将信息数据池模块中的信息数据取出，使用定制的分类检测模型，进行加速处理；

按照用户业务需求，检索出相应标签，归类成正常数据丢弃，提炼出违规信息和客户关注的业务标签信息，发送给所述中心过滤审核单元处理。

进一步的，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的方法还包括：用户自定义信息数据中的数据的标签。

第三方面，本发明实施例提供了一种互联网信息过滤审核装置，所述装置是一种非暂时性的计算机可读存储介质，该存储介质存储了计算指令，其包括：对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段；对第一处理结果进行分类精细化审核，去除边缘节点过滤审核单元未能处理的冗余残留信息，然后统一归类，输出结果供用户使用的代码段。

进一步的，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段运行时，只想以下过程：将各个业务节点产生的海量信息数据进行过滤清洗，剔除无效、无用的数据内容；将过滤后的信息数据进行分类；将信息数据池模块中的信息数据取出，使用定制的分类检测模型，进行加速处理；按照用户业务需求，检索出相应标签，归类成正常数据丢弃，提炼出违规信息和客户关注的业务标签信息，发送给所述中心过滤审核单元处理。

进一步的，所述所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段运行时，还执行以下过程：用户自定义信息数据中的数据的标签。

本发明实施例提供的一种互联网信息过滤审核系统、方法及装置，具有以下有益效果：无需更改原先系统整体架构，统一进行人工智能模型计算，减轻整体计算资源、带宽流量、存储压力；高速过滤整体方案实现端到端的解决方案，可以将原先处理能力的能力提高约8～9倍左右，后端带宽流量降低到原先的10％，存储降低为原先的1/10，综合成本降低到原先的1/9；高速过滤内容审核系统可以对有害的数据信息(图片、图像、文本、语音等)进行分类打标，精细化提炼后，提供给用户。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的互联网信息过滤审核系统的系统结构示意图。

图2示出了本发明实施例提供的互联网信息过滤审核系统的边缘节点过滤审核单元的结构示意图。

图3示出了本发明实施例提供的互联网信息过滤审核系统的边缘节点过滤审核单元的另一结构示意图。

图4示出了本发明实施例提供的互联网信息过滤审核方法的方法流程示意图。

图5示出了本发明实施例提供的互联网信息过滤审核方法的另一方法流程示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1：

如图1所示，本发明实施例提供了一种互联网信息过滤审核系统，所述系统包括：

进一步的，所述边缘节点过滤审核单元包括：

信息数据池模块，将过滤后的信息数据进行分类；

具体地，信息数据池模块将过滤后的信息数据进行简单分类的类别涵盖图片、视频、文本、语音等不同文件类型，不同分类有不同的通道处理方式。例如视频文件会需要进行解码截帧处理，该模块对数据进行批量预处理，统一量化，便于后续的深度学习。

同时，深度学习网络模块将信息数据池模块信息数据池中的信息数据取出，使用定制的分类检测模型，进行加速处理。该模型的优点是轻量化，在保证不丢失信息的情况下，提升了每秒的处理性能。

另外，内容检索信息分类模块，整合了深度学习网络模块的分类检测信息结果，按照用户业务需求，检索出相应标签，归类成正常数据丢弃，提炼出违规信息，和客户关注的业务标签信息流入后端中心平台进行处理。

具体地，可以自定义视频中的粗略场景信息，如新闻视频，娱乐视频等不同自定义的信息类别，也可以配置后端业务需要内容审核或检索的场景，例如违法的黄色图片、推销小广告图片等不同自定义的信息类别，便于客户在后端进行精准快速处理。

具体地，可通过上一实施例中中的边缘节点审核过滤模块对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果；

边缘节点审核过滤模块可以理解为各业务场景节点处、各公司服务器节点处等。通过边缘节点，可以将多个目标网络数据直接或间接发送给用户。在边缘节点，将多个目标网络数据进行分类，从而得到多类目标网络数据。具体的，可以根据目标网络数据的类型进行分类，如目标网络数据的类型包括图片、视频、文本、语音等，然后将同类型的目标网络数据分成同一类目标网络数据，从而得到对应多种类型的多类目标网络数据。

将每类目标网络数据通过对应的检测模块进行审核，其中，可以一类目标网络数据对应一个检测模块，多类目标网络数据则具有对应的多个分类检测模型。当然，也可以两类或多类目标网络数据对应同一个分类检测模型，也可以一类目标网络数据对应一个或两个或多个分类检测模型。

将每类目标网络数据通过对应的分类检测模型进行审核，得到每个所述目标网络数据的审核标签。审核标签可以为合格标签和不合格标签。例如，分类检测模型检测到违法的黄色图片、推销小广告图片等数据时，对应的目标网络数据设置不合格标签。

最后从审核标签中确定出目标审核标签，然后将带有目标审核标签的目标网络数据输出至后端，以便后面的后端可以快速处理。目标网络数据的标签包括目标审核标签和非目标审核标签，可以将非目标审核标签对应的目标网络数据舍弃。本实施例无需更改原先系统整体架构，在边缘节点处进行智能化的信息处理，减轻后端整体计算、带宽流量压力。边缘节点处可以对有害的数据信息(图片、图像、文本、语音等)进行分类和加审核标签，方便后端进行业务审核。其中，目标审核标签可以是用户关注审核标签、违规信息标签、特定目标审核标签等中的至少一项，特定目标审核标签可以根据用户需要进行设定，如关于某部电影的审核标签、某个小说的审核标签、某个演员的审核标签、某个关键词的审核标签、某个图像对应的审核标签等等。

将过滤后的信息数据进行分类；

具体地，使用该互联网信息过滤审核装置，以每天1亿图片量审核，每张图片大小50KB，一秒钟1000张，峰值3000张的业务量来实测。对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段，所需带宽从1.2Gb/s降为120Mb/s，网络流量和存储从4.6TB降为 480GB，对应中心计算的服务器数量从原先的34台降为现在的4台。总的成本降低约1/9，对当前互联网的网络信息净化及监管普及起到很好的促进作用。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个单元、程序段或代码的一部分，所述单元、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能单元可以集成在一起形成一个独立的部分，也可以是各个单元单独存在，也可以两个或两个以上单元集成形成一个独立的部分。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM， Read-Onl8 Memor8)、随机存取存储器(RAM，Random Access Memor8)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims

1.一种互联网信息过滤审核系统，其特征在于，所述系统包括：

2.如权利要求1所述的互联网信息过滤审核系统，其特征在于，所述边缘节点过滤审核单元包括：

信息数据池模块，将过滤后的信息数据进行分类；

3.如权利要求2所述的互联网信息过滤审核系统，其特征在于，所述边缘节点过滤审核单元还包括：用户自定义模块，用户可以通过该模块自定义信息数据池模块中的数据的标签。

4.一种互联网信息过滤审核方法，其特征在于，所述方法执行以下步骤：

5.如权利要求4所述的互联网信息过滤审核方法，其特征在于，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的方法执行以下步骤：

将过滤后的信息数据进行分类；

6.如权利要求5所述的互联网信息过滤审核方法，其特征在于，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的方法还包括：用户自定义信息数据中的数据的标签。

7.一种互联网信息过滤审核装置，其特征在于，所述装置是一种非暂时性的计算机可读存储介质，该存储介质存储了计算指令，其包括：对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段；对第一处理结果进行分类精细化审核，去除边缘节点过滤审核单元未能处理的冗余残留信息，然后统一归类，输出结果供用户使用的代码段。

8.如权利要求7所述的互联网信息过滤审核装置，其特征在于，所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段运行时，只想以下过程：将各个业务节点产生的海量信息数据进行过滤清洗，剔除无效、无用的数据内容；将过滤后的信息数据进行分类；将信息数据池模块中的信息数据取出，使用定制的分类检测模型，进行加速处理；按照用户业务需求，检索出相应标签，归类成正常数据丢弃，提炼出违规信息和客户关注的业务标签信息，发送给所述中心过滤审核单元处理。

9.如权利要求8所述的互联网信息过滤审核装置，其特征在于，所述所述对数据进行过滤、清洗、分类、检测和检索处理，得到第一处理结果的代码段运行时，还执行以下过程：用户自定义信息数据中的数据的标签。