CN107580009A - 一种视频内容审核方法和系统 - Google Patents

Abstract

本发明公开了一种视频内容审核方法，包括：接收审核请求；将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对被审核文件进行分析；综合各进程的分析结果，判定该文件是否可疑；若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果；如果人工审核结果为违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源。

Description

一种视频内容审核方法和系统

技术领域

本发明涉及一种视频内容审核方法，具体涉及一个基于视频分析的自动化的分级的内容审核方法。

背景技术

传统的节目审核监督法规缺少与之相应的技术手段，“以人为主”的内容监管方法实际效果不佳。传统的内容审查是将制作好的节目磁带送到审查部门用人眼主观审查。这个过程中，节目的送审需要大量的人力，物力；对于海量的节目，该方式工作量过大，节目审查难以贯彻执行，使得一些不符合国家标准的节目鱼目混珠。

随着宽带流媒体技术的发展，网络流媒体势头正劲，这在一定程度上又加重了节目审核的复杂性和难度。节目发布形式和资源获取渠道的多样性都加重了节目审核的难度，仅靠人工审核已经远远不能适应社会的发展，不能满足群众文化的需要了。

发明内容

有鉴于此，本发明的一个目的是提供一种视频内容审核方法和系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明提供了一种视频内容审核方法，包括：

接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求；

将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；

如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对被审核文件进行分析；

综合各进程的分析结果，判定该文件是否可疑；

若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果；

如果人工审核结果为违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源。

本发明还提供了一种视频内容审核系统，包括审核管理调度单元、视频分析服务器集群和违禁内容检索集群，其中：

审核管理调度单元接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求，将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群；接收违禁内容检索集群返回的是否违禁的判断结果，如果是违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源；

视频分析服务器集群接收到待审核文件后，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对待审核文件进行分析；

违禁内容检索集群综合视频分析服务器集群中各进程的分析结果，判定该文件是否可疑；若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

附图说明

图1是本发明实施例一种视频内容审核方法流程图；

图2是本发明实施例一种视频内容审核系统方框图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明提供了一种视频内容审核方法，如图1所示，包括步骤：

步骤S101：接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求；

步骤S102：将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；

步骤S103：如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对被审核文件进行分析；

步骤S104：综合各进程的分析结果，判定该文件是否可疑；

步骤S105：若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果；

步骤S106：如果人工审核结果为违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源。

其中，在执行步骤S103时，视频分析服务器集群的各分析进程具体如下：

视频分析服务器可以采用逐帧分析、每10帧分析、每50帧分析、关键帧提取、自适应分析几种策略。逐帧分析就是对被审核文件的每一帧图片都进行特征提取、查询违禁图片数据库、保存查询结果；每10帧分析策略就是对被审核文件的10的整数倍的图片进行特征提取、查询违禁图片数据库、保存查询结果；每50帧分析策略就是对被审核文件的50的整数倍的图片进行特征提取、查询违禁图片数据库、保存查询结果；关键帧分析策略就是先对被审核文件进行关键帧的提取，将提取出的关键帧进行特征提取、查询违禁图片数据库、保存查询结果；自适应分析策略就是先对被分析文件每50帧进行分析，检查其查询结果，如果查询结果的匹配率高，则改为每20帧进行分析，如果持续很高，则改为逐帧进行分析，如果查询结果一直都很高，就可以断定该文件是违禁文件，直接向审核管理调度单元发送分析完毕消息，同时将查询结果返回给审核管理调度单元；

音频分析服务器可以采用逐帧分析、自适应分析几种策略。逐帧分析就是对被审核文件的每一段音频数据均进行分段、分类，提取特征数据，然后根据提取的特征数据查询违禁音频特征数据库，保存查询结果；自适应分析策略就是以10秒钟音频数据为一个单位，先每隔5个单位进行分析，检查其查询结果，如果查询结果的匹配率高，则改为每2个单位进行分析，如果持续很高，则改为每单位进行分析，如果查询结果一直都很高，就可以断定该文件是违禁文件，直接向审核管理调度单元发送分析完毕消息，同时将查询结果返回给审核管理调度单元；

字幕分析服务器可以采用逐帧分析、每10帧分析、每50帧分析、关键帧提取几种策略。逐帧分析就是对被审核文件的每一帧图片都进行特征提取、查询违禁字幕数据库、保存查询结果；每10帧分析策略就是对被审核文件的10的整数倍的图片进行特征提取、查询违禁字幕数据库、保存查询结果；每50帧分析策略就是对被审核文件的50的整数倍的图片进行特征提取、查询违禁字幕数据库、保存查询结果；关键帧提取策略就是先对被审核文件进行关键帧的提取，将提取出的关键帧进行特征提取、查询违禁字幕数据库、保存查询结果；如果发现检查结果持续很高，就可以断定该文件是违禁文件，直接向审核管理调度单元发送分析完毕消息，同时将查询结果返回给审核管理调度单元；

人脸识别分析服务器可以采用逐帧分析、跳帧分析、关键帧提取几种策略。逐帧分析就是对被审核文件的每一帧图片都进行人脸识别特征提取、查询违禁人脸数据库、保存查询结果；跳帧分析策略就是从被审核文件中每个一定数量的解码结果抽取一帧提箱进行人脸特征提取、查询违禁人脸特征数据库、保存查询结果；关键帧提取策略就是先对被审核文件进行关键帧的提取，将提取出的关键帧进行人脸识别特征提取、查询违禁人脸特征数据库、保存查询结果；如果发现检查结果持续很高，就可以断定该文件是违禁文件，直接向审核管理调度单元发送分析完毕消息，同时将查询结果返回给审核管理调度单元；

其中，在执行步骤S104时，可按照视频分析、音频分析、字幕分析、人脸识别分析的查询结果进行融合打分，各种分析的结果均有一个权重，视频分析结果的权重为0.2，音频分析结果的权重为0.2，字幕分析结果的权重为0.4，人脸识别分析结果的权重为0.2。审核管理调度模块将打分结果进行评估，如果总体评分超过一定阈值(该阈值可以由用户设置，默认值为0.7)，则认为被审核影片可疑，如果用户设定执行人工审核操作，则被审核文件的状态转变为可人工审核状态，否则被审核文件的状态变为可处理状态。

较佳地，在执行各步骤时，还维护文件审核状态。具体包括：初始化文件审核状态为待处理状态；当判定该文件是否可疑时，更新文件审核状态为可处理状态；当收到人工审核结果后，更新文件审核状态为处理完毕状态。

本发明提供了一种有效的视频内容审核方法，自动完成对视频内容的审核，大大提高了审核效率。

相应的，本发明实施例还提供了一种视频内容审核系统，如图2所示，包括审核管理调度单元201、视频分析服务器集群202和违禁内容检索集群203，其中：

审核管理调度单元201接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求，将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群202；接收违禁内容检索集群203返回的是否违禁的判断结果，如果是违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源；

视频分析服务器集群202接收到待审核文件后，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对待审核文件进行分析；

违禁内容检索集群203综合视频分析服务器集群中各进程的分析结果，判定该文件是否可疑；若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果。

较佳地，视频分析进程采用逐帧分析、每10帧分析、每50帧分析、关键帧提取或自适应分析的策略。

较佳地，音频分析进程采用逐帧分析或自适应分析的策略。

较佳地，字幕分析进程采用逐帧分析、每10帧分析、每50帧分析，或关键帧提取的策略。

较佳地，人脸识别分析进程采用逐帧分析、跳帧分析或关键帧提取的策略。

较佳地，所述综合各进程的分析结果包括：按照视频分析、音频分析、字幕分析和人脸识别分析的查询结果进行融合打分，各种分析的结果均具有一对应的权重；将打分结果进行评估，如果总体评分超过一定阈值，则认为被审核文件可疑。

较佳地，视频分析结果的权重为0.2，音频分析结果的权重为0.2，字幕分析结果的权重为0.4，人脸识别分析结果的权重为0.2。

较佳地，还包括一状态更新单元204，用于维护文件审核状态。

较佳地，所述状态更新单元204，初始化文件审核状态为待处理状态；当判定该文件是否可疑时，更新文件审核状态为可处理状态；当收到人工审核结果后，更新文件审核状态为处理完毕状态。

根据所述公开的实施例，可以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员来说，这些实施例的各种修改是显而易见的，并且这里定义的总体原理也可以在不脱离本发明的范围和主旨的基础上应用于其他实施例。以上所述的实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频内容审核方法，其特征在于，包括：

接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求；

将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；

如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对被审核文件进行分析；

综合各进程的分析结果，判定该文件是否可疑；

若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果；

如果人工审核结果为违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源。

2.如权利要求1所述的方法，其特征在于：

视频分析进程采用逐帧分析、每10帧分析、每50帧分析、关键帧提取或自适应分析的策略。

3.如权利要求1所述的方法，其特征在于：

音频分析进程采用逐帧分析或自适应分析的策略。

4.如权利要求1所述的方法，其特征在于：

字幕分析进程采用逐帧分析、每10帧分析、每50帧分析，或关键帧提取的策略。

5.如权利要求1所述的方法，其特征在于：

人脸识别分析进程采用逐帧分析、跳帧分析或关键帧提取的策略。

6.如权利要求1所述的方法，其特征在于，所述综合各进程的分析结果包括：

按照视频分析、音频分析、字幕分析和人脸识别分析的查询结果进行融合打分，各种分析的结果均具有一对应的权重；

将打分结果进行评估，如果总体评分超过一定阈值，则认为被审核文件可疑。

7.如权利要求6所述的方法，其特征在于：

视频分析结果的权重为0.2，音频分析结果的权重为0.2，字幕分析结果的权重为0.4，人脸识别分析结果的权重为0.2。

8.如权利要求1所述的方法，其特征在于，还包括维护文件审核状态。

9.如权利要求8所述的方法，其特征在于：

初始化文件审核状态为待处理状态；

当判定该文件是否可疑时，更新文件审核状态为可处理状态；

当收到人工审核结果后，更新文件审核状态为处理完毕状态。

10.一种视频内容审核系统，其特征在于，包括审核管理调度单元、视频分析服务器集群和违禁内容检索集群，其中：

审核管理调度单元接收网络流媒体(IPTV)审核请求，或者客户端可疑文件内容审核请求，将被审核文件的名称和网络路径名在已审核文件数据库中查询，如果发现有相同的记录，则表示该文件是违禁的，立即返回封杀消息；如果未发现相同的记录，将被审核文件通过视频分析接口派送到视频分析服务器集群；接收违禁内容检索集群返回的是否违禁的判断结果，如果是违禁，则将被审核文件信息保存到已审核文件数据库、将被审核文件上传到审核策略单元、封杀文件源；

视频分析服务器集群接收到待审核文件后，同时触发视频分析进程、音频分析进程、字幕分析进程和人脸识别分析进程对待审核文件进行分析；

违禁内容检索集群综合视频分析服务器集群中各进程的分析结果，判定该文件是否可疑；若认为可疑，则启动人工审核进程，为审核员提供播放文件的界面，接收审核员做出的对该文件是否违禁的人工审核结果。