CN107580260A - 一种视频内容审核方法和系统 - Google Patents

Abstract

本发明公开了一种视频内容审核方法和系统，该方法包括：接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件；如果未查询到，则将该源文件保存在本地硬盘，将该源文件的描述性信息保存至策略管理数据库中，记录该源文件处理状态为未分析；对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；当全部分析进程均结束时，更改文件处理状态为可融合状态；对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。从而实现自动化审核内容。

Description

一种视频内容审核方法和系统

技术领域

本发明涉及一种视频内容审核方法，具体涉及一个基于视频分析的自动化的分级的内容审核方法。

背景技术

传统的节目审核监督法规缺少与之相应的技术手段，“以人为主”的内容监管方法实际效果不佳。传统的内容审查是将制作好的节目磁带送到审查部门用人眼主观审查。这个过程中，节目的送审需要大量的人力，物力；对于海量的节目，该方式工作量过大，节目审查难以贯彻执行，使得一些不符合国家标准的节目鱼目混珠。

随着宽带流媒体技术的发展，网络流媒体势头正劲，这在一定程度上又加重了节目审核的复杂性和难度。节目发布形式和资源获取渠道的多样性都加重了节目审核的难度，仅靠人工审核已经远远不能适应社会的发展，不能满足群众文化的需要了。

发明内容

有鉴于此，本发明的一个目的是提供一种视频内容审核方法和系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

本发明提供了一种视频内容审核方法，包括：

接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件；

如果未查询到，则将该源文件保存在本地硬盘，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；

当全部分析进程均结束时，更改文件处理状态为可融合状态；

对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩 处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。

本发明还提供了一种视频内容审核系统，包括：

策略管理数据库；

查询单元，用于在接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件，如果未查询到，发出存储指令和分析指令；

本地硬盘，用于在接收到存储指令后，将保存该源文件，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

分析单元，用于在接收到分析指令后，对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；当全部分析进程均结束时，更改文件处理状态为可融合状态，发出融合指令；

数据处理单元，用于根据融合指令对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

传输单元，用于将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。

为了上述以及相关的目的，一个或多个实施例包括后面将详细说明并在权利要求中特别指出的特征。下面的说明以及附图详细说明某些示例性方面，并且其指示的仅仅是各个实施例的原则可以利用的各种方式中的一些方式。其它的益处和新颖性特征将随着下面的详细说明结合附图考虑而变得明显，所公开的实施例是要包括所有这些方面以及它们的等同。

附图说明

图1是本发明实施例一种视频内容审核方法流程图；

图2是本发明实施例提供一种视频内容审核系统架构图；

图3为是本发明实施例提供的另一种视频内容审核系统架构图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技 术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明提供了一种视频内容审核方法，如图1所示，包括步骤：

步骤S101：接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件；

步骤S102：如果未查询到，则将该源文件保存在本地硬盘，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

步骤S103：对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；

步骤S104：当全部分析进程均结束时，更改文件处理状态为可融合状态；

步骤S105：对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

步骤S106：将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。

其中，在执行步骤S101时，策略生成流程的源文件有两种途径产生，一种是用户直接输入的违禁文件，一种是分级内容审核系统审核出的新的违禁文件，针对这两种不同的文件源，采用同一种策略生成流程进行处理。

其中，在执行步骤S102时，所述描述性信息包括策略ID、文件名称、文件类型、违禁级别、源文件地址、文件处理状态的中的一个或者多个。

其中，在执行步骤S103时，各分析进程接收到新任务后，对其进行处理，包括解码步骤、分析步骤和生成结果步骤，具体的各分析进程处理方法如下：

所述视频分析包括提取一段视频的关键帧，分析该关键帧的视频特征，保存该关键帧，生成XML文件，发出分析结束消息。

所述音频分析包括对一段音频文件分段和分类，提取音频特征，生成拼音图，今儿生成拼音串，生成XML文件，发出分析结束消息。

所述字幕分析包括间隔提取图像，通过判断该图像是否存在字幕、是否与前帧图像字幕相同、字幕背景判断几个步骤切割出含有字幕的图片，进而通过OCR技术进行汉字识别，产生字符串，生成XML文件，发出分析结束消息。

所述人脸识别分析包括提取正面清晰的人脸图像，提取特征数据，生成XML文件，发出分析结束消息。

其中，对于音频分析进程和人脸识别分析进程，会预先训练音频分析模型和人脸识别分析模式，并将音频分析模型和人脸识别分析模型提交至策略管理数据库中。

较佳地，考虑到对于一个任务，视频分析、音频分析、字幕分析、人脸识别分析的开始、结束时间并不相同，因此将文件的处理状态值的低8位分别表示以上几种状态：

开始视频分析状态用0x01表示；

开始音频分析状态用0x02表示；

开始字幕分析状态用0x04表示；

开始人脸识别分析状态用0x08表示；

视频分析结束状态用0x10表示；

音频分析结束状态用0x20表示；

字幕分析结束状态用0x40表示；

人脸识别结束状态用0x80表示；

当任务状态变化时，就加上新的状态值。例如开始视频分析，则文件状态值为0x01，再开始音频分析，则文件的状态值变为0x03。

较佳地，本发明实施例提供的审核策略可以分为两级，包括客户端级和服务器级，其中：

内容审核客户端对其播放的实时流文件或者本地文件进行审核，并且及时封杀违禁文件、上传可疑文件到内容审核服务器；

内容审核服务器处理内容审核客户端的审核请求，对视频和音频内容 进行分析、检索和评估，并且对播放违禁内容的节目源进行封杀。

分级内容审核系统服务器端的各个服务器共同完成内容审核、策略生成、策略更新、客户端监视几项功能。服务器端可以对实时电视流、网络流媒体、客户端上传文件进行内容审核。

相应的，本发明实施例还提供了一种视频内容审核系统，如图2所示，包括：

策略管理数据库201；

查询单元202，用于在接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件，如果未查询到，发出存储指令和分析指令；

本地硬盘203，用于在接收到存储指令后，将保存该源文件，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

分析单元204，用于在接收到分析指令后，对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；当全部分析进程均结束时，更改文件处理状态为可融合状态，发出融合指令；

数据处理单元205，用于根据融合指令对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

传输单元206，用于将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。

其中，所述描述性信息包括策略ID、文件名称、文件类型、违禁级别、源文件地址、文件处理状态的中的一个或者多个。

所述分析单元204包括一视频分析进程，具体包括提取一段视频的关键帧，分析该关键帧的视频特征，保存该关键帧，生成XML文件，发出分析结束消息。

所述分析单元204包括一音频分析进程，具体包括对一段音频文件分段和分类，提取音频特征，生成拼音图，今儿生成拼音串，生成XML文件，发出分析结束消息。

所述分析单元204包括一字幕分析进程，具体包括间隔提取图像，通 过判断该图像是否存在字幕、是否与前帧图像字幕相同、字幕背景判断几个步骤切割出含有字幕的图片，进而通过OCR技术进行汉字识别，产生字符串，生成XML文件，发出分析结束消息。

所述分析单元204包括一人脸识别分析进程，具体包括提取正面清晰的人脸图像，提取特征数据，生成XML文件，发出分析结束消息。

较佳地，所述文件处理状态值的低8位分别表示各分析进程的状态，包括：开始视频分析状态、开始音频分析状态、开始字幕分析状态、开始人脸识别分析状态、视频分析结束状态、音频分析结束状态、字幕分析结束状态和人脸识别结束状态；当各分析进程状态变化时，更新对应比特位的状态值。

较佳地，所述分析单元204预先训练音频分析模型，将音频分析模型提交至策略管理数据库中。

较佳地，所述分析单元204预先训练人脸分析模型，将人脸分析模型提交至策略管理数据库中。

本发明实施例还提供了另一种视频内容审核系统，如图3所示，包括客户端31和服务器32，所述服务器32中设置有上述策略管理数据库301、查询单元302、本地硬盘303、分析单元304、数据处理单元305和传输单元306。图3所示出的视频内容审核系统分为两级，包括客户端级和服务器级，其中：内容审核客户端对其播放的实时流文件或者本地文件进行审核，并且及时封杀违禁文件、上传可疑文件到内容审核服务器；内容审核服务器处理内容审核客户端的审核请求，对视频和音频内容进行分析、检索和评估，并且对播放违禁内容的节目源进行封杀。

根据所述公开的实施例，可以使得本领域技术人员能够实现或者使用本发明。对于本领域技术人员来说，这些实施例的各种修改是显而易见的，并且这里定义的总体原理也可以在不脱离本发明的范围和主旨的基础上应用于其他实施例。以上所述的实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频内容审核方法，其特征在于，包括：

接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件；

如果未查询到，则将该源文件保存在本地硬盘，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；

当全部分析进程均结束时，更改文件处理状态为可融合状态；

对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。

2.如权利要求1所述的方法，其特征在于：

所述描述性信息包括策略ID、文件名称、文件类型、违禁级别、源文件地址、文件处理状态的中的一个或者多个。

3.如权利要求1所述的方法，其特征在于：

所述视频分析包括提取一段视频的关键帧，分析该关键帧的视频特征，保存该关键帧，生成XML文件，发出分析结束消息。

4.如权利要求1所述的方法，其特征在于：

所述音频分析包括对一段音频文件分段和分类，提取音频特征，生成拼音图，今儿生成拼音串，生成XML文件，发出分析结束消息。

5.如权利要求1所述的方法，其特征在于：

所述字幕分析包括间隔提取图像，通过判断该图像是否存在字幕、是否与前帧图像字幕相同、字幕背景判断几个步骤切割出含有字幕的图片，进而通过OCR技术进行汉字识别，产生字符串，生成XML文件，发出分析结束消息。

6.如权利要求1所述的方法，其特征在于：

所述人脸识别分析包括提取正面清晰的人脸图像，提取特征数据，生成XML文件，发出分析结束消息。

7.如权利要求1所述的方法，其特征在于，审核分为两级，包括客户端级和服务器级，其中：

内容审核客户端对其播放的实时流文件或者本地文件进行审核，并且及时封杀违禁文件、上传可疑文件到内容审核服务器；

内容审核服务器处理内容审核客户端的审核请求，对视频和音频内容进行分析、检索和评估，并且对播放违禁内容的节目源进行封杀。

8.如权利要求1所述的方法，其特征在于：

所述文件处理状态值的低8位分别表示各分析进程的状态，包括：开始视频分析状态、开始音频分析状态、开始字幕分析状态、开始人脸识别分析状态、视频分析结束状态、音频分析结束状态、字幕分析结束状态和人脸识别结束状态；

当各分析进程状态变化时，更新对应比特位的状态值。

9.如权利要求1所述的方法，其特征在于，还包括：

预先训练音频分析模型，将音频分析模型提交至策略管理数据库中；

预先训练人脸分析模型，将人脸分析模型提交至策略管理数据库中。

10.一种视频内容审核系统，其特征在于，包括：

策略管理数据库；

查询单元，用于在接收到源文件后，在策略管理数据库中查询是否有与该源文件相同源地址或者相同名称的文件，如果未查询到，发出存储指令和分析指令；

本地硬盘，用于在接收到存储指令后，将保存该源文件，将该源文件的描述性信息保存至所述策略管理数据库中，记录该源文件处理状态为未分析；

分析单元，用于在接收到分析指令后，对该源文件进行视频分析、音频分析、字幕分析和人脸识别分析；当全部分析进程均结束时，更改文件处理状态为可融合状态，发出融合指令；

数据处理单元，用于根据融合指令对各分析进程输出的分析结果进行融合，包括数据汇聚、挖掘和压缩处理，将结果保存到客户端策略缓存文件中，生成新的版本号，将文件的处理状态设置为可上传状态；

传输单元，用于将融合后的文件通过违禁数据库接口入库到违禁内容检索集群中。