CN101076115A - 一种视频内容审核系统和方法 - Google Patents

Abstract

本发明公开了一种视频内容审核系统，该系统包括关键帧提取单元和图片浏览终端，其中：关键帧提取单元，用于从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧，再将提取的视频帧和所述相邻内帧发送到图片浏览终端；图片浏览终端，用于显示所提取的视频帧及相邻内帧以供人工浏览审核内容。本发明还公开了一种视频内容审核方法。应用本发明以后，无需播放视频就可以快速审核视频内容，降低了工作强度，极大地节约了成本。而且，在执行远程内容审核时，无须传输整个视频内容，只需要传输部分图片，因此本发明还极大地节省了网络传输带宽。

Description

一种视频内容审核系统和方法

技术领域

本发明涉及互联网(Internet)技术领域，更具体地，本发明涉及一种视频内容审核系统和方法。

背景技术

随着互联网宽带技术的发展，网络上的视频资源越来越丰富。近年来以视频为主要信息载体的视频分享网站也得到了迅猛的发展，在主流的视频分享网站上，每天的视频点击率可达上亿次，视频的上传量可达上万段。由于视频分享的巨大影响范围，对其内容的审核就必不可少。但对如此庞大的视频数量，如果通过人工一一观看来进行审核，无疑效率非常低下。因此迫切需要一种高效的视频内容审核系统来帮助视频内容的提供方或提供视频分享业务的网站进行内容审核。

网络上的视频资源都是以压缩方式提供的，近年来得到迅速发展的视频编码标准(如MPEG4、H264等)使得视频信息在网络上的高速传输和存储成为可能。在视频编码技术中，编码图像一般分为三种类型：内帧(I)、帧间帧(P)和双向帧(B)。内帧利用了空间相关性，采用与JPEG类似的方式对静止的图像进行编码。帧间帧利用了时间相关性，使用前面的帧作为参考帧进行预测。双向帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将产生残差数据，对残差数据进行DCT变换和量化，输出编码码流即完成视频压缩过程。

内帧又被称为关键帧，关键帧可以被独立解码，不需要参考其他帧的信息。因此在视频流中，关键帧可以被单独抽取出来，并且在视频编码的过程中，一般会选择将发生了场景变换的视频帧编码为关键帧，因此视频流中的关键帧可以最好地反映整段视频的内容概况。

虽然对大部分视频文件而言，编码图像的类型都是上述三种，但由于编码算法多种多样，因此视频文件的格式千差万别，因此大多数的视频分享网站都会将用户上传的视频统一转换成FLV格式。FLV是一种全新的流媒体视频格式，它利用了网页上广泛使用的Flash Player平台，将视频整合到Flash动画中，非常适于在网络上共享视频。因此，总结起来，视频分享需要经过用户上传、格式转换、内容审核等几个步骤，最后才能够在视频分享平台上提供，而其中内容审核对于大规模的视频分享网站而言是一项成本昂贵而又必不可少的环节。

目前的视频内容审核大部分以人工一一观看为主，缺少专门的视频内容审核系统。由于视频是以一定的帧率顺序播放的，观看视频速度慢，视频数量庞大时人力成本将非常高。

发明内容

有鉴于此，本发明的主要目的是提出一种视频内容审核系统，以节省成本。

本发明的另一目的是提出一种视频内容审核方法，以节省成本。

为达到上述目的，本发明的技术方案是这样实现的：

一种视频内容审核系统，该系统包括关键帧提取单元和图片浏览终端，其中：

关键帧提取单元，用于从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧，再将提取的视频帧和所述相邻内帧发送到图片浏览终端；

图片浏览终端，用于显示所提取的视频帧及相邻内帧以供人工浏览审核内容。

该系统进一步包括图片合成单元，

所述图片合成单元，用于将所述视频帧和相邻内帧合成为图片，并将所合成的图片发送到图片浏览终端，

所述图片浏览终端，用于显示所合成的图片以供人工浏览审核内容。

所述图片合成单元，用于将预定数量的视频帧和相邻内帧以N×N的方式缩放拼接成图片，并将所述缩放拼接后的图片发送到图片浏览终端；

所述图片浏览终端，用于显示所述缩放拼接后的图片以供人工浏览审核内容。

所述图片合成单元，用于将所有视频帧和相邻内帧都转换成缩略图，并将所述缩放图发送到图片浏览终端；

所述图片浏览终端，用于显示所述缩略图以供人工浏览审核内容。

关键帧提取单元从相邻内帧之间提取视频帧为：

该关键帧提取单元，按照预定的间隔从所述相邻内帧之间提取视频帧。

该系统还包括图像组GOP缓冲器和关键帧缓冲器，其中

GOP缓冲器，用于存储待审核视频数据流的两个相邻内帧之间的视频帧；

关键帧提取单元，用于从GOP缓冲器提取所述两个相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，再从所述GOP缓冲器提取所述相邻内帧之间的视频帧，再将提取的视频帧和所述相邻内帧发送到关键帧缓冲器；

关键帧缓冲器，用于存储由关键帧提取单元所提供的视频帧和内帧，并向图片浏览终端提供缓冲内容。

一种视频内容审核方法，该方法包括：

A、从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧；

B、显示所提取的视频帧及相邻内帧以供人工浏览审核内容。

步骤B包括：将所述视频帧和相邻内帧合成为图片，并显示所合成的图片以供人工浏览审核内容。

所述视频帧和相邻内帧合成为图片包括：

将预定数量的视频帧和相邻内帧以N×N的方式缩放拼接成图片，或者将所有视频帧和相邻内帧转换成缩略图。

步骤A中从相邻内帧之间提取视频帧为：

按照预定的间隔从所述相邻内帧之间提取视频帧。

从上述技术方案可以看出，在本发明提出的视频内容审核系统中，关键帧提取单元判断相邻内帧的直方图差值是否大于预定的阈值，如果大于则从相邻内帧之间提取视频帧，再将提取的视频帧和相邻内帧发送到图片浏览终端进行显示，以供人工浏览审核内容。由此可见，应用本发明以后，通过将动态视频流转换成几张静态的视频内容审核图片，而这些视频内容审核图片能够概括整段视频的内容，因此无需播放视频就可以审核视频内容，从而降低了工作强度，极大地节约了成本。

而且，在执行远程内容审核时，无须传输整个视频内容，只需要传输视频内容审核图片，因此本发明还极大地节省了网络传输带宽。

附图说明

图1为根据本发明的视频内容审核系统的示范性结构示意图；

图2为根据本发明实施例的视频内容审核系统的结构示意图；

图3为根据本发明实施例的图片传输示意图；

图4为根据本发明的视频内容审核方法的流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1为根据本发明的视频内容审核系统的示范性结构示意图。如图1所示，该视频内容审核系统100包括关键帧提取单元101和图片浏览终端102，其中：

关键帧提取单元101，用于从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧，再将提取的视频帧和所述相邻内帧发送到图片浏览终端102；

图片浏览终端102，用于显示所提取的视频帧以及相邻内帧以供人工浏览审核内容。

可以应用本发明对各种来源的视频数据进行内容审核。比如：当视频数据为用户上传的视频时，需要首先先对用户上传的视频进行解码，解码之后将得到原始的视频数据，然后对原始的视频数据进行二次编码，以转换成统一的FLV格式，在格式转换完成之后，由本发明的视频内容审核系统对视频的内容进行审核，如果内容合法则允许发布视频分享，如非法则拒绝发布。

关键帧提取单元101主要用于从视频流中提取出能够反应视频内容概况的若干视频帧。一个视频流由许多的已编码视频帧组成，将两个相邻的内帧(I)之间的视频帧定义为一个图像组(GOP)。从视频流中提取的关键帧必须能够反映视频的内容概况，关键帧的提取将和解码过程同步完成。在解码视频流的过程中，内帧(I帧)将作为候选关键帧，与上一个内帧进行比较，如果两个相邻的内帧之间发生了场景的明显变化，则可以从两个内帧之间按提取视频帧作为关键帧(其中，优选按一定的间隔提取视频帧作为关键帧)，候选的内帧也将作为关键帧，如果两个相邻的内帧之间没有发生场景的明显变化，则针对下两个相邻内帧继续进行下一轮比较。

其中，可以通过相邻内帧的直方图差值来判断是否发生了场景的明显变化。首先预先设定直方图差值阈值，当两个相邻内帧的直方图差值大于直方图差值阈值时，则认定发生了场景的明显变化，此时按照预先设定间隔提取视频帧作为关键帧，并且相邻的内帧也将作为关键帧。

优选地，该系统进一步包括图片合成单元，

所述图片合成单元，用于将关键帧提取单元101所提取的所述视频帧和相邻内帧合成为图片，并将所合成的图片发送到图片浏览终端，此时

所述图片浏览终端102，用于显示所合成的图片以供人工浏览审核内容。

其中，作为本发明的一个示例，图片合成单元，可以用于将预定数量的视频帧和相邻内帧(例如16张)以N×N的方式缩放拼接成一张图片，并将所述缩放拼接后的图片发送到图片浏览终端102。

作为本发明的另一个示例，图片合成单元也可以将这些图片一一对应地转换成缩略图的形式。转换成的内容审核图片将包含与原始视频段相对应的信息。作为本发明的再一个示例，还可以在文件名中包含与原始视频段的对应关系。

图片合成单元在转换完成之后，需要将图片传给图片浏览终端102进行处理。其中，图片浏览终端102可以和所述图片合成单元、关键帧提取单元101位于同一装置设备中，也可以通过互联网等网络相连接。当通过网络连接时，为利于网络传输，优选首先对图片进行压缩以节省带宽，然后再将压缩完的图片再传给图片浏览终端102进行处理。

根据上述分析，本发明可以有多种实施方式。比如，可以在系统架构中增加GOP缓冲器和关键帧缓冲器。

图2为根据本发明实施例的视频内容审核系统的结构示意图。如图2所示，该系统200包括GOP缓冲器201、关键帧提取单元202、关键帧缓冲器203和图片浏览终端204，其中：GOP缓冲器201，用于存储待审核视频数据流的两个相邻内帧之间的视频帧；

关键帧提取单元202，用于从GOP缓冲器201提取所述两个相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，再从所述GOP缓冲器201提取所述相邻内帧之间的视频帧，再将提取的视频帧和所述相邻内帧发送到关键帧缓冲器203；

关键帧缓冲器203，用于存储由关键帧提取单元202所提供的视频帧和内帧，并向图片浏览终端204提供缓冲内容；

图片浏览终端204，用于从关键帧缓冲器203提取视频帧以及相邻内帧并予以显示，以供人工浏览审核内容。

类似地，该系统200还可以进一步包括图片合成单元，图片合成单元位于关键帧缓冲器203和图片浏览终端204之间，

所述图片合成单元，用于将关键帧缓冲器203中的视频帧和相邻内帧合成为图片，并将所合成的图片发送到图片浏览终端204，此时

所述图片浏览终端204，用于显示所合成的图片以供人工浏览审核内容。

其中，作为本发明的一个示例，图片合成单元，可以用于将预定数量的视频帧和相邻内帧(例如16张)以N×N的方式缩放拼接成一张图片，并将所述缩放拼接后的图片发送到图片浏览终端204。

作为本发明的另一个示例，图片合成单元还可以将这些图片一一对应地转换成缩略图的形式。转换成的内容审核图片将包含与原始视频段相对应的信息。作为本发明的再一个示例，还可以在文件名中包含与原始视频段的对应关系。

总之，图片合成单元在转换完成之后，将图片传给图片浏览终端204进行处理。其中，图片浏览终端204可以和所述图片合成单元、关键帧提取单元202位于同一装置设备中，也可以通过互联网等网络相连接。当通过网络连接时，为利于网络传输，优选将对图片进行压缩，压缩完的图片再传给图片浏览终端204进行处理。

当需利用网络连接将图片传输到图片浏览终端204时，图片浏览终端204可以在一个或若干个相对集中的位置，此时可以利用专门用于传输功能的内容传输服务器将待审核图片传输到图片浏览终端，以便人工进行集中处理。

图3为根据本发明实施例的图片传输示意图，其中图片浏览终端集中放置，接收由各视频审核系统通过内容传输服务器传输来的图片。

图片浏览终端204的功能是接收内容审核图片并进行显示，作为本发明的一个示例，显示的方式可以是将内容审核图片以幻灯片的方式进行播放，从而内容审核人员可以快速地浏览这些幻灯片，在一个视频段对应的一组内容审核图片播放完之后，内容审核人员还可以输入审核结果。

审核结果将由系统传送给视频分享数据库或其他存放原始视频的位置，从而决定该视频是否能够发布。

本发明还提出了一种视频内容审核方法。图4为根据本发明的视频内容审核方法的流程示意图。如图4所示，该方法包括：

步骤401：从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧；

在这里，优选按照预定的间隔从所述相邻内帧之间提取视频帧。

步骤402：显示所提取的视频帧以及相邻内帧以供人工浏览审核内容。

其中，步骤402可以包括：

将所述视频帧和相邻内帧合成为图片，并显示所合成的图片以供人工浏览审核内容。而且，具体可以为：将预定数量的视频帧和相邻内帧以N×N的方式缩放拼接成图片，或者将所有视频帧和相邻内帧转换成缩略图。

对应于图4所示流程以及图2所示系统结构，本发明的具体实施可以包括：

第一步：始化GOP帧缓冲器以存储一个GOP中的所有解码后的视频帧，并且初始化图片审核缓冲器以存储用于内容审核的视频帧。

第二步：从视频流中读取一个已编码的视频帧，判断它是否是一个GOP的第一个内帧；如果是，则将其解码并加入到图片审核缓冲器中，继续第三步，如果不是，则读取下一个已编码的视频帧，重复第二步。

第三步、判断视频文件是否结束，如果是，则全部步骤结束，否则读取下一个已编码的视频帧并解码，判断它是否是该GOP的第二个内帧，如果是，则继续第四步，如果否，则将解码后的视频帧存入到GOP帧缓冲器中，重复第三步。

第四步、从图片审核缓冲器中读取前一个内帧，计算第一个内帧和第二个内帧的直方图H_Prev和H_Curr，然后计算它们的差值：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|$

如果Diff大于阈值T(作为本发明的一个示例，阈值T可以为0.4×图像高度×图像宽度)，则从GOP缓冲器中按一定的间隔(作为本发明的一个示例，该间隔可以为GOP长度的1/5)读取出视频帧，并存入到图片审核缓冲器中，继续第五步，如果Diff小于阈值T，则直接进入第五步；

第五步、清空GOP缓冲器，重复第三步。

因此，在全部步骤完成之后，图片审核缓冲器中存储的视频帧就是用来进行视频内容审核的关键帧，它们反映了全部视频段的内容概况。

视频内容的审核对于大规模的视频分享平台而言是一个必不可少的环节，而利用人工一一观看视频来进行内容审核效率非常低下。优选地，可以将本发明应用到视频分享平台中。本发明将动态视频流转换成几张静态的视频内容审核图片，这些图片概括了整段视频的内容，因此无需播放视频就可以快速进行审核。

此外，由于审核图片与原始视频相比，数据量非常小，可以方便地传输至远程图片浏览终端，便于在集中的位置进行人工审核。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种视频内容审核系统，其特征在于，该系统包括关键帧提取单元和图片浏览终端，其中：

关键帧提取单元，用于从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧，再将提取的视频帧和所述相邻内帧发送到图片浏览终端；

图片浏览终端，用于显示所提取的视频帧及相邻内帧以供人工浏览审核内容。

2、根据权利要求1所述的视频内容审核系统，其特征在于，该系统进一步包括图片合成单元，

所述图片合成单元，用于将所述视频帧和相邻内帧合成为图片，并将所合成的图片发送到图片浏览终端，

所述图片浏览终端，用于显示所合成的图片以供人工浏览审核内容。

3、根据权利要求2所述的视频内容审核系统，其特征在于，

所述图片合成单元，用于将预定数量的视频帧和相邻内帧以N×N的方式缩放拼接成图片，并将所述缩放拼接后的图片发送到图片浏览终端；

所述图片浏览终端，用于显示所述缩放拼接后的图片以供人工浏览审核内容。

4、根据权利要求2所述的视频内容审核系统，其特征在于，

所述图片合成单元，用于将所有视频帧和相邻内帧都转换成缩略图，并将所述缩放图发送到图片浏览终端；

所述图片浏览终端，用于显示所述缩略图以供人工浏览审核内容。

5、根据权利要求2所述的视频内容审核系统，其特征在于，

关键帧提取单元从相邻内帧之间提取视频帧为：

该关键帧提取单元，按照预定的间隔从所述相邻内帧之间提取视频帧。

6、根据权利要求1所述的视频内容审核系统，其特征在于，该系统还包括图像组GOP缓冲器和关键帧缓冲器，其中

GOP缓冲器，用于存储待审核视频数据流的两个相邻内帧之间的视频帧；

关键帧提取单元，用于从GOP缓冲器提取所述两个相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，再从所述GOP缓冲器提取所述相邻内帧之间的视频帧，再将提取的视频帧和所述相邻内帧发送到关键帧缓冲器；

关键帧缓冲器，用于存储由关键帧提取单元所提供的视频帧和内帧，并向图片浏览终端提供缓冲内容。

7、一种视频内容审核方法，其特征在于，该方法包括：

A、从待审核视频数据流中提取相邻内帧，并当所述相邻内帧的直方图差值大于预定的阈值时，从所述相邻内帧之间提取视频帧；

B、显示所提取的视频帧及相邻内帧以供人工浏览审核内容。

8、根据权利要求7所述的视频内容审核方法，其特征在于，步骤B包括：将所述视频帧和相邻内帧合成为图片，并显示所合成的图片以供人工浏览审核内容。

9、根据权利要求7所述的视频内容审核方法，其特征在于，所述视频帧和相邻内帧合成为图片包括：

将预定数量的视频帧和相邻内帧以N×N的方式缩放拼接成图片，或者将所有视频帧和相邻内帧转换成缩略图。

10、根据权利要求7所述的视频内容审核方法，其特征在于，步骤A中从相邻内帧之间提取视频帧为：

按照预定的间隔从所述相邻内帧之间提取视频帧。

Images