CN101540907A - 互联网视频安全审查的方法 - Google Patents

Abstract

本发明公开了一种利用计算机系统进行互联网视频安全审查的方法，通过对样本画面或视频的特征进行提取，形成数字基因，每一个基因代表具备类似特征的所有样本，从而通过抽象化提高了样本的有效性和利用率。在检测比对的过程中，由于采用切片和筛选、最大样本初次检测比对、最小样本二次检测比对、反馈结果并报警四步检测方法，首先进行筛选，然后经过快速大范围比对，减少了要检测的视频画面，之后再经过针对性的检测，从而大大提供的审查的效率，也增强了审查的准确性、有效性和全面性。

Description

互联网视频安全审查的方法

技术领域

本发明涉及一种利用计算机系统进行互联网视频安全审查的方法。

背景技术

随着宽带技术的发展，基于Web 2.0技术的用户生产内容(UGC)的模式，导致互联网视频呈爆炸性增长趋势，对视频内容的审查和互联网安全带来了极大的挑战。在广播电视模式下，所有视频内容由电视台自己或合作生产，并经过编辑、总编层层把关，内容的安全性、合法性得到了保障。而Web 2.0模式下，用户(网民)的创作欲望被激发，在互联网站上提供了大量的视频内容。但同时也有少数人，有意或无意的上传不安全或非法的视频内容，包括盗版、色情、暴力以及其他违反法律的内容，这些内容虽然数量少，但传播速度快，给社会造成的不良影响是巨大的。数量庞大、不可控、不可预测，这就是进行互联网视频安全审查的特点。

传统的安全审查方法就是编辑人工或半人工操作，即通过计算机系统对每条视频片段进行回放，通过回放以肉眼的方式发现视频中的问题。在旧有的内容生产可控形势下，传统审查方法足以应付，但在互联网视频审查领域，这种方法存在如下明显的问题：(1)手工操作效率低；(2)对编辑要求高，工作压力大；(3)准确率极低；(4)发现和检测的范围非常小。由于编辑人员不清楚问题存在什么地方，因此需要从头到尾回放，并且不止回放一遍。另外，编辑人员知识有限、记忆力有限，即使看到有安全隐患的内容，比如盗版，也不能发现。

现今对互联网视频的安全审查还没有有效方法，我们借鉴互联网病毒检测的方法(提取病毒、木马特征建立病毒库，采用样本匹配方式进行检测)，对各类不良视频提取特征并数字化为数字基因，建立数字基因库，然后采用数字基因匹配的方法检测互联网视频中的安全问题。

发明内容

本发明提供了一种采用计算机系统进行互联网视频安全审查的方法，本方法采用关键帧提取、计算图像纹理特征等技术来建立不良视频的数字基因库，并通过目标视频和数字基因库的样本匹配，来发现目标视频中的安全问题。本方法具备一定得准确性、有效性和全面性，为互联网视频安全审查提供了一种有效手段。

本发明的技术方案包括基因库建立和目标样本匹配两个方面：

(一)数字基因库的建立

数字基因表征了某个或某类不良视频，通过提取视频关键帧，计算画面纹理特征来建立视频数字基因库。数字基因库的建立包括1)抽取关键帧、2)计算画面纹理特征、3)特征数字化、4)基因入库这四个步骤。

(二)目标样本匹配

目标指需要被检测的视频片段，样本指数字基因库里不良视频基因，通过将目标视频的特征与数字基因库里的样本特征进行对比匹配，来发现隐藏在目标和样本之间的关系。该检测方法包括以下步骤：(1)切片、(2)抽取关键帧、(3)提取特征、(4)最大样本初次检测比对、(5)最小样本二次检测比对、(6)反馈结果并告警。目标样本匹配法将外部的目标视频文件作为输入，首先采用切片的方法进行预处理，然后通过关键帧来提取画面特征，并分别采用最大样本初次检测匹配和最小样本二次检测匹配，逐步缩小检测范围，最后得出反馈结果，如果存在安全问题则进行告警。

有益效果：本方法采用数字基因技术，将有害的或其他非安全的视频进行基因提取，然后将此数字基因存储于基因库，基因库样本的多少决定了审查结果是否充分。这种方式类似于计算机病毒的检查，都是基于样本库的。由于采用数字基因，每个基因代表了具备某些特征的一系列画面内容，并且数字基因经过数字化，检索和匹配的效率非常高。另外，本方法采用最大样本和最小样本两次匹配检测，逐步缩小比对范围，不但提高了工作效率，也增强了审核的效果，从而解决了传统方法中效率低、审查不全面、不能计算机化等一系列问题。

附图说明

图1为本发明的流程框图——建立数字基因库的流程；

图2为视频数字基因结构；

图3为本发明的流程框图——目标样本匹配的流程；

具体实施方式

下面结合附图对本发明作进一步说明。

本发明的利用计算机系统进行互联网视频安全审查的方法，采用数字基因技术，通过对目标互联网视频进行特征提取，并与数字基因库里的样本进行比对，从而判定该互联网视频是否存在安全问题。由于采用数字基因，每个基因代表了具备某些特征的某个后某类画面内容，并且数字基因经过数字化，检索和比对的效率非常高。另外，本方法采用的目标样本匹配检测方法，每个步骤都逐一缩小比对范围，不但提高了工作效率，也增强了审核的效果，从而解决了传统方法中的一系列问题。

建立数字基因库的流程如图1，具体实施方式为：

(1)抽取关键帧

将需要被样本化的视频输入计算机系统，并为此视频分配一唯一ID(32字符的MD5散列值，占用32字节)，以便于引用。关键帧提取程序以数据流的方式读取样本视频到一缓存区，然后提取数据流中的视频部分，并剔除音频部分不予处理。接下来根据视频编码格式，读取视频连续帧中的I帧，即关键帧，并保存此关键帧数据到计算机系统中某个目录，保存格式为jpg图像格式，以便后续处理。

这里视频格式通常为MPEG系列标准格式，包括MPEG/MPEG2/MPEG4/MPEG AVC等，这些格式的视频帧包括I帧、P帧和B帧，并且都有相应的工具可以很方便的提取I帧(关键帧)并保存为图片格式，关于MPEG标准请参考ISO13818系列规范文档。如果是其他格式的视频，这些格式标准也会有相应的工具用来抽取关键帧，并保存为图片文件。

通过本步骤处理，一个视频片段被转换为若干关键帧图片，并保存在计算机系统待处理区域中，从而大大缩小了需要数据处理的信息量。

(2)计算画面纹理特征

完成关键帧抽取操作后，纹理特征计算程序从待处理区域顺次读取这些关键帧图像文件，然后根据纹理特征算法计算每一幅关键帧图像的纹理特征。视频数字基因结构如图2所示，其中纹理特征计算程序的原理为：

2.1)将待处理区域中所有的图像文件的路径加载到计算机系统缓存区，构成图像文件路径的列表，并根据图像文件数创建一个纹理特征数据结构的数组，用来保存每一个图像文件的纹理结构；

2.2)顺次取出文件路径列表中的某个文件路径，创建文件标识符(计算机指针)并读取该图像文件到缓存区中；

2.3)将文件标识符作为参数传递给纹理特征算法函数，该函数能寻址到这个图像文件的二进制结构；

2.4)纹理特征算法函数开始工作，输出该图像的纹理特征，该纹理特征为一个包含六个值的数据结构，这六个值为：平均灰度值，标准差(对比度)，平滑度，直方图偏斜度(三阶矩)，均衡度(惯性矩)，纹理熵；

2.5)将此纹理特征数据结构作为一个元素保存到1)中创建的数组中；

2.6)按顺序循环执行上述2)-5)步骤，至此，该样本视频所有关键帧的纹理特征均已经记录在数组中了，保存在计算机内存。

图像纹理特征的算法已经有较多的实现，比如matlab函数库中的statxture函数，这里不对这个算法深入阐述，具体实施时选用matlab函数库或者其他类似函数库即可，或者自己编程实现。

(3)特征数字化

本步骤将上述步骤生成的纹理特征数据结构的数组进行数字化(或称序列化)，以便于存储到数据库并作为数字基因使用，具体操作方法为：

3.1)在计算机系统中创建一个可自增长的缓存数据块，用来作为数字化的临时工作区；

3.2)将样本视频的32字符ID值写入数据库的前32字节；

3.3)接下来4个字节用来保存关键帧图像数量n；

3.4)接下来4n个字节分别用来保存每个纹理特征数据结构的偏移量，每个偏移量数值由4个字节来表示，有足够的空间来保存各个关键帧的纹理特征数据结构。以上36+4n个字节为数字基因的头部信息，之后为数字基因的数据部分；

3.5)接下来顺次保存n个纹理特征的数据结构，每个纹理特征的数据结构为6个特征值：平均灰度值，标准差(对比度)，平滑度，直方图偏斜度(三阶矩)，均衡度(惯性矩)，纹理熵；

3.6)6个特征值的保存方法为：前24个字节定义每个特征二进制数据值的偏移量，每个偏移量的值为4字节，后面的数据就是这些6个特征值的二进制表示。

这样，这个样本视频所有关键帧图像的纹理特征结构数据都已经完成数字化和序列化，可以从内存区送入持久存储(文件或数据库)。

(4)数字基因入库

数字化完成之后，这个数字基因才能够存储入数据库，这个数据库就是数字基因库的一部分。除了数字化后的基因数据、样本视频ID(标识该基因的标识符)，还需要以人工方式添加其他信息，包括对数字基因分类，添加标题和简要的文字说明。分类、标题和文字说明这三项信息并不是必要的，目的是便于查询和管理维护。存入数据库的数字基因数据包括头部信息和数据部分。

除了存入数据库外，还需要在硬盘上单独开辟一个区域，用来存储样本视频，每个样本视频使用其ID命名，这个ID与数据库里的样本视频ID对应。这个样本视频文件库与前面的数字基因数据库共同组成数字基因库。

目标样本匹配以数字基因库的样本为基础，对目标视频进行安全检测，具体实施方式是：

(1)切片

拿到需要检测的目标视频文件后，首先需要对该视频文件进行切片。切片之后，一个大段的视频被切分成多个片段，这样可以对每个片段以多线程的方式分别进行处理检测。

切片的方法：将目标视频文件和切片长度(以毫秒为单位)作为参数传递给切片程序，切片程序调用相应的视频解码器，比如mpeg2解码器，对目标视频文件进行解码，然后根据切片长度参数对视频文件进行分割，把分割后的视频文件保存到计算机系统上某个存储区域。

由于可采用多线程操作，后面的步骤只对某一个切分片段的操作进行描述。

(2)抽取关键帧

抽取关键帧的方法与“建立数字基因库”的具体实施方式中“提取关键帧”的步骤类似，这里不做详细阐述。

抽取关键帧后，生成的关键帧图像文件保存在计算机系统一个存储区域，这样进一步缩小了目标视频文件待处理的数据量。

(3)提取特征

这里提取的就是m个关键帧图像的画面纹理特征，与“建立数字基因库”的具体实施方式中“计算画面纹理特征”的步骤类似，这里不做详细阐述。

提取特征后的结果就是在计算机内存区域里生成一个m位数组(即长度为m的数组)，每个数组单元保存了一个纹理特征数据结构值。

(4)最大样本初次检测比对

本步骤将第(3)步生成的m位数组的纹理特征进行第一次全面的检测，即最大范围的与样本库里的数字基因样本进行比对，具体比对方法为：

4.1)建立与数字基因库数据库的连接，查询出第一个样本基因数据J1，是个n位数组(即n幅关键帧)，每个数组单元是个六值纹理特征数据结构；

4.2)取出目标视频特征数组TG中第1个关键帧K1所表示的纹理特征(即TGK1)，是6个值的纹理特征数据结构，与J1K1(基因数据J1中第1幅关键帧图像的纹理特征)进行比对，由于纹理特征有六个值，因此需要对这六个值分别比对，如果六个值比对结果均在5％(容忍度)之内，则说明该目标视频与样本基因J1有了1次匹配(匹配度)；

其中容忍度的值可调，容忍度越高就越容易匹配命中；

4.3)将TGK1分别与J1K2、J1K3……J1Kn分别比对，每次匹配命中，就将匹配度加1，如果匹配度大于3(可疑阀值)，则将其可疑度加1，并中止TGK1的比对，进入下一个操作；

其中可疑阀值可调，可疑阀值越低越容易产生可疑，但可靠度就低；

4.4)按照4.2和4.3的方式，再分别将TGK2、TGK3……TGKm与J1中的n个特征数组比对，如果可疑度大于5(命中阀值)，则说明TG与样本J1命中，即二者有一定相似度；

其中命中阀值可调，命中阀值越低越容易产生样本命中，但可靠度就低；

4.5)从基因数据库中取出第二个样本基因数据J2，重复4.2~4.4的操作。然后第三个J3、第四个J4……，直至与所有样本匹配完成。最终，目标视频片段TG可能与x个样本基因命中(匹配上)。

由于采用最大样本，可以较为充分的检测视频的安全问题，避免出现遗漏现象。从以上可以看出，匹配可靠度与容忍度成反比，与可疑阀值、命中阀值成正比，而灵敏度则刚好相反。

(5)最小样本二次检测比对：

经过步骤(4)大范围的样本检测比对，如果发现有匹配上的结果，即TG与样本库中的x个样本基因有近似之处。这里则将TG与这x个样本基因按照步骤(4)里的方法重新检测，只是样本数大大减少，另外一个差别就是：本次检测的容忍度、可疑阀值、命中阀值等几个参数的值与步骤(4)可以不一样，即本步骤里这些参数可以设置得更严格些，以便降低灵敏度，增强可靠度。

另外，本步骤的检测除了增加可靠度外，还需要把检测出问题的关键帧全部挑选出来。

(6)反馈结果并告警：

经过最大样本和最小样本两次检测比对，如果发现有匹配结果，则在计算机屏幕弹出消息窗口告警，提示存在问题的目标视频所在帧(视频片段ID、关键帧编号)、以及匹配样本标识号、匹配度，如果没有匹配结果，则弹出消息窗口提示该目标视频没有检测到安全问题。

Claims (1)

1、一种采用计算机系统进行互联网视频安全审查的方法，其特征在于：包括如下步骤：

(一)、建立数字基因库：包括

1)提取关键帧，从视频片段中根据视频编码格式，抽取视频连续帧中的I帧，即关键帧，大大降低样本视频或待测试的目标视频的信息量；

2)计算画面纹理特征，从待处理区域顺次读取这些关键帧图像文件，然后根据纹理特征算法计算每一幅关键帧图像的纹理特征；

3)特征数字化，将一个视频片段的所有关键帧图像的纹理特征采用二进制数字值的方法序列化；

4)基因入库；

(二)、目标样本匹配：通过将目标视频的特征与数字基因库里的样本特征进行对比匹配，来发现隐藏在目标和样本之间的关系，该检测方法包括以下步骤：

1)切片；将目标视频文件和切片长度以毫秒为单位作为参数传递给切片程序，切片程序调用相应的视频解码器，对目标视频文件进行解码，然后根据切片长度参数对视频文件进行分割，把分割后的视频文件保存到计算机系统上某个存储区域，待下一步处理；

2)抽取关键帧；从视频片段中根据视频编码格式，利用MPEG工具抽取视频连续帧中的I帧，即关键帧图片，并将这一系列图像文件保存到计算机系统硬盘上，即待处理区域；

3)提取特征；从待处理区域顺次读取这些关键帧图像文件，然后根据纹理特征算法计算每一幅关键帧图像的纹理特征，以数组形式保存在计算机系统内存中，数组中每个元素为一幅关键帧图像的纹理特征数据结构；

4)最大样本初次检测比对；枚举基因库中每一个样本基因，与目标视频每个关键帧的纹理特征进行比较，并记录下来有一定相似度(纹理特征比较的误差小于某个阀值)的样本基因，将该列表索引保存到计算机系统中；

5)最小样本二次检测比对；拿目标视频的关键帧纹理特征与步骤4)中筛选出来的样本基因进行二次比对，检测出最终的比对结果；

6)反馈结果并告警；经过4)、5)两个步骤的检测比对，如果发现有匹配结果，则在计算机屏幕弹出消息窗口，提示存在问题的目标视频所在帧、以及匹配的样本基因，如果没有匹配结果，则弹出消息窗口提示该目标视频没有检测到安全问题。

Images