CN101853377B

CN101853377B - 一种对数字视频进行内容识别的方法

Info

Publication number: CN101853377B
Application number: CN201010176193A
Authority: CN
Inventors: 金城; 刘国辉; 冯瑞; 薛向阳
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2010-05-13
Filing date: 2010-05-13
Publication date: 2012-10-17
Anticipated expiration: 2030-05-13
Also published as: CN101853377A

Abstract

本发明属于视频处理技术领域，具体为一种对数字视频进行内容识别的方法。主要包括关键帧抽取，视频拷贝检测和视频帧内容识别三个模块。其中视频拷贝检测模块采用基于局部排序的视频拷贝检测方法，保证以一定的概率快速得到相似帧，提高检测性能。视频帧内容识别模块采用色情图像识别算法，该算法包括四个弱分类器(皮肤区域比例分类器、人脸个数分类器、不变矩分类器、皮肤区域分布分类器)，四个弱分类器再综合组成一个强分类器，强分类器的结果即是最终的检测结果，从而有效地降低了误识别率和不识别率。该方法对互联网数字视频信息监管具有广泛的应用价值。

Description

一种对数字视频进行内容识别的方法

技术领域

本发明属于数字视频处理、多媒体信息管控等技术领域，具体涉及一种对数字视频进行内容识别的方法，可用于各类多媒体信息管控中需要数字视频管控的场合。

背景技术

随着多媒体技术和网络通信技术的发展，数字媒体在给人们方便的同时，也带来了一些潜在的风险，如色情有害内容泛滥。如何对这些网络多媒体信息进行有效管控，并保障网络的内容安全，已成为不良信息检索、监控研究的主要内容之一。

现有的一些网络过滤系统大都是基于URL地址的过滤，该技术只是简单地屏蔽掉网络运营商“黑名单”(已经被网络运营商认定为不良网站)中的网站URL。虽然基于URL的屏蔽技术简单高效，但其却存在着严重的局限性：1、网络运营商无法做到对“黑名单”的实时更新，一些新增的不良网站由此成为漏网之鱼；2、简单的URL屏蔽，可能导致许多正常网站内容被无辜屏蔽掉。基于多媒体内容的过滤却没有以上局限性，该技术直接对网络多媒体内容进行实时分析并得出分析结果，从而能够有效的辅助多媒体信息管控。由此可见，基于内容的过滤技术必然是互联网过滤系统的发展趋势，而数字视频内容识别正是该方向的一个重要分支。

目前，常用的视频内容识别方法，往往是通过对视频进行关键帧抽取，然后再对关键帧采用图像内容识别的方法进行检测。经过大量观察我们发现，不良图片(暴力、反动、色情等)在网络传输有两个主要特点：数量大、重复性，同一张不良图片往往会被同一人/不同人反复浏览。所以，对不良图片的识别应优先考虑拷贝检测的方法，通过搜集大量的不良图片组成强大的图片语料库，这样就能对大部分不良图片进行有效过滤。此外，对于色情图片的检测，我们还可以依靠人体皮肤区域分割技术，加上人脸检测技术相互配合，解决色情图片的识别。

本方法除了考虑到图像内容识别的方法，还加入了视频的拷贝检测模块，从而进一步提高了检测性能。网络上流传的不良视频往往和图像一样具有相似性和重复性的特点，通过构建不良视频语料库，然后采用基于局部排序的视频拷贝检测方法，对检测视频进行与不良视频库的拷贝检测，这样就可以快速过滤到大部分的不良视频。

基于局部排序的视频拷贝检测方法。首先对视频进行关键帧的抽取，并将每个关键帧分解成4*4的等分块，然后对每个分块分别提取平均亮度特征，最后通过计算相邻块间的灰度排序特征，就能对每个关键帧形成一个17维的包含时间点的特征向量。分别对不良视频库和检测视频进行相应特征提取，再采用基于局部敏感哈希的￡近邻查询模式快速得到相似帧，最后根据视频帧时间点建图就能得到两段视频的拷贝路径，从而得到最终的拷贝检测结果。

综合考虑视频帧内容识别结果和视频拷贝检测结果，并形成最终的视频内容识别结果，能够有效的提高检测的准确率、降低不识别率和误检率。

发明内容

本发明的目的在于提供一种准确率高、误检率低的对数字视频进行内容识别的方法。

本发明在充分考虑传统的基于图像内容识别的视频内容识别方法的基础上，引入了不良视频拷贝检测技术。通过综合两方面检测结果，不仅改善了数字视频内容识别系统的检测性能，同时提高了系统的检测准确性，降低了漏检率。

本发明方法的流程如附图1所示，具体包含以下几个步骤：

一、建立不良视频语料库，构建由不良视频语料库到不良特征库的映射。互联网上流传的不良视频往往具有重复性的特点，同一不良视频可能存在多种拷贝版本(更改分辨率、更改视频格式、视频中加入logo信息等)，而这些同一不良视频的各种拷贝版本都可以通过视频拷贝检测的方法检测出来。因此，通过构建一个可供更新的视频语料库，就能对互联网上的数字视频信息进行有效的管控。对于某段时间具有广泛传播性的不良视频，只需将其加载到视频语料库中，就能很好地对该视频进行过滤。视频具有占用空间容量大且不同格式视频解码时间复杂度不同的特点，本系统通过对不良视频语料库进行预处理，离线提取不良视频语料库特征，并建立从不良视频语料库到不良特征库的哈希映射，大大节省了系统的空间和时间开销。具体的离线处理方法(附图2)是：

(1)视频关键帧的抽取。对视频每隔单位时间进行一次关键帧的抽取，并记录下相应的时间轴信息。

(2)关键帧的特征向量形成。将每一关键帧等分成4*4块，对每一块分别计算其平均亮度特征，然后计算相邻块之间的灰度排序特征。通过结合关键帧的时间轴信息，就能得到每一关键帧的十七维特征向量信息。

(3)不良视频语料库到不良特征库的映射。对每个不良视频，通过哈希映射，将其所有的关键帧的特征信息写入到一个对应的.feature文件中，这样就形成了从不良视频语料库到不良特征库的一一映射。.feature文件的格式如下：第一行记录该特征文件对应的不良视频信息(不良视频文件名称以及存放地址)；第二行开始按时间轴的顺序分别记录关键帧的特征信息，共十七维，互相之间以空格形式间隔开。

二、视频的拷贝检测。对检测视频采用基于局部排序的视频拷贝检测方法，具体的拷贝检测步骤如下：

(1)检测视频的特征提取，同一中所示方法。

(2)匹配检测视频特征与不良特征库，并生成匹配结果图(附图3)。采用基于局部敏感哈希的￡近邻查询模式，使得数据库中距离近的矢量(视频帧)聚集到一起的概率远高于距离远的矢量，从而保证以一定的概率快速得到相似帧。

(3)对匹配结果图中的每个节点在匹配图中查找其最长路径，并形成最终的拷贝检测结果。采用Floyd-warshall算法，计算出每个节点之间的最短路径，通过该路径信息形成视频的拷贝的最长路径，从而判定检测视频是否为不良视频库中视频的一个拷贝。

三、基于图像内容识别技术的视频关键帧内容识别。对于步骤二中判定的不属于不良视频库拷贝的视频，需再进行一次视频内容的识别，以减少新增不良视频的漏检率。图像的内容识别技术，主要采用皮肤分割算法和基于边缘的区域增长算法。先对图像进行归一化处理，将所有图像统一成同一个尺寸。然后通过四个分类器(皮肤区域比例分类器、人脸个数分类器、不变矩分类器、皮肤区域分布分类器)对图像进行识别。四个分类器得出的值都在[0，1]范围内，分别把四个分类器赋予不同的置信度，相加后即得到强分类器的结果，该结果就是色情图片识别的最终结果。对视频的所有关键帧均进行内容识别，并统计得到不良帧的总数，当不良帧的总数超过某一设定阈值(可调)时，即判定该视频为不良视频，得出最终视频内容识别结果。

值得注意的是，本发明综合考虑了视频的图像信息特征和不良视频的相关性特征。具有以下特点：①能够兼顾较低的误识别率和较低的不识别率，用于做拷贝检测的视频语料库能够不断扩展和更新；②检测速度能够做到实时。

附图说明

图1是本发明数字视频内容识别的系统架构图。

图2是本发明不良视频语料库的离线特征提取。

图3是本发明视频拷贝检测方法图。

具体实施方式

图1是本发明数字视频内容识别的系统架构图，包括不良视频语料库特征离线提取模块，视频拷贝检测模块和视频帧内容识别模块。

所述不良视频语料库特征可进行离线提取，且可以人为分类和更新，可采用人工判定的方式将不良视频库按内容分别划分为色情、暴力、反动等。对于视频帧内容识别模块无法检测出的不良视频，可将该视频加载到不良视频语料库中，从而实现对不良视频语料库的更新，改变二次检测结果。

视频拷贝检测模块采用基于局部平均灰度排序特征的视频拷贝检测方法。其视频拷贝检测过程如下：

步骤1：视频关键帧抽取；

步骤2：关键帧特征提取，将关键帧平分成4*4块，分别提取每块的平均亮度特征，再结合关键帧的时间轴信息构成最终的17维特征向量；

步骤3：查询视频和目标视频相似帧的匹配，采用基于局部敏感哈希的￡近邻查询模式，使得数据库中距离近的矢量(视频帧)聚集到一起的概率远高于距离远的矢量，从而保证以一定的概率快速得到相似帧；

步骤4：根据匹配结果生成匹配结果图，采用Floyd_warshall获得图中的所有路径信息，并获得最终的拷贝检测结果。

视频帧内容识别模块采用基于图像的内容识别方法。其具体方法包括：图像拷贝检测算法和色情图像识别算法。

图像拷贝检测方法，是对待处理图像进行级联的检测方法。先将待处理图像和图像库中图像的二阶熵进行比较，从而缩小比较范围，然后用SSIM算法比较图像之间的结构相似性，取相似性最大的值作为衡量该图像是否与图像库中某一图像相似的依据。

色情图像识别算法，包括四个弱分类器(皮肤区域比例分类器，人脸个数分类器，不变矩分类器，皮肤区域分布分类器)，四个弱分类器分别输出四个置信度并组成一个四维特征向量，将其输入到一个强分类器中即得到最后检测结果。强分类器结果越大，内容为色情的概率越大。

下面结合附图对本发明数字视频内容识别方法做进一步说明，所有用于测试的视频格式都属于以下格式中的一种：3gp、avi、mp4、flv，时长在一小时以内。对不良视频语料库(由50个不良视频组成)进行特征提取，形成不良特征库。从不良视频语料库中选取10个视频分别进行以下变换：1、不做任何改变；2、片段截取和拼接；3、格式转变；4、分辨率改变；5、logo添加，得到50个测试用例，然后选取不良视频语料库中没有的视频(不良、正常视频各20个)共同组成最终测试用例。对所有测试用例，分别进行关键帧抽取、视频拷贝检测、帧内容识别，得到最终检测结果。通过实验结果发现，该系统对于采用上面5种变换方式的视频拷贝具有很高的查全率和查准率。对于检测结果为正常、人工判定为不良的视频，将其更新到不良视频语料库中，在对该视频进行二次检测时，可以发现检测结果即为不良。由此可见，通过视频语料库的更新，能使系统有更高的鲁棒性并降低漏检率。

引用资料：

[1]S-A.Berrani，L.Amsaleg，and P.Gros，“Robust content-based image searches for copyrightprotection，”in Proc.of ACM Int.Workshop on Multimedia Databases，2003，pp.70-77.

[2]A.Hampapur and R.Bolle，“Comparison of sequence matching techniques for video copydetection，”in Proc.of Conf.on Storage and Retrieval for Media Databases，2002，pp.194-201.

[3]A.Joly，O.Buisson，and C.Fr′elicot，“Robust content-based video copy identification in alarge reference database，”in Int.Conf.On Image and Video Retrieval，2003，pp.414-424.

[4]J.Oostveen，T.Kalker，and J.Haitsma，“Feature extraction and a database strategy for videofingerprinting，”in Proc.of Int.Conf.On Visual Information and Information Systems，2002，pp.117-128.

[5]N.Beckmann，H-P.Kriegel，R.Schneider，and B.Seeger，“The r*-tree：an efficient androbust access method for points and rectangles，”in Proc.of ACM SIGMOD Int.Conf.onManagement of Data，1990，pp.322-331.

[6]S.Berchtold，C.B¨ohm，and H.P.Kriegel，“The pyramid-tree：breaking the curse ofdimensionality，”in Proc.of ACM SIGMOD Int.Conf.on Management of Data，1998，pp.142-153.

[7]R.Weber，H.J.Schek，and S.Blott，“A quantitative analysis and performance study forsimilarity-search methods in high-dimensional spaces，”in Proc.of Int.Conf.On Very LargeData Bases，1998，pp.194-205.

[8]P.Ciaccia and M.Patella，“Pac nearest neighbor queries：Approximate and controlled searchin high-dimensional and metric spaces，”in Proc.of Int.Conf.on Data Engineering，2000，pp.244-255.

[9]C.Li，E.Chang，M.Garcia-Molina，and G.Wiederhold，“Clustering for approximatesimilarity search in high-dimensional spaces，”IEEE Trans.On Knowledge and Data Engineering，vol.14，no.4，pp.792-808，2002.

[10]K.P.Bennett，U.Fayyad，and D.Geiger，“Density-based indexing forapproximatenearest-neighbor queries，”in Proc.of Conf.on Knowledge Discovery in Data，1999，pp.233-243.

[11]S-A.Berrani，L.Amsaleg，and P.Gros，“Approximate searches：kneighbors+precision，”inProc.of Int.Conf.on Information and knowledge management，2003，pp.24-31.

[12]P.Ciaccia and M.Patella，“Approximate similarity queries：A survey，”Tech.report，University of Bologna：MultiMedia DataBase Group，2001.

[13]P.Ciaccia and M.Patella，“Pac nearest neighbor queries：Approximate andcontrolled searchin high-dimensional and metric spaces，”in Proc.of Int.Conf.on Data Engineering，2000，pp.244-255.

[14]A.Joly，C.Fr′elicot，and O.Buisson，“Feature statistical retrieval applied tocontent-basedcopy identification，”in Int.Conf.on Image Processing，2004.

[15]C.Schmid and R.Mohr，“Local grayvalue invariants for image retrieval，”IEEE Trans.onPattern Analysis and Machine Intelligence，vol.19，no.5，pp.530-535，1997.

[16]M.J.Black and P.Anandan，“A framework for the robust estimation of optical flow，”inProc.of Int.Conf.on Computer Vision，1993，pp.231-236.

Claims

1.一种对数字视频进行内容识别的方法，其特征在于具体步骤如下：

一、建立不良视频语料库，构建由不良视频语料库到不良特征库的映射互联

对于某段时间具有广泛传播性的不良视频，将其加载到视频语料库中，通过对不良视频语料库进行预处理，离线提取不良视频语料库特征，并建立从不良视频语料库到不良特征库的哈希映射，具体的离线处理步骤是：

(1)视频关键帧的抽取对视频每隔单位时间进行一次关键帧的抽取，并记录下相应的时间轴信息；

(2)关键帧的特征向量形成将每一关键帧等分成4*4块，对每一块分别计算其平均亮度特征，然后计算相邻块之间的灰度排序特征；结合关键帧的时间轴信息，得到每一关键帧的十七维特征向量信息；

(3)建立不良视频语料库到不良特征库的映射对每个不良视频，通过哈希映射，将其所有的关键帧的特征信息写入到一个对应的.feature文件中，形成从不良视频语料库到不良特征库的一一映射；

二、视频的拷贝检测对检测视频采用基于局部排序的视频拷贝检测方法，具体的拷贝检测步骤如下：

(1)检测视频的特征提取，同步骤一中步骤(2)所述方法；

(2)匹配检测视频特征与不良特征库，并生成匹配结果图采用基于局部敏感哈希的￡近邻查询模式，使得数据库中距离近的矢量聚集到一起的概率远高于距离远的矢量，从而保证以一定的概率快速得到相似帧；

(3)对匹配结果图中的每个节点在匹配图中查找其最长路径，并形成最终的拷贝检测结果；采用Floyd-warshall算法，计算出每个节点之间的最短路径，通过该路径信息形成视频的拷贝的最长路径，从而判定检测视频是否为不良视频库中视频的一个拷贝；

三、基于图像内容识别技术的视频关键帧内容识别

对于步骤二中判定的不属于不良视频库拷贝的视频，再进行一次视频内容的识别，以减少新增不良视频的漏检率；

图像的内容识别技术，其步骤是先对图像进行归一化处理，将所有图像统一成同一个尺寸；然后通过四个分类器：皮肤区域比例分类器、人脸个数分类器、不变矩分类器、皮肤区域分布分类器对图像进行识别；四个分类器得出的值都在[0，1]范围内，分别把四个分类器赋予不同的置信度，相加后即得到强分类器的结果，该结果就是色情图片识别的最终结果；对视频的所有关键帧均进行内容识别，并统计得到不良帧的总数，当不良帧的总数超过某一设定阈值时，即判定该视频为不良视频，得出最终视频内容识别结果。

2.根据权利要求1所述的数字视频内容识别方法，其特征在于：所述不良视频语料库特征由离线提取获得，并由人为分类和更新，采用人工判定的方式将不良视频库按内容分别划分为色情、暴力、反动；对于视频帧内容识别模块无法检测出的不良视频，将该视频加载到不良视频语料库中，从而实现对不良视频语料库的更新，改变二次检测结果。