CN102306290A - 一种基于视频的人脸跟踪识别技术 - Google Patents

Abstract

本发明涉及一种基于视频的人脸跟踪识别技术，包括：逐帧检测解码后的视频，将人脸数和人脸位置信息归并成人脸活动位置序列，对序列进行预处理，然后采用追踪算法将人脸活动位置序列聚类成同一人的人脸连续活动区域序列，采用人脸质量评价从每个序列选出最优人脸，进行归一化处理，在频域中进行Gabor变换，对变换后的图像进行直方图统计，求得特征值，最后将不同序列的最优人脸的特征值两两求差，将得到的统计属性特征值输入到人脸识别器进行人脸匹配，识别出每个人的人脸活动跟踪序列。本发明既能保证序列分类的正确性又减少了特征提取与人脸对比的次数，还解决传统人脸跟踪中人脸丢失后无法跟回的问题，并且对高清视频的处理达到超实时。

Description

一种基于视频的人脸跟踪识别技术

技术领域

本发明属于模式识别技术领域，具体涉及一种自底向上的基于离线视频的人脸跟踪识别方法。 

背景技术

人脸识别技术作为一种典型的生物特征识别技术，以其自然性、高可靠性、高自动化程度等优点受到人们的青睐，在国家公共安全、司法领域、人机交互、广电行业等方面有着广泛的应用前景。比如，公共安全行业需要在海量视频中查找锁定特定人的活动区域和活动时段或者广电行业的节目编辑中的人脸的马赛克处理，都需要用到离线视频中人脸的跟踪识别技术。 

在一些视频媒体库中，如果要找出某人的活动时段，传统的方法主要依靠人工进行视频浏览，其工作量之大和工作效率之低可想而知。比如，在电视节目的非线性编辑中，经常需要对某些特定嘉宾进行人脸马赛克处理，传统方式是对每一帧进行处理，手动选择人脸区域作为遮盖，工作量巨大。 

现有的人脸图像跟踪技术领域的通用方法主要是Mean Shift算法，构造运动模型进行跟踪，但其基于肤色，在实际应用中存在着功能缺陷。尤其是当同一人脸间断出现时，基于颜色的跟踪算法将无法持续原来的跟踪序列。而且现有的人脸检测模式，借助积分图像来快速计算Haar小波特征，然后利用AdaBoost统计学习方法来训练和构造分类器。现有技术，也有采用LBP运算，利用直方图匹配实现人脸图像识别的，但是以上技术的缺陷在于，处理速度仅限于320×240大小的视频序列下才能达到实时处理，而对于超过640×480幅面的视频，尤其是1920×1080幅面的高清视频，进行人脸识别检测时，远远不 能实现实时处理。而本发明提供的技术，能够精确地识别出特定人在不同时刻的人脸状态，且能处理跟丢的情况，且具有良好的鲁棒性，并能够实现在面对标清视频(幅面720×576)甚至高清视频(幅面1920×1080)时达到超实时处理速度。另外，现有的人脸识别技术都是采用标准图像与待识别图像的单幅对比匹配来实现人脸识别，从未披露过如何实现视频片段的人脸识别。将现有技术的单幅图像对比匹配的方法应用到视频时，需要将标准图像特征参数与整段视频的每一帧图像进行对比，计算量非常大，尤其当视频较长时，计算量巨大，对计算机硬件要求非常高。例如一个5分钟的视频，其帧数达5min×60second/min×25frame/second＝7500frame。而应用本发明提供的技术，计算机能够首先正确地标识出每个人在整个视频中出现的位置和时间段，将应用追踪算法聚类出一个个同一人脸连续活动区域序列，然后在每个序列中算出5张最优人脸，并提取出人脸特征与其他序列的5张最优人脸所提取的人脸特征进行对比匹配，依据对比结果将同一个人的不同时间段人脸序列归为一类。本发明避免了对视频中的每一帧图像进行对比，极大优化了识别技术，提高了工作效率。(参考文献：【1】ZL200410098619.7号“一种基于模板匹配的人脸识别方法”的发明专利；【2】ZL200710148229.X号“人脸识别方法和系统”的发明专利) 

发明内容

本发明的另一目的在于，提出了基于视频的自底而上的人脸跟踪识别方法，将人脸活动位置聚类成人脸活动区域序列，解决了离散视频中的传统人脸跟踪中人脸丢失后无法跟回的问题，并且对高清视频的处理速度能达到超实时。 

本发明的另一目的在于，针对大幅面视频，采用了下采样的方法，同时使 用分块的LBP算子(Block-BLP)提取特征训练人脸检测器，加快检测速度，克服了现有技术中人脸检测识别对高清视频无法实现实时处理的问题。 

本发明的另一目的在于，采用剔除噪音人脸区域和连接断点处的人脸区域的预处理程序，克服了现有技术中人脸检测时误检和漏检的问题。 

本发明的另一目的在于，采用人脸质量评价体系，在每个人脸活动区域序列中挑选出最优人脸图像进行特征提取，这既能保证序列的分类正确性，又大大的减少了特征提取与人脸对比的次数，明显的提高了处理过程。 

为了达到本发明的目的，本发明提供了一种基于视频的人脸跟踪识别技术，该方法包括： 

a、逐帧检测解码后的视频中的人脸数和人脸位置信息； 

b、将人脸数和人脸位置信息归并成人脸活动位置序列； 

c、对人脸活动位置序列进行预处理； 

d、采用追踪算法，将人脸活动位置序列聚类成同一人的人脸在某一时间段上的连续活动区域序列； 

e、对序列中的所有人脸进行人脸质量评价，每个序列挑选出最优人脸，进行归一化处理； 

f、对归一化的人脸图像在频域中进行Gabor变换； 

g、对变换后的图像进行直方图统计，求得特征值； 

h、不同序列的最优人脸对应的特征值两两求差，将得到的统计属性特征值输入到人脸识别器进行人脸匹配。 

进一步的，针对大幅面高清视频，先进行幅面下采样，然后将采样后的幅面传入人脸检测器，对检测传出的人脸位置信息进行反比例放大。 

进一步的，预处理程序包括，首先剔除噪音人脸区域，遍历视频时间线上的检测得到的人脸区域，判定是否为噪音人脸区域，将噪音人脸区域剔除；然后连接断点处的人脸区域，检测断点处前15帧和后15帧，依据前后15帧的相关性插值出填充人脸区域，将填充人脸区域补入人脸活动位置序列。 

本发明把视频中不同时空范围内出现的人脸图像进行识别分类，实现基于序列的人脸跟踪聚类算法，采用了序列人脸质量评价算法，选取每一序列的最优人脸进行特征提取和匹配，使得同一个人的人脸会归成一类，这既能保证序列的分类正确性，又大大的减少了特征提取与人脸对比的次数，明显的提高了处理过程。 

本发明提出了基于自底向上的人脸跟踪识别框架，能很好地解决离散视频中的传统人脸跟踪中人脸丢失后无法跟回的问题，并且对高清视频的处理速度能达到超实时。 

附图说明

图1是本发明提供的基于视频的人脸跟踪识别技术的步骤流程图。 

图2是LBP编码的示例图。 

图3是BLBP编码的示例图。 

图4是经过BLBP训练的人脸检测器对视频的每一帧进行人脸检测后得到的人脸数和每个人脸位置的信息图。 

其中，横轴表示时间线，纵轴表示空间线，小黑点1表示检测到的人脸空间信息，星点2表示误检的人脸。 

图5是相邻两帧人脸矩形的匹配图。 

图6是将图4的信息图经过追踪算法进行聚类后的同一人的人脸连续活动区域 序列示意图。 

其中，横轴表示时间线，纵轴表示空间线，每一条线表示某个人在此时间间隔上连续活动的跟踪序列。 

图7是将图6的人脸活动跟踪序列图进行人脸质量评价后得到的人脸活动跟踪序列示意图，其中菱形点表示关键帧位置。 

图8是人脸检测和人眼检测及其人脸对齐示意图。 

其中，(a)表示人脸人眼检测示意图，(b)表示人眼检测的候选区域，(c)表示归一化的人脸示意图，(d)表示归一化的人脸直方图。 

图9是人脸图像经过40个Gabor滤波器滤波之后得到的幅度响应图和相位响应图。 

其中，(a)表示人脸图像，(b)表示幅度响应图，(c)表示相位响应图。 

图10是对库中人脸的归一化处理后及其Mask后的图像序列。 

图11是基于负样本集随机重采样的Cascade结构图 

图12是经过本发明提供的方法处理后得到的人脸活动跟踪序列示意图。 

其中，A₀、A₁、A₂表示同一人A的人脸活动序列，B₀、B₁表示同一人B的人脸活动序列。 

图13是两段视频经过本发明提供的方法处理后得到的可视化显示的人脸时空信息图。 

图14是将本发明提供的方法应用于视频片段的马赛克特效的系统截图。 

具体实施方式

下面结合具体实施方式对本发明做进一步详细描述。 

图1给出了本发明的基于视频的人脸跟踪识别技术的一个具体实施流程。 在步骤(2)中，对解码后的视频帧图像做人脸检测操作。本发明采用带区域权值的局部二元模式(Block-Local Binary Pattern，BLBP)统计样本(人脸图像与非人脸图像)的特征，引入到AdaBoost人脸检测框架中。LBP是一种描述图像局部领域对比关系的一种算子。其计算公式如下： 

${\mathrm{LBP}}_{P,R}=\underset{i=0}{\overset{P-1}{\mathrm{\Σ}}}s(g_i-g_c)2^i$

其中，s(x)的定义为： 

$s\left(x\right)=\left\{\begin{array}{cc}1,& x\&GreaterEqual;0\\ 0,& x<0\end{array}\right.$

R是LBP算子的半径，P为LBP算子所取领域像素的个数。该算子的运算过程为，将邻域的像素点g_i与中心点g_c进行对比，并按二进制编码，图2给出了一个LBP编码的例子。由于LBP是直接对比像素之间的大小关系，因此对噪声较为敏感。在本法中采用一种改进的LBP算子-BLBP(Block-LBP)，如图3所示，BLBP用方形局部块窗口的平均取代单个像素值，提高算法对噪声的鲁棒性。 

通过尺度变换和平移，一副样本图像能产生成千上万个特征，然而大部分特征不都是有效特征，而且太多的特征会影响计算效率。本法采用AdaBoost来进行特征选择，同时将每个特征对应的弱分类器进行组合，并赋予它们不同的权重来构造较好的强分类器，以前达到好的分类效果。Adaboost算法的具体形式如下所示。 

输入：n个训练样本(x₁，y₁)，...，(x_n，y_n)，y_i∈{+1，-1}分别表示正样本(同类差)和负样本(异类差)；i＝1，..，n。 

初始化：对于正样本(y_i＝1)权重w_1i＝1/2l，对于负样本(y_i＝-1)，权重w_li＝1/2m，其中l，m分别为正负样本数目，l+m＝n；i＝1，...，n。 For t＝1，...，T： 

1)根据加权样本，对于每一个特征j训练得到一个弱分类器h_j比计算得到它的错误率 $e_j={{\mathrm{Pr}}_i}^{w_t}[h_j\left(x_i\right)\&NotEqual;y_i]$  。

2)对于 

若有e_k＜e_j，则令h_t(x)＝h_k(x)，并使e_t＝e_k 。

3)更新权重： 

若x_i被正确分类，则e_i＝1，否则e_i＝0，β_t＝e_t/(1-e_t) 

4)归一化权重，使其满足概率分布， $w_{t+1,i}\&LeftArrow;w_{t+1,i}/{\mathrm{\&Sigma;}}_{j=1}^n{w}_{t+1,j}.$

输出：级联的强分类器， 

$H\left(x\right)=\left\{\begin{array}{cc}1,& {\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t{h}_t\left(x\right)>{\mathrm{\&Sigma;}}_{t=1}^T{\mathrm{\&alpha;}}_t\\ 0,& \mathrm{other}\end{array}\right.$

AdaBoost算法是通过对一系列“弱”分类器h_j的学习从而将它们结合成一个“强”分类器H(x)。在步骤(2)中，用BLBP训练的人脸检测器对视频的每一帧进行人脸检测，得到每一帧的人脸数和各个人脸的位置，其结果如图4所示。 

由于视频幅面大小的不一样，特别是当面对高清视频时，由于其幅面较大，本文采用下采样的方法先对图像帧进行采样后再输入人脸检测器，检测出人脸后，再按采样因子放大检测区域，以加快检测速度。对于不同的视频制式，其采样因子如表1所示。 

表1 

步骤(3)对步骤(2)检测出的人脸数和人脸位置归并成一一个人脸的活动位置序列。由于人脸检测可能有误检，即非人脸区域误检成人脸，另外实际拍摄的视频中，由于拍摄者的抖动或者定焦不准，有些帧的图像模糊了，而这些帧的人脸是难以检测出来的。因此，步骤(3)中，首先进行预处理，本法包括两个步骤： 

一是剔除噪声人脸，即遍历视频时间线上的检测出来的人脸区域，判定是否为孤立人脸区域。这里孤立人脸区域的定义规则是前15帧和后15帧都没有可能的同一人脸区域存在，如果为孤立人脸区域，则判定为噪声人脸区域。判定为噪声的人脸区域进入后续处理前将剔除。 

二是连接断点处的人脸区域。这里的断点处定义为此处实际有人脸，比如运动模糊的人脸，而检测器未检测出来。这里定义15帧之内的凹陷处得填充人脸区域，其区域位置和大小依据前后帧的相关性插值出。其凹陷处的判定也涉及到不同人脸区域相似度求法。 

在预处理中需要计算不同人脸区域相似度，本文发明了一种基于曼哈顿距离的修正算法。其计算公式如下： 

${\mathrm{Rect}}_{\mathrm{similar}}=\frac{1}{(2*\underset{i=0}{\overset{3}{\mathrm{\&Sigma;}}}|{R1}_i-{R2}_i|+|{R1}_{\mathrm{center}.x}-{R2}_{\mathrm{center}.x}|+|{R1}_{\mathrm{center}.y}-{R2}_{\mathrm{center}.y})/3}$ ……式1 

先求其人脸区域的矩形四个角点的距离和和人脸矩形中心点的距离，这两个距离分别乘以对应的权值，这权值与离基准人脸区域的帧位置有关，最后这两个距离相加后归一化即为视频中不同人脸区域的相似度。 

经过预处理后，对应这些与帧位置相关的不同人脸区域得跟踪聚类成一个个连续时间段的同一人的人脸活动区域序列。其详细的追踪算法如下： 

1)开始遍历整个节目时间线的人脸区域容器，找到初始位置，其依据条件是此帧检测的人脸数大于0，根据检测的人脸数N，开启N个追踪路线； 

2)对每个追踪路线，前后帧步进的条件是人脸数不变，且每个人脸能找到对应的人脸区域。对于两帧人脸矩形的匹配，如图5所示。左图中矩形框a_i和b_i表示检测的第i帧的两个人脸的位置，右图中矩形框a_i+1和b_i+1表示检测的第i+1帧的两个人脸的位置。对于两帧之间的人脸框主要根据人脸的时空相关性进行两两匹配，其区域的相似度计算依据公式1。 

3)追踪路线数变化的情况：如果遍历到尾端，则结束当前所有追踪路线。如果人脸数增加M个，则新开M个追踪路线，如果人脸数减少L个，终止L个追踪路线。当终止追踪路线时，保存其活动序列。经过追踪算法后，将产生出一个个的同一人的人脸在某一时间段上的连续活动区域序列，如图6所示。 

下一步将识别出单独的序列，如果对序列的每一帧都进行特征提取并两两对比，其处理时间将增加不少，另外，由于每个跟踪序列的人脸的姿态、表情及其背景光照都是变化的，用所有的帧标识序列将降低鲁棒性。 

在步骤(4)中，先对序列中的所有脸进行人脸质量评价，挑选出序列的最 优关键帧抽取出此人脸图像的特征向量标识该序列。最优脸的评判方法如下：首先保证此人脸能检测到人眼，其次执行如下的拣点： 

(a)从单个序列选择20张最大人脸。其评价标准是左右眼的水平距离最大； 

(b)从20张最大脸中选择10张最小偏头角度脸。其评价标准是左右眼的角度； 

(c)从10张最小偏头角度脸选择5张最小侧脸角度的脸。其评价标准是侧脸角度评测算法，主要步骤包括人脸区域肤色归并，二值化，左右脸统计对比。 

标注关键帧后，其时间线示意图如图7所示，菱形代表标识的关键帧位置。 

人眼检测也得针对所有的人脸检测区域，本法基于BLBP特征提取用Adaboost训练了人眼检测器。其主要步骤是先确定出人眼检测的候选区域，然后输入人眼检测器中，定位出人眼位置，如下图8-(a)和图8-(b)所示。 

最后对能标识序列的最优人脸进行特征提取。这包括人脸配准对齐裁剪过程、光照预处理和基于频域Gabor的特征提取。人脸配准对齐的目的是在人脸检测的基础上，对人脸进行更精确的定位和归一化。各个面部器官，如眼睛、嘴巴和面部轮廓的都被准确定位，归一到一定的尺寸大小。同时还对人脸图像进行一定的旋转。同时根据光照属性对图像进行光照和灰度上的归一化。对于光照处理，采用了直方图均衡的方法。归一化的人脸及其直方图如图8-(c)和8-(d)所示。 

至此，我们对归一化后的人脸图像变换到频域，然后进行Gabor变换，最后逆变换回空域，抽取其幅度特征图像和相位特征图像。Gabor展开具有非正交和完备性的特点，可用于信号的多尺度和多方向分析，对信号具有很强的表达能力。2D形式的Gabor滤波器定义为一个用高斯包络函数约束的平面波： 

${\mathrm{\&Psi;}}_k\left(z\right)=\frac{k^2}{{\mathrm{\&sigma;}}^2}{e}^{-\frac{k^2{z}^2}{2{\mathrm{\&sigma;}}^2}}[e^{\mathrm{ikz}}-e^{-{\mathrm{\&sigma;}}^2/2}]$ ……式2 

其中，方括号中的第一项决定了Gabor核的震荡部分，第二项则为补偿直流分量，用以消除核函数响应对图像亮度绝对值变化的依赖性(以保证不同亮度值构成的均匀亮度区域的响应相同)。不难看出，复数形式的Gabor核函数是奇(正弦波)偶(余弦波)项的组合。其中，参数k控制着高斯窗口的宽度，振荡部分的波长和方向，参数σ则决定了窗口宽度和波长的比例关系，亦即高斯包络函数所影响的震荡数目。Gabor函数族对图像I的滤波过程则可以通过它们与图像的卷积来实现： 

$J_{k,x_0}={\&Integral;\mathrm{\&Psi;}}_k(x_0-x)I\left(x\right)d^{2}x=({\mathrm{\&Psi;}}_k*I)\left(x_0\right)$ ……式3 

实际运算时，该卷积过程必须既要在空间域内(图像位置x₀，比如逐像素)进行采样，也要对小波函数即频域(由k控制的高斯窗宽、震荡的方向和波长)进行采样。小波函数采样最常用的采样方法是 

令 $k=k_v{e}^{{\mathrm{i\&Phi;}}_{\mathrm{\&mu;}}}$

其中： 

k_v＝k_max/f^v， ${\mathrm{\&phi;}}_{\mathrm{\&mu;}}=\frac{\mathrm{\&mu;\&pi;}}{8}$

这里f是一个限定频域中核函数距离的间隔因子，通常取为 

最终的采样则通过设定5个不同的尺度v∈{0，1，2，3，4}和8个不同的方向μ∈{0，1，2，3，4，5，6，7}来完成，另外两个参数的取值通常为σ＝2π，k_max＝π/2。结合公式(3-1)不难发现：这样定义的Gabor小波的高斯窗的实际窗宽为σ′＝σ/k_v＝σf^v/k_max＝4×2^v/2，而μ的取值变化则导致振荡方向的变化。实际的计算中，卷积的计算是用频域中的乘法来替代以加快处理速度。先图像和Gabor核函数用快速傅里叶变换到频域，对于相乘，然后反傅里叶变换回原来图像空间。 

图9给出了对一幅人脸图像逐像素计算各个Gabor小波变换后得到的40个不同的幅值图谱和相位图谱，其中9-(b)，9-(c)中所示变换后的图像分别对应于40的Gabor核函数与9-(a)中图像在相应位置进行卷积得到的幅值和相位。 

因为人脸识别属于多分类的问题，为了转换成两类问题，采用类内差和类间差空间的思想，对同一人不同图像之间的差认为是同类差空间的一个样本，对不同人之间的图像之间的差认为是异类差空间的一个样本。这样多类问题就转换成了两类问题。由于图像维数太多，我们对变换后的图像中进行直方图统计，只求出两图像之间差得直方图统计属性作为特征。 

定义两个直方图之间的距离可以有很多种方法，这里我们采用统计学上的卡方距离来度量两个直方图之间的相似性。 

卡方距离定义如下： 

${\mathrm{\&lambda;}}^2(H_1,H_2)=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\frac{{(H_1\left(i\right)-H_2\left(i\right))}^2}{H_1\left(i\right)+H_2\left(i\right)}$ ……式4 

其中H₁(i)，H₂(i)分别为两个直方图中第i个值的概率，n为直方图中值的个数。 

在构造训练的样本空间时，采用的归一化后人脸图像序列，如图10所示。对同一人不同的图像Gabor变换后对其作差构造一正样本，对不同的的图像Gabor变换后对其作差构造一负样本。然后采用级联结构Adaboost方法在这两空间训练出识别分类器，期间包括有效特征选择模型。 

AdaBoost在识别器训练过程中面临的一个重要问题是：“同类差”(正样本)集合与“异类差”(负样本)集合数据规模的不均衡问题。假设训练集合中共有类别数为m，每个类别有k个不同样本，则根据作差法，形成的正样本集和负样本集的数目将分别为： $N^{+}=C_m^1{C}_k^2=\mathrm{mk}(k-1)/2$ 和 $N^{-}=C_m^2{C}_k^1{C}_k^1=k^{2}m(m-1)/2,$  这样，二者之比为：R＝N^-/N⁺＝k(m-1)/(k-1)。通常情况下，m会比较大，而k会比较小，所以正负样本集的数目会相差比较大。如m＝300，k＝4时，正样本数为1800，负样本数717600且与正样本的比例达398.7。而在实际训练过程中，在大多数情况下，由于负样本的数目很大无法一次性全部投入训练。针对这个问题，采用基于负样本随机重采样的级联结构(Cascade)的AdaBoost算法，如图11所示，在级联结构的每一层使用所有的正样本以及只从能通过前面级联分类器的负样本中随机挑取一部分负样本来进行训练。 

最后，对每个序列抽取出的最优人脸中进行特征提取求得特征值。不同的序列中的最优人脸对应的特征值两两求差后的统计属性特征值输入到人脸识别器中较求其分数(即相似度)。统计出两个序列最优人脸的之间的平均分数，如果分数大于给定的阈值，则为同一人。最终跟踪识别出的人脸活动跟踪序列示意图如图12所示，其中，A、B代表不同的人的标识。 

最后给出一些具体视频的结果实例。图13是两段视频经过本发明提供的方法处理后得到的可视化显示的人脸时空信息图。图14是将本发明提供的方法应用于视频片段的马赛克特效的系统截图。 

Claims (10)

1.一种基于视频的人脸跟踪识别技术，该方法包括：

a、逐帧检测解码后的视频中的人脸数和人脸位置信息；

b、将人脸数和人脸位置信息归并成人脸活动位置序列；

c、对人脸活动位置序列进行预处理；

d、采用追踪算法，将人脸活动位置序列聚类成同一人的人脸连续活动区域序列；

e、对序列中的所有人脸进行人脸质量评价，每个序列挑选出最优人脸，进行归一化处理；

f、对归一化的人脸图像在频域中进行Gabor变换；

g、对变换后的图像进行直方图统计，求得特征值；

h、不同序列的最优人脸对应的特征值两两求差，将得到的统计属性特征值输入到人脸识别器进行人脸匹配。

2.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，步骤(a)中，采用分块的局部二元模式——Block-LBP统计样本的特征，引入到Adaboost人脸检测框架中。

3.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，当面对大幅面高清视频时，采用下采样的方法，将图像帧先按采样因子进行幅面缩小，对缩小后的幅面帧进行人脸检测，然后对检测传出的人脸位置区域信息进行反比例放大。

4.根据权利要求3所述的基于视频的人脸跟踪识别技术，其特征在于，针对720×576幅面视频的采样因子为1；针对1440×1080幅面视频的采样因子为1/2；针对1920×1080幅面视频的采样因子为1/2；针对1280×720幅面视频的采样因子为3/4。

5.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，所述的预处理程序包括，首先剔除噪音人脸区域，遍历视频时间线上的检测得到的人脸区域，判定是否为噪音人脸区域，将噪音人脸区域剔除；然后连接断点处的人脸区域，检测断点处前后15帧，依据前后15帧的相关性插值出填充人脸区域，将填充人脸区域补入人脸活动位置序列。

6.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，步骤d的追踪算法为，

(1)开始遍历整个视频时间线的人脸区域容器，找到初始位置，其依据条件是此帧检测的人脸数大于0，根据检测的人脸数N，开启N个追踪路线；

(2)对每个追踪路线，前后帧步进的条件是人脸数不变，且每个人脸能找到对应的人脸区域，对于两帧之间的人脸框，主要根据人脸的时空相关性进行两两匹配；

(3)追踪路线数变化的情况，如果遍历到尾端，则结束所有追踪路线，如果人脸数增加M个，则新开M个追踪路线，如果人脸数减少L个，终止L个追踪路线，当终止追踪路线时，保存其活动序列，经过追踪算法后，将产生出一个个同一人脸的连续活动区域序列。

7.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，序列中人脸质量评价的方法是：

(1)从单个序列选择20张最大人脸；

(2)从20张最大脸中选择10张最小偏头角度脸；

(3)从10张最小偏头角度脸选择5张最小侧脸角度的脸。

8.根据权利要求1所述的基于视频的人脸跟踪识别技术，其特征在于，还包括将人脸跟踪识别结果进行可视化处理，输出人脸时刻信息图。

9.一种应用权利要求1所述的基于视频的人脸跟踪识别技术进行基于人脸的视频检索的方法，其特征在于，在视频中检索出每个特定人的时空信息。

10.一种应用权利要求1所述的基于视频的人脸跟踪识别技术进行视频马赛克特效处理的方法，其特征在于，将人脸活动区域进行马赛克处理。

Images