CN101350062A - 一种基于视频的快速人脸检测方法 - Google Patents

Abstract

本发明公开了一种基于视频的人脸检测方法。它关注视频帧中的前景区域，通过预处理利用视频帧间的时空域特征进行前景区域的人脸检测，将人脸检测过程分为审查模式和跟踪模式两种不同的模式。如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。本发明可以减少检测过程中需要搜索的区域面积，减少检测过程中需要搜索的区域，避免了传统的AdaBoost算法搜索全帧的缺陷，使得计算复杂性大大降低，提高了智能视频监控应用中人脸检测的实时性。

Description

一种基于视频的快速人脸检测方法

技术领域

本发明涉及智能视频监控领域，特别是涉及一种基于视频的快速人脸检测方法。

背景技术

人脸检测、识别和跟踪是智能视频监控系统中首要而关键的一步，在安全识别、身份鉴定、基于内容的压缩与检索等许多应用领域具有广泛而重要的应用前景。人脸检测是这一任务的首要环节，长久以来，科学家和研究人员一直都在致力于找到一个能够快速准确的检测人脸的算法。

过去几十年来，研究人员提出了各种不同的方法来检测人脸，这些方法有的基于灰度级别和颜色特征；有的使用各种特征模板来描述人脸局部轮廓或全局轮廓特征并检测人脸。

传统的人脸检测算法大部分都是基于静态图片开发的，近年来，研究人员开始关注基于视频的人脸检测算法。在视频监控中，研究的对象是来自于摄像机的视频序列，视频序列可以看作是由一系列静止的图片组成，因此，大部分基于静态图片的方法也能用于视频序列。但是，视频序列中的人脸检测处理有其特殊之处：视频监控中处理的视频帧间具有时间上的相关性，而视频帧中的监控对象具有空间上的相关性。因而，并非所有的算法能在基于视频的检测过程中表现出良好的性能。

Paul Viola等人于2001年提出的基于Haar-like特征和Boosted Cascade框架结构的人脸检测方法是第一个真正实时的人脸检测算法。但它并没有利用视频帧间的时空相关性，同时，对于视频监控应用来说，它的实时性能还需要进一步的优化。

发明内容

本发明的目的在于提供一种基于视频的人脸检测方法。

本发明解决其技术问题采用的技术方案如下：

1)预处理：利用帧差法取得视频前景，并判断前景区域位置和比例的变化；前景区域是一块矩形区域，以S_f表示，前景区域位置定义矩形中心点的坐标，以(x，y)表示，初始化值均为0，变量M_x，M_y分别表示前景区域S_f的位置在x和y两个方向上的变化；假设第N帧中，前景区域S_f，N的位置并定义为(x_N，y_N)，则M_x，M_y分别定义为：

(M_x)_N＝X_N-X_N-1

(M_y)_N＝Y_N-Y_N-1

前景区域S_f在视频帧中所占比例以F_c表示，假设第N帧中，前景区域S_f，N所占的比例被定义为P_N，则(F_c)_n被定义为：

${\left(F_c\right)}_N=\frac{P_N}{P_{N-1}}$

依据M_x，M_y，F_c的值的大小，来判断人脸检测过程是否可以进入审查模式，当M_x＞15，M_y＞15，F_c＞1.15时，人脸检测过程进入审查模式。

2)时空域特征：利用监控视频的时空域特征，将人脸检测过程分为两种不同的模式：审查模式和跟踪模式；

●审查模式

审查模式利用正面人脸检测器，对前景区域做全面的搜索。一旦新的人脸被检测到，系统不但要记录该人脸在监控区域的位置坐标(X，Y)，尺寸(H，W)，其中H表示人脸的长度，W表示人脸的宽度，同时要记录其位置的变化(δ_x，δ_y)和尺寸的变化(ρ_h，ρ_w)信息，提供给跟踪模式做运动估计和尺寸变化估计。因此，每个检测到的人脸信息被描述为：

f＝<X，δ_x，Y，δ_y，H，ρ_h，W，ρ_w>

其中：δ_x＝X_n-X_n-1，δ_y＝Y_n-Y_n-1，ρ_h＝H_n-H_n-1，ρ_h＝W_n-W_n-1

●跟踪模式

在跟踪模式下，根据已经检测到的人脸的相关信息，预测该人脸在当前帧中可能的位置和尺寸，并利用正面人脸检测器，只在预测区域检测人脸；如果成功检测到人脸，更新该人脸的相关信息，供下一次预测；如果在预测区域无法检测到人脸，表明跟踪失败，检测流程转入审查模式；

如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。

所述的审查模式用于处理以下情况：

●新的对象进入监控区域：在上文中提到，当有新的对象进入监控画面时，前景的位置和前景所占的比例会有一个明显的变化，即M_x＞15，M_y＞15，F_c＞1.15。于是检测流程进入审查模式，以收集新进对象的相关信息；

●预测到监控对象将要离开监控区域：当跟踪模式下预测到有监控对象将要离开监控区域，检测流程转入审查模式，以确认对象的离开，并收集当前仍滞留在监控区域对象的相关信息；

●跟踪失败：尽管监控对象在监控区域的运动具有连贯性，但偶尔会出现其实际运动与运动估计不符的情况。如果在跟踪模式下，算法无法在预测区域找到监控对象，检测流程转入审查模式，重新获取监控区域内各个对象的相关信息。

本发明与背景技术相比，具有的有益的效果是：

本发明利用前景提取技术和监控视频中的时空域特征，减少检测过程中需要搜索的区域，避免了传统的AdaBoost算法搜索全帧的缺陷，使得计算复杂性大大降低，提高了智能视频监控应用中人脸检测的实时性。

附图说明

图1是前景区域位置变化的图。

图2是前景区域比例变化的图。

图3是基于视频的人脸检测方法的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

首先，利用帧差法取得视频前景，并判断前景区域位置和比例的变化；前景区域是一块矩形区域，以S_f表示，前景区域位置定义矩形中心点的坐标，以(x，y)表示，初始化值均为0，变量M_x，M_y分别表示前景区域S_f的位置在x和y两个方向上的变化；假设第N帧中，前景区域S_f，N的位置并定义为(x_N，y_N)，则M_x，M_y分别定义为：

(M_x)_N＝X_N-X_N-1

(M_y)_N＝Y_N-Y_N-1

前景区域S_f在视频帧中所占比例以F_c表示，假设第N帧中，前景区域S_f，N所占的比例被定义为P_N，则(F_c)_n被定义为：

${\left(F_c\right)}_N=\frac{P_N}{P_{N-1}}$

依据M_x，M_y，F_c的值的大小，来判断人脸检测过程是否可以进入审查模式，当M_x＞15，M_y＞15，F_c＞1.15时，人脸检测过程进入审查模式。如图1所示，在帧1到帧5这段区域内，x和y的强烈变化都大于15了；图2所示，在帧1到帧5这段区域内，前景区域的比例变化也大于1.15了，所以人脸检测过程进入审查模式。

审查模式利用正面人脸检测器，对前景区域做全面的搜索。一旦新的人脸被检测到，系统不但要记录该人脸在监控区域的位置坐标(X，Y)，尺寸(H，W)，其中H表示人脸的长度，W表示人脸的宽度，同时要记录其位置的变化(δ_x，δ_y)和尺寸的变化(ρ_h，ρ_w)信息，提供给跟踪模式做运动估计和尺寸变化估计。因此，每个检测到的人脸信息被描述为：

f＝<X，δ_x，Y，δ_y，H，ρ_h，W，ρ_w>

其中：δ_x＝X_n-X_n-1，δ_y＝Y_n-Y_n-1，ρ_h＝H_n-H_n-1，ρ_h＝W_n-W_n-1

在跟踪模式下，根据已经检测到的人脸的相关信息，预测该人脸在当前帧中可能的位置和尺寸，并利用正面人脸检测器，只在预测区域检测人脸；如果成功检测到人脸，更新该人脸的相关信息，供下一次预测；如果在预测区域无法检测到人脸，表明跟踪失败，检测流程转入审查模式；

如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。

假设在第N帧中运用审查模式检测到M张人脸，对于第i张人脸，以f(N，i)＝<X_N，i，δ_x，Y_N，i，δ_y，H_N，i，ρ_h，W_N，i，ρ_w>表示；其中，δ_x、δ_y被初始化为0，ρ_h被初始化为1.5，ρ_w被初始化为2；

在第N+1帧中，检测到的前景区域位置和比例未发生剧烈的改变，检测流程进入跟踪模式，根据上一帧中记录的相关信息，第i张人脸的预测信息为：

$\left\{\begin{array}{c}{X}_{\mathrm{predicted}}=X_{N,i}+{\mathrm{\&delta;}}_x\\ Y_{\mathrm{predicted}}=Y_{N,i}+{\mathrm{\&delta;}}_y\\ W_{\mathrm{predicted}}=W_{N,i}\&times;{\mathrm{\&rho;}}_w\\ H_{\mathrm{predicted}}=H_{N,i}\&times;{\mathrm{\&rho;}}_h\end{array}\right.$

利用正面人脸检测器，在预测区域做人脸检测，如果成功检测到人脸，记录相关的人脸信息，表示为：

f(N+1，i)＝<X_N+1，i，δ_x，Y_N+1，i，δ_y，H_N+1，i，ρ_h，W_N+1，i，ρ_w>

其中，δ_x、δ_y、ρ_h、ρ_w以观测值更新，并被用于下一次跟踪预测：

$\left\{\begin{array}{c}{\mathrm{\&delta;}}_x=X_{N+1,i}-X_{N,i}\\ {\mathrm{\&delta;}}_y=Y_{N+1,i}-Y_{N,i}\\ {\mathrm{\&rho;}}_h=H_{N+1,i}/H_{N,i}\\ {\mathrm{\&rho;}}_w=W_{N+1,i}/W_{N,i}\end{array}\right.$

如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。

整个工作流程如图3所示。

Claims (2)

1.一种基于视频的人脸检测方法，其特征在于：

1)预处理：利用帧差法取得视频前景，并判断前景区域位置和比例的变化；前景区域是一块矩形区域，以S_f表示，前景区域位置定义矩形中心点的坐标，以(x，y)表示，初始化值均为0，变量M_x，M_y分别表示前景区域S_f的位置在x和y两个方向上的变化；假设第N帧中，前景区域S_f，N的位置并定义为(x_N，y_N)，则M_x，M_y分别定义为：

(M_x)_N＝X_N-X_N-1

(M_y)_N＝Y_N-Y_N-1

前景区域S_f在视频帧中所占比例以F_c表示，假设第N帧中，前景区域S_f，N所占的比例被定义为P_N，则(F_c)_n被定义为：

${\left(F_c\right)}_N=\frac{P_N}{P_{N-1}}$

依据M_x，M_y，F_c的值的大小，来判断人脸检测过程是否可以进入审查模式，当M_x＞15，M_y＞15，F_c＞1.15时，人脸检测过程进入审查模式；

2)时空域特征：利用监控视频的时空域特征，将人脸检测过程分为两种不同的模式：审查模式和跟踪模式；

●审查模式

审查模式利用正面人脸检测器，对前景区域做全面的搜索。一旦新的人脸被检测到，系统不但要记录该人脸在监控区域的位置坐标(X，Y)，尺寸(H，W)，其中H表示人脸的长度，W表示人脸的宽度，同时要记录其位置的变化(δ_x，δ_y)和尺寸的变化(ρ_h，ρ_w)信息，提供给跟踪模式做运动估计和尺寸变化估计。因此，每个检测到的人脸信息被描述为：

f＝<X，δ_x，Y，δ_y，H，ρ_h，W，ρ_w>

其中：δ_x＝X_n-x_n-1，δ_y＝Y_n-Y_n-1，ρ_h＝H_n-H_n-1，ρ_h＝W_n-W_n-1

●跟踪模式

在跟踪模式下，根据已经检测到的人脸的相关信息，预测该人脸在当前帧中可能的位置和尺寸，并利用正面人脸检测器，只在预测区域检测人脸；如果成功检测到人脸，更新该人脸的相关信息，供下一次预测；如果在预测区域无法检测到人脸，表明跟踪失败，检测流程转入审查模式；

如果跟踪模式中无法在预测区域检测到人脸或者预测到在下一帧中正在跟踪的人脸将脱离监控区域，检测流程转入审查模式，对前景区域做全面的搜索，重新收集监控区域的人脸信息。

2.根据权利要求1所述的一种基于视频的人脸检测方法，其特征在于：所述的审查模式用于处理以下情况：

●新的对象进入监控区域：在上文中提到，当有新的对象进入监控画面时，前景的位置和前景所占的比例会有一个明显的变化，即M_x＞15，M_y＞15，F_c＞1.15。于是检测流程进入审查模式，以收集新进对象的相关信息；

●预测到监控对象将要离开监控区域：当跟踪模式下预测到有监控对象将要离开监控区域，检测流程转入审查模式，以确认对象的离开，并收集当前仍滞留在监控区域对象的相关信息；

●跟踪失败：尽管监控对象在监控区域的运动具有连贯性，但偶尔会出现其实际运动与运动估计不符的情况。如果在跟踪模式下，算法无法在预测区域找到监控对象，检测流程转入审查模式，重新获取监控区域内各个对象的相关信息。

Images