CN104866805B - 人脸实时跟踪的方法和装置 - Google Patents

Abstract

本发明公开了一种人脸实时跟踪的方法和装置，所述方法包括步骤：在人脸跟踪时，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，提取正样本特征，并在第一帧图像中的正样本区域标记人脸跟踪框；在第k帧图像中，对应于第k‑1帧图像中人脸跟踪框的位置，随机选取多个邻近区域作为候选区，并提取候选区的候选特征；其中，k为大于或等于2的整数；将第k帧图像的各个候选特征与正样本特征对比，获得与正样本特征最接近的候选特征；在第k帧图像中最接近的候选特征对应的候选区标记人脸跟踪框。本发明有利于提高人脸跟踪速度，实现人脸实时跟踪，改善了人脸跟踪框的跳变，有利于实现人脸跟踪框的平滑过渡。

Description

人脸实时跟踪的方法和装置

技术领域

本发明涉及到图像处理技术领域，特别涉及到人脸实时跟踪的方法和装置。

背景技术

目前，在传统相机和智能终端上已实现了人脸跟踪技术，利用简单的眼睛定位和硬件加速可以快速的定位人脸并进行跟踪，特别是近年来智能终端的飞速发展，各种拍照类的应用软件层出不穷，在查找到人脸区域后，在该人脸区域添加一个选择框，选择框的大小与人脸区域的大小接近，通常是与人脸区域的外轮廓相切，选择框的形状可以自定义，例如圆形、长方形、正方形、三角形等，该选择框又可以叫做人脸跟踪框，人脸移动时，人脸跟踪框也随之移动。但是，现有的拍照类应用软件仅仅带有简单的人脸检测器，采用逐帧检测的方法来寻找人脸，跟踪准确性较低，跟踪速度较慢。普通的人脸检测器在智能终端运行会耗时50ms到3s不等，一般在400ms左右，使用人脸检测的方法跟踪仅能达到2.5帧每秒，跟踪到的人脸也是几百毫秒之前的位置，如果在这过程中人脸有移动，则画出的跟踪框无法框到人脸。此外，由于检测速度太慢，跟踪框无法平滑过渡，会出现明显的跳跃，即产生漂移。

发明内容

本发明实施例提供一种人脸实时跟踪的方法和装置，能提高人脸跟踪速度，有利于实现实时跟踪以及跟踪框的平滑过渡。

本发明实施例提出一种人脸实时跟踪的方法，包括步骤：

在人脸跟踪时，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，提取所述正样本特征，并在第一帧图像中的正样本区域标记人脸跟踪框；

在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，随机选取多个邻近区域作为候选区，并提取所述候选区的候选特征；其中，k为大于或等于2的整数；

将第k帧图像的各个候选特征与所述正样本特征对比，获得与所述正样本特征最接近的候选特征；

在第k帧图像中所述最接近的候选特征对应的候选区标记人脸跟踪框。

本发明实施例还提出一种人脸实时跟踪的装置，包括人脸跟踪模块，所述人脸跟踪模块包括：

样本提取单元，用于在人脸跟踪时，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，提取所述正样本特征；

跟踪框标记单元，用于在第一帧图像中的正样本区域标记人脸跟踪框；

候选区提取单元，用于在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，随机选取多个邻近区域作为候选区，并提取所述候选区的候选特征；其中，k为大于或等于2的整数；

分类对比单元，用于将第k帧图像的各个候选特征与所述正样本特征对比，获得与所述正样本特征最接近的候选特征；

所述跟踪框标记单元还用于，在第k帧图像中所述最接近的候选特征对应的候选区标记人脸跟踪框。

本发明实施例根据前一帧人脸跟踪框的位置，在当前帧中预先选取可能包括人脸的候选区，并将候选区与人脸跟踪获得的人脸样本进行比较，在最接近于人脸样本的候选区上标记人脸跟踪框，有利于提高人脸跟踪速度，实现人脸实时跟踪，改善了人脸跟踪框的跳变，有利于实现人脸跟踪框的平滑过渡。

附图说明

图1为本发明人脸实时跟踪的方法的第一实施例的处理示意图；

图2为本发明人脸实时跟踪的方法的第一实施例的流程图；

图3为本发明人脸实时跟踪的方法的第二实施例的流程图；

图4为本发明人脸实时跟踪的方法的第三实施例的流程图；

图5为本发明人脸实时跟踪的方法的第四实施例的流程图；

图6为本发明人脸实时跟踪的方法的第五实施例的流程图；

图7为本发明人脸实时跟踪的装置的第一实施例的结构示意图；

图8为本发明人脸实时跟踪的装置的第二实施例的结构示意图；

图9为本发明人脸实时跟踪的装置的第三实施例的结构示意图；

图10为本发明实施例中双线程信令图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，图1为本发明人脸实时跟踪的方法的第一实施例的处理示意图，图2为本发明人脸实时跟踪的方法的第一实施例的流程图。本实施例提到的人脸实时跟踪的方法，包括步骤：

步骤S10，在人脸跟踪时，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，并在第一帧图像中的正样本区域标记人脸跟踪框；

本实施例实现的硬件环境可以为具备拍照或摄像功能的智能终端，例如手机、pad、笔记本电脑、安装有摄像头的台式机或一体机等。在进行人脸跟踪前，需要先检测到人脸。目前实现人脸检测的方式有很多，例如IOS系统自带的人脸检测器，在此不作赘述。由于人脸检测耗时较长，如图1所示，包括多个周期，因此并不时刻检测人脸，而是在一个时间段内（即一个周期内）检测一次之后，就对检测到人脸进行跟踪，有利于减少占用的内存。以一个人脸检测周期为单位，则在人脸检测时检测的图像通常是每个时间周期内的第一帧图像，将人脸检测到的人脸作为正样本，在人脸之外的其他区域即可作为负样本。同时，在该时间周期内第一帧图像中检测到的人脸区域标记出人脸跟踪框。如图1中第x周期内对第1帧图形进行人脸检测，将检测到的人脸作为正样本，并标记出人脸跟踪框。

步骤S20，提取正样本特征；

为了实现跟踪人脸，需要将检测到的人脸样本作为基准，来与后续图片进行比较，以确定后续图片中人脸的位置。为了便于比较，可提取人脸样本中的特征信息，例如，获取正样本的像素值，比较正样本像素值与后续图片中各区域的像素值的近似程度；或提取正样本轮廓，然后在后续图片中查找与正样本轮廓特征近似的区域；或提取正样本的哈尔（haar）特征，比较哈尔特征的近似度等方式。

步骤S30，在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，随机选取多个邻近区域作为候选区；其中，k为大于或等于2的整数；

考虑到人像在镜头中至少会有稍微的移动，例如手持智能设备时的抖动，或被拍摄的人像的移动等因素，在后续的图像中跟踪人脸时，可根据上一帧图像中标记的人脸跟踪框附近，预先选择几个邻近的区域作为候选区，人脸的移动可能会出现在这些选中的候选区中。例如图1中，假设已经跟踪完成第k-1帧图像，准备对第k帧图像进行人脸跟踪，此时在第k帧图像中，实线框部分为第k-1帧图像的人脸跟踪框，则在其附近框出三个候选区，即图中虚线框部分，候选区的选择和标记都是在终端后台执行，在终端显示界面上并不显示出来。此外，这些预选的候选区内还可包括与上一帧图像中人脸跟踪框位置一致的区域，以涵盖人脸未发生位移的情况。

步骤S40，提取候选区的候选特征；

为了便于将候选区与正样本比较，可采用与人脸样本提取特征时对应的提取方式来提取候选区的特征，例如，获取候选区的像素值，比较候选区像素值与正样本像素值的近似程度；或提取候选区轮廓，然后比较候选区轮廓与正样本轮廓特征近似程度；或提取候选区的哈尔特征，比较候选区哈尔特征与正样本哈尔特在的近似度等方式。

步骤S50，将第k帧图像的各个候选特征与正样本特征对比，获得与正样本特征最接近的候选特征；

在将候选特征与正样本特征对比后，从比较结果中选择最接近正样本特征的候选特征，说明该候选特征对应的候选区中包含有人脸的可能性最大。

步骤S60，在第k帧图像中最接近的候选特征对应的候选区标记人脸跟踪框，k+1，返回步骤S30。

在选取出最接近正样本特征的候选特征后，将该候选特征所对应的候选区作为人脸跟踪的目标区域，在其上标记人脸跟踪框，如图1中，候选区3的候选特征与正样本特征最接近，则选择候选区3作为第k帧图像的人脸跟踪框，在终端界面上显示的结果就是图1中最后一个图形。然后将该人脸跟踪框的位置作为下一帧图像确定候选区的基准，并对下一帧图像进行跟踪，以此类推。如此一来，大大的提高了人脸跟踪速度，跟踪速度可提高到40帧每秒，人脸的移动不再那么突兀，跟踪框的跳变情况也得到了有效改善。

本实施例根据前一帧人脸跟踪框的位置，在当前帧中预先选取可能包括人脸的候选区，并将候选区与人脸跟踪获得的人脸样本进行比较，在最接近于人脸样本的候选区上标记人脸跟踪框，有利于提高人脸跟踪速度，实现人脸实时跟踪，改善了人脸跟踪框的跳变，有利于实现人脸跟踪框的平滑过渡。

如图3所示，图3为本发明人脸实时跟踪的方法的第二实施例的流程图。本实施例以图2所示实施例为基础，说明了提取特征的过程，其中：

步骤S20包括：

步骤S21，计算正样本的积分图，根据正样本的积分图，提取正样本的哈尔特征作为正样本特征。

步骤S40包括：

步骤S41，计算候选区的积分图，根据候选区的积分图，提取候选区的哈尔特征作为候选区特征。

本实施例采用提取haar特征的方式来获得人脸正样本和候选区的特征信息。haar特征又可叫做矩形特征，即基于块的特征，是指采用矩形特征来实现对人脸的识别。haar特征对一些简单的图形结构比较敏感，比如边缘和线段，脸部的某些特征能够由haar特征简单地描绘，例如，眼睛要比脸颊颜色深，鼻梁两侧要比鼻梁颜色深，嘴巴要比周围颜色深。haar特征通常包括边缘特征、线性特征、中心特征和对角线特征，组合成为特征模板。在特征模板中包括有白色和黑色两种矩形，该模板的特征值（即haar特征的值）为白色矩形像素之和减去黑色矩形像素之和。

在haar特征的值的计算中，确定了矩形特征区域后，可采用积分图求解haar特征值。一个区域的像素值，可以由该区域的端点的积分图来计算，矩形特征的特征值可以由特征区域端点的积分图计算出来。积分图主要的思想是，将图像从起点开始到各个点所形成的矩形区域像素之和，作为一个数组的元素保存在内存中，当要计算某个区域的像素和时可以直接索引数组的元素，不用重新计算这个区域的像素和，从而加快了计算。矩形特征的特征值计算，只与此特征矩形的端点的积分图有关，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量，运用积分图可以快速计算给定的矩形之所有象素值之和。

综上所述，采用haar特征作为人脸正样本和候选区的特征，并在后续对两者进行比较，有利于提高特征获取的速度，进而提高人脸跟踪速度，有利于实现人脸实时跟踪。

如图4所示，图4为本发明人脸实时跟踪的方法的第三实施例的流程图。本实施例以图2所示实施例为基础，在步骤S50之前还包括：

步骤S70，采用压缩算法对正样本特征和候选特征进行降维处理。

本实施例的压缩算法可采用压缩矩阵对正样本特征和候选特征进行压缩，将压缩矩阵分别与正样本特征和候选特征相乘，获得降维后的正样本特征和候选特征。其中，压缩矩阵是m行n列的矩阵，包括了多个

和0，

和0的个数比为1:1:2，

和0在压缩矩阵中的位置随机分布。以r_ij表示矩阵的第i行第j列的元素，其中i、j、m和n均为正整数，0＜i≤m，0＜j≤n，r_ij的生成规则为：

即在压缩矩阵中的m×n个元素中，包括了25%个

25%个负

和50%个0。采用压缩算法对正样本特征和候选特征进行压缩降维后，对后续比较正样本特征和候选特征提供了方便，减少了比较的数据量，有利于提高比较的处理速度，进而加快了人脸跟踪速度。

如图5所示，图5为本发明人脸实时跟踪的方法的第四实施例的流程图。本实施例以图2所示实施例为基础，步骤S60包括：

步骤S61，采用贝叶斯分类器对第k帧图像的各个候选特征分类，获得属于正样本特征所在类的概率最大的候选特征。

本实施例采用贝叶斯分类器来获得与正样本特征最接近的候选特征。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。本实施例在分类前，可先分别获得正样本特征和负样本特征，然后将候选特征、正样本特征和负样本特征作为贝叶斯分类器的输入值，分别获得候选特征属于正样本特征和负样本特征的概率，对候选特征进行分类，最后将属于正样本特征所在类的候选特征的概率进行排序，查找概率最大的候选特征，该候选特征对应的候选区涵盖人脸的可能性最大，则在该候选区上标示人脸跟踪框。采用贝叶斯分类器实现候选特征分类，有利于快速获得最佳的候选特征，提高选取人脸所在区域的准确性，进而提高人脸跟踪的速度和准确性。

如图6所示，图6为本发明人脸实时跟踪的方法的第五实施例的流程图。本实施例以图2所示实施例为基础，在步骤S10之前还包括：

步骤S81，采用双线程，在第一线程持续跟踪人脸的同时，第二线程周期性检测人脸；

步骤S82，第二线程将检测到的人脸送入第一线程，供第一线程进行人脸跟踪。

本实施例为了进一步改善跟踪框的跳变状况，采用双线程分别实现人脸跟踪与检测，可一并参照图10，其中，一个线程周期性的进行人脸检测并初始化跟踪器，另一个线程持续跟踪人脸，如此一来，实现了人脸持续跟踪，并且在进行人脸检测时，也无需终端人脸跟踪，提高了人脸跟踪框的平滑过渡，避免了在单线程时跟踪人脸过程中，由于需要跳转到人脸检测过程，中断了人脸跟踪，造成的人脸跟踪框的跳变。

如图7所示，图7为本发明人脸实时跟踪的装置的第一实施例的结构示意图。本实施例提出的人脸实时跟踪的装置，包括人脸跟踪模块10，人脸跟踪模块10包括：

样本提取单元11，用于在人脸跟踪时，将一个检测周期内检测到的第一帧图像中的人脸作为正样本，提取正样本特征；

跟踪框标记单元12，用于在第一帧图像中的正样本区域标记人脸跟踪框；

候选区提取单元13，用于在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，随机选取多个邻近区域作为候选区，并提取候选区的候选特征；其中，k为大于或等于2的整数；

分类对比单元14，用于将第k帧图像的各个候选特征与正样本特征对比，获得与正样本特征最接近的候选特征；

跟踪框标记单元12还用于，在第k帧图像中最接近的候选特征对应的候选区标记人脸跟踪框。

本实施例实现的硬件环境可以为具备拍照或摄像功能的智能终端，例如手机、pad、笔记本电脑、安装有摄像头的台式机或一体机等。在进行人脸跟踪前，需要先检测到人脸。目前实现人脸检测的方式有很多，例如IOS系统自带的人脸检测器，在此不作赘述。由于人脸检测耗时较长，因此并不时刻检测人脸，而是在一个时间段内检测一次之后，就对检测到人脸进行跟踪，有利于减少占用的内存。以一个人脸检测周期为单位，则在人脸检测时检测的图像通常是每个时间周期内的第一帧图像，将人脸检测到的人脸作为正样本，在人脸之外的其他区域即可作为负样本。同时，在该时间周期内第一帧图像中检测到的人脸区域标记出人脸跟踪框。

为了实现跟踪人脸，需要将检测到的人脸样本作为基准，来与后续图片进行比较，以确定后续图片中人脸的位置。为了便于比较，可提取人脸样本中的特征信息，例如，获取正样本的像素值，比较正样本像素值与后续图片中各区域的像素值的近似程度；或提取正样本轮廓，然后在后续图片中查找与正样本轮廓特征近似的区域；或提取正样本的哈尔（haar）特征，比较哈尔特征的近似度等方式。

考虑到人像在镜头中至少会有稍微的移动，例如手持智能设备时的抖动，或被拍摄的人像的移动等因素，在后续的图像中跟踪人脸时，可根据上一帧图像中标记的人脸跟踪框附近，预先选择几个邻近的区域作为候选区，人脸的移动可能会出现在这些选中的候选区中。此外，这些预选的候选区内还可包括与上一帧图像中人脸跟踪框位置一致的区域，以涵盖人脸未发生位移的情况。

为了便于将候选区与正样本比较，可采用与人脸样本提取特征时对应的提取方式来提取候选区的特征，例如，获取候选区的像素值，比较候选区像素值与正样本像素值的近似程度；或提取候选区轮廓，然后比较候选区轮廓与正样本轮廓特征近似程度；或提取候选区的哈尔特征，比较候选区哈尔特征与正样本哈尔特在的近似度等方式。

在将候选特征与正样本特征对比后，从比较结果中选择最接近正样本特征的候选特征，说明该候选特征对应的候选区中包含有人脸的可能性最大。在选取出最接近正样本特征的候选特征后，将该候选特征所对应的候选区作为人脸跟踪的目标区域，在其上标记人脸跟踪框，然后将该人脸跟踪框的位置作为下一帧图像确定候选区的基准，并对下一帧图像进行跟踪，以此类推。如此一来，大大的提高了人脸跟踪速度，跟踪速度可提高到40帧每秒，人脸的移动不再那么突兀，跟踪框的跳变情况也得到了有效改善。

本实施例根据前一帧人脸跟踪框的位置，在当前帧中预先选取可能包括人脸的候选区，并将候选区与人脸跟踪获得的人脸样本进行比较，在最接近于人脸样本的候选区上标记人脸跟踪框，有利于提高人脸跟踪速度，实现人脸实时跟踪，改善了人脸跟踪框的跳变，有利于实现人脸跟踪框的平滑过渡。

进一步的，样本提取单元11还用于：

计算正样本的积分图；

根据正样本的积分图，提取正样本的哈尔特征作为正样本特征。

进一步的，候选区提取单元13还用于：

计算候选区的积分图；

根据候选区的积分图，提取候选区的哈尔特征作为候选区特征。

本实施例采用提取haar特征的方式来获得人脸正样本和候选区的特征信息。haar特征又可叫做矩形特征，即基于块的特征，是指采用矩形特征来实现对人脸的识别。haar特征对一些简单的图形结构比较敏感，比如边缘和线段，脸部的某些特征能够由haar特征简单地描绘，例如，眼睛要比脸颊颜色深，鼻梁两侧要比鼻梁颜色深，嘴巴要比周围颜色深。haar特征通常包括边缘特征、线性特征、中心特征和对角线特征，组合成为特征模板。在特征模板中包括有白色和黑色两种矩形，该模板的特征值（即haar特征的值）为白色矩形像素之和减去黑色矩形像素之和。

在haar特征的值的计算中，确定了矩形特征区域后，可采用积分图求解haar特征值。一个区域的像素值，可以由该区域的端点的积分图来计算，矩形特征的特征值可以由特征区域端点的积分图计算出来。积分图主要的思想是，将图像从起点开始到各个点所形成的矩形区域像素之和，作为一个数组的元素保存在内存中，当要计算某个区域的像素和时可以直接索引数组的元素，不用重新计算这个区域的像素和，从而加快了计算。矩形特征的特征值计算，只与此特征矩形的端点的积分图有关，所以不管此特征矩形的尺度变换如何，特征值的计算所消耗的时间都是常量，运用积分图可以快速计算给定的矩形之所有象素值之和。

综上所述，采用haar特征作为人脸正样本和候选区的特征，并在后续对两者进行比较，有利于提高特征获取的速度，进而提高人脸跟踪速度，有利于实现人脸实时跟踪。

如图8所示，图8为本发明人脸实时跟踪的装置的第二实施例的结构示意图。本实施例以图7所示实施例为基础，人脸跟踪模块10还包括压缩单元15，用于采用压缩算法对正样本特征和候选特征进行降维处理。

进一步的，压缩单元15还用于，采用压缩矩阵对正样本特征和候选特征进行压缩，压缩矩阵中

和0的个数比为1:1:2。

进一步的，压缩矩阵是m行n列的矩阵，r_ij是矩阵的第i行第j列的元素，其中0＜i≤m，0＜j≤n，r_ij的生成规则为：

本实施例的压缩算法可采用压缩矩阵对正样本特征和候选特征进行压缩，将压缩矩阵分别与正样本特征和候选特征相乘，获得降维后的正样本特征和候选特征。其中，压缩矩阵是m行n列的矩阵，包括了多个

和0，

和0的个数比为1:1:2，

和0在压缩矩阵中的位置随机分布。以r_ij表示矩阵的第i行第j列的元素，其中i、j、m和n均为正整数，0＜i≤m，0＜j≤n，r_ij的生成规则为：

即在压缩矩阵中的m×n个元素中，包括了25%个

25%个负

和50%个0。采用压缩算法对正样本特征和候选特征进行压缩降维后，对后续比较正样本特征和候选特征提供了方便，减少了比较的数据量，有利于提高比较的处理速度，进而加快了人脸跟踪速度。

进一步的，分类对比单元14还用于，采用贝叶斯分类器对第k帧图像的各个候选特征分类，获得属于正样本特征所在类的概率最大的候选特征。

本实施例采用贝叶斯分类器来获得与正样本特征最接近的候选特征。贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。也就是说，贝叶斯分类器是最小错误率意义上的优化。本实施例在分类前，可先分别获得正样本特征和负样本特征，然后将候选特征、正样本特征和负样本特征作为贝叶斯分类器的输入值，分别获得候选特征属于正样本特征和负样本特征的概率，对候选特征进行分类，最后将属于正样本特征所在类的候选特征的概率进行排序，查找概率最大的候选特征，该候选特征对应的候选区涵盖人脸的可能性最大，则在该候选区上标示人脸跟踪框。采用贝叶斯分类器实现候选特征分类，有利于快速获得最佳的候选特征，提高选取人脸所在区域的准确性，进而提高人脸跟踪的速度和准确性。

如图9所示，图9为本发明人脸实时跟踪的装置的第三实施例的结构示意图。本实施例以图7所示实施例为基础，增加了人脸检测模块20，人脸实时跟踪的装置采用双线程，人脸跟踪模块10为第一线程，人脸检测模块20为第二线程；

人脸检测模块20用于，在人脸跟踪模块10持续跟踪人脸的同时，周期性检测人脸；将检测到的人脸送入第一线程，供第一线程进行人脸跟踪。

本实施例为了进一步改善跟踪框的跳变状况，采用双线程分别实现人脸跟踪与检测，可一并参照图10，其中，一个线程周期性的进行人脸检测并初始化跟踪器，另一个线程持续跟踪人脸，如此一来，实现了人脸持续跟踪，并且在进行人脸检测时，也无需终端人脸跟踪，提高了人脸跟踪框的平滑过渡，避免了在单线程时跟踪人脸过程中，由于需要跳转到人脸检测过程，中断了人脸跟踪，造成的人脸跟踪框的跳变。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如ROM/RAM、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种人脸实时跟踪的方法，其特征在于，包括步骤：

采用双线程，在第一线程持续跟踪人脸的同时，第二线程周期性检测人脸；

在人脸跟踪时，通过所述第二线程将一个检测周期内检测到的第一帧图像中的人脸作为正样本送入所述第一线程，供所述第一线程进行人脸跟踪，以使所述第一线程提取所述正样本特征，并在第一帧图像中的正样本区域标记人脸跟踪框；

在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，以所述第k-1帧图像中人脸跟踪框的位置作为所述第k帧图像确定候选区的基准，对所述第k帧图像进行跟踪；

随机选取多个邻近区域作为候选区，并提取所述候选区的候选特征；其中，k为大于或等于2的整数；随机选取的候选区包括与第k-1帧图像中人脸跟踪框位置一致的区域；

获取压缩算法对应的压缩矩阵；

将压缩矩阵分别与所述正样本特征和所述候选特征相乘，以获得降维后的正样本特征和降维后的候选特征；

将第k帧图像的各个所述降维后的候选特征与所述降维后的正样本特征对比，获得与所述正样本特征最接近的候选特征；

在第k帧图像中所述最接近的候选特征对应的候选区标记人脸跟踪框。

2.根据权利要求1所述的人脸实时跟踪的方法，其特征在于，所述压缩矩阵中包括多个

和0，所述

和0的个数比为1:1:2，所述

和0在所述压缩矩阵中的位置随机分布。

3.根据权利要求2所述的人脸实时跟踪的方法，其特征在于，所述压缩矩阵是m行n列的矩阵，r_ij是矩阵的第i行第j列的元素，其中0＜i≤m，0＜j≤n，r_ij的生成规则为：

4.根据权利要求1至3任一项所述的人脸实时跟踪的方法，其特征在于，所述提取正样本特征的步骤包括：

计算所述正样本的积分图；

根据所述正样本的积分图，提取所述正样本的哈尔特征作为所述正样本特征。

5.根据权利要求1至3任一项所述的人脸实时跟踪的方法，其特征在于，所述提取候选区的候选特征的步骤包括：

计算所述候选区的积分图；

根据所述候选区的积分图，提取所述候选区的哈尔特征作为所述候选区特征。

6.根据权利要求1至3任一项所述的人脸实时跟踪的方法，其特征在于，所述将第k帧图像的各个候选特征与所述正样本特征对比，获得与所述正样本特征最接近的候选特征的步骤包括：

采用贝叶斯分类器对第k帧图像的各个候选特征分类，获得属于所述正样本特征所在类的概率最大的候选特征。

7.一种人脸实时跟踪的装置，其特征在于，包括人脸跟踪模块，所述人脸跟踪模块包括：

样本提取单元，用于采用双线程，在所述人脸跟踪模块中的第一线程持续跟踪人脸的同时，所述人脸跟踪模块中的第二线程周期性检测人脸；在人脸跟踪时，通过所述第二线程将一个检测周期内检测到的第一帧图像中的人脸作为正样本送入所述第一线程，供所述第一线程进行人脸跟踪，以使所述第一线程提取所述正样本特征；

跟踪框标记单元，用于在第一帧图像中的正样本区域标记人脸跟踪框；

候选区提取单元，用于在第k帧图像中，对应于第k-1帧图像中人脸跟踪框的位置，以所述第k-1帧图像中人脸跟踪框的位置作为所述第k帧图像确定候选区的基准，对所述第k帧图像进行跟踪；随机选取多个邻近区域作为候选区，并提取所述候选区的候选特征；其中，k为大于或等于2的整数；随机选取的候选区包括与第k-1帧图像中人脸跟踪框位置一致的区域；

压缩单元，用于获取压缩算法对应的压缩矩阵；将压缩矩阵分别与所述正样本特征和所述候选特征相乘，以获得降维后的正样本特征和降维后的候选特征；

分类对比单元，用于将第k帧图像的各个所述降维后的候选特征与所述降维后的正样本特征对比，获得与所述正样本特征最接近的候选特征；

所述跟踪框标记单元还用于，在第k帧图像中所述最接近的候选特征对应的候选区标记人脸跟踪框。

8.根据权利要求7所述的人脸实时跟踪的装置，其特征在于，所述压缩矩阵中包括多个

和0，所述

和0的个数比为1:1:2，所述

和0在所述压缩矩阵中的位置随机分布。

9.根据权利要求8所述的人脸实时跟踪的装置，其特征在于，所述压缩矩阵是m行n列的矩阵，r_ij是矩阵的第i行第j列的元素，其中0＜i≤m，0＜j≤n，r_ij的生成规则为：

10.根据权利要求7至9任一项所述的人脸实时跟踪的装置，其特征在于，所述样本提取单元还用于：

计算所述正样本的积分图；

根据所述正样本的积分图，提取所述正样本的哈尔特征作为所述正样本特征。

11.根据权利要求7至9任一项所述的人脸实时跟踪的装置，其特征在于，所述候选区提取单元还用于：

计算所述候选区的积分图；

根据所述候选区的积分图，提取所述候选区的哈尔特征作为所述候选区特征。

12.根据权利要求7至9任一项所述的人脸实时跟踪的装置，其特征在于，所述分类对比单元还用于，采用贝叶斯分类器对第k帧图像的各个候选特征分类，获得属于所述正样本特征所在类的概率最大的候选特征。

13.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令配置为执行上述权利要求1至6任一项所提供的人脸实时跟踪的方法。

Images