CN105069408A - 一种复杂场景下基于人脸识别的视频人像跟踪方法 - Google Patents

Abstract

本发明涉及一种复杂场景下基于人脸识别的视频人像跟踪方法，包括以下步骤：1)对获取的视频数据进行解码，得到一系列视频帧图像；2)采用人脸检测和物体跟踪方法对所获得的一系列视频帧图像进行处理，获得所有可能的人脸轨迹；3)判断步骤2)获得各人脸轨迹与后续临近人脸轨迹间的相似度，合并相似度高于设定阈值的人脸轨迹；4)输出合并后的人脸轨迹。与现有技术相比，本发明具有处理速度快、检测精度高、误报率低等优点，并且能解决因为遮挡，人头转动导致的人脸轨迹中断和混淆的问题。

Description

一种复杂场景下基于人脸识别的视频人像跟踪方法

技术领域

本发明涉及视频处理技术领域，尤其是涉及一种复杂场景下基于人脸识别的视频人像跟踪方法。

背景技术

人脸跟踪是在视频或图像序列中确定某个人脸的运动轨迹及大小变化的过程。一直以来，人脸跟踪在图像分析与识别图像监控与检索等领域都具有重大意义，例如手机彩信中的视频彩信、人机界面、权限控制、智能监视系统等，跟踪的准确性、精度和鲁棒性问题一直是业界关心的主要问题，许多行之有效的算法也相继出现。目前主流的视频人像跟踪算法主要有如下几种：

a)基于人脸检测的方法：对于视频中每一帧图像进行人脸检测，然后根据前后帧人像位置关系将前后帧中的人脸进行关联，得到视频中的人脸轨迹。

b)基于人脸检测和物体跟踪的方法，是对于上一种方法做出的改进：对于视频中每隔固定帧进行人脸检测，固定帧之后到下个固定帧的人脸位置通过物体跟踪的方法获得。常用的物体跟踪方法包括opticalflow、meanshift等。

上述方案在针对简单场景的时候(人脸清晰，以正脸为主，没有遮挡)的时候有较好的效果，但上述方案没有充分利用视频信息，对于复杂场景(遮挡频繁，人脸转动范围大)的时候容易出现人脸轨迹中断、人脸轨迹混淆等情况，易造成误报，性能差。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种处理速度快、检测精度高、误报率低的复杂场景下基于人脸识别的视频人像跟踪方法。

本发明的目的可以通过以下技术方案来实现：

一种复杂场景下基于人脸识别的视频人像跟踪方法，包括以下步骤：

1)对获取的视频数据进行解码，得到一系列视频帧图像；

2)采用人脸检测和物体跟踪方法对所获得的一系列视频帧图像进行处理，获得所有可能的人脸轨迹；

3)判断步骤2)获得各人脸轨迹与后续临近人脸轨迹间的相似度，合并相似度高于设定阈值的人脸轨迹；

4)输出合并后的人脸轨迹。

所述步骤2)具体为：

201)对步骤1)获得的一系列视频帧图像进行分组，每隔m帧取一视频帧图像为检测帧Fkm；

202)对所选取的多个检测帧Fkm进行人脸检测，在各检测帧上标示人脸框；

203)取检测帧Fkm后的(m-1)帧作为跟踪帧，在所述跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹，从而获得所有可能的人脸轨迹。

所述步骤203)中，在所述跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹具体为：

2a)假设一张人脸在检测帧Fkm上的位置为Dkm，在检测帧Fkm上人脸框的1.5倍区域D'km内寻找满足设定条件的跟踪稳定点；

2b)使用opticalflow算法获得D'km内的各跟踪稳定点在跟踪帧Fkm+1上的对应位置；

2c)以所有跟踪稳定点的平均位移作为人脸从检测帧Fkm到跟踪帧Fkm+1的移动位移，从而获得人脸在跟踪帧Fkm+1上的估计位置D’km+1；

2d)以估计位置D’km+1作为基础，在跟踪帧Fkm+1上进行局部人脸检测，获得人脸的精确位置Dkm+1；

2e)重复步骤2a)～2d)，直到人脸轨迹中断或所有检测帧检测完毕，得到所有可能的人脸轨迹。

所述人脸轨迹中断的条件包括：

I)人脸位置位于视频帧图像边缘；

II)无法找到满足设定条件的跟踪稳定点；

III)无法在下一帧的估计位置处检测到人脸。

所述满足设定条件的跟踪稳定点是指跟踪稳定点个数大于100。

所述步骤3)后续临近人脸轨迹指与当前人脸轨迹时间临近且空间临近的另一人脸轨迹，其中，时间临近是指所述另一人脸轨迹的起始帧在当前人脸轨迹结束帧之后S帧之内；空间临近是指另一人脸轨迹的起始帧和当前人脸轨迹结束帧上人脸的距离小于L个人脸高度。

所述步骤3)具体为：

301)对步骤2)获得的所有人脸轨迹抽取LBP特征，并对LBP特征降维获得最终的识别特征；

302)对所有人脸轨迹根据其结束帧先后顺序进行排序，依次计算各人脸轨迹与相应的后续临近人脸轨迹间的相似度：

当前人脸轨迹和后续临近人脸轨迹中各取n帧人脸，进行交叉比对得到n²组相似度，取其中最高的一组作为两条轨迹的相似度，其中，交叉比对获得的相似度由两帧图像对应的识别特征的cosine距离计算得到；

303)合并相似度大于设定阈值的两组轨迹。

所述步骤301)中，对人脸轨迹抽取识别特征具体为：

3a)从人脸轨迹中任意挑选N帧人脸；

3b)对于每帧人脸抽取其LBP特征；

3c)使用预先训练好的降维矩阵对LBP特征进行降维，得到最终的识别特征。

与现有技术相比，本发明具有以下优点：

1)本发明通过计算当前人脸轨迹与后续临近人脸轨迹间相似度，对相似度高的两条轨迹进行合并，有效解决了在复杂场景下，人脸轨迹由于遮挡、转动等导致的中断问题；

2)本发明在进行跟踪帧人脸检测时，通过物体跟踪+局部检测的方案，增加了系统处理速度，同时避免了因为遮挡导致的人脸轨迹混淆和误报问题。

具体实施方式

下面结合具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供一种复杂场景下基于人脸识别的视频人像跟踪方法，该方法输入为一段人像视频，输出为若干段人脸轨迹，每个人脸轨迹包含该人脸出现的所有帧号和对应帧中人脸位置。该方法具体步骤如下：

1)对获取的视频数据进行解码，得到一系列视频帧图像。

2)采用人脸检测和物体跟踪方法对所获得的一系列视频帧图像进行处理，获得所有可能的人脸轨迹{Gi}，具体为：

201)对步骤1)获得的一系列视频帧图像进行分组，每隔m帧取一视频帧图像为检测帧Fkm，m可取为3～5；

202)对所选取的多个检测帧Fkm进行人脸检测，在各检测帧上标示人脸框；

203)取检测帧Fkm后的(m-1)帧作为跟踪帧，即将Fkm+1,Fkm+2,...,Fkm+m-1作为跟踪帧，在所述跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹，从而获得所有可能的人脸轨迹。

步骤203)中，在每个跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹具体为：

2a)人脸在检测帧Fkm上的位置为Dkm，在检测帧Fkm上人脸框的1.5倍区域D’km内寻找满足设定条件的跟踪稳定点；

2b)使用opticalflow算法获得D’km内的各跟踪稳定点在跟踪帧Fkm+1上的对应位置；

2c)以所有跟踪稳定点的平均位移作为人脸从检测帧Fkm到跟踪帧Fkm+1的移动位移，从而获得人脸在跟踪帧Fkm+1上的估计位置D’km+1；

2d)以估计位置D’km+1作为基础，在估计位置D’km+1附近区域，一般为人脸框扩大3倍区域，在跟踪帧Fkm+1上进行局部人脸检测，获得人脸的精确位置Dkm+1；

2e)重复步骤2a)～2d)，直到人脸轨迹中断或所有检测帧检测完毕，得到所有可能的人脸轨迹。

这里的人脸轨迹中断的条件包括：

I)人脸位置位于视频帧图像边缘；

II)无法找到满足设定条件的跟踪稳定点，满足设定条件的跟踪稳定点是指跟踪稳定点个数大于100；

III)无法在下一帧的估计位置处检测到人脸。

3)判断步骤2)获得各人脸轨迹与后续临近人脸轨迹间的相似度，合并相似度高于设定阈值的人脸轨迹。

后续临近人脸轨迹指与当前人脸轨迹时间临近且空间临近的另一人脸轨迹，其中，时间临近是指所述另一人脸轨迹的起始帧在当前人脸轨迹结束帧之后S帧之内，S帧为3～6s；空间临近是指另一人脸轨迹的起始帧和当前人脸轨迹结束帧上人脸的距离小于L个人脸高度，L大等于5。

步骤3)具体为：

301)对步骤2)获得的所有人脸轨迹抽取LBP特征，并对LBP特征降维获得最终的识别特征：

3a)从人脸轨迹中任意挑选N帧人脸，这里的N可取为3～5；

3b)对于每帧人脸抽取其LBP特征，这是一个高维数组；

3c)使用预先训练好的降维矩阵(PCA+LDA)对LBP特征进行降维，得到最终的识别特征；

302)对所有人脸轨迹根据其结束帧先后顺序进行排序，依次计算各人脸轨迹与相应的后续临近人脸轨迹间的相似度：

当前人脸轨迹和后续临近人脸轨迹中各取n帧人脸，进行交叉比对得到n²组相似度，取其中最高的一组作为两条轨迹的相似度，其中，交叉比对获得的相似度由两帧图像对应的识别特征的cosine距离计算得到，n可取为5；

303)合并相似度大于设定阈值的两组轨迹。

通过上述方法获得的人脸轨迹误报率在万分之一，置信度为95％。

Claims (8)

1.一种复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，包括以下步骤：

1)对获取的视频数据进行解码，得到一系列视频帧图像；

2)采用人脸检测和物体跟踪方法对所获得的一系列视频帧图像进行处理，获得所有可能的人脸轨迹；

3)判断步骤2)获得各人脸轨迹与后续临近人脸轨迹间的相似度，合并相似度高于设定阈值的人脸轨迹；

4)输出合并后的人脸轨迹。

2.根据权利要求1所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述步骤2)具体为：

201)对步骤1)获得的一系列视频帧图像进行分组，每隔m帧取一视频帧图像为检测帧Fkm；

202)对所选取的多个检测帧Fkm进行人脸检测，在各检测帧上标示人脸框；

203)取检测帧Fkm后的(m-1)帧作为跟踪帧，在所述跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹，从而获得所有可能的人脸轨迹。

3.根据权利要求2所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述步骤203)中，在所述跟踪帧上通过物体跟踪和局部人脸检测方式得到相对于检测帧上人脸的后续轨迹具体为：

2a)假设一张人脸在检测帧Fkm上的位置为Dkm，在检测帧Fkm上人脸框的1.5倍区域D'km内寻找满足设定条件的跟踪稳定点；

2b)使用opticalflow算法获得D'km内的各跟踪稳定点在跟踪帧Fkm+1上的对应位置；

2c)以所有跟踪稳定点的平均位移作为人脸从检测帧Fkm到跟踪帧Fkm+1的移动位移，从而获得人脸在跟踪帧Fkm+1上的估计位置D’km+1；

2d)以估计位置D’km+1作为基础，在跟踪帧Fkm+1上进行局部人脸检测，获得人脸的精确位置Dkm+1；

2e)重复步骤2a)～2d)，直到人脸轨迹中断或所有检测帧检测完毕，得到所有可能的人脸轨迹。

4.根据权利要求3所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述人脸轨迹中断的条件包括：

I)人脸位置位于视频帧图像边缘；

II)无法找到满足设定条件的跟踪稳定点；

III)无法在下一帧的估计位置处检测到人脸。

5.根据权利要求3或4所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述满足设定条件的跟踪稳定点是指跟踪稳定点个数大于100。

6.根据权利要求2所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述步骤3)后续临近人脸轨迹指与当前人脸轨迹时间临近且空间临近的另一人脸轨迹，其中，时间临近是指所述另一人脸轨迹的起始帧在当前人脸轨迹结束帧之后S帧之内；空间临近是指另一人脸轨迹的起始帧和当前人脸轨迹结束帧上人脸的距离小于L个人脸高度。

7.根据权利要求6所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述步骤3)具体为：

301)对步骤2)获得的所有人脸轨迹抽取识别特征；

302)对所有人脸轨迹根据其结束帧先后顺序进行排序，依次计算各人脸轨迹与相应的后续临近人脸轨迹间的相似度：

当前人脸轨迹和后续临近人脸轨迹中各取n帧人脸，进行交叉比对得到n²组相似度，取其中最高的一组作为两条轨迹的相似度，其中，交叉比对获得的相似度由两帧图像对应的识别特征的cosine距离计算得到；

303)合并相似度大于设定阈值的两组轨迹。

8.根据权利要求7所述的复杂场景下基于人脸识别的视频人像跟踪方法，其特征在于，所述步骤301)中，对人脸轨迹抽取识别特征具体为：

3a)从人脸轨迹中任意挑选N帧人脸；

3b)对于每帧人脸抽取其LBP特征；

3c)使用预先训练好的降维矩阵对LBP特征进行降维，得到最终的识别特征。