CN109033955B - 一种人脸跟踪方法和系统 - Google Patents

Abstract

本发明公开了一种人脸跟踪方法和系统。其中，方法包括：根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度。系统包括：更新判断模块，用于判断当前人脸模板是否满足更新条件；模板更新模块，用于更新当前人脸模板；人脸跟踪模块，用于获取下一帧图像中的人脸跟踪区域。本发明实施例提供的人脸跟踪方法和系统，极大降低了跟踪的时间消耗，且能保证较高的跟踪准确率。

Description

一种人脸跟踪方法和系统

技术领域

本发明涉及视频技术领域，尤其涉及一种人脸跟踪方法和系统。

背景技术

视觉跟踪是计算机视觉领域的一项重要任务，也是很多计算机视觉应用的基础任务，在视频检索、基于运动的识别、人机交互、自动化监控、车辆导航等方面有重要应用。高清摄像头的出现、高端电脑的激增、自动视频分析日益增长的需求，这些都促使着视觉跟踪算法的研究进程。视觉跟踪算法在近几十年得到了比较好的研究和发展。尽管很多有效视觉跟踪策略被不断提出，但是兼具速度和精度的视觉跟踪仍是一项巨大挑战。

人脸跟踪是视觉跟踪中的一种常见类型。现有人脸跟踪技术，通常采用基于模板的方法实现。具体步骤包括：提取初始帧图像中人脸的特征，获得人脸模板；利用人脸模板，对下一帧图像中的人脸进行匹配，从而实现人脸跟踪；当前帧进行人脸跟踪后，根据当前帧图像的人脸跟踪结果，对人脸模板进行更新，将更新后的人脸模板用于对下一帧图像进行人脸跟踪。对人脸模板进行更新，是为了避免人的姿态的变化，导致图像中的人脸与人脸模板相差较大，从而导致跟踪失败。

一方面，为了保证人脸匹配的准确性，提取初始帧图像中人脸的特征时，通常提取的特征的数量较多，得到维数可达数十维的高维的特征向量，从而导致人脸匹配的速度较慢；另一方面，对每一帧图像进行人脸跟踪后，都进行人脸模板更新，降低了人脸跟踪的速度，且会导致越来越多的背景加入到检测框中，造成跟踪失败。因此，现有人脸跟踪技术不能兼具速度和精度。

发明内容

针对现有技术存在的不能兼具速度和精度问题，本发明实施例提供一种人脸跟踪方法和系统。

所述技术方案如下：

本发明实施例提供一种人脸跟踪方法，包括：

S1、根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；

S2、当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；

S3、根据所述新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度。

本发明实施例还提供一种人脸跟踪系统，包括：

更新判断模块，用于根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；

模板更新模块，用于当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；

人脸跟踪模块，用于根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度。

本发明具有以下有益效果：

本发明实施例提供的人脸跟踪方法和系统，通过判断人脸模板是否需要更新，仅进行必要的更新，不是在每一帧图像跟踪后都进行人脸模板更新，极大降低了人脸跟踪的时间消耗；且在人脸跟踪结果不理想时更新人脸模板，能保证较高的人脸跟踪的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明人脸跟踪方法实施例的流程图；

图2为本发明人脸跟踪系统实施例的功能框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明人脸跟踪方法实施例的流程图。如图1所示，一种人脸跟踪方法包括：步骤S1、根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；步骤S2、当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；步骤S3、根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度。

需要说明的是，本发明实施例提供的人脸跟踪方法基于模板实现对图像中的人脸进行跟踪。对于每一帧图像，根据获取该帧图像中的人脸跟踪区域时的当前人脸模板，获取该帧图像中的人脸跟踪区域。

可以理解的是，基于模板实现人脸跟踪的具体步骤可以包括：

通过第一帧图像获取初始人脸模板；

根据初始人脸模板对逐帧图像进行人脸跟踪；

若人脸模板不需要更新，将其直接用于下一帧图像的跟踪；若人脸模板需要更新，将更新后的模板用于下一帧图像的跟踪；

直至对最后一帧图像完成人脸跟踪。

由于每一帧图像中，人脸的姿态和背景等不尽相同，因此，需要对人脸模板进行更新。当相邻两帧图像中人脸的姿态和背景相差不大时，如果使用相同的人脸模板进行人脸跟踪的也能获得较好的人脸跟踪结果，此时，在前一帧图像的人脸跟踪结束后，更新人脸模板是不必要的更新。本发明实施例提供的人脸跟踪方法，仅在有必要更新时才对人脸模板进行更新。

具体地，步骤S1，判断获取当前帧的人脸跟踪区域时的人脸模板，即当前人脸模板，是否需要进行更新。

每获取一帧图像中的人脸跟踪区域后，将该帧图像中的人脸跟踪区域在获取该帧图像中的人脸跟踪区域时的人脸模板下的置信度，作为该帧图像的跟踪置信度。

在统计学中，一个概率样本的置信区间(Confidence interval)是对这个样本的某个总体参数的区间估计。置信区间展现的是这个参数的真实值有一定概率落在测量结果的周围的程度。置信区间给出的是被测量参数的测量值的可信程度，即前面所要求的“一定概率”。这个概率被称为置信水平，即置信度。

置信度反映了每帧图像中的人脸跟踪区域与当前人脸模板的相似程度。图像中的人脸跟踪区域与人脸模板的相似度越来越低，人脸跟踪区域中不存在需跟踪的人脸的可能性越来越大，反映为当前帧的人脸跟踪结果不理想，即当前帧及其之前连续若干帧图像的跟踪置信度呈现出特定的变化趋势。因此，根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，可以判断当前人脸模板是否需要更新，即当前人脸模板是否满足更新条件。

获取当前帧的跟踪置信度后，根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件。

作为一个优选实施例，第一数量为3。

例如，当根据当前人脸模板获取第4帧图像中的人脸跟踪区域和跟踪置信度后，根据第1至4帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件，即判断当前人脸模板是否需要更新。

步骤S2，当判断结果为不满足更新条件时，不更新人脸模板，直接将当前模板用于下一帧图像的人脸跟踪，根据当前模板，获取下一帧图像中的人脸跟踪区域。

当判断结果为满足更新条件时，更新当前人脸模板。

当需要更新当前人脸模板时，说明当前帧和上一帧图像中，人脸的姿态和背景等发生了较大变化，导致当前帧图像的人脸跟踪结果不理想，甚至跟踪失败。因此，需要根据上一帧图像对当前人脸模板进行更新。

更新当前人脸模板时，根据上一帧图像获得更新参数，利用更新参数对当前人脸模板的参数进行更新，从而获得新的人脸模板。

步骤S3，人脸模板更新后，根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在更新后的人脸模板下的置信度，作为下一帧图像的跟踪置信度。

根据人脸模板，获取图像中的人脸跟踪区域，可以基于模板匹配方法，但不限于此。

模板匹配是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象，这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。

人脸跟踪区域，指人脸跟踪框所围成的区域。一般地，人脸跟踪框为矩形框。

优选地，可以基于置信度进行模板匹配，获得图像中的人脸跟踪区域。

优选地，可以利用核相关滤波(Kernelized Correlation Filter，简称KCF)获取置信度。

例如：人脸模板为训练好的核相关滤波模板，即训练好的核相关滤波器，因此，新的人脸模板也是核相关滤波器；提取下一帧图像的若干个子图像，每个子图像的大小与当前帧图像中的人脸跟踪区域的大小相同；对于下一帧图像的每个子图像，提取至少一个特征；将每个子图像的特征输入新的人脸模板，获得新的人脸模板的响应，即获得每个子图像的置信度；一般地，将置信度最高的子图像确定为下一帧图像中的人脸跟踪区域。

本发明实施例通过判断人脸模板是否需要更新，仅进行必要的更新，不是在每一帧图像跟踪后都进行人脸模板更新，极大降低了人脸跟踪的时间消耗；且在人脸跟踪结果不理想时更新人脸模板，能保证较高的人脸跟踪的准确率。

基于上述实施例，作为一个优选实施例，步骤S2与步骤S3之间还包括：对当前帧图像采用所述新的人脸模板，获得人脸跟踪区域，并获取所述当前帧图像的人脸跟踪区域在所述新的人脸模板下的置信度，作为当前图像的跟踪置信度。

可以理解的是，当当前人脸模板满足更新条件时，说明当前帧的人脸跟踪结果并不理想。作为一个优选实施例，人脸模板更新后，根据新的人脸模板，重新对当前帧图像执行人脸跟踪操作，获得更理想的人脸跟踪结果。即根据更新后的当前人脸模板，获取当前帧图像的新的人脸跟踪区域和新的人脸跟踪区域在更新后的当前人脸模板下的置信度，将新的人脸跟踪区域作为当前帧图像的人脸跟踪结果，将新的人脸跟踪区域在更新后的当前人脸模板下的置信度作为当前帧的跟踪置信度，不保留根据更新前的人脸模板获取的当前帧图像的人脸跟踪结果和跟踪置信度。

当重新获取当前帧图像的人脸跟踪结果后，再根据新的人脸模板，对下一帧图像执行人脸跟踪操作，获得下一帧图像的人脸跟踪结果。

本发明实施例通过根据更新后的人脸模板重新对当前帧图像执行人脸跟踪操作，能获得更理想的人脸跟踪结果，在不显著增加人脸跟踪的时间消耗的情况下，提高了人脸跟踪的准确率；且获取新的当前帧的置信度，有助于对于当前帧后的若干帧图像更准确地判断是否需要更新人脸模板，从而保证较高的人脸跟踪的准确率。

基于上述实施例，作为一个优选实施例，步骤S3还包括：将当前帧之后连续的第一数量帧图像中的每一帧图像的更新标志均设置为更新，以使得对于当前帧之后连续的第一数量帧图像中的每一帧图像，获取该帧中的人脸跟踪区域后，不判断人脸模板是否满足更新条件，直接根据该帧图像的上一帧图像更新人脸模板。

可以理解的是，由于人脸模板中的参数是逐渐更新的，因此，人脸模板的更新具有一定记忆功能。为了能包含更丰富的图像特征信息，利用人脸模板的更新的记忆功能，当当前人脸模板需要更新时，对于当前帧之后连续的第一数量帧图像，将每一帧图像设置为直接在获得该帧图像的跟踪置信度后，更新用于获取该帧图像的人脸跟踪区域的人脸模板，而不需要进行是否更新人脸模板的判断。上述设置可以通过设置每一帧图像的更新标志实现。

例如，第5至8帧图像使用相同的人脸模板，在对第8帧图像进行人脸跟踪后，根据第5至8帧图像的跟踪置信度判断需要更新人脸模板，那么，将第8帧图像的更新标志设置为1，表示需要根据第7帧图像对人脸模板进行更新，并将第9至11帧图像的更新标志设置为1，对于第9至11帧图像，在进行人脸跟踪后，不需要判断人脸模板是否满足更新条件，分别根据第8至10帧图像对用于获取第9至11帧图像的人脸跟踪区域的人脸模板进行更新。当判断获知不需要更新人脸模板时，将当前帧图像的更新标志设置为0。

本发明实施例通过在更新用于进行当前帧的人脸跟踪的人脸模板后，不进行条件判断，直接对用于进行其后连续若干帧图像的人脸跟踪的人脸模板进行更新，能进一步减少判断模板更新的时间和模板更新的次数，从而降低了人脸跟踪的时间消耗。

基于上述实施例，步骤S1之前还包括：判断获取当前帧图像中的人脸跟踪区域时的人脸模板与获取上一帧图像中的人脸跟踪区域时的人脸模板是否相同，当二者相同时，执行步骤S1。

可以理解的是，当将当前帧之后连续的第一数量帧图像中的每一帧图像均设置为，直接根据该帧图像的上一帧图像更新人脸模板后，对于当前帧之后连续的第一数量帧图像，不需要进行当前人脸模板是否满足更新条件的判断。由于对于当前帧及当前帧之后连续的第一数量帧图像，都进行了人脸模板更新，用于获取其中每帧图像中的人脸跟踪区域的人脸模板各不相同。

因此，步骤S1之前，先对获取当前帧图像中的人脸跟踪区域时的人脸模板与获取上一帧图像中的人脸跟踪区域时的人脸模板是否相同进行判断，只有当二者相同时，说明获取当前帧图像中的人脸跟踪区域时的人脸模板，在获取上一帧图像中的人脸跟踪区域后未经过更新的，需要对该人脸模板是否满足更新条件进行判断，判断该模板是否需要更新。

本发明实施例通过当用于获取上一帧和当前帧图像中的人脸跟踪区域的人脸模板相同时，判断人脸模板是否满足更新条件，避免了因判断导致改变更新标志的情况，从而能在更新用于进行当前帧的人脸跟踪的人脸模板后，不进行条件判断，直接对用于进行其后连续若干帧图像的人脸跟踪的人脸模板进行更新，能进一步减少判断模板更新的时间和模板更新的次数，从而降低了人脸跟踪的时间消耗。

基于上述实施例，步骤S1具体包括：当判断获知当前帧之前连续的第一数量帧图像的跟踪置信度为单调递减时，判断当前帧图像的跟踪置信度是否大于上一帧图像的跟踪置信度；当当前帧图像的跟踪置信度大于上一帧图像的跟踪置信度时，判断当前人脸模板为满足更新条件；当当前帧图像的跟踪置信度不大于上一帧图像的跟踪置信度时，判断当前人脸模板为不满足更新条件。

需要说明的是，人脸跟踪过程中，当人脸跟踪区域在当前人脸模板中的响应值(即置信度)呈现先下降后上升的趋势时，有两种可以解释的情况：一是当前帧和当前人脸模板的相似度较高；二是目标人脸发生变化，当前人脸模板无法拟合当前帧图像中的人脸，导致人脸跟踪区域漂移至与当前模板相近的背景区域。为了能够使人脸模板具有较好的鲁棒性，需要同时保证正样本的数量和样本的多样性，因此，当上述两种情况出现时，需要对模板及时进行更新，使得人脸模板具有更好的人脸跟踪性能。因此，将人脸模板的更新条件设置为连续多帧图像的跟踪置信度递减且伴随极小值的出现。

具体地，判断当前人脸更新模板是否满足更新条件可以通过以下步骤实现。

获取当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度。由于排列后当前帧的跟踪置信度是最后一个值，判断当前帧之前的第一数量帧图像的跟踪置信度是否为单调递减。

当当前帧之前连续的第一数量帧图像的跟踪置信度为单调递减时，说明上述连续若干帧图像的跟踪置信度呈现先下降的趋势，然后比较当前帧图像的跟踪置信度和上一帧图像的跟踪置信度，判断上述连续若干帧图像的跟踪置信度是否呈现后上升的趋势。

当当前帧图像的跟踪置信度大于上一帧图像的跟踪置信度时，说明呈现先下降后上升的趋势，当前人脸模板满足更新条件；当当前帧图像的跟踪置信度不大于上一帧图像的跟踪置信度时，说明未呈现先下降后上升的趋势，当前人脸模板不满足更新条件。

由于第一数量优选为3，作为一个优选实施例，当需要判断人脸模板是否满足更新条件时，对于连续4帧图像的跟踪置信度，判断该4帧图像的跟踪置信度中，前3帧图像的跟踪置信度是否依次下降且最后1帧图像的跟踪置信度是否大于第3帧图像的跟踪置信度，即置信度的极小值是否出现在第3帧。若出现连续4帧图像的跟踪置信度均出现递减的趋势，则只保留后3帧的跟踪置信度；若置信度极小值出现在第2帧或者无极小值出现时，只保留单调递减的帧的跟踪置信度。例如，当连续4帧图像的跟踪置信度递增时，只保留最后1帧图像的跟踪置信度；当前3帧图像的跟踪置信度递增且最后1帧图像的跟踪置信度小于第3帧图像的跟踪置信度，说明后2帧图像的跟踪置信度单调递减，保留后2帧图像的跟踪置信度。相应地，保留若干帧图像的跟踪置信度后，当判断获知新获得的跟踪置信度的图像帧数加上保留的跟踪置信度的图像帧数等于4时，执行步骤S1。

基于上述实施例，步骤S1还包括：当当前帧之前连续的第一数量帧图像的跟踪置信度不为单调递减时，判断当前人脸模板为不满足更新条件。

可以理解的是，当当前帧之前连续的第一数量帧图像的跟踪置信度不为单调递减时，说明连续若干帧图像的跟踪置信度未呈现先下降的趋势，不需要更新当前人脸模板，当前人脸模板为不满足更新条件。

基于上述实施例，根据新的人脸模板，获取下一帧图像中的人脸跟踪区域的具体步骤包括：在下一帧图像中，将与当前帧图像中的人脸跟踪区域对应的区域扩大预设的倍数，作为下一帧图像中的预测区域；将下一帧图像中与当前帧图像中的人脸跟踪区域对应的区域，作为第一样本；根据循环移位方法，从预测区域中获取若干个与第一样本大小相等的区域作为第二样本；将第一样本和全部第二样本组成为第下一帧图像的样本集；对于下一帧图像的样本集中的每一样本，提取该样本的样本特征；将每一样本的特征分别输入新的人脸模板，获取每一样本对应的输出，将输出值最大的样本，确定为下一帧图像中的人脸跟踪区域。

具体地，新的人脸模板，即下一帧图像的当前人脸模板。对于每帧图像，根据当前人脸模板，获取该帧图像中的人脸跟踪区域。具体通过如下步骤实现。

在下一帧图像中，将与当前帧图像中的人脸跟踪区域对应的区域进行扩大预设的倍数，将扩大后的区域作为预测区域，以便通过在预测区域中进行模板匹配获得下一帧图像中的人脸跟踪区域。

一般地，人脸跟踪区域为矩形。优选地，将该矩形的长宽同时扩大2倍或2.5倍。

将当前帧图像中的人脸跟踪区域对应的区域作为第一样本。

获得预测区域后，以第一样本为中心和循环移位的起点，在预测区域中沿着上下左右四个方向执行循环移位操作，随机搜索若干个与第一样本的长宽均相同的子区域，作为第二样本，将第一样本和全部第二样本作为样本，组成下一帧图像的样本集。

对于下一帧图像的样本集中的每个样本，提取该样本的样本特征。

将每一样本的特征分别输入新的人脸模板，分别获得每一样本的输出值，即每一样本的置信度。

比较每一样本的输出值，将输出值最大的样本，确定为下一帧图像中的人脸跟踪区域。

基于上述实施例，作为一个优选实施例，样本特征根据第一帧图像确定；确定样本特征的具体步骤包括：在第一帧图像中，将给定的人脸目标区域扩大预设的倍数，作为搜索区域；将给定的人脸目标区域，作为正样本；根据循环移位方法，从搜索区域中获取若干个与止样本大小相等的区域作为负样本；将正样本和全部负样本组成为第一帧图像的样本集；对于第一帧图像的样本集中的每一样本，提取该样本的图像特征；图像特征为方向梯度直方图特征、局部二值模式特征和Haar-like特征中的若干种特征；根据主成分分析法分析图像特征，将图像特征中的排序靠前的一定数量的图像特征确定为样本特征。

可以理解的是，人脸跟踪过程中，用于人脸跟踪的第一个人脸模板通过初始帧获取。具体过程是识别初始帧中的人脸，根据识别的人脸，通过机器学习方法获得第一个人脸模板，但不限于此。通过机器学习方法获得第一个人脸模板时，先获取初始帧图像的样本集。获取初始帧图像的样本集到的方法，与获取待跟踪的每一帧图像的样本集的方法相同，此处不再赘述。

初始帧可以是给定的一帧图像，也可以是待跟踪的图像序列或视频中的第一帧图像，但不限于此。

在第一帧图像中，将给定的人脸目标区域扩大预设的倍数，作为搜索区域。

将给定的人脸目标区域，作为正样本；根据循环移位方法，从搜索区域中获取若干个与正样本大小相等的区域作为负样本；将正样本和全部负样本组成为第一帧图像的样本集。

获得初始帧图像的样本集后，对于其中的每一样本，提取该样本的图像特征。

常用的提取的图像特征包括：方向梯度直方图(Histogram of OrientedGradient，简称HOG)特征、局部二值模式(Local Binary Patterns，简称LBP)特征和Haar-like特征。

方向梯度直方图特征、局部二值模式特征和Haar-like特征中均包括多种特征。例如，常用的方向梯度直方图特征有31个，可以构成31维的特征向量。

优选地，图像特征为方向梯度直方图特征、局部二值模式特征和Haar-like特征中若干种特征。例如，常用的DPM模型中方向梯度直方图特征是31维的特征向量；图像特征可以也由5个方向梯度直方图特征、8个局部二值模式特征和4个Haar-like特征进行组合构成。

提取全部样本的图像特征后，根据主成分分析法，对全部样本的图像特征进行分析，将图像特征中的排序靠前的一定数量的图像特征确定为样本特征。

主成分分析(Principal ComponentAnalysis，简称PCA)，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。主成分尽可能多地保留原始变量的信息，且彼此间互不相关。通过主成分分析，能有效进行降维。

可以理解的是，对于待跟踪的每一帧图像的每个样本，均提取通过上述步骤确定的样本特征。

本发明实施例通过对特征进行降维处理，能在获取更抽象和更具判别性特征信息的同时，加速人脸的跟踪过程，减少跟踪的时间消耗。

基于上述实施例，根据上一帧图像更新当前人脸模板，获得新的人脸模板的具体步骤包括：对于上一帧图像的样本集中的每一样本，根据该样本的中心与上一帧图像的样本集中正样本的中心之间的距离，确定该样本的标签；根据上一帧图像的样本集中的每一样本的标签和特征，训练核相关滤波模板，获得人脸模板的更新参数；根据人脸模板的更新参数和当前人脸模板的参数，确定新的人脸模板的参数，获得新的人脸模板。

具体地，对于上一帧图像的样本集中的每一样本，计算该样本的中心与上一帧图像的样本集中正样本的中心之间的距离。

该样本的中心与上一帧图像的样本集中正样本的中心之间的距离越小，说明该样本与正样本越相似；该样本的中心与上一帧图像的样本集中正样本的中心之间的距离越大，说明该样本与正样本越不相似。为了进一步反映样本与正样本的相似性，为样本集中的所有样本分配连续的样本标签，其中标签值在[0-1]之间。

正样本之外的其他样本均为负样本，样本和正样本总体呈正态分布趋势，设置带宽为s。确定样本的标签时，正样本的标签值为1，负样本的标签随着与正样本距离的增大，逐渐衰减为0。

根据上一帧图像的样本集中的每一样本的标签和特征，训练核相关滤波模板。优选地，核相关滤波模板为高速核相关滤波器。

核相关滤波模板的输出为

其中，

指的是样本x的样本特征；w为核相关滤波模板的权系数，即人脸跟踪模板的参数。

权系数w通过训练核相关滤波模板获得。具体步骤是将全部样本的样本特征输入，分别获得核相关滤波模板的输出；求出下式的最优解作为权系数w的取值，从而获得训练好的核相关滤波模板。

其中，y_i∈[0，1]，是样本x_i的标签；λ是一个常量，用于控制正则项的相对权系数；上式的第一项是最小二乘项，代表损失项；上式的第二项为基于L2范数的正则项。

求出上式的最优解可以采用任一优化算法或若干种优化算法的结合。优选地，采用岭回归方法。

将通过上述训练过程获得的权系数作为人脸模板的更新参数。

可以理解的是，第一个人脸模板，即初始人脸模板通过初始帧获取，即根据初始帧，通过上述训练过程训练核相关滤波模板，确定第一个人脸模板的权系数，从而获得第一个人脸模板。

根据人脸模板的更新参数和当前人脸模板的参数，确定新的人脸模板的参数。

新的人脸模板的参数为

w₁＝(1-α)×w’₁+α×w₀

其中，α为学习率；w0为当前人脸模板的参数；w1为新的人脸模板的参数；w1’为人脸模板的更新参数。

图2为本发明人脸跟踪系统实施例的功能框图。如图2所示，一种人脸跟踪系统包括：更新判断模块201，用于根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；模板更新模块202，用于当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；人脸跟踪模块203，用于根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度。

具体地，更新判断模块201与模板更新模块202电连接，传输电信号；模板更新模块202与人脸跟踪模块203电连接，传输电信号；人脸跟踪模块203与更新判断模块201电连接，传输电信号。本发明提供的人脸跟踪系统用于执行本发明提供的人脸跟踪方法，系统包括的各模块实现相应功能的具体方法和流程详见上述人脸跟踪方法的实施例，此处不再赘述。

本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。

本发明实施例通过判断人脸模板是否需要更新，仅进行必要的更新，不是在每一帧图像跟踪后都进行人脸模板更新，极大降低了人脸跟踪的时间消耗；且在人脸跟踪结果不理想时更新人脸模板，能保证较高的人脸跟踪的准确率。

本发明另一实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：人脸跟踪、人脸模板的更新方法、人脸模板的获取方法、样本特征的提取方法等。

本发明另一实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：人脸跟踪、人脸模板的更新方法、人脸模板的获取方法、样本特征的提取方法等。

以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元或模块可以是或者也可以不是物理上分开的，作为单元或模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

以上实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人脸跟踪方法，其特征在于，包括：

S1、根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；

S2、当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；

S3、根据所述新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度；

其中，步骤S3中根据所述新的人脸模板，获取下一帧图像中的人脸跟踪区域还包括：

S31、在下一帧图像中，将与当前帧图像中的人脸跟踪区域对应的区域扩大预设的倍数，作为下一帧图像中的预测区域；

S32、将下一帧图像中与所述当前帧图像中的人脸跟踪区域对应的区域，作为第一样本；

S33、根据循环移位方法，从预测区域中获取若干个与第一样本大小相等的区域作为第二样本；

S34、将所述第一样本和全部所述第二样本组成为第下一帧图像的样本集；

S35、对于所述下一帧图像的样本集中的每一样本，提取该样本的样本特征；

S36、将每一样本的特征分别输入所述新的人脸模板，获取每一样本对应的输出，将输出值最大的样本，确定为下一帧图像中的人脸跟踪区域。

2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述步骤S2与步骤S3之间还包括：

对当前帧图像采用所述新的人脸模板，获得人脸跟踪区域，并获取所述当前帧图像的人脸跟踪区域在所述新的人脸模板下的置信度，作为当前图像的跟踪置信度。

3.根据权利要求2所述的人脸跟踪方法，其特征在于，所述步骤S3还包括：

将当前帧之后连续的所述第一数量帧图像中的每一帧图像的更新标志均设置为更新，以使得对于当前帧之后连续的所述第一数量帧图像中的每一帧图像，获取该帧中的人脸跟踪区域后，不判断人脸模板是否满足更新条件，直接根据该帧图像的上一帧图像更新人脸模板。

4.根据权利要求3所述的人脸跟踪方法，其特征在于，所述步骤S1之前还包括：

判断获取当前帧图像中的人脸跟踪区域时的人脸模板与获取上一帧图像中的人脸跟踪区域时的人脸模板是否相同，当二者相同时，执行所述步骤S1。

5.根据权利要求1至4中的任一项所述的人脸跟踪方法，其特征在于，所述步骤S1具体包括：

当判断获知当前帧之前连续的第一数量帧图像的跟踪置信度为单调递减时，判断当前帧图像的跟踪置信度是否大于上一帧图像的所述跟踪置信度；

当当前帧图像的跟踪置信度大于上一帧图像的所述跟踪置信度时，判断当前人脸模板为满足更新条件；

当当前帧图像的跟踪置信度不大于上一帧图像的所述跟踪置信度时，判断所述当前人脸模板为不满足更新条件。

6.根据权利要求5所述的人脸跟踪方法，其特征在于，所述步骤S1还包括：

当当前帧之前连续的第一数量帧图像的跟踪置信度不为单调递减时，判断所述当前人脸模板为不满足更新条件。

7.根据权利要求1所述的人脸跟踪方法，其特征在于，所述样本特征根据第一帧图像确定，确定样本特征的具体步骤包括：

在第一帧图像中，将给定的人脸目标区域扩大预设的倍数，作为搜索区域；

将所述给定的人脸目标区域，作为正样本；

根据循环移位方法，从所述搜索区域中获取若干个与所述正样本大小相等的区域作为负样本；

将所述正样本和全部的所述负样本组成为第一帧图像的样本集；

对于所述第一帧图像的样本集中的每一样本，提取该样本的图像特征；

所述图像特征为方向梯度直方图特征、局部二值模式特征和Haar-like特征中的若干种特征；

根据主成分分析法分析所述图像特征，将所述图像特征中的排序靠前的一定数量的图像特征确定为样本特征。

8.根据权利要求1所述的人脸跟踪方法，其特征在于，所述根据上一帧图像更新当前人脸模板，获得新的人脸模板的具体步骤包括：

对于所述上一帧图像的样本集中的每一样本，根据所述该样本的中心与所述上一帧图像的样本集中正样本的中心之间的距离，确定所述该样本的标签；

根据所述上一帧图像的样本集中的每一样本的标签和特征，训练核相关滤波模板，获得人脸模板的更新参数；

根据所述人脸模板的更新参数和当前人脸模板的参数，确定新的人脸模板的参数，获得新的人脸模板。

9.一种人脸跟踪系统，其特征在于，包括：

更新判断模块，用于根据当前帧图像以及当前帧之前连续的第一数量帧图像的跟踪置信度，判断当前人脸模板是否满足更新条件；

模板更新模块，用于当满足更新条件时，根据上一帧图像更新当前人脸模板，获得新的人脸模板；

人脸跟踪模块，用于根据新的人脸模板，获取下一帧图像中的人脸跟踪区域，并获取下一帧图像中的人脸跟踪区域在新的人脸模板下的置信度，作为下一帧图像的跟踪置信度；

其中，人脸跟踪模块中根据新的人脸模板，获取下一帧图像中的人脸跟踪区域还包括：

在下一帧图像中，将与当前帧图像中的人脸跟踪区域对应的区域扩大预设的倍数，作为下一帧图像中的预测区域；

将下一帧图像中与所述当前帧图像中的人脸跟踪区域对应的区域，作为第一样本；

根据循环移位方法，从预测区域中获取若干个与第一样本大小相等的区域作为第二样本；

将所述第一样本和全部所述第二样本组成为第下一帧图像的样本集；

对于所述下一帧图像的样本集中的每一样本，提取该样本的样本特征；

将每一样本的特征分别输入所述新的人脸模板，获取每一样本对应的输出，将输出值最大的样本，确定为下一帧图像中的人脸跟踪区域。

Images