CN116152872A - 人脸跟踪方法、装置、存储介质及设备 - Google Patents

Abstract

本发明公开了一种人脸跟踪方法、装置、存储介质及设备，属于生物识别领域。本发明得到当前帧图像的当前人脸位置，并在下一图像上通过人脸跟踪得到下一人脸位置；计算当前人脸位置内的人脸与跟踪得到的下一人脸位置内的人脸的相似度S1，若该相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则对下一帧图像进行人脸检测得到下一人脸位置；计算当前人脸位置内的人脸与检测得到的下一人脸位置内的人脸的相似度S2以及当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2和位置重叠相似度均大于各自的阈值，则人脸跟踪成功。本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，适用于需要流畅用户体验的移动端业务中。

Description

人脸跟踪方法、装置、存储介质及设备

技术领域

本发明涉及人脸识别领域，特别是指一种人脸跟踪方法、装置、存储介质及设备。

背景技术

人脸识别是基于人的脸部特征信息进行身份识别的生物识别技术，目前已被广泛应用于公司门禁、地铁安检、金融等领域。

人脸识别的基础是在采集的图像或视频流中通过人脸检测算法检测人脸，对于视频流而言，其具有分辨率高，包含人脸个数和内容相对较多且较复杂的特点，如果对视频流的每一帧图像都通过人脸检测算法进行人脸检测，会导致检测速度变慢，难以到实时性的要求。尤其在移动端的人脸识别业务中，移动端的处理能力有限，更难以实现实时的人脸检测，导致用户体验不流畅，所以需要一种能够实时、快速获取人脸位置的算法。

人脸跟踪算法解决了人脸检测算法不能对视频流实时处理的缺陷，人脸跟踪算法是在当前帧图像上已经检测到人脸的前提下，在后续帧图像中继续捕获人脸的位置及大小等信息，捕获人脸的方法将不再通过人脸检测算法，而是通过位置估计、相似度估计、人脸置信度判别等手段快速的定位新的图像中的人脸位置和大小等信息。对同一幅图像进行人脸提取，人脸跟踪算法相比对人脸检测算法速度可以提高10倍以上。

但是由于视频流中场景复杂多变，并且人脸在画面中持续运动，常常会出现人脸被遮挡和人脸姿态变化等情况，使得人脸跟踪难以保持。

发明内容

为解决现有技术的问题，本发明提供一种人脸跟踪方法、装置、存储介质及设备，能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪。

本发明提供技术方案如下：

第一方面，本发明提供一种人脸跟踪方法，所述方法包括：

对当前帧图像进行人脸检测，得到当前人脸位置；

在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪，得到下一人脸位置；

计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若所述相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行下一步；

对所述下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行下一步，否则人脸跟踪失败；

计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2以及所述当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

进一步的，当所述相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回所述在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪的步骤；

当所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回所述在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪的步骤。

进一步的，当人脸跟踪失败后，将所述下一帧图像作为当前帧图像，并返回所述对当前帧图像进行人脸检测的步骤。

进一步的，所述对当前帧图像进行人脸检测，得到当前人脸位置，包括：

对当前帧图像进行人脸检测，若检测到人脸，则得到当前人脸位置，若未检测到人脸，则将下一帧图像作为当前帧图像，并返回所述对当前帧图像进行人脸检测的步骤，直至在当前帧图像上检测到人脸。

进一步的，所述对当前帧图像进行人脸检测，得到当前人脸位置，还包括：

若在当前帧图像上检测到人脸，则将计数ID的值加一，所述计数ID的初值为0。

进一步的，所述当前帧图像通过第一人脸检测器进行人脸检测，所述下一帧图像通过第二人脸检测器进行人脸检测，所述第二人脸检测器的检测精度高于所述第一人脸检测器，所述第一人脸检测器的检测速度高于所述第二人脸检测器。

第二方面，本发明提供一种人脸跟踪装置，所述装置包括：

人脸检测模块，用于对当前帧图像进行人脸检测，得到当前人脸位置；

人脸跟踪模块，用于在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪，得到下一人脸位置；

第一判断模块，用于计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若所述相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行第二判断模块；

第二判断模块，用于对所述下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行第三判断模块，否则人脸跟踪失败；

第三判断模块，用于计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2，计算所述当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

进一步的，当所述相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回所述人脸跟踪模块；

当所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回所述人脸跟踪模块。

进一步的，当人脸跟踪失败后，将所述下一帧图像作为当前帧图像，并返回所述人脸检测模块。

进一步的，所述人脸检测模块包括：

对当前帧图像进行人脸检测，若检测到人脸，则得到当前人脸位置，若未检测到人脸，则将下一帧图像作为当前帧图像，并返回人脸检测模块，直至在当前帧图像上检测到人脸。

进一步的，所述人脸检测模块还包括：

若在当前帧图像上检测到人脸，则将计数ID的值加一，所述计数ID的初值为0。

进一步的，所述当前帧图像通过第一人脸检测器进行人脸检测，所述下一帧图像通过第二人脸检测器进行人脸检测，所述第二人脸检测器的检测精度高于所述第一人脸检测器，所述第一人脸检测器的检测速度高于所述第二人脸检测器。

第三方面，本发明提供一种用于人脸跟踪的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的人脸跟踪方法的步骤。

第四方面，本发明提供一种用于人脸跟踪的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的人脸跟踪方法的步骤。

本发明具有以下有益效果：

本发明首先得到当前帧图像的当前人脸位置，并在下一图像上通过人脸跟踪得到下一人脸位置；然后计算当前人脸位置内的人脸与跟踪得到的下一人脸位置内的人脸的相似度S1，若该相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则对下一帧图像进行人脸检测得到下一人脸位置；再计算当前人脸位置内的人脸与检测得到的下一人脸位置内的人脸的相似度S2以及当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2和位置重叠相似度均大于各自的阈值，则人脸跟踪成功。本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，尤其适用于需要流畅用户体验的移动端业务中。

附图说明

图1为本发明的人脸跟踪方法的流程图；

图2为人脸跟踪中多帧图像的相似度对比示意图；

图3为本发明的人脸跟踪方法的一个具体实现方式的流程图；

图4为本发明的人脸跟踪装置的示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例提供一种人脸跟踪方法，如图1所示，该方法包括：

S100：对当前帧图像进行人脸检测，得到当前人脸位置。

人脸跟踪需要连续帧图像，因此本发明的图像来自视频流的连续帧图像或来自按时间序列采集的连续图像序列，将视频流和图像序列中当前进行处理的一帧/幅图像作为当前帧图像。

人脸跟踪是在检测到人脸的前提下对后续的图像帧进行人脸跟踪，因此首先需要在当前帧图像上检测到一个人脸位置，记为当前人脸位置，作为后续人脸跟踪的基础，当前人脸位置可以以人脸框的形式呈现。

检测当前人脸位置的一个具体实现方式为：对当前帧图像进行人脸检测，若在当前帧图像上检测到人脸，则得到当前人脸位置，若未在当前帧图像上检测到人脸，则将当前帧图像的下一帧图像作为当前帧图像，并返回对当前帧图像进行人脸检测的步骤，重新对新的当前帧图像进行人脸检测，直至在当前帧图像上检测到人脸。

发明不限制人脸检测的方法，例如可以是RetinaFace人脸检测方法，该方法不需要人脸对齐即可检测到人脸框。若使用RetinaFace以外的其他人脸检测方法，例如MTCNN、Harr-AdaBoost、SSD、Faster RCNN、CenterNet等算法，需要进行人脸对齐，经验证与RetinaFace人脸检测方法的结果一致。

S200：在当前帧图像的下一帧图像上根据当前人脸位置进行人脸跟踪，得到下一人脸位置。

本发明不限制人脸跟踪的方法，下面给出一个具体实现示例，该示例只用于对本发明进行说明，不能作为本发明的限制。

1、在下一帧图像上设置与当前人脸位置相同的新设人脸位置，并将该新设人脸位置向周围扩大一定倍数，得到跟踪区域。

2、将跟踪区域以设定的步长进行有重叠分块，得到若干待检测区域，待检测区域的大小与所述当前人脸位置的大小相同。

3、将待检测区域输入训练好的人脸跟踪CNN，判断待检测区域是否是人脸区域，若待检测区域是人脸区域，则将待检测区域作为所述下一人脸位置输出。

S300：计算当前帧图像在当前人脸位置内的人脸与下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行S400。

进行人脸跟踪的一个前提是：跟踪的前后两帧图像上的人脸具有一定的相似性，该相似性是指人脸纹理或外观的相似。如图2所示，在人脸跟踪中，图2中(a)与(b)的相似度高于(a)与(c)的相似度且高于(a)与(d)的相似度。

本步骤用于对跟踪得到的下一人脸位置内的人脸与当前人脸位置内的人脸进行相似度比较，若相似度S1大于设定的第一跟踪阈值，则说明下一人脸位置内与当前人脸位置内为同一人的人脸，相似性较高，满足人脸跟踪的条件，说明对所述下一帧图像进行人脸跟踪成功。人脸跟踪成功后，即可以对再下一帧图像进行同样的人脸跟踪。

当相似度S1不大于设定的第一跟踪阈值时，不能直接认为跟踪失败，因为有可能下一帧图像上人脸姿态发生变化或人脸被部分遮挡，导致相似度S1不大于设定的第一跟踪阈值，此时需要通过S400进行进一步跟踪。

S400：对下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行S500，否则人脸跟踪失败。

本步骤针对S300中相似度S1不大于设定的第一跟踪阈值时的情况，对所述下一帧图像进行人脸检测，若检测到人脸，则在下一帧图像上检测得到下一人脸位置，然后通过S500进一步判断是否跟踪成功，若未检测到人脸，说明所述下一帧图像上不存在人脸。

进行人脸跟踪的另一个前提是：连续前后两帧图像中都存在人脸，若第t帧图像中包含人脸，第t+1帧中不包含人脸，则无法进行人脸跟踪，因此本步骤在所述下一帧图像上不存在人脸时，认为人脸跟踪失败。

人脸跟踪失败后，可以对后续的图像重新进行人脸检测，直至检测到人脸后重新开始人脸跟踪。

S500：计算当前帧图像在当前人脸位置内的人脸与下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2，计算当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2大于设定的第二跟踪阈值且位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

本步骤通过S400检测得到的下一人脸位置计算其与当前人脸位置的相似度S2和位置重叠相似度，当相似度S2和位置重叠相似度均大于各自的阈值时，说明下一人脸位置内与当前人脸位置内为同一人的人脸，且有较高的重合度，人脸跟踪成功。

通过本步骤，即使人脸被遮挡或人脸姿态发生变化，也能实现人脸追踪，实践表明，通过本发明的方法，可以实现俯仰角度小于60度，左右转头角度小于45度的人脸跟踪，并且对于人脸被遮挡面积小于50％情况下，也可以实现正常的人脸跟踪任务。

本发明首先得到当前帧图像的当前人脸位置，并在下一图像上通过人脸跟踪得到下一人脸位置；然后计算当前人脸位置内的人脸与跟踪得到的下一人脸位置内的人脸的相似度S1，若该相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则对下一帧图像进行人脸检测得到下一人脸位置；再计算当前人脸位置内的人脸与检测得到的下一人脸位置内的人脸的相似度S2以及当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2和位置重叠相似度均大于各自的阈值，则人脸跟踪成功。本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，尤其适用于需要流畅用户体验的移动端业务中。

前述的S300中，当相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，可以进行再下一帧图像的人脸追踪，具体实现方式为：

将下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回S200，重复在当前帧图像的下一帧图像上根据当前人脸位置进行人脸跟踪，得到下一人脸位置。

前述的S500中，当相似度S2大于设定的第二跟踪阈值且位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，可以进行再下一帧图像的人脸追踪，具体实现方式为：

将下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回S200，重复在当前帧图像的下一帧图像上根据当前人脸位置进行人脸跟踪，得到下一人脸位置。

前述的S400和S500中，当人脸跟踪失败后，可以对再下一帧图像重新进行人脸检测，直至检测到人脸后重新开始人脸跟踪，具体实现方式为：

将下一帧图像作为当前帧图像，并返回S100，对当前帧图像进行人脸检测，直至在当前帧图像上检测到人脸。

本发明中，当前帧图像通过第一人脸检测器进行人脸检测，所述下一帧图像通过第二人脸检测器进行人脸检测，第一脸检测器和第二人脸检测器可以是相同的人脸检测器，也可以是不同的人脸检测器，本发明对此不作限定。

在其中一个示例中，第一人脸检测器的检测速度高于第二人脸检测器，第二人脸检测器的检测精度高于第一人脸检测器，通过第一人脸检测器对当前帧图像快速进行人脸检测，提高执行效率，通过第二人脸检测器对所述下一帧图像进行精确人脸检测，提高检测精度。

本发明还设置了计数ID(faceId)，初始时，计数ID的初值设置为0，在执行本发明的人脸跟踪方法中，每次在当前帧图像上检测到人脸，将计数ID的值加一。

计数ID的值只有当第一次在当前帧图像上检测到人脸时，以及当S400和S500中人脸跟踪失败后返回S100重新检测到人脸时才自加，S400中人脸跟踪失败是因为检测不到人脸，S500中人脸跟踪失败是因为跟踪不到人脸。因此，只有在跟踪不到人脸或检测不到人脸时faceId才会发生改变，通过faceId可以判断视频显示或业务办理等出现间断的情况。

下面以一个具体的实现示例对本发明进行详细阐述，如图3所示：

步骤1：从视频流中载入第一帧图像，初始化faceId＝0，然后进行步骤2。

步骤2：使用第一人脸检测器对第一帧图像进行人脸检测，若未检测到人脸，则继续载入下一帧图像，并重复步骤2；若检测到人脸，则记录当前人脸位置rect，并将faceId增加1，然后进行步骤3。

步骤3：载入下一帧图像，使用rect对应的人脸在载入的下一帧图像中进行相似度搜索(人脸搜索)，得到下一帧图像上的人脸位置rect2；rect和rect2内的人脸的相似度记为S1，若S1大于设定的第一跟踪阈值，则rect2即为跟踪到的人脸，将rect置为rect2，重复步骤3。若S1小于第一跟踪阈值，则进行步骤4。

步骤4：使用第二人脸检测器(检测精度优于第一人脸检测器，但效率低)检测所述下一帧图像，若未检测到人脸，则认为当前跟踪失败，载入再下一帧图像，重复步骤2。若检测到人脸，则将人脸位置记录为rect3，计算rect和rect3内的人脸的相似度S2以及rect和rect3的位置重叠相似度m，继续步骤5。

步骤5：若相似度S2以及位置重叠相似度m都同时大于各自的阈值，则认为跟踪成功，将rect置为rect3，重复步骤3，否则认为跟踪失败，载入再下一帧图像，继续步骤2。

实施例2：

本发明实施例提供一种人脸跟踪装置，如图4所示，该装置包括：

人脸检测模块100，用于对当前帧图像进行人脸检测，得到当前人脸位置。

人脸跟踪模块200，用于在当前帧图像的下一帧图像上根据当前人脸位置进行人脸跟踪，得到下一人脸位置。

第一判断模块300，用于计算当前帧图像在当前人脸位置内的人脸与下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行第二判断模块。

第二判断模块400，用于对下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行第三判断模块，否则人脸跟踪失败。

第三判断模块500，用于计算当前帧图像在当前人脸位置内的人脸与下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2，计算当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2大于设定的第二跟踪阈值且位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

本发明首先得到当前帧图像的当前人脸位置，并在下一图像上通过人脸跟踪得到下一人脸位置；然后计算当前人脸位置内的人脸与跟踪得到的下一人脸位置内的人脸的相似度S1，若该相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则对下一帧图像进行人脸检测得到下一人脸位置；再计算当前人脸位置内的人脸与检测得到的下一人脸位置内的人脸的相似度S2以及当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若相似度S2和位置重叠相似度均大于各自的阈值，则人脸跟踪成功。本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，尤其适用于需要流畅用户体验的移动端业务中。

第一判断模块300中，当相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，将下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回人脸跟踪模块200。

第三判断模块500中，当相似度S2大于设定的第二跟踪阈值且位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，将下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回人脸跟踪模块200。

第二判断模块400和第三判断模块500中，当人脸跟踪失败后，将下一帧图像作为当前帧图像，并返回人脸检测模块100。

前述的人脸检测模块100包括：

对当前帧图像进行人脸检测，若检测到人脸，则得到当前人脸位置，若未检测到人脸，则将下一帧图像作为当前帧图像，并返回人脸检测模块100，直至在当前帧图像上检测到人脸。

人脸检测模块100还包括：

若在当前帧图像上检测到人脸，则将计数ID的值加一，计数ID的初值为0。

本发明将当前帧图像通过第一人脸检测器进行人脸检测，下一帧图像通过第二人脸检测器进行人脸检测，其中，第二人脸检测器的检测精度高于第一人脸检测器，第一人脸检测器的检测速度高于第二人脸检测器。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。

实施例3：

本发明提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于人脸跟踪的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的人脸跟踪方法的步骤。

本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，尤其适用于需要流畅用户体验的移动端业务中。

所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。

上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。

实施例4：

本发明还提供一种用于人脸跟踪的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述人脸跟踪的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述人脸跟踪方法的步骤。

本发明能够在人脸被遮挡和人脸姿态发生变化的情况下实现人脸追踪，尤其适用于需要流畅用户体验的移动端业务中。

上述所述的设备根据方法实施例1的描述还可以包括其他的实施方式，本实施例的实现原理及产生的技术效果和前述方法实施例1相同，具体可以参照相关方法实施例1的描述，在此不作一一赘述。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸跟踪方法，其特征在于，所述方法包括：

对当前帧图像进行人脸检测，得到当前人脸位置；

在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪，得到下一人脸位置；

计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若所述相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行下一步；

对所述下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行下一步，否则人脸跟踪失败；

计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2以及所述当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

2.根据权利要求1所述的人脸跟踪方法，其特征在于，当所述相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回所述在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪的步骤；

当所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回所述在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪的步骤。

3.根据权利要求2所述的人脸跟踪方法，其特征在于，当人脸跟踪失败后，将所述下一帧图像作为当前帧图像，并返回所述对当前帧图像进行人脸检测的步骤。

4.根据权利要求1所述的人脸跟踪方法，其特征在于，所述对当前帧图像进行人脸检测，得到当前人脸位置，包括：

对当前帧图像进行人脸检测，若检测到人脸，则得到当前人脸位置，若未检测到人脸，则将下一帧图像作为当前帧图像，并返回所述对当前帧图像进行人脸检测的步骤，直至在当前帧图像上检测到人脸。

5.根据权利要求4所述的人脸跟踪方法，其特征在于，所述对当前帧图像进行人脸检测，得到当前人脸位置，还包括：

若在当前帧图像上检测到人脸，则将计数ID的值加一，所述计数ID的初值为0。

6.根据权利要求1所述的人脸跟踪方法，其特征在于，所述当前帧图像通过第一人脸检测器进行人脸检测，所述下一帧图像通过第二人脸检测器进行人脸检测，所述第二人脸检测器的检测精度高于所述第一人脸检测器，所述第一人脸检测器的检测速度高于所述第二人脸检测器。

7.一种人脸跟踪装置，其特征在于，所述装置包括：

人脸检测模块，用于对当前帧图像进行人脸检测，得到当前人脸位置；

人脸跟踪模块，用于在当前帧图像的下一帧图像上根据所述当前人脸位置进行人脸跟踪，得到下一人脸位置；

第一判断模块，用于计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在跟踪得到的下一人脸位置内的人脸的相似度S1，若所述相似度S1大于设定的第一跟踪阈值，则人脸跟踪成功，否则执行第二判断模块；

第二判断模块，用于对所述下一帧图像进行人脸检测，若在下一帧图像上检测得到下一人脸位置，则执行第三判断模块，否则人脸跟踪失败；

第三判断模块，用于计算所述当前帧图像在所述当前人脸位置内的人脸与所述下一帧图像在检测得到的下一人脸位置内的人脸的相似度S2，计算所述当前人脸位置与检测得到的下一人脸位置的位置重叠相似度，若所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，则人脸跟踪成功，否则人脸跟踪失败。

8.根据权利要求7所述的人脸跟踪装置，其特征在于，当所述相似度S1大于设定的第一跟踪阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将跟踪得到的下一人脸位置作为当前人脸位置，并返回所述人脸跟踪模块；

当所述相似度S2大于设定的第二跟踪阈值且所述位置重叠相似度大于设定的重叠阈值，人脸跟踪成功后，将所述下一帧图像作为当前帧图像，将检测得到的下一人脸位置作为当前人脸位置，并返回所述人脸跟踪模块。

9.一种用于人脸跟踪的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-6任一所述人脸跟踪方法的步骤。

10.一种用于人脸跟踪的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-6中任意一项所述人脸跟踪方法的步骤。

Images