CN112686175A - 人脸抓拍方法、系统及计算机可读存储介质 - Google Patents

Abstract

提供一种人脸抓拍方法、系统、计算机可读存储介质。该方法包括：对监控区域中的人脸进行抓拍，得到初始帧；在初始帧进行人脸检测，得到多张人脸；建立跟踪链表；在初始帧之后的检测帧，根据检测结果对各个人脸的跟踪信息中的第一部分、第二部分和第三部分进行更新；在初始帧之后的跟踪帧，对使用第一跟踪器进行跟踪的第一人脸的跟踪信息中的第二部分和第三部分进行更新，对使用第二跟踪器进行跟踪的第二人脸的跟踪信息中的第二部分进行更新。在初始帧为抓拍到的多张人脸建立一跟踪链表，以记录该多张人脸的跟踪信息；并在跟踪过程中，根据实际情况对该跟踪链表进行动态更新，从而实现了对动态变化的人脸进行持续、高效地跟踪。

Description

人脸抓拍方法、系统及计算机可读存储介质

技术领域

本申请涉及计算机视觉领域，并且更具体地，涉及一种人脸抓拍方法、系统及计算机可读存储介质。

背景技术

随着人脸跟踪和人脸识别技术的发展，人脸抓拍系统的应用越来越广泛。

人脸抓拍系统可以利用摄像头对监控区域中的人脸进行持续的抓拍和跟踪。在人流拥挤的场景，如火车站，抓拍到的一帧图像中经常会包含多张人脸。随着抓拍过程的进行，该多张人脸中的有些人脸会离开监控区域，有些新的人脸会出现在该监控区域。换句话说，在抓拍过程中，抓拍到的人脸的数量和位置经常是动态变化的，如何对动态变化的人脸进行持续、高效地跟踪是亟待解决的问题。

发明内容

本申请提供一种人脸抓拍方法、系统及计算机可读存储介质，以对动态变化的人脸进行持续、高效地跟踪。

第一方面，提供一种人脸抓拍方法，包括：对监控区域中的人脸进行抓拍，得到初始帧；在初始帧进行人脸检测，得到多张人脸；建立跟踪链表，跟踪链表包括多张人脸一一对应的多条跟踪信息，多张人脸中的每张人脸的跟踪信息包括第一部分、第二部分和第三部分，第一部分用于指示人脸的跟踪状态，第二部分用于指示人脸的边界框在图像帧中的位置，第三部分用于指示人脸的质量最高的图像的信息，其中，多个人脸的跟踪状态均为第一状态；在初始帧之后的检测帧，根据检测结果对各个人脸的跟踪信息中的第一部分、第二部分和第三部分进行更新；在初始帧之后的跟踪帧，对使用第一跟踪器进行跟踪的第一人脸的跟踪信息中的第二部分和第三部分进行更新，对使用第二跟踪器进行跟踪的第二人脸的跟踪信息中的第二部分进行更新。

在一个实施例中，跟踪信息的第三部分包括人脸的图像的最高得分，人脸的得分最高的图像在图像帧中的空间位置，以及人脸的得分最高的图像在抓拍的图像序列中的时间位置，第一人脸的跟踪信息中的第三部分的更新，包括：确定当前帧中的第一人脸的边界框的第一得分，其中当前帧为检测帧或使用第一跟踪器跟踪所述第一人脸的跟踪帧；比较第一得分与第一人脸的跟踪信息的第三部分中记录的第一人脸的图像的最高得分；如果第一得分高于最高得分，将第一人脸的跟踪信息的第三部分中的最高得分更新为第一得分，将第一人脸的跟踪信息的第三部分中的空间位置更新为第一人脸的边界框在当前帧中的位置，将第一人脸的跟踪信息的第三部分中的时间位置更新为当前帧的帧号。

在一个实施例中，在初始帧之后的检测帧，判断第三人脸是否满足跟踪结束条件，其中，第三人脸为多张人脸中的任意一张人脸；如果满足跟踪结束条件，输出第三人脸的抓拍结果，并从跟踪链表中删除第三人脸的跟踪信息，其中，抓拍结果为第三人脸的跟踪信息中的第三部分。

在一个实施例中，所述跟踪结束条件包括：所述第三人脸的跟踪状态为第二状态，且所述第三人脸处于所述第二状态的时长达到预设时长，所述第二状态用于指示使用第二跟踪器跟踪人脸；和/或，所述第三人脸的跟踪状态为第三状态，且所述检测帧未检测到所述第三人脸，所述第三状态用于指示人脸处于所述监控场景的边缘。

在一个实施例中，跟踪信息中的第二部分的更新，包括：响应于在当前帧获取到第一人脸的边界框的位置，更新第一人脸的跟踪信息中的第二部分，当前帧为检测帧或跟踪帧。

在一个实施例中，在检测帧，判断是否检测到新人脸；如果存在新人脸，在跟踪链表中添加新人脸的跟踪信息，其中所添加的新人脸的跟踪信息中的第一部分更新为第四状态；确定新人脸的图像质量；当新人脸的图像质量小于预设阈值时，从跟踪链表中删除新人脸的跟踪信息；当新人脸的图像质量大于或等于预设阈值时，将新人脸的跟踪状态从第四状态转换为第一状态。

在一个实施例中，跟踪信息中的第一部分的更新，包括：响应于在检测帧检测到第一人脸不位于检测帧边缘，确定第一人脸的跟踪信息中第一部分为第一状态；响应于在检测帧未检测到第一人脸，将第一人脸的跟踪信息中的第一部分更新为第二状态；响应于在检测帧检测到第一人脸位于检测帧的边缘且移动方向朝向所述边缘，将第一人脸的跟踪信息中第一部分更新为第三状态。

在一个实施例中，第一跟踪器为针对人脸的跟踪器，第二跟踪器为针对非特定类型的目标的跟踪器。

在一个实施例中，第一跟踪器为基于深度学习模型的跟踪器，第二跟踪器为核相关滤波器跟踪器。

第二方面，提供了一种人脸抓拍系统，包括存储器、处理器及存储在存储器上的计算机程序，处理器执行计算机程序以实现第一方面或第一方面的任一实施例所述方法的步骤。

第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时第一方面或第一方面的任一实施例所述方法的步骤。

第四方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第一方面的任一实施例所述方法的步骤。

在初始帧为抓拍到的多张人脸建立一跟踪链表，以记录该多张人脸的跟踪信息；接着，在跟踪过程中，根据实际情况对该跟踪链表进行动态更新，从而实现了对动态变化的人脸进行持续、高效地跟踪。此外，在对某一人脸进行跟踪的过程中，可以为该人脸赋予不同的跟踪状态，从而使用不同的跟踪器对其进行跟踪，提高了跟踪的灵活性。

附图说明

图1是本申请实施例提供的人脸抓拍方法的示意性流程图。

图2是本申请实施例提供的初始帧的示例图。

图3是本申请实施例提供的跟踪信息更新方法的示意性流程图。

图4是本申请实施例提供的一个检测帧的示意图。

图5是本申请实施例提供的另一个检测帧的示意图。

图6是本申请实施例提供的跟踪链表的更新方法的示意性流程图。

图7是本申请实施例提供的人脸抓拍系统的示意性结构图。

具体实施方式

本申请实施例提供的人脸抓拍方法可以由人脸抓拍系统执行。该人脸抓拍系统的实现方式可以有多种，本申请实施例不做具体限定。

作为一个示例，人脸抓拍系统可以包括位于前端的摄像头和位于后端的服务器。摄像头可以安装在监控区域中，如火车站或商店等区域。摄像头可以按照预设的时间间隔(时间间隔可以根据实际需求设置，如可以设置为几毫秒，也可以设置为几秒)对待监控区域进行一次抓拍或采样。

作为另一示例，人脸抓拍系统可以位于移动终端内，如车载移动终端，或手持式移动终端(如智能手机)。例如，可以利用该移动终端上的摄像头对某块感兴趣的区域(本文将该区域统称为监控区域)进行抓拍，该移动终端的处理器可以利用跟踪算法对抓拍到的人脸进行跟踪，并对跟踪过程中获取到的信息进行动态维护。

对监控区域中的人脸进行抓拍会形成图像序列。图像序列可以包含抓拍时间不同的多帧图像，初始帧可以为该多帧图像中的第1帧，初始帧会被设置为检测帧。

在跟踪帧，可以利用跟踪器(或跟踪算法)对人脸进行跟踪，在检测帧，利用检测器(或检测算法)进行人脸检测。检测器可以是基于深度学习模型的检测器，也可以是其他类型的检测器。

跟踪帧和检测帧之间的间隔可以根据实际需要设置，本申请对此不作限定。可理解，由于进行人脸检测的算法比人脸跟踪的算法复杂，耗时长，因此，可以设置跟踪帧的数量远大于检测帧的数量，例如，跟踪帧的数量是检测帧的若干倍(5-20等)，例如为10倍。另一方面，为了确保跟踪帧进行跟踪的准确性，可以在每连续若干个跟踪帧之后设置一个或几个检测帧。可选地，可以在每一个检测帧之后为连续的若干个跟踪帧(可以称作跟踪帧序列)，也就是说，两个相邻的检测帧之间都为跟踪帧，且该间隔可以是均匀的。例如，可以每隔10个图像帧设置一个检测帧，其余图像帧可以设置为跟踪帧。

作为一例，初始帧可以是第0帧，之后的10的整数倍的帧为检测帧，如第10帧、第20帧、…。其余帧为跟踪帧，如第1-9帧、第11-19帧、…。

为了能够维护数量和质量动态变化的人脸图像，本申请实施例提出一种能够动态更新的跟踪链表。

跟踪链表可以包括与当前被跟踪的多张人脸一一对应的多条跟踪信息。多张人脸中的每张人脸的跟踪信息可以包括第一部分、第二部分和第三部分。其中，第一部分用于指示人脸的跟踪状态，第二部分用于指示人脸的边界框在图像帧中的位置，第三部分用于指示人脸的质量最高的图像的信息。

需要说明的是，本申请不限制跟踪链表中跟踪信息的最大数量，可以根据人脸抓拍系统的硬件情况、响应速度要求等情况灵活选择，例如跟踪链表中跟踪信息的最大数量P可以是30或60。这样，本申请实施例能够同时对最多P个人脸进行跟踪，能够满足大部分应用场景的需求，且满足实时性的要求。

下面以多张人脸中的任意一张人脸(为便于描述，本申请将多张人脸中的任意一张人脸记为FACE)的跟踪信息为例，对跟踪信息的构成进行详细地举例说明，其他人脸的跟踪信息的构成类似，后续不再赘述。

FACE的跟踪信息的第一部分可用于指示FACE的跟踪状态。跟踪状态可以包括第一状态、第二状态、第三状态和第四状态中的至少一项。第一状态可用于指示使用第一跟踪器进行人脸跟踪，第二状态可用于指示使用第二跟踪器进行人脸跟踪，第三状态可以用于指示人脸处于所述监控场景的边缘，第四状态可以用于指示检测到的人脸为除所述多张人脸之外的新人脸。第一跟踪器和第二跟踪器可以是不同的跟踪算法，而不同的跟踪算法的跟踪能力或跟踪效果通常存在差异。

作为一例，第一状态可以为TRACK，第二状态可以为PENDING。

例如，第一跟踪器可以为针对人脸的跟踪器，第二跟踪器可以为针对非特定类型的目标的跟踪器。第二跟踪器例如可以是通用的跟踪器，此类跟踪器既可以对人脸进行跟踪，也可以对其他类型的目标(如人体或车辆)进行跟踪。

又如，第一跟踪器可以为基于深度学习模型的跟踪器，这种类型的跟踪器可以方便地对多个目标进行并行跟踪，但对被跟踪的目标的特征有较高要求。第二跟踪器可以为核相关滤波器跟踪器，这种跟踪器要实现并行跟踪需要耗费大量计算资源，但这种跟踪器的优点在于对被跟踪目标的要求较低，不易跟丢目标。

FACE的跟踪状态可以根据实际情况设置。例如，当FACE的图像质量较高(如高于某一质量阈值)时，可以将FACE的跟踪状态设置为第一状态，以使用第一跟踪器对其进行跟踪；当FACE的图像质量较低(如低于上述质量阈值)时，可以将FACE的跟踪状态设置为第二状态，从而使用不同于第一跟踪器的第二跟踪器对其进行跟踪。换句话说，不同人脸的实际情况不同，而不同的跟踪器对不同情况的人脸的跟踪效果不同，根据实际情况选择FACE的跟踪器，可以提高跟踪的灵活性，并改善跟踪效果。

又如，当FACE为新人脸时，也就是新进入监控区域的人脸，可以将其跟踪状态设置为第一状态，从而使用第一跟踪器对其进行跟踪。如果FACE在后续的某个检测帧未被检测到，则可以将FACE的跟踪状态从第一状态转换成第二状态。换句话说，当人脸为新人脸时，可以将其跟踪状态统一设置为第一状态，并使用第一跟踪器对其进行跟踪；当某个人脸的检测失败时，可以转而使用第二跟踪器对其进行跟踪。由此可见，第一跟踪器跟丢人脸时，本示例并非立即输出跟踪结果，而是采用另一跟踪器对其进行继续跟踪，从而可以一定程度上避免漏检导致的同一人脸的重复输出率高的问题。

需要说明的是，跟踪器会在跟踪帧进行人脸跟踪，因此上文所述的“第一状态用于指示使用第一跟踪器跟踪”指的是：如果某个人脸的跟踪状态为第一状态，则在跟踪帧使用第一跟踪器对其进行跟踪。“第二状态用于指示使用第二跟踪器跟踪”与“第一状态用于指示使用第一跟踪器跟踪”同理，此处不再赘述。

FACE的跟踪信息的第二部分可用于指示FACE的边界框在图像帧中的位置。示例性地，FACE的跟踪信息可用于记录FACE的边界框在图像帧中的坐标(或像素位置)。随着跟踪过程的进行，抓拍到的图像的数量的增加，FACE的跟踪信息的第二部分中的信息也会动态地实时更新，以记录FACE在监控区域中的位置的最新位置。也就是说，第二部分可以包括在当前帧被实时检测或实时跟踪出的人脸的边界框的位置。

在一个实施例中，第二部分可以包括4个参数，例如为(x1,y1,x2,y2)或(x1,y1,w,h)。其中，(x1,y1)可以表示边界框的左下角或左上角的坐标，(x2,y2)可以表示与(x1,y1)相对的右上角或右下角的坐标，(w,h)可以分别表示边界框的宽和高。

FACE的跟踪信息的第三部分可用于指示FACE的质量最高的图像的信息。示例性地，该第三部分可以包括以下信息中的至少一种：FACE的图像的最高得分，FACE的得分最高的图像在图像帧中的空间位置，以及FACE的得分最高的图像在抓拍的图像序列中的时间位置。

可理解，在初始帧创建该跟踪链表时，该第三部分可以是初始帧中的图像的信息。例如可以包括：边界框(x1,y1,x2,y2)所划定的区域的图像的质量得分，(x1,y1,x2,y2)，以及“0”。其中，“0”表示初始帧的帧数。

随着跟踪过程的进行，抓拍到的图像的数量的增加，FACE的跟踪信息的第三部分可能会被后续出现的FACE的质量更高的图像所替代。

当FACE的跟踪结束之后(如FACE离开监控区域)，可以将FACE的跟踪信息中的第三部分作为FACE的抓拍结果输出。例如，可以将FACE的质量最高的图像显示在人脸抓拍系统的显示界面上。

结合上面的描述，如下的表一示出了跟踪链表的一例：

表一

下面结合图1所示的人脸抓拍流程，进行更为详细地举例说明。

图1是本申请实施例提供的人脸抓拍方法的示意性流程图。图1的方法可以由上文提及的人脸抓拍系统执行。图1的方法可以包括步骤S110至步骤S150。

在步骤S110，对监控区域中的人脸进行抓拍，得到初始帧。

图2为初始帧的一个示例。

在步骤S120，在初始帧进行人脸检测，得到多张人脸。

从图2可以看出，在初始帧至少检测到三张人脸，face 0、face 1和face2。

在步骤S130，建立跟踪链表。

仍图2为例，可以创建跟踪链表，并在该跟踪链表中添加face 0，face 1和face 2对应的跟踪信息。

例如，可以将face 0、face 1、face 2的跟踪状态均设置为第一状态，并记录在face 0、face 1、face 2各自对应的跟踪信息的第一部分。

此外，可以将face 0、face 1、face 2的边界框在图像帧中的坐标记录在face 0、face 1、face 2各自对应的跟踪信息的第二部分。应理解，随着face 0、face 1、face 2在监控区域中的移动，face 0、face 1、face 2的边界框在图像帧中的位置是动态变化的。因此，face 0、face 1、face 2的跟踪信息中的第二部分是随着抓拍到的图像帧的数量的增加而不断更新的。

接着，由于图2是初始帧，则face 0、face 1、face 2的质量最高的图像的信息即为图2中的face 0、face 1、face 2的信息。当然，随着抓拍到的图像帧的数量的增加，face 0、face 1、face 2的质量最高的图像可能会被随后出现的图像所替换。下文会结合图3，对跟踪信息的第三部分的替换或更新过程进行详细地举例说明，此处暂不详述。

在步骤S140，在初始帧之后的检测帧，根据检测结果对各个人脸的跟踪信息中的第一部分、第二部分和第三部分进行更新。

需要说明的是，初始帧之后的检测帧(为方便描述，本申请将初始帧之后的检测帧称为第一检测帧)可以是初始帧的下一检测帧，也可以是初始帧的第n个检测帧(n大于1)。当第一检测帧为初始帧之后的第n个检测帧时，人脸在初始帧和第一检测帧之间的其他检测帧的检测结果可以是检测成功，也可以是检测失败，或者检测结果也可以是检测到人脸在检测帧所在的位置、图像质量等。

在步骤S150，在初始帧之后的跟踪帧，对使用第一跟踪器进行跟踪的第一人脸的跟踪信息中的第二部分和第三部分进行更新，对使用第二跟踪器进行跟踪的第二人脸的跟踪信息中的第二部分进行更新。

可以理解的是，并不是在所有的图像帧都可以更新跟踪信息的这三个部分。下面对跟踪信息中的这三个部分分别进行说明。

第一部分用于指示人脸的跟踪状态，跟踪状态可以包括第一状态、第二状态、第三状态和第四状态中至少一项。第一状态可用于指示使用第一跟踪器进行人脸跟踪，第二状态可用于指示使用第二跟踪器进行人脸跟踪，第三状态可以用于指示人脸处于所述监控场景的边缘，第四状态可以用于指示检测到的人脸为除所述多张人脸之外的新人脸。例如，第一状态例如可以用“TRACK”表示，第二状态例如可以用“PENDING”表示，第三状态例如可以用“OUTSIDE”或“PENDING_OUTSIDE”表示，第四状态例如可以用“NEWDETECT”表示。如何更新跟踪状态，将在之后的内容中详细说明。

第一部分的更新可以在检测帧进行，可以根据对目标的检测情况对目标的跟踪状态进行更新。检测情况例如可以包括：是否检测到人脸，检测到人脸的位置等。应注意，在跟踪帧，第一部分是保持不变的，也就是说，不会随着跟踪帧的跟踪结果导致状态的改变。

第二部分用于指示人脸的边界框在图像帧中的位置。由于人脸的位置处于动态变化的，因此，第二部分在人脸跟踪的过程中每帧都可以更新。响应于在当前帧获取到人脸的边界框的位置，更新人脸的跟踪信息中的第二部分，其中，当前帧可以为检测帧或跟踪帧。当前帧为检测帧时，边界框的位置可以为检测到的人脸的检测框的位置。当前帧为跟踪帧时，边界框的位置可以为跟踪的人脸在该跟踪帧的跟踪框的位置。

第三部分用于指示人脸的质量最高的图像的信息，可以在人脸图像的质量较高的图像帧更新。

例如，在检测帧，如果人脸可以被检测到，则可以在该检测帧计算质量、更新检测到的人脸的跟踪信息中的第三部分。人脸检测方式可以采用现有的检测算法实现，例如，可以基于匈牙利算法实现。

或者，当在某跟踪帧使用第一跟踪器跟踪第一人脸时，也类似地可以在使用第一跟踪器跟踪第一人脸的跟踪帧计算第一人脸的质量，并可以更新第一人脸的跟踪信息中的第三部分。相反，对于使用第二跟踪器跟踪的第二人脸来说，由于第二跟踪器是针对于非特定目标的跟踪器，尽管使用第二跟踪器能够得到跟踪结果，但是实际上该跟踪帧中可能并不存在第二人脸，或者即使存在第二人脸，使用第二跟踪器的跟踪结果所指示的位置精度也不准确，因此在使用第二跟踪器跟踪第二人脸的跟踪帧不计算第二人脸的图像质量，也即不更新第二人脸的跟踪信息的第三部分。

需要说明的是，对于同一跟踪帧跟踪多个人脸的情况，多个人脸的质量可能并不相同，也可能存在多个人脸使用不同跟踪器跟踪的情况。因此，对于同一跟踪帧，可以对一些人脸计算质量或更新跟踪信息中的第三部分，也可以对一些人脸不计算质量或不更新跟踪信息中的第三部分。例如，在跟踪帧同时跟踪第一人脸和第二人脸，可以计算使用第一跟踪器跟踪的第一人脸的质量，也可以更新第一人脸的跟踪信息中的第三部分；可以不计算使用第二跟踪器跟踪的第二人脸的质量，且不更新第二人脸的跟踪信息中的第三部分。

可选地，可以使用深度学习模型或其他模型(或算法)计算人脸的图像的质量。由于人脸质量的计算是需要消耗计算资源的，本申请在人脸使用第二跟踪器跟踪的过程中不计算人脸质量，并且不对第三部分进行更新，可以有效提高人脸抓拍系统的计算效率，提高抓拍的响应时间，避免出现错误的抓拍输出的情形。

由此可见，本申请实施例在初始帧为抓拍到的多张人脸建立一跟踪链表，以记录该多张人脸的跟踪信息；并在跟踪过程中，根据实际情况对该跟踪链表进行动态更新，从而实现了对动态变化的人脸进行持续、高效地跟踪。此外，在对某一人脸进行跟踪的过程中，可以为该人脸赋予不同的跟踪状态，即采用不同的跟踪器对其进行跟踪，从而提高了跟踪的灵活性。

人脸的跟踪信息中第三部分可以为质量最高的图像的信息，包括以下信息中的至少一种：第一人脸的图像的最高得分，第一人脸的得分最高的图像在图像帧中的空间位置，以及第一人脸的得分最高的图像在抓拍的图像序列中的时间位置。下面结合图3，以第一人脸为例，对跟踪信息的第三部分的更新过程进行详细地举例说明。

图3的方法包括步骤S310至S350。

在步骤S310，确定当前帧中的第一人脸的图像的第一得分，该当前帧为检测帧或使用第一跟踪器跟踪第一人脸的跟踪帧。

图像的得分可以采用质量判断模型计算，该质量判断模型可以是神经网络模型。

在步骤S320，比较第一得分与跟踪链表中记录的第一人脸的图像的最高得分。

在步骤S330，如果第一得分高于最高得分，将跟踪链表中的最高得分更新为第一得分。

在步骤S340，如果第一得分高于最高得分，将跟踪链表中的第一人脸的质量最高的图像在图像中的空间位置更新为第一人脸的图像在当前帧中的位置。

在步骤S350，如果第一得分高于最高得分，将跟踪链表中的第一人脸的质量最高的图像在抓拍到的图像序列中的时间位置更新为当前帧在抓拍到的图像序列中的帧号。例如，假设当前帧为抓拍到的图像序列中的第29帧，则可以将跟踪链表中的第一人脸的质量最高的图像在抓拍到的图像序列中的时间位置更新为29。

可理解，在步骤S320之后，同时或部分同时执行S330、S340和S350，也就是说，将跟踪信息中的第三部分进行更新。

本申请涉及的人脸抓拍方法是基于人脸跟踪的，输出的抓拍结果是基于跟踪信息的。在初始帧之后的检测帧，判断多张人脸中的任意一张人脸(为描述方便，本申请称为第三人脸)是否满足跟踪结束条件；如果满足跟踪结束条件，输出第三人脸的抓拍结果，并从跟踪链表中删除第三人脸的跟踪信息，其中，抓拍结果为第三人脸的跟踪信息中的第三部分。

当人脸的跟踪结束时，本申请的一个实施例对人脸的跟踪信息中的第三部分进行输出，即可得到人脸的抓拍结果，也就是说，将人脸跟踪过程中质量最高的图像信息作为人脸的抓拍结果。可以看出，以这种方式得到人脸抓拍结果，人脸抓拍结果的图像是人脸跟踪过程中质量最高的，也就是在人脸动态变化过程中角度较好、清晰度较高的人脸图像。通过本申请提供的方法，可以为用户提供图像质量较高的人脸抓拍图像，这有效提高了人脸抓拍的用户体验效果。

对于人脸离开监控区域，可以结束人脸的跟踪。或者，当人脸持续未被检测到，持续跟踪也无法得到质量较佳的抓拍结果，可以结束人脸的跟踪。例如：第三人脸的跟踪状态为第二状态，且第三人脸处于第二状态的时长达到预设时长；和/或第三人脸的跟踪状态为第三状态，且检测帧未检测到第三人脸。

可选地，第三人脸处于第二状态的时长(也可以称为第三人脸被第二跟踪器跟踪的时长)可通过连续的帧数计算，预设时长可以是设定的连续帧数，例如预设时长可以是50帧，当连续50个图像帧均未检测到第三人脸，也就是这期间均使用第二跟踪器跟踪，则结束第三人脸的跟踪任务，输出第三人脸的抓拍结果，从跟踪链表中删除第三人脸的跟踪信息。

可选地，第二跟踪器的跟踪时长可通过连续的未检测到第三人脸的连续的检测帧的数量来计算，示例性地，该跟踪时长还可以被称为第二跟踪器的跟踪年龄(age)。例如预设时长可以是4，当在使用第二跟踪器的过程中，连续4个检测帧都没有检测到该第三人脸，则说明跟踪时长达到预设时长，停止对该第三人脸的跟踪，并输出第三人脸的抓拍结果。

可以看出，在某些实施例中，如果某人脸未被检测到，并不一定要立刻将该人脸的跟踪信息从跟踪链表中删除，而是可以继续对第一人脸进行跟踪，如果第一人脸在连续一段时间内均未被检测到，再将其对应的跟踪信息从跟踪链表中删除。未检测到人脸后持续跟踪，可以避免漏检导致的人脸抓拍结果重复输出。持续未检测到人脸后再结束跟踪，可以有效减少对一些人脸持续跟踪导致的资源浪费，这些人脸一般存在图像质量持续不佳、拍摄角度持续不好等问题。

作为一种实现方式，当第三人脸的跟踪状态为第三状态时，也就是第三人脸处于图像帧的边缘，在接下来的图像帧，该第三人脸可能会离开监控区域，但是也可能在边缘徘徊，或者重新回到图像帧的内部(图像帧可以检测到该人脸且该人脸不在图像帧边缘)。为了避免在后两种情况下错误的结束跟踪，本申请对于处于第三状态的第三人脸，如果下一检测帧未检测到第三人脸，可以判定第三人脸离开场景，则结束该第三人脸的跟踪，并输出抓拍结果。这样，可以提高判断人脸离开图像帧所在场景的准确性，也可以避免错误地提前结束一些未离开监控区域的人脸的跟踪。下面对于跟踪信息中的第一部分的更新方法进行详细说明。

响应于在检测帧检测到第一人脸不位于检测帧边缘，确定第一人脸的跟踪信息中第一部分为第一状态；响应于在检测帧未检测到第一人脸，将第一人脸的跟踪信息中的第一部分更新为第二状态；响应于在检测帧检测到第一人脸位于检测帧边缘且该第一人脸的移动方向朝向该边缘，将第一人脸的跟踪信息中第一部分更新为第三状态；响应于在检测帧检测到除多张人脸之外的新人脸，在跟踪链表中添加新人脸的跟踪信息，并将新人脸的跟踪信息中的第一部分确定为第四状态。

例如，针对处于第一状态的第一人脸而言，如果在检测帧中检测到该第一人脸，且检测到的第一人脸不位于边缘，则可以保持其跟踪信息中的第一部分为第一状态不变。

下面结合图4和图5详细说明。图4和图5为视频序列中任意一个检测帧，例如，可以为初始帧之后的检测帧，或者，也可以是初始帧。

在图4中，检测到两个人脸face1和face2，在图4中使用框1和框2标记出。且face1和face2不位于图4所示检测帧的边缘，因此，可以将face1和face2的跟踪状态中第一部分均更新为第一状态，例如标记为TRACK。

继续以图4为例，未检测到人脸face0(为便于说明，使用框0标记出)，因此，可以将face0的跟踪信息中的第一部分更新为第二状态。

图5为初始检测帧后的另一检测帧，在该检测帧，检测到face0(使用框0标记出)，且face0位于图5的左边缘，则可以将face0的跟踪信息中的第一部分更新为第三状态，例如标记为OUTSIDE。

需要说明的是，此处对于第一部分的更新，可以是同时保持至少一个状态。继续以图5为例，若face0在图5之前的状态为TRACK，在图5所示的检测帧，face0的第一部分可以更新为TRACK+OUTSIDE；若face0在图5之前的状态为PENDING，在图5所示的检测帧，face0的第一部分可以更新为PENDING+OUTSIDE。

对于检测到的人脸，一种可能的实现方式是将该新人脸的跟踪信息直接添加到跟踪链表中，并将第一部分更新为第一状态；或者，本申请提出，也可以先对该人脸进行质量检测，质量检测合格之后再将第一部分更新为第一状态，并在后续图像帧中进行跟踪，这样可以有效避免出现虚警，降低资源浪费。作为一种实现方式，在检测帧，当检测到新人脸时，会创建该检测到的人脸的跟踪信息，在将新人脸的跟踪信息中的第一部分设置为第一状态前，可以将跟踪信息的第一部分更新为第四状态，例如可以是NEWDETECT。

下面结合图6，以第三人脸为例，对新人脸的更新跟踪信息的处理过程进行举例说明，可以包括步骤S131至步骤S138。

在步骤S131，判断是否检测到新人脸。

在步骤S132，如果存在新人脸，在跟踪链表中添加新人脸的跟踪信息，并将新人脸的跟踪信息中的第一部分确定为第四状态。

第四状态是为新人脸设置的一个跟踪状态。第四状态可用于指示对应的人脸为新人脸。该第四状态例如可以是NEWDETECT。

在步骤S134，确定新人脸的图像质量。

在步骤S136，当新人脸的图像质量小于预设阈值时，从跟踪链表中删除新人脸的跟踪信息；

在步骤S138，当新人脸的图像质量大于或等于预设阈值时，将新人脸的跟踪状态从第四状态转换为第一状态。

以图2为例(图2所示的初始帧也是检测帧)，假设新人脸是图2中的face 3(face 3实际上并非人脸，而是一个手提包，该手提包的颜色与人脸的肤色相近，因此被误检测为人脸)。当检测当face 3时，可以先在跟踪链表中生成face 3的跟踪信息，并将face 3的跟踪状态设置为NEWDETECT。接着，可以对face 3的图像质量进行检测。经过该检测，发现face 3的图像质量低于检测合格标准，因此，将face 3的跟踪信息从跟踪链表中删除，这样可以降低计算资源的浪费。

类似地，可以理解，在一种可替代的实现方式中，上述S130中在初始帧检测到多个人脸建立跟踪链表时，跟踪链表中每个人脸的跟踪信息的跟踪状态均被初始地设置为第四状态，即NEWDETECT。随后，可以响应于多个人脸的人脸质量得分大于或等于预设阈值，进一步将多个人脸中每个人脸的跟踪信息的跟踪状态从第四状态更新为第一状态，即TRACK。

本申请还提供了一种人脸抓拍系统，如图7所示，包括存储器、处理器及存储在存储器上的计算机程序。并且当处理器执行计算机程序能够实现上述结合图1所述方法的步骤。

存储器可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)等。

处理器可以采用通用的CPU，微处理器，应用专用集成电路(applicationspecific integrated circuit，ASIC)或者一个或多个集成电路，用于执行相关程序，以实现本申请实施例的方法。

处理器还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请的方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器还可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本申请实施例的系统中包括的单元所需执行的功能，或者执行本申请方法实施例的方法。

可选地，该系统还可以进一步包括通信接口和总线。其中，通信接口使用例如但不限于收发器一类的收发装置，来实现与其他设备或网络之间的通信。例如，可以通过通信接口可以从图像采集设备获取多张图像，可以通过通信接口将图像处理结果传输至其他外部设备，等等。其中，总线可包括在装置各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路。

可理解，图7中的人脸抓拍系统可以是计算机系统、计算机设备等。在一些实施例中，该人脸抓拍系统可以是移动终端，如手持式移动终端，比如可以是手机。

另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当该计算机程序被计算机或者处理器执行时，可以实现前述结合图1所述的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。

在一个实施例中，该计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤：对监控区域中的人脸进行抓拍，得到初始帧；在初始帧进行人脸检测，得到多张人脸；建立跟踪链表，跟踪链表包括多张人脸一一对应的多条跟踪信息，多张人脸中的每张人脸的跟踪信息包括第一部分、第二部分和第三部分，第一部分用于指示人脸的跟踪状态，第二部分用于指示人脸的边界框在图像帧中的位置，第三部分用于指示人脸的质量最高的图像的信息，其中，多个人脸的跟踪状态均为第一状态；在初始帧之后的检测帧，根据检测结果对各个人脸的跟踪信息中的第一部分、第二部分和第三部分进行更新；在初始帧之后的跟踪帧，对使用第一跟踪器进行跟踪的第一人脸的跟踪信息中的第二部分和第三部分进行更新，对使用第二跟踪器进行跟踪的第二人脸的跟踪信息中的第二部分进行更新。

计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

另外，本发明实施例还提供了一种计算机程序产品，其包含计算机程序或指令，当该计算机程序或指令被计算机或处理器所执行时，使得执行上述结合图1所述的方法的步骤。

由此可见，本申请能够建立跟踪链表来维护对跟踪的多个人脸的跟踪信息，一方面该跟踪链表能够实时地记录跟踪状态和人脸的边界框位置，另一方面该跟踪链表还实时地记录了当前跟踪序列中质量最高的图像的信息，便于抓拍的输出。通过该跟踪链表，能够提高对视频中人脸抓拍的效率和准确率。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims (10)

1.一种人脸抓拍方法，其特征在于，包括：

对监控区域中的人脸进行抓拍，得到初始帧；

在所述初始帧进行人脸检测，得到多张人脸；

建立跟踪链表，所述跟踪链表包括所述多张人脸一一对应的多条跟踪信息，所述多张人脸中的每个人脸的跟踪信息包括第一部分、第二部分和第三部分，所述第一部分用于指示所述人脸的跟踪状态，所述第二部分用于指示人脸的边界框在图像帧中的位置，所述第三部分用于指示人脸的质量最高的图像的信息，其中，所述多个人脸的跟踪状态均为第一状态；

在所述初始帧之后的检测帧，根据检测结果对各个人脸的跟踪信息中的第一部分、第二部分和第三部分进行更新；

在所述初始帧之后的跟踪帧，对使用第一跟踪器进行跟踪的第一人脸的跟踪信息中的第二部分和第三部分进行更新，对使用第二跟踪器进行跟踪的第二人脸的跟踪信息中的第二部分进行更新。

2.根据权利要求1所述的方法，其特征在于，所述跟踪信息的第三部分包括人脸的图像的最高得分，人脸的得分最高的图像在图像帧中的空间位置，以及人脸的得分最高的图像在抓拍的图像序列中的时间位置，

所述第一人脸的跟踪信息中的第三部分的更新，包括：

确定当前帧中的所述第一人脸的边界框的第一得分，其中所述当前帧为检测帧或使用第一跟踪器跟踪所述第一人脸的跟踪帧；

比较所述第一得分与所述第一人脸的跟踪信息的第三部分中记录的所述第一人脸的图像的最高得分；

如果所述第一得分高于所述最高得分，将所述第一人脸的跟踪信息的第三部分中的所述最高得分更新为所述第一得分，将所述第一人脸的跟踪信息的第三部分中的所述空间位置更新为所述第一人脸的边界框在所述当前帧中的位置，将所述第一人脸的跟踪信息的第三部分中的所述时间位置更新为所述当前帧的帧号。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述初始帧之后的检测帧，判断第三人脸是否满足跟踪结束条件，其中，所述第三人脸为所述多张人脸中的任意一张人脸；

如果满足所述跟踪结束条件，输出所述第三人脸的抓拍结果，并从所述跟踪链表中删除所述第三人脸的跟踪信息，其中，所述抓拍结果为所述第三人脸的跟踪信息中的第三部分。

4.根据权利要求3所述的方法，其特征在于，所述跟踪结束条件包括：

所述第三人脸的跟踪状态为第二状态，且所述第三人脸处于所述第二状态的时长达到预设时长，所述第二状态用于指示使用第二跟踪器跟踪人脸；和/或，

所述第三人脸的跟踪状态为第三状态，且所述检测帧未检测到所述第三人脸，所述第三状态用于指示人脸处于所述监控场景的边缘。

5.根据权利要求1所述的方法，其特征在于，所述跟踪信息中的第二部分的更新，包括：

响应于在当前帧获取到所述第一人脸的边界框的位置，更新所述第一人脸的跟踪信息中的第二部分，所述当前帧为检测帧或跟踪帧。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述检测帧，判断是否检测到新人脸；

如果存在所述新人脸，在所述跟踪链表中添加所述新人脸的跟踪信息，其中所添加的所述新人脸的跟踪信息中的第一部分为第四状态；

确定所述新人脸的图像质量；

当所述新人脸的图像质量小于预设阈值时，从所述跟踪链表中删除所述新人脸的跟踪信息；

当所述新人脸的图像质量大于或等于所述预设阈值时，将所述新人脸的跟踪状态从所述第四状态转换为所述第一状态。

7.根据权利要求1所述的方法，其特征在于：所述跟踪信息中的第一部分的更新，包括：

响应于在所述检测帧检测到所述第一人脸不位于所述检测帧边缘，确定所述第一人脸的跟踪信息中第一部分为所述第一状态；

响应于在所述检测帧未检测到所述第一人脸，将所述第一人脸的跟踪信息中的第一部分更新为第二状态；

响应于在所述检测帧检测到所述第一人脸位于所述检测帧的边缘且所述第一人脸的移动方向朝向所述边缘，将所述第一人脸的跟踪信息中第一部分更新为第三状态。

8.根据权利要求1所述的方法，其特征在于，所述第一跟踪器为基于深度学习模型的跟踪器，所述第二跟踪器为核相关滤波器跟踪器。

9.一种人脸抓拍系统，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行计算机程序以实现权利要求1至8中任一项方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项方法的步骤。

Images