CN113642546A - 一种多人脸跟踪方法及系统 - Google Patents

Abstract

本申请公开了一种多人脸跟踪方法及系统，通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

Description

一种多人脸跟踪方法及系统

技术领域

本申请涉及图像识别领域，尤其涉及一种多人脸跟踪方法及系统。

背景技术

对于人脸跟踪，目前比较普遍的做法是采用一个人脸检测器以及一套跟踪逻辑共同实现。

然而，对于机场、车站、商场等人流密集场所的人脸检测及跟踪，由于人流量密度大，对人脸跟踪设备的算力要求较高。而对于常用的CPU处理器，则很难在保证检测速度的同时，保证一定的检测精度。

发明内容

有鉴于此，本申请提供一种多人脸跟踪方法及系统，其具体方案如下：

一种多人脸跟踪方法，包括：

获取当前帧图像；

如果所述当前帧图像为第一类帧图像，则针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

如果所述当前帧图像为第二类帧图像，则针对所述当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，所述待处理图像块基于在先帧图像中的人脸位置确定；

至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

进一步的，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，包括：

通过整体检测模型检测当前帧图像，以确定所述当前帧图像中的第一实际人脸位置，所述第一实际人脸位置属于所述当前帧图像中的人脸位置。

进一步的，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，还包括：

通过局部人脸检测模型对每一个所述第一实际人脸位置对应的待处理图像块进行检测，若检测到人脸，则确认所述第一实际人脸位置可用，或用所述局部人脸检测模块检测到的人脸位置代替所述第一实际人脸位置。

进一步的，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，包括：

若所述当前帧图像为所述第一类帧图像中的第一帧图像，则通过整体检测模型确定所述当前帧图像中的第一实际人脸位置；

或，

若所述当前帧图像为所述第一类帧图像中的非第一帧图像，则通过整体检测模型检测所述当前帧图像，以确定所述当前帧图像中的第一实际人脸位置和人头位置，并基于所述人头位置确定与所述人头位置匹配的第一预估人脸位置，所述第一预估人脸位置属于所述当前帧图像中的人脸位置；

其中，所述整体检测模型用于同时检测人脸位置和人头位置。

进一步的，所述方法还包括：

根据所述在先帧图像的人脸位置和运动参数，计算所述在先帧图像的人脸位置在所述当前帧图像中的第二预估人脸位置；

根据所述当前帧图像和所述第二预估人脸位置，确定所述当前帧图像中的所述待处理图像块。

进一步的，所述方法还包括：

根据所述当前帧图像中的人脸位置和所述当前帧图像的在先帧图像中的人脸位置，计算所述当前帧图像中的人脸位置所对应的运动参数，所述运动参数包括运动速度和方向。

进一步的，所述采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，包括：

基于局部人脸检测模型对所述待处理图像块进行检测，若检测到人脸，则输出所述局部人脸检测模型检测到的第二实际人脸位置，所述第二实际人脸位置属于所述当前帧图像中的人脸位置。

进一步的，所述采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，包括：

基于所述局部人脸检测模型对所述待处理图像块进行检测；

若未检测到人脸，则基于局部人头检测模型对所述待处理图像块进行人头检测；

若检测到人头，则基于所述局部人脸检测模型检测到的人头位置确定相匹配的第三预估人脸位置，所述第三预估人脸位置属于所述当前帧图像中的人脸位置。

进一步的，所述至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸跟踪，包括：

若确定所述当前帧图像中的人脸位置与所述在先帧图像中的人脸位置满足匹配条件，则将所述当前帧图像中的人脸位置和所述在先帧图像中人脸位置与同一目标关联；

其中，所述匹配条件包括：

所述当前帧图像中的人脸位置的中心点，与所述在先帧图像中的人脸位置的中心点之间的第一距离小于预设距离；或，

所述在先帧图像中的人脸位置在当前帧图像中的预估位置的中心点，与所述当前帧图像中的人脸位置的中心点之间的第二距离小于预设距离；或，

所述当前帧图像中的人脸位置是采用所述第二检测方式检测所述在先帧图像中的待处理图像块得到的。

一种多人脸跟踪系统，包括：

获取单元，用于获取当前帧图像；

第一确定单元，用于在所述当前帧图像为第一类帧图像时，针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

第二确定单元，用于在所述当前帧图像为第二类帧图像时，针对所述当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，所述待处理图像块基于在先帧图像中的人脸位置确定；

追踪单元，用于至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

从上述技术方案可以看出，本申请公开的一种多人脸跟踪方法及系统，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种多人脸跟踪方法的流程图；

图2为本申请实施例公开的一种多人脸跟踪方法的流程图；

图3为本申请实施例公开的一种多人脸跟踪方法的流程图；

图4为本申请实施例公开的一种多人脸跟踪方法的流程图；

图5为本申请实施例公开的一种多人脸跟踪系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请公开了一种多人脸跟踪方法，其流程图如图1所示，包括：

步骤S11、获取当前帧图像；

步骤S12、如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

步骤S13、如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定；

步骤S14、至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

对于人脸跟踪，目前应用越来越普遍，例如：在商场、车站等公共场所的入口会设置红外测温装置，这类测温装置通常需要人脸跟踪软件，实现对人所在位置的跟踪，以便于在测温硬件检测到有人的体温较高时，直接基于人脸跟踪软件确定对应的人脸，以提高测温效率，同时降低成本。

然而，对于人脸跟踪，目前比较普遍的做法是采用人脸检测器以及一套跟踪逻辑共同实现，采用这种方式，通常对设备的算力要求较高，一般是在GPU上运行，而在低成本的CPU上很难做到实时跟踪。

为了解决上述问题，本方案中，对于不同类型的帧图像，采用不同种类的检测方式分别进行检测，以便于对于不同类型的帧图像以不同的检测精度检测得到帧图像中的人脸位置，以便于在确定当前帧图像中的人脸位置后，能够与当前帧图像之前的在先帧图像的人脸位置进行比对，从而实现对在先帧图像中的人脸位置的人脸追踪。

具体的，将帧图像的类型进行区分，确定其属于第一类帧图像还是属于第二类帧图像，以便于对于不同类型的帧图像基于不同的检测方式执行检测。其中，第一类帧图像为关键帧图像，第二类帧图像为非关键帧图像。

在获得视频图像后，对视频图像中的关键帧图像进行确定。将一段视频图像中的每一帧进行区分，分成关键帧和非关键帧。

其中，关键帧图像为从视频图像中抽取的几帧图像，其抽取规则可以为预先设定一段视频中的哪几帧作为关键帧，如：对于一段24帧的视频，设置该视频中的第0、6、12、18帧为关键帧，其他帧为非关键帧；

或者，也可以为：通过视频中的内容进行关键帧和非关键帧的划分，以识别其中能够表达这段视频的几帧图像作为关键帧。

但是对于大流量多目标跟踪场景来说，图像中人脸以及背景变化较为复杂，且图像中目标大部分时间都是非静止的，通过算法准确的划分关键帧和非关键帧本身是相对困难的事情，同时引入关键帧判断的模型势必会增加计算成本。

因此，通常采用上述预先设定预设数量的关键帧所在位置的方式。另外，由于对于关键帧进行检测的模型，即第一检测方式具有更高的精度，因此关键帧的数量越多跟踪效果越好，但是由于对于关键帧进行检测的模型计算速度较慢，为了保证跟踪的实时性，设置一部分关键帧和一部分非关键帧。另外，设置关键帧间隔为6帧可以达到精度和速度上的平衡，当然，关键帧之间的间隔帧数也可以为其他数值，在此并不进行具体限定。例如：在每秒24帧的视频中设置4个关键帧，其余均为非关键帧。

其中，对第一类帧图像的检测，是基于第一检测方式对关键帧图像的整个图像进行检测，其得到的是整张图像中每一个人脸所在的位置；

而对于第二类帧图像的检测，则对该非关键帧图像中的图像块进行检测。图像块是通过对当前帧图像的前一帧图像进行检测得到的，通过对前一帧图像的检测能够得到多个图像块，每个图像块中至少包括一个人脸的区域，前一帧图像中的所有的图像块即前一帧图像中的所有人脸所在的位置。

当对前一帧图像的检测完成后，要对当前帧图像进行检测，并且确定当前帧图像为第二类帧图像，则确定前一帧图像中的每个图像块在当前帧图像中的位置，从而确定出当前帧图像中的图像块，并通过第二检测方式检测当前帧图像中的每个图像块中是否有人脸，从而确定非关键帧图像中的人脸位置。

确定在先帧图像中的人脸位置在当前帧图像中所在的位置，从而实现连续两帧图像中人脸的追踪。

本实施例公开的一种多人脸跟踪方法，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本实施例公开了一种多人脸跟踪方法，其流程图如图2所示，包括：

步骤S21、获取当前帧图像；

步骤S22、如果当前帧图像为第一类帧图像，通过整体检测模型检测当前帧图像，以确定当前帧图像中的第一实际人脸位置，第一实际人脸位置属于当前帧图像中的人脸位置；

步骤S23、如果当前帧图像为第二类帧图像，针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定；

步骤S24、至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

若当前帧图像为第一类帧图像，则通过整体检测模型对当前帧图像进行整体的检测，即通过整体检测模型检测出当前帧图像中所有的人脸位置。

具体的，整体检测模型可以为关键帧人头人脸检测模型。关键帧人头人脸检测模型是一个基于卷积神经网络的单阶段检测模型，该检测模型的输入为尺寸1280*640*3的彩色图片，输出为图像中所有人头检测区域以及人脸检测区域的坐标以及各检测区域对应的置信度，该关键帧人头人脸检测模型用于在关键帧上检测图像中所有的人头人脸的位置。

其中，人头检测区域可以具体为人头检测框，人脸检测区域可以具体为人脸检测框。

通过关键帧人头人脸检测模型能够检测出该关键帧图像中的每一个人头的检测框以及每一个人脸的检测框，即第一人头检测区域以及第一人脸检测区域。当基于关键帧人头人脸检测模型检测出人头检测区域时，需要对该人头检测区域进行估计，以确定出该人头检测区域所对应的人脸检测区域。

基于关键帧人头人脸检测模型检测出人脸检测区域时，可以直接输出，以便与前一帧图像中的所有人脸区域进行匹配。

具体的，将基于关键帧人头人脸检测模型确定的所有的第一人脸检测区域，以及，基于所有第一人头检测区域估计出的第二人脸检测区域均与当前关键帧图像的前一帧图像中的所有人脸检测区域进行匹配，以便将当前关键帧图像中的人脸检测区域与前一帧图像中的人脸检测区域一一对应，保证在前一帧图像中出现的所有人脸检测区域在当前关键帧图像中均有与其对应的检测区域，从而实现对前一帧图像中出现的所有人脸检测区域的跟踪。

对于检测到的每一个人脸检测区域均为其设置标识信息，以便于在下一帧图像中追踪到与其对应的人脸检测区域时，能够直接将前一帧的人脸检测区域的标识信息确定为下一帧与该人脸检测区域对应的人脸检测区域的标识信息。在匹配结束后，会输出检测到的人脸的人脸检测框以及对应的标识信息，如：ID信息。

进一步的，若基于关键帧人头人脸检测模型检测到的是背景信息，即既非人头，也非人脸，则直接不对该背景信息进行追踪。

进一步的，针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，还包括：通过局部人脸检测模型对每一个第一实际人脸位置对应的待处理图像块进行检测，若检测到人脸，则确认第一实际人脸位置可用，或用局部人脸检测模块检测到的人脸位置代替第一实际人脸位置。

如果基于关键帧人头人脸检测模型检测出的是人脸检测区域时，还需要对其进行进一步确认，确认该人脸检测区域中的图像是否为人脸，以减少误检。

具体可通过局部人脸检测模型进行二次检测，局部人脸检测模型是一个基于卷积神经网络的分类回归器，该回归器只检测图像块中的一个人脸，输入是49*49*3这一固定尺寸的图像块，输出为图像块中置信度最大的人脸检测框的坐标和对应的置信度。该模型是基于前一帧人脸检测框位置所确定的图像块上进行单个人脸的检测。

局部人脸检测模型每次仅对一个局部图像块进行检测，这是一个串行的过程。局部图像块是通过图像处理库opencv按照前一帧人脸位置从原图中裁剪出，只对原图上有人脸的部分的图像块做检测，而对于其他区域并不进行裁剪及检测。其中，图像块裁剪的过程是在cpu上完成的，操作耗时短。

当通过局部人脸检测模型检测到某个图像块中具有人脸，则可确定该图像块所对应的第一实际人脸位置可用，可以直接将该位置确定为当前帧图像中的一个人脸位置；或者，在确定图像块所对应的第一实际人脸位置与局部人脸检测模块检测到的人脸位置不匹配，或者，图像块所对应的第一实际人脸位置与局部人脸检测模块检测到的人脸位置之间的距离大于某一预设数值，则将局部人脸检测模块检测到的人脸位置确定为图像块中的第一实际人脸位置的位置，即对第一实际人脸位置进行更新，以局部人脸检测模块检测到的人脸位置为准。

进一步的，针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，包括：

若当前帧图像为第一类帧图像中的第一帧图像，则通过整体检测模型确定当前帧图像中的第一实际人脸位置；或，若当前帧图像为第一类帧图像中的非第一帧图像，则通过整体检测模型检测当前帧图像，以确定当前帧图像中的第一实际人脸位置和人头位置，并基于人头位置确定与人头位置匹配的第一预估人脸位置，第一预估人脸位置属于当前帧图像中的人脸位置，其中，整体检测模型用于同时检测人脸位置和人头位置。

在对关键帧图像进行检测时，需要首先确定关键帧图像是否为第一帧图像，以便对关键帧图像执行不同的处理。

若当前帧图像为第一类帧图像中的第一帧图像，在基于关键帧人头人脸检测模型进行人头人脸检测时，只需要将检测出的人脸检测区域进行输出即可，对于检测出的人头检测区域以及背景区域，无需输出，也不需要进一步进行后续处理，不对这些目标进行跟踪。

如果基于关键帧人头人脸检测模型检测出的是第一帧图像中的人脸检测区域，则对该人脸检测区域进行进一步跟踪，如：对其进行二次检测，通过局部人脸检测模型确认该区域中的是人脸，在确认之后输出该人脸检测区域，或者，不进行二次确认，直接输出该人脸检测区域，在输出人脸检测区域的同时，为该人脸检测区域设置对应的标识信息，如：ID信息，以便于在后续跟踪到对应的人脸检测区域时，采用相同的标识信息，实现同一个人脸的跟踪。

若当前帧图像为第一类帧图像中的非第一帧图像，则在基于关键帧人头人脸检测模型进行人头人脸检测时，不仅要检测出人脸检测区域，还需要检测出人头检测区域，并将检测出的人脸检测区域及人头检测区域进行输出；对于背景区域，则不进行后续跟踪。

若基于关键帧人头人脸检测模型检测出的是非第一帧图像中的人头检测区域，则需要对人头检测区域进行估计，估计出与其对应的人脸检测区域所在的位置，将估计出的该人脸检测区域作为输出；并将检测到的人脸检测区域以及估计出的人脸检测区域与前一帧图像中的人脸检测区域进行匹配，从而实现对前一帧图像中的每个人脸检测区域的跟踪处理。在匹配完成后，将当前帧图像中的人脸检测区域与前一帧图像中的人脸检测区域相匹配的区域设置相同的标识信息。

若关键帧图像为非第一帧关键帧，则通过关键帧人头人脸检测模块既能检测出之前已经检测到的人脸检测区域，还能够检测出新出现的人脸，即在当前关键帧图像之间的帧图像中没有出现过的人脸。

对人头检测区域进行估计，具体为：根据统计学上人脸检测框与人头检测框的位置关系，利用检测到的人头检测区域估算出其对应的人脸检测区域的位置。

假设人头检测框的左上角顶点作为为（x，y），高为h，宽为w，估算出的人脸检测框的边长为1=0.62*(max(w，h))，左上角顶点坐标为（x+(w-1)*0.5，y+h-1）。

估算出的人脸检测区域在人头检测区域内的位置与人头具体的姿态无关，只与人头检测区域的位置和尺寸相关。

本实施例公开的一种多人脸跟踪方法，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本实施例公开了一种多人脸跟踪方法，其流程图如图3所示，包括：

步骤S31、获得当前帧图像；

步骤S32、如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

步骤S33、如果当前帧图像为第二类帧图像，则根据在先帧图像的人脸位置和运动参数，计算在先帧图像的人脸位置在当前帧图像中的第二预估人脸位置；

步骤S34、根据当前帧图像和第二预估人脸位置，确定当前帧图像中的待处理图像块；

步骤S35、针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定；

步骤S36、至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进线人脸追踪。

在对第二类帧图像进行检测时，需要首先确定当前帧图像中的待处理图像块，而当前帧图像中的待处理图像块是基于在先帧图像中的人脸位置确定的。

具体的，确定在先帧图像中的人脸位置，将每一个人脸位置确定为在先帧图像中的图像块，基于该图像块中的人脸所对应的人的运动速度和运动方向估计出该人脸在当前帧图像中的人脸位置，即第二预估人脸位置，将当前帧图像中的第二预估人脸位置所在的图像块确定为当前帧图像中的待处理图像块。

即根据当前帧图像中的人脸位置和当前帧图像的在先帧图像中的人脸位置，计算当前帧图像中的人脸位置对应的运动参数，运动参数包括运动速度和方向。

基于一帧在先帧图像是无法确定人的运动速度和运动方向的，因此，可基于多帧在先帧图像对图像中人的运动速度和运动方向进行计算，从而估计出其在当前帧图像中的人脸位置。

进一步的，在通过当前帧图像检测到一组人脸位置时，获得当前帧图像的在先帧图像中的图像块中的人脸位置，比较当前帧图像检测到的人脸位置与在先帧图像检测到的人脸位置，确定两者是否匹配，若两者匹配，则为当前帧图像检测到的人脸位置所对应的图像块赋予在先帧图像中人脸位置对应的图像块的标识信息，以便于实现人脸的追踪。

具体的，比较当前帧图像中人脸位置所对应的图像块的中心点与在先帧图像的人脸位置对应的图像块的中心点之间的距离，若确定该距离超出预设距离，则确定当前帧图像中的人脸位置对应的图像块与在先帧图像的人脸位置对应的图像块不匹配；若该距离小于预设距离，则确定当前帧图像中的人脸位置对应的图像块与在先帧图像的人脸位置对应的图像块匹配。

其中，预设距离可以为：在先帧图像中的人脸位置对应的图像块的边长，即只要当前帧图像中人脸位置对应的图像块的中心点所在的位置与在先帧图像中人脸位置对应的图像块的中心点所在位置之间的距离小于在先帧图像中人脸位置对应的图像块的边长，就认为两个图像块匹配。

具体的，知道人脸位移的前提是已经详细知道这个人脸在前一帧的位置和在当前帧的位置，但是在跟踪时是无法明确知道前一帧中某个人脸对应当前帧的哪个人脸的。虽然可以根据前几帧人脸的运动状态对当前帧的人脸位置做一个粗略的估计，但是这个估计的精度较低，一般不能作为人脸位置对应的图像块是否匹配的衡量指标，特别是当人头人脸左右晃动时，根据运动状态估计出的运动方向可能与实际方向不同，因此，方案中采用通过前一帧图像中的人脸位置对应的图像块的边长进行判断的方式，以表明只要两帧图像之间人脸的位移足够小，就有较高的概率是同一个人的人脸。

进一步的，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸跟踪，包括：若确定当前帧图像中的人脸位置与在先帧图像中的人脸位置满足匹配条件，则将当前帧图像中的人脸位置和在先帧图像中的人脸位置与同一目标关联。

其中，匹配条件包括：当前帧图像中的人脸位置的中心点，与在先帧图像中的人脸位置的中心点之间的第一距离小于预设距离；或者，在先帧图像中的人脸位置在当前帧图像中的预估位置的中心点，与当前帧图像中的人脸位置的中心点之间的第二距离小于预设距离；或者，当前帧图像中的人脸位置是采用第二检测方式检测在先帧图像中的待处理图像块得到的。

即若当前帧图像中的人脸位置是采用第二检测方式检测在先帧图像中的待处理图像块得到的，那么，可直接将当前帧图像中的人脸位置与在先帧图像中的人脸位置关联，表明当前帧图像中的人脸位置与在先帧图像中的人脸位置是对同一个人的追踪；

另外，还可以通过人脸位置中心点的方式确定当前帧图像中的人脸位置与在先帧图像中的人脸位置是否匹配。在得到在先帧图像中各个人脸位置以及当前帧图像中各个人脸位置后，将两组人脸位置进行融合，即分别计算当前帧图像的前一帧人脸位置与当前帧中人脸位置中心点之间的距离，如果该距离小于前一帧图像中该人脸位置的边长，则认为这两个人脸位置是匹配的，并将前一帧图像中该人脸位置的标识信息赋予当前帧中的这个人脸位置；

若当前帧图像与前一帧图像中的人脸位置的中心点距离小于预设距离的人脸位置有不少于两个，则确定当前帧图像中的第一人脸位置与前一帧图像中的人脸位置匹配，其中，第一人脸位置为当前帧图像中与前一帧图像中的人脸位置的中心点的距离小于其他人脸位置的区域。

如果前一帧图像中的某个人脸位置的中心点与当前帧图像中的至少两个人脸位置的中心点之间的距离都小于预设距离，那么，就需要确定前一帧图像中的人脸位置的中心点与当前帧图像中的该至少两个人脸位置中的一个的中心点之间的距离的具体数值，以及与另一个人脸位置的中心点之间的距离的具体数值，比较这两个数值的大小，确定这两个数值中绝对值小的一个，将绝对值小的一个所对应的人脸位置确定为与前一帧图像中的人脸位置匹配的区域，从而实现对前一帧图像中的该人脸位置的跟踪。

即如果当前帧图像中有多个人脸位置与前一帧图像中的某个人脸位置匹配，则取与前一帧图像中人脸位置的中心点距离最近的人脸位置作为当前帧图像中与前一帧图像中该人脸位置匹配的区域。

另外，如果当前帧图像中的人脸位置在前一帧图像中未找到任何一个与之匹配的人脸区域，则表明当前帧图像中的该人脸位置为新检测到的人脸位置，为其设置一个新的标识信息。

本实施例公开的一种多人脸跟踪方法，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本实施例公开了一种多人脸跟踪方法，其流程图如图4所示，包括：

步骤S41、获取当前帧图像；

步骤S42、如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

步骤S43、如果当前帧图像为第二类帧图像，针对当前帧图像中的待处理图像块，基于局部人脸检测模型对待处理图像块进行检测，若检测到人脸，则输出局部人脸检测模型检测到的第二实际人脸位置，第二实际人脸位置属于当前帧图像中的人脸位置；

步骤S44、至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

对于第二类帧图像，即对于非关键帧图像，通常采用局部人脸检测模型对图像块进行检测，以确定是否检测到人脸，当检测到人脸时，输出检测到的人脸位置。

对于非关键帧图像，则不对在当前非关键帧图像中新出现的人头人脸进行检测，而仅对之前的帧图像中已经出现过的人头人脸进行跟踪。

虽然关键帧人头人脸检测模型具有较高的精度，但是其计算速度较慢，为了保证在设备算力有限的情况下能够实时的进行人脸跟踪，设置关键帧和非关键帧。

在非关键帧的人脸跟踪方式中，首先对当前非关键帧的前一帧图像中的人脸位置对应的图像块，基于其对应的运动速度和方向估计出其在当前帧图像中的大概位置，即一个位置范围，将其确定为预估出的当前帧图像中的待处理图像块。

通过局部人脸检测模型对这些估计出的待处理图像块进行检测分析，如果在这些图像块中检测到人脸，则输出检测到的第二实际人脸位置，并采用之前估计出的待处理图像块的标识信息；

进一步的，基于局部人脸检测模型对待处理图像块进行检测，若未检测到人脸，则基于局部人头检测模型对待处理图像块进行人头检测；若检测到人头，则基于局部人脸检测模型检测到的人头位置确定相匹配的第三预估人脸位置，第三预估人脸位置属于当前帧图像中的人脸位置。

如果通过局部人头检测模型对图像块进行检测时，并未检测到人头图像，则停止对该图像块的跟踪。

其中，局部人头检测模型是一个基于卷积神经网络的单阶段检测模型，该监测模型的输入为96*96*3固定尺寸的图像块，输出为图像块中所有人头的检测框的坐标和对应的置信度，该模型基于前一帧人脸检测区域的位置确定的图像块进行人头检测。

具体的，局部人头检测模型在基于图像块进行人头检测时，需要首先对前一帧图像中检测到的人脸位置进行放大，比如放大1.5倍，然后再裁减出图像块。其中，进行人头检测的目的是为了在人脸被遮挡导致无法检测到人脸的情况下，通过检测出人头来保证跟踪的连续性。

本方案采用一个关键帧人头人脸检测模型，一个局部人脸检测模型，一个局部人头检测模型以及上述跟踪逻辑，实现了可以在cpu终端上实时的人脸跟踪算法，该方法在1280*720的大尺寸图像输入下可以对图像中多达40个戴口罩的人脸进行实时跟踪。

本实施例公开的一种多人脸跟踪方法，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本实施例公开了一种多人脸跟踪系统，其结构示意图如图5所示，包括：

获取单元51，第一确定单元52，第二确定单元53及追踪单元54。

其中，获取单元51用于获取当前帧图像；

第一确定单元52用于在当前帧图像为第一类帧图像时，针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

第二确定单元53用于在当前帧图像为第二类帧图像时，针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定；

追踪单元54用于至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

进一步的，第一确定单元用于通过整体检测模型检测当前帧图像，以确定当前帧图像中的第一实际人脸位置，第一实际人脸位置属于当前帧图像中的人脸位置。

进一步的，第一确定单元用于：

通过局部人脸检测模型对每一个第一实际人脸位置对应的待处理图像块进行检测，若检测到人脸，则确认第一实际人脸位置可用，或用局部人脸检测模块检测到的人脸位置代替第一实际人脸位置。

进一步的，第一确定单元用于：

若当前帧图像为第一类帧图像中的第一帧图像，则通过整体检测模型确定当前帧图像中的第一实际人脸位置；

或，

若当前帧图像为第一类帧图像中的非第一帧图像，则通过整体检测模型检测当前帧图像，以确定当前帧图像中的第一实际人脸位置和人头位置，并基于人头位置确定与人头位置匹配的第一预估人脸位置，第一预估人脸位置属于当前帧图像中的人脸位置；

其中，整体检测模型用于同时检测人脸位置和人头位置。

进一步的，本实施例公开的多人脸跟踪系统，还包括：第三确定单元，

第三确定单元用于：根据在先帧图像的人脸位置和运动参数，计算在先帧图像的人脸位置在当前帧图像中的第二预估人脸位置；根据当前帧图像和第二预估人脸位置，确定当前帧图像中的待处理图像块。

进一步的，本实施例公开的多人脸跟踪系统，还包括：第四确定单元，

第四确定单元用于：根据当前帧图像中的人脸位置和当前帧图像的在先帧图像中的人脸位置，计算当前帧图像中的人脸位置所对应的运动参数，运动参数包括运动速度和方向。

进一步的，第二确定单元用于：基于局部人脸检测模型对待处理图像块进行检测，若检测到人脸，则输出局部人脸检测模型检测到的第二实际人脸位置，第二实际人脸位置属于当前帧图像中的人脸位置。

进一步的，第二确定单元用于：基于局部人脸检测模型对待处理图像块进行检测；若未检测到人脸，则基于局部人头检测模型对待处理图像块进行人头检测；若检测到人头，则基于局部人脸检测模型检测到的人头位置确定相匹配的第三预估人脸位置，第三预估人脸位置属于当前帧图像中的人脸位置。

进一步的，追踪单元用于：若确定当前帧图像中的人脸位置与在先帧图像中的人脸位置满足匹配条件，则将当前帧图像中的人脸位置和在先帧图像中人脸位置与同一目标关联；

其中，匹配条件包括：当前帧图像中的人脸位置的中心点，与在先帧图像中的人脸位置的中心点之间的第一距离小于预设距离；或，在先帧图像中的人脸位置在当前帧图像中的预估位置的中心点，与当前帧图像中的人脸位置的中心点之间的第二距离小于预设距离；或，当前帧图像中的人脸位置是采用第二检测方式检测在先帧图像中的待处理图像块得到的。

本实施例所公开的多人脸跟踪系统是基于上述实施例公开的多人脸跟踪方法实现的，在此不再赘述。

本实施例公开的一种多人脸跟踪系统，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本实施例公开了一种多人脸跟踪装置，包括：

处理器及存储器。

处理器用于获取当前帧图像；如果所述当前帧图像为第一类帧图像，则针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果所述当前帧图像为第二类帧图像，则针对所述当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，所述待处理图像块基于在先帧图像中的人脸位置确定；至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪；

存储器用于存储处理器执行上述处理过程的程序。

本实施例公开的多人脸跟踪装置是基于上述实施例公开的多人脸跟踪方法实现的，在此不再赘述。

本实施例公开的一种多人脸跟踪装置，获取当前帧图像，如果当前帧图像为第一类帧图像，则针对当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；如果当前帧图像为第二类帧图像，则针对当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，待处理图像块基于在先帧图像中的人脸位置确定，至少基于当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。本方案通过在获得帧图像后，确定帧图像的类型，若为第一类帧图像，则通过第一检测方式检测人脸位置，若为第二类帧图像，则通过第二检测方式检测人脸位置，基于帧图像类型的不同采用具有不同精度的检测方式进行人脸位置的检测，实现了在进行人脸追踪时，既保证了检测精度，同时通过不同检测方式对不同类型的帧图像进行检测提高了检测速度。

本申请实施例还提供了一种可读存储介质，其上存储有计算机程序，计算机程序被处理器加载并执行，实现上述多人脸跟踪方法的各步骤，具体实现过程可以参照上述实施例相应部分的描述，本实施例不做赘述。

本申请还提出了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该电子设备执行上述多人脸跟踪方法方面的各种可选实现方式中所提供方法，具体实现过程可以参照上述相应实施例的描述，不做赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种多人脸跟踪方法，其特征在于，包括：

获取当前帧图像；

如果所述当前帧图像为第一类帧图像，则针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

如果所述当前帧图像为第二类帧图像，则针对所述当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，所述待处理图像块基于在先帧图像中的人脸位置确定；

至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

2.根据权利要求1所述的方法，其特征在于，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，包括：

通过整体检测模型检测当前帧图像，以确定所述当前帧图像中的第一实际人脸位置，所述第一实际人脸位置属于所述当前帧图像中的人脸位置。

3.根据权利要求2所述的方法，其特征在于，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，还包括：

通过局部人脸检测模型对每一个所述第一实际人脸位置对应的待处理图像块进行检测，若检测到人脸，则确认所述第一实际人脸位置可用，或用所述局部人脸检测模块检测到的人脸位置代替所述第一实际人脸位置。

4.根据权利要求1所述的方法，其特征在于，所述针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置，包括：

若所述当前帧图像为所述第一类帧图像中的第一帧图像，则通过整体检测模型确定所述当前帧图像中的第一实际人脸位置；

或，

若所述当前帧图像为所述第一类帧图像中的非第一帧图像，则通过整体检测模型检测所述当前帧图像，以确定所述当前帧图像中的第一实际人脸位置和人头位置，并基于所述人头位置确定与所述人头位置匹配的第一预估人脸位置，所述第一预估人脸位置属于所述当前帧图像中的人脸位置；

其中，所述整体检测模型用于同时检测人脸位置和人头位置。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述在先帧图像的人脸位置和运动参数，计算所述在先帧图像的人脸位置在所述当前帧图像中的第二预估人脸位置；

根据所述当前帧图像和所述第二预估人脸位置，确定所述当前帧图像中的所述待处理图像块。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：

根据所述当前帧图像中的人脸位置和所述当前帧图像的在先帧图像中的人脸位置，计算所述当前帧图像中的人脸位置所对应的运动参数，所述运动参数包括运动速度和方向。

7.根据权利要求1或5所述的方法，其特征在于，所述采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，包括：

基于局部人脸检测模型对所述待处理图像块进行检测，若检测到人脸，则输出所述局部人脸检测模型检测到的第二实际人脸位置，所述第二实际人脸位置属于所述当前帧图像中的人脸位置。

8.根据权利要求7所述的方法，其特征在于，所述采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，包括：

基于所述局部人脸检测模型对所述待处理图像块进行检测；

若未检测到人脸，则基于局部人头检测模型对所述待处理图像块进行人头检测；

若检测到人头，则基于所述局部人脸检测模型检测到的人头位置确定相匹配的第三预估人脸位置，所述第三预估人脸位置属于所述当前帧图像中的人脸位置。

9.根据权利要求1所述的方法，其特征在于，所述至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸跟踪，包括：

若确定所述当前帧图像中的人脸位置与所述在先帧图像中的人脸位置满足匹配条件，则将所述当前帧图像中的人脸位置和所述在先帧图像中人脸位置与同一目标关联；

其中，所述匹配条件包括：

所述当前帧图像中的人脸位置的中心点，与所述在先帧图像中的人脸位置的中心点之间的第一距离小于预设距离；或，

所述在先帧图像中的人脸位置在当前帧图像中的预估位置的中心点，与所述当前帧图像中的人脸位置的中心点之间的第二距离小于预设距离；或，

所述当前帧图像中的人脸位置是采用所述第二检测方式检测所述在先帧图像中的待处理图像块得到的。

10.一种多人脸跟踪系统，其特征在于，包括：

获取单元，用于获取当前帧图像；

第一确定单元，用于在所述当前帧图像为第一类帧图像时，针对所述当前帧图像采用具有第一检测精度的第一检测方式确定当前帧图像中的人脸位置；

第二确定单元，用于在所述当前帧图像为第二类帧图像时，针对所述当前帧图像中的待处理图像块，采用具有第二检测精度的第二检测方式确定所述待处理图像块中的人脸区域从而得到当前帧图像中的人脸位置，所述待处理图像块基于在先帧图像中的人脸位置确定；

追踪单元，用于至少基于所述当前帧图像中的人脸位置和在先帧图像中的人脸位置进行人脸追踪。

Images