CN114565954A - 一种轻量级人脸检测与跟踪方法 - Google Patents

Abstract

一种轻量级人脸检测与跟踪方法，该人脸检测方法包括步骤：在低分辨率热红外图像全图范围内检测人脸以获取人脸候选区域坐标位置；将人脸候选区域坐标位置转换为在可见光图像中对应的坐标数据；在红外引导的小块高分辨率可见光图像区域再次进行快速人脸检测，以获得更加精准的人脸位置；在检测后的一定数量图像帧中，根据历史数据进行自适应人脸位置预测与跟踪。由于结合了热红外与可见光成像的优势，提高了人脸检测鲁棒性。避免了在全帧可见光图像中的人脸检测，并使用卡尔曼滤波及时修正人脸跟踪结果，且人脸检测算法均采用精简或加速的轻量化神经网络，从而可将算法部署在低算力设备中高速运行，实现降低了系统开发成本。

Description

一种轻量级人脸检测与跟踪方法

技术领域

本申请涉及目标检测技术领域，具体涉及一种轻量级人脸检测与跟踪方法。

背景技术

为保证良好的人机交互，人脸作为一种稳定且易采集的人类生物特征，被应用于诸多场景，例如智能相机，监控视频，身份识别等。人脸检测，即在图像中确定人脸的位置，是计算机进行人脸信息处理的首要步骤。人脸跟踪，即在图像序列中根据以往帧的信息，预测人脸的运动状态并对当前人脸的位置进行标定。人脸检测与跟踪常常需要被部署于一些算力较低以及内存空间较小的IoT(Internet of Things)边缘设备，以达到节约成本或降低功耗，提高其应用效率的目的，从而获得更加广阔的市场和应用场景。

如图1所示，为现有技术方案中进行人脸检测与跟踪的基本组成结构，其包括可见光图像探测单元1，供电单元2，图像采集处理及控制单元3，显示输出单元4，其中图像采集处理及控制处理单元3还包括可见光采集控制单元31，可见光图像采集单元32和人脸检测与跟踪单元33。可见光图像探测单元1获得图像后，送给图像采集处理及控制单元3中的可见光人脸检测单元331进行基于卷积神经网络模型的人脸检测确定当前图像中的人脸位置，可见光人脸跟踪单元332则根据该人脸位置结果匹配后续图像帧中的图像从而寻找当前图像帧中的人脸位置。

现有技术存在如下缺点：

(1)强光或弱光黑暗的环境，或者被检测人脸佩戴口罩遭到遮挡时，可见光采集到的人脸图像与通常情况的人脸有较大差异，从而导致人脸检测与跟踪的精度下降。且可见光人脸检测由于极大依赖于颜色纹理等信息，对伪装人脸的辨别能力也很低。

(2)卷积神经网络相较于传统人工设计特征的方法，具有很强的泛化和推理能力，在实际图像场景中目标检测效果较好，是当前普遍应用于人脸检测的技术。为了保证高分辨率图像中人脸检测的准确率和召回率，基于卷积神经网络的深度学习模型参数量庞大，对部署平台的算力要求较高，因此部署的成本昂贵，难以应用于日常生活中的智能设备上。

(3)人脸跟踪的速度通常比检测快很多。如果人脸检测速度较慢，人脸跟踪在经历一段时间后，可能会由于人脸运动状态变化过快或者被遮挡，跟踪模板不能及时修正，出现偏移而逐渐产生超出允许范围的较大误差。

(4)当可见光图像的分辨率较高时，人脸检测的范围较大，耗时较长，难以在低算力设备上达到实时的要求。

如申请号为“CN201310025617.4”的专利公布公开了一种人脸检测与跟踪方法及装置，该方法先对人脸图像进行光照预处理，再使用AdaBoost算法进行人脸检测，并利用MeanShift算法进行人脸跟踪。但AdaBoost算法在复杂背景中的鲁棒性较差，检测结果不稳定，容易将非人脸区域误检为人脸，以此为结果更新MeanShift模板时会产生误差。MeanShift算法在目标尺度变化和运动速度较快时跟踪效果也不佳。

如申请号为“CN201610972629.1”的专利公布公开了一种人脸检测方法及装置，该方法结合了红外图像和可见光图像的特点，通过先在红外图像中使用图像分割技术提取人体轮廓，再控制可见光图像传感器对人体轮廓进行局部曝光，提高相应可见光拍摄区域的曝光量，最后在该区域中进行人脸检测。该方法对可见光图像传感器的拍摄参数可控要求较高，导致整体装置的成本变高，并且与人体温度分布相近的物体将会对人体轮廓的提取产生干扰从而影响后续人脸检测的效率。

如申请号为“US20150365592A1”的专利公布公开了一种基于热红外图像的可见光源对准方法与装置，基于具有焦平面阵列的红外成像模块生成引导信息，并保证热红外图像覆盖的场景区域大于可见光束需要照亮的区域，再根据引导信息选择性地将可见光源对准对象。该方法与装置也是采用控制可见光源的方法，主动照射被探测物体提高其亮度。

如申请号为“CN201010105381.1”的专利公布公开了一种红外热图像序列的人脸检测与跟踪的算法，该算法先使用基于滑动搜索窗口的人脸检测算法进行可见光图像的人脸区域的检测，然后从该区域中提取人脸模板，并使用该人脸模板初始化红外热图像中的人脸搜索区域；应用可见光图像序列人脸跟踪的方法，确定下一帧可见光图像中人脸的位置，再使用检测时的人脸模板提取方法，确定人脸在下一帧红外图像中的位置。该方法使用可见光引导红外人脸检测，主要使用滑动搜索窗口与模板的策略，在检测与跟踪时都需要提取可见光图像中的人脸形状模板。

如DOI为“10.1364/AO.386903”的论文提出了一种用于自动立体显示的红外引导多用户人眼定位系统，由一台低分辨率热红外相机、一台高分辨率双目可见光相机和一台工控机组成。使用YOLO-V3神经网络来检测热红外图像中观看者的人脸，根据检测到的人脸预选边界框的位置和大小，引导可见光图像中的检测。在可见光图像中的红外预选框内，通过SeetaFace算法进行人脸检测和人眼定位。该系统部署于工控机这一算力较高的设备上，使用红外引导可见光通过先检测人脸位置，再搜索人眼的方法，实现了高速的人眼定位。

如DOI为“10.16157/j.issn.0258-7998.201100”的论文提出了一种基于改进MTCNN算法的低功耗边缘人脸检测跟踪系统，使用深度可分离卷积核替代MTCNN中的部分卷积核，并适当减小卷积核的规模，将改进后的MTCNN移植到低功耗嵌入式设备上，结合舵机云台在一定环境下具备了人脸检测和跟踪的能力。该系统针对固定场景和图像分辨率，对MTCNN模型进行了优化，实现了低算力设备上的人脸检测，人脸的跟踪则是基于当前检测结果控制云台转动实现，实施成本较高。

本发明基于低算力设备，采用改进后的轻量级神经网络进行红外人脸检测，并引导可见光图像中的快速人脸精检，以检测结果为模板进行自适应的人脸位置预测与跟踪。

发明内容

本申请实际解决的技术问题是如何基于低算力设备达到快速鲁棒的人脸检测与跟踪效果。为解决上述问题，本申请提供一种轻量级人脸检测与跟踪方法。

本申请实施例提供一种轻量级人脸检测与跟踪方法，采用分辨率质构的热红外-可见光双波段被动成像的图像数据，基于低算力边缘设备对人脸坐标位置作快速检测，检测算法结构包括以下环节：

(1)采用精简的轻量级神经网络，在低分辨率热红外全帧图像中搜索人脸，获取人脸候选区域及其坐标位置；(2)将人脸候选区域坐标位置映射至可见光图像中，获取关于人脸区域的高分辨率坐标数据，指示可见光图像的人脸检测范围；(3)采用优化的另一轻量级神经网络，在红外引导的人脸检测范围内快速检测人脸，判定是否存在人脸并确定精准的人脸坐标位置。

所述的热红外人脸检测采用的精简轻量级神经网络为基于热红外图像改进型ULFG(Ultra-Light-Fast-Generic-Face-Detector)模型，其特征在于，只需输入单通道热红外灰度图像从而减少模型参数量，训练出专用的红外人脸检测模型，需要说明的是在训练前需要构建热红外人脸图像数据集。

所述将人脸候选区域坐标位置映射至可见光图像中，需要先通过双波段光电成像系统参数建立低分辨率热红外图像与高分辨率可见光图像之间的坐标映射关系，其特征在于，在可见光图像采集和热红外图像采集的共同视场范围内设置一个双波标定板，利用单应性变换原理计算出两张图像坐标变换的缩放因子和偏移量。

所述的采用优化的另一轻量级神经网络，在红外引导的人脸检测范围内快速检测人脸，其特征在于，将红外人脸候选区域向外适当扩大，以保证图像中的人脸完全包含于候选区域内，其次再使用卡尔曼加速型MTCNN(Multi-task Cascaded ConvolutionalNetworks)人脸检测模型。

在高分辨率的可见光图像中，人脸跟踪基于低算力边缘设备采用自适应人脸位置预测与跟踪方法：

以上一帧人脸检测结果为跟踪模板，使用MOSSE(Minimum Output Sum ofSquared Error)算法跟踪人脸的同时，根据卡尔曼滤波器从历史数据预测出的结果修正跟踪的人脸位置，并用该位置更新卡尔曼滤波器以进行下一次预测。

综上所述，本申请提供的一种轻量级人脸检测与跟踪方法包括以下步骤：

红外人脸检测步骤：在低分辨率热红外图像全图范围内采用精简的轻量级神经网络检测人脸以获取人脸候选区域坐标位置；

红外引导步骤：通过双波标定技术获得低分辨率热红外图像与高分辨率可见光图像之间的坐标映射关系，将人脸候选区域坐标位置转换为在可见光图像中对应的坐标数据；

可见光人脸精检步骤：在所述红外引导的小块高分辨率可见光图像区域再次进行快速人脸检测，以获得更加精准的人脸位置；

可见光人脸位置跟踪步骤：在检测后的一定数量图像帧中，根据历史数据进行自适应人脸位置预测与跟踪。

人脸检测与跟踪方法本申请的有益效果是：

第一方面，由于热红外图像采集是依据物体表面温度产生图像，对环境中的光照变化不敏感，且具有对遮挡或伪装人脸的辨别能力，降低了人脸漏检的可能性，提高了人脸检测的鲁棒性；第二方面，由于待检测图像为低分辨率的红外图像和红外人脸预选框附近的可见光图像，使用能部署于低算力设备的轻量深度学习模型就能满足其特征提取的要求，达到比较优秀的人脸检测效果；第三方面，由于红外图像的低分辨率，人脸检测的速度较快，以及卡尔曼滤波器的及时修正，可见光图像的人脸跟踪速度和准确性都得以提高；第四方面，由于可见光的检测范围仅限于热红外图像的人脸检测结果，有效去除了大部分背景干扰信息，提高了可见光检测模块的效率，使得对于高分辨率的可见光图像也能有较快的检测速度。

附图说明

图1为现有的人脸检测与跟踪系统的结构示意图

图2为一种实施例的轻量级人脸检测与跟踪系统的结构示意图

图3为一种实施例的双波图像探测与控制单元的详细结构示意图

图4为用于轻量级人脸检测与跟踪的流程图

图5为一种实施例的显示输出单元的可视化界面图

图6为一种实施例的改进红外人脸检测模型ULFG网络输入示意图

图7为一种实施例的可见光人脸检测方法的流程图

图8为一种实施例的可见光人脸跟踪方法的流程图

图9为一种轻量级人脸检测与跟踪方法的时序图

具体实施方式

下面通过具体实施方式结合附图对本申请作进一步详细说明。

请参考图2，一种轻量级人脸检测与跟踪系统，其包括双波图像探测单元10，供电单元20，轻量图像采集处理及控制单元30，串口40，外设输出控制单元50，显示输出单元60，下面分别说明。

双波图像探测单元10，其中的每一波段探测单元与对应控制单元连接，用于热红外图像和可见光图像的获取。可见光图像探测单元110通过将感应到的可见光转化为电信号，并经过后续的处理最终成为传输给双波图像采集单元的图像。红外图像获取单元120一般由光学系统，红外探测器和视频放大器组成，光学系统将接收到的已衰减的目标场景红外辐射，处理后传输给红外探测器。红外探测器则作为红外辐射量和电信号的媒介，其输出的电信号通过视频放大器的放大作用，模拟出物体表面的温度分布并转化为色彩信息。

在一实施例中，如图3所示，可见光图像探测单元采用0V5647CMOS传感器作为感光器件，图像数据通过CSI接口传输至轻量图像采集处理及控制单元树莓派核心，支持可调分辨率与帧率的图像采集；红外图像探测单元采用可编程的FLIR Lepton红外模组，所述红外模组通过SPI总线及I2C接口与轻量图像采集处理及控制单元树莓派相连，相机温度的变化对其采集到的红外图像的干扰很小，从而能够获取稳定的红外图像。

需要说明的是，红外图像采集单元120与可见光图像采集单元110采集对象为同一视场中的图像，因此两者的光轴需要平行且相对位置保持不变，并让两者尽量靠近使得红外图像与可见光图像的视角差异较小，从而可以直接计算两张图像的缩放因子和偏移量进行粗略配准，获得两张图像的坐标映射关系。

供电单元20，与轻量图像采集处理及控制单元相连，用于为轻量图像采集处理及控制单元提供电源。在一实施例中，采用5V3A的直流电源，为树莓派供电。

轻量图像采集处理及控制单元30，即树莓派，用于从双波图像探测单元中提取图像，部署人脸检测与跟踪算法在红外与可见光图像中搜索人脸位置。包括可见光采集控制单元310，红外采集控制单元320，双波图像采集单元330，人脸检测与跟踪单元340以及输出控制单元350。人脸检测与跟踪单元还包括：红外人脸检测单元3410，用于从红外图像采集单元获取图像，部署红外人脸检测模型检测红外图像中的人脸位置；可见光人脸检测单元3420，用于从可见光图像采集单元获取图像以及从红外人脸检测单元中获取人脸预选框位置，部署可见光人脸检测模型进行人脸预选框附近可见光图像的人脸检测；可见光人脸跟踪单元3430，用于从可见光图像采集单元获取图像以及从可见光人脸检测单元中获取人脸跟踪模板，部署可见光人脸跟踪算法跟踪检测后一定图像帧数中的人脸位置。

轻量图像采集处理及控制单元是具有进行图像处理，数据传输和接收软件命令能力的处理单元，在一实施例中，采用4B+为代表的ARM系统。树莓派4B+基于ARM架构的CPU，可以外接SD卡进行扩容，因而具有一定的数据存储和处理能力，可以部署轻量的算法模型；具有丰富的接口，拥有USB和CSI接口，支持HDMI视频输出，除了自带的GPIO串行接口以外还支持网络连接；还具有体积较小，价格便宜，便于携带的优点。树莓派中的双波图像采集单元，如图3所示，对于可见光图像与红外图像，使用基于opencv库与LeptonModule库开发的视频采集和处理模块，进行图像的采集控制与预处理。

串口40，与轻量图像采集处理及控制单元内部的输出控制单元相连，用于传输人脸位置及大小数据。在一实施例中，在开启树莓派GPIO的UART串口功能后，使用自带硬件串口，以获得更加稳定可靠的数据传输功能。

外设输出控制单元50，与轻量图像采集处理及控制单元内部的输出控制单元相连，用于控制外部设备进行是否存在人脸与过高温度的警示。在一实施例中，通过树莓派GPIO控制所接RGB的LED灯，针对不同场景显示不同颜色以进行警示。

显示输出单元60，与轻量图像采集处理及控制单元相连，用于同时显示热红外图像与可见光图像，并标注出人脸位置结果。在一实施例中，为从树莓派HDMI接口接出的显示屏，通过如图5所示的可视化界面，以视频形式显示红外图像和可见光图像。通过勾选界面下侧选项，可控地显示红外图像和可见光图像的人脸检测与跟踪框选位置，并标注其位置与大小。通过下方的按键能够控制视频的播放与暂停以及实现当前图像帧的保存功能。

请参考图4，本申请公开一种轻量级人脸检测与跟踪方法，其主要包括步骤S210-S240，下面分别说明。

步骤S210，红外人脸检测步骤：在热红外图像全图范围内检测人脸以获取预选人脸框坐标位置。

在一实施例中，采用精简的轻量级神经网络基于热红外图像改进型ULFG模型。首先构建热红外图像数据集，其次将输入三通道图像的网络结构改变为输入单通道图像以减少模型参数量，训练出专用的红外人脸检测模型，再应用该模型在待检测的红外图像中搜索人脸位置并用矩形框标出。ULFG模型以SSD(Single Shot MultiBox Detector)为基础，模型参数量较少且针对低分辨率图像的检测时间效率很高，能够部署于树莓派这样的算力较低的设备上。由于ULFG原本是仅对可见光图像训练分析的模型，并不适用于红外图像，因此，需要先训练出专用的红外人脸检测模型。另外，由于待检测图像为红外图像，不含有色彩信息，每个像素可以只使用灰度表示，因此如图6所示可以把第一层卷积核参数逐元素相加，将输入通道从三个缩减为一个，从而减小了网络的规模，提高了检测的效率。

步骤S220，红外引导步骤：通过双波标定技术获得热红外图像与可见光图像之间的坐标映射关系，将预选人脸框坐标位置转换为在可见光图像中对应的坐标数据。

由于可见光图像探测单元110和红外图像采集单元120位置并非完全重合并且红外图像的分辨率通常低于可见光图像，即使是同一视场中的同一物体坐标位置也并不一致。在一实施例中，在可见光图像采集和红外图像采集的共同视场范围内设置一个双波标定板，利用单应性变换原理计算出两张图像坐标变换的缩放因子和偏移量。

步骤S230，可见光人脸精检步骤：在所述红外引导的可见光图像区域附近再次进行人脸检测，以获得更加精准的人脸位置。

在一实施例中，将红外预选人脸框向外适当扩大，以保证图像中的人脸完全位于预选框内，使用结合卡尔曼滤波器加速的MTCNN人脸检测模型。利用预先训练好的MTCNN模型，来检测红外人脸预选框选出的可见光图像中的人脸位置，避免了全图搜索带来的庞大计算量，使得可见光人脸检测的速度得到提升。

MTCNN检测流程为，先让P-Net一一检测整个图像金字塔中的图像，对分数高于预设的置信度阈值的窗口设置候选框并执行非极大值抑制操作整合高度重叠的窗口，将不同尺寸的图像中所有候选框整合到同一大小的图像中并再次使用非极大值抑制去除多余候选框；其次裁剪出P-Net生成的候选框选中的部分将其变为R-Net的输入，继续筛选置信度较高的候选框和修正位置；最后由O-Net接收R-Net的输出结果，进行最后的人脸检测，其输出即为所述人脸框坐标位置。对于图像序列而言，每帧与前后帧都存在相关性，因此，三级的网络结构存在冗余。如图7所示，基于改进的MTCNN可见光人脸检测流程为，第一步，先根据正常的MTCNN检测流程找到人脸位置，并以此来初始化卡尔曼滤波器；第二步，使用卡尔曼滤波预测出的人脸位置作为下一帧R-Net和O-Net的推荐区域，检测出新的人脸位置，并以此更新卡尔曼滤波器；如果当前的帧数超过一定值，就返回第一步，否则就返回第二步。可以简化原先的网络结构，提高人脸检测的准确率和速度性能。

步骤S240，可见光人脸跟踪步骤：在检测后的一定数量图像帧中，根据最新一次检测出的人脸位置进行跟踪。

在一实施例中，可参考图8，使用MOSSE算法跟踪人脸的同时，根据卡尔曼滤波器从历史数据预测出的结果修正跟踪的人脸位置，并用该位置更新卡尔曼滤波器以进行下一次预测。其具体步骤为，获取上一步人脸检测的结果，用于初始化人脸跟踪模板；使用MOSSE跟踪算法，生成多组基于人脸跟踪模板随机仿射变换的图像，并以此训练出使得人脸输出响应最大的相关滤波器；通过相关滤波器与检测后图像序列中的某一帧的相关计算，寻找出响应结果最大的位置即为人脸所在位置；与卡尔曼滤波预测的结果进行比较，小于一定范围则认为跟踪结果正确，更新卡尔曼滤波器，否则就认为跟踪结果已经偏离实际人脸位置，将卡尔曼滤波预测的结果作为最新跟踪结果输出。跟踪的时间通常比检测时间少很多，因此整体检测人脸的平均速度较快。

需要说明的是，通常情况下，即使采用卡尔曼滤波器进行修正，跟踪算法在经过一定图像帧数后，仍将会产生很大的检测误差，因此当跟踪误差超出允许的误差范围时，需要重新回到人脸检测的步骤。

人脸检测与跟踪方法为使得本领域的技术人员可以清楚、准确地理解本申请的技术方案，这里将结合图9对技术方案的技术原理和技术效果进行详细说明。

请参考图9，是所述人脸检测与跟踪方法的时序图。红外图像的人脸检测始终与可见光图像的人脸检测与跟踪异步，红外图像探测单元120一直处于工作状态。t1时刻，当可见光人脸检测单元3420接收到人脸候选框的坐标数据时，将产生一个停止接收信号，直到可见光人脸检测完成才重新开始接收，此时可以得到一帧输出结果。t2时刻，当可见光图像检测出人脸位置时，就会将人脸跟踪模板交付给可见光人脸跟踪单元3430，从而进入人脸跟踪阶段，此时会根据跟踪速度产生相应帧数的输出结果。t3时刻，当经过一定图像帧数，跟踪结果需要修正时，将会向人脸检测的部分请求跟踪模板，从而再次进入人脸检测。

综上所述，本申请提供的技术方案能够降低人脸漏检的可能性，提高人脸检测与跟踪的鲁棒性；使用能部署于低算力设备的轻量深度学习模型就能满足其特征提取的要求，达到比较优秀的人脸检测效果；人脸检测的速度较快，以及卡尔曼滤波器的及时修正，可见光图像的人脸跟踪速度和准确性都得以提高；有效去除了大部分背景干扰信息，提高了可见光检测模块的效率，使得对于高分辨率的可见光图像也能有较快的检测速度。

以上内容是结合具体的实施方式对本申请所作的进一步详细说明，不能认定本申请的具体实施只局限于这些说明。对于本申请所属技术领域的普通技术人员来说，在不脱离本申请发明构思的前提下，还可以做出若干简单推演或替换。

Claims (5)

1.一种轻量级人脸检测与跟踪方法，其特征在于，采用分辨率质构的热红外-可见光双波段被动成像的图像数据，基于低算力边缘设备对人脸坐标位置作快速检测，检测算法结构包括以下环节：

(1)采用精简的轻量级神经网络，在低分辨率热红外全帧图像中搜索人脸，获取人脸候选区域及其坐标位置；(2)将人脸候选区域坐标位置映射至可见光图像中，获取关于人脸区域的高分辨率坐标数据，指示可见光图像的人脸检测范围；(3)采用优化的另一轻量级神经网络，在红外引导的人脸检测范围内快速检测人脸，判定是否存在人脸并确定精准的人脸坐标位置。

2.如权利要求1所述的热红外人脸检测采用的精简轻量级神经网络为基于热红外图像改进型ULFG(Ultra-Light-Fast-Generic-Face-Detector)模型，其特征在于，只需输入单通道热红外灰度图像从而减少模型参数量，训练出专用的红外人脸检测模型，需要说明的是在训练前需要构建热红外人脸图像数据集。

3.如权利要求1所述将人脸候选区域坐标位置映射至可见光图像中，需要先通过双波段光电成像系统参数建立低分辨率热红外图像与高分辨率可见光图像之间的坐标映射关系，其特征在于，在可见光图像采集和热红外图像采集的共同视场范围内设置一个双波标定板，利用单应性变换原理计算出两张图像坐标变换的缩放因子和偏移量。

4.如权利要求1所述的采用优化的另一轻量级神经网络，在红外引导的人脸检测范围内快速检测人脸，其特征在于，将红外人脸候选区域向外适当扩大，以保证图像中的人脸完全包含于候选区域内，其次再使用卡尔曼加速型MTCNN(Multi-task CascadedConvolutional Networks)人脸检测模型。

5.一种轻量级人脸检测与跟踪方法，其特征在于，在高分辨率的可见光图像中，人脸跟踪基于低算力边缘设备采用自适应人脸位置预测与跟踪方法：

以上一帧人脸检测结果为跟踪模板，使用MOSSE(Minimum Output Sum of SquaredError)算法跟踪人脸的同时，根据卡尔曼滤波器从历史数据预测出的结果修正跟踪的人脸位置，并用该位置更新卡尔曼滤波器以进行下一次预测。

Images