CN113642442B - 人脸检测方法及装置、计算机可读存储介质、终端 - Google Patents

Abstract

一种人脸检测方法及装置、计算机可读存储介质、终端，人脸检测方法包括：获取视频流；对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测。通过本发明技术方案能够在保证人脸检测效果的基础上降低人脸检测的功耗。

Description

人脸检测方法及装置、计算机可读存储介质、终端

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸检测方法及装置、计算机可读存储介质、终端。

背景技术

为了保证视频图像人脸定位和人脸关键点检测时具有较高的检测精度，通常算法复杂度较高，在算力受限的便携智能设备或终端平台运行难以达到实时性。

为了降低人脸检测时延和功耗，现有技术会对视频流大部分图像帧使用算法复杂度适中的人脸跟踪算法替换人脸检测，比如做1帧人脸检测后连续进行8帧人脸跟踪，从而实现人脸定位。

但是，现有技术中所采用的人脸检测和人脸跟踪结合检测人脸的方案功耗较高。并且，当视频场景变化剧烈时，容易出现人脸跟丢问题，导致人脸关键点检测失败，使得人脸视频任务出现异常。现有技术中的人脸检测方法灵活性较低。

发明内容

本发明解决的技术问题是如何在保证人脸检测效果的基础上降低人脸检测的功耗。

为解决上述技术问题，本发明实施例提供一种人脸检测方法，人脸检测方法包括：获取视频流；对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测。

可选的，所述最大局部亮度差异值小于第一门限的情况下，所述最大局部亮度差异值越大，所述跟踪间隔越小，所述检测间隔也越小。

可选的，所述根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测包括：在所述最大局部亮度差异值小于第二门限的情况下，选取第一跟踪间隔对所述视频流执行人脸跟踪，以及选取第一检测间隔对所述视频流执行人脸检测；在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔对所述视频流执行人脸检测，所述第二跟踪间隔小于所述第一跟踪间隔，所述第二检测间隔小于所述第一检测间隔。

可选的，所述人脸检测方法还包括：在所述最大局部亮度差异值小于所述第二门限且未检测到人脸连续次数达到预设次数的情况下，进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

可选的，所述人脸检测方法还包括：在所述最大局部亮度差异值大于等于第一门限的情况下，不对所述视频流执行人脸跟踪以及人脸检测。

可选的，所述人脸检测方法还包括：根据所述最大局部亮度差异值选取对应的关键点检测间隔对所述视频流执行人脸关键点检测。

可选的，所述根据所述最大局部亮度差异值选取对应的关键点检测间隔对所述视频流执行人脸关键点检测包括：在所述最大局部亮度差异值小于第二门限的情况下，选取第一关键点检测间隔对所述视频流执行人脸关键点检测；在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二关键点检测间隔对所述视频流执行人脸关键点检测，所述第二关键点检测间隔小于所述第一关键点检测间隔；在所述最大局部亮度差异值大于所述第一门限或者在当前帧未检测到人脸的情况下，不对所述视频流执行人脸关键点检测。

可选的，所述人脸检测方法还包括：计算人脸位置置信度，所述人脸位置置信度表示人脸在人脸检测框的概率；根据所述人脸位置置信度对所述人脸的位置进行调整，或者调整所述跟踪间隔和所述检测间隔。

可选的，所述计算人脸位置置信度包括：如果在所述当前帧执行人脸检测，则计算人脸检测时的检测置信度，以作为所述人脸位置置信度；如果在所述当前帧未执行人脸检测，则获取人脸跟踪时的跟踪置信度以及人脸关键点检测时的关键点检测置信度，并计算所述跟踪置信度与所述关键点检测置信度的平均值，以作为所述人脸位置置信度，所述跟踪置信度为当前帧执行人脸跟踪时计算得到的，或者上一次执行人脸跟踪时计算得到的，所述关键点检测置信度为当前帧执行人脸关键点检测时计算得到的，或者上一次执行人脸关键点检测时计算得到的。

可选的，所述根据所述人脸位置置信度对所述人脸的位置进行调整或者调整所述跟踪间隔和所述检测间隔包括：如果所述人脸位置置信度小于第一阈值，则选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔执行人脸检测；如果所述人脸位置置信度大于等于所述第一阈值且小于关键点检测置信度，则利用检测出的人脸关键点对人脸的位置进行调整。

可选的，所述人脸检测方法还包括：根据所述最大局部亮度差异值以及人脸位置置信度调整所述跟踪间隔和所述检测间隔，所述人脸位置置信度表示人脸在人脸检测框的概率。

可选的，所述根据所述最大局部亮度差异值以及人脸位置置信度调整所述跟踪间隔和所述检测间隔包括：如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度大于等于第二阈值，则调整所述跟踪间隔为第一跟踪间隔，调整所述检测间隔为第一检测间隔；如果所述最大局部亮度差异值大于所述第二门限且小于第一门限，或者所述人脸位置置信度小于第一阈值，则调整所述跟踪间隔为第二跟踪间隔，调整所述检测间隔为第二检测间隔；如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度为0，则进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

可选的，所述计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值包括：将所述参考帧划分为多个区块，并计算每个区块内的参考平均亮度；将所述当前帧划分为多个区块，并计算每个区块内的当前平均亮度；计算各个区块的参考平均亮度与当前平均亮度的差值，并选取最大差值为所述最大局部亮度差异值。

可选的，以预设数量的帧数为间隔选取所述参考帧。

为解决上述技术问题，本发明实施例还公开了一种人脸检测装置，人脸检测装置包括：获取模块，用于获取视频流；亮度差异计算模块，用于对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；检测模块，用于根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测。

本发明实施例还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行所述人脸检测方法的步骤。

本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行所述人脸检测方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明技术方案中，对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔执行人脸检测。本发明技术方案中，每帧图像的最大局部亮度差异可以表示视频场景变化的剧烈程度，根据当前帧视频场景变化的剧烈程度选取对应的跟踪间隔对视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测，能够实现根据视频场景中的变化情况自适应人脸检测，提升人脸检测的灵活性。

进一步地，本发明技术方案通过人脸位置置信度对所述人脸的位置进行调整或者调整所述跟踪间隔和所述检测间隔，结合人脸检测、人脸跟踪和关键点检测的交叉验证，可有效降低视频流中人脸检测、人脸跟踪和关键点检测的冗余运算，在保证人脸位置和关键点检出时效性的同时，实现低功耗的人脸定位和关键点检测的目的。

附图说明

图1是本发明实施例一种人脸检测方法的流程图；

图2是本发明实施例一种人脸关键点示意图；

图3是本发明实施例一种另一种人脸检测方法的流程图；

图4是本发明实施例一种人脸检测装置的结构示意图。

具体实施方式

如背景技术中所述，现有技术中所采用的人脸检测和人脸跟踪结合检测人脸的方案功耗较高。并且，当视频场景变化剧烈时，容易出现人脸跟丢问题，导致人脸关键点检测失败，使得人脸视频任务出现异常。现有技术中的人脸检测方法灵活性较低。

本发明技术方案中，每帧图像的最大局部亮度差异可以表示视频场景变化的剧烈程度，根据当前帧视频场景变化的剧烈程度选取对应的跟踪间隔对视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测，能够实现根据视频场景中的变化情况自适应人脸检测，提升人脸检测的灵活性。

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

图1是本发明实施例一种人脸检测方法的流程图。

请参照图1，所述人脸检测方法可以用于终端设备侧，也即可以由终端设备执行所述方法的各个步骤。所述终端设备包括但不限于手机、计算机、平板电脑等终端设备。

具体地，所述人脸检测方法可以包括以下步骤：

步骤101：获取视频流；

步骤102：对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；

步骤103：根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测。

需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。

可以理解的是，在具体实施中，所述人脸检测方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。

本实施例中，可以对待检测的视频流中各帧图像计算对应的最大局部亮度差异值，最大局部亮度差异值可以表示当前帧相对于参考帧的场景变化的剧烈程度。

具体实施中，所述参考帧是以预设数量的帧数为间隔选取的。也就是说，在视频流中存在多个参考帧。那么在计算当前帧的最大局部亮度差异值时，选取的是在当前帧之前距离当前帧最近的参考帧。在这种情况下，最大局部亮度差异值可以表示当前帧与该参考帧亮度变化的程度，从而能够表示场景变化剧烈程度。

在一个具体的实施例中，也可以使用强度等级来表示场景变化的剧烈程度。具体地，最大局部亮度差异值小于第二门限时，强度等级为等级1；最大局部亮度差异值大于等于所述第二门限且小于第一门限时，强度等级为等级2；大局部亮度差异值大于等于第一门限时，强度等级为等级3。其中，等级1的场景变化剧烈程度最小，等级2次之，等级3的场景变化剧烈程度最大。

具体实施中，不同的强度等级对应不同的跟踪间隔和检测间隔。也就是说，最大局部亮度差异值落入不同的取值范围内时，选取不同的跟踪间隔和检测间隔分别进行人脸跟踪和人脸检测。跟踪间隔可以采用参数k表示，检测间隔可以采用参数n表示，也就是说，间隔k帧对所述视频流执行人脸跟踪，间隔n帧对视频流执行人脸检测。

需要说明的是，关于人脸跟踪和人脸检测的具体实现算法可以参照现有技术，本发明实施例对此不作限制。

本发明实施例提供一种场景自适应的低功耗人脸检测方法，利用统计学方法对场景进行动态估计，根据视频场景中的变化情况实现自适应人脸检测，提升人脸检测的灵活性。

本发明实施例提供的场景自适应的低功耗人脸检测方法可用于算力受限的智能终端，使其在进行视频人脸美颜/美妆、实时变脸、人脸解锁等对实时性要求极高的人脸图像处理任务中获得更佳的视频流畅性，降低功耗的同时延长设备工作时长。

本发明实施例提供的场景自适应的低功耗人脸定位和关键点检测方法，可用于智能手机、平板电脑、智能门禁、安防摄像头等涉及的人脸视频、录像等场景下的图像处理。本发明实施例的人脸检测方法可运行于中央处理器(central processing unit，CPU)、视觉信息处理器(Vision DSP,VDSP)、图像信号处理(Image Signal Processing,ISP)、图形处理器(Graphics Processing Unit,GPU)等硬件平台，平台差异对技术方案的执行步骤无影响，且包含的组件无差异。

在一个非限制性的实施例中，所述最大局部亮度差异值小于第一门限的情况下，所述最大局部亮度差异值越大，所述跟踪间隔越小，所述检测间隔也越小。

本实施例中，最大局部亮度差异值大于等于第一门限表示场景变化非常剧烈，视频图像出现模糊、失焦等问题，人脸检测时大概率出现检测失败的情况；反之，则表示能够在视频中检测出人脸，此时可以根据场景变化强度设置不同的时间间隔进行人脸检测和人脸跟踪，以降低功耗。

其中，最大局部亮度差异值越大，场景变化剧烈程度越大，则可以选取更小的时间间隔进行人脸检测和人脸跟踪，以保证人脸检测的准确性；反之，则可以选取更大的时间间隔进行人脸检测和人脸跟踪，以降低人脸检测的功耗。

在一个非限制性的实施例中，图1所示步骤103可以包括以下步骤：在所述最大局部亮度差异值小于第二门限的情况下，选取第一跟踪间隔对所述视频流执行人脸跟踪，以及选取第一检测间隔对所述视频流执行人脸检测；在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔对所述视频流执行人脸检测，所述第二跟踪间隔小于所述第一跟踪间隔，所述第二检测间隔小于所述第一检测间隔。

具体实施中，在强度等级为等级1时，其对应的场景为视频场景检测到人脸，且场景中的景物和人脸位置未发生变化或变化轻微，此时第一跟踪间隔k和第一检测间隔n的取值范围如下：k∈[1,5],n∈[10,120]。在强度等级为等级2时，其对应的场景为视频场景检测到人脸，而场景中的景物或人脸位置发生明显变化；或者检测到的人脸位置框置信度较低(此时人脸检测或人脸跟踪可能出现人脸定位失败)，此时第二跟踪间隔k和第二检测间隔n的取值范围如下：k∈[0,1],n∈[2,10]。也就是说，在场景未发生明显变化时，适当延长间隔以降低功耗；而在场景发生明显变化时，适当缩短间隔以提升检测准确性。

相对于现有技术中始终采用单一间隔进行人脸检测和人脸跟踪而言，本发明实施例中根据场景变化剧烈程度选取不同的时间间隔进行人脸跟踪和人脸检测，能够在整体上降低人脸检测的功耗。

在一个非限制性的实施例中，图1所示步骤103还包括以下步骤：在所述最大局部亮度差异值小于所述第二门限且未检测到人脸连续次数达到预设次数的情况下，进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

本实施例中，最大局部亮度差异值小于所述第二门限且未检测到人脸连续次数达到预设次数对应的场景为：视频场景未检测到人脸，且场景中的景物未发生变化或变化轻微，比如终端摄像头对着无人场景静止放置或摄像头被长期遮黑。在这种情况下，可以进入静默状态，静默状态下不做人脸跟踪，且采用的第三检测间隔更大，以进一步降低功耗。

具体地，第三检测间隔n的取值范围如下：n∈[20,+∞]。

在一个非限制性的实施例中，图1所示方法还包括以下步骤：在所述最大局部亮度差异值大于等于第一门限的情况下，不对所述视频流执行人脸跟踪以及人脸检测。

本实施例中，最大局部亮度差异值大于等于第一门限对应的场景为视频场景中的景物发生快速变化的场景。这种情况下，场景变化非常剧烈，视频图像高概率出现模糊、失焦等问题，故而不做人脸检测和人脸跟踪。

在一个具体的应用场景中，根据场景变化强度等级可以将人脸检测方案划分为四种检测策略，其中，Level_cur表示当前帧的强度等级，Level₁表示等级1，Level₂表示等级2，Level₃表示等级3。策略一：如果Level_cur＝Level₁，且当前视频场景存在人脸，间隔k帧做人脸跟踪，间隔n帧做人脸检测，其中k∈[1,5]，n∈[10,120]；策略二：如果Level_cur＝Level₂或者人脸位置框置信度FD_score＜0.5，间隔k帧做人脸跟踪，间隔n帧做人脸检测，其中k∈[0,1]，n∈[2,10]；策略三：如果Level_cur＝Level₃，场景变化非常剧烈，视频图像高概率出现模糊、失焦等问题，不做人脸检测和人脸跟踪；策略四：如果Level_cur＝Level₁，且连续3次未检测到人脸，人脸检测进入静默状态，间隔n帧做人脸检测，不做人脸跟踪和关键点检测，其中n∈[20,+∞)。

以检测间隔n为8，也即间隔8帧做一次人脸检测为例，传统方法除了人脸检测帧外均进行人脸跟踪(一帧人脸检测后进行连续8帧人脸跟踪)，功耗较高。而本发明实施例所提供的低功耗策略方法：策略一间隔30帧做一次人脸检测，后续间隔2帧做一次人脸跟踪(即k＝2，n＝30)，人脸检测功耗降低约71％，人脸跟踪功耗降低约67％；策略2间隔8帧做一次人脸检测，后续间隔1帧做一次人脸跟踪(即k＝1，n＝8)，人脸跟踪功耗降低50％；策略三不做人脸检测和人脸跟踪，两者功耗降低100％；策略四间隔30帧做一次人脸检测，不做人脸跟踪(n＝30)，人脸检测功耗降低约71％。而实际视频人脸任务处理过程中，策略一和策略四触发概率占比80％以上，说明本文所提的场景自适应低功耗人脸定位方法合理有效。

在一个非限制性的实施例中，图1所示方法还包括以下步骤：根据所述最大局部亮度差异值选取对应的关键点检测间隔对所述视频流执行人脸关键点检测。

本实施例中，除了对视频流进行人脸检测和人脸跟踪之外，还可以对人脸进行关键点检测。执行人脸关键点检测所需的关键点检测间隔也可以根据最大局部亮度差异值来选取。关键点检测间隔可以采用参数l来表示，也即间隔l帧对视频流执行人脸关键点检测。

进一步地，在所述最大局部亮度差异值小于第二门限的情况下，选取第一关键点检测间隔对所述视频流执行人脸关键点检测；在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二关键点检测间隔对所述视频流执行人脸关键点检测，所述第二关键点检测间隔小于所述第一关键点检测间隔；在所述最大局部亮度差异值大于所述第一门限或者在当前帧未检测到人脸的情况下，不对所述视频流执行人脸关键点检测。

具体实施中，强度等级为等级1时，其对应的场景为视频场景检测到人脸，且场景中的景物和人脸位置未发生变化或变化轻微，此时第一关键点检测间隔l的取值范围如下：l∈[1,5]。在强度等级为等级2时，其对应的场景为视频场景检测到人脸，而场景中的景物或人脸位置发生明显变化；或者检测到的人脸位置框置信度较低(此时人脸检测或人脸跟踪可能出现人脸定位失败)，第二关键点检测间隔l的取值范围如下：l∈[0,1]。强度等级为等级3时，其对应的场景为视频场景中的景物发生快速变化的场景，此时可以不对所述视频流执行人脸关键点检测。

本发明实施例根据场景变化强度等级选择合适的人脸关键点检测策略，以此降低视频流图像人脸关键点检测的冗余运算和功耗。

在一个具体的应用场景中，根据场景变化强度等级可以将人脸关键点检测方案划分为三种检测策略，其中，策略一：如果Level_cur＝Level₁，且当前视频场景存在人脸，间隔l帧做人脸关键点检测l∈[1,5]；策略二：如果Level_cur＝Level₂，且当前视频场景存在人脸，间隔l帧做人脸关键点检测l∈[0,1]；策略三：如果Level_cur＝Level₃或视频场景未检测到人脸，说明场景变化剧烈或没有人脸，不做人脸关键点检测。

上述人脸关键点检测策略一检测功耗至少降低50％；策略二l＝1时，检测功耗降低50％；策略三检测功耗降低100％。而实际视频人脸任务处理过程中，策略一触发概率占比80％以上，说明本发明实施例所提的场景自适应低功耗人脸关键点检测方法合理有效。

在一个非限制性的实施例中，图1所示方法还包括以下步骤：计算人脸位置置信度，所述人脸位置置信度表示人脸在人脸检测框的概率；根据所述人脸位置置信度对所述人脸的位置进行调整，或者调整所述跟踪间隔和所述检测间隔。

本发明实施例中，人脸位置置信度可以表示人脸在检测框内的概率，可以用于衡量检测的准确性。在视频流人脸检测、人脸跟踪和关键点检测过程中，对检测结果进行交叉验证，获得当前帧人脸位置置信度，并对检测结果进行校准，进一步保证人脸检测的准确性。

进一步地，如果在所述当前帧执行人脸检测，则计算人脸检测时的检测置信度，以作为所述人脸位置置信度；如果在所述当前帧未执行人脸检测，则获取人脸跟踪时的跟踪置信度以及人脸关键点检测时的关键点检测置信度，并计算所述跟踪置信度与所述关键点检测置信度的平均值，以作为所述人脸位置置信度，所述跟踪置信度为当前帧执行人脸跟踪时计算得到的，或者上一次执行人脸跟踪时计算得到的，所述关键点检测置信度为当前帧执行人脸关键点检测时计算得到的，或者上一次执行人脸关键点检测时计算得到的。

具体实施中，可以采用以下方式计算人脸位置置信度FD_score，

其中，FD_detect_score表示检测置信度，FD_track_score表示跟踪置信度，FA_score表示关键点检测置信度。

本实施例中，检测置信度可以表示人脸检测的准确概率，跟踪置信度可以表示跟踪人脸的准确概率，关键点检测置信度可以表示关键点检测的准确概率。其中FD_detect_score∈[0,1]，FD_track_score∈[0,1]，FA_score∈[0,1]。

需要说明的是，关于检测置信度、跟踪置信度以及关键点检测置信度的具体计算方法可以参照现有技术，本发明实施例对此不作限制。

具体在计算人脸位置置信度FD_score时，对于未做人脸跟踪或人脸检测的视频帧，可以延用上一次做跟踪或检测的结果。

进一步地，如果所述人脸位置置信度小于第一阈值，则选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔执行人脸检测；如果所述人脸位置置信度大于等于所述第一阈值且小于关键点检测置信度，则利用检测出的人脸关键点对人脸的位置进行调整。

本实施例中，通过当前帧人脸位置置信度FD_score选择是否做人脸位置框校准。具体地，如果0.5≤FD_score＜FA_score,说明人脸位置框可能与人脸重合度欠佳，所以需要使用检测出的人脸关键点信息修正人脸位置框。人脸关键点检测结果如图2所示的数字标号所示。图2中示出的各个关键点能够表示人脸中各个关键部位，如眼睛、鼻子、嘴巴等。

当人脸位置置信度较低时，例如，0＜FD_score＜0.5，则可以触发场景发生明显变化时的检测方案，也即触发策略二，降低人脸检测失败或人脸跟丢风险。

在一个非限制性的实施例中，图1所示方法还包括以下步骤：根据所述最大局部亮度差异值以及人脸位置置信度调整所述跟踪间隔和所述检测间隔，所述人脸位置置信度表示人脸在人脸检测框的概率。

进一步地，如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度大于等于第二阈值，则调整所述跟踪间隔为第一跟踪间隔，调整所述检测间隔为第一检测间隔；如果所述最大局部亮度差异值大于所述第二门限且小于第一门限，或者所述人脸位置置信度小于第一阈值，则调整所述跟踪间隔为第二跟踪间隔，调整所述检测间隔为第二检测间隔；如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度为0，则进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

本发明实施例能够根据视频场景的变化情况和人脸位置置信度，及时地在不同人脸定位和关键点检测策略之间切换。

本发明实施例中，结合最大局部亮度差异值以及人脸位置置信度来判断场景变化剧烈程度，能够更加精准地表示场景变化程度。在此基础上调整跟踪间隔和检测间隔，能够进一步实现人脸检测的灵活性，降低人脸检测的功耗。

在一个具体的应用场景中，视频启动时，默认使用策略二进行当前视频人脸检测和人脸跟踪策略；根据视频场景变化等级和人脸位置置信度FD_score决定检测和跟踪的策略跳转：如果Level_cur等于Level₁，并且FD_score≥0.5：策略二跳转到策略一；如果Level_cur等于Level₂，或者FD_score＜0.5：保持策略二不变；如果Level_cur等于Level₃：策略二跳转到策略三；如果Level_cur等于Level₁，并且FD_score等于0：策略二跳转到策略四。

本发明实施例中，视频启动后，人脸定位和人脸关键点检测会根据视频场景变化和人脸位置置信度进行策略动态调整，每次策略调整后均会快速触发人脸检测，避免了因人脸跟踪或长间隔人脸检测导致的检测框延时问题，从而实现场景自适应的低功耗人脸定位和人脸关键点检测。

在一个非限制性的实施例中，图1所示步骤102可以包括以下步骤：将所述参考帧划分为多个区块，并计算每个区块内的参考平均亮度；将所述当前帧划分为多个区块，并计算每个区块内的当前平均亮度；计算各个区块的参考平均亮度与当前平均亮度的差值，并选取最大差值为所述最大局部亮度差异值。其中，参考帧和当前帧被划分的区块的数量是相同的。

本发明实施例对视频图像帧间局部差异进行动态统计，精确估计当前帧的最大局部亮度差异值，进而估计视频场景变化的强度等级Level_cur。

在具体实现中，间隔p帧对视频图像做一次参考帧局部平均亮度统计，也即计算参考帧内每个区块的参考平均亮度light_ref[n,m]；

其中，

n∈[2,8],m∈[2,8]，其中light_ref[i,j]表示第i行第j列区块的亮度均值；gray(x,y)表示位置[x,y]处的亮度信息；w和h分别表示图像宽和高；n和m表示将图像分割成n乘m块。

类似地，使用上述公式统计当前帧中各个区块的局部平均亮度统计，也即计算当前帧内每个区块内的当前平均亮度light_cur[n,m]。

对当前帧与参考帧的局部平均亮度进行差分获得块亮度差异信息light_diff，并获取当前帧的最大局部亮度差异diff_max。其中，light_diff＝ABS(light_cur[n,m]-light_ref[n,m])；diff_max＝MAX(light_diff)，ABS()表示取绝对值函数，MAX()表示取最大值函数。

进一步地，将视频流中场景变化的剧烈程度分为三个等级Level₁，Level₂，Level₃。获取当前视频场景变化的强度等级Level_cur：

其中，Thr₁表示第二门限，Thr₂表示第一门限，第一门限和第二门限为场景亮度变化阈值参数，可以根据实际的应用场景进行设置。

在一个具体应用场景中，以p＝5，n＝4，m＝4为例，对视频参考帧进行分块亮度统计，将图像划分为4×4的局部区域，分别统计各区域亮度均值，后续帧均进行区域亮度均值统计，然后与参考帧进行差分并求取区域最大亮度变化值，最后使用最大变化值与场景亮度变化阈值参数进行比较，给出当前视频场景变化强度等级。

请参照图3，在本发明一个具体的实施例中，现有技术中人脸检测间隔8帧检测一次，后续进行连续8帧的人脸跟踪。本发明实施例中策略1间隔30帧做一次人脸检测，后续间隔2帧做一次人脸跟踪，人脸检测功耗降低约71％，人脸跟踪功耗降低约67％。策略2间隔8帧做一次人脸检测，后续间隔1帧做一次人脸跟踪，人脸跟踪功耗降低50％；策略三不做人脸检测和人脸跟踪，两者功耗降低100％。策略四间隔30帧做一次人脸检测，不做人脸跟踪，人脸检测功耗降低约71％。

请参照图4，本发明实施例还公开了一种人脸检测装置。人脸检测装置40可以包括：

获取模块401，用于获取视频流；

亮度差异计算模块402，用于对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；

检测模块403，用于根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测。

相对于其它视频人脸定位和关键点检测方法，本发明实施例提出的一种场景自适应的低功耗人脸定位和关键点检测方法的优点在于：基于图像视觉方法对视频场景进行动态估计；根据视频场景变换情况作自适应人脸定位，降低人脸检测和人脸跟踪的处理帧率，有效降低人脸定位功耗；结合人脸位置信息，根据设备场景运动情况作自适应人脸关键点检测，可有效降低人脸关键点检测功耗；使用人脸检测、人脸跟踪和关键点检测结果的交叉检测验证，在降低功耗的同时可保证视频流人脸定位和关键点检测结果的稳定性；场景变换自适应人脸定位和关键点检测可改善人脸跟丢、人脸定位延时问题,提升了人脸图像处理任务的视频流畅性，延长设备工作时长。

在具体实施中，上述人脸检测装置可以对应于终端设备中具有人脸检测功能的芯片，例如SOC(System-On-a-Chip，片上系统)、基带芯片等；或者对应于终端设备中包括具有人脸检测功能的芯片模组；或者对应于具有数据处理功能芯片的芯片模组，或者对应于网络设备。

关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

关于所述人脸检测装置40的工作原理、工作方式的更多内容，可以参照图1至图3中的相关描述，这里不再赘述。

本发明实施例还公开了一种存储介质，所述存储介质为计算机可读存储介质，其上存储有计算机程序，所述计算机程序运行时可以执行图3中所示的接入控制方法的步骤。所述存储介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。

本发明实施例还公开了一种终端设备，所述终端设备可以包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序。所述处理器运行所述计算机程序时可以执行图1中所示方法的步骤。所述终端设备包括但不限于手机、计算机、平板电脑等终端设备。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/“，表示前后关联对象是一种“或”的关系。

本申请实施例中出现的“多个”是指两个或两个以上。

本申请实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本申请实施例中对设备个数的特别限定，不能构成对本申请实施例的任何限制。

应理解，本申请实施例中，所述处理器可以为中央处理单元(central processingunit，简称CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(application specific integrated circuit，简称ASIC)、现成可编程门阵列(field programmable gate array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种人脸检测方法，其特征在于，包括：

获取视频流；

对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；

根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测；

所述计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值包括：

将所述参考帧划分为多个区块，并计算每个区块内的参考平均亮度；

将所述当前帧划分为多个区块，并计算每个区块内的当前平均亮度；

计算各个区块的参考平均亮度与当前平均亮度的差值，并选取最大差值为所述最大局部亮度差异值；

所述根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测包括：

在所述最大局部亮度差异值小于第二门限的情况下，选取第一跟踪间隔对所述视频流执行人脸跟踪，以及选取第一检测间隔对所述视频流执行人脸检测；

在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔对所述视频流执行人脸检测，所述第二跟踪间隔小于所述第一跟踪间隔，所述第二检测间隔小于所述第一检测间隔；

在所述最大局部亮度差异值小于所述第二门限且未检测到人脸连续次数达到预设次数的情况下，进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

2.根据权利要求1所述的人脸检测方法，其特征在于，所述最大局部亮度差异值小于第一门限的情况下，所述最大局部亮度差异值越大，所述跟踪间隔越小，所述检测间隔也越小。

3.根据权利要求1所述的人脸检测方法，其特征在于，还包括：

在所述最大局部亮度差异值大于等于第一门限的情况下，不对所述视频流执行人脸跟踪以及人脸检测。

4.根据权利要求1所述的人脸检测方法，其特征在于，还包括：

根据所述最大局部亮度差异值选取对应的关键点检测间隔对所述视频流执行人脸关键点检测。

5.根据权利要求4所述的人脸检测方法，其特征在于，所述根据所述最大局部亮度差异值选取对应的关键点检测间隔对所述视频流执行人脸关键点检测包括：

在所述最大局部亮度差异值小于第二门限的情况下，选取第一关键点检测间隔对所述视频流执行人脸关键点检测；

在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二关键点检测间隔对所述视频流执行人脸关键点检测，所述第二关键点检测间隔小于所述第一关键点检测间隔；

在所述最大局部亮度差异值大于所述第一门限或者在当前帧未检测到人脸的情况下，不对所述视频流执行人脸关键点检测。

6.根据权利要求1所述的人脸检测方法，其特征在于，还包括：

计算人脸位置置信度，所述人脸位置置信度表示人脸在人脸检测框的概率；根据所述人脸位置置信度对所述人脸的位置进行调整，或者调整所述跟踪间隔和所述检测间隔。

7.根据权利要求6所述的人脸检测方法，其特征在于，所述计算人脸位置置信度包括：

如果在所述当前帧执行人脸检测，则计算人脸检测时的检测置信度，以作为所述人脸位置置信度；

如果在所述当前帧未执行人脸检测，则获取人脸跟踪时的跟踪置信度以及人脸关键点检测时的关键点检测置信度，并计算所述跟踪置信度与所述关键点检测置信度的平均值，以作为所述人脸位置置信度，所述跟踪置信度为当前帧执行人脸跟踪时计算得到的，或者上一次执行人脸跟踪时计算得到的，所述关键点检测置信度为当前帧执行人脸关键点检测时计算得到的，或者上一次执行人脸关键点检测时计算得到的。

8.根据权利要求6所述的人脸检测方法，其特征在于，所述根据所述人脸位置置信度对所述人脸的位置进行调整或者调整所述跟踪间隔和所述检测间隔包括：

如果所述人脸位置置信度小于第一阈值，则选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔执行人脸检测；

如果所述人脸位置置信度大于等于所述第一阈值且小于关键点检测置信度，则利用检测出的人脸关键点对人脸的位置进行调整。

9.根据权利要求1所述的人脸检测方法，其特征在于，还包括：

根据所述最大局部亮度差异值以及人脸位置置信度调整所述跟踪间隔和所述检测间隔，所述人脸位置置信度表示人脸在人脸检测框的概率。

10.根据权利要求9所述的人脸检测方法，其特征在于，所述根据所述最大局部亮度差异值以及人脸位置置信度调整所述跟踪间隔和所述检测间隔包括：如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度大于等于第二阈值，则调整所述跟踪间隔为第一跟踪间隔，调整所述检测间隔为第一检测间隔；

如果所述最大局部亮度差异值大于所述第二门限且小于第一门限，或者所述人脸位置置信度小于第一阈值，则调整所述跟踪间隔为第二跟踪间隔，调整所述检测间隔为第二检测间隔；

如果所述最大局部亮度差异值小于第二门限且所述人脸位置置信度为0，则进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

11.根据权利要求1至10任一项所述的人脸检测方法，其特征在于，以预设数量的帧数为间隔选取所述参考帧。

12.一种人脸检测装置，其特征在于，包括：

获取模块，用于获取视频流；

亮度差异计算模块，用于对于所述视频流中的各帧图像，计算当前帧与距离所述当前帧最近的参考帧的最大局部亮度差异值，所述参考帧选自所述视频流；

检测模块，用于根据所述最大局部亮度差异值选取对应的跟踪间隔对所述视频流执行人脸跟踪，以及选取对应的检测间隔对所述视频流执行人脸检测；

所述亮度差异计算模块将所述参考帧划分为多个区块，并计算每个区块内的参考平均亮度；将所述当前帧划分为多个区块，并计算每个区块内的当前平均亮度；计算各个区块的参考平均亮度与当前平均亮度的差值，并选取最大差值为所述最大局部亮度差异值；

所述检测模块在所述最大局部亮度差异值小于第二门限的情况下，选取第一跟踪间隔对所述视频流执行人脸跟踪，以及选取第一检测间隔对所述视频流执行人脸检测；在所述最大局部亮度差异值大于所述第二门限且小于第一门限的情况下，选取第二跟踪间隔对所述视频流执行人脸跟踪，以及选取第二检测间隔对所述视频流执行人脸检测，所述第二跟踪间隔小于所述第一跟踪间隔，所述第二检测间隔小于所述第一检测间隔；在所述最大局部亮度差异值小于所述第二门限且未检测到人脸连续次数达到预设次数的情况下，进入静默状态，在所述静默状态下，选取第三检测间隔执行人脸检测，所述第三检测间隔大于所述第二检测间隔。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至11中任一项所述人脸检测方法的步骤。

14.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求1至11中任一项所述人脸检测方法的步骤。

Images