CN113297423A - 一种推送方法、推送装置及电子设备 - Google Patents

Abstract

本申请公开了一种推送方法、推送装置、电子设备及计算机可读存储介质。其中，该方法包括：针对每个人脸ID，若在场景视频的当前视频帧中检测出属于所述人脸ID的人脸图像，则获取所述人脸图像的质量分数和姿态分数；根据所述人脸图像的质量分数和姿态分数，确定是否更新所述人脸ID的候选人脸图像集合；从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像；推送所述目标人脸图像。通过本申请方案，可有效的查找并推送高质量的人脸图像，提升后续对人脸图像的处理效率及处理准确度。

Description

一种推送方法、推送装置及电子设备

技术领域

本申请属于图像处理技术领域，尤其涉及一种推送方法、推送装置、电子设备及计算机可读存储介质。

背景技术

当前，人脸特征作为一种常见的生物特征，在许多场景下得到了应用，这就要求电子设备先进行视频流的采集，再基于视频流对其中所包含的人脸图像进行进一步处理，例如进行精准的人脸识别或人脸验证。然而，在实际应用场景中，受环境等干扰因素的影响，视频流中通常会包含一定量的质量较差的人脸图像，进而影响到后续对人脸图像的高效及准确的处理。

发明内容

本申请提供了一种推送方法、推送装置、电子设备及计算机可读存储介质，可有效的查找并推送高质量的人脸图像，提升后续对人脸图像的处理效率及处理准确度。

第一方面，本申请提供了一种推送方法，包括：

针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数；

根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合；

从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像；

推送上述目标人脸图像。

第二方面，本申请提供了一种推送装置，包括：

分数获取单元，用于针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数；

集合更新单元，用于根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合；

图像确定单元，用于从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像；

图像推送单元，用于推送上述目标人脸图像。

第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

本申请与现有技术相比存在的有益效果是：针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数，并根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合，之后从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像，最后推送上述目标人脸图像。本申请方案会对场景视频中属于同一人脸ID(也即属于同一用户)的人脸图像进行评估，其评估过程与每个人脸图像的质量分数及姿态分数有关，并基于评估结果判断是否对候选人脸图像集合进行更新，使得候选人脸图像集合中的人脸图像均为质量较优且姿态较优的人脸图像。最后电子设备会从该候选人脸图像集合中确定出目标人脸图像进行推送，使得后续的人脸图像处理模块，例如人脸识别模块或人脸验证模块等可基于所推送的目标人脸图像进行进一步的人脸图像处理操作。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的推送方法的实现流程示意图；

图2是本申请实施例提供的针对姿态分数的由粗到细的网络架构的示意图；

图3是本申请实施例提供的推送装置的结构框图；

图4是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所提出的技术方案，下面通过具体实施例来进行说明。

下面对本申请实施例所提出的推送方法作出说明。请参阅图1，该推送方法包括：

步骤101，针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数。

在本申请实施例中，电子设备可集成有摄像头，通过该摄像头对指定的区域进行拍摄，即可获得场景视频；或者，电子设备也可以与具有摄像头的其它电子设备相连接，由该其它电子设备通过其摄像头对指定的区域进行拍摄，并将拍摄所得的场景视频传送至该电子设备，此处不作限定。

电子设备在获得场景视频后，可开始对该场景视频中的视频帧进行人脸检测。该人脸检测不同于人脸识别或人脸验证，只是将视频帧中可能包含的人脸图像检测出来。通过人脸检测，可以得到包含人脸信息的人脸框，以及该人脸信息的五个关键点。考虑到人脸框的大小，以及用户可能出现的侧脸等姿态，在获得人脸框及关键点后，还需要进行预处理操作实现该人脸框的对齐，才能得到最后的人脸图像。本申请实施例使用相似变换(Similar Transform)的方法把这五个关键点分别映射到指定坐标点上，例如：

(38.2946*0.5714,51.6963*0.5714)，对应左眼关键点；

(73.5318*0.5714,51.5014*0.5714)，对应右眼关键点；

(56.0252*0.5714,71.7366*0.5714)，对应鼻子关键点；

(41.5493*0.5714,92.3655*0.5714)，对应左嘴角关键点；

(70.7299*0.5714,92.2041*0.5714)，对应右嘴角关键点。

由此，即可通过人脸检测得到人脸图像。显然，所检测出的人脸图像必然是某一用户(也即某一人)的人脸图像；基于此，在检测出一个新的人脸图像时，可以为该人脸图像赋予一人脸ID，用来表明该人脸图像属于该人脸ID所代表的用户。可以认为，本申请实施例的人脸ID是用于区分处于同一画面(也即同一视频帧)的不同用户，并实现对各个用户的人脸图像在场景视频中的跟踪。可以理解的是，针对任一人脸ID，都可采用步骤101-104进行该人脸ID的目标人脸图像的推送。因而，本申请实施例后文所提到的未作特殊说明的人脸ID均为同一人脸ID，以便于对各个步骤进行解释及说明。

考虑到人无法进行瞬移，也即人无法在场景视频中突然的出现又突然的消失，因而在所采集到的场景视频中，通常属于该人脸ID的人脸图像会在连续的多个视频帧中出现，且这些人脸图像必然能够形成连续的轨迹。对于高算力的电子设备来说，这些电子设备可以对每个时刻下的当前视频帧进行实时的人脸检测；而对于低算力的电子设备来说，这些电子设备往往仅能周期性的对视频帧进行人脸检测，也即，每隔一段时间对当前视频帧进行一次人脸检测。只要在该场景视频的当前视频帧中检测出属于该人脸ID的人脸图像，电子设备即可去获取该人脸图像的质量分数和姿态分数。仅作为示例，该质量分数及该姿态分数可分别通过预先训练好的神经网络模型而获得。当然，也可以采用其它方式来对获取人脸图像的质量分数和姿态分数，此处不作限定。

步骤102，根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合；

在本申请实施例中，电子设备在每次检测到新的人脸图像以进行人脸ID的创建时，还会同时创建该人脸ID的候选人脸图像集合。显然，该候选人脸图像集合在刚创建时为空。后续可根据每次检测到的属于该人脸ID的人脸图像的质量分数和姿态分数，来判断当前是否需要更新该候选人脸图像集合，也即当前是否需要将该人脸图像存入该候选人脸图像集合。具体地，电子设备可预先针对质量分数设定一质量分数条件，针对姿态分数设定一姿态分数条件，并以此来对人脸图像进行评判。只有人脸图像的质量分数满足该质量分数条件，且姿态分数满足该姿态分数条件时，才对该候选人脸图像集合进行更新，具体为将该人脸图像存入该候选人脸图像集合中。

步骤103，从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像。

在本申请实施例中，上述步骤101及步骤102可被反复执行；也即，只要未到达指定的推送时机，就在每次执行完步骤102后再次返回执行步骤101；一旦到达指定的推送时机，就即刻进入步骤103，从该人脸ID当前的候选人脸图像集合中确定一张人脸图像作为该人脸ID的目标人脸图像。需要注意的是，该指定的推送时机可以有一个以上。例如，可以设定一被动的推送时机，该被动的推送时机类似于中断操作，通常来说不可预测；也可以设定一主动的推送时机，该主动的推送时机通常来说可以预测，此处不对该指定的推送时机作出限定。

在一个应用场景下，该候选人脸图像集合可能为空。也即，在未到达指定的推送时机的这一段时间内，所检测到的该人脸ID的所有人脸图像均未能被存入该候选人脸图像集合中。此时，可认为场景视频中不存在该人脸ID所代表的用户的高质量人脸图像。为对该人脸ID所代表的用户的人脸图像进行改善，电子设备可输出提醒消息，用于提醒被拍摄对象(也即该用户)调整自身角度和/或位置。

在另一个应用场景下，该候选人脸图像集合中可能仅包含一个人脸图像。也即，在未到达指定的推送时机的这一段时间内，所检测到的该人脸ID的所有人脸图像中，只有一个人脸图像被存入了该候选人脸图像集合中。此时，电子设备没有其它选择，可以直接将该候选人脸图像集合中唯一的一个人脸图像确定为目标人脸图像。

在又一个应用场景下，该候选人脸图像集合可能包含有两个以上人脸图像。此时，电子设备存在选择的可能，其可以在该候选人脸图像中进行进一步筛选，以查找出该候选人脸图像集合中最优的人脸图像作为目标人脸图像。

步骤104，推送上述目标人脸图像。

在本申请实施例中，当确定出目标人脸图像后，即可向电子设备中的其它模块，例如人脸验证模块或人脸识别模块等推送该目标人脸图像，使得该其它模块可以对目标人脸图像这一优质的人脸图像进行处理，可一定程度上避免处理失败的情况发生。当然，也可以向其它电子设备推送该目标人脸图像以进行进一步处理，此处不作限定。在推送完该目标人脸图像后，可以将该人脸ID的候选人脸图像集合清空，也即删除该候选人脸图像集合中的所有人脸图像，并返回执行步骤101及后续步骤。

在一些实施例中，上述步骤101中，可通过预先训练好的神经网络模型来获取人脸图像的质量分数及姿态分数，则该步骤101可具体表现为：

A1、将上述人脸图像输入至预设的第一分类网络中，以得到上述人脸图像的质量分数，其中，上述第一分类网络用于对上述人脸图像的图像质量进行分类。

下面对该第一分类网络作出简单介绍：

本申请实施例中，使用轻量级的卷积神经网络(Convolutional NeuralNetworks，CNN)，例如ShuffleNetV2来构建该第一分类网络。考虑到对于低算力的电子设备来说，ShuffleNetV2的处理速度无法满足小于50ms的要求，因而本申请实施例中，还可对该ShuffleNetV2进行改造，通过通道裁剪操作使ShuffleNetV2的通道数降低至原来的四分之一，得到ShuffleNetV2×0.25网络作为所使用的第一分类网络，并对该ShuffleNetV2×0.25进行三分类训练。三分类训练完成后的ShuffleNetV2×0.25网络即可投入应用中，得到人脸图像的三分类的结果。也即，第一分类网络实质为三分类网络。

其中，本申请实施例为该第一分类网络设定了三种类别，分别为：0，表示模糊；1，表示较清晰；2，表示清晰。通过这样定义三分类，可以帮助归类较为清晰这种中间状态，对模糊和清晰的分类准确度有进一步提升。基于此，在获得人脸图像的三分类的结果后，可对该三分类的结果进行进一步处理：

假设赋予的质量分y＝{0,60,100},即模糊打0分，较清晰打60分，清晰打100分；而第一分类网络所输出的三分类的结果为人脸图像分别属于这三类的概率，记作o＝{o1,o2,o3}，则可基于以下公式计算出人脸图像最终的质量分数Eq：

例如，某一人脸图像通过该第一分类模型，得到其为清晰的概率是0.9，为较清晰的概率是0.05，为模糊的概率是0.05，则可计算得到该人脸图像的质量分数Eq＝0.9*100+0.05*60+0.05*0＝93。实际上，在对该第一分类网络进行验证的过程中，可发现：对于清晰的输入图像，所得到的质量分数通常会分布在100的附近；对于模糊的输入图像，所得到的质量分数通常会分布在0的附近；对于较清晰的输入图像，所得到的质量分数通常会分布在60的附近，如果该输入图像的模糊程度是较清晰偏向模糊的，则该输入图像的分数会小于60，如果该输入图像的模糊程度是较清晰偏向清晰的，则该输入图像的分数会大于60。基于此，本申请实施例可以60分作为模糊度的阈值，以剔除掉不清晰的人脸图像，助力后续的人脸识别等进一步操作。

A2、将上述人脸图像输入至预设的第二分类网络中，以得到上述人脸图像的姿态分数，其中，上述第二分类网络包括三个子分类网络，上述三个子分类网络分别用于对上述人脸图像中所表示的人脸的俯仰角、偏航角及翻滚角进行分类。

下面对该第二分类网络作出简单介绍：

本申请实施例中，涉及的姿态角包括三个，分别为俯仰角(pitch)、偏航角(yaw)及翻滚角(roll)。将这三个姿态角单独考虑，每个角度均有一独立的多分类任务；也即，这三个姿态角被视为三个单独的多分类任务。考虑到每个姿态角下的姿态分数的计算过程是相同的，因而，下面以一个姿态角为例进行说明：本申请实施例所预测的角度范围是[-99°,99°]，则可以每3°划分为一类进行区分，那么每个姿态角下均包含有66个类别。例如，每个姿态角下均将[-99°,-96°)作为一类，将[-96°,-93°)作为一类，以此类推，每个姿态角下均可划分出66个类别。

对于第二分类网络所输出的分类结果而言，可以理解成某一人脸图像的姿态角度粗略地进入了其下的某个角度区间，其中所导致的误差约为3°。为了精细化分类结果，本申请实施例采用了Deep Expectation(DEX)的思想。DEX最先源于年龄估计，本申请实施例将其迁移到姿态估计上。假设定义的角度分为y，y实质上是个66维的标签向量，y＝{-99,-96,...,-3,3,...,96,99}。第二分类网络的输出为人脸图像的姿态角分别属于这66类的概率，记作o＝{o₁,o₂,o₃......,o₆₄,o₆₅,o₆₆}，则可基于以下公式计算出人脸图像在每个姿态角下的姿态分数Ep：

该姿态分数Ep实际上表示了姿态角的角度，其仍然是粗粒度的量化结果，反应了较为粗粒度的姿态信息。对此，本申请实施例可以再引入一个回归任务来将粗粒度任务进行精细化，即把粗粒度估计的姿态角的角度(也即预测的姿态分数)和标签的姿态角的角度(也即标签的姿态分数)进行回归地精细化学习。具体地，由粗到细的网络架构设计如图2所示。从图2可知，该由粗到细的网络的损失函数可以记为L，其计算公式为：

其中，cls为图2中交叉熵(Cross Entropy)的粗估，MSE是图2中均方差(MeanSquare Error，MSE)的精估。

为了使在低算力的电子设备(例如机器人端)的部署成为可能，本申请实施例采用了轻量级的骨干网络(Backbone)来进行网络的设计，例如，该骨干网络可以是MobileNetV3_small。考虑到对于低算力的电子设备来说，MobileNetV3_small的处理速度无法满足小于50ms的要求，因而本申请实施例中，还可对该MobileNetV3_small进行改造，通过通道裁剪操作使MobileNetV3_small的通道数降低至原来的四分之一，得到MobileNetV3_small×0.25网络作为所使用的骨干网络。

在一些实施例中，可通过预设的质量分数条件及预设的姿态分数条件来判断人脸图像是否可被存入候选人脸图像集合，则上述步骤102可具体包括：

B1、检测人脸图像的质量分数是否满足该质量分数条件，以及，检测人脸图像的姿态分数是否满足该姿态分数条件。

其中，质量分数条件用于检测人脸图像的图像质量是否达到要求，也即，人脸图像是否足够清晰；姿态分数条件用于检测人脸图像的人脸姿态是否达到要求，也即，该人脸姿态是否足够正。需要注意的是，步骤B1中的这两项检测可以是先后进行，也可以是同时进行，此处不作限定。在同时进行时，只要这两项检测的任一项未能通过，则另一项检测可直接终止。

仅作为示例，考虑到人脸图像的姿态分数实际有三个(也即俯仰角、偏航角及翻滚角各有对应的姿态分数)，因而，姿态分数的检测流程相对质量分数的检测流程来说更为复杂。基于此，对于低算力的电子设备来说，可以先检测人脸图像的质量分数是否满足该质量分数条件，然后再检测人脸图像的姿态分数是否满足该姿态分数条件。

具体地，质量分数条件可以是：质量分数不低于预设的质量分数阈值。基于步骤A1的说明，该质量分数阈值可以为60；也即，质量分数条件可以表示为：Eq≥60。

具体地，姿态分数条件可以是：俯仰角的姿态分数的绝对值小于预设的第一姿态分数阈值，且偏航角的姿态分数的绝对值小于预设的第二姿态分数阈值，且俯仰角、偏航角及翻滚角的姿态分数的绝对值之和小于预设的第三姿态分数阈值，其中，第一姿态分数阈值小于第二姿态分数阈值，且第三姿态分数阈值为第一姿态分数阈值与第二姿态分数阈值之和。例如，第一姿态分数阈值可以是25，第二姿态分数阈值可以是40，第三姿态分数阈值可以是65；记俯仰角的姿态分数为Ep(pitch)，偏航角的姿态分数为Ep(yaw)，翻滚角的姿态分数为Ep(roll)，则姿态分数条件可以表示为：

|Ep(pitch)|<25&&|Ep(yaw)|<40&&|Ep(pitch)|+|Ep(yaw)|+|Ep(roll)|<65

B2、若该质量分数满足该质量分数条件，且该姿态分数满足该姿态分数条件，则将该人脸图像存入候选人脸图像集合中。

若某一人脸图像的质量分数满足该质量分数条件，且其姿态分数满足该姿态分数条件，则当前可对该人脸图像所属的人脸ID的候选人脸图像集合进行更新，具体为将该人脸图像存入该候选人脸图像集合中。

在一些实施例中，在候选人脸图像集合中有两个以上人脸图像的情况下，需要进行进一步筛选，才能获得目标人脸图像，则上述步骤103可具体包括：

C1、根据候选人脸图像集合中各个人脸图像的质量分数及姿态分数，计算各个人脸图像的匹配分数。

其中，该匹配分数match_score的计算公式为：

该计算公式的设计思路为：同时关注人脸质量和人脸姿态，由于人脸姿态是越小越好的，因此设计为负相关；步骤B1中已限定了存入候选人脸图像集合中的人脸图像的3个姿态角的姿态分数的绝对值之和不超过65°，所以做出上述式子的设计。另外，对于这三个姿态角来说，本申请实施例希望更侧重于关注俯仰角和偏航角，所以对翻滚角的姿态分数的绝对值做除法，以使得翻滚角的权重减小。

C2、在候选人脸图像集合中，将匹配分数最高的人脸图像确定为该人脸ID的目标人脸图像。

在通过C1所示出的公式对候选人脸图像集合中的每个人脸图像都进行了匹配分数的计算后，即可筛选得到该候选人脸图像集合中匹配分数最高的人脸图像。该人脸图像即可被确定为该人脸ID的目标人脸图像。

在一些实施例中，主动的推送时机可以为：距离上次推送已经过了预设的时间间隔之时；该主动的推送时机也可以理解为，距离上次推送已经对场景视频进行了预设次数的人脸检测。也即，周期性从该人脸ID的候选人脸图像集合中查找出目标人脸图像进行推送。对于低算力的电子设备来说，假定执行一次步骤101及步骤102所耗费的时间是固定的，例如为200毫秒(ms)；假定初始时刻从0开始；假定预设的时间间隔为2s，则可以想象如下场景：

初始时刻，检测出属于人脸ID1的人脸图像1；通过步骤101及102，确定该人脸图像1不可被存入人脸ID1的候选人脸图像集合，此时已到达200ms时刻；

200ms时刻，检测出属于人脸ID1的人脸图像2；通过步骤101及102，确定该人脸图像2可被存入人脸ID1的候选人脸图像集合，此时已到达400ms时刻；

以此类推，直至到2s时刻时，可知目前满足主动的推送时机。显然，目前对步骤101及步骤102共循环执行了10次。假定候选人脸图像集合存储了人脸图像2、5及9这三张，则从这三张人脸图像中选定出目标人脸图像进行推送。

同时，电子设备还会以该2s时刻为新的初始时刻，在清空候选人脸图像集合后，开始新一轮次的候选人脸图像集合的更新，其过程与前文类似，此处不再赘述。

在一些实施例中，对于低算力的电子设备来说，可引入一轨迹参数trace_num，用来评判当前是否到达主动的推送时机，其中，该trace_num初始化为0。其过程具体为：对于一人脸ID，每次在当前的视频帧中检测到属于该人脸ID的人脸图像时，就将该trace_num的数值加1，并执行步骤101及102；在步骤102后，通过公式trace_num％update_num是否为0进行是否满足主动的推送时机的判断：若trace_num％update_num为0，则到达主动的推送时机；反之，若trace_num％update_num不为0，则未到达主动的推送时机，返回检测场景视频中当前的视频帧，并在检测到存在属于该人脸ID的人脸图像时，更新trace_num，并执行后续步骤101及102，此处不再赘述。其中，该update_num的值根据步骤101与步骤102所总共耗费的时间(也即执行步骤101及步骤102所总共需要的时间)及预设的时间间隔而决定。记预设的时间间隔为T，记步骤101与步骤102所总共耗费的时间为t，该update_num即为T与t的比值。

例如，T为2s，t为200ms，则update_num为10。举例来说：

t0时刻，第一次检测出属于人脸ID1的人脸图像1，trace_num更新为1；通过步骤101及102，确定该人脸图像1不可被存入人脸ID1的候选人脸图像集合，且trace_num％update_num不为0，未到达主动的推送时机，此时为t1时刻，检测t1时刻是否存在属于人脸ID1的人脸图像；

t1时刻，第二次检测出属于人脸ID1的人脸图像2，trace_num更新为2；通过步骤101及102，确定该人脸图像2可被存入人脸ID1的候选人脸图像集合，且trace_num％update_num不为0，未到达主动的推送时机，此时为t2时刻，检测t2时刻是否存在属于人脸ID1的人脸图像；

以此类推，直至trace_num％update_num为0时，确认当前已满足主动的推送时机。此时，可以从候选人脸图像集合中查找出目标人脸图像进行推送。需要注意的是，每次推送后，无需对trace_num进行清空；也即trace_num可不断进行累加。并且，每个人脸ID均对应有自己的trace_num。若针对某一人脸ID，出现人脸图像跟丢的情况，则可删除该人脸ID所对应的trace_num，以释放内存。

在一些实施例中，被动的推送时机可以为：属于该人脸ID的人脸图像在上述场景视频中跟丢之时；也即，当无法再在场景视频中检测到属于该人脸ID的人脸图像时，即认为跟丢。这一般由该人脸ID所表示的用户走出了摄像头的拍摄视场角，导致摄像头无法再拍摄到该用户的情况所导致。该被动的推送时机实际上是为了补足主动的推送时机的不足之处。可以想象如下场景：假定主动的推送时机中所设定的时间间隔为2s，也即每隔2s进行一次目标人脸图像的查找与推送。假定一用户非常快速地走过摄像头的拍摄区域，导致摄像头仅在不足2秒的时间内拍摄到了该用户，使得场景视频中存在该用户的人脸图像的视频帧非常少。由于该用户的人脸图像在场景视频中的存续时间不足，导致基于主动的推送时机不会推送该用户的人脸图像，这一过程显然是不够合理的。基于此，才提出了被动的推送时机，使得只要某一人脸ID(代表某一用户)的人脸图像在场景视频中跟丢，就立刻查找并推送该人脸ID的目标人脸图像，避免出现漏检的情况。举例来说，某一用户快速走过摄像头的拍摄区域，该用户对应人脸ID1，则：

t0时刻，第一次检测出属于人脸ID1的人脸图像1，trace_num更新为1；通过步骤101及102，确定该人脸图像1不可被存入人脸ID1的候选人脸图像集合，且trace_num％update_num不为0，未到达主动的推送时机，此时时间到达t1时刻，检测t1时刻是否存在属于人脸ID1的人脸图像；

t1时刻，第二次检测出属于人脸ID1的人脸图像2，trace_num更新为2；通过步骤101及102，确定该人脸图像1可被存入人脸ID1的候选人脸图像集合，且trace_num％update_num不为0，未到达主动的推送时机，此时时间到达t2时刻，检测t2时刻是否存在属于人脸ID1的人脸图像；

t2时刻，未能检测出属于人脸ID1的人脸图像；也即，对属于该人脸ID的人脸图像跟丢，此时trace_num仍为2，且不会再增加，这会导致trace_num％update_num不可能再为0；在仅设定了主动的推送时机的场景下，无法推送该人脸ID的目标人脸图像；而在增加设定了被动的推送时机的场景下，则可基于该被动的推送时机，在该人脸ID的候选人脸图像集合中查找并推送目标人脸图像。

需要注意的是，在满足该被动的推送时机并执行了步骤103及104之后，电子设备可以清空与该人脸ID相关的数据，例如删除该人脸ID的候选人脸图像集合等，以释放资源。在一些实施例中，还可引入轨迹标识tracker的概念。也即，在检测到视频帧中出现属于新的人脸ID的人脸图像(该新的人脸ID的人脸图像指的是在该视频帧之前已连续若干帧视频帧中未出现过的人脸ID的人脸图像)时，为该人脸图像创建对应的tracker。后续基于该人脸ID所更新的trace_num及候选人脸图像集合均与该tracker绑定。当对该人脸ID跟丢时，基于被动的推送时机查找并推送该人脸ID的目标人脸图像，之后删除该人脸ID所对应的tracker，包括删除与该tracker绑定的trace_num及候选人脸图像集合。

由上可见，通过本申请实施例，可对场景视频中属于同一人脸ID(也即属于同一用户)的人脸图像进行评估，其评估过程与每个人脸图像的质量分数及姿态分数有关，并基于评估结果判断是否对候选人脸图像集合进行更新，使得候选人脸图像集合中的人脸图像均为质量较优且姿态较优的人脸图像。最后电子设备会从该候选人脸图像集合中确定出目标人脸图像进行推送，使得后续的人脸图像处理模块，例如人脸识别模块或人脸验证模块等可基于所推送的目标人脸图像进行进一步的人脸图像处理操作。

对应于上文所提供的推送方法，本申请实施例还提供了一种推送装置。如图3所示，该推送装置300包括：

分数获取单元301，用于针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数；

集合更新单元302，用于根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合；

图像确定单元303，用于从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像；

图像推送单元304，用于推送上述目标人脸图像。

可选地，上述分数获取单元301，包括：

质量分数获取子单元，用于将上述人脸图像输入至预设的第一分类网络中，以得到上述人脸图像的质量分数，其中，上述第一分类网络用于对上述人脸图像的图像质量进行分类；

姿态分数获取子单元，用于将上述人脸图像输入至预设的第二分类网络中，以得到上述人脸图像的姿态分数，其中，上述第二分类网络包括三个子分类网络，上述三个子分类网络分别用于对上述人脸图像中所表示的人脸的俯仰角、偏航角及翻滚角进行分类。

可选地，上述集合更新单元302，包括：

质量检测子单元，用于检测上述人脸图像的质量分数是否满足预设的质量分数条件；

姿态检测子单元，用于检测上述人脸图像的姿态分数是否满足预设的姿态分数条件；

集合更新子单元，用于若上述质量分数满足上述质量分数条件，且上述姿态分数满足上述姿态分数条件，则将上述人脸图像存入上述候选人脸图像集合中。

可选地，上述图像确定单元303，包括：

匹配分数计算子单元，用于根据上述候选人脸图像集合中各个人脸图像的质量分数及姿态分数，计算各个人脸图像的匹配分数；

目标人脸图像确定子单元，用于在上述候选人脸图像集合中，将匹配分数最高的人脸图像确定为上述人脸ID的目标人脸图像。

可选地，上述图像确定单元303，具体用于按照预设的间隔时长，从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像。

可选地，上述图像确定单元303，具体用于当属于上述人脸ID的人脸图像在上述场景视频中跟丢时，从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像。

可选地，上述推送装置300还包括：

集合清空单元，用于在上述图像推送单元推送上述目标人脸图像之后，清空上述候选人脸图像集合。

由上可见，通过本申请实施例，可对场景视频中属于同一人脸ID(也即属于同一用户)的人脸图像进行评估，其评估过程与每个人脸图像的质量分数及姿态分数有关，并基于评估结果判断是否对候选人脸图像集合进行更新，使得候选人脸图像集合中的人脸图像均为质量较优且姿态较优的人脸图像。最后电子设备会从该候选人脸图像集合中确定出目标人脸图像进行推送，使得后续的人脸图像处理模块，例如人脸识别模块或人脸验证模块等可基于所推送的目标人脸图像进行进一步的人脸图像处理操作。

对应于上文所提供的推送方法，本申请实施例还提供了一种电子设备。请参阅图4，本申请实施例中的电子设备4包括：存储器401，一个或多个处理器402(图4中仅示出一个)及存储在存储器401上并可在处理器上运行的计算机程序。其中：存储器401用于存储软件程序以及单元，处理器402通过运行存储在存储器401的软件程序以及单元，从而执行各种功能应用以及诊断，以获取上述预设事件对应的资源。具体地，处理器402通过运行存储在存储器401的上述计算机程序时实现以下步骤：

针对每个人脸ID，若在场景视频的当前视频帧中检测出属于上述人脸ID的人脸图像，则获取上述人脸图像的质量分数和姿态分数；

根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合；

从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像；

推送上述目标人脸图像。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，上述获取上述人脸图像的质量分数和姿态分数，包括：

将上述人脸图像输入至预设的第一分类网络中，以得到上述人脸图像的质量分数，其中，上述第一分类网络用于对上述人脸图像的图像质量进行分类；

将上述人脸图像输入至预设的第二分类网络中，以得到上述人脸图像的姿态分数，其中，上述第二分类网络包括三个子分类网络，上述三个子分类网络分别用于对上述人脸图像中所表示的人脸的俯仰角、偏航角及翻滚角进行分类。

在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述根据上述人脸图像的质量分数和姿态分数，确定是否更新上述人脸ID的候选人脸图像集合，包括：

检测上述人脸图像的质量分数是否满足预设的质量分数条件，以及，检测上述人脸图像的姿态分数是否满足预设的姿态分数条件；

若上述质量分数满足上述质量分数条件，且上述姿态分数满足上述姿态分数条件，则将上述人脸图像存入上述候选人脸图像集合中。

在上述第一种可能的实施方式作为基础而提供的第四种可能的实施方式中，上述从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像，包括：

根据上述候选人脸图像集合中各个人脸图像的质量分数及姿态分数，计算各个人脸图像的匹配分数；

在上述候选人脸图像集合中，将匹配分数最高的人脸图像确定为上述人脸ID的目标人脸图像。

在上述第一种可能的实施方式作为基础而提供的第五种可能的实施方式中，上述从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像，包括：

按照预设的间隔时长，从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像。

在上述第一种可能的实施方式作为基础而提供的第六种可能的实施方式中，上述从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像，包括：

当属于上述人脸ID的人脸图像在上述场景视频中跟丢时，从上述候选人脸图像集合中确定一张人脸图像作为上述人脸ID的目标人脸图像。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础，或者上述第五种可能的实施方式作为基础，或者上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，在上述推送上述目标人脸图像之后，处理器402通过运行存储在存储器401的上述计算机程序时还实现以下步骤：

清空上述候选人脸图像集合。

应当理解，在本申请实施例中，所称处理器402可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器401可以包括只读存储器和随机存取存储器，并向处理器402提供指令和数据。存储器401的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器401还可以存储设备类别的信息。

由上可见，通过本申请实施例，可对场景视频中属于同一人脸ID(也即属于同一用户)的人脸图像进行评估，其评估过程与每个人脸图像的质量分数及姿态分数有关，并基于评估结果判断是否对候选人脸图像集合进行更新，使得候选人脸图像集合中的人脸图像均为质量较优且姿态较优的人脸图像。最后电子设备会从该候选人脸图像集合中确定出目标人脸图像进行推送，使得后续的人脸图像处理模块，例如人脸识别模块或人脸验证模块等可基于所推送的目标人脸图像进行进一步的人脸图像处理操作。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关联的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机可读存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种推送方法，其特征在于，包括：

针对每个人脸ID，若在场景视频的当前视频帧中检测出属于所述人脸ID的人脸图像，则获取所述人脸图像的质量分数和姿态分数；

根据所述人脸图像的质量分数和姿态分数，确定是否更新所述人脸ID的候选人脸图像集合；

从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像；

推送所述目标人脸图像。

2.如权利要求1所述的推送方法，其特征在于，所述获取所述人脸图像的质量分数和姿态分数，包括：

将所述人脸图像输入至预设的第一分类网络中，以得到所述人脸图像的质量分数，其中，所述第一分类网络用于对所述人脸图像的图像质量进行分类；

将所述人脸图像输入至预设的第二分类网络中，以得到所述人脸图像的姿态分数，其中，所述第二分类网络包括三个子分类网络，所述三个子分类网络分别用于对所述人脸图像中所表示的人脸的俯仰角、偏航角及翻滚角进行分类。

3.如权利要求1所述的推送方法，其特征在于，所述根据所述人脸图像的质量分数和姿态分数，确定是否更新所述人脸ID的候选人脸图像集合，包括：

检测所述人脸图像的质量分数是否满足预设的质量分数条件，以及，检测所述人脸图像的姿态分数是否满足预设的姿态分数条件；

若所述质量分数满足所述质量分数条件，且所述姿态分数满足所述姿态分数条件，则将所述人脸图像存入所述候选人脸图像集合中。

4.如权利要求1所述的推送方法，其特征在于，所述从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像，包括：

根据所述候选人脸图像集合中各个人脸图像的质量分数及姿态分数，计算各个人脸图像的匹配分数；

在所述候选人脸图像集合中，将匹配分数最高的人脸图像确定为所述人脸ID的目标人脸图像。

5.如权利要求1所述的推送方法，其特征在于，所述从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像，包括：

按照预设的间隔时长，从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像。

6.如权利要求1所述的推送方法，其特征在于，所述从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像，包括：

当属于所述人脸ID的人脸图像在所述场景视频中跟丢时，从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像。

7.如权利要求1至6任一项所述的推送方法，其特征在于，在所述推送所述目标人脸图像之后，所述推送方法还包括：

清空所述候选人脸图像集合。

8.一种推送装置，其特征在于，包括：

分数获取单元，用于针对每个人脸ID，若在场景视频的当前视频帧中检测出属于所述人脸ID的人脸图像，则获取所述人脸图像的质量分数和姿态分数；

集合更新单元，用于根据所述人脸图像的质量分数和姿态分数，确定是否更新所述人脸ID的候选人脸图像集合；

图像确定单元，用于从所述候选人脸图像集合中确定一张人脸图像作为所述人脸ID的目标人脸图像；

图像推送单元，用于推送所述目标人脸图像。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images