CN113785304A - 人脸识别方法和装置 - Google Patents

Abstract

本公开实施例提供一种人脸识别方法和装置，其中方法包括：确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多个脸部区域图像；对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像；基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。该方法提高了脸部区域图像的识别成功率，降低了人脸识别的成本。

Description

人脸识别方法和装置

相关申请的交叉引用

本专利申请要求于2021年9月19日提交的、申请号为10202110328W、发明名称为“人脸识别方法和装置”的新加坡专利申请的优先权，该申请的全文以引用的方式并入本文中。

技术领域

本公开实施例涉及图像处理技术领域，特别涉及一种人脸识别方法和装置。

背景技术

人脸识别是智能视频分析中最基础而重要的一环。需要对视频中的目标对象进行长时间的跟踪，并且在接收到上层应用发出的识别请求时，对被跟踪的目标对象进行人脸识别和身份确定。

发明内容

有鉴于此，本公开实施例提供至少一种人脸识别方法和装置。

第一方面，提供一种人脸识别方法，所述方法包括：

确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多张脸部区域图像；

对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像；

基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

第二方面，提供一种人脸识别装置，所述装置包括：

目标脸部图像序列确定模块，用于确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多张脸部区域图像；

目标脸部区域图像确定模块，用于对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像；

身份信息确定模块，用于基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面所述的人脸识别方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现第一方面所述的人脸识别方法。

在本公开实施例的技术方案提供的人脸识别方法中，通过对目标人脸的目标脸部图像序列中的脸部区域图像进行人脸识别，确定目标脸部区域图像，进而确定目标人脸的身份信息，将目标脸部图像序列作为一个质量选取模型，在对其中一张脸区域图像识别不出的情况下，可以继续识别目标脸部图像序列中其他的脸部区域图像，极大提高了脸部区域图像的识别成功率，即召回率；相比于只识别由人脸质量模型所选取到的高质量的脸部区域图像的方式，本公开所述的方法不需要为了穷尽所有的人脸低质量情况，进行高成本的大量的数据采集来训练人脸质量模型，从而降低了人脸识别的成本。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例示出的一种人脸识别方法的流程图；

图1A是本公开实施例示出的确定目标人脸的目标脸部图像序列的方法的流程图；

图2是本公开实施例示出的另一种人脸识别方法的流程图；

图3是本公开实施例示出的一种人脸识别装置的框图；

图4是本公开实施例示出的另一种人脸识别装置的框图；

图5是本公开实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

对于视频跟踪的人脸识别来说，关键的一步在于如何从视频中大量的脸部图像序列中，挑选出高质量的脸部图像进行人脸识别。如果待识别的脸部图像质量太差，就无法和人脸库中的任何身份信息匹配，得到查无此人的错误结果，即无法召回脸部图像。

传统的方法，会通过采集大量的数据，训练一个人脸质量模型，以完成在脸部图像序列中高质量的脸部图像的选取，进而使用选取到的高质量的脸部图像进行人脸识别。但是实际应用中的目标对象所处的环境是复杂的，目标对象可以有很多动作形态，比如转头、低头、用手遮挡脸部、照镜子或者戴口罩等等，通过数据采集很难穷尽所有的情景来训练人脸质量模型。

在整个视频跟踪过程中，除了某些时间段中存在由于目标对象扭头、用手遮挡头部等动作，或者由于玻璃、镜子、瓷砖等反光物体中带有镜像人脸等情况而产生的低质量脸部图像，也存在充足的高质量人脸图像。只是通过人脸质量模型选取高质量脸部图像的方式，特别是单张的脸部图像选取方式，没有办法保证一定选取到人脸识别所需要的高质量脸部图像，比如符合脸部清晰、无遮挡及没有旋转等要求的人脸图像。如果对选取到的图像识别不到结果，则直接宣告人脸识别失败，无法补救。因此，为了提高人脸识别的成功率，需要采集大量的数据来训练人脸质量模型，然而大量的数据采集需要花费高成本。

为此，本公开实施例提供了一种人脸识别方法，该方法可以在不采集大量的数据的情况下，降低低质量人脸图像的影响，极大地提高人脸识别精度，保证人脸图像的召回率。

如图1所示，图1是本公开实施例示出的一种人脸识别方法的流程图，该方法包括以下步骤：

在步骤102中，确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括目标人脸的多张脸部区域图像。

本步骤中，脸部区域图像可以是在对目标对象进行人脸跟踪时，从跟踪视频中检测到的包含目标对象的目标人脸的图像，也可以是对目标对象进行拍摄得到的包含目标对象的目标人脸的图像。在这里，目标人脸是一个指定或未指定的待识别人员的人脸。

本实施例的人脸识别方法可以由人脸识别装置执行，例如，可以由终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该人脸识别方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

本实施例不限制确定目标脸部图像序列的具体方式，比如，可以是从本设备预先维护的多个不同人脸的脸部图像序列中，选取目标人脸对应的目标脸部图像序列；也可以是从其他设备中直接获取目标脸部图像序列。

此外，本步骤中确定目标脸部图像序列，可以是在任意时机执行。例如，可以在接收到人脸识别请求消息，所述人脸识别请求消息包括目标人脸的信息时，执行本实施例的方法；或者，也可以是在接收到跟踪视频或连续拍摄的图像的时候执行该方法。

在步骤104中，对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像。

对脸部区域图像进行人脸识别，可以是将一张脸部区域图像与人脸库中的多个人脸图像依次进行比对分别得到对比结果。得到的每个比对结果包括一个置信度，置信度表示该脸部区域图像中的人脸与人脸库中的图像中的人脸为同一个对象的人脸的概率，将置信度最高的比对结果确定为该脸部区域图像的人脸识别结果。

若该脸部区域图像的人脸识别结果的置信度达到预设的置信度阈值，即在人脸库中找到与脸部区域图像对应的人脸，则人脸识别成功，确定该脸部区域图像为目标脸部区域图像；若该脸部区域图像的人脸识别结果的置信度没有达到预设的置信度阈值，即在人脸库中没有找到与脸部区域图像对应的人脸，则人脸识别失败，继续选取目标脸部图像序列的另外一张未被选取过的脸部区域图像，对其进行人脸识别，直到人脸识别成功。

如果在对目标脸部图像序列中的所有脸部区域图像进行人脸识别后，在人脸库中没有找到与脸部区域图像对应的人脸，则可以在所有人脸识别结果中选取最为接近识别成功的人脸识别结果对应的脸部区域图像作为目标脸部区域图像，即选取置信度最高的人脸识别结果对应的脸部区域图像作为目标脸部区域图像，或者可以结束人脸识别。

本步骤中，对目标脸部图像序列中的脸部区域图像进行人脸识别的顺序可以是任意的，比如在目标脸部图像序列中依次随机选取一张图像进行识别；也可以按照预设的顺序，比如按照从图片质量由高到低，在目标脸部图像序列中依次选取脸部区域图像进行人脸识别。

本实施例不限制具体的人脸识别方式，例如，可以通过神经网络的方式进行识别，或者也可以通过其他方式识别。

在步骤106中，基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

目标脸部区域图像的人脸识别结果包括人脸库中与目标脸部区域图像对应的人脸图像，将该人脸图像对应的身份信息确定为目标人脸的身份信息。身份信息可以是在人脸库中预存的证件号码、姓名、注册账号等。

在本实施例提供的人脸识别方法中，通过对目标脸部图像序列中多张脸部区域图像进行人脸识别，确定目标脸部区域图像，进而确定目标人脸的身份信息，对于多张脸部区域图像虽然也有可能会抽取到低质量的图像进行识别，但是当对其中一张脸部区域图像识别不出时，可以继续使用目标脸部图像序列中的下一张脸部区域图像进行识别，相当于将目标脸部图像序列作为一个质量选取模型，极大提高了脸部区域图像的识别成功率，即召回率；相比于只识别由人脸质量模型所选取到的高质量的脸部区域图像的方式，该方法不需要为了穷尽所有的人脸低质量情况，进行高成本的大量的数据采集来训练人脸质量模型，从而降低了人脸识别的成本。

在一种实施方式中，该方法可以用于对视频流中的目标人脸进行识别，步骤102确定的目标人脸的目标脸部图像序列可以包括从视频流的多帧图像中提取出的目标人脸的多个张脸区域图像。

视频流可以是录制完成的视频，也可以是实时的视频，视频流的多帧图像中包含目标对象的目标人脸。本实施例中，视频流可以是对目标对象进行人脸跟踪得到的跟踪视频。

在一个例子中，步骤102之前，可以预先获取视频流。基于获取的视频流中的每一帧图像进行人脸检测，检测到视频流中的人脸。对于检测到的视频流中多个人脸中的每一个人脸，基于所述视频流对检测到的该人脸进行跟踪，确定所述人脸在所述视频流的多帧图像中的脸部区域图像；基于所述人脸在所述视频流的多帧图像中的脸部区域图像，生成所述人脸的脸部图像序列。以此，可以预先得到视频流中出现的多个不同人脸的脸部图像序列，在后续处理中可以方便快捷地从多个不同人脸的脸部图像序列中确定目标人脸的目标脸部图像序列。

在本例中，对于检测到的视频流中多个人脸中的每一个人脸，确定该人脸在视频流的多帧图像的脸部区域图像之后，还可以生成该人脸的人脸标识；根据人脸标识可以快速确定该人脸对应的脸部区域图像组成的脸部图像序列。本步骤中确定目标脸部图像序列可以是在获取到人脸识别请求后进行，人脸识别请求可以是由上层应用发送。在接收到人脸识别请求消息时，将获取到的人脸识别请求中的人脸标识作为目标人脸的人脸标识，根据目标人脸的人脸标识在多个脸部图像序列中确定出目标脸部图像序列。

本例对使用何种人脸跟踪方式不进行限制，比如，可以通过卡尔曼滤波的方式进行人脸跟踪，也可以通过神经网络的方式进行跟踪。

在一个例子中，步骤102确定目标人脸的目标脸部图像序列，如图1A所示，具体可以包括以下步骤：

在步骤1021中，确定目标人脸在视频流的多帧图像中的脸部区域图像为该目标人脸的多张备选脸部区域图像。

比如，视频流为跟踪视频时，可以通过人脸检测得到跟踪视频中的备选脸部区域图像，跟踪视频的每帧图像中可以检测到一张或多张的备选脸部区域图像，或者，对于其中某些帧图像可能检测不到备选脸部区域图像。通过人脸跟踪，可以得到同一个人脸对应的多个备选脸部区域图像，也就确定了目标人脸的多张备选脸部区域图像。对于在一帧图像中检测到多张备选脸部区域图像的情况，这些多张备选脸部区域图像可包括物理脸部区域图像和一个或多个镜像脸部区域图像。

在步骤1022中，确定所述多张备选脸部区域图像的图像质量。

示例性的，对于所述多张备选脸部区域图像中的每一张，可以使用预先训练的人脸图像质量评估模型，对备选脸部区域图像进行质量评定，确定备选脸部区域图像的图像质量。比如，可以将备选脸部区域图像输入预先训练好的人脸图像质量评估模型，得到该备选脸部区域图像的图像质量评价结果。图像质量可以是综合图像可懂度、亮度、清晰度、面部对称度和噪音等任意几种因素对脸部区域图像进行评价，图像质量评价结果可以使用等级、评分等来表示，也可以使用其他方式表示。

可以用一个序列表示目标人脸的多个备选脸部区域图像的图像质量评价结果，比如序列A＝{a_n，n＝1，2，3，…，N}，a_n表示第n个备选脸部区域图像的图像质量评价结果，N代表该目标人脸的备选脸部区域图像的总帧数。

需要说明的是，本实施例所用的人脸图像质量评估模型可以是常规训练得到的既定精度的模型，比如，可以使用基于深度学习的二分类分类器并通过通用人脸质量数据来训练模型，而不必花费高成本采集大量的数据来训练高精度的人脸质量模型。

在步骤1023中，按照图像质量评价结果对所述多张备选脸部区域图像排序，得到第一序列。

比如，可以将多张备选脸部区域图像由高质量到低质量或由低质量到高质量进行排序，得到第一序列。沿用上例，将序列A按图像质量的分数进行倒序排序，得到序列B，本例以序列B表示第一序列。

在步骤1024中，基于所述第一序列确定所述目标脸部图像序列。

可以将第一序列直接确定为目标脸部图像序列；或者，可以将所述第一序列的第一子序列确定为所述目标脸部图像序列，其中所述第一子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。通过基于图像质量进一步对第一序列中的图像进行筛选，并仅选出包含预设数目的备选脸部区域图像的子序列作为目标脸部图像序列，可以进一步提升目标脸部图像序列的质量，并且有效控制目标脸部图像序列中的图像数量，有助于提升目标人脸的人脸识别结果的准确性和识别效率。

在一些实施例中，可以按照第一序列中的多个备选脸部区域图像在视频流中的对应时序，对第一序列进行稀疏化处理，得到第二序列，根据第二序列确定目标脸部图像序列。

其中，第二序列中任意相邻的两张备选脸部区域图像在视频流中的对应时序之间的间隔距离大于预设时间间隔阈值。

可以使用如下的稀疏化处理方法来去除序列B中部分备选脸部区域图像，得到序列C，以使得序列C中任意两个相邻的备选脸部区域图像之间的间隔距离大于预设时间间隔阈值step：

a)遍历序列B中的值，记当前备选脸部区域图像的序号为i。

b)对于每一个i，从i开始再往后遍历序列B的值，记当前备选脸部区域图像序号为j。

c)如果B_i和B_j的间隔距离小于预设时间间隔阈值step，则删除B_j。

d)完成i的循环遍历后，剩下的序列B中的所有备选脸部区域图像，赋值给序列C。

e)结束。

在一实施例中，假设序列B中包括以下6张备选脸部区域图像，B₁,B₂,B₃,B₄,B₅,B₆且预设时间间隔阈值为0.05ms，当i为1时，依次计算B₁与B₂,B₃,B₄,B₅,B₆之间的时间间隔，B₁与B₂之间的时间间隔为0.02ms，B₁与B₃之间的时间间隔为0.06ms，B₁与B₄之间的时间间隔为0.15ms，B₁与B₅之间的时间间隔为0.04ms，B₁与B₆之间的时间间隔为0.10ms，在这种情况下，可删除序列B中的B₂和B₅，此时序列B中的剩余元素为B₁,B₃,B₄,B₆。当i为3时，依次计算B₃与B₄,B₆之间的时间间隔，B₃与B₄之间的时间间隔为0.09ms，B₃与B₆之间的时间间隔为0.04ms，在这种情况下，可删除序列B中的B₆，此时序列B中的剩余元素为B₁,B₃,B₄。这时，完成i的循环遍历，序列C中的元素包括B₁,B₃,B₄。

实际实施中，时序可以通过时间标签来表示。备选脸部区域图像是视频流的图像帧的一部分，备选脸部区域图像的时间标签可以是其对应的图像帧在视频流中的时间标签。

对于跟踪视频中的目标对象来说，当目标对象做出一些比如扭头、用手遮挡头部或喝水等动作时，跟踪视频捕捉到的图像将不适合用于人脸识别。一般这些动作会在某段时间持续，而且在跟踪视频中时序连续的图像帧通常是相似的，图像质量一般也相似，重复对相似的图像进行人脸识别价值不高。所以，可以对采集到的备选脸部区域图像进行时序上的稀疏化处理，得到第二序列，从而避免对低质量图像多次进行人脸识别，提高人脸识别的效率。

本实施例不限制进行时序上稀疏化处理的具体方式，能达到第二序列中任意相邻的两个备选脸部区域图像的间隔距离大于预设时间间隔阈值的方式均可以采用。比如，可以根据预设时间间隔阈值计算得到多个时间标签，将上述多个时间标签差值范围内的第一序列中的备选脸部区域图像组合为第二序列；又比如，可以按顺序遍历第一序列，去除间隔距离小于预设时间间隔阈值的相邻的备选脸部区域图像，得到第二序列。

得到第二序列后，根据第二序列确定目标脸部图像序列，可以是将第二序列直接确定为目标脸部图像序列，也可以从第二序列中提取出第二子序列，确定为目标脸部图像序列，其中，第二子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

其中，图像质量要求可以为对图像质量排名的要求。示例性的，当第二序列是按照图像质量由高到低倒序排序的备选脸部区域图像时，可以将第二序列中前预设数目个备选脸部区域图像组成的子序列确定为目标脸部图像序列；或者，当第二序列是按照图像质量由低到高正序排序的备选脸部区域图像时，可以将第二序列中后预设数目个备选脸部区域图像组成的子序列确定为目标脸部图像序列。

预设数目可以用K来表示，由本领域技术人员根据实际需要设置。取序列C的前K个备选脸部区域图像作为序列D，即最终确定的目标脸部图像序列。在另一个示例中，当第一序列为由低到高排序时，这里可以取序列C的后K个元素作为目标脸部图像序列。

图像质量要求也可以是对图像质量的等级或评分的要求，即要求图像质量符合预设等级或者预设评分，本实施例对图像质量要求不进行限制。通过人脸质量要求进一步从第二序列中筛选预设数目的备选脸部区域图像作为目标脸部图像序列，可以进一步精简目标人脸对应的目标脸部区域图像，使最终得到的目标脸部图像序列是时间上较分散且高质量的序列，提高人脸识别的效率。得到目标脸部图像序列后，可以按照图像质量的从高到低的顺序依次对脸部区域图像进行人脸识别。

在另一个例子中，确定目标脸部图像序列可以是获取其他设备维护的目标脸部图像序列，其他设备可以是终端设备、服务器或其它处理设备，其他设备可以通过执行图1A所示的步骤1021到步骤1024来得到目标脸部图像序列。

图2提供了本公开另一实施例的人脸识别方法，该方法可以包括如下处理，其中，与上述实施例的流程相同的步骤将不再详述。

在步骤202中，确定目标人脸的目标脸部图像序列，以及确定多张脸部区域图像的图像质量。

目标脸部图像序列包括目标人脸的多张脸部区域图像。

可以使用预先训练的既定精度的人脸图像质量评估模型来评定脸部区域图像的图像质量获得评价结果。

比如，可以在确定目标脸部图像序列后，对目标脸部图像序列中的脸部区域图像进行质量评定，得到评价结果。

也可以在确定目标脸部图像序列之前，确定脸部区域图像的图像质量。比如，可以先从视频流的多帧图像中得到目标人脸的多张备选脸部区域图像，对备选脸部区域图像进行质量评定得到评价结果，再根据评价结果从备选脸部区域图像中确定目标脸部图像序列的脸部区域图像。

在步骤204中，在未确定出目标脸部区域图像的情况下，在所述目标脸部图像序列中，对未进行人脸识别且图像质量最高的第一脸部区域图像进行人脸识别。

在未确定出目标脸部区域图像的情况下，可以按照图像质量顺序依次对目标脸部图像序列中的脸部区域图像进行识别，得到人脸识别结果。

例如，可以将目标脸部图像序列D中脸部区域图像，按顺序逐个作为第一脸部区域图像输入人脸识别模型，以提取脸部区域图像中的人脸特征，并基于人脸特征在人脸库中进行对比，可以使用置信度来表示对比结果。对于脸部图像序列D中的每个脸部区域图像，该图像在人脸库中进行对比时，可以得到多个置信度，其中，置信度最高的对比结果确定为该脸部区域图像的人脸识别结果。

在步骤206中，响应于确定所述第一脸部区域图像的人脸识别结果的置信度超过预设阈值，确定所述第一脸部区域图像为所述目标脸部区域图像。

当存在第一脸部区域图像的人脸识别结果的置信度超过预设阈值，则人脸识别成功，将第一脸部图像确定为目标脸部区域图像，不再对目标脸部图像序列中其他未脸部区域图像进行人脸识别。

当第一脸部区域图像的人脸识别结果的置信度没有超过预设阈值，并且该第一脸部区域图像不是目标脸部图像序列中最后一张脸部区域图像，则继续对目标脸部图像序列中未进行人脸识别且图像质量最高的第一脸部区域图像进行人脸识别。

在步骤208中，响应于确定所述目标脸部图像序列中的所有脸部区域图像的人脸识别结果的置信度均小于预设阈值，确定所述人脸识别结果的置信度中的最大值对应的第二脸部区域图像，将述第二脸部区域图像作为所述目标脸部区域图像。

当对目标脸部图像序列中所有脸部区域图像进行人脸识别后，脸部区域图像的人脸识别结果的置信度均小于预设阈值，则将所有脸部区域图像的人脸识别结果的置信度中的最大值对应的第二脸部区域图像作为目标脸部区域图像。

在步骤210中，基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

将目标脸部区域图像的人脸识别结果在人脸库中关联的身份信息作为目标人脸的身份信息，由此，通过人脸识别确定了目标对象的身份信息。

在本实施例提供的人脸识别方法中，在对目标脸部图像序列中多张脸部区域图像进行识别的过程中，首先对图像质量最高的脸部区域图像进行识别，当识别不出时，继续使用目标脸部图像序列余下图像中图像质量最高的脸部区域图像进行识别，相当于将目标脸部图像序列作为一个另类的质量选取模型，极大提高了脸部区域图像的识别成功率以及高质量脸部区域图像的召回率；相比于只识别由人脸质量模型所选取到的高质量的脸部区域图像的方式，该方法不需要为了穷尽所有的人脸低质量图像，进行高成本的大量的数据采集来训练人脸质量模型，从而降低了人脸识别的成本。

在一实施方式中，本公开实施例提供的人脸识别方法可以应用于游戏场所的环境中。在智慧游戏场所的场景下，需要对入座的玩家进行长时间的跟踪，并且在接收到上层应用发出的识别请求时，对此被跟踪的玩家进行人脸识别以进行身份确定。而游戏场所的环境非常复杂，比如灯光变化大，玩家姿态丰富，通过数据采集很难穷尽所有的问题情景来训练人脸质量模型，以进行高质量人脸图像的选取从而进行人脸识别。

下面对本公开实施例提供的一种人脸识别方法在游戏场所中的应用进行说明。

首先，需要预先训练人脸检测模型、人脸图像质量评估模型和人脸识别模型。

对于人脸检测模型，可以使用常见的人脸检测模型，比如，Retina Net，YoloV3或PCN等，使用通用的人脸数据完成训练，也可以使用通用的人脸数据和游戏场所特定的人脸数据来训练，以提高模型精度。

对于人脸图像质量评估模型，可以使用基于深度学习的二分类器，使用通用的人脸数据完成训练，也可以使用通用的人脸质量数据和游戏场所特定的人脸数据来训练，以提高模型精度。例如，在训练时可以使用binary cross entropy loss(二元交叉熵损失)作为损失函数。

对于人脸识别模型，可以使用常见的神经网络，比如，resnet50，SqueezeNet等，使用通用的人脸识别数据完成训练。训练时可以使用常见的人脸识别损失函数，比如arcface。

基于上述准备好的模型，可以对游戏场所的摄像机实时采集到跟踪视频进行以下处理以维护时间上较分散且高质量的脸部图像序列。在其他示例中，也可以是对游戏场所的摄像机预先采集到的跟踪视频进行处理。

人脸检测：将跟踪视频中的每帧图像依次输入人脸检测模型，得到每帧图像中的人脸检测框，人脸检测框中的图像为备选脸部区域图像。

图像质量评定：将备选脸部区域图像实时逐帧地输入人脸图像质量评估模型，得到备选脸部区域图像的图像质量的分数。

人脸跟踪：通过快速的人脸跟踪方案，比如卡尔曼滤波，可以得到同一玩家人脸对应的所有的备选脸部区域图像的质量分数，可以使用一个质量分数序列来表示。

高质量脸部图像序列选取：可以将该序列按照质量分数倒序方式排序，然后进行时序上的稀疏化处理，以使序列中任意两个相邻的元素之间的间隔距离大于预设时间间隔阈值，然后取该序列的前K个元素作为最终的脸部图像序列，脸部图像序列包含K个图像质量由高到低排序的脸部区域图像。

需要说明的是，如果跟踪视频中有N个玩家，需要维护相应N个脸部图像序列，当跟踪视频随着时间而增长时，所维护的脸部图像序列也会一起更新。直到接收到上层应用发送人脸识别请求时，对人脸识别请求中指定的玩家进行人脸识别。

将该玩家对应的脸部图像序列中的脸部区域图像按顺序逐个输入人脸识别模型，进行特征提取和身份检索。如果当前的脸部区域图像的检索置信度大于预设阈值，即检索成功，输出该检索置信度对应的检索结果在人脸库中关联的身份信息。如果当前的脸部区域图像的检索置信度小于预设阈值，则记录下此检索置信度并将下一张脸部区域图像输入人脸识别模型。如果当前的脸部区域图像已经是脸部图像序列中最后一张脸部区域图像，则输出已记录的检索置信度中最高的检索置信度对应的检索结果在人脸库中关联的身份信息。

在智慧游戏场所的场景下，需要识别摄像机捕捉到的玩家的身份，则可以使用本方案来完成目标，可以保证更高的识别精度，基于高质量脸部区域图像的召回率和玩家人脸的召回率，可以更好地进行后续工作，如游戏桌监控和用户分析。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

如图3所示，图3是本公开实施例示出的一种人脸识别装置的框图，所述装置包括：目标脸部图像序列确定模块31，目标脸部区域图像确定模块32，身份信息确定模块33。

目标脸部图像序列确定模块31，用于确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多张脸部区域图像。

目标脸部区域图像确定模块32，用于对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述脸部图像序列中的目标脸部区域图像。

身份信息确定模块33，用于基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

在一个例子中，所述目标脸部图像序列包括从视频流的多帧图像中提取出的所述目标人脸的多张人脸部区域图像。

在一个例子中，如图4所示，在前述装置实施例的基础上，所述装置还包括：脸部图像序列生成模块30。

脸部图像序列生成模块30，用于基于获取的视频流中的每一帧图像进行人脸检测；对于检测到的所述视频流中多个人脸中的每一个人脸，基于所述视频流对检测到人脸进行跟踪，确定所述人脸在所述视频流的多帧图像的每一帧中的脸部区域图像；基于所述人脸在所述视频流的多帧图像中的脸部区域图像，生成所述人脸的脸部图像序列。

在一个例子中，所述目标脸部图像序列确定模块31，具体用于：确定所述目标人脸在所述视频流的多帧图像中的脸部区域图像为所述目标人脸的多张备选脸部区域图像；确定所述多张备选脸部区域图像的图像质量；按照图像质量对所述多张备选脸部区域图像排序，得到第一序列；基于所述第一序列确定所述目标脸部图像序列。

在一个例子中，所述目标脸部图像序列确定模块31，进一步用于：将所述第一序列的第一子序列确定为所述目标脸部图像序列，所述第一子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

在一个例子中，所述目标脸部图像序列确定模块31，进一步用于：按照所述第一序列中的所述多个备选脸部区域图像在所述视频流中的对应时序，对所述第一序列进行稀疏化处理，得到第二序列，其中，所述第二序列中任意相邻的备选脸部区域图像在所述视频流中的对应时序之间的间隔距离大于预设时间间隔阈值；根据所述第二序列确定所述目标脸部图像序列。

在一个例子中，所述目标脸部图像序列确定模块31，进一步用于：将所述第二序列的的第二子序列确定为所述目标脸部图像序列，所述第二子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

在一个例子中，所述目标脸部图像序列确定模块31，在用于确定所述多张备选脸部区域图像的图像质量时，具体用于：对于所述多张备选脸部区域图像中的每一张，使用预先训练的人脸图像质量评估模型，对备选脸部区域图像进行质量评定，确定所述备选脸部区域图像的图像质量评价结果。

在一个例子中，所述脸部图像序列生成模块30，在用于对于检测到的所述视频流中所述多个人脸中的所述每一个人脸，在所述视频流中对检测到的人脸进行跟踪，确定所述人脸在所述视频流的多帧图像中的脸部区域图像之后，还用于：生成所述人脸的脸部标识。所述目标脸部图像序列确定模块31，用于：将获取到的人脸识别请求中的脸部标识作为目标人脸的脸部标识；根据所述目标人脸的脸部标识在所述多个人脸的脸部图像序列中确定出所述目标脸部图像序列。

在一个例子中，所述目标脸部图像序列确定模块31，还用于确定所述多张脸部区域图像的图像质量。所述目标脸部区域图像确定模块32，具体用于：响应于确定所述第一脸部区域图像的人脸识别结果的置信度超过预设阈值，确定所述第一脸部区域图像为所述目标脸部区域图像。

在一个例子中，所述目标脸部区域图像确定模块32，还用于：响应于确定所述目标脸部图像序列中的所有脸部区域图像的人脸识别结果的置信度均小于预设阈值，确定最大置信度人脸识别结果的第二脸部区域图像；将所述第二脸部区域图像作为所述目标脸部区域图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本公开实施例还提供了一种电子设备，如图5所示，所述电子设备包括存储器51、处理器52，所述存储器51用于存储可在处理器上运行的计算机指令，所述处理器52用于在执行所述计算机指令时实现本公开任一实施例所述的人脸识别方法。

本公开实施例还提供了一种计算机程序产品，该产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的人脸识别方法。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的人脸识别方法。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (21)

1.一种人脸识别方法，包括：

确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多张脸部区域图像；

对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别；

基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像；

基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

2.根据权利要求1所述的方法，其中，所述目标脸部图像序列包括从视频流的多帧图像中提取出的所述目标人脸的所述多张脸部区域图像。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

基于获取的视频流中的每一帧图像进行人脸检测；

对于所述视频流中检测到的多个人脸中的每一个人脸，

基于所述视频流对该人脸进行跟踪，确定该人脸在所述视频流的多帧图像中的脸部区域图像；

基于该人脸在所述视频流的多帧图像中的脸部区域图像，生成该人脸的脸部图像序列。

4.根据权利要求3所述的方法，其中，所述确定所述目标人脸的所述目标脸部图像序列，包括：

确定所述目标人脸在所述视频流的多帧图像中的脸部区域图像为所述目标人脸的多张备选脸部区域图像；

确定所述多张备选脸部区域图像的图像质量；

按照图像质量对所述多张备选脸部区域图像排序，得到第一序列；

基于所述第一序列确定所述目标脸部图像序列。

5.根据权利要求4所述的方法，其中，所述基于所述第一序列确定所述目标脸部图像序列，包括：

将所述第一序列的第一子序列确定为所述目标脸部图像序列，所述第一子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

6.根据权利要求4所述的方法，其中，所述基于所述第一序列确定所述目标脸部图像序列，包括：

按照所述第一序列中的所述多个备选脸部区域图像在所述视频流中的对应时序，对所述第一序列进行稀疏化处理，得到第二序列，其中，所述第二序列中任意相邻的两张备选脸部区域图像的间隔距离大于预设时间间隔阈值；

根据所述第二序列确定所述目标脸部图像序列。

7.根据权利要求6所述的方法，其中，所述根据所述第二序列确定所述目标脸部图像序列，包括：

将所述第二序列的第二子序列确定为所述目标脸部图像序列，所述第二子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

8.根据权利要求4至7任一项所述的方法，其中，所述确定所述多张备选脸部区域图像的图像质量，包括：

对于所述多张备选脸部区域图像中的每一张，

使用预先训练的人脸图像质量评估模型，对该备选脸部区域图像进行质量评定，确定该备选脸部区域图像的图像质量评价结果。

9.根据权利要求3至8任一项所述的方法，其中，对于所述视频流中检测到的所述多个人脸中的所述每一个人脸，基于所述视频流对该人脸进行跟踪，确定该人脸在所述视频流的多帧图像中的脸部区域图像之后，所述方法还包括：

生成该人脸的脸部标识；

所述确定目标人脸的所述目标脸部图像序列，包括：

将获取到的人脸识别请求中的脸部标识作为目标人脸的脸部标识；

根据所述目标人脸的脸部标识在所述多个人脸的脸部图像序列中确定出所述目标人脸的所述目标脸部图像序列。

10.根据权利要求1至9任一项所述的方法，其中，所述方法还包括：

确定所述多张脸部区域图像的图像质量；

所述对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像，包括：

在未确定出所述目标脸部区域图像的情况下，在所述目标脸部图像序列中，对未进行人脸识别且图像质量最高的第一脸部区域图像进行人脸识别；

响应于确定所述第一脸部区域图像的人脸识别结果的置信度超过预设阈值，确定所述第一脸部区域图像为所述目标脸部区域图像。

11.根据权利要求10所述的方法，其中，所述对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像，还包括：

响应于确定所述目标脸部图像序列中的所有脸部区域图像的人脸识别结果的置信度均小于预设阈值，确定具有最大置信度的第二脸部区域图像；

将所述第二脸部区域图像作为所述目标脸部区域图像。

12.一种人脸识别装置，包括：

目标脸部图像序列确定模块，用于确定目标人脸的目标脸部图像序列，所述目标脸部图像序列包括所述目标人脸的多张脸部区域图像；

目标脸部区域图像确定模块，用于对所述目标脸部图像序列中的至少一张脸部区域图像进行人脸识别，并基于所述至少一张脸部区域图像的人脸识别结果的置信度确定所述目标脸部图像序列中的目标脸部区域图像；

身份信息确定模块，用于基于所述目标脸部区域图像的人脸识别结果，确定所述目标人脸的身份信息。

13.根据权利要求12所述的装置，其中，所述目标脸部图像序列包括从视频流的多帧图像中提取出的所述目标人脸的所述多张脸部区域图像。

14.根据权利要求12或13所述的装置，其中，所述装置还包括脸部图像序列生成模块，用于：

基于获取的视频流中的每一帧图像进行人脸检测；

对于检测到的所述视频流中多个人脸中的每一个人脸，

基于所述视频流对该人脸进行跟踪，确定该人脸在所述视频流的多帧图像中的脸部区域图像；

基于该人脸在所述视频流的多帧图像中的脸部区域图像，生成该人脸的脸部图像序列。

15.根据权利要求14所述的装置，其中，所述目标脸部图像序列确定模块具体用于：

确定所述目标人脸在所述视频流的多帧图像中的脸部区域图像为所述目标人脸的多张备选脸部区域图像；

确定所述多张备选脸部区域图像的图像质量；

按照图像质量对所述多张备选脸部区域图像排序，得到第一序列；

基于所述第一序列确定所述目标脸部图像序列。

16.根据权利要求15所述的装置，其中，所述目标脸部图像序列确定模块进一步用于：

将所述第一序列的第一子序列确定为所述目标脸部图像序列，所述第一子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

17.根据权利要求15所述的装置，其中，所述目标脸部图像序列确定模块进一步用于：

按照所述第一序列中的所述多个备选脸部区域图像在所述视频流中的对应时序，对所述第一序列进行稀疏化处理，得到第二序列，其中，所述第二序列中任意相邻的备选脸部区域图像在的间隔大于预设时间间隔阈值；

根据所述第二序列确定所述目标脸部图像序列。

18.根据权利要求17所述的装置，其中，所述目标脸部图像序列确定模块进一步用于：

将所述第二序列的第二子序列确定为所述目标脸部图像序列，所述第二子序列包括符合预设的图像质量要求的预设数目的备选脸部区域图像。

19.一种电子设备，所述设备包括存储器、处理器，其中，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至11任一所述的方法。

20.一种计算机可读存储介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现权利要求1至11任一所述的方法。

21.一种计算机程序，包括计算机可读代码，当所述计算机可读代码在电子设备中的处理器上运行时，所述处理器执行用于实现权利要求1至11任一所述的方法。

Images