CN112364825B - 用于人脸识别的方法、装置和计算机可读存储介质 - Google Patents

Abstract

公开了一种用于对用户进行人脸识别的方法，包括：持续采集多个模态的图像；确定在第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第一标准；如果满足第一标准，则将在该第一采集阶段期间所采集的候选图像传送至人脸识别服务器；如果不满足第一标准，则确定在该第一采集阶段或第二采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第二标准，第二标准低于第一标准；以及如果满足第二标准，则将在该第一采集阶段或第二采集阶段期间所采集的候选图像传送至该人脸识别服务器。本申请还涉及其它方法、装置和计算机可读存储设备。本申请的多阶段人脸识别方法能够更准确、高效地对用户进行人脸识别。

Description

用于人脸识别的方法、装置和计算机可读存储介质

技术领域

本说明书的一个或多个实施例涉及人脸识别，尤其涉及用于人脸识别的方法、装置和计算机可读存储介质。

背景技术

目前，使用生物特征识别来识别用户越来越普遍。人脸识别，又称面部识别、人像识别、刷脸等，是生物特征识别的一种重要形式。

然而，在实际应用中，存在影响人脸识别成功率的许多因素。例如，光线过曝、光线过暗、佩戴帽子或口罩、头发过长、存在其它遮挡、用户看摄像头的角度过大等等，都可能使采集到的图像中的人脸质量过差而导致无法准确识别人脸。

为解决这一问题，通常人脸识别设备会延长采集用户的图像的时间，以期望在延长的时间段中能够采集到质量足够好的图像。有些时候，人脸识别设备还会提示用户去除影响人脸识别的因素，例如摘掉帽子或口罩、拨开头发、调整看摄像头的角度等等。

然而，由于环境本身的因素(例如环境光线过亮或过暗)或者由于用户不愿意配合(例如用户不愿意摘掉帽子或口罩或者调整角度等)，延长采集时间也无法采集到满足质量要求的图像。

因此，需要一种能够准确、高效地进行人脸识别的方案。

发明内容

为了克服现有技术的缺陷，本说明书的一个或多个实施例提供了能够准确、高效地识别具有识别意愿的用户的方案。

本说明书的一个或多个实施例通过以下技术方案来实现其上述目的。

在一个方面中，公开了一种用于对用户进行人脸识别的方法，包括：持续采集多个模态的图像；确定在第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第一标准；如果满足所述第一标准，则将在所述第一采集阶段期间所采集的候选图像传送至人脸识别服务器；如果不满足所述第一标准，则确定在所述第一采集阶段或第二采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第二标准，所述第二标准低于所述第一标准；以及如果满足所述第二标准，则将在所述第一采集阶段或第二采集阶段期间所采集的候选图像传送至所述人脸识别服务器。

优选地，确定是否满足第一标准包括确定满足第一采集阶段的模态质量要求的模态数量是否大于等于第二模态数量阈值；以及确定是否满足第二标准包括确定满足第二采集阶段的模态质量要求的模态数量是否大于等于第二模态数量阈值。

优选地，所述第一模态数量阈值大于所述第二模态数量阈值。

优选地，对于每个模态，当在所述第一采集阶段期间所采集的该模态的图像的人脸质量综合分大于等于第一质量分数阈值时，该模态满足第一采集阶段模态质量要求；对于每个模态，当在所述第一采集阶段或第二采集阶段期间所采集的该模态的人脸质量综合分大于等于第二质量分数阈值时，该模态满足第二采集阶段模态质量要求。

优选地，所述第一质量分数阈值大于所述第二质量分数阈值。

优选地，所述候选图像包括每个模态的人脸质量综合分大于等于相应质量分数阈值的第一个图像。

优选地，所述候选图像包括每个模态的具有最高人脸质量综合分的图像。

优选地，所述方法还包括：如果不满足所述第二标准，则使对所述用户的此次人脸识别过程失败。

优选地，所述方法还包括：接收来自所述人脸识别服务器的继续上传指示；以及基于所述继续上传指示，将可用图像上传至所述人脸识别服务器。

优选地，所述可用图像在所述第一采集阶段或所述第二采集阶段之后采集的图像。

优选地，所述方法还包括：接收来自所述人脸识别服务器的人脸识别结果。

优选地，所述方法还包括：提取所述候选图像中的人脸的特征；以及将所述人脸的特征作为候选特征代替候选图像传送至所述人脸识别服务器。

优选地，所述多个模态的图像包括二维图像、三维图像和红外图像。

在另一方面，公开了一种由人脸识别服务器执行的用于对用户进行人脸识别的方法，包括：接收来自人脸识别设备的候选图像或候选特征；设置继续上传指示并将所述继续上传指示传送至所述人脸识别设备；以及接收来自所述人脸识别设备的可用图像或可用特征，所述可用图像或可用特征是由所述人脸识别设备基于所述继续上传指示传送的。

优选地，所述继续上传指示是基于所述候选图像或候选特征的。

优选地，所述方法还包括：基于所述候选图像或候选特征或者所述可用图像或可用特征，执行人脸识别以获得人脸识别结果；以及将所述人脸识别的结果传送至所述人脸识别设备。

在又一方面，公开了一种用于对用户进行人脸识别的装置，包括：一个或多个摄像头，所述一个或多个摄像头用于捕捉多个模态的图像；存储器；以及处理器，所述处理器被配置成执行如权利要求1-13中任一项所述的方法。

在又一方面，公开了一种用于对用户进行人脸识别的服务器，包括：存储器；以及处理器，所述处理器被配置成执行如权利要求14-16中任一项所述的方法。

在又一方面中，公开了一种存储指令的计算机可读存储介质，该指令当被计算机执行时，使所述计算机执行上述方法。

与现有技术相比，通过多阶段识别，本说明书实施例能够在图像质量较好时执行人脸识别，同时又允许在人脸质量欠佳时仍有可能执行人脸识别。

附图说明

以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。

图1示出可用于实现本说明书实施例的方法的示例设备的示意图。

图2示出根据本说明书实施例的用于人脸识别的示例方法的流程图。

图3示出根据本说明书的实施例的在持续采集多个模态的图像的示例过程的示意图。

图4示出根据本说明书实施例的用于确定所采集的多个模态的图像的待识别人脸的人脸质量是否满足标准的示例过程的流程图。

图5示出根据本说明书实施例的用于对于一模态确定该模态的图像是否满足模态质量要求的示例过程的流程图。

图6示出根据本说明书实施例的用于人脸识别的另一示例方法的流程图。

图7示出根据本说明书的实施例的用于进行人脸识别的过程的示意图。

图8示出根据本说明书实施例的服务器侧的用于人脸识别的示例方法的流程图。

图9示出根据本说明书的实施例的用于对用户进行人脸识别的示例装置的框图。

具体实施方式

以下具体实施方式的内容足以使任何本领域技术人员了解本说明书的一个或多个实施例的技术内容并据以实施，且根据本说明书所揭露的说明书、权利要求及附图，本领域技术人员可轻易地理解本说明书的一个或多个实施例相关的目的及优点。

如上文所述，人脸识别已被广泛应用于各种场景。人脸识别大致可被分为两类，一类是使用用户自己的移动设备(例如智能手机、平板等)进行人脸识别(可被称为线上人脸识别)，另一类是使用商品/服务提供方的设备进行人脸识别，例如在刷脸支付、刷脸打卡、银行或其它机构处的刷脸识别等等(可被称为线下人脸识别)。在这两类场景中，尤其是在后一类场景中，有时候会存在影响人脸识别成功率的许多因素。例如，光线过曝、光线过暗、佩戴帽子或口罩、头发过长、存在其它遮挡、用户看摄像头的角度过大等等，都可能使采集到的图像中的人脸质量过差而导致无法准确识别人脸。

为解决这一问题，通常人脸识别设备会延长采集用户的图像的时间，以期望在延长的时间段中能够采集到质量足够好的图像。有些时候，人脸识别设备还会提示用户去除影响人脸识别的因素，例如摘掉帽子或口罩、拨开头发、调整看摄像头的角度等等。

然而，由于环境本身的因素(例如环境光线过亮或过暗)或者由于用户不愿意配合(例如用户不愿意摘掉帽子或口罩或者调整角度等)，延长采集时间也无法采集到满足质量要求的图像，导致人脸识别失败。

参考图1，其示出了可用于实现本说明书实施例的方法的示例设备100的示意图。

支付设备100通常可包括处理器和存储器。存储器可用于存储由摄像头捕捉的图像数据(例如多模态图像数据)，还可存储其它数据，例如用户面部特征、人体部件特征等。所述存储器还可用于存储用于执行上述方法的各操作的代码。处理器可执行存储在存储器中的指令，以执行如本文所述的各种操作。

此外，支付设备100还可包括一个或多个摄像头104。摄像头104可被用于捕捉该摄像头的捕捉范围内的图像。例如，摄像头104可被用于捕捉其捕捉范围内的用户的人脸和/或人体部件(例如头、颈、肩、臂、手等)。又例如，摄像头104可被用于捕捉其捕捉范围内的商品的二维码等来识别商品。摄像头104还可被用于捕捉其它信息。该一个或多个摄像头104可包括用于捕捉各种模态的图像的摄像头，例如用于捕捉二维图像的普通二维摄像头或RGB摄像头，辅助捕捉三维图像的深度摄像头，用于捕捉红外图像的红外摄像头等。该一个或多个摄像头104还可包括用于捕捉其它模态的图像的摄像头。该一个或多个摄像头还可包括用于捕捉其它信息的摄像头，例如用于捕捉商品条码或二维码的摄像头，以及用于捕捉用户的二维码的摄像头。

支付设备100可包括网络连接设备，例如可包括通过有线连接或无线连接来连接到其它设备(例如服务器，如人脸识别服务器)的网络连接设备。该无线连接例如可以为WiFi连接、蓝牙连接、3G/4G/5G网络连接等。

如图1所示，支付设备100可选地包括显示屏102。此显示屏可用于显示各种信息，例如用户购买的商品和/或服务的信息、用户所使用的第三方支付平台的信息、用户需要支付的金额信息等等。该显示屏还可用于显示用户身份信息。该显示屏还可用于显示提示信息，例如提示用户将其面部对准摄像头的信息。当该显示屏为触摸屏时，该显示屏还可显示按钮(例如供用户确认的按钮)和输入元素(例如供用户输入身份证号或其它信息的输入框)等。

支付设备100还可选地包括扫码器，其可用于扫描例如商品的二维码等等。

该装置还可包括其它元件，例如键盘和鼠标等。

应当领会，尽管在上文中将人脸识别设备描述为线下人脸识别设备(例如支付设备100)，但本说明书的实施例可同样适用于线上人脸识别设备。例如，现在人脸识别被广泛应用于智能电话，以对电话进行解锁、账户登录、支付授权等等。人脸识别设备还被应用于智能门锁等其它领域。这些具有人脸识别功能的设备均可被认为是人脸识别设备。

参考图2，其示出了根据本说明书实施例的用于人脸识别的示例方法200的流程图。在本说明书的实施例中，与现有技术的单阶段采集不同，可首先执行第一采集阶段采集，如果第一采集阶段采集失败，可执行第二采集阶段采集。第一采集阶段采集所使用的标准较为严格，而第二采集阶段采集所使用的标准则较第一采集阶段采集所使用的标准更宽松，从而允许即便在所采集的图像质量欠佳但仍满足基本要求的情况下，仍存在成功识别人脸的可能性。

如图2所示，方法200可包括：在步骤202，可持续采集多个模态的图像。持续采集图像的时间可基于后续步骤。例如，可在采集到满足标准的图像时结束(例如可在后文中的第一采集阶段或第二采集阶段期间采集到满足标准的多个模态的图像时结束)，也可在无需继续采集图像的其它时间结束(例如在第二采集阶段采集结束后)。

参考图3，其示出了根据本说明书的实施例的在持续采集多个模态的图像的示例过程300的示意图。

如图3所示，过程300可包括：可选地，在操作302，可由人脸识别设备接收对用户的人脸识别请求。该人脸识别请求例如可以是由用户发起的。例如，用户可点击人脸识别设备100上的“人脸识别”按钮、“刷脸支付”按钮等，以便向人脸识别设备发送人脸识别请求。

替代地，该人脸识别请求也可以不是由用户发起的。例如，例如，可由商品或服务提供方的收银员可以在收银台处点击“刷脸支付”或类似按钮来发起请求。

过程300还可包括：在操作304，可通过人脸识别设备的一个或多个摄像头采集多个模态的图像。

例如，可由人脸识别设备的一个或多个摄像头来采集多个模态的图像。

信息的模态可以指信息的表现形式。多个模态的图像可以指多种不同形式的图像。多个模态的图像的示例可包括但不限于二维图像、三维图像、红外图像、多光谱图像、荧光图像、超声图像、断层扫描图像等等。在人脸识别领域，二维图像、三维图像和红外图像较多地被采用，但根据具体情形也可采用其他模态的图像。

在本说明书的优选示例中，所采集的多个模态的图像可包括至少三个模态的图像。例如，所述多个模态的图像可包括二维图像、三维图像、红外图像。例如，二维图像可以是通过普通摄像头来采集的。三维图像可以是通过深度摄像头或普通摄像头/深度摄像头组合采集的。红外图像可以是通过红外摄像头采集的。还可包括用其它类型的摄像头或传感器采集的其它模态的图像。

也可用本领域技术人员能够设想的其它合适方式来采集多个模态的图像。

在优选示例中，所采集的图像为视频帧。视频通常为连续时间序列图像(视频帧)的组合。可由人脸识别设备的一个或多个摄像头来捕获多个模态的视频。

替代地，所采集的图像也可以不是视频帧。例如，可按照特定时间间隔拍摄图像。

在本领域中，采集图像也可被称为捕捉图像、拍摄图像、拍摄视频(在图像为视频帧的情况下)、拍照、录像等等。

所采集的图像可被存储或缓存在人脸识别设备的存储器中。该存储器可以是持久存储器(例如硬盘)或瞬态存储器(例如内存)。

通常，对于每个模态将采集多个图像。例如，可采集二维图像M2D-1、M2D-2……M2D-N，可采集三维图像M3D-1、M3D-2……M3D-N，且可采集红外图像MIR-1、MIR-2……MIR-N。虽然在上例中所采集的每个模态的图像的数量被描述为相同(均为N)，但各个模态的图像的数量也可能不同。

过程300还可包括：在操作306，在所采集的多个模态的图像中检测人脸。

可采用本领域技术人员已知的任何其它方式来在多个模态的图像中检测人脸。例如，只要在该多个模态的一个模态的图像中检测到人脸，就认为检测到人脸。在其它示例中，只有在该多个模态的至少阈值数量(例如2)的模态的图像中检测到人脸，才认为检测到人脸。

例如，可采用机器学习算法来在图像中检测人脸。也可采用本领域已知的任何其它合适方法来在图像中检测人脸。

在检测到人脸之后，为了在多个模态的图像以及在同一模态的不同图像中跟踪人脸，可为所检测到的人脸分配跟踪标识符(TrackID)。对于同一人脸，在多个不同模态的图像中以及在同一模态的不同图像中(例如在不同视频帧中)，该人脸具有不变的TrackID。如果在图像中检测到不同人脸，可为不同人脸分配TrackID。

可基于任何算法分配TrackID。例如，可基于伪随机数算法来生成TrackID。所生成的唯一标识符可与该人脸的特征相关联，也可与该人脸的特征无关。通过TrackID，人脸识别设备100可以在不同帧间中跟踪人脸，以便于对同一人脸进行标识。例如，如果当前帧和上一帧的所有感兴趣区域(ROI)中最接近的感兴趣区域的中心的距离小于一阈值，则认为这两个感兴趣区域中的人脸对应于同一人脸，即两者具有相同的TrackID。可使用本领域已知的其它方式分配并跟踪TrackID，在此不再赘述。

在一些情况下，可能在一个或多个模态的图像中检测到多个人脸。例如，可能多个用户正在人脸识别设备100前排队。或者，可能其它用户正在围观或者恰好路过等等。在此情况下，通常要为每张人脸分配TrackID。

在本实施例的方法的各步骤中，人脸识别设备将基于为每个人脸分配的TrackID来人脸。

在一些示例中，在检测人脸之前、期间或之后，可应用各种技术来设置摄像头采集图像的参数，以便获得高质量的图像。例如，可采用人脸自动曝光(Face AE)技术，来自动设置曝光参数。Face AE技术是本领域技术人员已知的，在此不再赘述。

在检测到人脸之后，人脸识别设备100通常可将检测到的人脸区域标识为感兴趣区域(ROI)。该感兴趣区域例如可被表示为图像帧中的人脸框。

过程300还可包括：可选地，在操作308，在检测到多个人脸的情况下，可在所检测到的多个人脸中选择待识别人脸。

如果在多个模态的图像中检测到多个人脸，可对该多个模态的每个模态的图像进行人脸选择。对人脸的选择例如可以基于多个策略。例如，可选择最靠近图像中心的人脸。替代地，可选择图像中所占面积最大的人脸。或者，可选择图像中最清晰的人脸，等等。

在一个示例中，每个模态的图像中的人脸选择是独立的。随后，再在每个模态中所选择的人脸中进行选择(例如同样基于人脸距图像中心的距离)，从而选择出单个待识别人脸。

在另一示例中，组合地选择每个模态的图像中的人脸。例如，可首先在一个模态的图像中执行人脸选择，并在其它模态的图像中选择相同的人脸，作为待识别人脸。或者，可同时考虑多个模态的图像，并综合多个图像来选择待识别人脸。

在过程300中，还可执行其它操作，例如活体检测等，在此不再赘述。

通过以上描述的过程300，人脸识别设备采集(且通常缓存)多个模态的图像，其中对于每个模态通常采集(且通常缓存)了多个图像，并且选择了待识别的人脸。

方法200还可包括：在步骤204，可确定在第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第一标准。

在一个示例中，所述第一采集阶段可以由第一预定义时间长度(例如半分钟、1分钟、3分钟等等)限定。例如，可在第一采集阶段开始时(例如开始捕捉第一图像时或者开始第一次人脸检测时)设置计时器，并在第一预定义时间长度的计时器期满之后结束该第一采集阶段采集。

在另一示例中，所述第一采集阶段可以由人脸识别设备捕捉第一预定义数量(例如，500个、1000个、2000个等)的图像限定。例如，可在第一采集阶段开始时设置计数器，并且采集到该第一预定义数量的图像数量之后结束该第一采集阶段采集。根据需要，该数量可按照总数或者某模态的图像数量计算。

优选地，确定是否满足第一标准可包括确定人脸质量分数大于第一质量分数阈值的模态数量是否大于等于第一模态数量阈值。类似地，确定是否满足第二标准包括确定满足第二采集阶段的模态质量要求的模态数量是否大于等于第二模态数量阈值。下面在介绍中通常以第一采集阶段为例，但应理解，以下手段同样适用于其它采集阶段。

参考图4，其示出了根据本说明书实施例的用于确定所采集的多个模态的图像的待识别人脸的人脸质量是否满足标准的示例过程400的流程图。以下以第一采集阶段为例进行说明，但此过程也适用于用于其它采集阶段。

过程400可包括：在操作402，对于每个模态，确定该模态的图像是否满足模态质量要求。

参考图5，其示出了根据本说明书实施例的用于对于一模态确定该模态的图像是否满足模态质量要求的示例过程500的流程图。

对于在第一采集阶段期间采集的每个模态的每个图像(例如，对于第一模态的图像M2D-1、M2D-2……M2D-N)，在操作502，确定该图像中的待识别人脸的人脸质量综合分。人脸质量综合分指示该图像中的人脸图像能被用于准确识别与该人脸相关联的用户的身份的概率。人脸质量综合分可基于图像的各种信息来确定。例如，人脸质量综合分可基于图像中的人脸的光线亮度、遮挡范围和遮挡位置、人脸角度、人脸完整度、图像是否模糊等特征。

优选地，可基于上述特征，使用深度学习网络来计算每个图像中的待识别人脸的人脸质量综合分。可采用本领域技术人员可设想的任何其它合适算法来确定人脸质量综合分，在此不再赘述。

例如，该人脸质量综合分可以是0-100分之间的分值。

优选地，在方法200中，还可包括循环缓存每个模态的人脸质量分数最高的图像。例如，对于每个模态的多个图像，在计算出当前图像的人脸质量综合分之后，可将当前图像的人脸质量综合分与现有最高人脸质量综合分进行比较(例如，现有最高人脸质量综合分在开始时可默认为0)。如果当前图像的人脸质量综合分大于等于现有最高人脸质量综合分，则将该当前图像作为该模态的人脸质量综合分最高的图像以替换现有图像，并将现有最高人脸质量综合分更新为该当前图像的人脸质量综合分；否则，保持现有人脸质量综合分及其对应图像不变。此过程可持续到第一采集阶段所采集的所有图像已经被处理完毕，或者可持续到已经找到该模态的满足第一质量分数阈值的图像为止(如下面参考步骤504所描述的)。

过程500还可包括：在操作504，将该在操作502确定的人脸质量综合分与质量分数阈值(对于第一采集阶段，该质量分数阈值为第一质量分数阈值)进行比较，以确定该人脸质量综合分是否大于该质量分数阈值。举例而言，该第一质量分数阈值可以是80分。根据实际情况，不同模态的质量分数阈值可以相同或者不同(例如各模态的第一质量分数阈值可均为90分，或者第一模态为90分，第二模态为95分，第三模态为93分等等)。对于每个模态，当在所述第一采集阶段期间所采集的该模态的图像的人脸质量综合分大于等于第一质量分数阈值时，该模态满足第一采集阶段模态质量要求。

如果该图像的待识别人脸的人脸质量综合分大于等于该第一质量分数阈值，则在操作506，认为该模态的图像满足该模态质量要求(对于第一采集阶段，该模态质量要求为第一采集阶段模态质量要求)。例如，如果一图像(例如M2D-2)的人脸质量综合分为98分，大于该第一质量分数阈值90分，则认为该模态的图像满足模态质量要求。在确定该模态的图像满足该模态质量要求后，可以停止处理该模态的图像，将该模态标识为满足模态质量要求，并将满足相应采集阶段的模态质量要求(例如，大于等于质量分数阈值)的第一个图像(可以理解，其也是该模态的人脸质量综合分最高的图像)作为该模态的候选图像。或者，也可以可选地在操作510继续处理在第一采集阶段期间采集的该模态的剩余图像，以便继续更新该模态的所有图像中具有最高人脸质量综合分的图像，作为该模态的候选图像。

如果该图像的待识别的人脸质量综合分小于该第一质量分数阈值，则在操作508，确定该模态的图像是否已被处理完毕(即，在第一采集阶段期间采集的该模态的图像的缓存是否已清空)。

如果该模态的图像的缓存没有清空，则在操作514，选择该模态的下一图像来重复以上步骤，直到找到满足该模态质量要求的图像。如果该模态的图像的缓存已被清空(该模态的图像均已被处理完毕)而仍没有找到大于等于第一质量分数阈值的图像，则在操作512可停止对该模态的处理，并将该模态标识为不满足模态质量要求。例如，如果一图像(例如M2D-2)的人脸质量综合分为87分，小于该第一质量分数阈值90分，则认为该张图像(M2D-2)为不合格图像，继续进行后续图像(M2D-3)的处理。而如果该图像(例如M2D-N)已经是该模态的最后一个图像且该图像仍为不合格图像，则可将该模态(例如模态M2)标识为不满足模态质量要求。

在替代实现中，可在计算出人脸质量综合分之后，首先更新现有最高人脸质量综合分及其对应图像数据(如上文描述的)，并随后将现有最高人脸质量综合分与第一质量分数阈值进行比较，对每个图像迭代执行上述步骤，直到找到大于等于第一质量分数阈值的图像或者处理完第一采集阶段采集的所有图像为止。

本领域技术人员可以领会，虽然上述两种实现的实现细节不同，但其原理是一样的。本领域技术人员可根据需要实现其它方案。

过程400还可包括：在操作404，待全部模态处理完毕后，将满足模态质量要求的模态数量与模态数量阈值(对于第一采集阶段，该模态为第一模态数量阈值；对于第二采集阶段，该模态为第二模态数量阈值，依此类推)进行比较，以确定满足模态质量要求的模态数量是否大于等于模态数量阈值。如果满足模态质量要求的模态数量大于模态数量阈值，则在操作406认为在所述第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第一标准，否则在操作408认为不满足第一标准。

在一个示例中，该第一模态数量阈值为2。也就是说，如果两个或更多个模态的图像满足模态质量要求，则认为满足第一标准，即第一采集阶段人脸质量判断的结果为通过。例如，假设人脸质量综合分的打分范围为0-100，三个模态的最高人脸质量综合分分别为93、92、53，且第一质量分数阈值为90，则此次第一采集阶段人脸质量满足第一标准。

在另一个示例中，只要有一个模态的图像的人脸质量分数大于或等于第一质量分数阈值，则第一采集阶段人脸质量满足第一标准(即模态数量阈值为1)。

在又一示例中，只有三个或更多个模态的图像的人脸质量分数大于或等于第一质量分数阈值，第一采集阶段人脸质量满足第一标准(即模态数量阈值为3或更多)。

方法200还可包括：如果在步骤204确定所述第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量满足第一标准，则可在步骤206将在所述第一采集阶段期间所采集的候选图像传送至人脸识别服务器。

例如，可通过由人脸识别服务器提供的接口，利用有线或无线网络将候选图像传送至人脸识别服务器。所传送的候选图像可仅包括满足模态质量要求的模态的候选图像。替代地，所传送的候选图像还可包括不满足模态质量要求的模态的候选图像，其中不满足模态质量要求的候选图像可以是该模态的具有最高人脸质量综合分的图像。

替代地，在步骤206中，所传送的不是候选图像，而是从候选图像提取的各模态的候选特征。例如，可对候选图像中的待识别人脸执行特征提取，并将所提取特征传送至服务器，以便服务器基于所提取的特征执行人脸识别。当存在多个人脸时，候选特征对应于所选择的人脸，选择人脸的细节可采用上文参考操作308的描述。

可使用本领域技术人员已知的任何方式来提取图像中的人脸的特征作为候选特征，在此不再赘述。

在步骤206中将候选图像传送至人脸识别服务器之后，采集过程可以结束(或暂时结束，且在接收到来自人脸识别服务器的继续上传指示之后重新开始)，而不执行第二采集阶段的采集。

过程200还可包括：如果在步骤204确定所述第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量不满足第一标准，在可在步骤208，可确定在第一采集阶段和/或第二采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第二标准。例如，优选地，可确定人脸质量分数大于第二质量分数阈值的模态数量是否大于等于第二模态数量阈值。

例如，可首先确定在第一采集阶段采集的图像(例如所循环缓存的人脸质量分数最高的图像)是否满足第二标准，如果不满足，则判断在第二采集阶段采集的图像是否满足第二标准。或者，可仅确定在第一采集阶段采集的图像是否满足第二标准。又或者，可仅确定在第二采集阶段采集的图像是否满足第二标准。

与第一采集阶段类似，在第一示例中，第二采集阶段可以由第二预定义时间长度(例如半分钟、1分钟、3分钟等等)限定。例如，可在第一采集阶段结束后或第二采集阶段开始时设置计时器，并在第二人预定义时间长度的计时器期满之后结束该第二采集阶段采集。第二预定义时间长度可与第一预定义时间长度相同或不同。例如，第二预定义时间长度可比第一预定义时间长度更长。

在第二示例中，所述第二采集阶段可以由人脸识别设备捕捉第二预定义数量(例如，500个、1000个、2000个等)的图像限定。例如，可在第一采集阶段结束后或第二采集阶段开始时设置计数器，并采集到该第二预定义数量的图像数量之后结束该第二采集阶段采集。第二预定义数量可与第一预定义数量相同或不同。例如，第二预定义数量可大于第一预定义数量。根据需要，该数量可按照总数或者某模态的图像数量计算。

判断在第二采集阶段采集的图像是否满足第二标准的步骤与步骤204的过程基本相同，可参考上面针对步骤204以及附图4和5的描述。具体而言，可将步骤204中的“第一质量分数阈值”替换为“第二质量分数阈值”，将“第一模态数量阈值”替换为“第二模态数量阈值”，将“第一标准”替换为“第二标准”，将“第一采集阶段”替换为“第二采集阶段”等等，并在必要时进行其它替换。

在本说明书实施例中，第二标准可低于第一标准。优选地，第二质量分数阈值可低于第一质量分数阈值。例如，第一质量分数阈值可以为90分，而第二质量分数阈值可以为80分。对于一模态，更高的质量分数阈值表明图像的人脸质量有更高的要求。

替代地，第二模态数量阈值可低于第一模态数量阈值。例如，第一模态数量阈值可以为3，而第二模态数量阈值可以为2。也就是说，对于第一采集阶段，需要3个或更多模态的图像满足模态质量要求，而对于第二采集阶段则仅需要2个或更多模态的图像满足模态质量要求。

通过以上方式，允许在第一采集阶段用更短的时间获得更高质量的图像以更快地执行人脸识别，同时允许在第二采集阶段获得满足基础要求的图像以便提升人脸识别的采集成功率。

方法200还可包括：如果在步骤208确定所述第一采集阶段和/或第二采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量满足第二标准，则可在步骤210将候选图像传送至人脸识别服务器以进行人脸识别。该候选图像可以是在第一采集阶段期间采集的，也可以是在第二采集阶段期间采集的。

优选地，将在两个采集阶段期间所循环缓存的每个模态的具有最高人脸质量综合分的图像作为该模态的候选图像。这种方式有助于获得质量更高的图像。

替代地，可将在一个采集阶段或两个采集阶段期间采集的每个模态的第一个大于第二质量分数阈值的图像作为该模态的候选图像。这种方式能够更快地获得满足第二标准的候选图像，从而有助于进行更快的识别。

同样地，所传送的也可以是从候选图像提取的候选特征。此步骤的操作的具体描述可参考步骤206，在此不再赘述。

方法200还可包括：如果在步骤208确定所述第一采集阶段和/或第二采集阶段所采集的多个模态的图像中的待识别人脸的人脸质量满足第二标准，则可在步骤212使得此次人脸识别过程失败。也就是说，当所采集的人脸质量甚至不满足较低的第二标准时，则可认为所采集的图像无法满足识别需要，使得人脸识别过程失败。

可以领会，通过上述方案，本发明允许在所采集的图像中的人脸质量很高的情况下，实现对人脸图像的快速上传和识别(例如仅需一个采集阶段)，而且在人脸质量欠佳但仍满足一定条件(介于第一标准和第二标准之间)的情况下，虽花费时间较长(例如需要第一采集阶段和第二采集阶段)，但仍可能实现对人脸的识别。

随后，如果在步骤206或在步骤210将候选图像(或者候选特征)传送至人脸识别服务器，则随后可从人脸识别服务器接收人脸识别结果(图2中未示出)。此过程可参考后文的描述。

人脸识别服务器有可能能够基于候选图像或候选特征识别出该人脸的用户身份，也有可能不能识别出该人脸的用户身份。在此示例中，无论如何，可将从人脸识别服务器接收的人脸识别结果作为最终结果。

参考图6，其示出了根据本说明书实施例的用于人脸识别的另一示例方法600的流程图。

流程600的操作602、604、606、608、610的描述可分别参考上文中针对操作202、204、206、208、210的描述。

不同在于，方法600还可包括，在步骤612，接收来自人脸识别服务器的继续上传指示。该继续上传指示可指示人脸识别服务器是否需要继续人脸识别设备继续上传图像或特征。

该继续上传指示可采取各种形式。例如，该继续上传指示可以为显式指示或隐式指示。显式的继续上传指示例如可以是明确表明需要或不需要继续上传图像的各种格式的数据。例如，该继续上传指示可以为二进制格式，其中1表示需要人脸识别设备继续上传图像或特征，而0则表示不需要人脸识别设备继续上传图像或特征。也可采取本领域技术人员可设想的任何其它合适格式。

隐式指示例如包括可由其推断出需要或不需要继续上传图像的数据。例如，人脸识别服务器可向人脸识别设备传送人脸识别失败指示。基于人脸识别失败指示，人脸识别设备可确定服务器需要人脸识别设备继续上传图像或特征。

人脸识别服务器设置继续上传指示的方法将在下文中详细描述。

方法600还可包括：在步骤614，确定该继续上传指示指示是否要继续上传图像或特征。

在指示不继续上传的情况下，方法600可包括：在步骤616，结束采集操作。例如，此时，人脸识别设备可接收来自人脸识别服务器的人脸识别结果。该人脸识别结果中例如可包括与该候选图像或候选特征相关联的用户的身份，此时人脸识别设备可利用所识别出的用户的身份执行后续操作。例如，在刷脸支付的情况下，可使用所识别出的用户的身份执行支付操作，等等。

或者，该人脸识别结果可包括对没有识别出用户的身份的指示，从而使该识别过程失败。

在指示继续上传的情况下，方法600可包括：在步骤618，将可用图像或可用特征传送至人脸识别服务器。

可用图像例如可以是人脸识别设备已采集但未处理的图像。例如，该图像可以是第一采集阶段或第二采集阶段之后采集的图像。优选地，对于每个模态可仅上传一个图像。例如，如果该模态中仍有多个未处理的图像，则可对该多个未处理的图像确定人脸质量综合分，并将人脸质量综合分最高的图像作为可用图像传送至服务器。

替代地，可用图像可以是在前面的操作期间(例如第一采集阶段期间和第二采集阶段期间)所采集的每个模态中具有最高人脸质量综合分的图像。例如，虽然可能在第一采集阶段和第二采集阶段期间所采集的图像并没有符合第一标准和第二标准，从而未在步骤606或步骤610中上传图像，但这些图像仍可作为可用图像，在接收到来自服务器的继续上传指示时，被传送至人脸识别服务器。

类似地，人脸识别设备可从可用图像中首先提取可用特征，并将可用特征而非可用图像传送至人脸识别服务器。

随后，人脸识别设备可接收人脸识别服务器对可用图像或可用特征的人脸识别结果。类似地，该人脸识别结果中例如可包括与该候选图像或候选特征相关联的用户的身份，此时人脸识别设备可利用所识别出的用户的身份执行后续操作。或者，该人脸识别结果可包括对没有识别出用户的身份的指示，从而使该识别过程失败。

通过上述过程，本发明将来自人脸识别服务器的反馈纳入考虑，从而能够更加全面稳妥准确地执行人脸。

虽然在上文中在图2中示出了两阶段人脸识别过程且在图6中示出了三阶段人脸识别过程(包括基于来自人脸识别服务器的继续上传指示的人脸识别过程)，但本领域技术人员完全可以领会，本发明可采用更多人脸识别阶段。例如，可以领会，本说明书实施例可包括多个类似于第一采集阶段和第二采集阶段的过程，其中每个采集阶段可采用不同的标准。这些类似于第一采集阶段和第二采集阶段的过程还可以被置于接收到来自继续上传指示之后执行，例如，在接收到人脸上传指示之后，不是上传可用图像，而是继续执行采用新标准的人脸采集和判断过程。或者，本说明书实施例可包括多个基于来自服务器的继续上传指示的人脸识别过程，此时人脸识别设备可基于继续上传指示继续采集图像并将可用图像或可用特征(例如可采用如上所述的方法确定)传送至人脸识别服务器以供识别。

简而言之，本说明书实施例中所描述的各个阶段可以根据需要任意组合，以便在识别时间、识别准确度、服务器需求等各方面符合需要。参考图7，其示出了根据本说明书的实施例的用于进行人脸识别的过程700的示意图。该过程700示出了人脸识别设备702(例如其可为如上所述的人脸识别设备100)和人脸识别服务器704之间的交互。在支付场景下，人脸识别服务器704例如可以是支付服务提供方服务器或服务器群。在其它场景下，人脸识别服务器704可以是对应的服务器或服务器群。通常，人脸识别服务器704存储或能够访问人脸数据库。人脸数据库通常存储与用户相关联的人脸数据。该人脸数据例如可包括各用户的人脸的各特征点的数据及其它相关数据。人脸数据库还可存储其它信息，例如用户身份信息等。

如图7所示，在操作705，人脸识别设备702采集并确定候选图像或候选特征。例如，人脸识别设备702可通过上面参考图2描述的过程200或参考图6描述的过程600中的相应步骤采集并确定候选图像或候选特征。

随后，在操作710，人脸识别设备702可将候选图像传送至人脸识别服务器704。例如，人脸识别设备702可利用人脸识别服务所提供的相关接口、通过有线或无线网络来将候选图像传送至人脸识别服务器704。

在有些方案中，不包括此步骤，例如图6中操作608的结果为否的情况下，此时，人脸识别服务器仍可执行一个或多个后续步骤。

在操作715，人脸识别服务器可基于候选图像或候选特征来确定用户的身份。

例如，当人脸识别服务器所接收的是候选图像的情况下，人脸识别服务器704可检测候选图像中的人脸，并提取所检测到的人脸的人脸特征。人脸特征例如可包括但不限于人脸的各特征点的数据等。

在存在多个人脸的情况下，人脸识别服务器704可在提取人脸特征前可首先选择要识别的人脸(此操作在图7中未示出)。在多个人脸中选择人脸可采用如上所述的各种预定义策略(例如基于距图像中心的位置等)。

随后，人脸识别服务器704可将从候选图像提取的候选特征或直接从人脸识别设备接收的候选特征与人脸数据库中存储的人脸特征进行比对，以标识所提取的人脸特征所对应的用户的身份。例如，可确定人脸数据库中与所提取的人脸特征相似度最高的人脸特征，从而将与该相似度最高的人脸特征相关联的用户的身份标识为与所提取的人脸特征相关联的用户的身份。此操作可采用任何适用算法(例如人工智能算法等)来执行。

虽然上文描述了人脸识别服务器704确定候选图像中的用户的身份的特定方法，但本发明的实施例不限于上述特定方法，而是可采用本领域已知的任何适用方法。

在操作720，人脸识别服务器704可设置继续上传指示。例如，人脸识别服务器704可按照预定义格式、通过有线或无线网络来将所标识的用户的身份返回给人脸识别设备702。

人脸识别服务器可基于多种标准来设置继续上传指示。例如，在人脸识别设备在操作606或操作610向人脸识别服务器传送了候选图像或候选特征的情况下，人脸识别服务器可对该候选图像或候选特征进行人脸识别以确认该候选图像或候选特征中的人脸的用户身份。

例如，在接收到候选图像的情况下，人脸识别服务器可对候选图像进行处理，以提取其中的候选人脸特征。在图像中包括多个人脸的情况下，人脸识别服务器可首先选择人脸。随后，人脸识别服务器可基于其基于候选图像确定的或者直接从人脸识别设备接收的人脸特征，来识别与其相对应的用户的身份。例如，人脸识别服务器可将其与人脸数据库中的人脸特征进行比对，以在人脸数据库中寻找与该候选人脸特征对应的人脸特征，并最终确定与其对应的用户的身份。或者，人脸识别服务器可采用其它算法(例如机器学习算法)来识别用户的身份。

人脸识别服务器在对候选图像或候选特征执行人脸识别可能成功也可能失败。在人脸识别服务器的人脸识别失败时，人脸识别服务器可确定人脸识别设备继续上传人脸。此时，人脸识别服务器可将该继续上传指示设置为是。

在人脸识别服务器的人脸识别成功时，人脸识别服务器可确定不需要人脸识别设备继续上传人脸。此时，人脸识别服务器可将该继续上传指示设置为否。

或者，人脸识别服务器可基于所接收的候选图像或候选特征执行活体检测。当人脸识别服务器的活体检测通过时，可将该继续上传指示设置为否，否则可将该继续上传指示设置为是。人脸识别服务器可采用本领域已知的各种算法来执行活体检测，在此不再赘述。

又或者，人脸识别服务器在对执行人脸识别时，可能可以识别出用户的身份(或几个候选身份)，但置信度比较低。此时，人脸识别服务器可将该继续上传指示设置为是。而当置信度比较高时，人脸识别服务器可将该继续上传指示设置为否。

即便在图像采集阶段人脸识别服务器没有接收到来自人脸识别设备的候选图像或候选特征(例如步骤608中的结果为否)，人脸识别服务器也可基于其它标准来设置继续上传指示。例如，人脸识别服务器可基于具体应用来设置继续上传指示。例如，在需要对正在进行人脸识别的人的图像进行备份的应用中，可设置继续上传指示。例如，在ATM机或其它需要防止滥用人脸识别设备的应用中，如果在前面的步骤中没有接收到候选图像或候选特征，可将继续上传指示设置为是，否则可将该继续上传指示设置为否。人脸识别服务器可基于本领域技术人员可设想的其它标准来设置继续上传指示。

替代地，人脸识别服务器可不设置并传送显式的继续上传指示，而是由人脸识别设备基于人脸识别结果推断出继续上传指示。

在操作725，人脸识别服务器704可将人脸识别结果和/或继续上传指示传送至人脸识别设备。

例如，在识别成功时，该人脸识别结果可以是所确定的用户的身份。在识别失败时，人脸识别结果可以是人脸识别失败的指示。

在由人脸识别设备基于人脸识别结果推断继续上传指示的情形中，也可不传送显式的继续上传指示。

如果继续上传指示(不管是显式还是隐式的)指示要继续上传图像或特征，则人脸识别设备702可在操作730确定可用图像或可用特征。例如，可采用上文描述的方法来确定可用图像或可用特征。

在操作735，人脸识别设备702可将可用图像或可用特征传送至人脸识别服务器。

在操作740，人脸识别服务器704可基于可用图像或可用特征来确定用户的身份。基于可用图像或可用特征确定用户的身份可与上面基于候选图像或候选特征确定用户的身份类似。

在操作745，人脸识别服务器704可将基于可用图像或可用特征执行人脸识别的人脸识别结果传送至人脸识别设备702。

随后，人脸识别设备可基于在人脸识别服务器在操作725或操作745传送的人脸识别结果来执行后续操作。

例如，在人脸识别结果中包括用户的身份的情况下，人脸识别设备702可用该身份来执行后续操作。在人脸识别结果为识别失败的情况下，人脸识别设备702可告知用户识别失败等等。

可以领会，根据具体情况，过程700中的一个或多个操作可不被执行。

参考图8，其示出了根据本说明书实施例的服务器侧的用于人脸识别的示例方法800的流程图。

方法800可包括：在操作802，由人脸识别服务器接收来自人脸识别设备的候选图像或候选特征。例如，该候选图像或候选特征可由人脸识别设备使用上文所述的操作来采集并确定。

方法800可包括：在操作804，由人脸识别服务器设置继续上传指示并将该继续上传指示传送至人脸识别设备。可采用如上文描述的任何方式来执行。设置继续上传指示通常可基于候选图像或候选特征。在一些示例中，也可不基于候选图像或候选特征，如上文所描述的。如前所述，在一些示例中，所述继续上传指示可以为显式指示或隐式指示。

方法800可包括：在可选操作806，由人脸识别服务器接收来自人脸识别设备的可用图像或可用特征。例如，该可用图像或可用特征可由人脸识别设备基于继续上传指示来传送。

方法800可包括：在可选操作808，由人脸识别服务器基于候选图像或候选特征或者可用图像或可用特征，执行人脸识别以得到人脸识别的结果。例如，可确定要识别的用户的身份。或者，可确定人脸识别失败。

方法800可包括：在操作810，由人脸识别服务器将人脸识别的结果传送至人脸识别设备。

参考图9，其示出了根据本说明书的实施例的用于对用户进行人脸识别的示例装置900的框图。

该装置可包括一个或多个摄像头910；存储器915；以及处理器920，所述处理器被配置成执行如上所述的任何方法。

例如，对用户进行人脸识别的装置可以类似于上面描述的支付设备100。该装置的该一个或多个摄像头可用于持续地或者按照其它规则来预采集图像，且可用于捕捉待识别图像。用于预采集图像的摄像头可与用于捕捉待识别图像的摄像头相同或不同。该一个或多个摄像头可包括用于捕捉各种模态的图像数据的摄像头，例如普通二维摄像头或RGB摄像头，深度摄像头，红外摄像头等等。该一个或多个摄像头还可包括用于捕捉其它信息的摄像头，例如用于捕捉商品条码或二维码的摄像头，以及用于捕捉用户的二维码的摄像头。

所述存储器可用于存储由摄像头捕捉的图像，还可存储其它数据，例如用户人脸特征、人体部件特征等。所述存储器还可用于存储用于执行上述方法的各操作的代码。

该装置还可选地包括显示屏925，优选地可包括触摸屏。此显示屏可用于显示各种信息，例如用户购买的商品和/或服务的信息、用户所使用的第三方支付平台的信息、用户需要支付的金额信息等等。该显示屏还可用于显示用户身份信息。该显示屏还可用于显示提示信息，例如提示用户将其面部对准摄像头的信息。当该显示屏为触摸屏时，该显示屏还可显示按钮(例如供用户确认的按钮)和输入元素(例如供用户输入身份证号、手机号或其它信息的输入框)等。

该装置还可选地包括扫码器930，其可用于扫描例如商品的二维码等等。

该装置可包括网络连接设备935，例如可包括通过有线连接或无线连接来连接到其它设备(例如服务器，如人脸识别服务器)的网络连接设备。该无线连接例如可以为WiFi连接、蓝牙连接、3G/4G/5G网络连接等。例如，网络连接设备935可被用来向人脸识别服务器传送候选图像/候选特征或者可用图像/可用特征，以及从人脸识别服务器接收继续上传指示、人脸识别结果等。网络连接设备935还可执行其它数据交换操作。

该装置还可包括其它外围元件940，例如键盘和鼠标等。

这些模块中的每一者可彼此直接或间接通信，例如，经由一条或多条总线(例如总线905)。

类似地，还公开了用于对用户进行人脸识别的示例服务器。该示例服务器可参考上面对图9的描述。例如，该示例服务器可包括存储器和处理器。该存储器可存储数据(例如所接收的图像或特征)以及用于执行如上所述的任何方法的指令。在一些示例中，该存储器还可存储人脸数据库。该处理器可执行存储器中存储的指令以执行如上所述的任何方法。

该示例服务器通常还可包括通过有线连接或无线连接来连接到其它设备(例如人脸识别设备)的网络连接设备。网络连接设备可被用来从人脸识别设备接收候选图像/候选特征或者可用图像/可用特征，以及向人脸识别设备传送继续上传指示、人脸识别结果等。网络连接设备还可执行其它数据交换操作，例如访问位于其它服务器中的人脸数据库等。

该示例服务器可包括或不包括图9中所示的其它元件，例如摄像头、显示屏、扫码器、其它外围元件等。

而且，本申请还公开了一种包括存储于其上的计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。

此外，本申请还公开了一种装置，该装置包括处理器以及存储有计算机可执行指令的存储器，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。

此外，本申请还公开了一种系统，该系统包括用于实现本文所述的各实施例的方法的装置。

可以理解，根据本说明书的一个或多个实施例的方法可以用软件、固件或其组合来实现。

应该理解，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参考即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参考方法实施例的部分说明即可。

应该理解，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

应该理解，本文用单数形式描述或者在附图中仅显示一个的元件并不代表将该元件的数量限于一个。此外，本文中被描述或示出为分开的模块或元件可被组合为单个模块或元件，且本文中被描述或示出为单个的模块或元件可被拆分为多个模块或元件。

还应理解，本文采用的术语和表述方式只是用于描述，本说明书的一个或多个实施例并不应局限于这些术语和表述。使用这些术语和表述并不意味着排除任何示意和描述(或其中部分)的等效特征，应认识到可能存在的各种修改也应包含在权利要求范围内。其他修改、变化和替换也可能存在。相应的，权利要求应视为覆盖所有这些等效物。

同样，需要指出的是，虽然已参照当前的具体实施例来描述，但是本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本说明书的一个或多个实施例，在没有脱离本发明精神的情况下还可做出各种等效的变化或替换，因此，只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。

Claims (19)

1.一种用于对用户进行人脸识别的方法，包括：

持续采集多个模态的图像；

确定在第一采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第一标准，包括确定满足第一采集阶段的模态质量要求的模态数量是否大于等于第一模态数量阈值；

如果满足所述第一标准，则将在所述第一采集阶段期间所采集的候选图像传送至人脸识别服务器；

如果不满足所述第一标准，则确定在所述第一采集阶段或第二采集阶段期间所采集的多个模态的图像中的待识别人脸的人脸质量是否满足第二标准，包括确定满足第二采集阶段的模态质量要求的模态数量是否大于等于第二模态数量阈值，所述第二标准低于所述第一标准；以及

如果满足所述第二标准，则将在所述第一采集阶段或第二采集阶段期间所采集的候选图像传送至所述人脸识别服务器。

2.如权利要求1所述的方法，其中所述第一模态数量阈值大于所述第二模态数量阈值。

3.如权利要求1所述的方法，其中：

对于每个模态，当在所述第一采集阶段期间所采集的该模态的图像的人脸质量综合分大于等于第一质量分数阈值时，该模态满足第一采集阶段模态质量要求；

对于每个模态，当在所述第一采集阶段或第二采集阶段期间所采集的该模态的人脸质量综合分大于等于第二质量分数阈值时，该模态满足第二采集阶段模态质量要求。

4.如权利要求3所述的方法，其中所述第一质量分数阈值大于所述第二质量分数阈值。

5.如权利要求1所述的方法，其中所述候选图像包括每个模态的人脸质量综合分大于等于相应质量分数阈值的第一个图像。

6.如权利要求1所述的方法，其中所述候选图像包括每个模态的具有最高人脸质量综合分的图像。

7.如权利要求1所述的方法，还包括：

如果不满足所述第二标准，则使对所述用户的此次人脸识别过程失败。

8.如权利要求1所述的方法，还包括：

接收来自所述人脸识别服务器的继续上传指示；以及

基于所述继续上传指示，将可用图像上传至所述人脸识别服务器。

9.如权利要求8所述的方法，所述可用图像在所述第一采集阶段或所述第二采集阶段之后采集的图像。

10.如权利要求1所述的方法，还包括：

接收来自所述人脸识别服务器的人脸识别结果。

11.如权利要求1所述的方法，还包括：

提取所述候选图像中的人脸的特征；以及

将所述人脸的特征作为候选特征代替候选图像传送至所述人脸识别服务器。

12.如权利要求1所述的方法，所述多个模态的图像包括二维图像、三维图像和红外图像。

13.一种由人脸识别服务器执行的用于对用户进行人脸识别的方法，包括：

接收来自人脸识别设备的候选图像或候选特征，其中所述候选图像或候选特征是在如权利要求1-12中任一项所述的方法的第一采集阶段或第二采集阶段采集或提取的；

设置继续上传指示并将所述继续上传指示传送至所述人脸识别设备；以及

接收来自所述人脸识别设备的可用图像或可用特征，所述可用图像或可用特征是由所述人脸识别设备基于所述继续上传指示传送的。

14.如权利要求13所述的方法，其中所述继续上传指示是基于所述候选图像或候选特征的。

15.如权利要求13所述的方法，还包括：

基于所述候选图像或候选特征或者所述可用图像或可用特征，执行人脸识别以获得人脸识别结果；以及

将所述人脸识别的结果传送至所述人脸识别设备。

16.一种用于对用户进行人脸识别的装置，包括：

一个或多个摄像头，所述一个或多个摄像头用于捕捉多个模态的图像；

存储器；以及

处理器，所述处理器被配置成执行如权利要求1-12中任一项所述的方法。

17.一种用于对用户进行人脸识别的服务器，包括：

存储器；以及

处理器，所述处理器被配置成执行如权利要求13-15中任一项所述的方法。

18.一种存储指令的计算机可读存储介质，所述指令当被计算机执行时，使所述计算机执行如权利要求1-12中任一项所述的方法。

19.一种存储指令的计算机可读存储介质，所述指令当被计算机执行时，使所述计算机执行如权利要求13-15中任一项所述的方法。

Images