CN111160066B - 人脸识别方法、装置、设备和介质 - Google Patents

Abstract

本发明公开了一种人脸识别方法、装置、设备和介质。该方法包括：步骤一，对获取的第一帧进行人脸识别，记录第一帧的人脸识别结果；步骤二，更新质量约束条件，并发送更新后的质量约束条件；步骤三，获取包括待识别人脸的第二帧；步骤四，对第二帧进行人脸识别，记录第二帧的人脸识别结果；步骤五，判断在已记录的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；若是，将达到预设阈值的作为最终人脸识别结果，并发送最终人脸识别结果；若否，再次更新质量约束条件，并发送再次更新后的质量约束条件，获取下一帧，针对下一帧返回步骤四，直至发送最终人脸识别结果。应用本发明，可以提高人脸识别的效率和准确性。

Description

人脸识别方法、装置、设备和介质

技术领域

本发明涉及信息处理领域，尤其涉及一种人脸识别方法、装置、设备和介质。

背景技术

人脸识别技术在多个方面有广阔的应用前景。如在公共安全、电子商务、娱乐化应用等诸多方面。随着近年来视频采集设备如手机的普及和视觉技术的发展，人脸识别在很多方面已经具备实际使用的条件。

在人脸比对的应用中，通常需要现场采集一张待比对人脸的图像，再将这张人脸图像与预先注册的用户的图像库进行比对，以得到比对相似度的结果，进行人脸识别。然而，人脸识别受很多因素的影响，例如环境光照、图像质量、被识别人与摄像头的角度等。当检测到用户人脸时，用户的图像质量可能很差，单独的一帧图像可能难以正确识别注册用户。但是若对采集的多帧人脸图像逐一识别会浪费一定的传输和存储，则降低人脸识别的效率和准确性。

发明内容

本发明实施例一种人脸识别方法、装置、设备和介质，能够提高人脸识别的效率和准确性。

根据本发明实施例的一方面，提供一种人脸识别方法，该方法包括：

步骤一，获取包括待识别人脸的第一帧和第一帧的质量评估结果，第一帧的质量评估结果满足预设的质量约束条件；

步骤二，对第一帧进行人脸识别处理，得到并记录第一帧的人脸识别结果；

步骤三，基于第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件；

步骤四，获取包括待识别人脸的第二帧和第二帧的质量评估结果，第二帧的质量评估结果满足更新后的质量约束条件；

步骤五，对第二帧进行人脸识别处理，得到并记录第二帧的人脸识别结果；

步骤六，判断在已记录的包括待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；

若是，将个数达到预设阈值的人脸识别结果作为待识别人脸的最终人脸识别结果，并发送最终人脸识别结果；

若否，基于第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件，获取包括待识别人脸的下一帧和下一帧的质量评估结果，针对下一帧返回步骤五，直至发送最终人脸识别结果。

根据本发明实施例的另一方面，提供一种人脸识别方法，方法包括：

步骤一，基于预设的质量约束条件，确定包括待识别人脸的第一帧和第一帧的质量评估结果；

步骤二，发送第一帧和第一帧的质量评估结果；

步骤三，接收更新后的质量约束条件，并基于更新后的质量约束条件确定包括待识别人脸的第二帧和第二帧的质量评估结果；

步骤四，发送第二帧和第二帧的质量评估结果；

步骤五，若接收到待识别人脸的最终人脸识别结果，则展示最终人脸识别结果；

步骤六，若接收到再次更新的质量约束条件，则基于再次更新的质量约束条件确定包括待识别人脸的下一帧和下一帧的质量评估结果，针对下一帧返回步骤四，直至展示最终人脸识别结果。

根据本发明实施例的再一方面，提供一种人脸识别装置，装置包括：

获取模块，用于获取包括待识别人脸的第一帧和第一帧的质量评估结果，第一帧的质量评估结果满足预设的质量约束条件；

人脸识别模块，用于对第一帧进行人脸识别处理，得到并记录第一帧的人脸识别结果；

质量约束条件更新模块，用于基于第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件；

获取模块，还用于获取包括待识别人脸的第二帧和第二帧的质量评估结果，第二帧的质量评估结果满足更新后的质量约束条件；

人脸识别模块，还用于对第二帧进行人脸识别处理，得到并记录第二帧的人脸识别结果；

判断模块，用于判断在已记录的包括待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；

若是，将个数达到预设阈值的人脸识别结果作为待识别人脸的最终人脸识别结果，并发送最终人脸识别结果；

若否，判断模块控制质量约束条件更新模块基于第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件；

获取模块，还用于获取包括待识别人脸的下一帧和下一帧的质量评估结果，发送下一帧和下一帧的质量评估结果至人脸识别模块，直至判断模块发送最终人脸识别结果。

根据本发明实施例的再一方面，提供一种人脸识别装置，装置包括：

确定模块，用于基于预设的质量约束条件，确定包括待识别人脸的第一帧和第一帧的质量评估结果；

发送模块，用于发送第一帧和第一帧的质量评估结果；

处理模块，用于接收更新后的质量约束条件，并控制确定模块基于更新后的质量约束条件确定包括待识别人脸的第二帧和第二帧的质量评估结果；

发送模块，还用于发送第二帧和第二帧的质量评估结果；

处理模块，还用于若接收到待识别人脸的最终人脸识别结果，则展示最终人脸识别结果；

处理模块，还用于若接收到再次更新的质量约束条件，则控制确定模块基于再次更新的质量约束条件确定包括待识别人脸的下一帧和下一帧的质量评估结果，并将下一帧和下一帧的质量评估结果发送至发送模块，直至处理模块展示最终人脸识别结果。

根据本发明实施例的再一方面，提供一种人脸识别设备，该设备包括：处理器以及存储有计算机程序指令的存储器；

处理器执行计算机程序指令时实现如本发明实施例提供的人脸识别方法。

根据本发明实施例的再一方面，提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令，计算机程序指令被处理器执行时实现如本发明实施例提供的人脸识别方法。

根据本发明实施例中的人脸识别方法、装置、设备和介质，通过利用利用逐步严格的质量约束条件筛选出满足不同质量约束条件的多个待识别人脸的图像，得到待识别人脸的最终识别结果，提高了人脸识别的准确性和效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出本发明实施例提供的人脸识别系统的架构示意图；

图2是示出本发明实施例提供的人脸识别方法的流程示意图；

图3是示出本发明实施例提供的人脸识别方法的流程示意图；

图4是示出本发明实施例提供的人脸识别装置的结构示意图；

图5是示出本发明实施例提供的人脸识别装置的结构示意图；

图6示出了根据本发明实施例的人脸识别设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了更好的理解本发明，下面将结合附图，详细描述根据本发明实施例的人脸识别方法、装置、设备和介质，应注意，这些实施例并不是用来限制本发明公开的范围。

图1示出根据本发明实施例的人脸识别系统的架构示意图。如图1所示，人脸识别系统包括客户端110、服务端120和网络130。

在本发明的实施例中，客户端110为各种可以直接获取人脸图像的电子设备，包括但不限于智能手机、平板电脑、个人电脑等。

在本发明的实施例中，服务端120是具有较强计算和存储能力，并能够访问预先建立的人脸数据库的设备。

在本发明的实施例中，网络130用于在客户端110和服务端120之间提供通信链路的介质。网络130可以包括各种连接类型，例如有线、无线通信链路或光纤电缆等。对于图1中的终端和服务端的数目仅是示意性，根据实际需求可以具有任意数目的客户端和服务端。

在本发明的实施例中，当客户端110检测到新的待识别人脸时，对该新的待识别人脸分配唯一标识，对该待识别人脸进行跟踪，以便后续可以根据该标识采集同一待识别人脸的多张图像，实现根据多帧图像得到待识别人脸的识别结果。

客户端110对待识别人脸分配标识之后，为了提高人脸识别的准确性和效率，对检测到的待识别人脸进行转正，并截取转正后的人脸，获得转正后的待识别人脸的图像。优选的，客户端110在采集每张待识别人脸的图像之前，均对待识别人脸进行转正。

为了节省资源，客户端110将对待识别人脸图像的质量进行筛选，避免服务端120对采集的待识别人脸的每一帧图像进行识别。客户端110对采集的包括待识别人脸的待评估图像进行质量评估，得到待评估图像的质量评估结果。

在一些示例中，待识别人脸的图像的质量评估结果为质量评分或质量等级等可以区分图像质量的信息。

在本发明的实施例中，首先，客户端110将待识别人脸的待评估图像的质量评估结果与客户端预设的质量约束条件进行比较。若待识别人脸的待评估图像的质量评估结果满足预设的质量约束条件，则将该待评估图像作为包括待识别人脸的第一帧。

需要说明的是，客户端110在选取包括待识别人脸的第一帧的过程中，客户端110的质量约束条件为预设的。作为一个示例，待识别人脸的图像的质量评估结果用质量评分表示，质量评分在[0，1]之间。则预设的质量约束条件可以为：质量评分大于0.5。也就是说，当采集的待识别人脸的待评估图像的质量评分大于0.5时，则将该待评估图像作为第一帧。

若当前采集的待识别人脸的待评估图像的质量评估结果不满足预设的质量约束条件，则重新采集待识别人脸的待评估图像，直至重新采集的待评估图像的质量评估结果满足预设的质量约束条件，即直至获取包括待识别人脸的第一帧。

在本发明的实施例中，当客户端110获取包括待识别人脸的第一帧之后，发送第一帧和第一帧的质量评估结果至服务端120。服务端120接收包括待识别人脸的第一帧和第一帧的质量评估结果。然后，服务端120对第一帧进行人脸识别处理，得到第一帧的人脸识别结果，并记录第一帧的人脸识别结果。

在一些示例中，服务端120接收客户端110发送的待识别人脸的图像后，则对该图像的待识别人脸进行特征提取。然后将提取的人脸特征与预先建立的人脸库中的人脸图像进行人脸特征匹配，获取当前待识别人脸的图像的人脸识别结果。

作为一个示例，将第一帧与预设的人脸库中的每一张人脸图像进行匹配，若第一帧与人脸库中A用户的人脸图像的匹配度大于预设的匹配阈值，则认为第一帧中的待识别人脸为A用户。

作为一个具体示例，匹配度的取值范围可以为[-1，1]，预设匹配阈值为0.2。也就是说，若第一帧与A用户的人脸图像的匹配度大于0.2，则可以认为第一帧的人脸识别结果为A用户。

为了提高人脸识别的准确度，本发明实施例将根据多帧包括待识别人脸的图像决定待识别人脸的最终识别结果。因此当获取并记录第一帧的人脸识别结果之后，服务端120将基于第一帧的质量评估结果更新质量约束条件，并将更新后的质量约束条件发送至客户端110。

在一些示例中，更新后的质量约束条件中的质量评分阈值大于第一帧的质量评估结果中的质量评分。作为一个示例，若第一帧的质量评分为0.6，则更新后的质量约束条件为：质量评分大于0.7。即更新后的质量约束条件中的质量评分阈值0.7大于第一帧的质量评分0.6。

作为另一个示例，如果第一帧的人脸识别结果为未注册，即查询不到数据库中有采集的待识别人脸的用户。此时，第一帧与人脸库的匹配阈值小于预设匹配阈值，可以把约束条件进一步严格，例如将更新后的质量约束条件更新设置为：质量评分比第一帧的质量评分大0.2。若第一帧的质量评分为0.6，则更新后的质量约束条件为质量评分大于0.8。

由于待识别人脸所处环境的光照强度和待识别人脸的拍摄角度等信息也会对人脸识别的精确度和效率产生影响，因此在本发明的一些实施例中，更新后的质量约束条件还包括以下信息中的至少一种：待识别人脸所处环境的预设光照强度范围、待识别人脸的预设拍摄角度范围。

作为一个示例，根据预设的质量评分与光照强度的对应关系、预设的质量评分与拍摄角度的对应关系以及第一帧的质量评分，可以得出更新后的质量约束条件中待识别人脸所处环境的光照强度范围以及待识别人脸的拍摄角度范围。

例如，若第一帧的质量评分大于0.7，则可以将光照强度和拍摄角度进一步严格限制，从而挑选出质量更好的待识别人脸的图像，从而提高人脸识别的精确度，减少客户端向服务端上传的图像的个数，以节省资源。

在本发明的一些实施例中，当客户端110接收更新后的质量约束条件之后，客户端110根据待识别人脸的标识跟踪待识别人脸，采集一帧包括同一个待识别人脸的待评估图像，并对该待评估图像进行质量评估。

若上述待评估图像的质量评估结果满足基于第一帧的质量评估结果更新的质量约束条件，则将该待评估图像作为包括待识别人脸的第二帧。

若上述待评估图像的质量评估结果不满足基于第一帧的质量评估结果更新的质量约束条件，则重新采集待评估图像，直至重新采集的待评估图像的质量评估结果满足基于第一帧的质量评估结果更新的质量约束条件。

为了保证能够充分获取有效的高质量人脸图像，在本发明的一些实施例中，客户端不必等服务端返回更新的质量约束条件之后再采集包括待识别人脸的待评估图像。客户端向服务端发送包括待识别人脸的第一帧之后，即可以开始持续采集包括待识别人脸的待评估帧。

客户端110对采集的待评估帧进行质量评估，得到待评估帧的质量评估结果。若待评估帧的质量评估结果中的质量评分大于客户端已有帧的质量评估结果中的质量评分，则将该待评估帧作为待选帧。

其中，客户端已有帧是指客户端已保存的待选帧。此处可以将大于客户端预设的质量约束条件的待评估帧作为第一个待选帧。然后，将质量评分大于已保存的所有待选帧的质量评分的待评估帧作为新的待选帧。也就是说，当前待选帧的质量评分需要大于上一待选帧的质量评分。

当客户端110接收到基于第一帧的质量评估结果更新的质量约束条件之后，客户端110判断在保存的待选帧中，是否存在满足基于第一帧的质量评估结果更新的质量约束条件的待选帧。

若存在一个满足基于第一帧的质量评估结果更新的质量约束条件的待选帧，则将该待选帧作为包括待识别人脸的第二帧。

若存在多个满足基于第一帧的质量评估结果更新的质量约束条件的待选帧，则从上述多个待选帧中任意选取一个待选帧或选取质量评分最高的待选帧作为第二帧。

若不存在满足基于第一帧的质量评估结果更新的质量约束条件的待选帧，则继续采集包括待识别人脸的待评估帧，直至确定满足基于第一帧的质量评估结果更新的质量约束条件的待评估帧，并将该待评估帧作为包括待识别人脸的第二帧。

在本发明的一些实施例中，为了节省资源，客户端110可以不保存所有待选帧，只保存最新获取的待选帧，即客户端110可以用最新的待选帧覆盖之前确定的待选帧。

当客户端110接收到基于第一帧的质量评估结果更新的质量约束条件后，直接判断最新确定的待选帧是否满足基于第一帧的质量评估结果更新的质量约束条件。若满足，则将该待选帧作为包括待识别人脸的第二帧。若不满足，则继续采集包括待识别人脸的待评估帧，直至确定满足基于第一帧的质量评估结果更新的质量约束条件的待评估帧。

在本发明的实施例中，当客户端110确定第二帧和第二帧的质量评估结果后，将包括待识别人脸的第二帧和第二帧的质量评估结果发送至服务端120。其中，第二帧的质量评估结果满足基于第一帧的质量评估结果更新的质量约束条件。

服务端120接收第二帧和第二帧的质量评估结果后，对第二帧进行人脸识别处理，得到并记录第二帧的人脸识别结果。

然后，服务器120判断在已记录的包括待识别人脸的所有帧的人脸识别结果中，即第一帧的人脸识别结果和第二帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值。

在本发明的实施例中，人脸识别结果不同时，对应的预设阈值不同。例如，人脸识别结果为未注册用户对应的预设阈值，与人脸识别结果为已注册用户对应的阈值不同。

在本发明的一些实施例中，为了提高对未注册用户识别的准确性，人脸识别结果为未注册用户对应的预设阈值，大于人脸识别结果为已注册用户对应的阈值。作为一个具体示例，人脸识别结果为未注册用户对应的预设阈值为5。人脸识别结果为已注册用户对应的预设阈值为2。

在本发明的实施例中，由于人脸识别受很多因素的影响，为了保证人脸识别的准确性，服务端120将根据包括待识别人脸的多帧图像的人脸识别结果，确定待识别人脸的最终人脸识别结果。

若在已记录的包括待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数达到预设阈值，将个数达到预设阈值的人脸识别结果作为待识别人脸的最终人脸识别结果，并发送最终人脸识别结果至客户端110。客户端110接收最终人脸识别结果后，展示待识别人脸的最终人脸识别结果。

作为一个具体示例，待识别人脸的第一帧的人脸识别结果为已注册的B用户，待识别人脸的第二帧的人脸识别结果也为已注册的B用户，则相同的人脸识别结果的个数已达到预设阈值2，此时服务端返回待识别人脸的最终人脸识别用户为已注册的B用户。

若在已获取的包括待识别人脸的人脸识别结果中，相同的人脸识别结果的个数未达到预设阈值，基于第二帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件至客户端110。

作为一个具体示例，待识别人脸的第一帧的人脸识别结果为未注册，待识别人脸的第二帧的人脸识别结果也为未注册，则相同的人脸识别结果为未注册，但此时相同的人脸识别结果的个数并未达到未注册对应的预设阈值5，则服务端120将基于第二帧的质量评估结果更新质量约束条件。

在本发明的实施例中，服务端120基于第二帧的质量评分结果再次更新质量约束条件之后，发送该再次更新的质量约束条件至客户端110。客户端110接收基于第二帧的质量评估结果更新的质量约束条件，并确定满足该再次更新的质量约束条件的待识别人脸的第三帧。

相类似的，再次更新后的质量约束条件中的质量评分阈值，大于第二帧的质量评估结果中的质量评分。

值得一提的是，对于服务端来说，可以将服务端接收的需要进行人脸识别处理的包括待识别人脸的图像作为当前帧，将基于当前帧的质量评分结果更新后的质量约束条件称为更新后的质量约束条件。

因此，对于服务端发送的任一更新后的质量约束条件，该更新后的质量约束条件中的质量评分阈值，大于当前帧的质量评分评估结果中的质量评分。

换句话说，更新后的质量约束条件中的质量评分阈值，大于服务端的已有帧的质量评估结果中的质量评分。其中，服务端的已有帧是指服务端已经接收的所有包括待识别人脸的图像。

在一些示例中，与确定第二帧的方法相类似，客户端110在接收到基于第二帧的质量评估结果更新的质量约束条件之后，采集包括待识别人脸的待评估帧，并从采集的待评估帧中确定满足基于第二帧的质量评估结果更新的质量约束条件的待评估帧，并将该待评估帧作为待识别人脸的第三帧。

在另一些示例中，与确定第二帧的方法相类似，当客户端发送第二帧和第二帧的质量评估结果之后，客户端开始持续采集包括待识别人脸的待评估帧，并从待评估图像中确定待选帧。当接收到基于第二帧的质量评估结果再次更新的质量约束条件之后，客户端110从保存的待选帧中选取满足基于第二帧的质量评估结果更新的质量约束条件的第三帧。

按照与处理上述第二帧相类似的方法，服务端120可以获取包括待识别人脸的第三帧、第四帧等满足相应的质量约束条件的多帧图像，直至服务端120确定并发送待识别人脸的最终人脸识别结果至客户端110。客户端110接收最终人脸识别结果后，展示待识别人脸的最终人脸识别结果。

在本发明的实施例中，服务端120根据包括待识别人脸的多帧的人脸识别结果，确定客户端是否需要继续上传待识别人脸的图像，不需要存储一定量的图像，可以避免不必要的资源浪费。

值得一提的是，对于客户端来说，可以将需要向服务器发送的待识别人脸的图像称为当前帧，则客户端接收的更新后的质量约束条件是根据当前帧的上一帧的质量评估结果更新的质量约束条件。

对于客户端来说，除了向服务端发送的第一帧之外，需要向服务端发送的每一帧均可以称为当前帧。

在一些示例中，当客户端接收到更新后的质量约束条件之后，客户端采集包括待识别人脸的待评估帧。然后，客户端对待评估帧进行质量评估，得到待评估帧的质量评估结果。客户端判断待评估帧的质量评估结果是否满足更新后的质量约束条件。若满足，则将待评估帧确定为当前帧。若不满足，则重新采集待评估帧，直至确定重新采集的待评估帧的质量评估结果满足更新后的质量约束条件，即直至确定当前帧。

利用上述方法，客户端可以利用更新后的质量约束条件确定每一个需要向服务端发送的当前帧。

在另一些示例中，为了能够得到更多的高质量的有效帧，客户端发送当前帧的上一帧和上一帧的质量评估结果之后，即开始持续采集包括待识别人脸的待评估帧。若待评估帧的质量评估结果中的质量评分大于客户端已有帧的质量评估结果中的质量评分，则将该待评估帧作为待选帧。

当客户端110接收到更新后的质量约束条件之后，客户端选取满足更新后的质量约束条件的待选帧作为当前帧。

利用上述示例中的方法，客户端也可以确定每一个需要向服务端发送的当前帧，且能够避免丢失质量高的有效帧。

在本发明的一些实施例中，服务端120每次在更新质量约束条件时，还可以根据服务端已有帧的质量评估结果和服务端已有帧的人脸识别结果更新质量约束条件。

作为一个示例，服务端120根据已有帧的质量评估结果和已有帧的人脸识别结果中匹配值的波动信息，更新质量约束条件。

作为一个具体示例，若服务端120获取了5帧包括待识别人脸的图像，则已有帧即为上述5帧图像。对于上述5帧的每一帧与预设的人脸库均具有一个匹配值。如果这5帧的匹配值之间有较大波动，则更新后的质量约束条件中质量评分的阈值，可以设置为比已有帧的质量评分中最大的质量评分大0.1。如果这5帧的匹配值之间没有较大波动，即位于预设波动范围内，则更新后的质量约束条件中质量评分的阈值，可以设置为比已有帧的质量评分中最大的质量评分大0.05。也就是说，当存在已有帧的人脸识别结果较大波动时，可以进一步严格质量约束条件。

在本发明的一些实施例中，服务端不仅可以返回待识别人脸的最终人脸识别结果至客户端，也可以在发送更新后的质量约束条件的同时发送当前帧的人脸识别结果至客户端，以使客户端的用户可以时刻看到识别进度，提高用户的良好体验。其中，此处的当前帧也为服务端需要进行人脸识别的待识别人脸的图像。

在本发明的一些实施例中，客户端也可以不需要等待服务端返回数据之后再上传图像至服务端。当客户端获取到比之前帧质量评分更高的图像之后，可以立即将质量评分更高的图像上传至服务端。

由于客户端无法保证服务端返回时间，例如，客户端连续上传第一帧、第二帧和第三帧数据之后，客户端才接收到服务端对第一帧的人脸识别结果。所以可以给客户端设定一个阈值，当超过一定阈值后不再上传。例如连续质量评分超过0.9的图像帧获取到5次，则客户端停止上传图像至服务端。利用此种方法，客户端在接收到服务端对第一帧的人脸识别结果之间，可以实时采集到第二帧和第三帧等有效帧，避免丢失有效数据。

基于上述过程，本发明实施例提供的应用于客户端侧的人脸识别方法，可以归纳为如图2示出的步骤。图2示出根据本发明实施例提供的应用于客户端侧的人脸识别方法的流程图。如图2所示，本发明实施例中应用于客户端侧的人脸识别方法200包括以下步骤：

S210，基于预设的质量约束条件，确定包括待识别人脸的第一帧和第一帧的质量评估结果。

S220，发送第一帧和第一帧的质量评估结果；

S230，接收更新后的质量约束条件，并基于更新后的质量约束条件确定包括待识别人脸的第二帧和第二帧的质量评估结果；

S240，发送第二帧和第二帧的质量评估结果；

S250，若接收到待识别人脸的最终人脸识别结果，则展示最终人脸识别结果。

S260，若接收到再次更新的质量约束条件，则基于再次更新的质量约束条件确定包括待识别人脸的下一帧和下一帧的质量评估结果，针对下一帧返回S240，直至展示最终人脸识别结果。

在本发明的实施例中，当接收到更新后的质量约束条件之后以及发送当前帧和当前帧的质量评估结果之前，人脸方法还包括：

采集包括待识别人脸的第一待评估帧；

对第一待评估帧进行质量评估，得到第一待评估帧的质量评估结果；

判断第一待评估帧的质量评估结果是否满足更新后的质量约束条件；

若满足，则将第一待评估帧确定为当前帧；

若不满足，则重新采集第一待评估帧，直至确定重新采集的第一待评估帧的质量评估结果满足更新后的质量约束条件。

在本发明的实施例中，在发送当前帧的上一帧以及上一帧的质量评估结果之后和发送当前帧以及当前帧的质量评估结果之前，方法还包括：

持续采集包括待识别人脸的第二待评估帧，并对第二待评估帧进行质量评估，得到第二待评估帧的质量评估结果；

确定第二待评估帧的质量评估结果中的质量评分大于客户端已有帧的质量评估结果中的质量评分，将第二待评估帧作为待选帧，并保存待选帧；

接收更新后的质量约束条件，确定存在满足更新后的质量约束条件的待选帧；

将任一满足更新后的质量约束条件的待选帧确定为当前帧。

基于上述过程，本发明实施例提供的应用于服务端侧的人脸识别方法，可以归纳为如图3示出的步骤。图3示出根据本发明实施例提供的应用于服务端侧的人脸识别方法的流程图。如图3所示，本发明实施例中应用于服务端侧的人脸识别方法300包括以下步骤：

S310，获取包括待识别人脸的第一帧和第一帧的质量评估结果，第一帧的质量评估结果满足预设的质量约束条件。

S320，对第一帧进行人脸识别处理，得到并记录第一帧的人脸识别结果。

S330，基于第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件。

S340，获取包括待识别人脸的第二帧和第二帧的质量评估结果，第二帧的质量评估结果满足更新后的质量约束条件。

S350，对第二帧进行人脸识别处理，得到并记录第二帧的人脸识别结果。

S360，判断在已记录的包括待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；

S370，若是，将个数达到预设阈值的人脸识别结果作为待识别人脸的最终人脸识别结果，并发送最终人脸识别结果。

S380，若否，基于第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件，获取包括待识别人脸的下一帧和下一帧的质量评估结果，针对下一帧返回S350，直至发送最终人脸识别结果。

在本发明的实施例中，更新质量约束条件时，根据已有帧的质量评估结果和已有帧的人脸识别结果更新质量约束条件。

在本发明的实施例中，更新后的质量约束条件中包括质量评分阈值，质量评分阈值大于已有帧的质量评估结果中的质量评分；

更新后的质量约束条件还包括以下信息中的至少一种：

待识别人脸所处环境的预设光照强度范围、待识别人脸的预设拍摄角度范围。

在本发明的实施例中，发送更新后的质量约束条件时，发送当前帧的人脸识别结果至客户端。

在本发明的实施例中，若人脸识别结果为未注册，则预设阈值为5，若人脸识别结果为已注册用户，则预设阈值为2。

本发明实施例提供的人脸识别方法，通过筛选满足质量约束条件的图像上传至服务端，提高了人脸识别的效率，且节省了资源。并且，通过不断严格质量约束条件，可以提高对人脸识别的准确率。

图4示出了根据本发明一实施例提供的人脸识别装置的结构示意图。如图4所示，人脸识别装置400包括：

确定模块410，用于基于预设的质量约束条件，确定包括待识别人脸的第一帧和第一帧的质量评估结果。

发送模块420，用于发送第一帧和第一帧的质量评估结果。

处理模块430，用于接收更新后的质量约束条件，并控制确定模块410基于更新后的质量约束条件确定包括待识别人脸的第二帧和第二帧的质量评估结果。

发送模块420，还用于发送第二帧和第二帧的质量评估结果。

处理模块430，还用于若接收到待识别人脸的最终人脸识别结果，则展示最终人脸识别结果。

处理模块430，还用于若接收到再次更新的质量约束条件，则控制确定模块410基于再次更新的质量约束条件确定包括待识别人脸的下一帧和下一帧的质量评估结果，并将下一帧和下一帧的质量评估结果发送至发送模块420，直至处理模块430展示最终人脸识别结果。

根据本发明实施例的人脸识别装置的其他细节与以上结合图2描述的根据本发明实施例的方法类似，在此不再赘述。

图5示出了根据本发明一实施例提供的人脸识别装置的结构示意图。如图5所示，人脸识别装置500包括：

获取模块510，用于获取包括待识别人脸的第一帧和第一帧的质量评估结果，第一帧的质量评估结果满足预设的质量约束条件。

人脸识别模块520，用于对第一帧进行人脸识别处理，得到并记录第一帧的人脸识别结果。

质量约束条件更新模块530，用于基于第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件。

获取模块510，还用于获取包括待识别人脸的第二帧和第二帧的质量评估结果，第二帧的质量评估结果满足更新后的质量约束条件。

人脸识别模块520，还用于对第二帧进行人脸识别处理，得到并记录第二帧的人脸识别结果。

判断模块540，用于判断在已记录的包括待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值。

若是，将个数达到预设阈值的人脸识别结果作为待识别人脸的最终人脸识别结果，并发送最终人脸识别结果。

若否，判断模块540控制质量约束条件更新模块530基于第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件。

获取模块510，还用于获取包括待识别人脸的下一帧和下一帧的质量评估结果，发送下一帧和下一帧的质量评估结果至人脸识别模块520，直至判断模块540发送最终人脸识别结果。

根据本发明实施例的人脸识别装置的其他细节与以上结合图3描述的根据本发明实施例的方法类似，在此不再赘述。

本发明实施例提供的人脸识别装置，通过有效利用多帧待识别人脸的图像，实现对待识别人脸的实时识别和准确识别。

结合图2至图5描述的根据本发明实施例的人脸识别方法和装置可以由人脸识别设备来实现。图6是示出根据发明实施例的人脸识别设备的硬件结构600示意图。

如图6所示，本实施例中的人脸识别设备600包括：处理器601、存储器602、通信接口603和总线610，其中，处理器601、存储器602、通信接口603通过总线610连接并完成相互间的通信。

具体地，上述处理器601可以包括中央处理器(CPU)，或者特定集成电路(ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器602可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器602可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器602可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器602可在人脸识别设备600的内部或外部。在特定实施例中，存储器602是非易失性固态存储器。在特定实施例中，存储器602包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

通信接口603，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线610包括硬件、软件或两者，将人脸识别设备600的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线610可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

也就是说，图6所示的人脸识别设备600可以被实现为包括：处理器601、存储器602、通信接口603和总线610。处理器601、存储器602和通信接口603通过总线610连接并完成相互间的通信。存储器602用于存储程序代码；处理器601通过读取存储器602中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于执行本发明任一实施例中的人脸识别方法，从而实现结合图2至图5描述的人脸识别方法和装置。

本发明实施例还提供一种计算机存储介质，该计算机存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现本发明实施例提供的人脸识别方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (12)

1.一种人脸识别方法，所述方法包括：

步骤一，获取包括待识别人脸的第一帧和所述第一帧的质量评估结果，所述第一帧的质量评估结果满足预设的质量约束条件；

步骤二，对所述第一帧进行人脸识别处理，得到并记录所述第一帧的人脸识别结果；

步骤三，基于所述第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件；

步骤四，获取包括所述待识别人脸的第二帧和所述第二帧的质量评估结果，所述第二帧的质量评估结果满足所述更新后的质量约束条件；

步骤五，对所述第二帧进行人脸识别处理，得到并记录所述第二帧的人脸识别结果；

步骤六，判断在已记录的包括所述待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；

若是，将个数达到所述预设阈值的人脸识别结果作为所述待识别人脸的最终人脸识别结果，并发送所述最终人脸识别结果；

若否，基于所述第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件，获取包括所述待识别人脸的下一帧和所述下一帧的质量评估结果，针对所述下一帧返回步骤五，直至发送所述最终人脸识别结果。

2.根据权利要求1所述的方法，其特征在于，更新质量约束条件时，根据已有帧的质量评估结果和已有帧的人脸识别结果更新质量约束条件。

3.根据权利要求1所述的方法，其特征在于，更新后的质量约束条件中包括质量评分阈值，所述质量评分阈值大于已有帧的质量评估结果中的质量评分；

所述更新后的质量约束条件还包括以下信息中的至少一种：

所述待识别人脸所处环境的预设光照强度范围、所述待识别人脸的预设拍摄角度范围。

4.根据权利要求1所述的方法，其特征在于，发送更新后的质量约束条件时，发送当前帧的人脸识别结果至客户端。

5.根据权利要求1所述的方法，其特征在于，若人脸识别结果为未注册，则所述预设阈值为5，若人脸识别结果为已注册用户，则所述预设阈值为2。

6.一种人脸识别方法，所述方法包括：

步骤一，基于预设的质量约束条件，确定包括待识别人脸的第一帧和所述第一帧的质量评估结果；

步骤二，发送所述第一帧和所述第一帧的质量评估结果；

步骤三，接收更新后的质量约束条件，并基于所述更新后的质量约束条件确定包括所述待识别人脸的第二帧和所述第二帧的质量评估结果；

步骤四，发送所述第二帧和所述第二帧的质量评估结果；

步骤五，若接收到所述待识别人脸的最终人脸识别结果，则展示所述最终人脸识别结果；

步骤六，若接收到再次更新的质量约束条件，则基于所述再次更新的质量约束条件确定包括所述待识别人脸的下一帧和所述下一帧的质量评估结果，针对所述下一帧返回步骤四，直至展示所述最终人脸识别结果。

7.根据权利要求6所述的方法，其特征在于，当接收到更新后的质量约束条件之后以及发送当前帧和所述当前帧的质量评估结果之前，所述方法还包括：

采集包括所述待识别人脸的第一待评估帧；

对所述第一待评估帧进行质量评估，得到所述第一待评估帧的质量评估结果；

判断所述第一待评估帧的质量评估结果是否满足所述更新后的质量约束条件；

若满足，则将所述第一待评估帧确定为当前帧；

若不满足，则重新采集第一待评估帧，直至确定所述重新采集的第一待评估帧的质量评估结果满足所述更新后的质量约束条件。

8.根据权利要求6所述的方法，其特征在于，在发送当前帧的上一帧以及所述上一帧的质量评估结果之后和发送当前帧以及所述当前帧的质量评估结果之前，所述方法还包括：

持续采集包括所述待识别人脸的第二待评估帧，并对所述第二待评估帧进行质量评估，得到所述第二待评估帧的质量评估结果；

确定所述第二待评估帧的质量评估结果中的质量评分大于客户端已有帧的质量评估结果中的质量评分，将所述第二待评估帧作为待选帧，并保存所述待选帧；

接收更新后的质量约束条件，确定存在满足更新后的质量约束条件的所述待选帧；

将任一满足所述更新后的质量约束条件的所述待选帧确定为当前帧。

9.一种人脸识别装置，所述装置包括：

获取模块，用于获取包括待识别人脸的第一帧和所述第一帧的质量评估结果，所述第一帧的质量评估结果满足预设的质量约束条件；

人脸识别模块，用于对所述第一帧进行人脸识别处理，得到并记录所述第一帧的人脸识别结果；

质量约束条件更新模块，用于基于所述第一帧的质量评估结果更新质量约束条件，并发送更新后的质量约束条件；

所述获取模块，还用于获取包括所述待识别人脸的第二帧和所述第二帧的质量评估结果，所述第二帧的质量评估结果满足所述更新后的质量约束条件；

所述人脸识别模块，还用于对所述第二帧进行人脸识别处理，得到并记录所述第二帧的人脸识别结果；

判断模块，用于判断在已记录的包括所述待识别人脸的所有帧的人脸识别结果中，相同的人脸识别结果的个数是否达到预设阈值；

若是，将个数达到所述预设阈值的人脸识别结果作为所述待识别人脸的最终人脸识别结果，并发送所述最终人脸识别结果；

若否，所述判断模块控制所述质量约束条件更新模块基于所述第二帧的质量评估结果再次更新质量约束条件，并发送再次更新后的质量约束条件；

所述获取模块，还用于获取包括所述待识别人脸的下一帧和所述下一帧的质量评估结果，发送所述下一帧和所述下一帧的质量评估结果至所述人脸识别模块，直至所述判断模块发送所述最终人脸识别结果。

10.一种人脸识别装置，所述装置包括：

确定模块，用于基于预设的质量约束条件，确定包括待识别人脸的第一帧和所述第一帧的质量评估结果；

发送模块，用于发送所述第一帧和所述第一帧的质量评估结果；

处理模块，用于接收更新后的质量约束条件，并控制所述确定模块基于所述更新后的质量约束条件确定包括所述待识别人脸的第二帧和所述第二帧的质量评估结果；

所述发送模块，还用于发送所述第二帧和所述第二帧的质量评估结果；

所述处理模块，还用于若接收到所述待识别人脸的最终人脸识别结果，则展示所述最终人脸识别结果；

所述处理模块，还用于若接收到再次更新的质量约束条件，则控制所述确定模块基于所述再次更新的质量约束条件确定包括所述待识别人脸的下一帧和所述下一帧的质量评估结果，并将所述下一帧和所述下一帧的质量评估结果发送至所述发送模块，直至所述处理模块展示所述最终人脸识别结果。

11.一种人脸识别设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-5任意一项所述的人脸识别方法或如权利要求6-8任意一项所述的人脸识别方法。

12.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-5任意一项所述的人脸识别方法或如权利要求6-8任意一项所述的人脸识别方法。

Images