CN113743305A

CN113743305A - 一种识别方法、装置及电子设备

Info

Publication number: CN113743305A
Application number: CN202111037341.2A
Authority: CN
Inventors: 韩兴; 魏闪闪; 马骁
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2021-09-06
Filing date: 2021-09-06
Publication date: 2021-12-03

Abstract

本申请提供了一种识别方法、装置及电子设备，该方法在确定待识别图像满足面部完整度条件的情况下，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以使用于确定待识别图像的遮挡状态的数据更加丰富且有效，进而基于更加丰富且有效的数据即关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态，提高遮挡状态的准确性。并且，根据待识别图像中每个面部部位关键点的位置，确定待识别图像满足面部完整度条件，可以保证待识别图像至少包含一张完整的面部所包含的各个面部部位，在此基础上，保证面部部位组对应的关联区域的完整性和准确性，进一步提高待识别图像的遮挡状态的准确性。

Description

一种识别方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，特别涉及一种识别方法、装置及电子设备。

背景技术

随着面部识别技术的发展，面部识别系统被广泛应用在众多场景(如，地铁的刷脸进站、商店监控等)中。

其中，面部识别系统在面部注册阶段获得质量较高的面部模板，能够有效提高面部识别准确率。但是，面部模板的质量会受到面部遮挡的影响，因此，如何识别图像中是否存在面部遮挡成为问题。

发明内容

本申请提供如下技术方案：

本申请一方面提供一种识别方法，包括：

获得待识别图像；

将所述待识别图像输入到深度学习模型，确定所述待识别图像中每个面部部位关键点的位置及所述待识别图像中每个像素点的第一参数；

根据所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像是否满足面部完整度条件；

在所述待识别图像满足所述面部完整度条件的情况下，基于所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像中至少一个面部部位组对应的关联区域，所述面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位；

基于所述关联区域中每个所述像素点的第一参数，确定所述待识别图像的遮挡状态。

所述根据所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像是否满足面部完整度条件，包括：

确定所述待识别图像中所述面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配。

所述方法还包括：

若所述待识别图像中所述面部部位关键点的位置的个数与设定面部部位关键点位置个数不匹配，则在所述面部部位关键点的位置的个数小于所述设定面部部位关键点位置个数的情况下，确定所述待识别图像为缺失至少部分面部部位的图像；

在所述面部部位关键点的位置的个数大于所述设定面部部位关键点位置个数的情况下，确定所述待识别图像为存在多张面部的图像。

所述方法还包括：

在面部部位关键点的位置的个数与设定面部部位关键点位置个数匹配的情况下，确定所述待识别图像中每两个所述面部部位关键点的位置之间的差异是否在设定范围内。

所述将所述待识别图像输入到深度学习模型，确定所述待识别图像中每个面部部位关键点的位置，包括：

将所述待识别图像输入到深度学习模型，获得所述深度学习模型得到的所述待识别图像中每个像素点的第二参数；

从所述待识别图像中每个像素点的第二参数中，确定分别与各个设定面部部位关键点的第二参数相匹配的目标第二参数；

将所述目标第二参数对应的像素点作为所述待识别图像中的面部部位关键点，将所述目标第二参数对应的像素点在所述待识别图像中的位置作为所述面部部位关键点的位置。

所述基于所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像中至少一个面部部位组对应的关联区域，包括：

基于所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像中至少一个面部部位关键点关联组，所述面部部位关键点关联组至少包括存储关联的第一面部部位关键点和第二面部部位关键点；

基于所述面部部位关键点关联组中面部部位关键点的位置，确定所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域；

基于所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域，确定所述待识别图像中面部部位组对应的关联区域。

所述基于所述面部部位关键点关联组中面部部位关键点的位置，确定所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域，包括：

基于所述面部部位关键点关联组中面部部位关键点的位置，确定所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的第一连接线及所述第一连接线的长度；

确定所述待识别图像中每个像素点与所述第一面部部位关键点或所述第二面部部位关键点之间的第二连接线投影到所述第一连接线得到的第一目标线段；

若所述第一目标线段为所述第一连接线的至少部分线段且所述第一目标线段的长度不大于所述第一连接线的长度，则将所述像素点作为第一目标像素点，并将所述第一目标像素点组成的区域作为第一目标区域；

从所述第一目标区域中获取第二目标区域，所述第二目标区域至少包含所述第一连接线对应的区域，且所述第二目标区域小于所述第一目标区域；

将所述第二目标区域作为所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域。

所述深度学习模型通过以下方式获得：

获取面部图像样本；

确定所述面部图像样本中每个面部部位关键点的位置，基于所述面部图像样本中每个面部部位关键点的位置，确定所述面部图像样本中至少一个面部部位关键点关联组，所述面部部位关键点关联组至少包括存在关联的第一面部部位关键点和第二面部部位关键点；

基于所述面部图像样本中所述面部部位关键点关联组中面部部位关键点的位置，确定所述面部图像样本中所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域；

基于所述面部图像样本中所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域，确定所述面部图像样本中面部部位组对应的关联区域，所述面部图像样本中面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位；

获取针对所述面部图像样本中面部部位组中每个像素点标注的第一子第一参数，及针对所述面部图像样本中除所述面部部位组之外的其它每个像素点标注的第二子第一参数；

确定所述面部图像样本中每个面部部位关键点的第一置信度及所述面部图像样本中除所述面部部位关键点之外的每个像素点的第二置信度；

将标注有所述第一子第一参数、所述第二子第一参数、所述第一子第二参数及所述第二子第二参数的面部图像样本输入到深度学习模型，对所述深度学习模型进行训练。

本申请另一方面提供一种识别装置，包括：

第一获得模块，用于获得待识别图像；

第一确定模块，用于将所述待识别图像输入到深度学习模型，确定所述待识别图像中每个面部部位关键点的位置及所述待识别图像中每个像素点的第一参数；

第二确定模块，用于根据所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像是否满足面部完整度条件；

第三确定模块，用于在所述待识别图像满足所述面部完整度条件的情况下，基于所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像中至少一个面部部位组对应的关联区域，所述面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位；

第四确定模块，用于基于所述关联区域中每个所述像素点的第一参数，确定所述待识别图像的遮挡状态。

本申请第三方面提供一种电子设备，包括：

存储器和处理器；

所述存储器，用于至少存储一组指令集；

所述处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集执行如上述任意一项所述的识别方法。

在本申请中，通过将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数，在根据待识别图像中每个面部部位关键点的位置，确定待识别图像满足面部完整度条件的情况下，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以使用于确定待识别图像的遮挡状态的数据更加丰富且有效，进而基于更加丰富且有效的数据即关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态，提高遮挡状态的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请第一实施方式提供的一种识别方法的流程示意图；

图2是本申请第二实施方式提供的一种识别方法的流程示意图；

图3是本申请第三实施方式提供的一种识别方法的流程示意图；

图4是本申请第四实施方式提供的一种识别方法的流程示意图；

图5是本申请第五实施方式提供的一种识别方法的流程示意图；

图6是本申请提供一种面部部位关联度关联组的示意图；

图7是本申请提供的一种面部部位关键点关联组对应的第二目标区域的示意图；

图8是本申请提供的一种识别装置的结构示意图；

图9是本申请提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了解决上述问题，本申请提供了一种通信方法，接下来对本申请提供的通信方法进行介绍。

参照图1，为本申请第一实施方式提供的一种识别方法的流程示意图，本申请提供的一种识别方法可以应用于电子设备，本申请对电子设备的产品类型不做限定，如图1所示，该方法可以包括但并不局限于以下步骤：

步骤S101、获得待识别图像。

可选的，待识别图像可以是采集装置所采集的图像，也可以是通过其它方式、渠道获取的图像，如用户上传、网络下载等。

步骤S102、将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数。

面部部位关键点，可以理解为：能够表征面部部位特征的像素点。每个面部部位关键点分别对应一个面部部位，每个面部部位关键点分别对应的面部部位相互具有差异。

待识别图像中每个像素点的第一参数能够表征像素点对应的面部部位关联状态和/或面部部位遮挡状态。面部部位关联状态和/或面部部位遮挡状态，可以包括但不局限于：面部部位之间无关联、面部部位之间有关联且有遮挡或面部部位之间有关联且无遮挡。

步骤S103、根据待识别图像中每个面部部位关键点的位置，确定待识别图像是否满足面部完整度条件。

可以理解的是，一张完整的面部包含的面部部位之间的位置关系是固定的，因此，面部部位关键点的位置可以作为确定待识别图像是否满足面部完整度条件的依据。

若待识别图像满足面部完整度条件，则执行步骤S104。

步骤S104、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以使用于确定待识别图像的遮挡状态的数据更加丰富且有效。

在待识别图像满足面部完整度条件的情况下，可以确定待识别图像至少包含一张完整的面部所包含的每个面部部位，在保证待识别图像至少包含一张完整的面部所包含的每个面部部位的情况下，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以避免面部部位组的错漏，保证确定出的至少一个面部部位组对应的关联区域的完整性和准确性。

步骤S105、基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态。

基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态，可以包括但不局限于：

确定关联区域中表征各个遮挡状态的第一参数在包含关联区域中每个像素点的第一参数的集合中所占的比例；

将比例最大的第一参数所表征的遮挡状态，作为待识别图像的遮挡状态。

基于待识别图像的遮挡状态及应用场景，可以确定是否使用待识别图像。如，在人脸注册场景下，若待识别图像的遮挡状态为存在遮挡，则可以确定待识别图像的质量不符合要求，不将待识别图像作为待使用的图像；若待识别图像的遮挡状态为不存在遮挡，则可以确定待识别图像的质量符合要求，将待识别图像作为待使用的图像。

并且，根据待识别图像中每个面部部位关键点的位置，确定待识别图像满足面部完整度条件，可以保证待识别图像至少包含一张完整的面部所包含的各个面部部位，在此基础上，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以保证面部部位组对应的关联区域的完整性和准确性，进一步提高待识别图像的遮挡状态的准确性。

作为本申请另一可选实施例，参照图2，为本申请第二实施方式提供的一种识别方法的流程示意图，本实施例主要是对上述第一实施方式描述的识别方法的细化方案，如图2所示，该方法可以包括但并不局限于以下步骤：

步骤S201、获得待识别图像。

步骤S202、将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数。

步骤S201-S202的详细过程可以参见第一实施方式中步骤S101-S102的相关介绍，在此不再赘述。

步骤S203、确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配。

若匹配，则执行步骤S204。

其中，设定面部部位关键点位置个数为一张完整的面部所包含的面部部位关键点的个数。

步骤S203为第一实施方式中步骤S103的一种具体实施方式。

步骤S204、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

步骤S205、基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态。

步骤S204-S205的详细过程可以参见第一实施方式中步骤S104-S105的相关介绍，在此不再赘述。

本实施例中，通过确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配，可以保证待识别图像至少包含一张完整的面部所包含的各个面部部位，在此基础上，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以保证面部部位组对应的关联区域的完整性和准确性，可以提高待识别图像的遮挡状态的准确性。

作为本申请另一可选实施例，参照图3，为本申请第三实施方式提供的一种识别方法的流程示意图，本实施例主要是对上述第二实施方式描述的识别方法的扩展方案，如图3所示，该方法可以包括但并不局限于以下步骤：

步骤S301、获得待识别图像。

步骤S302、将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数。

步骤S303、确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配。

若匹配，则执行步骤S304；若不匹配，则执行步骤S306

步骤S304、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

步骤S305、基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态。

步骤S301-S305的详细过程可以参见第二实施方式中步骤S201-S205的相关介绍，在此不再赘述。

步骤S306、确定部位关键点的位置的个数与设定面部部位关键点位置个数的大小关系。

若面部部位关键点的位置的个数小于设定面部部位关键点位置个数，则执行步骤S307；若面部部位关键点的位置的个数大于设定面部部位关键点位置个数，则执行步骤S308。

步骤S307、确定待识别图像为缺失至少部分面部部位的图像。

在确定待识别图像为缺失至少部分面部部位的图像的情况下，可以不将待使用图像作为待使用的图像。

步骤S308、确定待识别图像为存在多张面部的图像。

在确定待识别图像为存在多张面部的图像的情况下，可以不将待识别图像作为待使用的图像。

本实施例中，通过确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配，在待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数不匹配的情况下，基于面部部位关键点的位置的个数与设定面部部位关键点位置个数的大小关系，确定待识别图像是否为缺失至少部分面部部位的图像或存在多张面部的图像，有效确定出面部部位缺失或存在多张面部的图像。

作为本申请另一可选实施例，参照图4，为本申请第四实施方式提供的一种识别方法的流程示意图，本实施例主要是对上述第二实施方式描述的识别方法的扩展方案，如图4所示，该方法可以包括但并不局限于以下步骤：

步骤S401、获得待识别图像。

步骤S402、将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数。

步骤S403、确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配。

若匹配，则执行步骤S204。

步骤S404、确定待识别图像中每两个面部部位关键点的位置之间的差异是否在设定范围内。

若否，则执行步骤S405。

设定范围至少能区分每两个面部部位关键点对应的面部部位是符合一张面部构成要求的。设定范围的具体数值的设置在本申请中不做限制。

若待识别图像中其中两个面部部位关键点的位置之间的差异在设定范围内，则可以确定该两个面部部位关键点对应的面部部位不符合一张面部构成要求。

步骤S405、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

步骤406、基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态。

本实施例中，通过确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配，在匹配的情况下，进一步确定待识别图像中每两个面部部位关键点的位置之间的差异是否在设定范围内，可以提高确定出的待识别图像至少包含一张完整的面部所包含的各个面部部位的结果的准确性，进而提高面部部位组对应的关联区域的完整性和准确性，进一步提高待识别图像的遮挡状态的准确性。

作为本申请另一可选实施例，参照图5，为本申请第五实施方式提供的一种识别方法的流程示意图，本实施例主要是对上述第一实施方式描述的识别方法的细化方案，如图5所示，该方法可以包括但并不局限于以下步骤：

步骤S501、获得待识别图像。

步骤S501的详细过程可以参见第一实施方式中步骤S101的相关介绍，在此不再赘述。

步骤S502、将待识别图像输入到深度学习模型，获得深度学习模型得到的待识别图像中每个像素点的第一参数及待识别图像中每个像素点的第二参数。

步骤S503、从待识别图像中每个像素点的第二参数中，确定分别与各个设定面部部位关键点的第二参数相匹配的目标第二参数。

第二参数可以包括但不局限于：置信度。

步骤S504、将目标第二参数对应的像素点作为待识别图像中的面部部位关键点，将目标第二参数对应的像素点在待识别图像中的位置作为面部部位关键点的位置。

步骤S502-S504为第一实施方式中步骤S102的一种具体实施方式。

步骤S505、根据待识别图像中每个面部部位关键点的位置，确定待识别图像是否满足面部完整度条件。

若是，则执行步骤S506。

步骤S506、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

本实施例中，基于识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，可以包括但不局限于：

S5061、基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位关键点关联组，面部部位关键点关联组至少包括存储关联的第一面部部位关键点和第二面部部位关键点；

S5062、基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域；

本实施例中，基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，可以包括但不局限于：

S50621、基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的第一连接线及第一连接线的长度；

S50622、确定待识别图像中每个像素点与第一面部部位关键点或第二面部部位关键点之间的第二连接线投影到第一连接线得到的第一目标线段；

S50623、若第一目标线段为第一连接线的至少部分线段且第一目标线段的长度不大于第一连接线的长度，则将像素点作为第一目标像素点，并将第一目标像素点组成的区域作为第一目标区域；

S50624、从第一目标区域中获取第二目标区域，第二目标区域至少包含第一连接线对应的区域，且第二目标区域小于第一目标区域；

本实施例中，从第一目标区域中获取第二目标区域，可以包括但不局限于：

从第一目标区域中截取包含第一连接线的矩形区域，将包含第一连接线的矩形区域作为第二目标区域；

其中，矩形区域的一组对边的长度与第一连接线的长度相同，另一组对边的长度为设定长度。设定长度可以根据需要进行设置，在本申请中不做限制。

S50625、将第二目标区域作为面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域。

S5063、基于面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，确定待识别图像中面部部位组对应的关联区域。

基于面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，确定待识别图像中面部部位组对应的关联区域，可以包括但不局限于：

将面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域作为待识别图像中面部部位组对应的关联区域。

当然，基于面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，确定待识别图像中面部部位组对应的关联区域，也可以包括但不局限于：

从面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域中截取一部分区域作为待识别图像中面部部位组对应的关联区域。

步骤S507、基于关联区域中每个像素点的第一参数，确定待识别图像的遮挡状态。

步骤S505-S507的详细过程可以参见第一实施方式中步骤S103-S105的相关介绍，在此不再赘述。

在本申请的另一个实施例中，对上述深度学习模型的训练过程进行说明，具体可以包括以下步骤：

S601、获取面部图像样本。

S602、确定面部图像样本中每个面部部位关键点的位置，基于面部图像样本中每个面部部位关键点的位置，确定面部图像样本中至少一个面部部位关键点关联组，面部部位关键点关联组至少包括存在关联的第一面部部位关键点和第二面部部位关键点。

本实施例中，确定面部图像样本中每个面部部位关键点的位置，可以包括：

确定面部图像样本中每个像素点的置信度；

从面部图像样本中每个像素点的置信度中，确定分别与各个设定面部部位关键点的置信度相匹配的目标置信度；

将目标置信度对应的像素点作为面部图像样本中的面部部位关键点，将目标置信度对应的像素点在面部图像样本中的位置作为面部图像样本中面部部位关键点的位置。

本实施例中，如图6所示，面部部位关键点关联组可以包括但不局限于：

第一面部部位关键点关联组1、第二面部部位关键点关联组2、第三面部部位关键点关联组3、第四面部部位关键点关联组4、第五面部部位关键点关联组5、第六面部部位关键点关联组6、第七面部部位关键点关联组7、第八面部部位关键点关联组8、第九面部部位关键点关联组9、第十面部部位关键点关联组10、第十一面部部位关键点关联组11、第十二面部部位关键点关联组12及第十三面部部位关键点关联组13。

第一面部部位关键点关联组1包括存在关联的额头关键点与右眼关键点；

第二面部部位关键点关联组2包括存在关联的额头关键点与左眼关键点；

第三面部部位关键点关联组3包括存在关联的额头关键点与右眼关键点；

第四面部部位关键点关联组4包括存在关联的额头关键点与左眼关键点；

第五面部部位关键点关联组5包括存在关联的左眼关键点与右眼关键点；

第六面部部位关键点关联组6包括存在关联的右耳关键点与右脸颊关键点；

第七面部部位关键点关联组7包括存在关联的左耳关键点与左脸颊关键点；

第八面部部位关键点关联组8包括存在关联的右脸颊关键点与下巴关键点；

第九面部部位关键点关联组9包括存在关联的左脸颊关键点与下巴关键点；

第十面部部位关键点关联组10包括存在关联的右上嘴唇关键点与右嘴角关键点；

第十一面部部位关键点关联组11包括存在关联的左上嘴唇关键点与左嘴角关键点；

第十二面部部位关键点关联组12包括存在关联的右下嘴唇关键点与右嘴角关键点；

第十三面部部位关键点关联组13包括存在关联的左下嘴唇关键点与左嘴角关键点。

S603、基于面部图像样本中面部部位关键点关联组中面部部位关键点的位置，确定面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域。

基于面部图像样本中面部部位关键点关联组中面部部位关键点的位置，确定面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，可以包括：

S6031、基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的第三连接线及第三连接线的长度；

S6032、确定面部图像样本中每个像素点与第一面部部位关键点或第二面部部位关键点之间的第四连接线投影到第三连接线得到的第二目标线段；

S6033、若第二目标线段为第三连接线的至少部分线段且第二目标线段的长度不大于第三连接线的长度，则将像素点作为第二目标像素点，并将第二目标像素点组成的区域作为第三目标区域；

S6034、从第三目标区域中获取第四目标区域，第四目标区域至少包含第三连接线对应的区域，且第四目标区域小于第三目标区域。

本实施例中，从第三目标区域中获取第四目标区域，可以包括但不局限于：

从第三目标区域中截取包含第三连接线的矩形区域，将包含第三连接线的矩形区域作为第四目标区域；

其中，矩形区域的一组对边的长度与第三连接线的长度相同，另一组对边的长度为设定长度。设定长度可以根据需要进行设置，在本申请中不做限制。

图6所示的第二面部部位关键点关联组2对应的第二目标区域可以参见图7中的区域a2，第五面部部位关键点关联组5对应的第二目标区域可以参见图7中的区域a5。

S6035、将第二目标区域作为面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域。

S604、基于面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域，确定面部图像样本中面部部位组对应的关联区域，面部图像样本中面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位。

基于面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域，确定面部图像样本中面部部位组对应的关联区域，可以包括但不局限于：

将面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域作为面部图像样本中面部部位组对应的关联区域。

当然，基于面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域，确定面部图像样本中面部部位组对应的关联区域，也可以包括但不局限于：

从面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和所述第二面部部位关键点之间的关联区域中截取一部分区域，作为面部图像样本中面部部位组对应的关联区域。

S605、获取针对面部图像样本中面部部位组中每个像素点标注的第一子第一参数，及针对面部图像样本中除面部部位组之外的其它每个像素点标注的第二子第一参数。

需要说明的是，在面部部位组存在遮挡的情况下对应的第一子第一参数与在面部部位组不存在遮挡的情况下对应的第一子第一参数不相同。

具体地，第一子第一参数和第二子第一参数可以通过以下方式标注：

利用亲和力分析关系式

标注第一子第一参数和第二子第一参数；

表示第一子第一参数或第二子第一参数，p表示像素点，c表示面部，k表示面部部位组，no occ表示无遮挡，occ表示存在遮挡，otherwise表示像素点在面部部位组之外且无遮挡。

从亲和力分析关系式可以确定，如果像素点属于面部部位组，且不存在遮挡，则第一子第一参数为v，如果像素点属于面部部位组，且存在遮挡，则第一子第一参数为-v，如果像素点在面部部位组之外且无遮挡，则第二子第一参数为0。

需要说明的是，亲和力分析关系式仅为标注的其中一种实施方式，其并不作为对标注第一子第一参数和第二子第一参数的限制。

S606、确定面部图像样本中每个面部部位关键点的第一子第二参数及面部图像样本中除面部部位关键点之外的每个像素点的第二子第二参数。

面部部位关键点的第一子第二参数与除面部部位关键点之外的像素点的第二子第二参数不同。

本实施例中，可以将面部部位关键点的置信度作为第一子第二参数，将面部图像样本中除面部部位关键点之外的每个像素点的置信度作为第二子第二参数。

S607、将标注有第一子第一参数、第二子第一参数、第一子第二参数及第二子第二参数的面部图像样本输入到深度学习模型，对深度学习模型进行训练。

将标注有第一子第一参数、第二子第一参数、第一子第二参数及第二子第二参数的面部图像样本输入到深度学习模型，对深度学习模型进行训练，基于训练好的深度学习模型能够确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数。

接下来对本申请提供的识别装置进行介绍，下文介绍的识别装置与上文介绍的识别方法可相互对应参照。

请参见图8，识别装置包括：第一获得模块100、第一确定模块200、第二确定模块300、第三确定模块400和第四确定模块500。

第一获得模块100，用于获得待识别图像；

第一确定模块200，用于将待识别图像输入到深度学习模型，确定待识别图像中每个面部部位关键点的位置及待识别图像中每个像素点的第一参数；

第二确定模块300，用于根据待识别图像中每个面部部位关键点的位置，确定待识别图像是否满足面部完整度条件；

第三确定模块400，用于在待识别图像满足面部完整度条件的情况下，基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位组对应的关联区域，面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位；

第四确定模块500，用于基于关联区域中每个所述像素点的第一参数，确定待识别图像的遮挡状态。

本实施例中，第二确定模块300，具体可以用于：

确定待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数是否匹配。

本实施例中，识别装置还可以包括：

第五确定模块，用于：

若待识别图像中面部部位关键点的位置的个数与设定面部部位关键点位置个数不匹配，则在面部部位关键点的位置的个数小于设定面部部位关键点位置个数的情况下，确定待识别图像为缺失至少部分面部部位的图像；

第六确定模块，用于

在面部部位关键点的位置的个数大于设定面部部位关键点位置个数的情况下，确定待识别图像为存在多张面部的图像。

本实施例中，第二确定模块300，还可以用于：

在面部部位关键点的位置的个数与设定面部部位关键点位置个数匹配的情况下，确定待识别图像中每两个面部部位关键点的位置之间的差异是否在设定范围内。

本实施例中，第一确定模块200，具体可以用于：

将待识别图像输入到深度学习模型，获得深度学习模型得到的待识别图像中每个像素点的第二参数；

从待识别图像中每个像素点的第二参数中，确定分别与各个设定面部部位关键点的第二参数相匹配的目标第二参数；

将目标第二参数对应的像素点作为待识别图像中的面部部位关键点，将目标第二参数对应的像素点在待识别图像中的位置作为面部部位关键点的位置。

本实施例中，第三确定模块400，具体可以用于：

基于待识别图像中每个面部部位关键点的位置，确定待识别图像中至少一个面部部位关键点关联组，面部部位关键点关联组至少包括存储关联的第一面部部位关键点和第二面部部位关键点；

基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域；

基于面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，确定待识别图像中面部部位组对应的关联区域。

本实施例中，第三确定模块400，具体可以用于：

基于面部部位关键点关联组中面部部位关键点的位置，确定面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的第一连接线及第一连接线的长度；

确定待识别图像中每个像素点与第一面部部位关键点或第二面部部位关键点之间的第二连接线投影到第一连接线得到的第一目标线段；

若第一目标线段为第一连接线的至少部分线段且第一目标线段的长度不大于第一连接线的长度，则将像素点作为第一目标像素点，并将第一目标像素点组成的区域作为第一目标区域；

从第一目标区域中获取第二目标区域，第二目标区域至少包含第一连接线对应的区域，且第二目标区域小于第一目标区域；

将第二目标区域作为面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域。

本实施例中，识别装置还可以包括：

第二获得模块，用于：

获取面部图像样本；

确定面部图像样本中每个面部部位关键点的位置，基于面部图像样本中每个面部部位关键点的位置，确定面部图像样本中至少一个面部部位关键点关联组，面部部位关键点关联组至少包括存在关联的第一面部部位关键点和第二面部部位关键点；

基于面部图像样本中面部部位关键点关联组中面部部位关键点的位置，确定面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域；

基于所述面部图像样本中面部部位关键点关联组中存在关联的第一面部部位关键点和第二面部部位关键点之间的关联区域，确定面部图像样本中面部部位组对应的关联区域，面部图像样本中面部部位组至少包括面部中存在关联的第一面部部位和第二面部部位；

获取针对面部图像样本中面部部位组中每个像素点标注的第一子第一参数，及针对面部图像样本中除所述面部部位组之外的其它每个像素点标注的第二子第一参数；

确定面部图像样本中每个面部部位关键点的第一子第二参数及面部图像样本中除面部部位关键点之外的每个像素点的第二子第二参数；

将标注有第一子第一参数、第二子第一参数、第一子第二参数及第二子第二参数的面部图像样本输入到深度学习模型，对深度学习模型进行训练。

与上述本申请提供的一种识别方法实施例相对应的，本申请还提供了应用该识别方法的电子设备实施例。

如图9所示的为本申请提供的一种电子设备第一实施方式的结构示意图，该电子设备可以包括以下结构：

存储器10和处理器20。

存储器10，用于至少存储一组指令集；

处理器20，用于调用并执行所述存储器10中的所述指令集，通过执行所述指令集执行如第一实施方式-5任意一个实施例所介绍的识别方法的各步骤。

与上述本申请提供的一种控制方法实施例相对应的，本申请还提供了一种存储介质的实施例。

本实施例中，存储介质存储有实现如前述任意一个实施例所介绍的识别方法的计算机程序，所述计算机程序被处理器执行，实现如前述任意一个实施例所介绍的识别方法的各步骤。

需要说明的是，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

以上对本申请所提供的一种识别方法、装置及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种识别方法，包括：

获得待识别图像；

2.根据权利要求1所述的方法，所述根据所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像是否满足面部完整度条件，包括：

3.根据权利要求2所述的方法，所述方法还包括：

4.根据权利要求2所述的方法，所述方法还包括：

5.根据权利要求1-4任意一项所述的方法，所述将所述待识别图像输入到深度学习模型，确定所述待识别图像中每个面部部位关键点的位置，包括：

6.根据权利要求1-4任意一项所述的方法，所述基于所述待识别图像中每个面部部位关键点的位置，确定所述待识别图像中至少一个面部部位组对应的关联区域，包括：

7.根据权利要求6所述的方法，所述基于所述面部部位关键点关联组中面部部位关键点的位置，确定所述面部部位关键点关联组中存在关联的所述第一面部部位关键点和所述第二面部部位关键点之间的关联区域，包括：

8.根据权利要求1所述的方法，所述深度学习模型通过以下方式获得：

获取面部图像样本；

确定所述面部图像样本中每个面部部位关键点的第一子第二参数及所述面部图像样本中除所述面部部位关键点之外的每个像素点的第二子第二参数；

9.一种识别装置，包括：

第一获得模块，用于获得待识别图像；

10.一种电子设备，包括：

存储器和处理器；

所述存储器，用于至少存储一组指令集；

所述处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集执行如权利要求1-8任意一项所述的识别方法。