CN114170662A - 人脸识别方法及装置、存储介质、电子设备 - Google Patents
人脸识别方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN114170662A CN114170662A CN202111486157.6A CN202111486157A CN114170662A CN 114170662 A CN114170662 A CN 114170662A CN 202111486157 A CN202111486157 A CN 202111486157A CN 114170662 A CN114170662 A CN 114170662A
- Authority
- CN
- China
- Prior art keywords
- face
- face image
- current
- feature
- face recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000000873 masking effect Effects 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000000605 extraction Methods 0.000 description 10
- 210000001508 eye Anatomy 0.000 description 10
- 238000013136 deep learning model Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供一种人脸识别方法及装置、电子设备、存储介质；涉及人工智能技术领域。所述人脸识别方法包括：获取待识别的当前人脸图像；将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；根据所述遮掩状态确定所述当前人脸图像的特征比对方式；基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。本公开识别人脸图像中是否佩戴口罩或者佩戴墨镜，并通过佩戴情况确定不同的特征比对方式，能够有效提升人脸识别的准确性以及鲁棒性。
Description
技术领域
本公开涉及人工智能技术领域，具体而言，涉及一种人脸识别方法、人脸识别装置、电子设备以及计算机可读存储介质。
背景技术
随着科学技术的飞速发展，人脸识别技术(Face Recognition)越来越得到广泛的使用，是基于人的脸部特征信息进行身份识别的一种生物识别技术，可以利用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术。
目前，相关技术方案如果在人脸识别的过程中，人脸图像出现了佩戴口罩和墨镜的情形，这些情形则会直接被认为是遮挡，从而不能提取出较准确的人脸特征，导致人脸识别结果的准确性差以及鲁棒性差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种人脸识别方法、人脸识别装置、电子设备以及计算机可读存储介质，进而在一定程度上克服由于相关技术的限制和缺陷而导致的，在人脸图像存在戴口罩和墨镜的情形时，人脸识别效果不佳的问题。
根据本公开的第一方面，提供一种人脸识别方法，包括：
获取待识别的当前人脸图像；
将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；
根据所述遮掩状态确定所述当前人脸图像的特征比对方式；
基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
根据本公开的第二方面，提供一种人脸识别装置，包括：
当前人脸图像获取模块，用于获取待识别的当前人脸图像；
遮掩状态确定模块，用于将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；
特征比对方式确定模块，用于根据所述遮掩状态确定所述当前人脸图像的特征比对方式；
人脸识别模块，用于基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
根据本公开的第三方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一示例实施方式所提供的人脸识别方法中，可以将待识别的当前人脸图像输入到目标人脸识别模型中，确定当前人脸图像的遮掩状态，然后可以根据遮掩状态确定当前人脸图像的特征比对方式，并基于确定的特征比对方式对当前人脸图像进行人脸识别，从而可以确定当前人脸图像对应的人脸识别结果。通过目标人脸识别模型确定当前人脸图像的遮掩状态，如口罩遮掩状态和墨镜遮掩状态，在不佩戴任何物体或者佩戴口罩、佩戴墨镜时选择不同的对当前人脸图像进行人脸识别的特征比对方式，避免相关技术方案中直接将口罩或者墨镜认为是遮挡，从而不能提取出较准确的人脸特征的问题，能够有效提升人脸图像识别结果的准确性以及鲁棒性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了可以应用本公开实施例的一种人脸识别方法及装置的示例性系统架构的示意图；
图2示意性示出了根据本公开的一个实施例的人脸识别方法的流程示意图；
图3示意性示出了根据本公开的一个实施例的通过目标人脸识别模型确定当前人脸图像的遮掩状态的流程示意图；
图4示意性示出了根据本公开的一个实施例的通过第一特征比对方式实现人脸识别的流程示意图；
图5示意性示出了根据本公开的一个实施例的通过第二特征比对方式实现人脸识别的流程示意图；
图6示意性示出了根据本公开的一个实施例的训练目标人脸识别模型的流程示意图；
图7示意性示出了根据本公开的另一个实施例的训练目标人脸识别模型的流程示意图；
图8示意性示出了根据本公开的一个实施例的目标人脸识别模型的框架示意图；
图9示意性示出了根据本公开的一个实施例的人脸识别装置的示意框图；
图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了可以应用本公开实施例的一种人脸识别方法及装置的示例性应用环境的系统架构的示意图。
如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是具有图像采集设备的各种电子设备，包括但不限于智能服务型机器人、智能手机和智能监控摄像头等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群106等。
本公开实施例所提供的人脸识别方法一般由服务器105或者服务器集群106执行，相应地，人脸识别装置一般设置于服务器105或者服务器集群106中。但本领域技术人员容易理解的是，本公开实施例所提供的人脸识别方法也可以由终端设备101、102、103执行，相应的，人脸识别装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。
举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将待识别的当前人脸图像上传至服务器105，服务器通过本公开实施例所提供的人脸识别方法确定人脸识别结果，并将人脸识别结果传输给终端设备101、102、103等进行后续处理。
以下对本公开实施例的技术方案进行详细阐述：
目前，一种技术方案中，采用深度学习模型对给定人脸图像进行特征抽取，然后对比目标人脸图像的人脸特征和给定人脸特征的相似程度是否超过一定阈值，若超过阈值，则认定为验证通过，否则不通过。但是，这种方案中，由于并不会额外的判断人脸图像是否佩戴口罩或者墨镜，该方案在模型训练时，没有是否佩戴口罩和墨镜的监督信息参与训练，因此，在人脸特征提取时，不会提取到具有足够区分度的特征，并且如果将佩戴口罩和墨镜的人脸会被认为普通的遮挡，则会导致特征提取时信息缺失；其次，由于口罩或者墨镜对于人脸的遮挡，覆盖住了人嘴部和眼部的大部分特征，导致了不同人脸在佩戴口罩和墨镜时，在提取特征之后仍然会非常相似；此外，由于没有对口罩和墨镜进行额外的操作，该方案对是否佩戴口罩或墨镜并不能进行有效的判别，而且对同一张人脸，是否带口罩和墨镜，提取出的特征差异较大，在人脸验证时，往往会失败。
另一种技术方案中，通过检测的方法判断人脸图像中的人脸是否戴口罩，若存在口罩，则采用一个生成网络将戴口罩的人脸进行补全，之后则采用传统的人脸识别方法对补全后的人脸进行特征抽取和识别。但是，这种技术方案中，采用生成补全人脸的方式会使得识别结果对补全图像过于敏感，而且生成补全人脸的过程会引入更大的噪声，使得人脸识别结果的鲁棒性较低。
再一种技术方案中，假设口罩不会遮住人脸图像中的人眼区域，因此采用开源的人脸关键点检测的算法提取眉眼特征点，将眉眼特征点顺序串联连接，形成眉、眼的两个封闭空间，算法提取人脸的眉眼区域；在此基础上，结合学习到的人脸特征以及提取的眉眼部位，对特征进行加权。但是，这种技术方案中，只提取眼部信息作为戴口罩人脸的关键信息，这样做会使得更多人脸五官的信息被算法丢忽略掉，从而提升人脸识别的检测难度，降低人脸识别结果的准确性。
基于上述一个或多个问题，本示例实施方式提供了一种人脸识别方法。该人脸识别方法可以应用于上述服务器105或者服务器集群106，也可以应用于上述终端设备101、102、103中的一个或多个，本示例性实施例中对此不做特殊限定，下面以服务器或者服务器集群执行该方法为例进行说明。
参考图2所示，该人脸识别方法可以包括以下步骤S210至步骤S240：
步骤S210、获取待识别的当前人脸图像。
步骤S220、将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态。
步骤S230、根据所述遮掩状态确定所述当前人脸图像的特征比对方式。
步骤S240、基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
在本示例实施方式所提供的人脸识别方法中，通过目标人脸识别模型确定当前人脸图像的遮掩状态，如口罩遮掩状态和墨镜遮掩状态，在不佩戴任何物体或者佩戴口罩、佩戴墨镜时选择不同的对当前人脸图像进行人脸识别的特征比对方式，避免相关技术方案中直接将口罩或者墨镜认为是遮挡，从而不能提取出较准确的人脸特征的问题，能够有效提升人脸图像识别结果的准确性以及鲁棒性。
下面，对于本示例实施方式的上述步骤进行更加详细的说明。
在步骤S210中，获取待识别的当前人脸图像。
本公开的一个示例实施例中，当前人脸图像是指需要认证识别的包含人脸内容的图像，例如，当前人脸图像可以是智能手机在进行解锁时前置摄像头采集的人脸解锁图像，也可以是通过监控摄像头实现目标追踪时所采集的图像，当然，还可以是其他类型的需要认证识别的包含人脸内容的图像，如可以是智能服务型机器人对用户的身份进行识别时所采集的人脸图像，本示例实施例对此不做特殊限定。
当前人脸图像可以包含一个人脸内容，也可以是包含多个人脸内容，本示例实施例不以此为限。若检测到当前人脸图像包含多个人脸内容，可以通过目标检测算法对当前人脸图像中的多个人脸内容进行目标检测，确定多个人脸候选框，可以截取多个人脸候选框中尺寸最大的人脸候选框对应的人脸内容作为待识别的当前人脸图像，当然，也可以截取多个人脸候选框中的人脸内容分别作为待识别的多个当前人脸图像，本示例实施例对此不做特殊限定。
容易理解的是，当前人脸图像可以是一帧图像，也可以是连续多帧图像构成的图像流，当前人脸图像可以是预先存储在存储单元中的，也可以是通过图像采集设备实时采集的，本示例实施例对当前人脸图像的表现形式以及获取方式均不作特殊限定。
在步骤S220中，将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态。
本公开的一个示例实施例中，人脸识别模型是指基于人工神经网络(ArtificialNeural Networks，ANNs)技术实现的、用于对人脸图像进行人脸识别的深度学习模型，例如人脸识别模型可以是FaceNet模型，也可以是DeepFace模型，本示例实施例不以此为限。目标人脸识别模型是指能够识别当前人脸图像中人脸内容的遮掩状态的人脸识别模型。
遮掩状态是指描述当前人脸图像中人脸内容的遮掩情况的状态数据，例如，遮掩状态可以是墨镜遮掩状态，即遮掩人脸内容中眼部特征的状态，如包含戴着墨镜的人脸内容的图像的遮掩状态为眼部遮掩状态，也可以是口罩遮掩状态，即遮掩人脸内容中嘴部特征的状态，如包含戴着口罩的人脸内容的图像的遮掩状态为眼部遮掩状态，本示例实施例对此不做特殊限定。
可以理解的是，此处仅是为了便于本领域技术人员容易理解的举例说明，在实际应用过程中，遮掩状态可以是具体的状态数值，例如，当前人脸图像的遮掩状态为0，可以表示无遮掩状态，当前人脸图像的遮掩状态为1，可以表示墨镜遮掩状态，当前人脸图像的遮掩状态为2，可以表示眼部遮掩状态，当然，此处仅是示意性举例说明，本示例实施例不以此为限。
在步骤S230中，根据所述遮掩状态确定所述当前人脸图像的特征比对方式。
本公开的一个示例实施例中，特征比对方式是指确定当前人脸图像与库中已采集的人脸图像的差异的比对方式，例如，若确定当前人脸图像的遮掩状态为无遮掩状态，则特征比对方式可以是将当前人脸图像中提取的全部特征与数据库中已采集人脸图像中提取的全部特征进行比对；若确定当前人脸图像的遮掩状态为墨镜遮掩状态或眼部遮掩状态，则特征比对方式可以是将当前人脸图像中提取的非遮掩特征与数据库中已采集人脸图像中提取的非遮掩特征进行比对。当然，在遮掩状态是其他情况的前提下，特征比对方式也可以采取其他的方式，本示例实施例不以此处举例的情况为限。
在步骤S240中，基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
本公开的一个示例实施例中，人脸识别结果是指对当前人脸图像进行人脸识别处理后得到的结果数据，例如，人脸识别结果可以是通过或者不通过，也可以是当前人脸图像对应的用户标识信息，当然，人脸识别结果还可以是其他类型的结果数据，如是否佩戴口罩或者是否佩戴墨镜等，本示例实施例对此不做特殊限定。
下面对步骤S210至步骤S240进行详细说明。
本公开的一个示例实施例中，目标人脸识别模型至少可以包括目标特征提取器和多任务人脸识别模型；其中，目标特征提取器是指训练好的、用于提取当前人脸图像中人脸特征的深度学习模型，例如，目标特征提取器可以是基于卷积神经网络(ConvolutionalNeural Networks，CNN)的人工智能模型，也可以是基于Haar-like特征结合Adaboost分类器的人工智能模型，本示例实施例对此不做特殊限定。
多任务人脸识别模型是指训练好的、用于实现不同识别分类任务的深度学习模型，例如，多任务人脸识别模型可以是由多个分类器构成的人工智能模型，如多任务人脸识别模型可以至少包括人脸标识信息识别分类器、用于口罩识别的分类器和用于墨镜识别分类器。当然，多任务人脸识别模型还可以是其他类型的、用于实现不同识别分类任务的深度学习模型，本示例实施例对此不做特殊限定。
本公开的一个示例实施例中，可以通过图3中的步骤实现确定当前人脸图像的遮掩状态，参考图3所示，具体可以包括：
步骤S310，通过所述目标特征提取器对所述当前人脸图像进行特征抽取，得到当前人脸特征，所述当前人脸特征包括全脸特征、未遮掩区域特征、口罩遮掩特征和墨镜遮掩特征；
步骤S320，将所述当前人脸特征输入到多任务人脸识别模型中，确定所述当前人脸图像的遮掩状态，其中所述遮掩状态包括无遮掩状态、口罩遮掩状态或者墨镜遮掩状态。
其中，当前人脸特征是指表征当前人脸图像中包含的关键人脸内容的特征数据，例如，当前人脸特征可以至少包括全脸特征、未遮掩区域特征、口罩遮掩特征和墨镜遮掩特征。全脸特征是指当前人脸图像中人物对象的正脸(无任何遮掩)对应的特征数据，可以通过目标特征提取器对无遮挡人脸图像进行特征提取，得到全脸特征；口罩遮掩特征是指当前人脸图像中人物对象的脸部区域中被口罩遮掩的区域的特征数据，可以通过目标特征提取器提取无遮挡人脸图像的特征数据，并通过目标特征提取器提取戴口罩人脸图像的特征数据，将这两部分特征数据的差异特征数据作为口罩遮掩特征；墨镜遮掩特征是指当前人脸图像中人物对象的脸部区域中被墨镜遮掩的区域的特征数据，可以通过目标特征提取器提取无遮挡人脸图像的特征数据，并通过目标特征提取器提取戴墨镜人脸图像的特征数据，将这两部分特征数据的差异特征数据作为墨镜遮掩特征；未遮掩区域特征是指当前人脸图像中人物对象的脸部区域存在遮掩现象时未被遮掩的部分脸部区域(存在任何遮掩)对应的特征数据，可以通过全脸特征以及口罩遮掩特征、墨镜遮掩特征计算得到未遮掩区域特征。
可以将当前人脸特征输入到多任务人脸识别模型中，确定当前人脸图像的遮掩状态，遮掩状态至少可以包括无遮掩状态、口罩遮掩状态或者墨镜遮掩状态，如无遮挡人脸图像的遮掩状态为无遮掩状态、戴口罩人脸图像的遮掩状态为口罩遮掩状态或者戴墨镜人脸图像的遮掩状态为墨镜遮掩状态。当然，遮掩状态还可以是其他类型的状态，本示例实施例对此不做特殊限定。
本公开的一个示例实施例中，在确定当前人脸图像的遮掩状态为无遮掩状态时，可以通过第一特征比对方式对当前人脸图像进行人脸识别；在确定当前人脸图像的遮掩状态为口罩遮掩状态或者墨镜遮掩状态时，可以通过第二特征比对方式对当前人脸图像进行人脸识别。
其中，第一特征比对方式是指确定为无遮掩状态的当前人脸图像的特征比对方式，例如，第一特征比对方式可以是将当前人脸图像对应的全脸特征与数据库中的已采集的人脸图像的全脸特征进行特征比对的方式。
第二特征比对方式是指确定为口罩遮掩状态或者墨镜遮掩状态的当前人脸图像的特征比对方式，例如，第二特征比对方式可以是将存在遮掩现象的当前人脸图像中的未遮掩区域特征与数据库中的已采集的人脸图像的未遮掩区域特征进行特征比对的方式。
需要说明的是，本示例实施例中的“第一特征比对方式”、“第二特征比对方式”中的“第一”、“第二”仅是用于区分不同遮掩状态下的当前人脸图像的特征比对方式，没有任何特殊含义，并不应对本示例实施例造成任何特殊限定。
具体的，可以通过图4中的步骤实现通过第一特征比对方式对当前人脸图像进行人脸识别，参考图4所示，具体可以包括：
步骤S410，获取已采集人脸图像对应的已采集人脸特征；
步骤S420，计算所述当前人脸图像对应的全脸特征与所述已采集人脸特征的第一相似度数据；
步骤S430，将最大的所述第一相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
其中，已采集人脸图像是指预先采集并存储在数据库中的人脸图像，例如，在智能手机人脸解锁场景中，已采集人脸图像可以是智能手机录入的用户的人脸数据；在地铁检票等大流量场景中，已采集人脸图像可以是人口户籍系统(如身份证系统)提前录入的用户人脸图像，当然，已采集人脸图像还可以是其他类型的提前录入并用于人脸识别检测的人脸图像，本示例实施例对此不做特殊限定。
已采集人脸特征是指预先通过特征提取器抽取的已采集人脸图像对应的特征数据，可以将已采集人脸特征与已采集人脸图像进行关联存储，可以有效减少在与当前人脸图像的全脸特征进行比对时实时计算已采集人脸图像的已采集人脸特征所导致的系统计算资源消耗，提升当前人脸图像的识别效率，可以应用于计算能力较低的终端设备或者服务器。当然，若终端设备或者服务器的计算能力较强，则可以在与当前人脸图像的全脸特征进行比对时实时计算已采集人脸图像的已采集人脸特征，可以有效降低终端设备或者服务器的存储压力，节省存储空间；具体可以根据实际应用情况进行自定义设置，本示例实施例对此不做特殊限定。
第一相似度数据是指表征当前人脸图像对应的全脸特征与已采集人脸特征的相似程度的数据，例如，第一相似度数据可以是当前人脸图像对应的全脸特征与已采集人脸特征之间的余弦(cosine)相似度数据，也可以是当前人脸图像对应的全脸特征与已采集人脸特征之间的欧氏距离数据，本示例实施例对此不做特殊限定。
在确定当前人脸图像的遮掩状态为无遮掩状态时，可以将当前人脸图像对应的全脸特征与已采集人脸特征进行比对，能够有效保证特征比对的准确性。
具体的，可以通过图5中的步骤实现通过第二特征比对方式对当前人脸图像进行人脸识别，参考图5所示，具体可以包括：
步骤S510，获取已采集人脸图像对应的第一未遮掩区域特征；
步骤S520，计算所述当前人脸图像对应的第二未遮掩区域特征与所述第一未遮掩区域特征的第二相似度数据；
步骤S530，将最大的所述第二相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
其中，第一未遮掩区域特征是指在人物对象在佩戴口罩或者墨镜时已采集人脸图像中未被口罩或者墨镜遮掩的区域的人脸特征，例如，可以通过目标特征提取器抽取已采集人脸图像的全脸特征F，并获取通过训练集确定的口罩遮掩特征A以及墨镜遮掩特征B，并截取全脸特征F中前F-A-B位的特征数据作为已采集人脸图像的第一未遮掩区域特征。当然，此处仅是示意性举例说明，本示例实施例对此不做特殊限定。
第二未遮掩区域特征是指在人物对象在佩戴口罩或者墨镜时当前人脸图像中未被口罩或者墨镜遮掩的区域的人脸特征，例如，可以通过目标特征提取器抽取当前人脸图像的全脸特征X，并获取通过训练集确定的口罩遮掩特征A以及墨镜遮掩特征B，并截取全脸特征X中前X-A-B位的特征数据作为当前人脸图像的第二未遮掩区域特征。当然，此处仅是示意性举例说明，本示例实施例对此不做特殊限定。
第二相似度数据是指表征当前人脸图像对应的第二未遮掩区域特征与已采集人脸图像对应的第一未遮掩区域特征的相似程度的数据，例如，第二相似度数据可以是第二未遮掩区域特征与第一未遮掩区域特征之间的余弦(cosine)相似度数据，也可以是第二未遮掩区域特征与第一未遮掩区域特征之间的欧氏距离数据，本示例实施例对此不做特殊限定。
需要说明的是，本示例实施例中的“第一未遮掩区域特征”、“第二未遮掩区域特征”、“第一相似度数据”以及“第二相似度数据”中的“第一”、“第二”仅是用于区分不同人脸图像中的不同未遮掩区域特征以及区分不同特征之间的相似度数据，没有任何特殊含义，并不应对本示例实施例造成任何特殊限定。
在确定当前人脸图像的遮掩状态为口罩遮掩状态或者墨镜遮掩状态时，可以将当前人脸图像对应的第二未遮掩区域特征与已采集人脸图像的第一未遮掩区域特征进行比对，能够有效保证在有口罩或者墨镜遮掩的情况时保证比对的特征数据准确性与全面性，提升人脸识别结果的稳定性和鲁棒性。
本公开的一个示例实施例中，可以通过图6中的步骤实现目标人脸识别模型的训练，参考图6所示，具体可以包括：
步骤S610，获取样本人脸图像，所述样本人脸图像包括具有相同人脸标识信息的无遮挡正脸图像、佩戴口罩人脸图像和佩戴墨镜人脸图像；
步骤S620，通过初始特征提取器确定所述样本人脸图像对应的样本人脸特征，并根据所述样本人脸特征确定样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征；
步骤S630，通过初始多任务人脸识别模型对所述样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征进行分类，得到分类结果；
步骤S640，根据由所述人脸标识信息以及佩戴情况构成的标签数据，对所述初始特征提取器和所述初始多任务人脸识别模型进行监督训练，直到所述分类结果与所述标签数据之间的误差小于误差阈值，得到由训练好的特征提取器以及训练好的多任务人脸识别模型构成的目标人脸识别模型。
其中，人脸标识信息是指能够唯一标识样本人脸图像的数据，例如，人脸标识信息可以是样本人脸图像对应的用户身份ID(Identity Document)数据，也可以是样本人脸图像在数据库中的编码数据或者编码数据对应的哈希值，本示例实施例对此不做特殊限定。
初始特征提取器是指预先构建但并未完成模型训连过程的特征提取器，通过样本数据对初始特征提取器进行训练后得到训练好的特征提取器；初始多任务人脸识别模型是指预先构建但并未完成模型训连过程的多任务人脸识别模型，通过样本数据对初始多任务人脸识别模型进行训练后得到训练好的多任务人脸识别模型。
误差阈值是指用于确定当前深度学习模型的损失函数的输出结果收敛情况的数值，例如，误差阈值可以是0.05，若分类结果与标签数据之间的误差小于0.05，则可以认为当前的模型输出结果收敛，完成训练；当然，误差阈值也可以是其他数值，具体可以根据实际使用情况进行自定义设置，本示例实施例对此不做特殊限定。
进一步的，在目标人脸识别模型的训练过程中，可以通过构建生成对抗网络对初始特征提取器进行优化训练，得到训练好的特征提取器。
其中，生成对抗网络(Generative Adversarial Networks，GAN)是一种无监督的深度学习模型，生成对抗网络模型的框架中至少可以包括两个模块：生成模型(GenerativeModel)和判别模型(Discriminative Model)，通过生成模型和判别模型的互相博弈学习产生符合目标任务的输出，其中生成模型和判别模型可以是神经网络模型。本实施例中的生成对抗网络可以是任意类型的，例如，生成对抗网络可以是star GAN，也可以是cycle GAN，本示例实施例不以此为限。
举例而言，图7示意性示出了根据本公开的另一个实施例的训练目标人脸识别模型的流程示意图。
参考图7所示，步骤S710，获取表征口罩区域和墨镜区域的人脸特征位。具体而言，首先确定训练数据集，训练数据集可以包含某人物对象的正脸图像，以及人物对象在佩戴口罩、佩戴墨镜时的人脸图像，该人物对象的人脸标识信息为身份标识ID。
假设该人物对象对应的三种图像可以表示为无遮挡正脸图像x，戴口罩图像xm，和戴墨镜图像xg，这三部分数据可以采用一个已经训练好的常用人脸特征提取器去获取这三部分数据的特征，例如可以分别表示为特征f，特征fm和特征fg。然后，可以分别对比特征f和fm，以及f和fg中，数值差异较大的位的数量。具体而言，假设特征f，特征fm，特征fg的特征长度均为d(相同的人脸特征提取器提取出的特征长度相同)；f和fm较大差异位的数量为dm；f和fg较大差异位的数量为dg，那么，可以确认没有被遮挡的人脸部分的特征表达的位数为d-dm-dg。
步骤S720，训练目标人脸识别模型进行人脸识别同时判断人脸是否佩戴口罩或者墨镜。具体而言，可以继续利用步骤S710中采用的训练数据集，同时构造一个初始特征提取器E，和一个初始多任务人脸识别模型，其中初始多任务人脸识别模型可以至少包括第一人脸识别分类器、第二人脸识别分类器、用于口罩识别的分类器和用于墨镜识别的分类器。训练数据集中的样本数据，每个人脸图像可以包含两个信息：人脸图像对应的人物对象的身份标识ID，以及是否佩戴口罩和墨镜(即遮掩状态，无佩戴状态可以表示为0，佩戴口罩状态可以表示为1，佩戴墨镜状态可以表示为2)。在对初始特征提取器E和初始多任务人脸识别模型进行训练时，采用初始特征提取器E获得训练数据集中的样本数据的特征f，然后，可以将特征f切分为三个部分，即特征f 1，特征f 2和特征f 3，其中特征f 1，特征f 2和特征f 3的长度分比为d-dm-dg，dm和dg。参考图8所示，可以将特征f输入到第一人脸识别分类器，第一人脸识别分类器可以采用各种损失函数，例如softmax，arcface，cosface等损失函数，本示例实施例对此不做特殊限定，然后可以通过第一人脸识别分类器去学习人脸图像对应的身份标识ID。将特征f 1接入第二人脸识别分类器，第二人脸识别分类器可以采用各种分类损失函数，例如softmax，arcface，cosface等损失函数，本示例实施例对此不做特殊限定，然后可以通过第二人脸识别分类器去学习人脸图像对应的身份标识ID。将特征f 2接入用于口罩识别的分类器，去学习判别此人脸图像是否佩戴口罩。将特征f 3接入用于墨镜识别的分类器，去学习判别此人脸图像的是否佩戴墨镜。用于口罩识别的分类器和用于墨镜识别的分类器可以是一个二分类的分类器，可以采用softmax损失函数，也可以采用weightcross-entropy损失函数，本示例实施对此不做特殊限定。这两个分类器的损失函数可以标记为softmax_mask和softmax_glass，最终训练网络的损失函数为上述4个loss的加和。
步骤S730，训练一个生成对抗网络优化初始特征提取器。具体而言，可以采用步骤S720中生成的特征提取器E，而此网络的训练数据可以是佩戴了口罩和墨镜的人脸图像xm和xg；将佩戴了口罩和墨镜的人脸图像xm和xg输入到特征提取器E，可以得到的特征fm和特征fg，分别只取特征前面的0～d-dm-dg位，作为这张图像的特征，此过程完成特征抽取。
在特征提取器E之后，可以接入一个生成对抗网络中生成模型的编码器Decoder，去生成同一个身份标识ID的人脸图像在不佩戴口罩和墨镜的新人脸图像y，然后可以将人脸图像y输入到相同的特征提取器E，获得的特征fy。
由于要限制人脸图像y必须不包含口罩和墨镜，因此有损失函数：
L_clear(y)＝2-softmax_mask(y)+softmax_glass(y)
其中，L_clear(y)可以表示限制人脸图像y不包含口罩和墨镜的损失函数，softmax_mask(y)和softmax_glass(y)与步骤S720中判断人脸是否包含口罩softmax_mask和是否包含墨镜softmax_glass的损失相同。
身份标识ID对应的不戴口罩和墨镜的原人脸图像x提取的特征为f，那么，需要限制生成的新人脸图像y和不戴口罩墨镜的原人脸图像x是同一个身份标识ID，去使得人脸图像y的特征fy与原人脸图像x的特征f尽可能相似，因此有损失函数：
L_simi(x,y)＝1–f*fy/(||f||*||fy||)
其中，L_simi(x,y)可以表示限制人脸图像y的特征fy与原人脸图像x的特征f尽可能相似的损失函数。
由于生成的人脸图像y要尽可能的和输入的戴口罩人脸图像xm相似，因此有损失函数：
L_gen(y,xm)＝sim||xm-y||2
在这个损失函数中，可以采用L2距离，去衡量戴口罩图像xm中每一个像素点，与新人脸图像y中对应像素点的差异。同样的，如果输入为戴墨镜的图像xg，则损失为L_gen(y,xg)，即：
L_gen(y,xg)＝sim||xg-y||2
最后，可以设计判别模型，去使得生成的新人脸图像y尽可能的真实，以至于和真实的原人脸图像x尽可能的混淆，因此这里对抗网络的损失函数可以表示为L_ad(x,y)。
最终，通过生成对抗网络优化初始特征提取器的训练网络的损失函数为：
Loss_s3＝L_gen(y,xm)+L_gen(y,xg)+asimi*L_simi(x,y)+aclear*L_clear(y)+aad*L_ad(x,y)
其中，asimi，aclear，aad可以表示预先设置的权重数据，用于平衡各个损失。
步骤S740，模型的输出结果是否收敛。若收敛则执行步骤S750，若不收敛则继续执行步骤730中的训练过程；
步骤S750，得到训练好的目标人脸识别模型。具体而言，在步骤S730中训练了一个生成对抗网络，去优化特征提取器E。在此生成对抗网络和特征提取器E的输出结果收敛之后，再次将优化好的特征提取器E带入步骤S720中，去继续训练多任务人脸识别模型，同时判断人脸图像对应的身份标识ID和是否佩戴口罩或墨镜。如此操作，循环迭代步骤S720和步骤S730，使得整个特征提取器E在步骤S720的分类任务和步骤S730的生成任务中收敛。完成上述的循环迭代之后，可以得到训练好的特征提取器以及多任务人脸识别模型。
步骤S760，测试人脸特征提取，判断是否佩戴口罩或者墨镜。具体而言，在测试过程中，可以获得一张人脸图像，且并不知道该人脸图像的身份标识ID，以及是否佩戴了口罩和墨镜。将人脸图像xt，输入特征提取器E后，获得特征ft，然后可以将特征ft传入多任务人脸识别模型中，判断其是否佩戴口罩或墨镜，以及对应的身份标识ID。
步骤S770，人脸识别。具体而言，数据库中的已采集人脸图像都选取不佩戴口罩和墨镜的人脸图像，需要判断一张测试人脸图像xt是否属于数据库中的某一个人脸。对于数据库中的已采集人脸图像x，经过特征提取器进行特征抽取后，获得已采集人脸图像x对应的特征f，然后截取特征f的前d-dm-dg位，作为遮挡特征，标记位f’。
如果测试人脸图像xt被判别为佩戴了口罩或墨镜，那么，可以截取特征ft的前d-dm-dg位，作为遮挡特征，标记位ft’。在比对或者匹配人脸特征时，如果测试图像xt不包含口罩和墨镜，对比特征ft与特征f的所有特征的相似度，找出人脸识别结果。如果测试图像xt包含口罩和墨镜，则对比特征ft’与特征f’的所有特征的相似度，则可获得人脸识别结果。
当然，图7所示的训练过程仅是示意性举例说明，并不应对本示例实施例任何特殊限定。
本公开实施例中，由于训练过程包含人脸图像是否佩戴口罩和墨镜的信息，使得目标人脸识别模型在表征人脸图像对应的人脸标识信息的同时，能够表征口罩和墨镜的特征，使得特征抽取更加准确；训练过程中的监督学习的过程使得口罩和墨镜的特征，被压缩到一个较小的范围(dm和dg两部分的特征bit位)，这也使得口罩和墨镜对于嘴部和眼部的覆盖能够尽可能小的影响到人脸图像中其他五官部分的特征表达，提升识别结果的准确性和鲁棒性；设计的生成对抗网络，能够显式的表达出具有口罩和墨镜干扰人脸特征提取的有效程度(若特征提取器E训练的效果越好，生成的无遮挡的人脸就越真实，且越接近于同一个人脸标识信息的人脸)；通过循环迭代两个网络(步骤S720的多任务人脸识别网络，步骤S730的生成对抗网络)，使得人脸标识信息(如人物对象的身份标识信息)在两个网络中能够得到更加充分的学习，且随着两个网络的收敛，人脸标识信息渐渐的与口罩和墨镜的相关信息解耦，使得最终人脸识别结果更加鲁棒，从而使得人脸识别结果不受口罩和墨镜的干扰。
应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
进一步的，本示例实施方式中，还提供了一种人脸识别装置。该人脸识别装置可以应用于一服务器、服务器集群或终端设备。参考图9所示，该人脸识别装置900可以包括当前人脸图像获取模块910、遮掩状态确定模块920、特征比对方式确定模块930以及人脸识别模块940。其中：
当前人脸图像获取模块910可以用于获取待识别的当前人脸图像；
遮掩状态确定模块920可以用于将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；
特征比对方式确定模块930可以用于根据所述遮掩状态确定所述当前人脸图像的特征比对方式；
人脸识别模块940可以用于基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
在本公开的一种示例性实施例中，目标人脸识别模型可以包括目标特征提取器和多任务人脸识别模型；遮掩状态确定模块920可以用于：
通过所述目标特征提取器对所述当前人脸图像进行特征抽取，得到当前人脸特征，所述当前人脸特征包括全脸特征、未遮掩区域特征、口罩遮掩特征和墨镜遮掩特征；
将所述当前人脸特征输入到多任务人脸识别模型中，确定所述当前人脸图像的遮掩状态，其中所述遮掩状态包括无遮掩状态、口罩遮掩状态或者墨镜遮掩状态。
在本公开的一种示例性实施例中，人脸识别模块940可以包括：
第一人脸识别单元，可以用于若确定所述当前人脸图像的遮掩状态为无遮掩状态，则通过第一特征比对方式对所述当前人脸图像进行人脸识别；
第二人脸识别单元，可以用于若确定所述当前人脸图像的遮掩状态为口罩遮掩状态或者墨镜遮掩状态，则通过第二特征比对方式对所述当前人脸图像进行人脸识别。
在本公开的一种示例性实施例中，第一人脸识别单元可以用于：
获取已采集人脸图像对应的已采集人脸特征；
计算所述当前人脸图像对应的全脸特征与所述已采集人脸特征的第一相似度数据；
将最大的所述第一相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
在本公开的一种示例性实施例中，第二人脸识别单元可以用于：
获取已采集人脸图像对应的第一未遮掩区域特征；
计算所述当前人脸图像对应的第二未遮掩区域特征与所述第一未遮掩区域特征的第二相似度数据；
将最大的所述第二相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
在本公开的一种示例性实施例中，人脸识别装置900还可以包括目标人脸识别模型训练单元，该目标人脸识别模型训练单元可以用于：
获取样本人脸图像，所述样本人脸图像包括具有相同人脸标识信息的无遮挡正脸图像、佩戴口罩人脸图像和佩戴墨镜人脸图像；
通过初始特征提取器确定所述样本人脸图像对应的样本人脸特征，并根据所述样本人脸特征确定样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征；
通过初始多任务人脸识别模型对所述样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征进行分类，得到分类结果；
根据由所述人脸标识信息以及佩戴情况构成的标签数据，对所述初始特征提取器和所述初始多任务人脸识别模型进行监督训练，直到所述分类结果与所述标签数据之间的误差小于误差阈值，得到由训练好的特征提取器以及训练好的多任务人脸识别模型构成的目标人脸识别模型。
在本公开的一种示例性实施例中，人脸识别装置900还可以包括初始特征提取器优化单元，该初始特征提取器优化单元可以用于：
通过生成对抗网络对所述初始特征提取器进行优化训练，得到训练好的特征提取器。
上述人脸识别装置中各模块或单元的具体细节已经在对应的人脸识别方法中进行了详细的描述，因此此处不再赘述。
图10示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是，图10示出的电子设备的计算机系统1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中，还存储有系统操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的方法和装置中限定的各种功能。
在一些实施例中，计算机系统1000还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。例如，所述的电子设备可以实现如图2～图8所示的各个步骤等。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种人脸识别方法，其特征在于，包括：
获取待识别的当前人脸图像；
将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；
根据所述遮掩状态确定所述当前人脸图像的特征比对方式；
基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述目标人脸识别模型包括目标特征提取器和多任务人脸识别模型；
所述将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态，包括：
通过所述目标特征提取器对所述当前人脸图像进行特征抽取，得到当前人脸特征，所述当前人脸特征包括全脸特征、未遮掩区域特征、口罩遮掩特征和墨镜遮掩特征；
将所述当前人脸特征输入到多任务人脸识别模型中，确定所述当前人脸图像的遮掩状态，其中所述遮掩状态包括无遮掩状态、口罩遮掩状态或者墨镜遮掩状态。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，包括：
若确定所述当前人脸图像的遮掩状态为无遮掩状态，则通过第一特征比对方式对所述当前人脸图像进行人脸识别；
若确定所述当前人脸图像的遮掩状态为口罩遮掩状态或者墨镜遮掩状态，则通过第二特征比对方式对所述当前人脸图像进行人脸识别。
4.根据权利要求3述的人脸识别方法，其特征在于，所述通过第一特征比对方式对所述当前人脸图像进行人脸识别，包括：
获取已采集人脸图像对应的已采集人脸特征；
计算所述当前人脸图像对应的全脸特征与所述已采集人脸特征的第一相似度数据；
将最大的所述第一相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
5.根据权利要求3所述的人脸识别方法，其特征在于，所述通过第二特征比对方式对所述当前人脸图像进行人脸识别，包括：
获取已采集人脸图像对应的第一未遮掩区域特征；
计算所述当前人脸图像对应的第二未遮掩区域特征与所述第一未遮掩区域特征的第二相似度数据；
将最大的所述第二相似度数据对应的已采集人脸图像的人脸标识信息作为所述当前人脸图像的人脸识别结果，以实现对所述当前人脸图像的人脸识别。
6.根据权利要求1所述的人脸识别方法，其特征在于，所述方法还包括：
获取样本人脸图像，所述样本人脸图像包括具有相同人脸标识信息的无遮挡正脸图像、佩戴口罩人脸图像和佩戴墨镜人脸图像；
通过初始特征提取器确定所述样本人脸图像对应的样本人脸特征，并根据所述样本人脸特征确定样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征；
通过初始多任务人脸识别模型对所述样本全脸特征、样本未遮掩区域特征、样本口罩遮掩特征和样本墨镜遮掩特征进行分类，得到分类结果；
根据由所述人脸标识信息以及佩戴情况构成的标签数据，对所述初始特征提取器和所述初始多任务人脸识别模型进行监督训练，直到所述分类结果与所述标签数据之间的误差小于误差阈值，得到由训练好的特征提取器以及训练好的多任务人脸识别模型构成的目标人脸识别模型。
7.根据权利要求6所述的人脸识别方法，其特征在于，所述方法还包括：
通过生成对抗网络对所述初始特征提取器进行优化训练，得到训练好的特征提取器。
8.一种人脸识别装置，其特征在于，包括：
当前人脸图像获取模块，用于获取待识别的当前人脸图像；
遮掩状态确定模块，用于将所述当前人脸图像输入到目标人脸识别模型中，确定所述当前人脸图像的遮掩状态；
特征比对方式确定模块，用于根据所述遮掩状态确定所述当前人脸图像的特征比对方式；
人脸识别模块，用于基于确定的所述特征比对方式对所述当前人脸图像进行人脸识别，确定所述当前人脸图像对应的人脸识别结果。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486157.6A CN114170662A (zh) | 2021-12-07 | 2021-12-07 | 人脸识别方法及装置、存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486157.6A CN114170662A (zh) | 2021-12-07 | 2021-12-07 | 人脸识别方法及装置、存储介质、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170662A true CN114170662A (zh) | 2022-03-11 |
Family
ID=80483982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111486157.6A Pending CN114170662A (zh) | 2021-12-07 | 2021-12-07 | 人脸识别方法及装置、存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170662A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052781A (zh) * | 2020-09-01 | 2020-12-08 | 平安科技（深圳）有限公司 | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 |
| CN112115866A (zh) * | 2020-09-18 | 2020-12-22 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| WO2021063056A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市商汤科技有限公司 | 人脸属性识别方法、装置、电子设备和存储介质 |
| US20210209344A1 (en) * | 2020-06-29 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image recognition method and apparatus, device, and computer storage medium |
| AU2021105842A4 (en) * | 2021-08-18 | 2021-10-21 | iconcordia | DigiFaceOn |
-
2021
- 2021-12-07 CN CN202111486157.6A patent/CN114170662A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021063056A1 (zh) * | 2019-09-30 | 2021-04-08 | 深圳市商汤科技有限公司 | 人脸属性识别方法、装置、电子设备和存储介质 |
| US20210209344A1 (en) * | 2020-06-29 | 2021-07-08 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image recognition method and apparatus, device, and computer storage medium |
| CN112052781A (zh) * | 2020-09-01 | 2020-12-08 | 平安科技（深圳）有限公司 | 特征提取模型训练方法、人脸识别方法、装置、设备及介质 |
| CN112115866A (zh) * | 2020-09-18 | 2020-12-22 | 北京澎思科技有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| AU2021105842A4 (en) * | 2021-08-18 | 2021-10-21 | iconcordia | DigiFaceOn |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
| CN111027378B (zh) | 行人重识别的方法、装置、终端及存储介质 | |
| CN111339990B (zh) | 一种基于人脸特征动态更新的人脸识别系统和方法 | |
| KR20230021043A (ko) | 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치 | |
| CN104517104B (zh) | 一种基于监控场景下的人脸识别方法及系统 | |
| CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
| US20230033052A1 (en) | Method, apparatus, device, and storage medium for training image processing model | |
| CN111460962A (zh) | 一种口罩人脸识别方法及系统 | |
| CN110532965B (zh) | 年龄识别方法、存储介质及电子设备 | |
| US20230087657A1 (en) | Assessing face image quality for application of facial recognition | |
| Zheng et al. | Attention-based spatial-temporal multi-scale network for face anti-spoofing | |
| US11348364B2 (en) | Method and system for neural fingerprint enhancement for fingerprint recognition | |
| CN114022713A (zh) | 模型训练方法、系统、设备及介质 | |
| Xia et al. | Face occlusion detection using deep convolutional neural networks | |
| Liu et al. | FedForgery: generalized face forgery detection with residual federated learning | |
| Alsawwaf et al. | In your face: person identification through ratios and distances between facial features | |
| CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN114170662A (zh) | 人脸识别方法及装置、存储介质、电子设备 | |
| CN115035562A (zh) | 一种基于FaceNet改进的口罩遮挡下的人脸识别方法 | |
| Zhang et al. | A multi-view camera-based anti-fraud system and its applications | |
| CN114067394A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
| Paul et al. | Automatic adaptive facial feature extraction using CDF analysis | |
| CN111414895A (zh) | 一种人脸识别方法，装置及存储设备 | |
| Qiao et al. | Fully unsupervised deepfake video detection via enhanced contrastive learning | |
| CN117115469B (zh) | 图像特征提取网络的训练方法、装置、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |