CN115708135A - 人脸识别模型的处理方法、人脸识别方法及装置 - Google Patents
人脸识别模型的处理方法、人脸识别方法及装置 Download PDFInfo
- Publication number
- CN115708135A CN115708135A CN202110918545.0A CN202110918545A CN115708135A CN 115708135 A CN115708135 A CN 115708135A CN 202110918545 A CN202110918545 A CN 202110918545A CN 115708135 A CN115708135 A CN 115708135A
- Authority
- CN
- China
- Prior art keywords
- image
- face
- reconstruction
- network
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本申请涉及一种人脸识别模型的处理方法、人脸识别方法及装置。上述方法涉及人工智能领域的人脸识别技术，该方法包括：通过人脸识别模型中的重建网络，分别获得原始人脸图像对应的第一重建图像与部分遮挡人脸图像对应的第二重建图像；根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失；根据人脸识别模型中的识别网络，分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；基于重建损失与识别损失所构建的目标损失更新人脸识别模型的网络参数。本方法可以应用于智慧商超、智慧交通等场景下的人脸识别，采用本方法能够提升对部分遮挡人脸图像进行人脸识别的准确性。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种人脸识别模型的处理方法、人脸识别方法及装置。
背景技术
随着计算机技术与人工智能技术的发展，人脸识别技术为准确、迅速地验证身份提供了极大的便利。比如，人脸识别常用的应用场景至少包括人脸识别解锁、人脸识别通行、人脸支付、人脸登录，等等。
目前，利用人脸识别技术对用户进行人脸识别时，通常是对原始的完整人脸图像进行人脸识别，但是实际生活中，由于口罩、眼镜、刘海、帽子或光线等的遮挡，存在无法获得完整人脸图像的情况。例如，近两年来随着新型冠状病毒的传播，使用口罩已成为人们的生活习惯，而使用目前的人脸识别技术，需要用户摘下口罩才能进行人脸识别，频繁摘下口罩不利于防疫，但是用户不摘下口罩，由于缺乏完整的人脸数据，又会导致人脸识别准确率低。故而，提升对部分遮挡人脸图像进行人脸识别的准确性，成为目前亟需解决的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提升对部分遮挡人脸图像进行人脸识别的准确性的人脸识别模型的处理方法、人脸识别方法及装置。
一种人脸识别模型的处理方法，所述方法包括：
获取训练样本，所述训练样本包括原始人脸图像以及所述原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像；
通过人脸识别模型中的重建网络，分别对所述原始人脸图像与所述部分遮挡人脸图像进行人脸重建，获得所述原始人脸图像对应的第一重建图像与所述部分遮挡人脸图像对应的第二重建图像；
根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失；
根据所述人脸识别模型中的识别网络，分别对所述第一重建图像与所述第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；
基于所述重建损失与所述识别损失所构建的目标损失，更新所述人脸识别模型的网络参数后返回所述获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
一种人脸识别模型的处理装置，所述装置包括：
获取模块，用于获取训练样本，所述训练样本包括原始人脸图像以及所述原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像；
人脸重建模块，用于通过人脸识别模型中的重建网络，分别对所述原始人脸图像与所述部分遮挡人脸图像进行人脸重建，获得所述原始人脸图像对应的第一重建图像与所述部分遮挡人脸图像对应的第二重建图像；
重建损失构建模块，用于根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失；
识别损失构建模块，用于根据所述人脸识别模型中的识别网络，分别对所述第一重建图像与所述第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；
网络参数更新模块，用于基于所述重建损失与所述识别损失所构建的目标损失，更新所述人脸识别模型的网络参数后返回所述获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，所述重建损失为特征层面的特征重建损失，所述重建损失构建模块还用于：根据分别从所述原始人脸图像与所述第一重建图像提取的图像特征之间的特征差异，以及分别从所述原始人脸图像与所述第二重建图像提取的图像特征之间的特征差异，构建所述特征重建损失。
在一个实施例中，所述重建损失为图像层面的图像重建损失，所述重建损失构建模块还用于：根据所述原始人脸图像与所述第一重建图像之间的图像差异，以及所述原始人脸图像与所述第二重建图像之间的图像差异，构建所述图像重建损失。
在一个实施例中，所述重建损失构建模块还用于：根据分别从所述原始人脸图像与所述第一重建图像提取的图像特征之间的特征差异，以及分别从所述原始人脸图像与所述第二重建图像提取的图像特征之间的特征差异，构建特征重建损失；根据所述原始人脸图像与所述第一重建图像之间的图像差异，以及所述原始人脸图像与所述第二重建图像之间的图像差异，构建图像重建损失；融合所述特征重建损失与所述图像重建损失，得到用于约束所述重建网络的所述重建损失。
在一个实施例中，所述人脸识别模型中的识别网络是根据所述训练样本进行预训练得到的识别网络；所述重建损失构建模块还用于：将所述原始人脸图像、所述第一重建图像和所述第二重建图像分别输入至所述人脸识别模型中预训练的识别网络；通过所述预训练的识别网络，对所述原始人脸图像、所述第一重建图像和所述第二重建图像分别进行特征提取，获得所述原始人脸图像、所述第一重建图像和所述第二重建图像各自对应的图像特征。
在一个实施例中，所述重建损失构建模块还用于：获取训练好的人脸重建监督网络，所述人脸重建监督网络用于辅助所述人脸识别模型中的重建网络进行训练；将所述原始人脸图像、所述第一重建图像和所述第二重建图像分别输入至所述人脸重建监督网络；通过所述人脸重建监督网络对所述原始人脸图像、所述第一重建图像和所述第二重建图像分别进行特征提取，获得所述原始人脸图像、所述第一重建图像和所述第二重建图像各自对应的图像特征。
在一个实施例中，所述识别损失构建模块还用于：获取所述原始人脸图像与所述部分遮挡人脸图像共同对应的身份标签；通过所述人脸识别模型中的识别网络，从所述第一重建图像中提取图像特征，基于所述第一重建图像对应的图像特征获得第一人脸识别结果；通过所述人脸识别模型中的识别网络，从所述第二重建图像中提取图像特征，基于所述第二重建图像对应的图像特征获得的第二人脸识别结果；基于所述第一人脸识别结果与所述身份标签之间的差异，以及所述第二人脸识别结果与所述身份标签之间的差异，构建所述识别损失。
在一个实施例中，所述网络参数更新模块还用于：基于所述重建损失与所述识别损失所构建的目标损失，对所述人脸识别模型中的重建网络进行监督训练，更新所述重建网络的网络参数；当满足监督训练停止条件时，返回所述获取训练样本的步骤继续训练，并基于所述重建损失与所述识别损失所构建的目标损失，对所述人脸识别模型中的识别网络和重建网络进行联合训练，更新所述人脸识别模型中的识别网络和重建网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，所述人脸识别模型中的识别网络是根据预训练样本进行预训练得到的识别网络；所述人脸识别模型的处理装置还包括预训练模块，所述预训练模块用于：获取包括人脸的预训练样本；将所述预训练样本输入初始识别网络；通过所述初始识别网络对所述预训练样本进行特征提取，获得所述预训练样本对应的图像特征，基于所述预训练样本对应的图像特征获得所述预训练样本对应的人脸识别结果；基于所述预训练样本对应的人脸识别结果与所述预训练样本对应的身份标签构建预训练识别损失；基于所述预训练识别损失更新所述初始识别网络的网络参数后，返回所述获取包括人脸的预训练样本的步骤继续训练，直至得到预训练的识别网络。
在一个实施例中，所述人脸识别模型的处理装置还包括人脸识别模块；所述获取模块还用于：获取待识别人脸图像及待验证身份，所述待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；所述人脸重建模块还用于：通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；所述人脸识别模块用于：通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，获得所述重建图像对应的图像特征；将所述重建图像对应的图像特征与所述待验证身份对应的图像特征进行匹配；当匹配成功时，则确定所述待识别人脸图像通过身份验证。
在一个实施例中，所述人脸识别模型的处理装置还包括人脸识别模块；所述获取模块还用于：获取待识别人脸图像，所述待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；所述人脸重建模块还用于：通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；所述人脸识别模块用于：通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，获得所述重建图像对应的图像特征；将所述重建图像对应的图像特征与至少一个参考图像特征进行匹配，将匹配成功的参考图像特征所对应的目标身份，作为所述待识别人脸图像中人脸的身份。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述人脸识别模型的处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述人脸识别模型的处理方法的步骤。
一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述人脸识别模型的处理方法的步骤。
上述人脸识别模型的处理方法、装置、计算机设备和存储介质，一方面，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，分别获得相应的第一重建图像与第二重建图像，就可以根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异构建重建损失，重建损失能够在训练过程中约束重建网络，使得重建网络既能够在重建图像时保留原始人脸图像的图像信息，又能够学习到对部分遮挡人脸图像进行补全的能力；另一方面，基于对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果所构建识别损失，能够在训练过程中约束重建网络，使得重建网络对原始人脸图像以及对部分遮挡人脸图像进行人脸重建所得到的重建图像，都能够被识别网络准确识别。这样，基于重建损失与识别损失所构建的目标损失训练得到的人脸识别模型，不仅具备了对完整人脸图像进行人脸识别的能力，而且对部分遮挡人脸图像进行人脸识别的准确性将被大大提高。
一种人脸识别方法，所述方法包括：
获取待识别人脸图像；
通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，得到所述待识别人脸图像对应的人脸识别结果；
其中，所述人脸识别模型是基于原始人脸图像与所述重建网络对所述原始人脸图像进行人脸重建得到的第一重建图像之间的差异、所述原始人脸图像与所述重建网络对所述原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及所述识别网络获得的所述第一重建图像与所述第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
一种人脸识别装置，所述装置包括：
获取模块，用于获取待识别人脸图像；
人脸重建模块，用于通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
人脸识别模块，用于通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，得到所述待识别人脸图像对应的人脸识别结果；
其中，所述人脸识别模型是基于原始人脸图像与所述重建网络对所述原始人脸图像进行人脸重建得到的第一重建图像之间的差异、所述原始人脸图像与所述重建网络对所述原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及所述识别网络获得的所述第一重建图像与所述第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述人脸识别方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述人脸识别方法的步骤。
一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述人脸识别方法的步骤。
上述人脸识别方法、装置、计算机设备和存储介质，通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像，由于重建网络能够保持原始人脸图像的图像信息，又能够对部分遮挡人脸图像补全缺少的人脸数据，故而通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到人脸识别结果，不仅不影响对完整人脸图像进行人脸识别的准确性，而且能够提升对部分遮挡人脸图像进行人脸识别的准确性。
附图说明
图1为一个实施例中人脸识别模型的处理方法的应用环境图；
图2为一个实施例中人脸识别模型的处理方法的流程框图；
图3为一个实施例中构建目标损失的示意图；
图4为另一个实施例中构建目标损失的示意图；
图5为又一个实施例中构建目标损失的示意图；
图6为一个实施例中人脸识别模型的训练流程示意图；
图7为另一个实施例中人脸识别模型的处理方法的流程框图；
图8为又一个实施例中人脸识别模型的处理方法的流程框图；
图9为一个实施例中人脸识别方法的流程框图；
图10为一个实施例中人脸识别模型的处理装置的结构框图；
图11为一个实施例中人脸识别装置的结构框图；
图12为一个实施例中计算机设备的内部结构图；
图13为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的人脸识别模型的处理方法和人脸识别方法，涉及人工智能(Artificial Intelligence,AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的人脸识别模型的处理方法，主要涉及人工智能的机器学习技术(Machine Learning,ML)。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
例如，在本申请实施例中，通过原始人脸图像以及原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像对人脸识别模型中的重建网络进行监督训练，以及对人脸识别模型中的重建网络和识别网络进行联合训练，最终获得适于识别部分遮挡人脸图像的人脸识别模型。
本申请实施例提供的人脸识别方法，主要涉及人工智能的计算机视觉技术(Computer Vision,CV)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
例如，在本申请实施例中，通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像，通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，获得待识别人脸图像对应的人脸识别结果。
本申请实施例提供的人脸识别模型的处理方法和人脸识别方法，还可涉及区块链技术。区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
例如，在本申请实施例中，服务器可以是区块链网络中的区块链节点，训练好的人脸识别模型可以存储在区块链上，将待识别人脸图像上传至区块链的数据区块，以对待识别人脸图像进行人脸识别。
本申请提供的人脸识别模型的处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以但不限于是各种智能手机、平板电脑、笔记本电脑、台式计算机、便携式可穿戴设备、智能音箱等。服务器104可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或者分布式系统，或者提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中，终端102获取训练样本，训练样本包括原始人脸图像以及原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像，将训练样本发送给服务器104，服务器104通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，获得原始人脸图像对应的第一重建图像与部分遮挡人脸图像对应的第二重建图像，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失，根据人脸识别模型中的识别网络，分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失，基于重建损失与识别损失所构建的目标损失，更新人脸识别模型的网络参数后返回获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
本申请实施例提供的人脸识别模型的处理方法，其执行主体可以是本申请实施例提供的人脸识别模型的处理装置，或集成了该人脸识别模型的处理装置的计算机设备，其中该人脸识别模型的处理装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或服务器104。
本申请提供的人脸识别方法，也可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。在一个实施例中，终端102获取待识别人脸图像，将待识别人脸图像发送给服务器104，服务器104通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果；其中，人脸识别模型是基于原始人脸图像与重建网络对原始人脸图像进行人脸重建得到的第一重建图像之间的差异、原始人脸图像与重建网络对原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及识别网络获得的第一重建图像与第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
本申请实施例提供的人脸识别方法，其执行主体可以是本申请实施例提供的人脸识别装置，或集成了该人脸识别装置的计算机设备，其中该人脸识别装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或者服务器104。
本申请实施例提供的人脸识别方法，可应用于一对一身份验证场景，在不影响对完整人脸图像进行人脸识别的准确性的前提下，提升对部分遮挡人脸图像进行人脸识别的准确性。一对一身份验证场景是在已知待验证身份的情况下，将待识别人脸图像对应的图像特征与待验证身份对应的图像特征进行比对，以核实待识别人脸图像中的人脸对应的身份是否为待验证身份。比如，身份核验场景、终端屏幕解锁场景等。
例如，为了保障用户数据的安全，电子支付应用、金融服务应用、社交通信应用、政务服务应用、出行服务应用等具有身份核验功能，在用户通过身份核验后，才可以基于该应用办理相关业务。具体地，计算机设备采集用户的待识别人脸图像，待识别人脸图像可以是完整人脸图像或部分遮挡人脸图像。计算机设备通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建得到重建图像，若待识别人脸图像是完整人脸图像，重建网络保持待识别人脸图像的原始人脸数据，若待识别人脸图像是部分遮挡人脸图像，重建网络补全待识别人脸图像缺少的人脸数据。通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到图像特征，将重建图像对应的图像特征与待核验身份对应的图像特征进行匹配，当匹配成功时，确定待识别人脸图像通过身份核验。
本申请实施例提供的人脸识别方法，可应用于一对多身份识别场景，在不影响对完整人脸图像进行人脸识别的准确性的前提下，提升对部分遮挡人脸图像进行人脸识别的准确性。一对多身份识别场景是将待识别人脸图像对应的图像特征与数据库中预存的参考图像特征进行比对，以从数据库中各参考图像特征对应的身份中，确定待识别人脸图像中的人脸对应的身份。比如交通安全场景、人脸支付场景、工作考勤场景、寻找失踪人员场景等。在智慧交通、智慧出行、智慧商超等场景下，该人脸识别方法能够提供极大的便利。
例如，在人脸支付场景中，计算机设备采集电子支付用户的待识别人脸图像，待识别人脸图像可以是完整人脸图像或部分遮挡人脸图像。通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建得到重建图像，若待识别人脸图像是完整人脸图像，重建网络保持待识别人脸图像的原始人脸数据，若待识别人脸图像是部分遮挡人脸图像，重建网络补全待识别人脸图像缺少的人脸数据。通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到图像特征，将重建图像对应的图像特征与至少一个参考图像特征进行匹配，从匹配成功的参考图像特征对应的账户中执行扣款操作。
在一个实施例中，如图2所示，提供了一种人脸识别模型的处理方法，本实施例主要以该方法应用于上述图1中的计算机设备(终端102或者服务器104)来举例说明，包括以下步骤：
步骤S202，获取训练样本，训练样本包括原始人脸图像以及原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像。
其中，训练样本是用于训练人脸识别模型的人脸图像。训练样本包括原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像，原始人脸图像是包括完整人脸的图像，部分遮挡人脸图像是原始人脸图像中人脸被部分遮挡后形成的图像。
在一个实施例中，计算机设备对原始人脸图像进行部分遮挡处理，得到与原始人脸图像相对应的部分遮挡人脸图像。例如，计算机设备识别原始人脸图像中人脸的关键点，基于人脸的关键点在人脸的特定位置添加图像遮挡素材，得到与原始人脸图像相对应的部分遮挡人脸图像。其中，图像遮挡素材可以是口罩、眼镜、刘海、帽子或光线等。
在一个实施例中，计算机设备对原始人脸图像进行不同遮挡程度的部分遮挡处理，得到与原始人脸图像相对应的、不同遮挡程度的部分遮挡人脸图像。计算机设备利用原始人脸图像以及与原始人脸图像相对应的、不同遮挡程度的部分遮挡人脸图像对人脸识别模型进行训练，可得到适于识别不同遮挡程度的部分遮挡人脸图像的人脸识别模型。
在一个实施例中，计算机设备获取至少一组训练样本，根据至少一组训练样本对人脸识别模型进行本次训练。可选地，一组训练样本可包括一张原始人脸图像以及与原始人脸图像相对应的、至少一张部分遮挡人脸图像，当至少一张部分遮挡人脸图像为多于一张部分遮挡人脸图像时，多于一张部分遮挡人脸图像可以是不同遮挡程度的部分遮挡人脸图像。
在一个实施例中，计算机设备对原始人脸图像进行不同遮挡位置的部分遮挡处理，得到与原始人脸图像相对应的、不同遮挡位置的部分遮挡人脸图像。计算机设备利用原始人脸图像以及与原始人脸图像相对应的、不同遮挡位置的部分遮挡人脸图像对人脸识别模型进行训练，可得到适于识别不同遮挡位置的部分遮挡人脸图像的人脸识别模型。
由于在人脸识别场景中，常常因为刘海、帽子、眼镜、口罩或光线等的遮挡，无法获得包括完整人脸的人脸图像，而由于缺乏完整的人脸数据，人脸识别模型的识别准确率较低。本申请实施例提供的人脸识别模型的处理方法，对人脸识别模型进行改进，在人脸识别模型中加入重建网络，通过重建网络对部分遮挡人脸图像进行人脸重建，人脸识别模型中的识别网络基于重建网络输出的完整的人脸数据进行人脸识别，能够提升人脸识别模型的识别准确率。因此，本申请将包括完整人脸的原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像作为训练样本，根据训练样本对人脸识别模型进行训练，人脸识别模型中的重建网络以原始人脸图像作为参照，“学习”对部分遮挡人脸图像进行人脸重建，以补全部分遮挡人脸图像所缺少的人脸数据。
步骤S204，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，获得原始人脸图像对应的第一重建图像与部分遮挡人脸图像对应的第二重建图像。
为了使人脸识别模型中的重建网络不仅具有补全部分遮挡人脸图像所缺少的人脸识别所需人脸信息的能力，还能够具有保持原始人脸图像的原始人脸数据的能力，使得人脸识别模型不论是对完整人脸图像还是对部分遮挡人脸图像均具有准确的识别效果，本申请通过将原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像输入重建网络，重建网络以原始人脸图像作为参照，“学习”补全部分遮挡人脸图像所缺少的人脸数据，并以原始人脸图像作为参照，“学习”保持原始人脸图像的原始人脸数据。
在一个实施例中，计算机设备将原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像输入重建网络，通过重建网络分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，获得原始人脸图像对应的第一重建图像，以及部分遮挡人脸图像对应的第二重建图像。
在一个实施例中，重建网络可以是由卷积神经网络构成的网络结构，一般包含有卷积计算、非线性激活函数计算、池化计算、上采样处理、反卷积等处理。例如重建网络可以是采用编码-解码结构的深度学习网络，例如U-Net、U-Net++、U-Net+++，等等。
步骤S206，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失。
本申请中，计算机设备构建重建损失，重建损失可用于约束重建网络，使得重建网络以原始人脸图像作为参照，“学习”补全部分遮挡人脸图像所缺少的人脸数据，并以原始人脸图像作为参照，“学习”保持原始人脸图像的原始人脸数据。
在一个实施例中，计算机设备根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失。其中，重建损失中原始人脸图像与第一重建图像的差异部分，用于促使重建网络以原始人脸图像作为参照，“学习”保持原始人脸图像的原始人脸数据，重建损失中原始人脸图像与第二重建图像的差异部分，用于促使重建网络以原始人脸图像作为参照，“学习”补全部分遮挡人脸图像所缺少的人脸数据。
举例说明，参照图3，图3为一个实施例中构建目标损失的示意图。计算机设备将原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像输入重建网络302，通过重建网络302分别获得原始人脸图像对应的第一重建图像，以及部分遮挡人脸图像对应的第二重建图像，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失。
可以理解，通用的损失函数即满足本申请实施例对重建损失的需求，因此计算机设备可采用通用的损失函数，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失。通用的损失函数例如Cosine相似度损失函数、Softmax函数、Contrastive Loss函数、Triplet Loss函数、Center Loss函数、Margin函数等。
步骤S208，根据人脸识别模型中的识别网络，分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失。
本申请中，计算机设备构建识别损失，识别损失可用于约束重建网络，使得重建网络不论是对原始人脸图像还是对部分遮挡人脸图像进行人脸重建所得到的重建图像，都能够被识别网络准确识别。
在一个实施例中，计算机设备获取原始人脸图像与部分遮挡人脸图像共同对应的身份标签，通过人脸识别模型中的识别网络对第一重建图像进行人脸识别得到第一人脸识别结果，通过识别网络对第二重建图像进行人脸识别得到第二人脸识别结果，基于第一人脸识别结果与身份标签之间的差异，以及第二人脸识别结果与身份标签之间的差异，构建识别损失。其中，识别损失中第一人脸识别结果与身份标签之间的差异部分，用于促使重建网络“学习”对原始人脸图像的人脸重建，使得第一重建图像能够被识别网络准确识别，识别损失中第二人脸识别结果与身份标签之间的差异部分，用于促使重建网络“学习”对部分遮挡人脸图像的人脸重建，使得第二重建图像能够被识别网络准确识别。
其中，身份标签用于描述人脸图像中的人脸对应的身份。可选地，身份标签是原始人脸图像与部分遮挡人脸图像中的人脸对应的身份标识。身份标识用于唯一标识用户，可由字母、数字、文字中的至少一种组成。
在一个实施例中，步骤S208包括：计算机设备获取原始人脸图像与部分遮挡人脸图像共同对应的身份标签；通过人脸识别模型中的识别网络，从第一重建图像中提取图像特征，基于第一重建图像对应的图像特征获得第一人脸识别结果；通过人脸识别模型中的识别网络，从第二重建图像中提取图像特征，基于第二重建图像对应的图像特征获得的第二人脸识别结果；基于第一人脸识别结果与身份标签之间的差异，以及第二人脸识别结果与身份标签之间的差异，构建识别损失。
其中，图像特征是反映重建图像中人脸特征的数据。人脸特征是人脸所固有的生理特征，比如，虹膜形态、面部器官之间的位置关系、面部器官的形状、面部器官的大小、皮肤纹理等。
在一个实施例中，图像特征具体可以是从原始人脸图像、第一重建图像或第二重建图像中提取出的、与人脸特征相关的位置信息、纹理信息、形状信息和颜色信息等中的一种或几种的组合。以位置信息为例，位置信息可以是各个面部器官之间的距离或者角度。
举例说明，继续参照图3，计算机设备将原始人脸图像对应的第一重建图像以及部分遮挡人脸图像对应的第二重建图像分别输入识别网络304，通过识别网络304获得第一重建图像对应的第一图像特征，基于第一图像特征得到第一重建图像对应的第一人脸识别结果，通过识别网络304获得第二重建图像对应的第二图像特征，基于第二图像特征得到第二重建图像对应的第二人脸识别结果，基于第一人脸识别结果与身份标签之间的差异，以及第二人脸识别结果与身份标签之间的差异，构建识别损失。
在一个实施例中，第一人脸识别结果和第二人脸识别结果均可以是概率向量，其维度与训练样本中身份标识的数量相匹配。以第一人脸识别结果对应的概率向量为例，每个维度的值表示第一重建图像中的人脸对应其中一个身份标识的概率。
在一个实施例中，计算机设备获取原始人脸图像与部分遮挡人脸图像共同对应的身份标签，将身份标签转换为标签向量，标签向量与上述概率向量的维度一致。基于标签向量与第一人脸识别结果对应的概率向量之间的差异，以及标签向量与第二人脸识别结果对应的概率向量之间的差异，构建识别损失。
可以理解，通用的损失函数即满足本申请实施例对识别损失的需求，因此计算机设备可采用通用的损失函数，根据识别网络分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失。
步骤S210，基于重建损失与识别损失所构建的目标损失，更新人脸识别模型的网络参数后返回获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，计算机设备基于重建损失与识别损失构建目标损失，根据目标损失更新人脸识别模型的网络参数，直至满足训练停止条件时，得到适于识别部分遮挡人脸图像的人脸识别模型。
举例说明，继续参照图3，计算机设备基于重建损失与识别损失构建目标损失。可选地，计算机设备获取预设的损失加权系数，按照预设的损失加权系数对重建损失与识别损失加权求和，获得目标损失。
在一个实施例中，计算机设备按照最小化目标损失的方向，基于梯度下降算法获得本次训练对应的梯度，按照梯度更新人脸识别模型的网络参数。梯度下降算法可以是随机梯度下降算法，或者基于随机梯度下降算法优化的算法，比如带动量项的随机梯度下降算法等。
可以理解，本申请实施例中所涉及的训练停止条件，可以是训练次数达到预设次数，或者目标损失计算的损失值小于预设值等。
在一个实施例中，步骤S210包括：基于重建损失与识别损失所构建的目标损失，对人脸识别模型中的重建网络进行监督训练，更新重建网络的网络参数；当满足监督训练停止条件时，返回获取训练样本的步骤继续训练，并基于重建损失与识别损失所构建的目标损失，对人脸识别模型中的识别网络和重建网络进行联合训练，更新人脸识别模型中的识别网络和重建网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，计算机设备先固定人脸识别模型中的识别网络的网络参数，根据目标损失对人脸识别模型中的重建网络进行监督训练，更新重建网络的网络参数；当满足监督训练停止条件时，继续构建目标损失，根据目标损失对人脸识别模型中的识别网络和重建网络进行联合训练，更新人脸识别模型中的识别网络和重建网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
具体地，对人脸识别模型中的重建网络进行监督训练，目的是约束重建网络，使得重建网络对原始人脸图像进行人脸重建时，能够保持原始人脸图像的原始人脸数据，对部分遮挡人脸图像进行人脸重建时，能够补全部分遮挡人脸图像所缺少的人脸数据，并且，不论是对原始人脸图像还是对部分遮挡人脸图像进行人脸重建所得到的重建图像，能够被识别网络准确识别。而对人脸识别模型中的识别网络和重建网络进行联合训练，目的是对识别网络和重建网络的网络参数进行微调，以提升识别网络与重建网络之间的适配程度。
上述人脸识别模型的处理方法中，一方面，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，分别获得相应的第一重建图像与第二重建图像，就可以根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异构建重建损失，重建损失能够在训练过程中约束重建网络，使得重建网络既能够在重建图像时保留原始人脸图像的图像信息，又能够学习到对部分遮挡人脸图像进行补全的能力；另一方面，基于对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果所构建识别损失，能够在训练过程中约束重建网络，使得重建网络对原始人脸图像以及对部分遮挡人脸图像进行人脸重建所得到的重建图像，都能够被识别网络准确识别。这样，基于重建损失与识别损失所构建的目标损失训练得到的人脸识别模型，不仅具备了对完整人脸图像进行人脸识别的能力，而且对部分遮挡人脸图像进行人脸识别的准确性将被大大提高。
在一个实施例中，重建损失为特征层面的特征重建损失，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失，包括：根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失。
在一个实施例中，计算机设备对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征，根据原始人脸图像与第一重建图像各自对应的图像特征之间的差异，以及原始人脸图像与第二重建图像各自对应的图像特征之间的差异，构建特征重建损失。
在一个实施例中，特征重建损失可通过以下公式进行表示：
Lf＝||Fxn-Fyn||2+Fxn-Fym||2
其中，Lf表示特征重建损失；Fxn表示原始人脸图像对应的图像特征；Fyn表示第一重建图像对应的图像特征；Fym表示第二重建图像对应的图像特征；
…2表示第二范数。
本实施例中，特征重建损失可用于约束重建网络，具体是约束重建网络对原始人脸图像进行人脸重建得到的第一重建图像与原始人脸图像在图像特征上保持一致，以及约束重建网络对部分遮挡人脸图像进行人脸重建得到的第二重建图像与原始人脸图像在图像特征上保持一致，使得训练得到的人脸识别模型进行人脸识别时，能够补全部分遮挡人脸图像缺少的图像特征，且保持原始人脸图像的原始图像特征。
在一个实施例中，重建损失为图像层面的图像重建损失，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失，包括：根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失。
在一个实施例中，图像重建损失可约束原始人脸图像与第一重建图像在图像参数上保持一致，以及原始人脸图像与第二重建图像在图像参数上保持一致。其中，图像参数例如图像尺寸和像素值中的至少一种。
在一个实施例中，图像重建损失可以是MSE(MeanSquare Error,均方误差)损失函数。
在一个实施例中，图像重建损失可通过以下公式进行表示：
Lr＝||xn-yn||1+||xn-ym||1
其中，Lr表示图像重建损失；xn表示原始人脸图像；yn表示第一重建图像；ym表示第二重建图像；||…1表示第一范数。
本实施例中，图像重建损失可用于约束重建网络，具体是约束重建网络对原始人脸图像进行人脸重建得到的第一重建图像与原始人脸图像在图像参数上保持一致，以及约束重建网络对部分遮挡人脸图像进行人脸重建得到的第二重建图像与原始人脸图像在图像参数上保持一致，使得训练得到的人脸识别模型进行人脸识别时，能够补全部分遮挡人脸图像缺少的图像参数，且保持原始人脸图像的原始图像参数。
在一个实施例中，根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失，包括：根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失；根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失；融合特征重建损失与图像重建损失，得到用于约束重建网络的重建损失。
在一个实施例中，计算机设备根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失，根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失，根据人脸识别模型中的识别网络，分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失，融合特征重建损失、图像重建损失和识别损失，得到目标损失。
在一个实施例中，计算机设备获取预设的损失加权系数，按照预设的损失加权系数对特征重建损失、图像重建损失和识别损失加权求和，获得目标损失。
在一个实施例中，目标损失可通过以下公式进行表示：
L＝λ1Lf+λ2Lr+λ3Lc
其中，L表示目标损失；Lf表示特征重建损失；Lr表示图像重建损失；Lc表示识别损失；λ1、λ2、λ3分别表示特征重建损失、图像重建损失和识别损失各自对应的损失加权系数。
本实施例中，基于特征重建损失、图像重建损失和识别损失构建目标损失，根据目标损失训练人脸识别模型，使得训练得到的人脸识别模型进行人脸识别时，能够补全部分遮挡人脸图像缺少的图像特征和图像参数，保持原始人脸图像原始的图像特征和图像参数，提升人脸识别的准确性。
在一个实施例中，人脸识别模型中的识别网络是根据训练样本进行预训练得到的识别网络；该方法还包括：将原始人脸图像、第一重建图像和第二重建图像分别输入至人脸识别模型中预训练的识别网络；通过预训练的识别网络，对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征。
在一个实施例中，计算机设备可通过预训练的识别网络分别提取原始人脸图像、第一重建图像和第二重建图像的图像特征，进而基于分别从原始人脸图像与第一重建图像提取的图像特征之间的差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的差异，构建特征重建损失。
举例说明，参照图4，图4为另一个实施例中构建目标损失的示意图。计算机设备将原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像输入重建网络，通过重建网络分别获得原始人脸图像对应的第一重建图像，以及部分遮挡人脸图像对应的第二重建图像；将第一重建图像、第二重建图像和原始人脸图像输入预训练的识别网络，通过预训练的识别网络获得第一重建图像对应的第一图像特征、第二重建图像对应的第二图像特征和原始人脸图像对应的原始图像特征，根据原始图像特征与第一图像特征之间的差异，以及原始图像特征与第二图像特征之间的差异，构建特征重建损失。其中，第一图像特征和第二图像特征还用于分别确定第一重建图像对应的第一人脸识别结果和第二重建图像对应的第二人脸识别结果。
在一个实施例中，预训练的识别网络可以是通过包括原始人脸图像和部分遮挡人脸图像的训练样本训练得到。当通过训练样本对识别网络进行预训练时，无需将原始人脸图像以及原始人脸图像对应的部分遮挡人脸图像成对输入识别网络，原始人脸图像以及原始人脸图像对应的部分遮挡人脸图像可分别作为单独的训练样本。
在一个实施例中，计算机设备将训练样本输入初始识别网络，通过初始识别网络对训练样本进行特征提取，获得训练样本对应的图像特征，基于训练样本对应的图像特征获得训练样本对应的人脸识别结果，基于训练样本对应的人脸识别结果与训练样本对应的身份标签构建预训练识别损失，基于预训练识别损失更新初始识别网络的网络参数，直至得到预训练的识别网络。
本实施例中，通过识别网络对重建网络进行监督训练，无需额外的网络结构，节省了训练过程中所占用的资源。
在一个实施例中，该方法还包括：获取训练好的人脸重建监督网络，人脸重建监督网络用于辅助人脸识别模型中的重建网络进行训练；将原始人脸图像、第一重建图像和第二重建图像分别输入至人脸重建监督网络；通过人脸重建监督网络对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征。
在一个实施例中，计算机设备引入人脸重建监督网络来辅助人脸识别模型中的重建网络进行训练，通过训练好的人脸重建监督网络分别提取原始人脸图像、第一重建图像和第二重建图像的图像特征，进而基于分别从原始人脸图像与第一重建图像提取的图像特征之间的差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的差异，构建特征重建损失。
在一个实施例中，人脸重建监督网络可以是比识别网络的网络结构更复杂、特征提取准确率更高、通用性更强的网络结构。
在一个实施例中，人脸重建监督网络的图像输入尺寸与识别网络的图像输入尺寸一致。
举例说明，参照图5，图5为又一个实施例中构建目标损失的示意图。计算机设备将原始人脸图像以及与原始人脸图像相对应的部分遮挡人脸图像输入重建网络，通过重建网络分别获得原始人脸图像对应的第一重建图像，以及部分遮挡人脸图像对应的第二重建图像；将第一重建图像、第二重建图像和原始人脸图像输入训练好的人脸重建监督网络，通过训练好的人脸重建监督网络获得第一重建图像对应的第一图像特征、第二重建图像对应的第二图像特征和原始人脸图像对应的原始图像特征，根据原始图像特征与第一图像特征之间的差异，以及原始图像特征与第二图像特征之间的差异，构建特征重建损失。
在一个实施例中，人脸重建监督网络可以是通过包括原始人脸图像和/或部分遮挡人脸图像的训练样本训练得到。当通过包括原始人脸图像和部分遮挡人脸图像的训练样本对人脸重建监督网络进行训练时，无需将原始人脸图像以及原始人脸图像对应的部分遮挡人脸图像成对输入人脸重建监督网络，原始人脸图像以及原始人脸图像对应的部分遮挡人脸图像可分别作为单独的训练样本。
在一个实施例中，计算机设备将训练样本输入初始人脸重建监督网络，通过初始人脸重建监督网络对训练样本进行特征提取，获得训练样本对应的图像特征，基于训练样本对应的图像特征获得训练样本对应的人脸识别结果，基于训练样本对应的人脸识别结果与训练样本对应的身份标签构建训练损失，基于训练损失更新初始人脸重建监督网络的网络参数，直至训练停止时得到训练好的人脸重建监督网络。
本实施例中，引入网络结构更复杂、特征提取准确率更高的人脸重建监督网络来辅助重建网络进行训练，不仅有助于提升重建网络的训练速度，而且，训练好的重建网络输出的重建图片能够包含更准确的识别信息，有助于提升人脸识别的准确性。
在一个实施例中，人脸识别模型中的识别网络是根据预训练样本进行预训练得到的识别网络；该方法还包括：获取包括人脸的预训练样本；将预训练样本输入初始识别网络；通过初始识别网络对预训练样本进行特征提取，获得预训练样本对应的图像特征，基于预训练样本对应的图像特征获得预训练样本对应的人脸识别结果；基于预训练样本对应的人脸识别结果与预训练样本对应的身份标签构建预训练识别损失；基于预训练识别损失更新初始识别网络的网络参数后，返回获取包括人脸的预训练样本的步骤继续训练，直至得到预训练的识别网络。
其中，预训练样本可以是包括原始人脸图像和部分遮挡人脸图像中的至少一种的训练样本。
在一个实施例中，计算机设备预先对识别网络进行预训练，在获得预训练的识别网络后，对人脸识别模型中的重建网络进行训练。
在一个实施例中，参照图6，图6为一个实施例中人脸识别模型的训练流程示意图。计算机设备对识别网络进行预训练，在获得预训练的识别网络后，固定识别网络的网络参数，根据目标损失对人脸识别模型中的重建网络进行监督训练，更新重建网络的网络参数；当满足监督训练停止条件时，继续构建目标损失，根据目标损失对人脸识别模型中的重建网络和识别网络进行联合训练，更新重建网络和识别网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，计算机设备将预训练样本输入初始识别网络，通过初始识别网络对预训练样本进行特征提取，获得预训练样本对应的图像特征，基于预训练样本对应的图像特征获得预训练样本对应的人脸识别结果，基于预训练样本对应的人脸识别结果与预训练样本对应的身份标签构建预训练识别损失，基于预训练识别损失更新初始识别网络的网络参数，直至得到预训练的识别网络。
本实施例中，预先对识别网络进行预训练，使得识别网络具备人脸识别能力，后续只需将重建网络和识别网络进行微调训练，识别网络即可准确识别重建网络输出的重建图像。
继续参照图6，可以看到，通过本申请实施例提供的方法训练得到的人脸识别模型，可应用于身份验证场景和身份识别场景中，在身份验证场景和身份识别场景中可接入相应的匹配网络进行人脸识别。下面对人脸识别模型在身份验证场景和身份识别场景中的应用进行介绍。
在一个实施例中，该方法还包括：获取待识别人脸图像及待验证身份，待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，获得重建图像对应的图像特征；将重建图像对应的图像特征与待验证身份对应的图像特征进行匹配；当匹配成功时，则确定待识别人脸图像通过身份验证。
其中，待识别人脸图像是待进行身份验证的图像。身份验证在于核实待识别人脸图像中的人脸对应的身份是否为待验证身份。
通过本申请实施例提供的方法训练得到的人脸识别模型，可应用于一对一身份验证场景。一对一身份验证场景是在已知待验证身份的情况下，将待识别人脸图像对应的图像特征与待验证身份对应的图像特征进行比对，以核实待识别人脸图像中的人脸对应的身份是否为待验证身份。比如，身份核验场景、终端屏幕解锁场景、寻找失踪人员场景等。
在一个实施例中，计算机设备通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建得到重建图像，其中，若待识别人脸图像是完整人脸图像，重建网络保持待识别人脸图像的原始人脸数据，若待识别人脸图像是部分遮挡人脸图像，重建网络补全待识别人脸图像缺少的人脸数据。通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到图像特征，将重建图像对应的图像特征与待验证身份对应的图像特征进行匹配，当匹配成功时，确定待识别人脸图像通过身份验证。可选地，当重建图像对应的图像特征与待验证身份对应的图像特征的相似度超过阈值时，判定二者匹配成功。
本实施例中，训练好的人脸识别模型可应用于身份验证场景中，在不影响对完整人脸图像进行人脸识别的准确性的前提下，提升对部分遮挡人脸图像进行人脸识别的准确性。
在一个实施例中，该方法还包括：获取待识别人脸图像，待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，获得重建图像对应的图像特征；将重建图像对应的图像特征与至少一个参考图像特征进行匹配，将匹配成功的参考图像特征所对应的目标身份，作为待识别人脸图像中人脸的身份。
其中，待识别人脸图像是待进行身份识别的图像。身份识别在于识别待识别人脸图像中的人脸对应的身份。参考图像特征是用于反映参考人脸图像中的人脸特征的数据，该应用场景下的参考人脸图像是数据库中的预存人脸图像。
通过本申请实施例提供的方法训练得到的人脸识别模型，可应用于一对多身份识别场景。一对多身份识别场景是将待识别人脸图像对应的图像特征与数据库中预存的参考图像特征进行比对，以从数据库中各参考图像特征对应的身份中，确定待识别人脸图像中的人脸对应的身份。比如交通安全场景、人脸支付场景、工作考勤场景、寻找失踪人员场景等。
在一个实施例中，计算机设备通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建得到重建图像，其中，若待识别人脸图像是完整人脸图像，重建网络保持待识别人脸图像的原始人脸数据，若待识别人脸图像是部分遮挡人脸图像，重建网络补全待识别人脸图像缺少的人脸数据。通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到图像特征，将重建图像对应的图像特征与至少一个参考图像特征进行匹配，将匹配成功的参考图像特征所对应的目标身份，作为待识别人脸图像中人脸的身份。可选地，将匹配度最大的参考图像特征所对应的目标身份，作为待识别人脸图像中人脸的身份。
本实施例中，训练好的人脸识别模型可应用于身份识别场景中，在不影响对完整人脸图像进行人脸识别的准确性的前提下，提升对部分遮挡人脸图像进行人脸识别的准确性。
在一个实施例中，参照图7，提供了一种人脸识别模型的处理方法，包括以下步骤：
步骤S702，获取训练样本，训练样本包括原始人脸图像以及原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像。
步骤S704，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，获得原始人脸图像对应的第一重建图像与部分遮挡人脸图像对应的第二重建图像。
步骤S706，获取训练好的人脸重建监督网络，人脸重建监督网络用于辅助人脸识别模型中的重建网络进行训练；将原始人脸图像、第一重建图像和第二重建图像分别输入至人脸重建监督网络；通过人脸重建监督网络对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征。
步骤S708，根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失；根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失。
步骤S710，获取原始人脸图像与部分遮挡人脸图像共同对应的身份标签；通过人脸识别模型中预训练的识别网络，从第一重建图像中提取图像特征，基于第一重建图像对应的图像特征获得第一人脸识别结果；通过人脸识别模型中的识别网络，从第二重建图像中提取图像特征，基于第二重建图像对应的图像特征获得的第二人脸识别结果；基于第一人脸识别结果与身份标签之间的差异，以及第二人脸识别结果与身份标签之间的差异，构建识别损失。
步骤S712，基于特征重建损失、图像重建损失和识别损失所构建的目标损失，对人脸识别模型中的重建网络进行监督训练，更新重建网络的网络参数；当满足监督训练停止条件时，返回获取训练样本的步骤继续执行以上步骤，并基于重建损失与识别损失所构建的目标损失，对人脸识别模型中的识别网络和重建网络进行联合训练，更新人脸识别模型中的识别网络和重建网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
参照图8，图8为一个实施例中人脸识别模型的处理方法的流程框图。可以看到，引入网络结构更复杂、特征提取准确率更高的人脸重建监督网络来辅助重建网络进行训练，不仅有助于提升重建网络的训练速度，而且，训练好的重建网络输出的重建图片能够包含更准确的识别信息，有助于提升人脸识别的准确性。基于特征重建损失、图像重建损失和识别损失构建目标损失，根据目标损失训练人脸识别模型，使得训练得到的人脸识别模型进行人脸识别时，能够补全部分遮挡人脸图像缺少的图像特征和图像参数，保持原始人脸图像原始的图像特征和图像参数，提升人脸识别的准确性。
本申请中，无需调整传统的训练样本集合中的比例配置，只需在识别网络之前配置重建网络，该配置方式不会影响后端识别网络的应用，且重建网络为小型网络，在训练和应用中占用较少的资源，也就是说，本申请对传统人脸识别系统具有较好的兼容性。
上述人脸识别模型的处理方法，一方面，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，分别获得相应的第一重建图像与第二重建图像，就可以根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异构建重建损失，重建损失能够在训练过程中约束重建网络，使得重建网络既能够在重建图像时保留原始人脸图像的图像信息，又能够学习到对部分遮挡人脸图像进行补全的能力；另一方面，基于对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果所构建识别损失，能够在训练过程中约束重建网络，使得重建网络对原始人脸图像以及对部分遮挡人脸图像进行人脸重建所得到的重建图像，都能够被识别网络准确识别。这样，基于重建损失与识别损失所构建的目标损失训练得到的人脸识别模型，不仅具备了对完整人脸图像进行人脸识别的能力，而且对部分遮挡人脸图像进行人脸识别的准确性将被大大提高。
在一个实施例中，如图9所示，提供了一种人脸识别方法，本实施例主要以该方法应用于上述图1中的计算机设备(终端102或者服务器104)来举例说明，包括以下步骤：
步骤S902，获取待识别人脸图像。
其中，待识别人脸图像是待通过本申请实施例中训练好的人脸识别模型进行人脸识别的图像。待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像。待识别人脸图像中可包括一个或者至少两个待识别人脸，计算机设备基于待识别人脸图像，对待识别人脸图像中的一个或者至少两个待识别人脸进行身份识别。
在一个实施例中，计算机设备可从身份验证场景和身份识别场景中获取待识别人脸图像。例如，终端可通过内置的摄像头采集现实场景的人脸图像，也可通过外置的、且与终端关联的摄像头采集现实场景的人脸图像，摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D(3Dimensions，三维)摄像头等。终端可采集现实场景中活体的人脸图像，也可对现实场景中包含人脸的已有图像进行采集，比如身份证件扫描件等。
步骤S904，通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像。
其中，若待识别人脸图像是完整人脸图像，重建网络保持待识别人脸图像的原始人脸数据，若待识别人脸图像是部分遮挡人脸图像，重建网络补全待识别人脸图像缺少的人脸数据。
关于步骤S904的具体实现方式，可参照上述实施例中对训练样本进行人脸重建的具体实现方式，在此不再赘述。
步骤S906，通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果；其中，人脸识别模型是基于原始人脸图像与重建网络对原始人脸图像进行人脸重建得到的第一重建图像之间的差异、原始人脸图像与重建网络对原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及识别网络获得的第一重建图像与第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
关于步骤S906的具体实现方式，可参照上述实施例中对重建图像进行人脸识别，以及对人脸识别模型进行训练的具体实现方式，在此不再赘述。
在一个实施例中，计算机设备通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，得到待识别人脸图像对应的图像特征，基于待识别人脸图像对应的图像特征确定待识别人脸图像对应的人脸识别结果。关于步骤“基于待识别人脸图像对应的图像特征确定待识别人脸图像对应的人脸识别结果”的具体实现方式，可参照上述实施例中人脸识别模型在身份验证场景和身份识别场景中应用的具体实现方式，在此不再赘述。
上述人脸识别方法中，通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像，由于重建网络能够保持原始人脸图像的图像信息，又能够对部分遮挡人脸图像补全缺少的人脸数据，故而通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到人脸识别结果，不仅不影响对完整人脸图像进行人脸识别的准确性，而且能够提升对部分遮挡人脸图像进行人脸识别的准确性。
应该理解的是，虽然图2、7-9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、7-9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图10所示，提供了一种人脸识别模型的处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1002、人脸重建模块1004、重建损失构建模块1006、识别损失构建模块1008和网络参数更新模块1010，其中：
获取模块1002，用于获取训练样本，训练样本包括原始人脸图像以及原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像；
人脸重建模块1004，用于通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，获得原始人脸图像对应的第一重建图像与部分遮挡人脸图像对应的第二重建图像；
重建损失构建模块1006，用于根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异，构建重建损失；
识别损失构建模块1008，用于根据人脸识别模型中的识别网络，分别对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；
网络参数更新模块1010，用于基于重建损失与识别损失所构建的目标损失，更新人脸识别模型的网络参数后返回获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，重建损失为特征层面的特征重建损失，重建损失构建模块1006还用于：根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失。
在一个实施例中，重建损失为图像层面的图像重建损失，重建损失构建模块1006还用于：根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失。
在一个实施例中，重建损失构建模块1006还用于：根据分别从原始人脸图像与第一重建图像提取的图像特征之间的特征差异，以及分别从原始人脸图像与第二重建图像提取的图像特征之间的特征差异，构建特征重建损失；根据原始人脸图像与第一重建图像之间的图像差异，以及原始人脸图像与第二重建图像之间的图像差异，构建图像重建损失；融合特征重建损失与图像重建损失，得到用于约束重建网络的重建损失。
在一个实施例中，人脸识别模型中的识别网络是根据训练样本进行预训练得到的识别网络；重建损失构建模块1006还用于：将原始人脸图像、第一重建图像和第二重建图像分别输入至人脸识别模型中预训练的识别网络；通过预训练的识别网络，对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征。
在一个实施例中，重建损失构建模块1006还用于：获取训练好的人脸重建监督网络，人脸重建监督网络用于辅助人脸识别模型中的重建网络进行训练；将原始人脸图像、第一重建图像和第二重建图像分别输入至人脸重建监督网络；通过人脸重建监督网络对原始人脸图像、第一重建图像和第二重建图像分别进行特征提取，获得原始人脸图像、第一重建图像和第二重建图像各自对应的图像特征。
在一个实施例中，识别损失构建模块1008还用于：获取原始人脸图像与部分遮挡人脸图像共同对应的身份标签；通过人脸识别模型中的识别网络，从第一重建图像中提取图像特征，基于第一重建图像对应的图像特征获得第一人脸识别结果；通过人脸识别模型中的识别网络，从第二重建图像中提取图像特征，基于第二重建图像对应的图像特征获得的第二人脸识别结果；基于第一人脸识别结果与身份标签之间的差异，以及第二人脸识别结果与身份标签之间的差异，构建识别损失。
在一个实施例中，网络参数更新模块1010还用于：基于重建损失与识别损失所构建的目标损失，对人脸识别模型中的重建网络进行监督训练，更新重建网络的网络参数；当满足监督训练停止条件时，返回获取训练样本的步骤继续执行以上步骤，并基于重建损失与识别损失所构建的目标损失，对人脸识别模型中的识别网络和重建网络进行联合训练，更新人脸识别模型中的识别网络和重建网络的网络参数；当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
在一个实施例中，人脸识别模型中的识别网络是根据预训练样本进行预训练得到的识别网络；人脸识别模型的处理装置还包括预训练模块，预训练模块用于：获取包括人脸的预训练样本；将预训练样本输入初始识别网络；通过初始识别网络对预训练样本进行特征提取，获得预训练样本对应的图像特征，基于预训练样本对应的图像特征获得预训练样本对应的人脸识别结果；基于预训练样本对应的人脸识别结果与预训练样本对应的身份标签构建预训练识别损失；基于预训练识别损失更新初始识别网络的网络参数后，返回获取包括人脸的预训练样本的步骤继续训练，直至得到预训练的识别网络。
在一个实施例中，人脸识别模型的处理装置还包括人脸识别模块；获取模块1002还用于：获取待识别人脸图像及待验证身份，待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；人脸重建模块1004还用于：通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；人脸识别模块用于：通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，获得重建图像对应的图像特征；将重建图像对应的图像特征与待验证身份对应的图像特征进行匹配；当匹配成功时，则确定待识别人脸图像通过身份验证。
在一个实施例中，人脸识别模型的处理装置还包括人脸识别模块；获取模块1002还用于：获取待识别人脸图像，待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；人脸重建模块1004还用于：通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；人脸识别模块用于：通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，获得重建图像对应的图像特征；将重建图像对应的图像特征与至少一个参考图像特征进行匹配，将匹配成功的参考图像特征所对应的目标身份，作为待识别人脸图像中人脸的身份。
关于人脸识别模型的处理装置的具体限定可以参见上文中对于人脸识别模型的处理方法的限定，在此不再赘述。上述人脸识别模型的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述人脸识别模型的处理装置中，一方面，通过人脸识别模型中的重建网络，分别对原始人脸图像与部分遮挡人脸图像进行人脸重建，分别获得相应的第一重建图像与第二重建图像，就可以根据原始人脸图像与第一重建图像的差异，以及原始人脸图像与第二重建图像的差异构建重建损失，重建损失能够在训练过程中约束重建网络，使得重建网络既能够在重建图像时保留原始人脸图像的图像信息，又能够学习到对部分遮挡人脸图像进行补全的能力；另一方面，基于对第一重建图像与第二重建图像进行人脸识别得到的人脸识别结果所构建识别损失，能够在训练过程中约束重建网络，使得重建网络对原始人脸图像以及对部分遮挡人脸图像进行人脸重建所得到的重建图像，都能够被识别网络准确识别。这样，基于重建损失与识别损失所构建的目标损失训练得到的人脸识别模型，不仅具备了对完整人脸图像进行人脸识别的能力，而且对部分遮挡人脸图像进行人脸识别的准确性将被大大提高。
在一个实施例中，如图11所示，提供了一种人脸识别装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块1102、人脸重建模块1104和人脸识别模块1106，其中：
获取模块1102，用于获取待识别人脸图像；
人脸重建模块1104，用于通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像；
人脸识别模块1106，用于通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别，得到待识别人脸图像对应的人脸识别结果；
其中，人脸识别模型是基于原始人脸图像与重建网络对原始人脸图像进行人脸重建得到的第一重建图像之间的差异、原始人脸图像与重建网络对原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及识别网络获得的第一重建图像与第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
关于人脸识别装置的具体限定可以参见上文中对于人脸识别方法的限定，在此不再赘述。上述人脸识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述人脸识别装置中，通过训练好的人脸识别模型中的重建网络，对待识别人脸图像进行人脸重建，获得待识别人脸图像对应的重建图像，由于重建网络能够保持原始人脸图像的图像信息，又能够对部分遮挡人脸图像补全缺少的人脸数据，故而通过训练好的人脸识别模型中的识别网络，对重建图像进行人脸识别得到人脸识别结果，不仅不影响对完整人脸图像进行人脸识别的准确性，而且能够提升对部分遮挡人脸图像进行人脸识别的准确性。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储人脸识别模型的处理数据和/或图像生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸识别模型的处理方法和/或人脸识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，也可以是人脸采集设备，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口和图像采集装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种人脸识别模型的处理方法和/或人脸识别方法。
本领域技术人员可以理解，图12和图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种人脸识别模型的处理方法，其特征在于，所述方法包括：
获取训练样本，所述训练样本包括原始人脸图像以及所述原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像；
通过人脸识别模型中的重建网络，分别对所述原始人脸图像与所述部分遮挡人脸图像进行人脸重建，获得所述原始人脸图像对应的第一重建图像与所述部分遮挡人脸图像对应的第二重建图像；
根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失；
根据所述人脸识别模型中的识别网络，分别对所述第一重建图像与所述第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；
基于所述重建损失与所述识别损失所构建的目标损失，更新所述人脸识别模型的网络参数后返回所述获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
2.根据权利要求1所述的方法，其特征在于，所述重建损失为特征层面的特征重建损失，所述根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失，包括：
根据分别从所述原始人脸图像与所述第一重建图像提取的图像特征之间的特征差异，以及分别从所述原始人脸图像与所述第二重建图像提取的图像特征之间的特征差异，构建所述特征重建损失。
3.根据权利要求1所述的方法，其特征在于，所述重建损失为图像层面的图像重建损失，所述根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失，包括：
根据所述原始人脸图像与所述第一重建图像之间的图像差异，以及所述原始人脸图像与所述第二重建图像之间的图像差异，构建所述图像重建损失。
4.根据权利要求1所述的方法，其特征在于，所述根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失，包括：
根据分别从所述原始人脸图像与所述第一重建图像提取的图像特征之间的特征差异，以及分别从所述原始人脸图像与所述第二重建图像提取的图像特征之间的特征差异，构建特征重建损失；
根据所述原始人脸图像与所述第一重建图像之间的图像差异，以及所述原始人脸图像与所述第二重建图像之间的图像差异，构建图像重建损失；
融合所述特征重建损失与所述图像重建损失，得到用于约束所述重建网络的所述重建损失。
5.根据权利要求2或4所述的方法，其特征在于，所述人脸识别模型中的识别网络是根据所述训练样本进行预训练得到的识别网络；
所述方法还包括：
将所述原始人脸图像、所述第一重建图像和所述第二重建图像分别输入至所述人脸识别模型中预训练的识别网络；
通过所述预训练的识别网络，对所述原始人脸图像、所述第一重建图像和所述第二重建图像分别进行特征提取，获得所述原始人脸图像、所述第一重建图像和所述第二重建图像各自对应的图像特征。
6.根据权利要求2或4所述的方法，其特征在于，所述方法还包括：
获取训练好的人脸重建监督网络，所述人脸重建监督网络用于辅助所述人脸识别模型中的重建网络进行训练；
将所述原始人脸图像、所述第一重建图像和所述第二重建图像分别输入至所述人脸重建监督网络；
通过所述人脸重建监督网络对所述原始人脸图像、所述第一重建图像和所述第二重建图像分别进行特征提取，获得所述原始人脸图像、所述第一重建图像和所述第二重建图像各自对应的图像特征。
7.根据权利要求1所述的方法，其特征在于，所述根据所述人脸识别模型中的识别网络，分别对所述第一重建图像与所述第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失，包括：
获取所述原始人脸图像与所述部分遮挡人脸图像共同对应的身份标签；
通过所述人脸识别模型中的识别网络，从所述第一重建图像中提取图像特征，基于所述第一重建图像对应的图像特征获得第一人脸识别结果；
通过所述人脸识别模型中的识别网络，从所述第二重建图像中提取图像特征，基于所述第二重建图像对应的图像特征获得的第二人脸识别结果；
基于所述第一人脸识别结果与所述身份标签之间的差异，以及所述第二人脸识别结果与所述身份标签之间的差异，构建所述识别损失。
8.根据权利要求1所述的方法，其特征在于，所述基于所述重建损失与所述识别损失所构建的目标损失，更新所述人脸识别模型的网络参数后返回所述获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型，包括：
基于所述重建损失与所述识别损失所构建的目标损失，对所述人脸识别模型中的重建网络进行监督训练，更新所述重建网络的网络参数；
当满足监督训练停止条件时，返回所述获取训练样本的步骤继续训练，并基于所述重建损失与所述识别损失所构建的目标损失，对所述人脸识别模型中的识别网络和重建网络进行联合训练，更新所述人脸识别模型中的识别网络和重建网络的网络参数；
当满足联合训练停止条件时，获得适于识别部分遮挡人脸图像的人脸识别模型。
9.根据权利要求1所述的方法，其特征在于，所述人脸识别模型中的识别网络是根据预训练样本进行预训练得到的识别网络；
所述方法还包括：
获取包括人脸的预训练样本；
将所述预训练样本输入初始识别网络；
通过所述初始识别网络对所述预训练样本进行特征提取，获得所述预训练样本对应的图像特征，基于所述预训练样本对应的图像特征获得所述预训练样本对应的人脸识别结果；
基于所述预训练样本对应的人脸识别结果与所述预训练样本对应的身份标签构建预训练识别损失；
基于所述预训练识别损失更新所述初始识别网络的网络参数后，返回所述获取包括人脸的预训练样本的步骤继续训练，直至得到预训练的识别网络。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待识别人脸图像及待验证身份，所述待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；
通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，获得所述重建图像对应的图像特征；
将所述重建图像对应的图像特征与所述待验证身份对应的图像特征进行匹配；
当匹配成功时，则确定所述待识别人脸图像通过身份验证。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取待识别人脸图像，所述待识别人脸图像为完整人脸图像或人脸被部分遮挡所形成的部分遮挡人脸图像；
通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，获得所述重建图像对应的图像特征；
将所述重建图像对应的图像特征与至少一个参考图像特征进行匹配，将匹配成功的参考图像特征所对应的目标身份，作为所述待识别人脸图像中人脸的身份。
12.一种人脸识别方法，其特征在于，所述方法包括：
获取待识别人脸图像；
通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，得到所述待识别人脸图像对应的人脸识别结果；
其中，所述人脸识别模型是基于原始人脸图像与所述重建网络对所述原始人脸图像进行人脸重建得到的第一重建图像之间的差异、所述原始人脸图像与所述重建网络对所述原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及所述识别网络获得的所述第一重建图像与所述第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
13.一种人脸识别模型的处理装置，其特征在于，所述装置包括：
获取模块，用于获取训练样本，所述训练样本包括原始人脸图像以及所述原始人脸图像中的人脸被部分遮挡所形成的部分遮挡人脸图像；
人脸重建模块，用于通过人脸识别模型中的重建网络，分别对所述原始人脸图像与所述部分遮挡人脸图像进行人脸重建，获得所述原始人脸图像对应的第一重建图像与所述部分遮挡人脸图像对应的第二重建图像；
重建损失构建模块，用于根据所述原始人脸图像与所述第一重建图像的差异，以及所述原始人脸图像与所述第二重建图像的差异，构建重建损失；
识别损失构建模块，用于根据所述人脸识别模型中的识别网络，分别对所述第一重建图像与所述第二重建图像进行人脸识别得到的人脸识别结果，构建识别损失；
网络参数更新模块，用于基于所述重建损失与所述识别损失所构建的目标损失，更新所述人脸识别模型的网络参数后返回所述获取训练样本的步骤继续执行以上步骤，直至得到适于识别部分遮挡人脸图像的人脸识别模型。
14.一种人脸识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别人脸图像；
人脸重建模块，用于通过训练好的人脸识别模型中的重建网络，对所述待识别人脸图像进行人脸重建，获得所述待识别人脸图像对应的重建图像；
人脸识别模块，用于通过所述训练好的人脸识别模型中的识别网络，对所述重建图像进行人脸识别，得到所述待识别人脸图像对应的人脸识别结果；
其中，所述人脸识别模型是基于原始人脸图像与所述重建网络对所述原始人脸图像进行人脸重建得到的第一重建图像之间的差异、所述原始人脸图像与所述重建网络对所述原始人脸图像对应的部分遮挡人脸图像进行人脸重建得到的第二重建图像之间的差异，以及所述识别网络获得的所述第一重建图像与所述第二重建图像对应的人脸识别结果所构建的目标损失训练得到的。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110918545.0A CN115708135A (zh) | 2021-08-11 | 2021-08-11 | 人脸识别模型的处理方法、人脸识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110918545.0A CN115708135A (zh) | 2021-08-11 | 2021-08-11 | 人脸识别模型的处理方法、人脸识别方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115708135A true CN115708135A (zh) | 2023-02-21 |
Family
ID=85212276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110918545.0A Pending CN115708135A (zh) | 2021-08-11 | 2021-08-11 | 人脸识别模型的处理方法、人脸识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115708135A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912926A (zh) * | 2023-09-14 | 2023-10-20 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
-
2021
- 2021-08-11 CN CN202110918545.0A patent/CN115708135A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116912926A (zh) * | 2023-09-14 | 2023-10-20 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
| CN116912926B (zh) * | 2023-09-14 | 2023-12-19 | 成都武侯社区科技有限公司 | 一种基于自掩码的人脸隐私的人脸识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
| Yuan et al. | Fingerprint liveness detection using an improved CNN with image scale equalization | |
| CN111680672B (zh) | 人脸活体检测方法、系统、装置、计算机设备和存储介质 | |
| CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
| US11816880B2 (en) | Face recognition method and apparatus, computer device, and storage medium | |
| CN115565238B (zh) | 换脸模型的训练方法、装置、设备、存储介质和程序产品 | |
| CN113011387B (zh) | 网络训练及人脸活体检测方法、装置、设备及存储介质 | |
| CN113705290A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN115050064A (zh) | 人脸活体检测方法、装置、设备及介质 | |
| CN112116684A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN112801054A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN114282013A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN113822953A (zh) | 图像生成器的处理方法、图像生成方法及装置 | |
| CN112766366A (zh) | 对抗生成网络的训练方法及其图像处理方法、装置 | |
| CN117975519A (zh) | 模型训练和图像生成方法、装置、电子设备及存储介质 | |
| Arora et al. | A review of techniques to detect the GAN-generated fake images | |
| CN111461091B (zh) | 万能指纹生成方法和装置、存储介质及电子装置 | |
| CN114677611B (zh) | 数据识别方法、存储介质及设备 | |
| CN116152938A (zh) | 身份识别模型训练和电子资源转移方法、装置及设备 | |
| CN115708135A (zh) | 人脸识别模型的处理方法、人脸识别方法及装置 | |
| CN113762055A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN112308093A (zh) | 基于图像识别的空气质量感知方法、模型训练方法及系统 | |
| CN111325173A (zh) | 毛发类型识别方法、装置、电子设备及存储介质 | |
| CN116978130A (zh) | 图像处理方法、装置及计算机设备、存储介质、程序产品 | |
| CN116433955A (zh) | 对抗攻击的检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40080530 Country of ref document: HK |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |