CN114627528A

CN114627528A - 身份比对方法、装置、电子设备及计算机可读存储介质

Info

Publication number: CN114627528A
Application number: CN202210156655.2A
Authority: CN
Inventors: 金华; 张咏琴; 陶大鹏; 吴婉银
Original assignee: First Peoples Hospital of Yunnan Province
Current assignee: First Peoples Hospital of Yunnan Province
Priority date: 2022-02-21
Filing date: 2022-02-21
Publication date: 2022-06-14

Abstract

本申请实施例公开了一种身份比对方法、装置、电子设备及计算机可读存储介质，用于提高身份比对准确率。该方法包括：获取目标对象的人脸图像；使用预先训练完成的第一特征编码器对人脸图像进行特征提取，获得人脸图像的多视角多形态特征；使用预先训练完成的第二特征编码器对人脸图像进行特征提取，获得人脸图像的域不变特征；将多视角多形态特征和域不变特征进行对齐融合，获得人脸图像的最终人脸特征；将最终人脸特征和预存储的人脸数据进行匹配，以确定与人脸图像匹配的预存储人脸图像；将预存储人脸图像对应的身份信息确定为目标对象的身份信息。

Description

身份比对方法、装置、电子设备及计算机可读存储介质

技术领域

本申请属于机器学习领域，尤其涉及一种身份比对方法、装置、电子设备及计算机可读存储介质。

背景技术

在一些场景下，需要对目标对象的身份进行比对核查。例如，患者从病房推入手术室时，需要核查该患者的身份，确保为该患者做手术的医生与其匹配，被分配的手术间与其匹配等。

目前可以通过人脸比对进行身份核查，但是在人脸比对中，由于人脸图像拍摄视角、人脸姿态等影响，导致基于人脸图像提取的人脸特征不能完整地描述人脸外貌，进而使得身份比对准确率较低。

发明内容

本申请实施例提供一种身份比对方法、装置、电子设备及计算机可读存储介质，可以解决现有身份比对准确率低下的问题。

第一方面，本申请实施例提供了一种身份比对方法，包括：

获取目标对象的人脸图像；

使用预先训练完成的第一特征编码器对人脸图像进行特征提取，获得人脸图像的多视角多形态特征；

使用预先训练完成的第二特征编码器对人脸图像进行特征提取，获得人脸图像的域不变特征；

将多视角多形态特征和域不变特征进行对齐融合，获得人脸图像的最终人脸特征；

将最终人脸特征和预存储的人脸数据进行匹配，以确定与人脸图像匹配的预存储人脸图像；

将预存储人脸图像对应的身份信息确定为目标对象的身份信息。

本申请实施例通过预先训练的第一特征编码器、第二特征编码器分别提取人脸的多视角多形态特征和域不变特征，并将多视角多形态特征和域不变显著特征进行对齐融合，以获得可以完整描述人脸外貌的最终人脸特征，最后再将最终人脸特征进行人脸匹配，提高了身份比对准确率。

在第一方面的一些可能的实现方式中，第一特征编码器和第二特征编码器的训练过程包括：

获取源域数据集和目标域数据集，源域数据集包括源域人脸图像和各源域人脸图像的身份标签，目标域数据集包括目标域人脸图像；

使用源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器；

根据每个源域人脸图像的相机标识和每个目标域人脸图像的相机标识，对源域数据集和目标域数据集进行划分，获得至少两种样本集合，每种样本集合包括第一组样本和第二组样本；

针对每种样本集合，使用第一组样本和第二组样本训练样本集合对应的目标分类器，获得训练后目标分类器，每种样本集合对应一个目标分类器，目标分类器为由训练后人脸分类器和相机分类器整合得到的分类器；

根据每个训练后目标分类器和对应的样本集合，对训练后第一特征编码器进行训练，得到优化后第一特征编码器；

使用训练后第二特征编码器对源域人脸图像和目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据第一特征和第二特征得到混合特征，使用训练后第二特征编码器、混合特征、源域人脸图像和目标域人脸图像训练相机分类器，获得训练后相机分类器；

使用训练后相机分类器、源域人脸图像和目标域人脸图像训练训练后第二特征编码器，获得优化后第二特征编码器；

分别使用优化后第一特征编码器和优化后第二特征编码器对源域人脸图像进行特征提取，获得第三特征和第四特征，并将第三特征和第四特征进行特征相加，得到第五特征；

使用第五特征和训练后人脸分类器训练优化后第一特征编码器和优化后第二特征编码器，获得训练完成的第一特征编码器和第二特征编码器。

在第一方面的一些可能的实现方式中，使用源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器，包括：

将源域人脸图像分别输入第一特征编码器和第二特征编码器，获得第一特征编码器输出的特征和第二特征编码器输出的特征；

将第一特征编码器输出的特征和第二特征编码器输出的特征分别输入至人脸分类器，获得人脸分类器输出的分类结果；

基于人脸分类器输出的分类结果和身份标签，使用交叉熵损失函数计算第一损失值；

针对每个源域人脸图像，将源域人脸图像、以及源域人脸图像对应的难负样本和难正负样本分别输入第一特征编码器和第二特征编码器，获得第一特征编码器输出的目标特征和第二特征编码器输出的目标特征；

基于第一特征编码器输出的目标特征和第二特征编码器输出的特征，使用三元组损失函数计算第二损失值；

根据第一损失值和第二损失值调整第一特征编码器、第二特征编码器和人脸分类器的参数；

迭代训练多次后，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器。

在第一方面的一些可能的实现方式中，使用第一组样本和第二组样本训练样本集合对应的目标分类器，获得训练后目标分类器，包括：

将第一组样本中的样本图像和第二组样本中的样本图像分别输入训练后第一特征编码器，获得训练后第一特征编码器输出的第六特征和第七特征；

将第六特征和第七特征分别输入至目标分类器，获得目标分类器输出的分类结果；

根据目标分类器输出的分类结果、第一组样本对应的身份标签和第二组样本对应的身份标签，计算第三损失值；

根据第三损失值调整目标分类器的参数；

迭代训练多次后，获得训练后目标分类器。

在第一方面的一些可能的实现方式中，使用训练后第二特征编码器对源域人脸图像和目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据第一特征和第二特征得到混合特征，包括：

将源域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器的前两层输出的第一特征；

将目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器的前两层输出的第二特征；

将第一特征和第一权重相乘，得到第一乘积，将第二特征和第二权重相乘，得到第二乘积，并将第一乘积和第二乘积相加，获得混合特征。

在第一方面的一些可能的实现方式中，使用训练后第二特征编码器、混合特征、源域人脸图像和目标域人脸图像训练相机分类器，获得训练后相机分类器，包括：

将第一权重和源域人脸图像的相机标签相乘，得到第三乘积，将第二权重和目标域人脸图像的相机标签相乘，获得第四乘积，并将第三乘积和第四乘积相加，获得混合特征的相机标签；

分别将源域人脸图像和目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器输出的第八特征和第九特征；

分别将第八特征、第九特征和混合特征输入至相机分类器，获得相机分类器输出的分类结果；

根据相机分类器输出的分类器、源域人脸图像的相机标签、目标域人脸图像的相机标签和混合特征的相机标签，计算得到第四损失值；

根据第四损失值调整相机分类器的参数；

迭代训练多次后，获得训练后相机分类器。

在第一方面的一些可能的实现方式中，使用训练后相机分类器、源域人脸图像和目标域人脸图像训练训练后第二特征编码器，获得优化后第二特征编码器，包括：

分别将源域人脸图像和目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器输出的第十特征和第十一特征；

分别将第十特征、第十一特征和混合特征输入至训练后相机分类器，获得训练后相机分类器输出的分类结果；

根据训练后相机分类器输出的分类结果和预设损失函数，调整训练后第二特征编码器的参数；

迭代训练多次后，获得优化后第二特征编码器。

第二方面，本申请实施例提供一种身份比对装置，包括：

获取模块，用于获取目标对象的人脸图像；

第一特征提取模块，用于使用预先训练完成的第一特征编码器对人脸图像进行特征提取，获得人脸图像的多视角多形态特征；

第二特征提取模块，用于使用预先训练完成的第二特征编码器对人脸图像进行特征提取，获得人脸图像的域不变特征；

特征对齐融合模块，用于将多视角多形态特征和域不变特征进行对齐融合，获得人脸图像的最终人脸特征；

特征匹配模块，用于将最终人脸特征和预存储的人脸数据进行匹配，以确定与人脸图像匹配的预存储人脸图像；

身份确定模块，用于将预存储人脸图像对应的身份信息确定为目标对象的身份信息。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。

第四方面，本申请实施例一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的身份比对方法的一种流程示意图；

图2为本申请实施例提供的人脸比对模型的域自适应训练方法的一种流程示意框图；

图3为本申请实施例提供的网络结构示意图；

图4为本申请实施例提供的身份比对装置的结构框图；

图5为本申请实施例提供的电子设备的结构示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

请参见图1，为本申请实施例提供的身份比对方法的一种流程示意图，该方法可以包括以下步骤：

步骤S101、获取目标对象的人脸图像。

上述人脸图像是单视角人脸图像。例如，在手术室入室身份核查场景中，患者由病房进入手术室之前，可以通过手持摄像头从一个角度拍摄患者的人脸图像。此时，目标对象为患者。

值得指出的是，在手术室入室身份核查场景下，采集人脸图像时，不会对患者有过多的配合拍摄要求。因此，通过摄像头所采集到的人脸图像大部分为患者躺或侧身状态下的图像；并且部分患者会带有疼痛表情，使得采集到的人脸图像也会有相应的表情。在这种情况下拍摄得到人脸图像和正常情况下拍摄得到人脸图像差距较大，使用这种情况下拍摄的人脸图像进行身份比对，身份比对的错误率会增加。此外，如果是使用预先训练的人脸识别模型对人脸图像进行识别，除了人脸姿态以及表情等因素的影响，由于训练数据与目标数据集之间存在的域偏移，直接将这类模型部署到现实场景中，性能会急剧下降，身份比对的准确率也会降低。

步骤S102、使用预先训练完成的第一特征编码器对人脸图像进行特征提取，获得人脸图像的多视角多形态特征。

需要说明的是，上述第一特征编码器是预先训练，且具有一定推理能力的特征提取网络，其可以从输入的单视角人脸图像中提取出人脸不同视角下的多种形态特征，即可以从输入的部分视角或单个视角图像中预测其它视角下的形态特征，实现视角间特征信息的相互预测。这样，提取的多视角多形态特征可以缓解人脸姿态和表情等因素的影响，避免了人脸共有特征的不足，更能准确地描述人脸特征。

具体应用中，基于源域人脸图像和目标域人脸图像，使用域自适应训练方法对第一特征编码器进行训练，使得训练得到的第一特征编码器可以实现不同视角下人脸特征信息的互补。

步骤S103、使用预先训练完成的第二特征编码器对人脸图像进行特征提取，获得人脸图像的域不变特征。

需要说明的是，第二特征编码器是预先训练的，且是基于源域人脸图像和目标域人脸图像，使用域自适应训练的方法进行训练。训练得到的第二特征编码器可以人脸图像中提取出人脸显著特征，避免全局特征提取过程中采用平均池化所导致的人脸显著特征的丢失。人脸显著特征可以是指眼睛、鼻子、以及耳朵等显著部分的特征。

步骤S104、将多视角多形态特征和域不变特征进行对齐融合，获得人脸图像的最终人脸特征。

需要说明的是，多视角多形态特征和域不变特征是从人脸不同方面来描述人脸的特征，两者具有一定的互补性。结合多视角多形态特征和域不变特征结合在一起，可以有效地提高人脸特征的判别性，进而提高身份比对准确率。

多视角多形态特征和域不变特征是不同的特征编码器提取的，在特征上没有对齐，因此需要将两者进行对齐融合，以得到最终用于描述人脸特征的最终人脸特征。

步骤S105、将最终人脸特征和预存储的人脸数据进行匹配，以确定与人脸图像匹配的预存储人脸图像。

需要说明的是，预存储的人脸数据包括多个匹配对象的人脸数据。例如，在手术室入室身份核查场景下，预存储的人脸数据包括当天手术的患者的人脸数据。预存储的人脸数据是在患者挂好号时采集的人脸图像。示例性地，患者挂号后，进入人脸采集步骤，此时患者是对准摄像头拍摄的，采集到人脸图像后，将各个患者的人脸图像存入医院数据库。最后，从医院数据库中筛选出当天手术的患者的人脸图像作为预存储的人脸数据。

在匹配过程中，将人脸图像的最终人脸特征和预先存储的人脸图像进行比对，根据相似度判断是否有与人脸图像相匹配的预存储人脸图像。

步骤S106、将预存储人脸图像对应的身份信息确定为目标对象的身份信息。

需要说明的是，每个预存储人脸图像都对应有身份信息，该身份信息可以包括基本信息和相关信息。基本信息是指预存储人脸图像对应的对象的基本信息。例如，在手术室入室身份核查场景下，身份信息包括患者的基本信息和相关信息，此时基本信息可以包括患者的姓名、年龄等信息，相关信息可以包括手术医生信息等。当匹配成功之后，将目标对象的基本信息和手术医生等信息显示在软件界面，护士、麻醉医生、手术医生等相关方可以对该信息进行核查，以确定该目标对象是否是需要进入手术室的患者。

本申请实施例通过预先训练的第一特征编码器、第二特征编码器分别提取人脸的多视角多形态特征和域不变显著特征，并将多视角多形态特征和域不变显著特征进行对齐融合，以获得可以完整描述人脸外貌的最终人脸特征，最后再将最终人脸特征进行人脸匹配，提高了身份比对准确率。

基于上述任意实施例，参见图2示出的人脸比对模型的域自适应训练方法的一种流程示意框图，该过程可以包括以下步骤：

步骤S201、获取源域数据集和目标域数据集，源域数据集包括源域人脸图像和各源域人脸图像的身份标签，目标域数据集包括目标域人脸图像。

本申请实施例中，源域数据集表示为

n_s表示源域数据集S中人脸图像总数，x_s,i为源域数据集中第i张人脸图像，y_s,i表示第i张人脸图像对应的身份标签。此时，假设源域有K个身份，故y_s,i∈(1,2,3...K)。

同理，目标域数据集表示为

n_t表示目标域数据集T中人脸图像总数。目标域中的人脸图像没有标注有身份标签。

步骤S202、使用源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器。

需要说明的是，上述人脸比对模型可以以ImageNet预训练的Resnet-50作为基础网络，且该模型的训练过程可以分为三个部分：多视角互预测学习、域不变显著特征的提取、以及多视角多形态特征和显著特征的对齐融合。

多视角互预测学习可以让特征提取网络具有推理能力，可以从单一视角的人脸图像中预测出其它视角下的人脸特征。域不变显著特征的提取可以从人脸图像中提取出人脸显著特征。

使用有标签的源域数据集对第一特征编码器E₁、第二特征编码器E₂和人脸分类器W进行有监督训练。在该训练过程中使用交叉熵损失函数和三元组损失函数，这两个函数分别如下式1和式2所示。

其中，n_b表示batchsize大小，

表示x_s,i对应的难负样本，

表示x_s,i对应的难正样本。

为one-hot标签向量，其仅在y_s,i处的元素为1。

示例性地，最小化上述式1和式2的损失，以训练得到训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器。该过程可以示例性如下：

首先，将源域人脸图像分别输入第一特征编码器E₁和第二特征编码器E₂，获得第一特征编码器输出的特征和第二特征编码器输出的特征。

然后，将第一特征编码器输出的特征和第二特征编码器输出的特征分别输入至人脸分类器，获得人脸分类器输出的分类结果。并基于人脸分类器输出的分类结果和身份标签，使用交叉熵损失函数计算第一损失值。

此时，第一特征编码器输出的特征可以是指式1中的E₁(x_s,i)，第二特征编码器输出的特征是指式1中的E₂(x_s,i)。此时，人脸分类器的输出包括W(E₁(x_s,i))和W(E₂(x_s,i))。在获得人脸分类器针对两个输入的特征的分类结果后，基于上式1和身份标签

计算两者之间的损失值，则获得上述第一损失值。

接着，针对每个源域人脸图像，将源域人脸图像、以及源域人脸图像对应的难负样本和难正负样本分别输入第一特征编码器，获得第一特征编码器输出的目标特征；基于第一特征编码器输出的目标特征和第二特征编码器输出的特征E₂(x_s,i)，使用三元组损失函数(即上式2)计算第二损失值；

可以理解的是，每个源域人脸图像均对应有难负样本和难正负样本，难负样本和难正样本均存在于源域人脸图像集中。

将源域人脸图像输入至第一特征编码器，获得第一特征编码器输出的特征，即上式2中的E₁(x_s,i)；将难正样本输入至第一特征编码器，获得第一特征编码器输出的特征，即上式2中的

将难正样本输入至第一特征编码器，获得第一特征编码器输出的特征，即上式2中的

即上述第一特征编码器输出的目标特征可以包括E₁(x_s,i)、

以及

最后，根据第一损失值和第二损失值调整第一特征编码器、第二特征编码器和人脸分类器的参数；在迭代训练多次后，当人脸比对模型的损失值达到最小时，则可以获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器。

在该过程中，使用有标签的源域数据进行有监督的训练，训练得到的特征编码器和人脸分类器作为后续训练的基础。

步骤S203、根据每个源域人脸图像的相机标识和每个目标域人脸图像的相机标识，对源域数据集和目标域数据集进行划分，获得至少两种样本集合，每种样本集合包括第一组样本和第二组样本。

可以理解的是，每张人脸图像均对应有拍摄该图像的相机标识，该相机标识可以是指相机ID。也即，各个源域人脸图像和各个目标域人脸图像均对应有一个相机ID。每个图像的相机标识可以作为该图像的相机标签。

示例性地，根据相机标识将目标域样本和源域样本进行划分成

和

其中，

和

分别为源域样本与目标域样本的第i种分组方式；

和

分别表示源域/目标域样本的第i种分组方式中，第一样本和第二组样本的相机ID的集合。

根据近似相等原则，第一组和第二组相机个数分别为

和

[·]↓和[·]↑分别表示向下和向上取整，V_s/t表示源域/目标域内相机个数。为实现相机视角两两间的互预测学习，对

或

中的每一个相机ID与另一组的任一个互换构成新的分组，那么对源域和目标域中的样本来说应该各有

和

种分组；最后，对

和

组间进行随机组合，合并成一个分组。基于此，最终的分组种数为

其中，将参与训练的样本按照视角随机分成两组，可以降低计算复杂度。

步骤S204、针对每种样本集合，使用第一组样本和第二组样本训练样本集合对应的目标分类器，获得训练后目标分类器，每种样本集合对应一个目标分类器，目标分类器为由训练后人脸分类器和相机分类器整合得到的分类器。

为了实现不同组间同一身份互补特性的相互预测，实现人脸身份层面的域对齐，将相机分类器和上述训练后人脸分类器整合成一个分类器即上述目标分类器。这样有利于实现身份和域信息的联合分布对齐。每个分组都对应有一个整合后的目标分类器，故在互预测学习中一共需要

个目标分类器。

假设在第j种分组中，被划分到第一组和第二组的源域人脸图像的身份个数最多都为K，则目标分类器W_j的输出维度为2K。其中，前K维代表第一组样本的身份类别，后K维代表第二组样本的身份类别。

在互预测学习中，首先最小化式下式3来训练第j类的分类器W_j，使其具备初始的联合分类能力：

其中，

为2K维的标签向量，其表示x_t,i在第j类分组中所在组的标签。若

1_K∈R^K×1为K维one向量，0_K∈R^K×1为K维0向量，T表示矩阵的转置；

若

若

则

1_i∈R^K×1为K维one-hot向量，表示x_s,i的真实标签向量，即仅在y_s,i处的元素为1；若

则

基于上式3训练目标分类器的过程可以示例性如下：

首先，将第一组样本中的样本图像和第二组样本中的样本图像分别输入训练后第一特征编码器，获得训练后第一特征编码器输出的第六特征和第七特征。第六特征为第一组的样本图像对应的特征，第七特征为第二组的样本图像对应的特征。

然后，将第六特征和第七特征分别输入至目标分类器，获得目标分类器输出的分类结果。此时，目标分类器输出的分类结果包括第六特征对应的分类结果和第七特征对应的分类结果。

接着，根据目标分类器输出的分类结果、第一组样本对应的身份标签和第二组样本对应的身份标签，计算第三损失值。即依据上式3和分类结果、标签等，计算损失值，即可得到上述第三损失值。最后，根据第三损失值调整目标分类器的参数，在迭代训练多次后，当目标分类器的损失值达到最小或趋于稳定时，则获得训练后目标分类器。

可以理解的是，针对每个目标分类器，均采用上述训练过程进行训练。通过上述训练可以使得目标分类器具有较强的联合分类能力。

步骤S205、根据每个训练后目标分类器和对应的样本集合，对训练后第一特征编码器进行训练，得到优化后第一特征编码器。

在目标分类器W_j具有较强的联合分类能力下，基于训练后目标分类器，通过最小化下式4的损失函数，对训练后第一特征编码器E₁进行优化，以使得第一特征编码器E₁可以从一组训练数据中预测学习到另一组样本的特征，赋予编码器E₁互预测学习的能力。

其中，

在获得优化后第一特征编码器后，可以再基于优化后第一特征编码器，通过最小化上式3的损失来进一步优化目标分类器W_j，以确保目标分类器能在一个分组内对两组样本正确分类。

需要说明的是，在获得训练后目标分类器之后，可以将训练后目标分类器和训练后第一特征编码器进行对抗训练，获得优化后第一特征编码器。

在训练后目标分类器和训练后第一特征编码器的对抗训练过程中，一般是先固定其中一个模型的参数，优化另一个模型的参数。也即，先固定训练后目标分类器的参数，对训练后第一特征编码器的参数进行优化；然后，再固定优化后的第一特征编码器的参数，对训练后目标分类器的参数进行优化。依此交替迭代进行，以获得优化第一特征编码器。

需要说明的是，如果网络出现倾向于提取不同视角相同人脸的共有特征情况，则目标分类器W_j将不能对其进行正确分类，通过上式4的损失函数的最小化可以实现对这一问题的解决。此外，因为特定分组的目标分类器W_j能同时识别同一种分组内的两组样本，并在该类分组的组间进行类别的互预测，这意味着两组特征在域层面和身份层面上实现了联合对齐，因此由特征编码器E₁提取到的特征具有域不变性，可以实现模型的跨域识别。

步骤S206、使用训练后第二特征编码器对源域人脸图像和目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据第一特征和第二特征得到混合特征，使用训练后第二特征编码器、混合特征、源域人脸图像和目标域人脸图像训练相机分类器，获得训练后相机分类器。

需要说明的是，通过互预测学习来实现多视角多形态特征的预测，对特征的判别性起到了积极的作用。在互预测学习中，为了防止信息的过度损失，本申请实施例了使用了全局平均池化来提取特征。

但是，全局平均池化在保留全局信息的同时，弱化了特征图上的显著特征，导致人脸显著判别信息未能在人脸身份匹配中发挥应用的作用。为解决这一问题，本申请实施例构建了一种域不变显著特征提取框架，采用相机分类器和第二特征编码器E₂之间的对抗学习来保证特征的域不变性。

在对抗学习过程中，相机分类器的判别能力高低影响到域不变特征的学习，为了提高相机分类器的判别能力，使用混合特征、源域图像的特征和目标域图像的特征对相机分类器进行训练。

示例性地，首先将源域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器的前两层输出的第一特征。此时，训练后第二特征编码器的前两层输出的第一特征表示为E_2(l2)(x_s,i)。再将目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器的前两层输出的第二特征；此时，训练后第二特征编码器的前两层输出的第二特征表示为E_2(l2)(x_t,i)。

然后，将第一特征和第一权重相乘，得到第一乘积，将第二特征和第二权重相乘，得到第二乘积，并将第一乘积和第二乘积相加，获得混合特征。此时，第一权重γ表示源域特征图(即第一特征)占混合后特征图f_mix,i(即混合特征)的比例，第二权重1-γ表示目标域特征图(即第二特征)占混合后特征图f_mix,i的比例，E_2(l2)(·)表示第二编码器E₂的前两层网络的输出特征图。混合特征可以如下式5所示。

f_mix,i(γ,x_s,i,x_t,i)＝γE_2(l2)(x_s,i)+(1-γ)E_2(l2)(x_t,i)γ∈{0_.25,0_.5,0_.75}(5)

在计算出混合特征之后，再确定出混合特征的相机标签。

具体地，先将第一权重和源域人脸图像的相机标签相乘，得到第三乘积，将第二权重和目标域人脸图像的相机标签相乘，获得第四乘积，并将第三乘积和第四乘积相加，获得混合特征的相机标签。

此时，混合特征f_mix,i(γ,x_s,i,x_t,i)的相机标签可以如下式6所示。

c_mix,i＝γc_s,i+(1-γ)c_t,i (6)

其中，c_s,i表示源域人脸图像x_s,i的相机标签，c_t,i表示目标域人脸图像x_t,i的相机标签。

在得到混合特征和混合特征对应的相机标签后，对相机分类器W_c进行训练。W_c为目标域样本和源域样本的相机分类器，输出维度n_e＝n_s,c+n_t,c+1。n_s,c表示源域相机数量，n_t,c表示目标域相机数量。

在E₂和W_c的对抗学习过程中，使用源域、目标域以及混合后的样本特征来有监督地训练W_c，使其能正确预测样本的相机ID。在此过程中，使用的损失函数如式7所示：

其中

具体来说，分别将源域人脸图像和目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器输出的第八特征和第九特征。此时，第八特征可以为

第九特征可以为

然后，分别将第八特征、第九特征和混合特征输入至相机分类器，获得相机分类器输出的分类结果，此时，分类结果包括

以及W_c(f_mix,i)。

最后，依据上式7，根据相机分类器输出的分类器、源域人脸图像的相机标签、目标域人脸图像的相机标签和混合特征的相机标签，计算得到第四损失值。根据第四损失值调整相机分类器的参数，在迭代训练多次后，当损失值达到最小，则获得训练后相机分类器。

步骤S207、使用训练后相机分类器、源域人脸图像和目标域人脸图像训练训练后第二特征编码器，获得优化后第二特征编码器。

需要说明的是，当W_c参数更新后，固定W_c的参数，进一步优化E₂，使得E₂提取的源域、目标域以及混合样本的特征能被E₂同时分到附加类，实现特征的域对齐。这一过程使用的损失函数如式8所示：

示例性地，依据上式8的训练过程可以如下所示：

首先，分别将源域人脸图像和目标域人脸图像输入至训练后第二特征编码器，获得训练后第二特征编码器输出的第十特征和第十一特征。此时，第十特征为源域图像对应的特征，第十一特征为目标域图像对应的特征。然后，分别将第十特征、第十一特征和混合特征输入至训练后相机分类器，获得训练后相机分类器输出的分类结果，此时，分类结果包括

以及W_c(f_mix,i)。

最后，根据训练后相机分类器输出的分类结果和预设损失函数(即上式8)，调整训练后第二特征编码器的参数。依此迭代训练多次后，当式8的损失值最小或趋于稳定时，则可以获得优化后第二特征编码器。

步骤S208、分别使用优化后第一特征编码器和优化后第二特征编码器对源域人脸图像进行特征提取，获得第三特征和第四特征，并将第三特征和第四特征进行特征相加，得到第五特征。

示例性地，对齐融合后的特征(即第五特征)可以如下式9所示。

其中，E₁(x_s,i)表示第三特征，E₂(x_s,i)表示第四特征。

步骤S209、使用第五特征和训练后人脸分类器训练优化后第一特征编码器和优化后第二特征编码器，获得训练完成的第一特征编码器和第二特征编码器。

示例性，基于对齐融合后的特征，通过最小化下式10和式11，获得训练完成的第一特征编码器和第二特征编码器。

其中，

和

分别为

的难负样本和难正样本。

由上可见，本申请实施例通过互预测学习过程缓解不同视角不同形态间人脸差异对身份比对准确率的影响，通过将多形态多视角特征和域不变显著特征结合，用于描述人脸的外貌，可以有效提升人脸判别准确性。另外，本申请实施例的域自适应训练过程不用预测伪标签，不依赖于成对的目标数据集样本参与模型精调。

为了更好地介绍本申请实施例提供的方案，下面结合图3示出的网络结构示意图进行说明。

如图3所示，输入包括原始图片(源域图片)和目标图片(即目标域图片)，模型包括特征编码器E₁和特征编码器E₂。其可以分为三个部分：多视角互预测学习、域不变特征的提取和高效特征融合(即多视角多形态特征和域不变显著特征的对齐融合)。各个部分的详细介绍请参见上文的相应内容，在此不再赘述。

应当理解的是，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的身份比对方法，图4示出了本申请实施例提供的身份比对装置的结构框图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图4，该装置包括：

获取模块41，用于获取目标对象的人脸图像；

第一特征提取模块42，用于使用预先训练完成的第一特征编码器对人脸图像进行特征提取，获得人脸图像的多视角多形态特征；

第二特征提取模块43，用于使用预先训练完成的第二特征编码器对人脸图像进行特征提取，获得人脸图像的域不变特征；

特征对齐融合模块44，用于将多视角多形态特征和域不变特征进行对齐融合，获得人脸图像的最终人脸特征；

特征匹配模块45，用于将最终人脸特征和预存储的人脸数据进行匹配，以确定与人脸图像匹配的预存储人脸图像；

身份确定模块46，用于将预存储人脸图像对应的身份信息确定为目标对象的身份信息。

在一些可能的实现方式中，该装置还包括：

训练数据获取模块，用于获取源域数据集和目标域数据集，源域数据集包括源域人脸图像和各源域人脸图像的身份标签，目标域数据集包括目标域人脸图像；

第二训练模块，用于使用源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器；

样本划分模块，用于根据每个源域人脸图像的相机标识和每个目标域人脸图像的相机标识，对源域数据集和目标域数据集进行划分，获得至少两种样本集合，每种样本集合包括第一组样本和第二组样本；

目标分类器训练模块，用于针对每种样本集合，使用第一组样本和第二组样本训练样本集合对应的目标分类器，获得训练后目标分类器，每种样本集合对应一个目标分类器，目标分类器为由训练后人脸分类器和相机分类器整合得到的分类器；

第一优化模块，用于根据每个训练后目标分类器和对应的样本集合，对训练后第一特征编码器进行训练，得到优化后第一特征编码器；

相机分类器训练模块，用于使用训练后第二特征编码器对源域人脸图像和目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据第一特征和第二特征得到混合特征，使用训练后第二特征编码器、混合特征、源域人脸图像和目标域人脸图像训练相机分类器，获得训练后相机分类器；

第二优化模块，用于使用训练后相机分类器、源域人脸图像和目标域人脸图像训练训练后第二特征编码器，获得优化后第二特征编码器；

特征对齐融合模块，用于分别使用优化后第一特征编码器和优化后第二特征编码器对源域人脸图像进行特征提取，获得第三特征和第四特征，并将第三特征和第四特征进行特征相加，得到第五特征；

第一训练模块，用于使用第五特征和训练后人脸分类器训练优化后第一特征编码器和优化后第二特征编码器，获得训练完成的第一特征编码器和第二特征编码器。

在一些可能的实现方式中，第一训练模块具体用于：

在一些可能的实现方式中，目标分类器训练模块具体用于：

根据第三损失值调整目标分类器的参数；

迭代训练多次后，获得训练后目标分类器。

在一些可能的实现方式中，相机分类器训练模块具体用于：

根据第四损失值调整相机分类器的参数；

迭代训练多次后，获得训练后相机分类器。

在一些可能的实现方式中，第二优化模块具体用于：

迭代训练多次后，获得优化后第二特征编码器。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请实施例方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图5为本申请一实施例提供的电子设备的结构示意图。如图5所示，该实施例的电子设备5包括：至少一个处理器50(图5中仅示出一个)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个目标跟踪方法实施例中的步骤。

所述电子设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该电子设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是电子设备5的举例，并不构成对电子设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，该处理器50还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51在一些实施例中可以是所述电子设备5的内部存储单元，例如电子设备5的硬盘或内存。所述存储器51在另一些实施例中也可以是所述电子设备5的外部存储设备，例如所述电子设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述电子设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种电子设备，该电子设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置、电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims

1.一种身份比对方法，其特征在于，包括：

获取目标对象的人脸图像；

使用预先训练完成的第一特征编码器对所述人脸图像进行特征提取，获得所述人脸图像的多视角多形态特征；

使用预先训练完成的第二特征编码器对所述人脸图像进行特征提取，获得所述人脸图像的域不变特征；

将所述多视角多形态特征和所述域不变特征进行对齐融合，获得所述人脸图像的最终人脸特征；

将所述最终人脸特征和预存储的人脸数据进行匹配，以确定与所述人脸图像匹配的预存储人脸图像；

将所述预存储人脸图像对应的身份信息确定为所述目标对象的身份信息。

2.如权利要求1所述的方法，其特征在于，所述第一特征编码器和所述第二特征编码器的训练过程包括：

获取源域数据集和目标域数据集，所述源域数据集包括源域人脸图像和各所述源域人脸图像的身份标签，所述目标域数据集包括目标域人脸图像；

使用所述源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器；

根据每个所述源域人脸图像的相机标识和每个所述目标域人脸图像的相机标识，对所述源域数据集和所述目标域数据集进行划分，获得至少两种样本集合，每种样本集合包括第一组样本和第二组样本；

针对每种所述样本集合，使用所述第一组样本和所述第二组样本训练所述样本集合对应的目标分类器，获得训练后目标分类器，每种所述样本集合对应一个所述目标分类器，所述目标分类器为由所述训练后人脸分类器和相机分类器整合得到的分类器；

根据每个所述训练后目标分类器和对应的所述样本集合，对所述训练后第一特征编码器进行训练，得到优化后第一特征编码器；

使用所述训练后第二特征编码器对所述源域人脸图像和所述目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据所述第一特征和所述第二特征得到混合特征，使用所述训练后第二特征编码器、所述混合特征、所述源域人脸图像和所述目标域人脸图像训练相机分类器，获得训练后相机分类器；

使用所述训练后相机分类器、所述源域人脸图像和所述目标域人脸图像训练所述训练后第二特征编码器，获得优化后第二特征编码器；

分别使用所述优化后第一特征编码器和所述优化后第二特征编码器对所述源域人脸图像进行特征提取，获得第三特征和第四特征，并将所述第三特征和所述第四特征进行特征相加，得到第五特征；

使用所述第五特征和所述训练后人脸分类器训练所述优化后第一特征编码器和所述优化后第二特征编码器，获得训练完成的所述第一特征编码器和所述第二特征编码器。

3.如权利要求2所述的方法，其特征在于，使用所述源域数据集训练人脸比对模型中的第一特征编码器、第二特征编码器和人脸分类器，获得训练后第一特征编码器、训练后第二特征编码器和训练后人脸分类器，包括：

将所述源域人脸图像分别输入所述第一特征编码器和所述第二特征编码器，获得所述第一特征编码器输出的特征和所述第二特征编码器输出的特征；

将所述第一特征编码器输出的特征和所述第二特征编码器输出的特征分别输入至所述人脸分类器，获得所述人脸分类器输出的分类结果；

基于所述人脸分类器输出的分类结果和所述身份标签，使用交叉熵损失函数计算第一损失值；

针对每个所述源域人脸图像，将所述源域人脸图像、以及所述源域人脸图像对应的难负样本和难正负样本分别输入所述第一特征编码器和所述第二特征编码器，获得所述第一特征编码器输出的目标特征和所述第二特征编码器输出的目标特征；

基于所述第一特征编码器输出的目标特征和所述第二特征编码器输出的特征，使用三元组损失函数计算第二损失值；

根据所述第一损失值和所述第二损失值调整所述第一特征编码器、所述第二特征编码器和所述人脸分类器的参数；

迭代训练多次后，获得所述训练后第一特征编码器、所述训练后第二特征编码器和所述训练后人脸分类器。

4.如权利要求2所述的方法，其特征在于，使用所述第一组样本和所述第二组样本训练所述样本集合对应的目标分类器，获得训练后目标分类器，包括：

将所述第一组样本中的样本图像和所述第二组样本中的样本图像分别输入所述训练后第一特征编码器，获得所述训练后第一特征编码器输出的第六特征和第七特征；

将所述第六特征和所述第七特征分别输入至所述目标分类器，获得所述目标分类器输出的分类结果；

根据所述目标分类器输出的分类结果、所述第一组样本对应的身份标签和所述第二组样本对应的身份标签，计算第三损失值；

根据所述第三损失值调整所述目标分类器的参数；

迭代训练多次后，获得所述训练后目标分类器。

5.如权利要求2所述的方法，其特征在于，使用所述训练后第二特征编码器对所述源域人脸图像和所述目标域人脸图像进行特征提取，获得第一特征和第二特征，并根据所述第一特征和所述第二特征得到混合特征，包括：

将所述源域人脸图像输入至所述训练后第二特征编码器，获得所述训练后第二特征编码器的前两层输出的第一特征；

将所述目标域人脸图像输入至所述训练后第二特征编码器，获得所述训练后第二特征编码器的前两层输出的所述第二特征；

将所述第一特征和第一权重相乘，得到第一乘积，将所述第二特征和第二权重相乘，得到第二乘积，并将所述第一乘积和所述第二乘积相加，获得所述混合特征。

6.如权利要求5所述的方法，其特征在于，使用所述训练后第二特征编码器、所述混合特征、所述源域人脸图像和所述目标域人脸图像训练相机分类器，获得训练后相机分类器，包括：

将所述第一权重和所述源域人脸图像的相机标签相乘，得到第三乘积，将所述第二权重和所述目标域人脸图像的相机标签相乘，获得第四乘积，并将所述第三乘积和所述第四乘积相加，获得所述混合特征的相机标签；

分别将所述源域人脸图像和所述目标域人脸图像输入至所述训练后第二特征编码器，获得所述训练后第二特征编码器输出的第八特征和第九特征；

分别将所述第八特征、所述第九特征和所述混合特征输入至所述相机分类器，获得所述相机分类器输出的分类结果；

根据所述相机分类器输出的分类器、所述源域人脸图像的相机标签、所述目标域人脸图像的相机标签和所述混合特征的相机标签，计算得到第四损失值；

根据所述第四损失值调整所述相机分类器的参数；

迭代训练多次后，获得所述训练后相机分类器。

7.如权利要求2所述的方法，其特征在于，使用所述训练后相机分类器、所述源域人脸图像和所述目标域人脸图像训练所述训练后第二特征编码器，获得优化后第二特征编码器，包括：

分别将所述源域人脸图像和所述目标域人脸图像输入至所述训练后第二特征编码器，获得所述训练后第二特征编码器输出的第十特征和第十一特征；

分别将所述第十特征、所述第十一特征和所述混合特征输入至所述训练后相机分类器，获得所述训练后相机分类器输出的分类结果；

根据所述训练后相机分类器输出的分类结果和预设损失函数，调整所述训练后第二特征编码器的参数；

迭代训练多次后，获得所述优化后第二特征编码器。

8.一种身份比对装置，其特征在于，包括：

获取模块，用于获取目标对象的人脸图像；

第一特征提取模块，用于使用预先训练完成的第一特征编码器对所述人脸图像进行特征提取，获得所述人脸图像的多视角多形态特征；

第二特征提取模块，用于使用预先训练完成的第二特征编码器对所述人脸图像进行特征提取，获得所述人脸图像的域不变特征；

特征对齐融合模块，用于将所述多视角多形态特征和所述域不变特征进行对齐融合，获得所述人脸图像的最终人脸特征；

特征匹配模块，用于将所述最终人脸特征和预存储的人脸数据进行匹配，以确定与所述人脸图像匹配的预存储人脸图像；

身份确定模块，用于将所述预存储人脸图像对应的身份信息确定为所述目标对象的身份信息。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。