CN114359993A - 模型训练方法、人脸识别方法、装置、设备、介质及产品 - Google Patents

Abstract

本公开提供了一种模型训练方法、人脸识别方法、装置、设备、介质及产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景。具体实现方案为：获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；采用预设的人脸识别模型提取各人脸图像样本对应的融合特征；融合特征表示人脸图像样本的线性自身特征与线性样本间分布特征之间的融合特征；采用融合特征及预设的损失函数对人脸识别模型进行训练；将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。本公开对属于不同分布的人脸图像进行识别时有效提升识别准确率。

Description

模型训练方法、人脸识别方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景。

背景技术

人脸识别技术是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别技术被广泛应用在各种领域。如安保领域，通行领域，考勤及会务领域等。

在采用人脸识别技术进行人脸识别时，通常会采用深度学习模型进行识别。所以深度学习模型的训练结果的优劣会直接影响人脸识别的准确率。目前训练后的深度学习模型对不同分布的人脸图像的识别准确率较低。

发明内容

本公开提供了一种用于人脸识别的模型训练方法、人脸识别方法、装置、设备、介质及产品。

根据本公开的第一方面，提供了一种人脸识别模型训练方法，包括：

获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；

采用预设的人脸识别模型提取各所述人脸图像样本对应的融合特征；所述融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征；

采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练；

将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，所述训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

根据本公开的第二方面，提供了一种人脸识别方法，包括：

获取目标人脸图像；

采用人脸识别模型对所述目标人脸图像进行人脸识别；所述人脸识别模型是采用如第一方面任一项所述方法对预设的人脸识别模型训练后获得的。

根据本公开的第三方面，提供了一种人脸识别模型训练装置，包括：

获取单元，用于获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；

提取单元，用于采用预设的人脸识别模型提取各所述人脸图像样本对应的融合特征；所述融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征；

训练单元，用于采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练；

确定单元，用于将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，所述训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

根据本公开的第四方面，提供了一种人脸识别装置，包括：

获取单元，用于获取目标人脸图像；

识别单元，用于采用人脸识别模型对所述目标人脸图像进行人脸识别；所述人脸识别模型是采用如第二方面任一项所述装置对预设的人脸识别模型训练后获得的。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令；

所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面中任一项所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面中任一项所述的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。

根据本公开的技术由于提取人脸图像样本对应的融合特征时，该融合特征为将人脸图像样本对应的自身特征和样本间分布特征进行有效融合的特征，所以采用融合特征和预设损失函数对预设的人脸识别模型进行训练后，训练至收敛的人脸识别模型不仅能够有效区分不同分类类别的人脸图像，而且能够有效区分属于不同分布类型的人脸图像。所以训练至收敛的人脸识别模型对属于不同分布的人脸图像进行识别时能够有效提升识别准确率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开提供的人脸识别模型训练方法的网络架构示意图；

图2是根据本公开提供的人脸识别方法的网络架构示意图；

图3是根据本公开第一实施例提供的人脸识别模型训练方法的流程示意图；

图4是根据本公开第二实施例提供的人脸识别模型训练方法的流程示意图；

图5是根据本公开实施例提供的人脸识别模型训练方法中人脸识别模型的训练原理示意图；

图6是根据本公开第三实施例提供的人脸识别模型训练方法的流程示意图；

图7是根据本公开第四实施例提供的人脸识别模型训练方法的流程示意图；

图8是根据本公开第五实施例提供的人脸识别模型训练方法的流程示意图；

图9是根据本公开第六实施例提供的人脸识别模型训练方法的流程示意图；

图10是根据本公开第七实施例提供的人脸识别方法的流程示意图；

图11是根据本公开第八实施例提供的人脸识别方法的流程示意图；

图12是根据本公开第九实施例提供的人脸识别模型训练装置的结构示意图；

图13是根据本公开第九实施例提供的人脸识别装置的结构示意图；

图14是用来实现本公开实施例的人脸识别模型训练方法和人脸识别方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

为了清楚理解本公开的技术方案，首先对现有技术的技术方案进行详细介绍。

目前人脸识别技术广泛应用在各个领域。如安保领域，通行领域，考勤及会务领域等。但由于在进行人脸识别的应用场景中，需要通过视觉传感器采集包括用户人脸的图像，或者从图库中获取到包括人脸的图像。所以在进行人脸识别的场景中，会有包括人脸的图像属于不同分布类型的情况。例如在通过人脸识别进行身份认证后使用应用软件时，有些用户采用包括人脸的生活照进行身份认证，有些用户采用包括人脸的证件照进行身份认证。属于生活照的人脸图像与属于证件照的人脸图像就属于不同分布类型。又如在通过人脸识别进行身份认证后通行的场景中，有些用户为女性用户，有些用户为男性用户。那对于属于女性用户的人脸图像与属于男性用户的人脸图像也属于不同的分布类型。

目前在采用人脸识别技术进行人脸识别时，通常会采用深度学习模型进行识别。但是在对深度学习模型进行训练时，并未考虑属于不同分布类型的人脸图像样本的分布特征对深度学习模型训练结果的影响。导致训练至收敛的深度学习模型在对不同分布类型的人脸图像进行识别时，识别的准确率较低。

所以在面对现有技术中的技术问题时，发明人通过创造性的研究发现，在提取人脸图像样本的特征时，不仅要提取人脸图像样本的自身特征，也要提取出不同人脸图像样本之间的样本间分布特征。并且在提取出自身特征和样本间分布特征后，能够将两种特征进行有效的融合，形成融合特征，这个融合特征不仅能够表征人脸图像样本的分类类别，而且能够表征人脸图像样本的分布类型。进而采用融合特征和预设损失函数对预设的人脸识别模型进行训练。训练至收敛的人脸识别模型不仅能够有效区分不同分类类别的人脸图像，而且能够有效区分属于不同分布类型的人脸图像。所以训练至收敛的人脸识别模型对属于不同分布的人脸图像进行识别时能够有效提升识别准确率。

发明人基于上述的创造性发现，提出了本公开的技术方案。下面对本公开实施例提供的人脸识别模型的训练方法和人脸识别方法的网络架构进行介绍。

图1是根据本公开提供的人脸识别模型的训练方法的网络架构示意图，如图1所示，该人脸识别模型的训练方法对应的网络架构中可以包括：电子设备11和电子设备12。其中，在电子设备11中包括数据库111，数据库中存储有训练集，在训练集中包括多个人脸图像样本，并且在训练集中的人脸图像样本属于不同分布类型。电子设备12中预先存储有预设的人脸识别模型。电子设备12通过访问电子设备11，从电子设备11中获取多个人脸图像样本。电子设备12采用本方案提供的人脸识别模型训练方法对预设的人脸识别模型进行训练，获得训练至收敛的人脸识别模型。

图2是根据本公开提供的人脸识别方法的网络架构示意图，如图2所示，该人脸识别方法对应的网络架构中可以包括：摄像头21和电子设备22。则在某些人脸识别的应用场景中，如通行场景，考勤或会务场景等，摄像头21采集用户的目标人脸图像，将目标人脸图像发送给电子设备22，电子设备22采用训练至收敛的人脸识别模型对目标人脸图像进行人脸识别。输出识别结果，进而对用户的身份进行认证。在另一些人脸识别场景中，如安保认证场景，在电子设备22中还预先存储有待识别的目标人脸图像，如在手机的图库221中存储有用户的身份证件或其他证件照片、生活照等。用户从电子设备22的图库中获取包括人脸的图像，输入到电子设备22安装的需要安保认证的应用软件中，采用训练训练至收敛的人脸识别模型对目标人脸图像进行人脸识别。输出识别结果，进而对用户的身份进行认证，认证通过后继续使用应用软件。

需要说明的是，本实施例提供的人脸识别方法还可以应用到具有不同分布类型的人脸识别的其他应用场景中，本实施例中对此不作限定。

以下将参照附图来具体描述本公开的实施例。

图3是根据本公开第一实施例提供的人脸识别模型训练方法的流程示意图。如图3所示，本实施例提供的人脸识别模型训练方法的执行主体为人脸识别模型训练装置，该人脸识别模型训练装置位于电子设备中。则本实施例提供的人脸识别模型训练方法包括以下步骤：

步骤301，获取多个人脸图像样本；多个人脸图像样本属于不同分布类型。

本实施例中，可在电子设备本地存储或其他电子设备或云端存储有对预设的人脸识别模型进行训练的训练集。可从电子设备本地的预设存储区域获取训练集。或者访问其他电子设备或云端服务器，从其他电子设备的数据库或云端服务器中获取到训练集。

其中，在训练集中包括多个训练样本。每个训练样本为包括人脸的图像样本，并标注有人脸图像样本所属的用户。可以理解的是，对于同一用户可包括有多个人脸图像样本。

其中，在训练集中的多个人脸图像样本属于不同分布类型。人脸图像样本的分布类型是将人脸图像样本的像素值进行统计后确定出的概率分布类型。多个人脸图像样本属于不同分布类型是指多个人脸图像样本对应的像素值确定出的概率分布属于不同类型。所以人脸图像样本的分布类型与人脸图像样本中除了人脸外的背景相关，如一部分人脸图像样本的分布类型为属于生活照的分布类型，另一部分人脸图像样本的分布类型为属于证件照的分布类型。人脸图像样本的分布类型也与人脸图像样本中的人脸相关。如一部分人脸图像样本的分布类型属于女人的分布类型，另一部分人脸图像样本的分布类型属于男人的分布类型。

步骤302，采用预设的人脸识别模型提取各人脸图像样本对应的融合特征；融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征。

其中，预设的人脸识别模型可以为深度学习模型，还可以为机器学习模型等。

本实施例中，可采用预设的人脸识别模型提取各人脸图像样本对应的自身特征，同时采用预设的人脸识别模型提取各人脸图像样本对应的样本间分布特征，再采用预设的人脸识别模型将各人脸图像样本对应的自身特征与样本间分布特征之间进行融合，以提取到各人脸图像样本对应的融合特征。

步骤303，采用融合特征及预设的损失函数对人脸识别模型进行训练。

其中，预设损失函数的类型不作限定。如可以为交叉熵损失函数。还可以为构建出的分布损失函数和/或分类损失函数等，本实施例中对此不作限定。

步骤304，将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

本实施例中，预设人脸识别模型的训练收敛条件可以为预设的损失函数的计算结果达到最小。将预设融合特征输入到预设的损失函数中，对预设的损失函数进行计算，判断预设的损失函数的计算结果是否达到最小值，若未达到最小值，则说明未满足训练收敛条件，可按照梯度下降的方向调整预设的人脸识别模型中的参数，进而对预设的人脸识别模型进行训练。经过不断迭代，在预设损失函数的计算结果达到最小时，确定满足训练收敛条件，将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型。

本实施例提供的人脸识别模型训练方法，通过获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；采用预设的人脸识别模型提取各人脸图像样本对应的融合特征；融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征；采用融合特征及预设的损失函数对人脸识别模型进行训练；将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。由于提取人脸图像样本对应的融合特征时，该融合特征为将人脸图像样本对应的自身特征和样本间分布特征进行有效融合的特征，所以采用融合特征和预设损失函数对预设的人脸识别模型进行训练后，训练至收敛的人脸识别模型不仅能够有效区分不同分类类别的人脸图像，而且能够有效区分属于不同分布类型的人脸图像。所以训练至收敛的人脸识别模型对属于不同分布的人脸图像进行识别时能够有效提升识别准确率。

图4是根据本公开第二实施例提供的人脸识别模型训练方法的流程示意图，如图4所示，本实施例提供的人脸识别模型训练方法中，预设的人脸识别模型为预设的卷积神经网络模型；预设的卷积神经网络模型包括三个网络分支。并且本实施例提供的人脸识别模型训练方法是在上述实施例的基础上，对步骤302的进一步细化，则本实施例提供的人脸识别模型训练方法包括以下步骤：

步骤401，采用第一网络分支提取各人脸图像样本对应的线性自身特征。

本实施例中，采用第一网络分支中的网络结构可对各人脸图像样本进行卷积操作，并将卷积操作后的结果进行实例归一化处理，实例归一化处理的结果确定为各人脸图像样本对应的线性自身特征。

步骤402，采用第二网络分支提取各人脸图像样本对应的第二卷积特征。

本实施例中，采用第二网络分支中的网络结构对各人脸图像样本进行卷积操作，将卷积操作结果确定为各人脸图像样本对应的第二卷积特征。

其中，第二卷积特征为采用第二网络分支对各人脸图像样本提取出的卷积特征。

步骤403，采用第三网络分支提取各人脸图像样本对应的线性样本间分布特征。

本实施例中，采用第三网络分支中的网络结构对各人脸图像进行卷积操作，并将卷积操作后的结果进行批归一化处理，批归一化处理结果确定为各人脸图像样本对应的线性样本间分布特征。

步骤404，根据各人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重。

本实施例中，可根据各人脸图像样本对应的线性自身特征和第二卷积特征计算各人脸图像样本对应的非线性自身特征。根据各人脸图像样本对应的线性样本间分布特征和第二卷积特征计算各人脸图像样本对应的非线性样本间分布特征，进而根据各人脸图像样本对应的非线性自身特征和非线性样本间分布特征计算对应的融合权重。

步骤405，根据各融合权重及对应的线性自身特征、线性样本间分布特征计算各人脸图像样本对应的融合特征。

本实施例中，可将该融合权重确定为线性自身特征或线性样本间分布特征对应的权重。并根据融合权重计算另一个线性特征对应的权重。根据线性自身特征及对应的权重、线性样本间分布特征及对应的权重计算各人脸图像样本对应的融合特征。

本实施例提供的人脸识别模型训练方法，预设的人脸识别模型为预设的卷积神经网络模型；预设的卷积神经网络模型包括三个网络分支。相应地，在采用预设的人脸识别模型提取各人脸图像样本对应的融合特征时，采用第一网络分支提取各人脸图像样本对应的线性自身特征；采用第二网络分支提取各人脸图像样本对应的第二卷积特征；采用第三网络分支提取各人脸图像样本对应的线性样本间分布特征；根据各人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重；根据各融合权重及对应的线性自身特征、线性样本间分布特征计算各人脸图像样本对应的融合特征，通过第一网络分支和第三网络分支能够对各人脸图像样本对应的线性自身特征和线性样本间分布特征进行有效提取。并且融合权重是与人脸图像样本线性自身特征及线性样本间分布特征相关的权重，所以具有自适应性，进而根据融合权重提取出来的融合特征更能有效权衡人脸图像样本中自身特征和样本间分布特征的占比。

作为一种可选实施方式，本实施例中，如图5所示，第一网络分支包括依次串联的第一卷积层及实例归一化层。则步骤401包括以下步骤：

步骤4011，采用第一卷积层对各人脸图像样本进行卷积操作，以获得各第一卷积特征。

其中，在第一卷积层中具有至少一个卷积核，采用第一卷积层中的卷积核对各人脸图像样本进行卷积操作，从第一卷积层中输出的卷积结果为第一卷积特征。第一卷积特征为线性特征。

其中，第一卷积特征可表示为矩阵的形式，可称为第一卷积特征图。

步骤4012，采用实例归一化层对各第一卷积特征分别进行实例归一化处理，以提取各人脸图像样本对应的线性自身特征。

本实施例中，将各人脸图像样本对应的各第一卷积特征输入到实例归一化层中，在实例归一化层中对各第一卷积特征进行实例归一化处理(英文为：InstanceNorm)，在对各第一卷积特征进行实例归一化处理时，在第一卷积特征图的像素上，即长度方向和宽度方向做归一化处理，所以提取了第一卷积特征的自身特征，由于进行卷积操作是线性操作，所以将实例归一化处理后的结果确定为人脸图像样本对应的线性自身特征。

其中，如图5所示，人脸图像样本对应的线性自身特征可表示为F1。

本实施例中，在采用第一网络分支提取各人脸图像样本对应的线性自身特征时，采用第一卷积层对各人脸图像样本进行卷积操作，以获得各第一卷积特征；对各第一卷积特征分别进行实例归一化处理，以提取各人脸图像样本对应的线性自身特征。由于实例归一化处理为针对第一卷积特征对应的像素的归一化处理，所以能够有效提取出人脸图像样本对应的线性自身特征。

作为一种可选实施方式，本实施例中，如图5所示，第二网络分支包括至少一个第二卷积层。则步骤402包括：

采用第二卷积层对各人脸图像样本进行卷积操作，以提取各人脸图像样本对应的卷积特征。由第二卷积层提取的卷积特征为第二卷积特征。

本实施例中，将各人脸图像样本输入到第二卷积层中，在第二卷积层中包括至少一个卷积核。采用第二卷积层中的卷积核对各人脸图像样本进行卷积操作，从第二卷积层中输出的卷积结果为第二卷积特征。

需要说明的是，若第二卷积层为多个，则多个第二卷积层依次串联。则在第一个卷积层对各人脸图像样本进行卷积操作，输出一个第二卷积特征后，将该第二卷积特征继续输入到第二个第二卷积层中，由第二个第二卷积层继续采用卷积核对各人脸图像样本进行卷积操作，输出对应的一个第二卷积特征。以此类推，直到最后一个第二卷积层输出最终的第二卷积特征。

其中，如图5所示，人脸图像样本对应的第二卷积特征可表示为W。

作为一种可选实施方式，本实施例中，如图5所示，第三网络分支包括依次串联的第三卷积层及批归一化层。则步骤403包括：

步骤4031，采用第三卷积层对各人脸图像样本进行卷积操作，以获得各第三卷积特征。

其中，在第三卷积层中具有至少一个卷积核，采用第三卷积层中的卷积核对各人脸图像样本进行卷积操作，从第三卷积层中输出的卷积结果为第三卷积特征。

其中，第三卷积特征为线性特征，可表示为矩阵的形式，可称为第三卷积特征图。

步骤4032，采用批归一化层对各第三卷积特征分别进行批归一化处理，以提取各人脸图像样本对应的线性样本间分布特征。

其中，将各第三卷积特征输入到各第三卷积特征输入到批归一化层中，在批归一化层中对各第三卷积特征进行批归一化处理(英文为：batchNorm)，在对各第三卷积特征进行批归一化处理时，在连续的N个第三卷积特征图及第三卷积特征图的像素上，均进行归一化处理，所以提取了第三卷积特征与其他第三卷积特征图之间的分布特征，由于进行卷积操作是线性操作，所以将批归一化处理后的结果确定为人脸图像样本对应的线性样本间分布特征。

其中，如图5所示，人脸图像样本对应的线性样本间分布特征可表示为F2。

本实施例中，采用第三网络分支提取各人脸图像样本对应的线性样本间分布特征时，采用第三卷积层对各人脸图像样本进行卷积操作，以获得各第三卷积特征；采用批归一化层对各第三卷积特征分别进行批归一化处理，以提取各人脸图像样本对应的线性样本间分布特征。由于批归一化处理为针对第三卷积特征与其他第三卷积特征图所做的归一化处理，所以能够有效提取出人脸图像样本对应的线性样本间分布特征。

作为一种可选实施方式，本实施例中，如图5所示，第一网络分支还包括第一激励层；第三网络分支还包括：第二激励层。则步骤404包括以下步骤：

步骤4041，将各人脸图像样本对应的线性自身特征及第二卷积特征输入到第一激励层，通过第一激励层和第二卷积特征对线性自身特征进行非线性映射操作，以获得非线性自身特征。

可选地，第一激励层包括第一激励函数。第一激励函数可为sigmoid函数。

本实施例中，通过第一激励层和第二卷积特征对线性自身特征进行非线性映射操作，以获得非线性自身特征具体包括：

将线性自身特征输入到第一激励函数中，输出第一激励结果。将第二卷积特征与第一激励结果进行乘法运算，以获得非线性自身特征。

具体地，如图5所示，各人脸图像样本的非线性自身特征可表示为F3,其中F3可表示为式(1)所示：

F3＝W*sigmoid(F1) (1)。

其中，W为人脸图像样本的第二卷积特征。Sigmoid(F1)为第一激励结果。

步骤4042，将各人脸图像样本对应的线性样本间分布特征及第二卷积特征输入到第二激励层，通过第二激励层和第二卷积特征对线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征。

可选地，第二激励层包括第二激励函数。

本实施例中，通过第二激励层和第二卷积特征对线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征，包括：

将线性样本间分布特征输入到第二激励函数中，输出第二激励结果；将第二卷积特征与第二激励结果进行乘法运算，以获得非线性样本间分布特征。

具体地，如图5所示，各人脸图像样本的非线性样本间分布特征可表示为F4,其中F4可表示为式(2)所示：

F4＝W*sigmoid(F2) (2)

其中，W为人脸图像样本的第二卷积特征。Sigmoid(F2)为第二激励结果。

步骤4043，根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重。

可选地，本实施例中，将各非线性自身特征及对应的非线性样本间分布特征进行求和，以获得对应的求和结果；计算各非线性自身特征与对应的求和结果的比值，以获得对应的融合权重。

具体地，如图5所示，融合权重可表示为a。其中，a可表示为式(3)所示：

a＝F3/(F3+F4) (3)

其中，F3+F4为求和结果。

本实施例中，根据各人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重时，将各人脸图像样本对应的线性自身特征及第二卷积特征输入到第一激励层，通过第一激励层和第二卷积特征对线性自身特征进行非线性映射操作，以获得非线性自身特征；将各人脸图像样本对应的线性样本间分布特征及第二卷积特征输入到第二激励层，通过第二激励层和第二卷积特征对线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征；根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重。由于将线性自身特征和线性样本间分布特征分别进行非线性映射操作后，特征更加丰富，所以根据非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重，使得融合权重计算的更加准确。

作为一种可选实施方式，本实施例中，步骤405包括以下步骤：

步骤4051，将各融合权重确定为各线性自身特征对应的权重，并根据各融合权重确定各线性样本间分布特征对应的权重。

其中，融合权重表示为a，则根据各融合权重确定各线性样本间分布特征对应的权重表示为(1-a)。

步骤4052，根据各线性自身特征对应的权重及各线性样本间分布特征对应的权重对线性自身特征和对应的线性样本间分布特征进行加权求和运算，以获得各人脸图像样本对应的融合特征。

其中，如图5所示，人脸图像样本对应的融合特征表示为F，则F可采用式(4)表示：

F＝a*F1+(1-a)*F2 (4)

本实施例中，根据各融合权重及对应的线性自身特征、线性样本间分布特征计算各人脸图像样本对应的融合特征时，将各融合权重确定为各线性自身特征对应的权重，并根据各融合权重确定各线性样本间分布特征对应的权重；根据各线性自身特征对应的权重及各线性样本间分布特征对应的权重对线性自身特征和对应的线性样本间分布特征进行加权求和运算，以获得各人脸图像样本对应的融合特征。由于融合权重具有自适应性，所以采用融合权重，以线性自身特征和对应的线性样本间分布特征进行加权求和的方式计算出的融合特征也具有自适应性，更能有效体现人脸图像样本的融合特征。

图6是根据本公开第三实施例提供的人脸识别模型训练方法的流程示意图，如图6所示，本实施例提供的人脸识别模型训练方法在上述任意一个实施例的基础上，预设的损失函数包括：预设的分布损失函数和预设的分类损失函数。并且对步骤203进行了进一步的细化，则本实施例提供的人脸识别模型训练方法步骤203包括以下步骤：

步骤601，将每个人脸人脸图像对应的融合特征输入到预设的分布损失函数和预设的分类损失函数中。

其中，预设的分布损失函数D3可表示为式(5)所示：

D1＝∑(F_i-C_i)

D2＝∑(F_j-C_i)

D3＝D2-D1 (5)

其中，C_i表示第i个分布类型对应的分布特征中心数据。F_i表示第i个分布类型的人脸图像样本的融合特征。D1表示相同分布类型的融合特征与分布特征中心数据的差值的求和结果。F_j表示第j个分布类型的人脸图像样本的融合特征。D2表示不同分布类型的融合特征与分布特征中心数据的差值的求和结果。

其中，C_i为第i个分布类型对应的融合特征求取均值的结果。

其中，预设的分类损失函数D6表示为式(6)所示：

D4＝∑(F_h-K_h)

D5＝∑(F_k-K_h)

D6＝D4-D5 (6)

其中，K_h表示第h个分类类别对应的分类特征中心数据。F_h表示第h个分类类别的人脸图像样本的融合特征。D4表示相同分类类别的融合特征与分类特征中心数据的差值的求和结果。F_k表示第k个分类类别的人脸图像样本的融合特征。D5表示不同分类类别的融合特征与分类特征中心数据的差值的求和结果。

具体地，本实施例中，将融合特征F_i和F_j输入到预设的分布损失函数D3，并将C_i也输入到预设的分布损失函数D3中，对预设的分布损失函数D3进行计算，输出预设的分布损失函数的计算结果。将融合特征F_h和F_k输入到预设的分类损失函数D6中，并将K_h也输入到预设的分类损失函数D6中，对预设的分类损失函数D6进行计算，输出预设的分类损失函数的计算结果。

步骤602，判断预设的分布损失函数和预设的分类损失函数的计算结果是否均达到最小，若否，则执行步骤603，否则执行步骤604。

步骤603，调整人脸识别模型中的参数，以对人脸识别模型进行训练。

步骤604，确定满足训练收敛条件。

本实施例中，将当前次迭代训练中的预设的分布损失函数和预设的分类损失函数的计算结果与上一次迭代训练中的预设的分布损失函数和预设的分类损失函数的计算结果对应进行比较，判断当前次迭代训练中的预设的分布损失函数和预设的分类损失函数的计算结果是否继续变小，若均未继续变小，则说明预设的分布损失函数和预设的分类损失函数的计算结果均达到最小，确定满足训练收敛条件。将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型。否则确定预设的分布损失函数和预设的分类损失函数的计算结果未均达到最小，继续对预设的人脸识别模型进行迭代训练。继续对预设的人脸识别模型进行迭代训练时，调整人脸识别模型中的参数，使下一次迭代训练时，预设的分布损失函数和预设的分类损失函数的计算结果继续变小。

本实施例提供的人脸识别模型训练方法，在采用融合特征及预设的损失函数对人脸识别模型进行训练时，将每个人脸人脸图像对应的融合特征输入到预设的分布损失函数和预设的分类损失函数中；判断预设的分布损失函数和预设的分类损失函数的计算结果是否均达到最小；若确定预设的分布损失函数和预设的分类损失函数的计算结果未均达到最小，则调整人脸识别模型中的参数，以对人脸识别模型进行训练。由于预设的损失函数既包括预设的分布损失函数，又包括预设的分类损失函数，所以在对预设的人脸识别模型进行训练时，能够有效保证人脸识别模型对不同分布类型以及不同分类类别的人脸图像均具有较高的识别效果。

图7是根据本公开第四实施例提供的人脸识别模型训练方法的流程示意图，如图7所示，本实施例提供的人脸识别模型训练方法在上述任意一个实施例的基础上，预设的损失函数包括：预设的分布损失函数和预设的分类损失函数。并且对步骤203进行了进一步的细化，则本实施例提供的人脸识别模型训练方法步骤203包括以下步骤：

步骤701，根据预设的分布损失函数和预设的分类损失函数确定预设的总损失函数。

本实施例中，预设的总损失函数可表示为式(7)所示：

D7＝D3+D6 (7)

其中，D3表示为式(5)所示，D6表示为式(6)所示。

步骤702，将每个人脸人脸图像对应的融合特征输入到预设的总损失函数中。

本实施例中，将融合特征F_i和F_j输入到预设的分布损失函数D3，并将C_i也输入到预设的分布损失函数D3中。将融合特征F_h和F_k输入到预设的分类损失函数D6中，并将K_h也输入到预设的分类损失函数D6中，对预设的总损失函数D7进行计算，输出预设的总损失函数的计算结果。

步骤703，判断预设的总损失函数的计算结果是否均达到最小，若否，则执行步骤704，否则执行步骤705。

步骤704，调整人脸识别模型中的参数，以对人脸识别模型进行训练。

步骤705，确定满足训练收敛条件。

本实施例中，将当前次迭代训练中的预设的总损失函数的计算结果与上一次迭代训练中的预设的总损失函数的计算结果对应进行比较，判断当前次迭代训练中的预设的总损失函数的计算结果是否继续变小，若未继续变小，则说明预设的总损失函数的计算结果达到最小，确定满足训练收敛条件。将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型。否则确定预设的总损失函数的计算结果未达到最小，继续对预设的人脸识别模型进行迭代训练。继续对预设的人脸识别模型进行迭代训练时，调整人脸识别模型中的参数，使下一次迭代训练时，预设的总损失函数的计算结果继续变小。

本实施例提供的人脸识别模型训练方法，在采用融合特征及预设的损失函数对人脸识别模型进行训练时，根据预设的分布损失函数和预设的分类损失函数确定预设的总损失函数；将每个人脸人脸图像对应的融合特征输入到预设的总损失函数中；判断预设的总损失函数的计算结果是否均达到最小；若确定预设的总损失函数的计算结果未达到最小，则调整人脸识别模型中的参数，以对人脸识别模型进行训练。由于预设总损失函数中，既包括了预设的分布损失函数又包括预设的分类损失函数，所以在对预设的人脸识别模型进行训练时，能够有效保证人脸识别模型对不同分布类型以及不同分类类别的人脸图像均具有较高的识别效果。

作为一种可选实施方式，本上述任意一个实施例提供的人脸识别模型训练方法的基础上，在采用融合特征及预设的损失函数对人脸识别模型进行训练之前，还包括构建预设的分布损失函数和预设的分类损失函数的步骤。

图8是根据本公开第五实施例提供的人脸识别模型训练方法的流程示意图。如图8所示，本实施例提供的人脸识别模型训练方法在上一个实施例提供的人脸识别模型训练方法的基础上，对构建预设的分布损失函数进行了进一步地细化，则本实施例提供的人脸识别模型训练方法包括以下步骤：

步骤801，根据每种分布类型的人脸图像样本的融合特征确定每种分布类型对应的分布特征中心数据。

本实施例中，计算每种分布类型的人脸图像样本的融合特征的均值，将每种分布类型的人脸图像样本的融合特征的均值确定为每种分布类型对应的分布特征中心数据。则第i个分布类型对应的分布特征中心数据表示为C_i。

步骤802，根据每种分布类型的人脸图像样本的融合特征及每种分布类型对应的分布特征中心数据构建预设的分布损失函数。

本实施例中，预设的分布损失函数表示为上述的式(5)所示。在式(5)中，能够尽量减少相同分布类型的人脸图像样本的融合特征与对应分布类型的分布特征中心数据之间的差距。尽量增大不同分布类型的人脸图像样本的融合特征与分布特征中心数据之间的差距，进而能够进一步提升人脸识别模型对不同分布类型人脸图像的识别率。

图9是根据本公开第六实施例提供的人脸识别模型训练方法的流程示意图，如图9所示，本实施例提供的人脸识别模型训练方法在上一个实施例提供的人脸识别模型训练方法的基础上，对构建预设的分类损失函数进行了进一步地细化，则本实施例提供的人脸识别模型训练方法包括以下步骤：

步骤901，根据每种分类类别的人脸图像样本的融合特征确定每种分类类别对应的分类特征中心数据。

本实施例中，计算每种分类类别的人脸图像样本的融合特征的均值，将每种分类类别的人脸图像样本的融合特征的均值确定为每种分类类别对应的分类特征中心数据。则第h个分类类别对应的分类特征中心数据表示为K_h。

步骤902，根据每种分类类别的人脸图像样本的融合特征及每种分类类别对应的分类特征中心数据构建预设的分类损失函数。

本实施例中，预设的分类损失函数表示为上述的式(6)所示。在式(6)中，能够尽量减少相同分类类别的人脸图像样本的融合特征与对应分类类别的分布特征中心数据之间的差距。尽量增大不同分类类别的人脸图像样本的融合特征与分类特征中心数据之间的差距，进而能够进一步提升人脸识别模型对不同分类类别人脸图像的识别率。

图10是根据本公开第七实施例提供的人脸识别方法的流程示意,如图10所示，本实施例提供的人脸识别方法的执行主体为人脸识别装置。该人脸识别装置位于电子设备中，在电子设备中存储有通过上述任意一个实施例提供的人脸识别模型训练方法训练获得的训练至收敛的人脸识别模型，则本实施例提供的人脸识别方法包括以下步骤：

步骤1001，获取目标人脸图像。

其中，目标人脸图像为需要进行识别的人脸图像。

本实施例中，不同人脸识别的应用场景下，该目标人脸图像的获取方式不同。如在通行场景，考勤或会务场景等应用场景中，采用摄像头采集目标人脸图像，并将目标人脸图像发送给电子设备，以获取到目标人脸图像。又如在安保认证场景中，目标人脸图像存储在本地图库中，则可通过用户在图库中进行选择图像获取到目标人脸图像。

步骤1002，采用人脸识别模型对目标人脸图像进行人脸识别。

其中，该人脸识别模型是采用上述任意一个实施例提供的人脸识别模型训练方法对预设的人脸识别模型训练后获得的。该人脸识别模型可以为训练至收敛的人脸识别模型。

具体地，本实施例中，在采用人脸识别模型对目标人脸图像进行人脸识别时，首先提取目标人脸图像的融合特征。然后获取到已注册人脸图像对应的融合特征。在已注册人脸图像对应的融合特征中标记出每个已注册人脸图像的融合特征所属的用户标识信息。将目标人脸图像的融合特征与已注册人脸图像对应的融合特征进行匹配的方式，确定目标人脸图像所属的用户标识信息，进而确定出人脸识别结果。

本实施例提供的人脸识别方法，通过获取目标人脸图像；采用上述任意一个实施例提供的人脸识别模型对目标人脸图像进行人脸识别；由于在对预设的人脸识别模型进行训练时，提取了人脸图像样本对应的融合特征。该融合特征为将人脸图像样本对应的自身特征和样本间分布特征进行有效融合的特征，所以人脸识别模型不仅能够有效区分不同分类类别的人脸图像，而且能够有效区分属于不同分布类型的人脸图像。所以人脸识别模型对属于不同分布的人脸图像进行识别时能够有效提升识别准确率。

图11是根据本公开第八实施例提供的人脸识别方法的流程示意图，如图11所示，本实施例提供的人脸识别方法在上一个实施例提供的人脸识别方法的基础上，对步骤1002进行了进一步细化，则本实施例提供的人脸识别方法包括以下步骤。

步骤1101，采用人脸识别模型提取目标人脸图像的融合特征。

本实施例中，人脸识别模型为训练至收敛的卷积神经网络模型。在训练至收敛的卷积神经网络模型中包括三个网络分支。采用第一网络分支提取目标人脸图像对应的线性自身特征。采用第二网络分支提取目标人脸图像对应的第二卷积特征。采用第三网络分支提取目标人脸图像对应的线性样本间分布特征。根据目标人脸图像对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重。根据融合权重及对应的线性自身特征、线性样本间分布特征计算目标人脸图像对应的融合特征。

其中，每个网络分支提取目标人脸图像对应特征的具体实现方式与上述实施例中每个网络分支提取人脸图像样本对应特征的具体实现方式类似，在此不再一一赘述。

同理，根据目标人脸图像对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重的实现方式与上述实施例中根据各人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重的实现方式类似。根据融合权重及对应的线性自身特征、线性样本间分布特征计算目标人脸图像对应的融合特征的实现方式与上述实施例中根据融合权重及对应的线性自身特征、线性样本间分布特征计算人脸图像样本对应的融合特征的实现方式类似。在此不再一一赘述。

步骤1102，获取已注册人脸图像对应的融合特征。

本实施例中，已注册人脸图像为在进行人脸识别时，需要进行对比基准的人脸图像。

本实施例中，采用本申请实施例提供的人脸识别模型提取已注册人脸图像对应的融合特征并进行存储。可以理解的是，每个已注册人脸图像对应的融合特征还标记有所属用户的标识信息。

其中，所属用户的标识信息可以为用户的手机号，姓名等表示唯一用户的信息。

步骤1103，根据目标人脸图像对应的融合特征和已注册人脸图像对应的融合特征对目标人脸图像进行人脸识别。

可选地，本实施例中，步骤1103包括以下步骤：

步骤1103a，将目标人脸图像对应的融合特征与已注册人脸图像对应的融合特征进行匹配操作。

步骤1103b，将最高匹配度对应的已注册人脸图像所属用户确定为目标人脸图像对应的人脸识别结果。

本实施例中，将目标人脸图像对应的融合特征与已注册人脸图像对应的融合特征进行匹配操作，确定目标人脸图像对应的融合特征与每个已注册人脸图像对应的融合特征的匹配度。获取到最高匹配度，确定该目标人脸图像对应的融合特征与最高匹配度对应的已注册人脸图像的融合特征相匹配。将最高匹配度对应的已注册人脸图像的融合特征所属用户确定为目标人脸图像所属用户。并将最高匹配度对应的已注册人脸图像的融合特征所属用户确定为目标人脸图像的识别结果。

本实施例提供的人脸识别方法，在采用人脸识别模型提取目标人脸图像的融合特征；获取已注册人脸图像对应的融合特征；将目标人脸图像对应的融合特征与已注册人脸图像对应的融合特征进行匹配操作，将最高匹配度对应的已注册人脸图像所属用户确定为目标人脸图像对应的人脸识别结果。在进行人脸识别时，直接将目标人脸图像对应的融合特征和已注册人脸图像对应的融合特征进行匹配的方式进行人脸识别，可进一步提高识别的准确率。

图12是根据本公开第九实施例提供的人脸识别模型训练装置的结构示意图，如图12所示，本实施例提供的人脸识别模型训练装置位于电子设备中。本实施例提供的人脸识别模型训练装置1200包括：获取单元1201，提取单元1202，训练单元1203及确定单元1204。

其中，获取单元1201，用于获取多个人脸图像样本；多个人脸图像样本属于不同分布类型。提取单元1202，用于采用预设的人脸识别模型提取各人脸图像样本对应的融合特征；融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征。训练单元1203，用于采用融合特征及预设的损失函数对人脸识别模型进行训练。确定单元1204，用于将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

本实施例提供的人脸识别模型训练装置可以执行图3的方法实施例的技术方案，其实现原理和技术效果与图3所示方法实施例类似，在此不再一一赘述。

可选地，预设的人脸识别模型为预设的卷积神经网络模型；预设的卷积神经网络模型包括三个网络分支。

相应地，提取单元1202，包括：第一提取模块，第二提取模块，第三提取模块，第一计算模块及第二计算模块。

其中，第一提取模块，用于采用第一网络分支提取各人脸图像样本对应的线性自身特征。第二提取模块，用于采用第二网络分支提取各人脸图像样本对应的第二卷积特征。第三提取模块，用于采用第三网络分支提取各人脸图像样本对应的线性样本间分布特征。第一计算模块，用于根据各人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重。第二计算模块，用于根据各融合权重及对应的线性自身特征、线性样本间分布特征计算各人脸图像样本对应的融合特征。

可选地，第一网络分支包括依次串联的第一卷积层及实例归一化层。

相应地，第一提取模块，包括：第一卷积操作子模块，第一归一化子模块。

其中，第一卷积操作子模块，用于采用第一卷积层对各人脸图像样本进行卷积操作，以获得各第一卷积特征。第一归一化子模块，用于采用实例归一化层对各第一卷积特征分别进行实例归一化处理，以提取各人脸图像样本对应的线性自身特征。

可选地，第二网络分支包括至少一个第二卷积层。

相应地，第二提取模块，包括：

第二卷积操作子模块，用于采用第二卷积层对各人脸图像样本进行卷积操作，以提取各人脸图像样本对应的第二卷积特征。

可选地，第三网络分支包括依次串联的第三卷积层及批归一化层。

相应地，第三提取模块，包括：第三卷积操作子模块，第二归一化子模块。

其中，第三卷积操作子模块，用于采用第三卷积层对各人脸图像样本进行卷积操作，以获得各第三卷积特征。第二归一化子模块，用于采用批归一化层对各第三卷积特征分别进行批归一化处理，以提取各人脸图像样本对应的线性样本间分布特征。

可选地，第一网络分支还包括第一激励层；第三网络分支还包括：第二激励层。

相应地，第一计算模块，包括：第一非线性操作子模块，第二非线性操作子模块，第一计算子模块。

其中，第一非线性操作子模块，用于将各人脸图像样本对应的线性自身特征及第二卷积特征输入到第一激励层，通过第一激励层和第二卷积特征对线性自身特征进行非线性映射操作，以获得非线性自身特征。第二非线性操作子模块，用于将各人脸图像样本对应的线性样本间分布特征及第二卷积特征输入到第二激励层，通过第二激励层和第二卷积特征对线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征。第一计算子模块，用于根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重。

可选地，第一激励层包括第一激励函数，第二激励层包括第二激励函数。

相应地，第一非线性操作子模块，具体用于将线性自身特征输入到第一激励函数中，输出第一激励结果；将第二卷积特征与第一激励结果进行乘法运算，以获得非线性自身特征。第二非线性操作子模块，具体用于将线性样本间分布特征输入到第二激励函数中，输出第二激励结果；将第二卷积特征与第二激励结果进行乘法运算，以获得非线性样本间分布特征。

可选地，第一计算子模块，具体用于将各非线性自身特征及对应的非线性样本间分布特征进行求和，以获得对应的求和结果；计算各非线性自身特征与对应的求和结果的比值，以获得对应的融合权重。

可选地，第二计算模块，包括：确定子模块，加权求和子模块。

其中，确定子模块，用于将各融合权重确定为各线性自身特征对应的权重，并根据各融合权重确定各线性样本间分布特征对应的权重。加权求和子模块，用于根据各线性自身特征对应的权重及各线性样本间分布特征对应的权重对线性自身特征和对应的线性样本间分布特征进行加权求和运算，以获得各人脸图像样本对应的融合特征。

可选地，预设的损失函数包括：预设的分布损失函数和预设的分类损失函数。

可选地，训练单元，包括：第一输入模块，第一判断模块，第一调整模块。

其中，第一输入模块，用于将每个人脸人脸图像对应的融合特征输入到预设的分布损失函数和预设的分类损失函数中。第一判断模块，用于判断预设的分布损失函数和预设的分类损失函数的计算结果是否均达到最小。第一调整模块，用于若确定预设的分布损失函数和预设的分类损失函数的计算结果未均达到最小，则调整人脸识别模型中的参数，以对人脸识别模型进行训练。

可选地，训练单元，包括：第一确定模块，第二输入模块，第二判断模块，第二调整模块。

其中，第一确定模块，用于根据预设的分布损失函数和预设的分类损失函数确定预设的总损失函数。第二输入模块，用于将每个人脸人脸图像对应的融合特征输入到预设的总损失函数中。第二判断模块，用于判断预设的总损失函数的计算结果是否均达到最小。第二调整模块，用于若确定预设的总损失函数的计算结果未达到最小，则调整人脸识别模型中的参数，以对人脸识别模型进行训练。

可选地，本实施例提供的人脸识别模型训练装置还包括：构建单元。

其中，构建单元，用于构建预设的分布损失函数和预设的分类损失函数。

可选地，构建单元，包括：第二确定模块，第一构建模块。

其中，第二确定模块，用于根据每种分布类型的人脸图像样本的融合特征确定每种分布类型对应的分布特征中心数据。第一构建模块，用于根据每种分布类型的人脸图像样本的融合特征及每种分布类型对应的分布特征中心数据构建预设的分布损失函数。

可选地，构建单元，包括：第三确定模块，第二构建模块。

其中，第三确定模块，用于根据每种分类类别的人脸图像样本的融合特征确定每种分类类别对应的分类特征中心数据。第二构建模块，用于根据每种分类类别的人脸图像样本的融合特征及每种分类类别对应的分类特征中心数据构建预设的分类损失函数。

本实施例提供的人脸识别模型训练装置可以执行图4、图6-图9的方法实施例的技术方案，其实现原理和技术效果与图4、图6-图9所示方法实施例类似，在此不再一一赘述。

图13是根据本公开第九实施例提供的人脸识别装置的结构示意图，如图13所示，本实施例提供的人脸识别装置位于电子设备中。该人脸识别装置1300包括：获取单元1301和识别单元1302。

其中，获取单元1301，用于获取目标人脸图像。识别单元1302，用于采用人脸识别模型对目标人脸图像进行人脸识别；人脸识别模型是采用如图12所示实施例对预设的人脸识别模型训练后获得的。

本实施例提供的人脸识别装置可以执行图10的方法实施例的技术方案，其实现原理和技术效果与图10所示方法实施例类似，在此不再一一赘述。

可选地，识别单元1302，包括：提取模块，获取模块，识别模块。

其中，提取模块，用于采用人脸识别模型提取目标人脸图像的融合特征。获取模块，用于获取已注册人脸图像对应的融合特征。识别模块，用于根据目标人脸图像对应的融合特征和已注册人脸图像对应的融合特征对目标人脸图像进行人脸识别。

可选地，识别模块，包括：匹配子模块及确定子模块。

其中，匹配子模块，用于将目标人脸图像对应的融合特征与已注册人脸图像对应的融合特征进行匹配操作。确定子模块，用于将最高匹配度对应的已注册人脸图像所属用户确定为目标人脸图像对应的人脸识别结果。

本实施例提供的人脸识别装置可以执行图11的方法实施例的技术方案，其实现原理和技术效果与图11所示方法实施例类似，在此不再一一赘述。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质及计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图14是用来实现本公开实施例的人脸识别模型训练方法和人脸识别方法的电子设备的框图。如图14所示，电子设备1400旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器集群、刀片式服务器、大型计算机、和其它适合的计算机。还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图14所示，电子设备1400包括计算单元1401，其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序，来执行各种适当的动作和处理。在RAM 1403中，还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。

设备1400中的多个部件连接至I/O接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元14014，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许电子设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如交通灯识别结果处理方法。例如，在一些实施例中，交通灯识别结果处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时，可以执行上文描述的用于网络拥塞控制的神经网络模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人脸识别模型的训练方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

本公开提供一种模型训练方法、人脸识别方法、装置、设备、介质及产品，涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于人脸图像处理和人脸识别等场景。由于提取人脸图像样本对应的融合特征时，该融合特征为将人脸图像样本对应的自身特征和样本间分布特征进行有效融合的特征，所以采用融合特征和预设损失函数对预设的人脸识别模型进行训练后，训练至收敛的人脸识别模型不仅能够有效区分不同分类类别的人脸图像，而且能够有效区分属于不同分布类型的人脸图像。所以训练至收敛的人脸识别模型对属于不同分布的人脸图像进行识别时能够有效提升识别准确率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (39)

1.一种人脸识别模型训练方法，包括：

获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；

采用预设的人脸识别模型提取各所述人脸图像样本对应的融合特征；所述融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征；

采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练；

将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，所述训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

2.根据权利要求1所述的方法，其中，所述预设的人脸识别模型为预设的卷积神经网络模型；所述预设的卷积神经网络模型包括三个网络分支；

所述采用预设的人脸识别模型提取各所述人脸图像样本对应的融合特征，包括：

采用第一网络分支提取各所述人脸图像样本对应的线性自身特征；

采用第二网络分支提取各所述人脸图像样本对应的第二卷积特征；

采用第三网络分支提取各所述人脸图像样本对应的线性样本间分布特征；

根据各所述人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重；

根据各融合权重及对应的所述线性自身特征、所述线性样本间分布特征计算各所述人脸图像样本对应的融合特征。

3.根据权利要求2所述的方法，其中，所述第一网络分支包括依次串联的第一卷积层及实例归一化层；

所述采用第一网络分支提取各所述人脸图像样本对应的线性自身特征，包括：

采用所述第一卷积层对各所述人脸图像样本进行卷积操作，以获得各第一卷积特征；

采用所述实例归一化层对各所述第一卷积特征分别进行实例归一化处理，以提取各所述人脸图像样本对应的线性自身特征。

4.根据权利要求2或3所述的方法，其中，所述第二网络分支包括至少一个第二卷积层；

所述采用第二网络分支提取各所述人脸图像样本对应的第二卷积特征，包括：

采用所述第二卷积层对各所述人脸图像样本进行卷积操作，以提取各所述人脸图像样本对应的第二卷积特征。

5.根据权利要求2-4任一项所述的方法，其中，所述第三网络分支包括依次串联的第三卷积层及批归一化层；

所述采用第三网络分支提取各所述人脸图像样本对应的线性样本间分布特征，包括：

采用所述第三卷积层对各所述人脸图像样本进行卷积操作，以获得各第三卷积特征；

采用批归一化层对各所述第三卷积特征分别进行批归一化处理，以提取各所述人脸图像样本对应的线性样本间分布特征。

6.根据权利要求2-5任一项所述的方法，其中，所述第一网络分支还包括第一激励层；所述第三网络分支还包括：第二激励层；

所述根据各所述人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重，包括：

将各所述人脸图像样本对应的线性自身特征及所述第二卷积特征输入到第一激励层，通过所述第一激励层和所述第二卷积特征对所述线性自身特征进行非线性映射操作，以获得非线性自身特征；

将各所述人脸图像样本对应的线性样本间分布特征及所述第二卷积特征输入到第二激励层，通过所述第二激励层和所述第二卷积特征对所述线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征；

根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重。

7.根据权利要求6所述的方法，其中，所述第一激励层包括第一激励函数，第二激励层包括第二激励函数；

所述通过所述第一激励层和所述第二卷积特征对所述线性自身特征进行非线性映射操作，以获得非线性自身特征，包括：

将所述线性自身特征输入到第一激励函数中，输出第一激励结果；

将所述第二卷积特征与所述第一激励结果进行乘法运算，以获得非线性自身特征；

所述通过所述第二激励层和所述第二卷积特征对所述线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征，包括：

将所述线性样本间分布特征输入到第二激励函数中，输出第二激励结果；

将所述第二卷积特征与所述第二激励结果进行乘法运算，以获得非线性样本间分布特征。

8.根据权利要求6或7所述的方法，其中，所述根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重，包括：

将各所述非线性自身特征及对应的非线性样本间分布特征进行求和，以获得对应的求和结果；

计算各非线性自身特征与对应的求和结果的比值，以获得对应的融合权重。

9.根据权利要求2-8任一项所述的方法，其中，所述根据各融合权重及对应的所述线性自身特征、所述线性样本间分布特征计算各所述人脸图像样本对应的融合特征，包括：

将各所述融合权重确定为各所述线性自身特征对应的权重，并根据各所述融合权重确定各线性样本间分布特征对应的权重；

根据各所述线性自身特征对应的权重及各所述线性样本间分布特征对应的权重对所述线性自身特征和对应的线性样本间分布特征进行加权求和运算，以获得各所述人脸图像样本对应的融合特征。

10.根据权利要求1-9任一项所述的方法，其中，所述预设的损失函数包括：预设的分布损失函数和预设的分类损失函数。

11.根据权利要求10所述的方法，其中，所述采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练，包括：

将每个人脸人脸图像对应的融合特征输入到预设的分布损失函数和预设的分类损失函数中；

判断所述预设的分布损失函数和预设的分类损失函数的计算结果是否均达到最小；

若确定所述预设的分布损失函数和预设的分类损失函数的计算结果未均达到最小，则调整所述人脸识别模型中的参数，以对所述人脸识别模型进行训练。

12.根据权利要求10所述的方法，其中，所述采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练，包括：

根据所述预设的分布损失函数和预设的分类损失函数确定预设的总损失函数；

将每个人脸人脸图像对应的融合特征输入到预设的总损失函数中；

判断所述预设的总损失函数的计算结果是否均达到最小；

若确定所述预设的总损失函数的计算结果未达到最小，则调整所述人脸识别模型中的参数，以对所述人脸识别模型进行训练。

13.根据权利要求10-12任一项所述的方法，其中，所述采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练之前，还包括：

构建预设的分布损失函数和预设的分类损失函数。

14.根据权利要求13所述的方法，其中，所述构建预设的分布损失函数，包括：

根据每种分布类型的人脸图像样本的融合特征确定每种分布类型对应的分布特征中心数据；

根据每种分布类型的人脸图像样本的融合特征及每种分布类型对应的分布特征中心数据构建预设的分布损失函数。

15.根据权利要求13或14所述的方法，其中，构建预设的分类损失函数，包括：

根据每种分类类别的人脸图像样本的融合特征确定每种分类类别对应的分类特征中心数据；

根据每种分类类别的人脸图像样本的融合特征及每种分类类别对应的分类特征中心数据构建预设的分类损失函数。

16.一种人脸识别方法，包括：

获取目标人脸图像；

采用人脸识别模型对所述目标人脸图像进行人脸识别；所述人脸识别模型是采用如权利要求1-15任一项所述方法对预设的人脸识别模型训练后获得的。

17.根据权利要求16所述的方法，其中，所述采用人脸识别模型对所述目标人脸图像进行人脸识别，包括：

采用人脸识别模型提取所述目标人脸图像的融合特征；

获取已注册人脸图像对应的融合特征；

根据所述目标人脸图像对应的融合特征和所述已注册人脸图像对应的融合特征对所述目标人脸图像进行人脸识别。

18.根据权利要求17所述的方法，所述根据所述目标人脸图像对应的融合特征和所述已注册人脸图像对应的融合特征对所述目标人脸图像进行人脸识别，包括：

将所述目标人脸图像对应的融合特征与所述已注册人脸图像对应的融合特征进行匹配操作；

将最高匹配度对应的已注册人脸图像所属用户确定为目标人脸图像对应的人脸识别结果。

19.一种人脸识别模型训练装置，包括：

获取单元，用于获取多个人脸图像样本；多个人脸图像样本属于不同分布类型；

提取单元，用于采用预设的人脸识别模型提取各所述人脸图像样本对应的融合特征；所述融合特征表示人脸图像样本对应的自身特征与样本间分布特征之间进行融合的特征；

训练单元，用于采用所述融合特征及预设的损失函数对所述人脸识别模型进行训练；

确定单元，用于将满足训练收敛条件的人脸识别模型确定为训练至收敛的人脸识别模型，所述训练至收敛的人脸识别模型用于对目标人脸图像进行人脸识别。

20.根据权利要求19所述的装置，其中，所述预设的人脸识别模型为预设的卷积神经网络模型；所述预设的卷积神经网络模型包括三个网络分支；

所述提取单元，包括：

第一提取模块，用于采用第一网络分支提取各所述人脸图像样本对应的线性自身特征；

第二提取模块，用于采用第二网络分支提取各所述人脸图像样本对应的第二卷积特征；

第三提取模块，用于采用第三网络分支提取各所述人脸图像样本对应的线性样本间分布特征；

第一计算模块，用于根据各所述人脸图像样本对应的线性自身特征、第二卷积特征及线性样本间分布特征计算对应的融合权重；

第二计算模块，用于根据各融合权重及对应的所述线性自身特征、所述线性样本间分布特征计算各所述人脸图像样本对应的融合特征。

21.根据权利要求20所述的装置，其中，所述第一网络分支包括依次串联的第一卷积层及实例归一化层；

所述第一提取模块，包括：

第一卷积操作子模块，用于采用所述第一卷积层对各所述人脸图像样本进行卷积操作，以获得各第一卷积特征；

第一归一化子模块，用于采用所述实例归一化层对各所述第一卷积特征分别进行实例归一化处理，以提取各所述人脸图像样本对应的线性自身特征。

22.根据权利要求20或21所述的装置，其中，所述第二网络分支包括至少一个第二卷积层；

所述第二提取模块，包括：

第二卷积操作子模块，用于采用所述第二卷积层对各所述人脸图像样本进行卷积操作，以提取各所述人脸图像样本对应的第二卷积特征。

23.根据权利要求20-22任一项所述的装置，其中，所述第三网络分支包括依次串联的第三卷积层及批归一化层；

所述第三提取模块，包括：

第三卷积操作子模块，用于采用所述第三卷积层对各所述人脸图像样本进行卷积操作，以获得各第三卷积特征；

第二归一化子模块，用于采用批归一化层对各所述第三卷积特征分别进行批归一化处理，以提取各所述人脸图像样本对应的线性样本间分布特征。

24.根据权利要求20-23任一项所述的装置，其中，所述第一网络分支还包括第一激励层；所述第三网络分支还包括：第二激励层；

所述第一计算模块，包括：

第一非线性操作子模块，用于将各所述人脸图像样本对应的线性自身特征及所述第二卷积特征输入到第一激励层，通过所述第一激励层和所述第二卷积特征对所述线性自身特征进行非线性映射操作，以获得非线性自身特征；

第二非线性操作子模块，用于将各所述人脸图像样本对应的线性样本间分布特征及所述第二卷积特征输入到第二激励层，通过所述第二激励层和所述第二卷积特征对所述线性样本间分布特征进行非线性映射操作，以获得非线性样本间分布特征；

第一计算子模块，用于根据各非线性自身特征及对应的非线性样本间分布特征计算对应的融合权重。

25.根据权利要求24所述的装置，其中，所述第一激励层包括第一激励函数，第二激励层包括第二激励函数；

所述第一非线性操作子模块，具体用于将所述线性自身特征输入到第一激励函数中，输出第一激励结果；将所述第二卷积特征与所述第一激励结果进行乘法运算，以获得非线性自身特征；

所述第二非线性操作子模块，具体用于将所述线性样本间分布特征输入到第二激励函数中，输出第二激励结果；将所述第二卷积特征与所述第二激励结果进行乘法运算，以获得非线性样本间分布特征。

26.根据权利要求24或25所述的装置，其中，所述第一计算子模块，具体用于将各所述非线性自身特征及对应的非线性样本间分布特征进行求和，以获得对应的求和结果；计算各非线性自身特征与对应的求和结果的比值，以获得对应的融合权重。

27.根据权利要求20-26任一项所述的装置，其中，所述第二计算模块，包括：

确定子模块，用于将各所述融合权重确定为各所述线性自身特征对应的权重，并根据各所述融合权重确定各线性样本间分布特征对应的权重；

加权求和子模块，用于根据各所述线性自身特征对应的权重及各所述线性样本间分布特征对应的权重对所述线性自身特征和对应的线性样本间分布特征进行加权求和运算，以获得各所述人脸图像样本对应的融合特征。

28.根据权利要求19-27任一项所述的装置，其中，所述预设的损失函数包括：预设的分布损失函数和预设的分类损失函数。

29.根据权利要求28所述的装置，其中，所述训练单元，包括：

第一输入模块，用于将每个人脸人脸图像对应的融合特征输入到预设的分布损失函数和预设的分类损失函数中；

第一判断模块，用于判断所述预设的分布损失函数和预设的分类损失函数的计算结果是否均达到最小；

第一调整模块，用于若确定所述预设的分布损失函数和预设的分类损失函数的计算结果未均达到最小，则调整所述人脸识别模型中的参数，以对所述人脸识别模型进行训练。

30.根据权利要求28所述的装置，其中，所述训练单元，包括：

第一确定模块，用于根据所述预设的分布损失函数和预设的分类损失函数确定预设的总损失函数；

第二输入模块，用于将每个人脸人脸图像对应的融合特征输入到预设的总损失函数中；

第二判断模块，用于判断所述预设的总损失函数的计算结果是否均达到最小；

第二调整模块，用于若确定所述预设的总损失函数的计算结果未达到最小，则调整所述人脸识别模型中的参数，以对所述人脸识别模型进行训练。

31.根据权利要求28-30任一项所述的装置，其中，还包括：

构建单元，用于构建预设的分布损失函数和预设的分类损失函数。

32.根据权利要求31所述的装置，其中，所述构建单元，包括：

第二确定模块，用于根据每种分布类型的人脸图像样本的融合特征确定每种分布类型对应的分布特征中心数据；

第一构建模块，用于根据每种分布类型的人脸图像样本的融合特征及每种分布类型对应的分布特征中心数据构建预设的分布损失函数。

33.根据权利要求31或32所述的装置，其中，所述构建单元，包括：

第三确定模块，用于根据每种分类类别的人脸图像样本的融合特征确定每种分类类别对应的分类特征中心数据；

第二构建模块，用于根据每种分类类别的人脸图像样本的融合特征及每种分类类别对应的分类特征中心数据构建预设的分类损失函数。

34.一种人脸识别装置，包括：

获取单元，用于获取目标人脸图像；

识别单元，用于采用人脸识别模型对所述目标人脸图像进行人脸识别；所述人脸识别模型是采用如权利要求19-33任一项所述装置对预设的人脸识别模型训练后获得的。

35.根据权利要求34所述的装置，其中，所述识别单元，包括：

提取模块，用于采用人脸识别模型提取所述目标人脸图像的融合特征；

获取模块，用于获取已注册人脸图像对应的融合特征；

识别模块，用于根据所述目标人脸图像对应的融合特征和所述已注册人脸图像对应的融合特征对所述目标人脸图像进行人脸识别。

36.根据权利要求35所述的装置，所述识别模块，包括：

匹配子模块，用于将所述目标人脸图像对应的融合特征与所述已注册人脸图像对应的融合特征进行匹配操作；

确定子模块，用于将最高匹配度对应的已注册人脸图像所属用户确定为目标人脸图像对应的人脸识别结果。

37.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令；

所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-15或16-19中任一项所述的方法。

38.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-15或16-19中任一项所述的方法。

39.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-15或16-19任一项所述的方法。

Images