CN114463794A - 一种人脸识别方法、人脸识别模型训练方法以及相关装置 - Google Patents

Abstract

本申请实施例公开了一种人脸识别方法、人脸识别模型训练方法以及相关装置，用于提升人脸识别的效率。本申请实施例方法包括：根据两张人脸图像获取其对应的特征向量，接着对两个特征向量之间的距离参数进行比对，如果该距离参数大于预设值，则确定这两张人脸图像不存在匹配关系，如果该距离参数小于预设值，则确定这两张人脸图像存在匹配关系。

Description

一种人脸识别方法、人脸识别模型训练方法以及相关装置

技术领域

本申请实施例涉及人脸识别领域，尤其涉及一种人脸识别方法以及相关装置。

背景技术

随着深度学习的发展，越来越多的研究者开始关注异质人脸识别(heterogeneousface recognition，HFR)技术。异质人脸识别是指对不同视觉域的人脸图像进行识别和匹配，例如对一张素描的人脸图像与一张光学的人脸图像进行识别和匹配，判断两张人脸图像是否属于同一个人。异质人脸识别有着重要的实际应用价值，例如，公安部门可以根据目击证人提供的描述画出素描画，然后利用异质人脸识别技术根据素描画寻找出匹配的人脸，进而锁定嫌疑人。

现有的异质人脸识别技术需要先通过生成器将异质的人脸图像转换成同源的人脸图像，例如将可见光的人脸图像通过生成器转换为热成像的人脸图像，再将该热成像的人脸图像与另一张热成像的人脸图像进行识别和匹配。

然而，现有技术利用生成器得到同源图像从而进行对比的方式较为繁琐和耗时，并且比较依赖生成器所生成的图像的效果。

发明内容

本申请实施例提供了一种人脸识别的方法以及相关装置，能够直接对两张待识别的不同视觉域的图片进行识别，不需要对图片进行视觉域的转换处理，提升了识别的效率。

本申请实施例第一方面提供了一种人脸识别模型的训练方法：

对于处于不同视觉域的人脸图片，也称之为异质人脸图片，例如一张光学的人脸图片与一张近红外的人脸图片，即是一对异质人脸图片，可以从样本库中获取异质人脸图像对集合，该异质人脸图像对集合中包括了N对异质人脸图像，并且每对异质人脸图像都对应N个不同人脸中的目标人脸，获取到N对异质人脸图像之后，可以根据该N对异质人脸图像获取N组特征向量，这其中每一组特征向量都包括了两个特征向量，在获取到N组特征向量之后，可以通过组合的方式根据N组特征向量获得一个相似性矩阵，该相似性矩阵对角线上的元素表示的是对应同一个目标人脸的两个特征向量之间的距离参数，该相似性矩阵非对角线上的元素表示的是对应不同目标人脸且对应不同视觉域的两个特征向量之间的距离参数，这之后可以获取相似性矩阵的损失参数，该损失参数包括对称损失参数，对称损失参数即为相似性矩阵中关于对角线对称的，即D_ij的元素与D_ji的元素的差值的平方的求和值，这其中，i不等于j，在获取到损失参数之后，可以根据该损失参数对人脸识别模型进行训练。

结合第一方面，本申请实施例第一方面的第一种实现方式中，损失参数还可以包括第一判别损失参数以及第二判别损失参数，这其中，第一判别损失参数为该相似性矩阵中D_mn元素的求和值，这其中，m等于n，第二判别损失参数为该相似性矩阵中D_jk元素的求和值，这其中，j大于k。

结合第一方面，本申请实施例第一方面的第二种实现方式中，第二判别损失可以为该相似性矩阵中D_ab的元素中按数值由大到小排序的前N个元素的求和值，这其中，a大于b。

结合第一方面、第一方面的第一种实现方式至第一方面的第二种实现方式中的任一种，本申请实施例第一方面的第三种实现方式中，当对称损失参数收敛至第一预设值，第一判别损失参数收敛至第二预设值，第二判别损失参数收敛至第三预设值时，获取人脸识别模型对应的参数。

本申请实施例第二方面提供了一种人脸识别方法：

获取待识别的第一人脸图像以及第二人脸图像，该第一人脸图像与第二人脸图像为不同的图像属性，该图像属性可以是视觉域、光照条件以及拍摄角度中的任一种，在获取到第一人脸图像以及第二人脸图像之后，可以根据第一人脸图像获取第一特征向量，根据第二人脸图像获取第二特征向量，接着可以通过计算的方式获取到第一特征向量与第二特征向量之间的距离参数，该距离参数可以是欧式距离，或者也可以是余弦距离，如果该距离参数低于一个预设的值，则可以确定第一人脸图像和第二人脸图像存在匹配关系，如果该距离参数大于上述预设的值，则可以确定第一人脸图像和第二人脸图像不存在匹配关系。

本申请实施例第三方面提供了一种人脸识别模型训练方法：

获取N对人脸图像对，N为大于或等于2的整数，这N对人脸图像对中包含了第一人脸图像对以及第二人脸图像对，这其中，第一人脸图像对包括第一目标人脸在第一图像属性的人脸图像以及第二目标人脸在第二图像属性的人脸图像，第二人脸图像对包括第二目标人脸在第三图像属性的人脸图像以及第一目标人脸在第四图像属性的人脸图像，该图像属性可以包括视觉域、光照条件以及拍摄角度中的任一种，这之后可以根据第一人脸图像对和第二人脸图像对获取对称损失参数，该对称损失参数为第一人脸图像对的距离参数与第二人脸图像对的距离参数的差值的平方值与1/[N(N-1)]的乘积，得到对称损失参数后，即可根据对称损失参数对人脸识别模型进行训练。

结合第三方面，本申请实施例第三方面的第一种实现方式中，第一图像属性、第二图像属性、第三图像属性以及第四图像属性对应四种不同的图像属性；

或者，第一图像属性与第四图像属性对应不同的图像属性，第二图像属性与第三图像属性对应不同的图像属性，第一图像属性与第三图像属性对应相同的图像属性，第四图像属性与第二图像属性对应相同的图像属性。

结合第三方面的第一种实现方式，本申请实施例第三方面的第二种实现方式中，在获取N对人脸图像对之后，根据对称损失参数对人脸识别模型进行训练之前，还可以根据N对人脸图像对获取其对应的N个距离参数，该距离参数即为N对人脸图像对中的每对人脸图像对的两张人脸图像之间的距离参数，可以是欧式距离，或者也可以是余弦距离，在获取到N个距离参数之后，可以根据N个距离参数获取对比损失参数，这之后可以结合对称损失参数以及对比损失参数对人脸识别模型进行训练。

结合第三方面的第二种实现方式，本申请实施例第三方面的第三种实现方式中，根据对称损失参数以及对比损失参数对人脸识别模型进行训练即为，当对称损失参数收敛至第一预设值，对比损失参数收敛至第二预设值时，获取人脸识别模型相应的参数。

本申请实施例第四方面提供了一种人脸识别模型的训练方法：

获取N组人脸图像，N为大于0的整数，该N组人脸图像中的每组人脸图像包括第一人脸图像、第二人脸图像以及第三人脸图像，这其中，第一人脸图像包括第一目标人脸在第一图像属性的人脸图像，第二人脸图像包括第一目标人脸在第二图像属性的人脸图像，第三人脸图像包括第二目标人脸在第三图像属性的人脸图像，其中，第三图像属性、第一图像属性以及第二图像属性为不同的三种图像属性，该图像属性包括视觉域、光照条件以及拍摄角度中的任一种，或者，第三图像属性与第一图像属性为相同的图像属性，第一图像属性与第二图像属性为不同的图像属性，这之后可以根据第一人脸图像、第二人脸图像以及第三人脸图像获取对称损失参数，对称损失参数为第一距离参数与第二距离参数的差值的求和值，第一距离参数为所述第一人脸图像和第三人脸图像的距离参数，第二距离参数为第二人脸图像和第三人脸图像的距离参数，其中距离参数可以为欧式距离，或者也可以是余弦距离，在获取到对称损失参数之后，可以根据对称损失参数对人脸识别模型进行训练。

结合第四方面，本申请实施例第四方面的第一种实现方式中，根据对称损失参数对人脸识别模型进行训练即为，当对称损失参数收敛至预设值时，获取人脸识别模型对应的参数。

本申请实施例第五方面提供了一种人脸识别模型训练装置，该人脸识别模型训练装置具有实现上述第一方面中人脸识别模型训练方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件包括一个或多个与上述功能相对应的模块。

本申请实施例第六方面提供了一种人脸识别装置，该人脸识别装置具有实现上述第二方面中人脸识别方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件包括一个或多个与上述功能相对应的模块。

本申请实施例第七方面提供了一种人脸识别模型训练装置，该人脸识别模型训练装置具有实现上述第三方面中人脸识别模型训练方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件包括一个或多个与上述功能相对应的模块。

本申请实施例第八方面提供了一种人脸识别模型训练装置，该人脸识别模型训练装置具有实现上述第四方面中人脸识别模型训练方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件包括一个或多个与上述功能相对应的模块。

本申请实施例第九方面提供了一种计算机设备，包括：

处理器、存储器、输入输出设备以及总线；

处理器、存储器、输入输出设备与总线相连；

处理器用于执行前述第一方面、第一方面的第一种实现方式至第一方面的第三种实现方式中任一种的方法。

本申请实施例第十方面提供了一种计算机设备，包括：

处理器、存储器、输入输出设备以及总线；

处理器、存储器、输入输出设备与总线相连；

处理器用于执行前述第一方面、第一方面的第一种实现方式至第一方面的第二种实现方式中任一种的方法。

本申请实施例第十一方面提供了一种计算机设备，包括：

处理器、存储器、输入输出设备以及总线；

处理器、存储器、输入输出设备与总线相连；

处理器用于执行前述第三方面、第一方面的第一种实现方式至第一方面的第二种实现方式中任一种的方法。

本申请实施例第十二方面提供了一种计算机设备，包括：

处理器、存储器、输入输出设备以及总线；

处理器、存储器、输入输出设备与总线相连；

处理器用于执行前述第四方面、第四方面的第一种实现方式中任一种的方法。

本申请实施例第十三方面提供了一种计算机存储介质，该计算机存储介质用于储存上述为计算机设备或计算机设备所用的计算机软件指令，其包括用于执行为计算机设备或计算机设备所设计的程序。

本申请实施例第十四方面提供了一种计算机程序产品，当计算机程序产品在计算机上执行时，计算机执行前述第一方面至第四方面中任一种的方法。

附图说明

图1为本申请实施例人脸识别模型训练方法的一个流程示意图；

图2为本申请实施例获取训练样本的一个示意图；

图3为本申请实施例中根据训练样本获取特征向量的一个示意图；

图4为本申请实施例中根据特征向量获取相似性矩阵的一个示意图；

图5为本申请实施例中人脸识别方法的一个流程示意图；

图6为本申请实施例中对人脸识别模型进行再次训练的一个流程示意图；

图7为本申请实施例中人脸识别模型训练方法的另一个流程示意图；

图8为本申请实施例中人脸识别模型训练方法的另一个流程示意图；

图9为本申请实施例中人脸识别模型训练装置的一个结构示意图；

图10为本申请实施例中人脸识别装置的一个结构示意图；

图11为本申请实施例中人脸识别模型训练装置的另一个结构示意图；

图12为本申请实施例中人脸识别模型训练装置的另一个结构示意图；

图13为本申请实施例中计算机设备的一个结构示意图。

具体实施方式

本申请实施例提供了一种人脸识别模型训练方法，用于对人脸识别模型进行训练，从而使得训练完成的人脸识别模型能够直接根据两张异质的人脸图像获取相应的特征向量，进而根据特征向量的距离参数进行识别。

随着深度学习技术的快速发展，同源人脸识别技术已经得到了快速的发展，越来越多的研究者开始关注异质人脸识别技术，异质人脸识别技术是指跨视觉域进行人脸识别，有着重要的应用价值，例如，公安机关可以根据获取到的嫌疑人的素描人脸图像，或者是近红外的人脸图像，与资料库中的光学人脸图像进行对比，进而识别出与嫌疑人的人脸图像相匹配的光学人脸图像，在现有技术的方案中，进行异质人脸识别之前需要先将两张人脸图像统一成相同视觉域的人脸图像，而在本申请实施例中，可以直接将两张异质的人脸图像进行对比，不需要对人脸图像再进行处理。

请参阅图1，本申请实施例中人脸识别模型训练方法的一个流程包括：

101、获取异质人脸图像对；

请参阅图2，在训练的最开始，需要从训练集中选出N对异质的人脸图像，也即选出2N张人脸图像，或者，也可以选出N对人脸图像，这N对人脸图像中可以包含异质的人脸图像对，也可以包含两张人脸图像的图像属性不一样的人脸图像对，具体的，图像属性可以包括光照条件，或者包括拍摄角度，具体此处不做限定，本实施例以选出N对异质的人脸图像进行说明，该N对异质人脸图像中的每对异质人脸对应N个不同人脸中的目标人脸，也即序号为S的人脸图像与序号为N+S的人脸图像对应同一个目标人脸，S为1至N中任一个整数，需要说明的是，该N对异质人脸图像可以包括多种视觉域，例如，在一对异质人脸图像中包括了用户A的光学人脸图像和用户A的素描人脸图像，在另一对异质人脸图像中包括了用户B的光学人脸图像和用户B的近红外人脸图像。请再次参阅图2，本实施例为了描述的简洁，仅以存在光学以及素描这两种视觉域的异质人脸图像，并且N等于4为例进行说明，图2中“X”表示人脸图像的标识，“X”的上标表示视觉域的类别，其中“1”表示光学的人脸图像，“2”表示素描的人脸图像，“X”的下标表示人脸图像的序号。

102、根据异质人脸图像对获取特征向量；

在获取到N对异质人脸图像对之后，请参阅图3，可以将每一对的异质人脸图像中的两张人脸图像分别输入到共享参数的孪生网络中，该孪生网络可以由VGG16组成，或者也可以由ResNet50组成，具体此处不做限定，例如，将视觉域为光学的人脸图像输入孪生网络的一个分支，将视觉域为素描的人脸图像输入孪生网络的另一个分支，进而获取到相应的特征向量，图3中“P”表示特征向量的标识，“P”的下标表示该特征向量对应的目标人脸的标识，“P”的上标表示该特征向量对应的视觉域的标识，其中“1”表示光学的人脸图像，“2”表示素描的人脸图像。

103、根据特征向量获取相似性矩阵；

在获取到N对异质人脸图像对应的特征向量之后，请参阅图4，将获取到的特征向量进行两两组合，得到N的平方种特征向量组合方式，也即16种特征向量的组合方式，进而得到一个相似性矩阵，该相似性矩阵中的元素表示的是两个组合在一起的特征向量之间的距离参数，该距离参数可以是欧式距离参数也可以是余弦距离参数，具体此处不做限定，进一步地，该相似性矩阵中对角线上的元素表示的是对应同一个目标人脸但是对应不同视觉域的两个特征向量之间的距离参数，非对角线上的元素表示的是对应不同的目标人脸且对应不同视觉域的两个特征向量之间的距离参数。

104、根据相似性矩阵获取损失参数；

在获得相似性矩阵之后，可以根据相似性矩阵获取损失参数，具体的，损失参数可以包括对称损失参数、第一判别损失参数以及第二判别损失参数，下面分别进行描述：

1)对称损失参数

对于关于相似性矩阵的对角线对称的，即对应同一对目标人脸，但是视觉域的组合方式不同的两对异质人脸图像，例如其中的一对异质人脸图像为用户A的光学人脸图像与用户B的素描人脸图像，另一对异质人脸图像为用户A的素描人脸图像与用户B的光学人脸图像，当人脸识别模型达到理想状态时，这两对异质人脸图像所对应的特征向量的距离的差距应该尽可能小，因此需要通过对称损失参数对人脸识别模型进行训练，对称损失参数即为该相似性矩阵中D_ij的元素与D_ji的元素的差值的平方的求和值，其中，i不等于j。

2)第一判别损失参数

对于在相似性矩阵对角线上的元素，即对应同一个目标人脸但是视觉域不同的两张人脸图像所对应的特征向量的距离参数，当人脸识别模型达到理想状态时，这两张人脸图像对应的特征向量之间的距离参数应该尽可能小，因此需要通过第一判别损失参数对人脸识别模型进行训练，第一判别损失参数即为该相似性矩阵中D_mn的元素的求和值，其中，m等于n。

3)第二判别损失参数

对于在相似性矩阵非对角线上的元素，即对应不同的目标人脸且视觉域不同的两张人脸图像所对应的特征向量的距离参数，当人脸识别模型达到理想状态时，这两张人脸图像对应的特征向量之间的距离参数应该尽可能大，因此需要通过第二判别损失参数对人脸识别模型进行训练，第二判别损失参数即为该相似性矩阵D_ab的元素中按数值由大到小排序的前N个元素的求和值，其中，a大于b。

105、根据损失参数进行训练。

在获取到损失参数之后，可以根据损失参数对人脸识别模型进行训练，具体的，当对称损失参数收敛至第一预设值，第一判别损失参数收敛至第二预设值，第二判别损失参数收敛至第三预设值时，获取人脸识别模型对应的参数。

请参阅图5，下面对本申请实施例中人脸识别方法进行描述，本申请实施例中人脸识别方法的一个流程包括：

501、获取第一人脸图像以及第二人脸图像；

对人脸进行识别需要先获取两张待识别的人脸图像，即第一人脸图像以及第二人脸图像，需要说明的是，第一人脸图像和第二人脸图像为不同图像属性的图像，具体的，图像属性可以包括视觉域、光照条件以及拍摄角度中的任一种，例如第一人脸图像可以为光学人脸图像，第二人脸图像可以为近红外人脸图像，或者，第一人脸图像为第一拍摄角度下的人脸图像，第二人脸图像为另一拍摄角度下的人脸图像，具体此处不做限定。

502、获取第一特征向量以及第二特征向量；

在获取到第一人脸图像以及第二人脸图像之后，可以通过孪生网络获取第一人脸图像对应的第一特征向量以及第二人脸图像对应的第二特征向量。

503、根据第一特征向量以及第二特征向量获取距离参数；

在获取到第一特征向量以及第二特征向量之后，可以通过计算的方式获取第一特征向量与第二特征向量之间的距离参数，具体的，该距离参数可以是欧式距离，或者也可以是余弦距离，具体此处不做限定。

504、当距离参数小于或等于预设值时，确定存在匹配关系，当距离参数大于预设值时，确定不存在匹配关系。

在获取到距离参数之后，如果该距离参数的数值小于或等于预设值，则确定第一人脸图像与第二人脸图像存在匹配关系，也即对应同一目标人脸，如果该距离参数的数值大于预设值，则确定第一人脸图像与第二人脸图像不存在匹配关系。

本申请实施例中，可以直接根据待匹配的人脸图像获取相应的特征向量，进而进行比对从而确定待匹配的人脸图像之间是否存在匹配关系，不需要通过生成器对人脸图像经过处理，从而提高了人脸识别的效率。

需要说明的是，当对人脸识别模型的训练完成，并将人脸识别模型投入使用之后，后台的管理人员可以获取统计过后的目标人脸的识别率，当该目标人脸的识别率低于预设值时，可以向训练集中补充该目标人脸的异质人脸图像对或者不同图像属性的人脸图像对，再次进行对人脸识别模型训练，具体的，请参见图6，本申请实施例对人脸识别模型进行再次训练的一个流程包括：

601、获取训练好的人脸识别模型；

通过上述图1对应的人脸识别模型的训练方法得到训练好的人脸识别模型。

602、获取用户传入的待识别的人脸图像；

获取用户传入的识别的两张待识别的人脸图像，以便后续进行识别。

603、输出识别结果；

通过上述图5对应的人脸识别方法对待识别的人脸图像进行识别，在得出识别结果后输出识别结果。

604、统计目标人脸的识别率；

可以根据多次的识别次数统计对目标人脸的识别率进行统计，并进行展示，以方便后台管理人员查看。

605、判断目标人脸的识别率是否低于预设值；

对目标人脸的识别率进行统计之后，可以判断目标人脸的识别率是否低于了预设值，若否，则返回步骤602，继续对其他用户输入的人脸图像进行识别，若是，则执行步骤606。

606、后台管理人员向训练集补充该目标人脸对应的人脸图像。

当某一目标人脸的识别率低于预设值，则需要针对该目标人脸对模型进行训练，具体的，可以由后台管理人员向训练集加入少量的该目标人脸对应的人脸图像，接着采用上述图1中的人脸识别模型训练方法对人脸识别模型进行训练，具体此处不再赘述。

本申请实施例中，可以针对目标人脸的识别率对人脸识别模型进行训练，提高了人脸识别的准确性。

下面对本申请实施例中的另一种人脸识别模型训练方法进行描述，请参阅图7，本申请实施例中人脸识别模型训练方法的一个流程包括：

701、获取N对人脸图像对；

在训练的最开始，需要先获取N对人脸图像对，这N对人脸图像对中包含了对应同一个目标人脸的人脸图像对，也包含了对应不同目标人脸的人脸图像对，N对人脸图像对中还包含了第一人脸图像对以及第二人脸图像对，第一人脸图像对包括第一目标人脸在第一图像属性的人脸图像以及第二目标人脸在第二图像属性的人脸图像，第二人脸图像对包括第二目标人脸在第三图像属性的人脸图像以及第一目标人脸在第四图像属性的人脸图像，需要说明的是，图像属性可以为视觉域、光照条件以及拍摄角度中的任一种，这其中，第一图像属性、第二图像属性、第三图像属性以及第四图像属性对应四种不同的图像属性，例如，第一人脸图像对包括用户A的光学人脸图像以及用户B的素描人脸图像，第二人脸图像对包括用户A的近红外人脸图像以及用户B的热红外人脸图像，或者，第一图像属性与第四图像属性对应不同的图像属性，第二图像属性与第三图像属性对应不同的图像属性，第一图像属性与第三图像属性对应相同的图像属性，第四图像属性与第二图像属性对应相同的图像属性，例如，第一人脸图像对包括用户A的光学人脸图像以及用户B的素描人脸图像，第二人脸图像对包括用户A的素描人脸图像以及用户B的光学人脸图像。

需要说明的是，上述第一人脸图像对以及第二人脸图像对不特指某两对人脸图像，只要符合上述关系的两对人脸图像都为第一人脸图像对以及第二人脸图像对。

702、根据第一人脸图像对以及第二人脸图像对获取对称损失参数；

在获取到N对人脸图像对之后，可以根据N对人脸图像对中的第一人脸图像对以及第二人脸图像对获取对称损失参数，该对称损失参数为第一人脸图像对的距离参数与第二人脸图像对的距离参数的差值的平方值与1/[N(N-1)]的乘积，具体的，第一人脸图像对的距离参数为其对应的两张人脸图像的特征向量之间的距离参数，第二人脸图像对的距离参数为其对应的两张人脸图像的特征向量之间的距离参数，该距离参数可以是欧式距离参数，也可以是余弦距离参数。

703、根据N对人脸图像对获取对比损失参数；

在获取到N对人脸图像对之后，可以根据N对人脸图像对获取对比损失参数，具体的获取方式在此不做赘述。

需要说明的是，本申请实施例不限制步骤702与步骤703之间的先后关系，可以先执行步骤702再执行步骤703，也可以先执行步骤703再执行步骤702。

704、根据对称损失参数以及对比损失参数对人脸识别模型进行训练。

在获取到对称损失参数以及对比损失参数之后，可以根据对称损失参数以及对比损失参数对人脸识别模型进行训练，具体的，第一人脸图像对以及第二人脸图像对都由第一目标人脸以及第二目标人脸组成，区别只在于第一目标人脸以及第二目标人脸所对应的视觉域不同，因此第一人脸图像对的两张人脸图像之间的距离参数和第二人脸图像对的两张人脸图像之间的距离参数的差距应该尽可能小，具体的，该距离参数可以为欧式距离也可以为余弦距离，因此当对称损失参数收敛至足够小的第一预设值时，当对比损失参数也收敛至第二预设值时，可以认为人脸识别模型已经达到了预期的效果，可以获取人脸识别模型对应的参数。

下面对本申请实施例的又一种人脸识别模型训练方法进行描述，请参阅图8，本申请实施例中人脸识别模型训练方法的一个流程包括：

801、获取N组人脸图像；

在训练的最开始，需要先获取N组人脸图像，这其中N为大于0的整数，N组人脸图像中的每组人脸图像包括第一人脸图像、第二人脸图像以及第三人脸图像，第一人脸图像包括第一目标人脸在第一图像属性的人脸图像，第二人脸图像包括第一目标人脸在第二图像属性的人脸图像，第三人脸图像包括第二目标人脸在第三图像属性的人脸图像，需要说明的是，图像属性可以包括视觉域、光照条件以及拍摄角度中的任一种，其中，第三图像属性、第一图像属性以及第二图像属性为不同的三个图像属性，例如，第一人脸图像可以为用户A的光学人脸图像，第二人脸图像可以为用户A的素描人脸图像，第三人脸图像可以为用户B的近红外人脸图像，或者，第三图像属性与第一视觉域为相同的图像属性，第一图像属性与第二图像属性为不同的图像属性，例如第一人脸图像可以为用户A的光学人脸图像，第二人脸图像为用户A的素描人脸图像，第三人脸图像为用户B的光学人脸图像。

802、根据第一人脸图像、第二人脸图像以及第三人脸图像获取对称损失参数；

在获取到N组人脸图像之后，可以根据N组图像中的第一人脸图像、第二人脸图像以及第三人脸图像获取对称损失参数，具体的，对称损失参数为第一距离参数与第二距离参数的差值的求和值，其中，第一距离参数为第一人脸图像的特征向量和第三人脸图像的特征向量的距离参数，第二距离参数为第二人脸图像的特征向量和第三人脸图像的特征向量的距离参数，其中该距离参数可以为欧式距离参数，或者也可以为余弦距离参数，具体此处不做限定。

803、根据对称损失参数对人脸识别模型进行训练；

在获取到对称损失参数之后，可以根据对称损失参数对人脸识别模型进行训练，具体的，例如，第一距离参数为用户A的光学人脸图像与用户B的光学人脸图像之间的距离参数，第二距离参数为用户A的素描人脸图像与用户B的光学人脸图像之间的距离参数，这其中，第一距离参数与第二距离参数都表示了用户A的人脸图像与用户B的人脸图像的差异，区别在于人脸图像对应的视觉域不同，因此当第一距离参数与第二距离参数之间的差距足够小时，可以认为人脸识别模型已经训练到了预期的效果，因此当对称损失参数趋向于足够小的预设值时，可以获取人脸识别模型对应的参数。

下面对本申请实施例中的人脸识别模型训练装置进行描述，请参阅图9，本申请实施例中的人脸识别模型训练装置包括获取模块901以及训练模块902。

获取模块901，用于获取N对异质人脸图像，N对异质人脸图像中的每对异质人脸图像对应N个不同人脸中的目标人脸；

获取模块901，还用于根据N对异质人脸图像获取N组特征向量，N组特征向量中的每组特征向量包括两个特征向量；

获取模块901，还用于根据N组特征向量获取相似性矩阵，相似性矩阵对角线上的元素为对应同一目标人脸且对应不同视觉域的两个特征向量之间的距离参数，相似性矩阵非对角线上的元素为对应不同目标人脸的两个特征向量之间的距离参数；

获取模块901，还用于获取相似性矩阵的损失参数，损失参数包括对称损失参数，对称损失参数为相似性矩阵中D_ij的元素与D_ji的元素的差值的平方的求和值，其中，i不等于j；

训练模块902，用于根据损失参数进行训练。

在基于上述图9的人脸识别模型训练装置900的基础上，损失参数还包括第一判别损失参数以及第二判别损失参数，第一判别损失参数为相似性矩阵中D_mn的元素的求和值，其中，m等于所述n，第二判别损失参数为相似性矩阵中D_jk的元素的求和值，其中，j大于所述k。

进一步的，第二判别损失参数为相似性矩阵中D_ab的元素中按数值由大到小排序的前N个元素的求和值，其中，a大于b。

训练模块902，具体用于当对称损失参数收敛至第一预设值，第一判别损失参数收敛至第二预设值，第二判别损失参数收敛至第三预设值时，获取人脸识别模型对应的参数。

下面对本申请实施例中的人脸识别装置进行描述，请参阅图10，本申请实施例中的人脸识别装置包括获取模块1001以及确定模块1002。

获取模块1001，用于获取第一人脸图像以及第二人脸图像，第一人脸图像与第二人脸图像对应不同的视觉域，或者第一人脸图像与所述第二人脸图像对应相同的视觉域，该计算机设备可以基于通过上述计算机设备训练所获得的人脸识别模型；

获取模块1001，还用于根据第一人脸图像获取第一特征向量，根据第二人脸图像获取第二特征向量；

获取模块1001，还用于获取第一特征向量与所述第二特征向量的距离参数，距离参数包括欧式距离参数或者余弦距离参数；

确定模块1002，用于当距离参数低于预设值时，确定第一人脸图像与第二人脸图像存在匹配关系。

下面对本申请实施例中的另一种人脸识别模型训练装置进行描述，请参阅图11，本申请实施例中另一种人脸识别模型训练装置包括获取模块1101以及训练模块1102：

获取模块1101，用于获取N对人脸图像对，N为大于或等于2的整数，N对人脸图像对包括第一人脸图像对以及第二人脸图像对，第一人脸图像对包括第一目标人脸在第一图像属性的人脸图像以及第二目标人脸在第二图像属性的人脸图像，第二人脸图像对包括第二目标人脸在第三图像属性的人脸图像以及第一目标人脸在第四图像属性的人脸图像，具体情况如图7对应的实施例的类似，此处不再赘述；

获取模块1101，还用于根据第一人脸图像对以及第二人脸图像对获取对称损失参数，对称损失参数为第一人脸图像对的距离参数与第二人脸图像对的距离参数的差值的平方值与1/N(N-1)的乘积；

训练模块1102，用于根据所述对称损失参数对人脸识别模型进行训练。

在上述图11对应的另一种人脸识别模型训练装置1100的基础上，获取模块1101，还用于根据N对人脸图像对获取对比损失参数；

训练模块1102，还用于根据所述对称损失参数以及所述对比损失参数对人脸识别模型进行训练。

训练模块1102，具体用于当对称损失参数收敛至第一预设值，对比损失参数收敛至第二预设值时，获取人脸识别模型对应的参数。

下面对本申请实施例中的另一种人脸识别模型训练装置进行描述，请参阅图12，本申请实施例中另一种人脸识别模型训练装置包括获取模块1201以及训练模块1202：

获取模块1201，用于获取N组人脸图像，N为大于0的整数，N组人脸图像中的每组人脸图像包括第一人脸图像、第二人脸图像以及第三人脸图像，第一人脸图像包括第一目标人脸在第一图像属性的人脸图像，第二人脸图像包括第一目标人脸在第二图像属性的人脸图像，第三人脸图像包括第二目标人脸在第三图像属性的人脸图像，其中，第三图像属性、第一图像属性以及第二图像属性为不同的三个图像属性，或者，第三图像属性与第一图像属性为相同的图像属性，第一图像属性与第二图像属性为不同的图像属性；

获取模块1201，还用于根据第一人脸图像、第二人脸图像以及第三人脸图像获取对称损失参数，对称损失参数为第一距离参数与第二距离参数的差值的求和值，第一距离参数为第一人脸图像和第三人脸图像的距离参数，第二距离参数为第二人脸图像和第三人脸图像的距离参数；

训练模块1202，用于根据对称损失参数对人脸识别模型进行训练。

在上述图12对应的又一种人脸识别模型训练装置的基础上，训练模块1202，具体用于当所对称损失参数收敛至预设值时，获取人脸识别模型的相关参数。

图13是本申请实施例提供的一种计算机设备的结构示意图，该计算机设备1300可以包括一个或一个以上中央处理器(central processing units，CPU)1301和存储器1305，该存储器1305中存储有一个或一个以上的应用程序或数据。

其中，存储器1305可以是易失性存储或持久存储。存储在存储器1305的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1301可以设置为与存储器1305通信，在服务器1300上执行存储器1305中的一系列指令操作。

服务器1300还可以包括一个或一个以上电源1302，一个或一个以上有线或无线网络接口1303，一个或一个以上输入输出接口1304，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。

该中央处理器1301可以执行前述图1、图5、图6、图7以及图8所示实施例中的操作，具体此处不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read-onlymemory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (18)

1.一种人脸识别模型训练方法，其特征在于，包括：

获取异质人脸图像对集合，所述异质人脸图像对集合包括N对异质人脸图像，所述N对异质人脸图像中的每对异质人脸图像对应N个不同人脸中的目标人脸；

根据所述N对异质人脸图像获取N组特征向量，所述N组特征向量中的每组特征向量包括两个特征向量；

根据所述N组特征向量获取相似性矩阵，所述相似性矩阵对角线上的元素为对应同一目标人脸且对应不同视觉域的两个特征向量之间的距离参数，所述相似性矩阵非对角线上的元素为对应不同目标人脸且对应不同视觉域的两个特征向量之间的距离参数；

获取所述相似性矩阵的损失参数，所述损失参数包括对称损失参数，所述对称损失参数为所述相似性矩阵中D_ij的元素与D_ji的元素的差值的平方的求和值，其中，所述i不等于所述j；

根据所述损失参数对人脸识别模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述损失参数还包括第一判别损失参数以及第二判别损失参数，所述第一判别损失参数为所述相似性矩阵中D_mn的元素的求和值，其中，所述m等于所述n，所述第二判别损失参数为所述相似性矩阵中D_jk的元素的求和值，其中，所述j大于所述k。

3.根据权利要求2所述的方法，其特征在于，所述第二判别损失参数为所述相似性矩阵中D_ab的元素中按数值由大到小排序的前N个元素的求和值，其中，所述a大于所述b。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述损失参数进行训练包括：

当所述对称损失参数收敛至第一预设值，所述第一判别损失参数收敛至第二预设值，所述第二判别损失参数收敛至第三预设值时，获取人脸识别模型对应的参数。

5.一种人脸识别方法，其特征在于，包括：

获取第一人脸图像以及第二人脸图像，所述第一人脸图像与所述第二人脸图像对应不同的图像属性，所述图像属性包括视觉域、光照条件以及拍摄角度中的任一种；

根据所述第一人脸图像获取第一特征向量，根据所述第二人脸图像获取所述第二特征向量；

获取所述第一特征向量与所述第二特征向量的距离参数，所述距离参数包括欧式距离参数或者余弦距离参数；

当所述距离参数小于或等于预设值时，确定所述第一人脸图像与所述第二人脸图像存在匹配关系；

当所述距离参数大于所述预设值时，确定所述第一人脸图像与所述第二人脸图像不存在匹配关系。

6.一种人脸识别模型训练方法，其特征在于，包括：

获取N对人脸图像对，所述N为大于或等于2的整数，所述N对人脸图像对中包括第一人脸图像对以及第二人脸图像对，所述第一人脸图像对包括第一目标人脸在第一图像属性的人脸图像以及第二目标人脸在第二图像属性的人脸图像，所述第二人脸图像对包括第二目标人脸在第三图像属性的人脸图像以及第一目标人脸在第四图像属性的人脸图像，所述图像属性包括视觉域、光照条件以及拍摄角度中的任一种；

根据第一人脸图像对以及第二人脸图像对获取对称损失参数，所述对称损失参数为所述第一人脸图像对的距离参数与所述第二人脸图像对的距离参数的差值的平方值与1/[N(N-1)]的乘积；

根据所述对称损失参数对人脸识别模型进行训练。

7.根据权利要求6所述的人脸识别模型训练方法，其特征在于，所述第一图像属性、所述第二图像属性、所述第三图像属性以及所述第四图像属性对应四种不同的图像属性；

或者，所述第一图像属性与所述第四图像属性对应不同的图像属性，所述第二图像属性与所述第三图像属性对应不同的图像属性，所述第一图像属性与所述第三图像属性对应相同的图像属性，所述第四图像属性与所述第二图像属性对应相同的图像属性。

8.根据权利要求7所述的人脸识别模型训练方法，其特征在于，所述获取N对人脸图像对之后，所述根据所述对称损失参数对人脸识别模型进行训练之前，所述方法还包括：

根据所述N对人脸图像对获取对比损失参数；

所述根据所述对称损失参数对人脸识别模型进行训练包括：

根据所述对称损失参数以及所述对比损失参数对人脸识别模型进行训练。

9.根据权利要求8所述的人脸识别模型训练方法，其特征在于，所述根据所述对称损失参数以及所述对比损失参数对人脸识别模型进行训练包括：

当所述对称损失参数收敛至第一预设值，所述对比损失参数收敛至第二预设值时，获取人脸识别模型对应的参数。

10.一种人脸识别模型训练方法，其特征在于，包括：

获取N组人脸图像，所述N为大于0的整数，所述N组人脸图像中的每组人脸图像包括第一人脸图像、第二人脸图像以及第三人脸图像，所述第一人脸图像包括第一目标人脸在第一图像属性的人脸图像，所述第二人脸图像包括第一目标人脸在第二图像属性的人脸图像，所述第三人脸图像包括第二目标人脸在第三图像属性的人脸图像，其中，所述第三图像属性、所述第一图像属性以及所述第二图像属性为不同的三种图像属性，所述图像属性包括视觉域、光照条件以及拍摄角度中的任一种；

或者，所述第三图像属性与所述第一图像属性为相同的图像属性，第一图像属性与第二图像属性为不同的图像属性；

根据所述第一人脸图像、所述第二人脸图像以及所述第三人脸图像获取对称损失参数，所述对称损失参数为第一距离参数与第二距离参数的差值的求和值，所述第一距离参数为所述第一人脸图像和所述第三人脸图像的距离参数，所述第二距离参数为所述第二人脸图像和所述第三人脸图像的距离参数；

根据所述对称损失参数对人脸识别模型进行训练。

11.根据权利要求10所述的人脸识别模型训练方法，其特征在于，所述根据所述对称损失参数对人脸识别模型进行训练包括：

当所述对称损失参数收敛至预设值时，获取人脸识别模型的相关参数。

12.一种人脸识别模型训练装置，其特征在于，包括：

获取模块，用于获取异质人脸图像对集合，所述异质人脸图像对集合包括N对异质人脸图像，所述N对异质人脸图像中的每对异质人脸图像对应N个不同人脸中的目标人脸；

所述获取模块，还用于根据所述N对异质人脸图像获取N组特征向量，所述N组特征向量中的每组特征向量包括两个特征向量；

所述获取模块，还用于根据所述N组特征向量获取相似性矩阵，所述相似性矩阵对角线上的元素为对应同一目标人脸且对应不同视觉域的两个特征向量之间的距离参数，所述相似性矩阵非对角线上的元素为对应不同目标人脸的两个特征向量之间的距离参数；

所述获取模块，还用于获取所述相似性矩阵的损失参数，所述损失参数包括对称损失参数，所述对称损失参数为所述相似性矩阵中D_ij的元素与D_ji的元素的差值的平方的求和值，其中，所述i不等于所述j；

训练模块，用于根据所述损失参数进行训练。

13.一种人脸识别装置，其特征在于，包括：

获取模块，用于获取第一人脸图像以及第二人脸图像，所述第一人脸图像与所述第二人脸图像对应不同的图像属性，所述图像属性包括视觉域、光照条件以及拍摄角度中的任一种；

所述获取模块，还用于根据所述第一人脸图像获取第一特征向量，根据所述第二人脸图像获取所述第二特征向量；

所述获取模块，还用于获取所述第一特征向量与所述第二特征向量的距离参数，所述距离参数包括欧式距离参数或者余弦距离参数；

确定模块，用于当所述距离参数小于或等于预设值时，确定所述第一人脸图像与所述第二人脸图像存在匹配关系；

当所述距离参数大于所述预设值时，确定所述第一人脸图像与所述第二人脸图像不存在匹配关系。

14.一种人脸识别模型训练装置，其特征在于，包括：

获取模块，用于获取N组人脸图像，所述N为大于0的整数，所述N组人脸图像中的每组人脸图像包括第一人脸图像、第二人脸图像以及第三人脸图像，所述第一人脸图像包括第一目标人脸在第一图像属性的人脸图像，所述第二人脸图像包括第一目标人脸在第二图像属性的人脸图像，所述第三人脸图像包括第二目标人脸在第三图像属性的人脸图像，其中，所述第三图像属性、所述第一图像属性以及所述第二图像属性为不同的三种图像属性，所述图像属性包括视觉域、光照条件以及拍摄角度中的任一种；

或者，所述第三图像属性与所述第一图像属性为相同的图像属性，第一图像属性与第二图像属性为不同的图像属性；

所述获取模块，还用于根据所述第一人脸图像、所述第二人脸图像以及所述第三人脸图像获取对称损失参数，所述对称损失参数为第一距离参数与第二距离参数的差值的求和值，所述第一距离参数为所述第一人脸图像和所述第三人脸图像的距离参数，所述第二距离参数为所述第二人脸图像和所述第三人脸图像的距离参数；

训练模块，用于根据所述对称损失参数对人脸识别模型进行训练。

15.一种计算机设备，其特征在于，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备与所述总线相连；所述处理器用于执行权利要求1至4中任一项所述的方法。

16.一种计算机设备，其特征在于，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备与所述总线相连；

所述处理器用于执行权利要求5所述的方法。

17.一种计算机设备，其特征在于，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备与所述总线相连；

所述处理器用于执行权利要求6至9中任一项所述的方法。

18.一种计算机设备，其特征在于，包括：

处理器、存储器、输入输出设备以及总线；

所述处理器、存储器、输入输出设备与所述总线相连；

所述处理器用于执行权利要求10或11所述的方法。

Images