CN112733807A - 一种人脸比对的图卷积神经网络训练方法及装置 - Google Patents

Abstract

本申请实施例公开了一种人脸比对的图卷积神经网络训练方法及装置。本申请实施例提供的技术方案通过确定人脸图片之间的相似度距离，根据相似度距离与邻域半径的比较情况，为每个人脸图片构建人脸图片邻域，并进一步按照相似度分割阈值构造同类低相似度的正样本集和不同类高相似度的负样本集，依据正样本集和负样本集对基于图卷积神经网络构建二分类的多对多人脸识别模型进行训练，以使多对多人脸识别模型的正确率达到设定要求，通过正样本集和负样本集进行模型训练，降低样本数据规模，减少训练时间，提升对人脸识别图卷积神经网络的训练效率，有效强化多对多人脸识别模型的识别能力。

Description

一种人脸比对的图卷积神经网络训练方法及装置

技术领域

本申请实施例涉及图像处理技术领域，尤其涉及一种人脸比对的图卷积神经网络训练方法及装置。

背景技术

随着深度学习技术的快速发展，人脸识别的精度得到了显著的提升，人脸识别技术在商业和安防场景也得到大量应用，其中对未打标签的人脸图片进行人脸聚类是一种比较常见的应用。

在进行人脸聚类过程中，两组人脸图片进行m:n比对合并判断是人脸聚类场景中比较常见的问题。现有技术中经常利用卷积神经网络进行人脸聚类，在卷积神经网络投入使用之前，需要对卷积神经网络进行训练，但是对卷积神经网络的训练一般会基于大量的人脸图片进行，导致训练效率较低。

发明内容

本申请实施例提供一种人脸比对的图卷积神经网络训练方法及装置，以提升对人脸识别图卷积神经网络的训练效率。

在第一方面，本申请实施例提供了一种人脸比对的图卷积神经网络训练方法，包括：

基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；

按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；

基于图卷积神经网络构建二分类的多对多人脸识别模型；

依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

进一步的，所述基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域，包括：

基于人脸图片数据集，确定两两人脸图片之间的相似度距离，所述人脸图片数据集保存有多个确定人脸分类的人脸图片；

对于每个所述人脸图片，确定在同一人脸分类中，对应所述相似度距离在设定的邻域半径以内的其他所述人脸图片；

基于确定的所述人脸图片为每个所述人脸图片构建人脸图片邻域。

进一步的，所述按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集，包括：

分别确定每个人脸分类中，两两所述人脸图片之间的相似度距离，并确定对应相似度距离大于设定的相似度分割阈值的正人脸图片组；

确定所述正人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造同类低相似度的正样本集；

分别确定不同人脸分类中，所述人脸图片之间的相似度距离，并确定对应相似度距离小于等于设定的相似度分割阈值的负人脸图片组；

确定所述负人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造不同类高相似度的负样本集。

进一步的，所述多对多人脸识别模型为：

H^l＝δ(D^-1AH^l-1W^l-1)

Y＝g(H^L)

其中，H^l为卷积神经网络的第l层隐藏向量，是一个(m+n)×d^l矩阵，m和n分别为两组人脸图片邻域包含的人脸图片的图片数量，d^l表示第l层的维度，l的取值为1～L，L为设定的最后一个隐藏层，W^l-1为模型第l层的训练参数，A为两组人脸图片的相似度距离矩阵，D为相似度距离矩阵的度矩阵，A和D是(m+n)×(m+n)矩阵，δ为神经网络激活函数，g为实现从

到R的变换映射函数，Y为0或1。

进一步的，所述相似度距离矩阵的定义为：

其中，s_n×m为n张人脸图片和m张人脸图片的相似度矩阵，其矩阵元素取值范围为从0到1。

进一步的，所述相似度距离矩阵的度矩阵的定义为：

其中，a_i，j为相似度距离矩阵第i行第j列的元素值。

进一步的，所述变换映射函数的定义为：

Y＝g(H^L)＝g₃(g₂(g₁(H^L)))

其中，g₁表示最大池化操作，用于实现对H^L的每个维度按照行取最大值得到d^L维度向量h；

g₂表示特征加权操作，用于实现将d^L维度向量h映射成2维向量h°，其由以下公式确定：

h°＝δ(hw)

其中，w是一个d^L×2的模型训练参数矩阵，δ为神经网络激活函数；

g₃表示判断操作，由以下公式确定：

其中，

表示h°的两个分量。

在第二方面，本申请实施例提供了一种人脸比对的图卷积神经网络训练装置，包括邻域构建模块、样本构造模块、模型构建模块和模型训练模块，其中：

所述邻域构建模块，用于基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；

所述样本构造模块，用于按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；

所述模型构建模块，用于基于图卷积神经网络构建二分类的多对多人脸识别模型；

所述模型训练模块，用于依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

进一步的，所述邻域构建模块具体用于：

基于人脸图片数据集，确定两两人脸图片之间的相似度距离，所述人脸图片数据集保存有多个确定人脸分类的人脸图片；

对于每个所述人脸图片，确定在同一人脸分类中，对应所述相似度距离在设定的邻域半径以内的其他所述人脸图片；

基于确定的所述人脸图片为每个所述人脸图片构建人脸图片邻域。

进一步的，所述样本构造模块具体用于：

分别确定每个人脸分类中，两两所述人脸图片之间的相似度距离，并确定对应相似度距离大于设定的相似度分割阈值的正人脸图片组；

确定所述正人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造同类低相似度的正样本集；

分别确定不同人脸分类中，所述人脸图片之间的相似度距离，并确定对应相似度距离小于等于设定的相似度分割阈值的负人脸图片组；

确定所述负人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造不同类高相似度的负样本集。

进一步的，所述模型构建模块所构建的多对多人脸识别模型为：

H^l＝δ(D^-1AH^l-1W^l-1)

Y＝g(H^L)

其中，H^l为卷积神经网络的第l层隐藏向量，是一个(m+n)×d^l矩阵，d^l表示第l层的维度，l的取值为1～L，L为设定的最后一个隐藏层，W^l-1为模型第l层的训练参数，A为两组人脸图片的相似度距离矩阵，D为相似度距离矩阵的度矩阵，A和D是(m+n)×(m+n)矩阵，δ为神经网络激活函数，g为实现从

到R的变换映射函数，Y为0或1。

进一步的，所述相似度距离矩阵的定义为：

其中，s_n×m为n张人脸图片和m张人脸图片的相似度矩阵，其矩阵元素取值范围为从0到1。

进一步的，所述相似度距离矩阵的度矩阵的定义为：

其中，a_i，j为相似度距离矩阵第i行第j列的元素值。

进一步的，所述变换映射函数的定义为：

Y＝g(H^L)＝g₃(g₂(g₁(H^L)))

其中，g₁表示最大池化操作，用于实现对H^L的每个维度按照行取最大值得到d^L维度向量h；

g₂表示特征加权操作，用于实现将d^L维度向量h映射成2维向量h°，其由以下公式确定：

h°＝δ(hw)

其中，w是一个d^L×2的模型训练参数矩阵，δ为神经网络激活函数；

g₃表示判断操作，由以下公式确定：

其中，

表示h°的两个分量。

在第三方面，本申请实施例提供了一种人脸比对的图卷积神经网络训练设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸比对的图卷积神经网络训练方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的人脸比对的图卷积神经网络训练方法。

本申请实施例通过确定人脸图片之间的相似度距离，根据相似度距离与邻域半径的比较情况，为每个人脸图片构建人脸图片邻域，并进一步按照相似度分割阈值构造同类低相似度的正样本集和不同类高相似度的负样本集，依据正样本集和负样本集对基于图卷积神经网络构建二分类的多对多人脸识别模型进行训练，以使多对多人脸识别模型的正确率达到设定要求，通过正样本集和负样本集进行模型训练，降低样本数据规模，减少训练时间，提升对人脸识别图卷积神经网络的训练效率，通过考虑不同人脸分类的较差相似度，在同类低相似度和不同类高相似度这两类容易识别出错的样本集中训练多对多人脸识别模型，有效强化多对多人脸识别模型的识别能力。

附图说明

图1是本申请实施例提供的一种人脸比对的图卷积神经网络训练方法的流程图；

图2是本申请实施例提供的另一种人脸比对的图卷积神经网络训练方法的流程图；

图3是本申请实施例提供的一种人脸比对的图卷积神经网络训练装置的结构示意图；

图4是本申请实施例提供的一种人脸比对的图卷积神经网络训练设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

图1给出了本申请实施例提供的一种人脸比对的图卷积神经网络训练方法的流程图，本申请实施例提供的人脸比对的图卷积神经网络训练方法可以由人脸比对的图卷积神经网络训练装置来执行，该人脸比对的图卷积神经网络训练装置可以通过硬件和/或软件的方式实现，并集成在人脸比对的图卷积神经网络训练设备中。

下述以人脸比对的图卷积神经网络训练装置执行人脸比对的图卷积神经网络训练方法为例进行描述。参考图1，该人脸比对的图卷积神经网络训练方法包括：

S101：基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域。

示例性的，对于每个人脸图片，确定该人脸图片与相同人脸分类中其余每个人脸图片之间的相似度距离，并分别将相似度距离与设定的邻域半径进行比较，确定同一人脸分类中，对应相似度距离在邻域半径之内的人脸图片。可以理解的是，两个人脸图片之间人脸相似程度越高，对应的相似度距离越小。

进一步的，基于该人脸图片和上述相似度距离在邻域半径之内的人脸图片，构建该人脸图片的人脸图片邻域。依次针对每个人脸图片进行人脸图片邻域的构建，最终得到每个人脸图片对应的人脸图片邻域。

可以理解的是，同一人脸分类对应的人脸图片均对应同一个人的人脸，同一人脸分类中的不同人脸图片可以是基于不同的环境、角度、拍照参数进行拍摄得到。并且对于同一人脸分类，不同的人脸图片的人脸图片邻域之间可存在重合的部分。

S102：按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集。

示例性的，在得到每个人脸图片的人脸图片邻域后，按照设定的相似度分割阈值，分别基于相同的人脸分类内的人脸图片和不同人脸分类之间的人脸图片，构造同类低相似度的正样本集和不同类高相似度的负样本集。

其中，正样本集记录有相同人脸分类中，相似度距离大于相似度分割阈值的两张人脸图片对应的两个人脸图片邻域，即属于相同人脸分类但人脸相似程度较低的两张人脸图片对应的两个人脸图片邻域。

相应的，负样本集记录有不同人脸分类之间，相似度距离小于等于相似度分割阈值的两张人脸图片对应的两个人脸图片邻域，即属于不同人脸分类但人脸相似程度较高的两张人脸图片对应的两个人脸图片邻域。

S103：基于图卷积神经网络构建二分类的多对多人脸识别模型。

示例性的，基于图卷积神经网络构建一个二分类的多对多人脸识别模型，该多对多人脸识别模型用于实现对两组人脸图片的比对判别，从而确认这两组人脸图片是否来自同一个人。

S104：依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

示例性的，将上述得到的正样本集和负样本集输入到多对多人脸识别模型，对多对多人脸识别模型进行训练，直至多对多人脸识别模型的正确率达到设定要求。

在利用多对多人脸识别模型进行多对多人脸识别时，将两组人脸图片输入到多对多人脸识别模型中进行识别，并且同一组的人脸图片均来自同一个人，多对多人脸识别模型对这两组人脸图片进行分析识别后，输出判断这两组人脸图片是否来自同一个人的识别结果。

上述，通过确定人脸图片之间的相似度距离，根据相似度距离与邻域半径的比较情况，为每个人脸图片构建人脸图片邻域，并进一步按照相似度分割阈值构造同类低相似度的正样本集和不同类高相似度的负样本集，依据正样本集和负样本集对基于图卷积神经网络构建二分类的多对多人脸识别模型进行训练，以使多对多人脸识别模型的正确率达到设定要求，通过正样本集和负样本集进行模型训练，降低样本数据规模，减少训练时间，提升对人脸识别图卷积神经网络的训练效率，通过考虑不同人脸分类的较差相似度，在同类低相似度和不同类高相似度这两类容易识别出错的样本集中训练多对多人脸识别模型，有效强化多对多人脸识别模型的识别能力。

在上述实施例的基础上，图2给出了本申请实施例提供的另一种人脸比对的图卷积神经网络训练方法的流程图，该人脸比对的图卷积神经网络训练方法是对上述人脸比对的图卷积神经网络训练方法的具体化。参考图2，该人脸比对的图卷积神经网络训练方法包括：

S201：基于人脸图片数据集，确定两两人脸图片之间的相似度距离，所述人脸图片数据集保存有多个确定人脸分类的人脸图片。

本实施例提供的人脸图片数据集保存有多个确定的人脸分类的人脸图片，不同的人脸分类对应有一个或多个人脸图片。其中，人脸图片数据集可通过摄像头抓拍人脸获取，或者是从现有的人脸图片数据库中获取。

具体的，在获取人脸图片数据集后，提取每个人脸图片的人脸特征向量，并计算两两人脸图片对应人脸特征向量之间的向量距离(例如欧氏距离、汉明距离、余弦相似度等)，并将该向量距离确定为人脸图片之间的相似度距离。

S202：对于每个所述人脸图片，确定在同一人脸分类中，对应所述相似度距离在设定的邻域半径以内的其他所述人脸图片。

具体的，对于每个人脸图片，确定在同一人脸分类中的其他人脸图片，进一步确定该人脸图片与其他人脸图片之间的相似度距离，并确定对应相似度距离小于设定的邻域半径的同一人脸分类中的其他人脸图片。

S203：基于确定的所述人脸图片为每个所述人脸图片构建人脸图片邻域。

具体的，对于每个人脸图片，在确定该人脸图片对应的相似度距离在设定的邻域半径以内的其他人脸图片后，获取这些人脸图片并构建该人脸图片的人脸图片邻域。可以理解的是，一个人脸图片的人脸图片邻域包括该人脸图片本身。

其中，对于一个人脸图片的人脸图片邻域的构造如下所示：

其中，p_ik表示第i类人脸分类中的第k个人脸图片；ε_ij表示第i类人脸分类中的第j个人脸图片对应的人脸图片邻域；r_ijik表示第i类人脸分类中的第j个人脸图片和第i类人脸分类中的第k个人脸图片对应的相似度距离，其取值范围为0～1；σ表示设定的邻域半径，其取值范围为0～1。

S204：分别确定每个人脸分类中，两两所述人脸图片之间的相似度距离，并确定对应相似度距离大于设定的相似度分割阈值的正人脸图片组。

具体的，对于每个人脸分类，分别确定该人脸分类中两两人脸图片之间的相似度距离，并将相似度距离与设定的相似度分割阈值进行比较，确定对应相似度距离大于相似度分割阈值的两个人脸图片，并将对应的两个人脸图片作为一个正人脸图片组。可以理解的是，一个正人脸图片组中的两张人脸图片之间的相似度距离均大于相似度分割阈值，即这两张图片来自同一个人，但是相似度较低。

S205：确定所述正人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造同类低相似度的正样本集。

具体的，确定每个人脸分类对应的正人脸图片组后，对于每个正人脸图片组，确定其中两个人脸图片对应的人脸图片邻域，并基于这两个人脸图片邻域构造同类低相似度的正样本。可以理解的是，一个正样本中两个人脸图片邻域中的人脸图片均对应同一人脸分类。

进一步的，在确定所有正人脸图片组对应的正样本后，基于这些正样本构造同类低相似度的正样本集。其中，正样本集的构造如下所示：

其中，PS为正样本集，μ表示设定的相似度分割阈值。

S206：分别确定不同人脸分类中，所述人脸图片之间的相似度距离，并确定对应相似度距离小于等于设定的相似度分割阈值的负人脸图片组。

具体的，对于不同的人脸分类，分别确定不同人脸分类之间两两人脸图片之间的相似度距离，并将相似度距离与设定的相似度分割阈值进行比较，确定对应相似度距离小于等于相似度分割阈值的两个人脸图片，并将对应的两个人脸图片作为一个负人脸图片组。可以理解的是，一个负人脸图片组中的两张人脸图片之间的相似度距离均小于等于相似度分割阈值，并且这两张人脸图片分别对应不同的人脸分类，即这两张图片来自不同的人，但是相似度较高。

S207：确定所述负人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造不同类高相似度的负样本集。

具体的，确定每个人脸分类对应的负人脸图片组后，对于每个负人脸图片组，确定其中两个人脸图片对应的人脸图片邻域，并基于这两个人脸图片邻域构造不同类高相似度的负样本。可以理解的是，一个负样本中两个人脸图片邻域中的人脸图片对应不同的人脸分类。

进一步的，在确定所有负人脸图片组对应的负样本后，基于这些负样本构造不同类高相似度的负样本集。其中，负样本集的构造如下所示：

其中，NS为负样本集。

S208：基于图卷积神经网络构建二分类的多对多人脸识别模型。

具体的，本实施例提供的多对多人脸识别模型为：

H^l＝δ(D^-1AH^l-1W^l-1)

Y＝g(H^L)

其中，H^l为图卷积神经网络的第l层隐藏向量，是一个(m+n)×d^l矩阵，并且H⁰为两组人脸图片对应的人脸特征向量组成的矩阵，m和n分别为两组人脸图片邻域包含的人脸图片的图片数量(或者是用于比较的两组人脸图片分别对应的图片数量)；d^l表示第l层的维度，l的取值范围为1～L，L为多对多人脸识别模型设定的最后一个隐藏层；W^l-1为多对多人脸识别模型第l层的训练参数；A为两组人脸图片的相似度距离矩阵，D为相似度距离矩阵的度矩阵，A和D均是(m+n)×(m+n)矩阵；δ为神经网络激活函数，例如Sigmod，Tanh，ReLu等激活函数，可根据实际情况进行选择；g为实现从

到R的变换映射函数，Y为0或1。可以理解的是，在Y为0时，表示输入的两组人脸图片来自不同的人，在Y为1时，表示输入的两组人脸图片来自同一个人。

可以理解的是，在多对多人脸识别模型中，Y为多对多人脸识别模型的输出，H⁰和A为多对多人脸识别模型的输入。

本实施例提供的相似度距离矩阵的定义为：

其中，s_n×m为n张人脸图片和m张人脸图片的相似度矩阵，其矩阵元素为n张人脸图片和m张人脸图片两两人脸图片之间的相似度距离，矩阵元素的取值范围为从0到1。例如输入的两组人脸图片的图片数量分别为n和m，则s_n×m为一个n行m列的相似度矩阵，其矩阵元素为两组人脸图片两两人脸图片之间的相似度距离。

为s_n×m的转置矩阵。

本实施例提供的相似度距离矩阵的度矩阵的定义为：

其中，a_i，j为相似度距离矩阵第i行第j列的元素值，度矩阵D对角线元素为对相似度距离矩阵按列求和的结果，非对角线元素均为0。

本实施例提供的变换映射函数的定义为：

Y＝g(H^L)＝g₃(g₂(g₁(H^L)))

其中，g₁表示最大池化操作，用于实现对H^L的每个维度按照行取最大值得到d^L维度向量h。

g₂表示特征加权操作，用于实现将d^L维度向量h映射成2维向量h°，其由以下公式确定：

h°＝δ(hw)

其中，w是一个d^L×2的模型训练参数矩阵，δ为神经网络激活函数。

g₃表示判断操作，由以下公式确定：

其中，

表示h°的两个分量。

S209：依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

具体的，将正样本集和负样本集输入到多对多人脸识别模型中进行训练。例如，将正样本集对应的模型输出设置为1，负样本集对应的模型输出设置为0，确定正负样本集中人脸图片对应的人脸特征向量和相似度距离矩阵，并分别输入到多对多人脸识别模型的H⁰和A中，对多对多人脸识别模型进行训练，直至以使多对多人脸识别模型的正确率达到设定要求。

上述，通过确定人脸图片之间的相似度距离，根据相似度距离与邻域半径的比较情况，为每个人脸图片构建人脸图片邻域，并进一步按照相似度分割阈值构造同类低相似度的正样本集和不同类高相似度的负样本集，依据正样本集和负样本集对基于图卷积神经网络构建二分类的多对多人脸识别模型进行训练，以使多对多人脸识别模型的正确率达到设定要求，通过正样本集和负样本集进行模型训练，降低样本数据规模，减少训练时间，提升对人脸识别图卷积神经网络的训练效率，通过考虑不同人脸分类的较差相似度，在同类低相似度和不同类高相似度这两类容易识别出错的样本集中训练多对多人脸识别模型，有效强化多对多人脸识别模型的识别能力。与现有基于图卷积神经网络人脸比对训练方案相比，本申请实施例只基于同类低相似度的正样本集和不同类高相似度的负样本集对多对多人脸识别模型进行训练，有效降低训练所需样本集规模，减少训练时间。同时，多对多人脸识别模型在同类低相似度和不同类高相似度这两类容易识别出错的样本中进行训练提升，有效增强多对多人脸识别模型的识别能力。此外，在图卷积神经网络搭建上，现有技术大多从两个组人脸图片进行全连接角度构建网络，本方案单纯考虑两个人脸群组的交叉相似度，通过交叉相似度度量值来刻画两个人脸群组间相似程度，更贴近人脸群组比对情景，进一步强化模型识别能力。

图3给出了本申请实施例提供的一种人脸比对的图卷积神经网络训练装置的结构示意图。参考图3，该人脸比对的图卷积神经网络训练装置包括邻域构建模块31、样本构造模块32、模型构建模块33和模型训练模块34。

其中，所述邻域构建模块31，用于基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；所述样本构造模块32，用于按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；所述模型构建模块33，用于基于图卷积神经网络构建二分类的多对多人脸识别模型；所述模型训练模块34，用于依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

上述，通过确定人脸图片之间的相似度距离，根据相似度距离与邻域半径的比较情况，为每个人脸图片构建人脸图片邻域，并进一步按照相似度分割阈值构造同类低相似度的正样本集和不同类高相似度的负样本集，依据正样本集和负样本集对基于图卷积神经网络构建二分类的多对多人脸识别模型进行训练，以使多对多人脸识别模型的正确率达到设定要求，通过正样本集和负样本集进行模型训练，降低样本数据规模，减少训练时间，提升对人脸识别图卷积神经网络的训练效率，通过考虑不同人脸分类的较差相似度，在同类低相似度和不同类高相似度这两类容易识别出错的样本集中训练多对多人脸识别模型，有效强化多对多人脸识别模型的识别能力。

在一个可能的实施例中，所述邻域构建模块31具体用于：

基于人脸图片数据集，确定两两人脸图片之间的相似度距离，所述人脸图片数据集保存有多个确定人脸分类的人脸图片；

对于每个所述人脸图片，确定在同一人脸分类中，对应所述相似度距离在设定的邻域半径以内的其他所述人脸图片；

基于确定的所述人脸图片为每个所述人脸图片构建人脸图片邻域。

在一个可能的实施例中，所述样本构造模块32具体用于：

分别确定每个人脸分类中，两两所述人脸图片之间的相似度距离，并确定对应相似度距离大于设定的相似度分割阈值的正人脸图片组；

确定所述正人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造同类低相似度的正样本集；

分别确定不同人脸分类中，所述人脸图片之间的相似度距离，并确定对应相似度距离小于等于设定的相似度分割阈值的负人脸图片组；

确定所述负人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造不同类高相似度的负样本集。

在一个可能的实施例中，所述模型构建模块33所构建的多对多人脸识别模型为：

H^l＝δ(D^-1AH^l-1W^l-1)

Y＝g(H^L)

其中，H^l为卷积神经网络的第l层隐藏向量，是一个(m+n)×d^l矩阵，d^l表示第l层的维度，l的取值为1～L，L为设定的最后一个隐藏层，W^l-1为模型第l层的训练参数，A为两组人脸图片的相似度距离矩阵，D为相似度距离矩阵的度矩阵，A和D是(m+n)×(m+n)矩阵，δ为神经网络激活函数，g为实现从

到R的变换映射函数，Y为0或1。

在一个可能的实施例中，所述相似度距离矩阵的定义为：

其中，s_n×m为n张人脸图片和m张人脸图片的相似度矩阵，其矩阵元素取值范围为从0到1。

在一个可能的实施例中，所述相似度距离矩阵的度矩阵的定义为：

其中，a_i，j为相似度距离矩阵第i行第j列的元素值。

在一个可能的实施例中，所述变换映射函数的定义为：

Y＝g(H^L)＝g₃(g₂(g₁(H^L)))

其中，g₁表示最大池化操作，用于实现对H^L的每个维度按照行取最大值得到d^L维度向量h；

g₂表示特征加权操作，用于实现将d^L维度向量h映射成2维向量h°，其由以下公式确定：

h°＝δ(hw)

其中，w是一个d^L×2的模型训练参数矩阵，δ为神经网络激活函数；

g₃表示判断操作，由以下公式确定：

其中，

表示h°的两个分量。

本申请实施例还提供了一种人脸比对的图卷积神经网络训练设备，该人脸比对的图卷积神经网络训练设备可集成本申请实施例提供的人脸比对的图卷积神经网络训练装置。图4是本申请实施例提供的一种人脸比对的图卷积神经网络训练设备的结构示意图。参考图4，该人脸比对的图卷积神经网络训练设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的人脸比对的图卷积神经网络训练方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器42作为一种计算设备可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的人脸比对的图卷积神经网络训练方法对应的程序指令/模块(例如，人脸比对的图卷积神经网络训练装置中的邻域构建模块31、样本构造模块32、模型构建模块33和模型训练模块34)。存储器42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。

处理器41通过运行存储在存储器42中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸比对的图卷积神经网络训练方法。

上述提供的人脸比对的图卷积神经网络训练装置、设备和计算机可用于执行上述任意实施例提供的人脸比对的图卷积神经网络训练方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述实施例提供的人脸比对的图卷积神经网络训练方法，该人脸比对的图卷积神经网络训练方法包括：基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；基于图卷积神经网络构建二分类的多对多人脸识别模型；依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的人脸比对的图卷积神经网络训练方法，还可以执行本申请任意实施例所提供的人脸比对的图卷积神经网络训练方法中的相关操作。

上述实施例中提供的人脸比对的图卷积神经网络训练装置、设备及存储介质可执行本申请任意实施例所提供的人脸比对的图卷积神经网络训练方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的人脸比对的图卷积神经网络训练方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种人脸比对的图卷积神经网络训练方法，其特征在于，包括：

基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；

按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；

基于图卷积神经网络构建二分类的多对多人脸识别模型；

依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

2.根据权利要求1所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域，包括：

基于人脸图片数据集，确定两两人脸图片之间的相似度距离，所述人脸图片数据集保存有多个确定人脸分类的人脸图片；

对于每个所述人脸图片，确定在同一人脸分类中，对应所述相似度距离在设定的邻域半径以内的其他所述人脸图片；

基于确定的所述人脸图片为每个所述人脸图片构建人脸图片邻域。

3.根据权利要求1所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集，包括：

分别确定每个人脸分类中，两两所述人脸图片之间的相似度距离，并确定对应相似度距离大于设定的相似度分割阈值的正人脸图片组；

确定所述正人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造同类低相似度的正样本集；

分别确定不同人脸分类中，所述人脸图片之间的相似度距离，并确定对应相似度距离小于等于设定的相似度分割阈值的负人脸图片组；

确定所述负人脸图片组中每张所述人脸图片对应的人脸图片邻域，并基于所述人脸图片邻域构造不同类高相似度的负样本集。

4.根据权利要求1所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述多对多人脸识别模型为：

H^l＝δ(D^-1AH^l-1W^l-1)

Y＝g(H^L)

其中，H^l为卷积神经网络的第l层隐藏向量，是一个(m+n)×d^l矩阵，m和n分别为两组人脸图片邻域包含的人脸图片的图片数量，d^l表示第l层的维度，l的取值为1～L，L为设定的最后一个隐藏层，W^l-1为模型第l层的训练参数，A为两组人脸图片的相似度距离矩阵，D为相似度距离矩阵的度矩阵，A和D是(m+n)×(m+n)矩阵，δ为神经网络激活函数，g为实现从

到R的变换映射函数，Y为0或1。

5.根据权利要求4所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述相似度距离矩阵的定义为：

其中，s_n×m为n张人脸图片和m张人脸图片的相似度矩阵，其矩阵元素取值范围为从0到1。

6.根据权利要求4所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述相似度距离矩阵的度矩阵的定义为：

其中，a_i，j为相似度距离矩阵第i行第j列的元素值。

7.根据权利要求4所述的人脸比对的图卷积神经网络训练方法，其特征在于，所述变换映射函数的定义为：

Y＝g(H^L)＝g₃(g₂(g₁(H^L)))

其中，g₁表示最大池化操作，用于实现对H^L的每个维度按照行取最大值得到d^L维度向量h；

g₂表示特征加权操作，用于实现将d^L维度向量h映射成2维向量h°，其由以下公式确定：

其中，w是一个d^L×2的模型训练参数矩阵，δ为神经网络激活函数；

g₃表示判断操作，由以下公式确定：

其中，

表示

的两个分量。

8.一种人脸比对的图卷积神经网络训练装置，其特征在于，包括邻域构建模块、样本构造模块、模型构建模块和模型训练模块，其中：

所述邻域构建模块，用于基于设定的邻域半径，根据每个人脸图片之间的相似度距离为每个所述人脸图片构建人脸图片邻域；

所述样本构造模块，用于按照设定的相似度分割阈值，根据所述人脸图片邻域构造同类低相似度的正样本集和不同类高相似度的负样本集；

所述模型构建模块，用于基于图卷积神经网络构建二分类的多对多人脸识别模型；

所述模型训练模块，用于依据所述正样本集和所述负样本集对所述多对多人脸识别模型进行训练，以使所述多对多人脸识别模型的正确率达到设定要求。

9.一种人脸比对的图卷积神经网络训练设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的人脸比对的图卷积神经网络训练方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的人脸比对的图卷积神经网络训练方法。

Images