CN109829427A - 一种基于纯度检测和空间注意力网络的人脸聚类方法 - Google Patents

Abstract

本发明涉及一种基于纯度检测和空间注意力网络的人脸聚类方法。首先获取人脸识别数据集，训练空间注意力网络，对待聚类的所有人脸图像提取深度特征；接着构造距离矩阵，计算初始聚类结果；然后对每个聚类簇进行纯度检测，过滤掉不属于该类别的人脸图像，并删除不符合条件的聚类簇；最后对过滤后的聚类簇通过空间注意力网络提取集合特征，计算聚类簇之间的距离并不断融合得到最终结果。本发明能够改善人脸聚类的效果。

Description

一种基于纯度检测和空间注意力网络的人脸聚类方法

技术领域

本发明涉及模式识别与计算机视觉领域，特别是一种基于纯度检测和空间注意力网络的人脸聚类方法。

背景技术

随着互联网与大数据的发展，网络上的图片与视频信息呈爆炸式增长，人脸图像作为最常见的类别，含有大量丰富的数据。人脸识别作为计算机视觉领域的热门研究方向，有大量的学者进行研究。当前基于深度学习的人脸识别方法，都需要有大量有标注的数据进行模型的训练，然而对海量数据的标注需要花费大量的财力物力，如何从大量无标注的人脸数据进行聚类分析得到有价值的信息并辅助数据集的构建也是当前一个研究热点问题。

人脸聚类的目标是希望通过聚类方法将大量无标注的人脸图像数据按人物的身份进行归类，并能自动挖掘图片集中含有的人物数量，其在人脸数据分析中占用重要的地位，但在无约束条件下，由于光照、姿态、年龄、遮挡等因素，同一个人类内变化较大，导致聚类结果准确率较低。

发明内容

本发明的目的在于提供一种基于纯度检测和空间注意力网络的人脸聚类方法，改善人脸聚类的效果。

为实现上述目的，本发明的技术方案是：一种基于纯度检测和空间注意力网络的人脸聚类方法，按照如下步骤实现：

步骤S1、获取人脸识别数据集，训练空间注意力网络，对待聚类的所有人脸图像提取深度特征；

步骤S2、构造距离矩阵，计算初始聚类结果；

步骤S3、对每个聚类簇进行纯度检测，过滤掉不属于相应聚类簇类别的人脸图像，并删除不符合条件的聚类簇；

步骤S4、对过滤后的聚类簇通过空间注意力网络提取集合特征，计算聚类簇之间的距离并不断融合得到最终结果。

在本发明一实施例中，所述步骤S1，具体包括以下步骤：

步骤S11、采用人脸识别数据集，进行人脸对齐完成数据预处理；

步骤S12、训练空间注意力网络，采用孪生神经网络结构，即采用两个共享权重的子网络构成，每个子网络由主干网络、空间注意力模块和深度特征抽取模块构成；其中，

主干网络为浅层的全卷积神经网络，用于对输入的人脸图像提取中层特征，令X＝{x_i},i＝1,2,...B表示输入的人脸图像集合，其中，x_i表示第i个输入图像，令G(·)表示主干网络的映射函数，则O＝G(X)，其中，O＝{o_i}表示中层特征，o_i＝G(x_i)表示x_i的中层特征，由输出的中层特征产生两个分支，一个分支为空间注意力模块，另一个分支为深度特征抽取模块；

深度特征抽取模块由多个卷积层与最大池化层堆叠而成，完成对输入的每一张人脸图像进行特征提取，令H(·)表示深度特征抽取模块的映射函数，则对输入x_i有f_i＝H(G(x_i))，其中，f_i表示第i个输入图像的深度特征；

空间注意力模块为一个小型的卷积神经网络，用于对人脸图像的不同区域赋予不同的关注度，其含有三个卷积层和一个全局平均池化层，最后一个卷积层的卷积核大小为1×1，且只含有一个输出通道，对于第二个卷积层输出的特征图，其各个部分对应于原人脸图像不同空间区域的局部感受野，不同通道特征图的同一位置对应原人脸图像同一区域的不同特征，利用1×1卷积核的特性，对不同通道特征图的同一位置进行加权融合，得到关于原人脸图像不同区域的重要程度，最后使用全局平局池化层以及sigmoid函数得到输入人脸图像归一化后的分数s_i，代表该人脸图像识别的难易程度，其中，s_i表示输入的第i个人脸图像x_i对应的分数；

步骤S13、对空间注意力模块的输出s_i和深度特征抽取模块的输出f_i进行加权融合，根据集合中每张人脸图像识别的难易程度，降低模糊、遮挡等难以识别的图像的注意力，增强清晰、无遮挡等容易识别的图像的关注度，其计算方式如下：

其中，u代表整个输入图像集合的一个深度特征；

步骤S14、在训练阶段，输入为两个人脸图像集合，令X₁表示输入的第一个人脸图像集合，X₂表示输入的第二个人脸图像集合，Y＝{0,1}表示对应的标签，若两个人脸集合为同一身份则Y＝1，否则Y＝0，采用对比损失作为监督信号进行训练，其表示如下：

Loss＝YD²(u₁,u₂)+(1-Y)max(m-D(u₁,u₂),0)²

其中，Loss为对比损失，D(u₁,u₂)＝||u₁-u₂||₂表示两个集合特征之间的欧式距离，u₁与u₂分别表示空间注意力网络输出的两个集合特征，m表示不同身份的集合特征之间的间距，为超参数

在本发明一实施例中，在所述步骤S2中，通过如下步骤计算初始聚类结果：

步骤S21、令N表示待聚类的人脸图像数量，构造N×N的距离矩阵Q＝[q_jk]，其中，j＝1,2,...,N表示第j行，k＝1,2,...,N表示第k列，q_jk表示第j个人脸特征和第k个人脸特征之间的欧式距离；

步骤S22、构造同样大小的N×N的二值矩阵R＝[r_jk]，其中，r_jk表示第j个人脸和k个人脸是否为同一个人，若q_jk＜T_distance则r_jk＝1，表示第j个人脸和k个人脸是同一个人，否则r_jk＝0表示不是同一个人，其中，T_distance为距离阈值由参数估计策略得来；

步骤S23、通过矩阵R得到初始的聚类结果C，其中，C＝{c_k}表示初始的聚类簇构成的集合，k＝1,2,...,K为聚类簇的编号，K为初始聚类簇的数量，c_k表示第k个聚类簇。

在本发明一实施例中，在所述步骤S3中，按照以下步骤实现：

步骤S31、对每一个聚类簇c_k，计算其中所有样本对之间的平均距离l_k，其计算方式如下：

其中，|c_k|表示聚类簇c_k中的元素个数，a和b分别为聚类簇c_k中的两个样本；

步骤S32、令L＝(l₁,l₂,...,l_K)表示由每一个聚类簇c_k的平均成对距离l_k构成的向量，计算每一个聚类簇c_k的纯度p_k，其计算方式如下：

其中，Median(·)表示取向量的中位数，MAD(·)表示取向量的绝对中位差，MAD(L)＝Median(L′)，向量L′由向量L中的每一个元素与向量L的中位数Median(L)之间偏移量的绝对值l_k′构成，其表示方式如下：

l_k′＝|l_i-Median(L)|,l_k∈L,l_k′∈L′；

步骤S33、若p_k＜T_purity，则表示聚类簇c_k含有异常数据，需要进行过滤，将聚类簇编号k加入集合Z，其中，T_purity表示纯度阈值，用于对每个聚类簇进行纯度检测，为超参数，Z为需要过滤的聚类簇编号的集合；

步骤S34、对每一个需要过滤的聚类簇c_z，计算该聚类簇内每一对样本之间的距离矩阵E_z,对矩阵E_z按行进行求和，得到向量v_z，其中，z∈Z为需要过滤的聚类簇编号，v_z是由聚类簇c_z中每一个元素对总体距离的贡献程度构成的向量；

步骤S35、再次使用绝对中位差得到其计算公式如下：

其中，t为聚类簇中第t个元素的编号，为v_z中第t个元素的偏离程度；

步骤S36、将聚类簇c_z中的元素从聚类簇中删除，其中，T_deviation为偏离阈值，聚类簇中所有大于其值的元素被认为是该聚类簇中的异常点，为超参数；

步骤S37、对过滤后的所有聚类簇，将聚类簇中元素个数不足T_num的聚类簇删除，其中，T_num为聚类簇中要求所含最少元素的个数，为设定的超参数。

在本发明一实施例中，所述步骤S4，具体包括以下步骤：

步骤S41、对过滤后的每一个初始聚类簇c_k，输入至空间注意力网络，为每一个聚类簇生成唯一的集合特征；

步骤S42、计算距离矩阵W，其元素为各个聚类簇集合特征之间的欧氏距离；

步骤S43、寻找距离矩阵W中的最小值元素w_min，若w_min＜T_distance则将其对应的两个聚类簇进行合并，转步骤S44，否则聚类结束，输出聚类结果；

步骤S44、将合并后的聚类簇输入空间注意力网络，得到新的集合特征，重新计算距离矩阵W，转步骤S43。

相较于现有技术，本发明具有以下有益效果：

附图说明

图1为本发明一种基于纯度检测和空间注意力网络的人脸聚类方法的流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提供一种基于纯度检测和空间注意力网络的人脸聚类方法。针对聚类簇中的元素，可能含有异常点或噪声，导致之后的聚类过程中容易累积错误信息等问题，本发明提出了一种基于纯度检测的方法，将聚类簇中的异常点进行过滤，提升了聚类算法整体的效果。针对传统聚类过程中，难以有效地对聚类簇之间进行比较等问题，本发明提出了空间注意力网络，通过对人脸图像不同区域的重要程度进行预测，得到每张人脸图像的识别难易程度，降低难以识别图像的注意力，增强容易识别图像的关注度，更好地表达整个聚类簇的特征，提升聚类结果。

具体步骤如下：

步骤S1：获取人脸识别数据集，训练自适应注意力网络，对待聚类的所有人脸图像提取深度特征；

步骤S2：构造距离矩阵，计算初始聚类结果；

步骤S3：对每个聚类簇进行纯度检测，过滤掉不属于该类别的人脸图像，并删除不符合条件的聚类簇；

步骤S4：对过滤后的聚类簇通过空间注意力网络提取集合特征，计算聚类簇之间的距离并不断融合得到最终结果。

进一步的，在本实施例中，在步骤S1中，具体包括以下步骤：

步骤S11：采用公开的人脸识别数据集，进行人脸对齐完成数据预处理；

步骤S12：所述自适应注意力网络采用孪生神经网络结构，采用两个共享权重的子网络构成，每个子网络由主干网络、注意力模块和深度特征抽取模块构成；

步骤S13：主干网络为浅层的全卷积神经网络，用于对输入的人脸图像提取中层特征，令X＝{x_i},i＝1,2,...B表示输入的人脸图像集合，其中x_i表示第i个输入图像，令G(·)表示主干网络的映射函数，则O＝G(X)，其中O＝{o_i}表示中层特征，o_i＝G(x_i)表示x_i的中层特征，由输出的中层特征产生两个分支，一个分支为空间注意力模块，另一个分支为深度特征抽取模块；

步骤S14：深度特征抽取模块由多个卷积层与最大池化层堆叠而成，完成对输入的每一张人脸图像进行特征提取，令H(·)表示深度特征抽取模块的映射函数，则对输入x_i有f_i＝H(G(x_i))，其中f_i表示第i个输入图像的深度特征；

步骤S15：空间注意力模块为一个小型的卷积神经网络，用于对人脸图像的不同区域赋予不同的关注度，其含有三个卷积层和一个全局平均池化层，最后一个卷积层的卷积核大小为1×1，且只含有一个输出通道，对于第二个卷积层输出的特征图，其各个部分对应于原人脸图像不同空间区域的局部感受野，不同通道特征图的同一位置对应原人脸图像同一区域的不同特征，利用1×1卷积核的特性，对不同通道特征图的同一位置进行加权融合，得到关于原人脸图像不同区域的重要程度，最后使用全局平局池化层以及sigmoid函数得到输入人脸图像归一化后的分数s_i，代表该人脸图像识别的难易程度，其中s_i表示输入的第i个人脸图像x_i对应的分数；

步骤S16：对空间注意力模块的输出s_i和深度特征抽取模块的输出f_i进行加权融合，根据集合中每张人脸图像识别的难易程度，降低模糊、遮挡等难以识别的图像的注意力，增强清晰、无遮挡等容易识别的图像的关注度，其计算方式如下：

其中u代表整个输入图像集合的一个深度特征；

步骤S17：在训练阶段，输入为两个人脸图像集合，令X₁表示输入的第一个人脸图像集合，X₂表示输入的第二个人脸图像集合，Y＝{0,1}表示对应的标签，若两个人脸集合为同一身份则Y＝1，否则Y＝0，采用对比损失作为监督信号进行训练，其表示如下：

Loss＝YD²(u₁,u₂)+(1-Y)max(m-D(u₁,u₂),0)²

其中Loss为对比损失，D(u₁,u₂)＝||u₁-u₂||₂表示两个集合特征之间的欧式距离，u₁与u₂分别表示空间注意力网络输出的两个集合特征，m表示不同身份的集合特征之间的间距，为超参数。

进一步的，在本实施例中，在步骤S2中，通过如下步骤计算初始聚类结果：

步骤S21：令N表示待聚类的人脸图像数量，构造N×N的距离矩阵Q＝[q_jk]，其中j＝1,2,...,N表示第j行，k＝1,2,...,N表示第k列，q_jk表示表示第j个人脸特征和第k个人脸特征之间的欧式距离；

步骤S22：构造同样大小的N×N的二值矩阵R＝[r_jk]，其中r_jk表示第j个人脸和k个人脸是否为同一个人，若q_jk＜T_distance则r_jk＝1，表示第j个人脸和k个人脸是同一个人，否则r_jk＝0表示不是同一个人，其中T_distance为距离阈值由参数估计策略得来；

步骤S23：通过矩阵R得到初始的聚类结果C，其中C＝{c_k}表示初始的聚类簇构成的集合，k＝1,2,...,K为聚类簇的编号，K为初始聚类簇的数量，c_k表示第k个聚类簇。

进一步的，在本实施例中，在步骤S3中，本发明按照以下步骤实施：

步骤S31：对每一个聚类簇c_k，计算其中所有样本对之间的平均距离l_k，其计算方式如下：

其中|c_k|表示聚类簇c_k中的元素个数，a和b分别为聚类簇c_k中的两个样本；

步骤S32：令L＝(l₁,l₂,...,l_K)表示由每一个聚类簇c_k的平均成对距离l_k构成的向量，计算每一个聚类簇c_k的纯度p_k，其计算方式如下：

其中Median(·)表示取向量的中位数，MAD(·)表示取向量的绝对中位差，MAD(L)＝Median(L′)，向量L′由向量L中的每一个元素与向量L的中位数Median(L)之间偏移量的绝对值l_k′构成，其表示方式如下：

l_k′＝|l_i-Median(L)|,l_k∈L,l_k′∈L′；

步骤S33：若p_k＜T_purity，则表示聚类簇c_k含有异常数据，需要进行过滤，将聚类簇编号k加入集合Z，其中T_purity表示纯度阈值，用于对每个聚类簇进行纯度检测，为超参数，Z为需要过滤的聚类簇编号的集合；

步骤S34：对每一个需要过滤的聚类簇c_z，计算该聚类簇内每一对样本之间的距离矩阵E_z,对矩阵E_z按行进行求和，得到向量v_z，其中z∈Z为需要过滤的聚类簇编号，v_z是由聚类簇c_z中每一个元素对总体距离的贡献程度构成的向量；

步骤S35：再次使用绝对中位差得到其计算方式如下：

其中t为聚类簇中第t个元素的编号，为v_z中第t个元素的偏离程度；

步骤S36：将聚类簇c_z中的元素从聚类簇中删除，其中T_deviation为偏离阈值，聚类簇中所有大于其值的元素被认为是该聚类簇中的异常点，为超参数；

步骤S37：对过滤后的所有聚类簇，将聚类簇中元素个数不足T_num的聚类簇删除，其中T_num为聚类簇中要求所含最少元素的个数，为设定的超参数。

在本发明一实施例中，在所述步骤S4中，具体包括以下步骤：

步骤S41：对过滤后的每一个初始聚类簇c_k，输入至空间注意力网络，为每一个聚类簇生成唯一的集合特征；

步骤S42：计算距离矩阵W，其元素为各个聚类簇集合特征之间的欧氏距离；

步骤S43：寻找距离矩阵W中的最小值元素w_min，若w_min＜T_distance则将其对应的两个聚类簇进行合并，转步骤S44，否则聚类结束，输出聚类结果；

步骤S44：将合并后的聚类簇输入空间注意力网络，得到新的集合特征，重新计算距离矩阵W，转步骤S43。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种基于纯度检测和空间注意力网络的人脸聚类方法，其特征在于，按照如下步骤实现：

步骤S1、获取人脸识别数据集，训练空间注意力网络，对待聚类的所有人脸图像提取深度特征；

步骤S2、构造距离矩阵，计算初始聚类结果；

步骤S3、对每个聚类簇进行纯度检测，过滤掉不属于相应聚类簇类别的人脸图像，并删除不符合条件的聚类簇；

步骤S4、对过滤后的聚类簇通过空间注意力网络提取集合特征，计算聚类簇之间的距离并不断融合得到最终结果。

2.根据权利要求1所述的一种基于纯度检测和空间注意力网络的人脸聚类方法，其特征在于，所述步骤S1，具体包括以下步骤：

步骤S11、采用人脸识别数据集，进行人脸对齐完成数据预处理；

步骤S12、训练空间注意力网络，采用孪生神经网络结构，即采用两个共享权重的子网络构成，每个子网络由主干网络、空间注意力模块和深度特征抽取模块构成；其中，

主干网络为浅层的全卷积神经网络，用于对输入的人脸图像提取中层特征，令X＝{x_i},i＝1,2,...B表示输入的人脸图像集合，其中，x_i表示第i个输入图像，令G(·)表示主干网络的映射函数，则O＝G(X)，其中，O＝{o_i}表示中层特征，o_i＝G(x_i)表示x_i的中层特征，由输出的中层特征产生两个分支，一个分支为空间注意力模块，另一个分支为深度特征抽取模块；

深度特征抽取模块由多个卷积层与最大池化层堆叠而成，完成对输入的每一张人脸图像进行特征提取，令H(·)表示深度特征抽取模块的映射函数，则对输入x_i有f_i＝H(G(x_i))，其中，f_i表示第i个输入图像的深度特征；

空间注意力模块为一个小型的卷积神经网络，用于对人脸图像的不同区域赋予不同的关注度，其含有三个卷积层和一个全局平均池化层，最后一个卷积层的卷积核大小为1×1，且只含有一个输出通道，对于第二个卷积层输出的特征图，其各个部分对应于原人脸图像不同空间区域的局部感受野，不同通道特征图的同一位置对应原人脸图像同一区域的不同特征，利用1×1卷积核的特性，对不同通道特征图的同一位置进行加权融合，得到关于原人脸图像不同区域的重要程度，最后使用全局平局池化层以及sigmoid函数得到输入人脸图像归一化后的分数s_i，代表该人脸图像识别的难易程度，其中，s_i表示输入的第i个人脸图像x_i对应的分数；

步骤S13、对空间注意力模块的输出s_i和深度特征抽取模块的输出f_i进行加权融合，根据集合中每张人脸图像识别的难易程度，降低模糊、遮挡等难以识别的图像的注意力，增强清晰、无遮挡等容易识别的图像的关注度，其计算方式如下：

其中，u代表整个输入图像集合的一个深度特征；

步骤S14、在训练阶段，输入为两个人脸图像集合，令X₁表示输入的第一个人脸图像集合，X₂表示输入的第二个人脸图像集合，Y＝{0,1}表示对应的标签，若两个人脸集合为同一身份则Y＝1，否则Y＝0，采用对比损失作为监督信号进行训练，其表示如下：

Loss＝YD²(u₁,u₂)+(1-Y)max(m-D(u₁,u₂),0)²

其中，Loss为对比损失，D(u₁,u₂)＝||u₁-u₂||₂表示两个集合特征之间的欧式距离，u₁与u₂分别表示空间注意力网络输出的两个集合特征，m表示不同身份的集合特征之间的间距，为超参数。

3.根据权利要求1所述的一种基于纯度检测和空间注意力网络的人脸聚类方法，其特征在于，在所述步骤S2中，通过如下步骤计算初始聚类结果：

步骤S21、令N表示待聚类的人脸图像数量，构造N×N的距离矩阵Q＝[q_jk]，其中，j＝1,2,...,N表示第j行，k＝1,2,...,N表示第k列，q_jk表示第j个人脸特征和第k个人脸特征之间的欧式距离；

步骤S22、构造同样大小的N×N的二值矩阵R＝[r_jk]，其中，r_jk表示第j个人脸和k个人脸是否为同一个人，若q_jk＜T_distance则r_jk＝1，表示第j个人脸和k个人脸是同一个人，否则r_jk＝0表示不是同一个人，其中，T_distance为距离阈值由参数估计策略得来；

步骤S23、通过矩阵R得到初始的聚类结果C，其中，C＝{c_k}表示初始的聚类簇构成的集合，k＝1,2,...,K为聚类簇的编号，K为初始聚类簇的数量，c_k表示第k个聚类簇。

4.根据权利要求3所述的一种基于纯度检测和空间注意力网络的人脸聚类方法，其特征在于，在所述步骤S3中，按照以下步骤实现：

步骤S31、对每一个聚类簇c_k，计算其中所有样本对之间的平均距离l_k，其计算方式如下：

其中，|c_k|表示聚类簇c_k中的元素个数，a和b分别为聚类簇c_k中的两个样本；

步骤S32、令L＝(l₁,l₂,...,l_K)表示由每一个聚类簇c_k的平均成对距离l_k构成的向量，计算每一个聚类簇c_k的纯度p_k，其计算方式如下：

其中，Median(·)表示取向量的中位数，MAD(·)表示取向量的绝对中位差，MAD(L)＝Median(L′)，向量L′由向量L中的每一个元素与向量L的中位数Median(L)之间偏移量的绝对值l_k′构成，其表示方式如下：

l′_k＝|l_i-Median(L)|,l_k∈L,l′_k∈L′；

步骤S33、若p_k＜T_purity，则表示聚类簇c_k含有异常数据，需要进行过滤，将聚类簇编号k加入集合Z，其中，T_purity表示纯度阈值，用于对每个聚类簇进行纯度检测，为超参数，Z为需要过滤的聚类簇编号的集合；

步骤S34、对每一个需要过滤的聚类簇c_z，计算该聚类簇内每一对样本之间的距离矩阵E_z,对矩阵E_z按行进行求和，得到向量v_z，其中，z∈Z为需要过滤的聚类簇编号，v_z是由聚类簇c_z中每一个元素对总体距离的贡献程度构成的向量；

步骤S35、再次使用绝对中位差得到其计算公式如下：

其中，t为聚类簇中第t个元素的编号，为v_z中第t个元素的偏离程度；

步骤S36、将聚类簇c_z中的元素从聚类簇中删除，其中，T_deviation为偏离阈值，聚类簇中所有大于其值的元素被认为是该聚类簇中的异常点，为超参数；

步骤S37、对过滤后的所有聚类簇，将聚类簇中元素个数不足T_num的聚类簇删除，其中，T_num为聚类簇中要求所含最少元素的个数，为设定的超参数。

5.根据权利要求4所述的一种基于纯度检测和空间注意力网络的人脸聚类方法，其特征在于，所述步骤S4，具体包括以下步骤：

步骤S41、对过滤后的每一个初始聚类簇c_k，输入至空间注意力网络，为每一个聚类簇生成唯一的集合特征；

步骤S42、计算距离矩阵W，其元素为各个聚类簇集合特征之间的欧氏距离；

步骤S43、寻找距离矩阵W中的最小值元素w_min，若w_min＜T_distance则将其对应的两个聚类簇进行合并，转步骤S44，否则聚类结束，输出聚类结果；

步骤S44、将合并后的聚类簇输入空间注意力网络，得到新的集合特征，重新计算距离矩阵W，转步骤S43。