CN112347842B - 一种基于关联图的离线人脸聚类方法 - Google Patents

Abstract

本发明公开了一种基于关联图的离线人脸聚类方法，包括：获取待聚类人脸图片；利用已训练好的卷积神经网络模型对待聚类人脸图片提取人脸特征；采用KNN算法对人脸特征构建K邻近相邻节点集合；自适应计算K邻近相邻节点集合的聚类阈值；基于相邻节点构建各节点关联图并进行迭代类别聚合；基于投票机制进行多标签清洗和节点重聚类。本发明通过提出的动态K邻近相邻节点集合构建以及分类标签的动态更新技术可以在大幅提升计算效率的同时将计算资源的使用降到最低。本发明可在高度并行化基础上，实现60分钟内完成针对百万量级的人脸图像的聚类，并且无遗漏地赋予每个人脸图像唯一类别的标签。

Description

一种基于关联图的离线人脸聚类方法

技术领域

本发明涉及计算机视觉、图像处理领域，特别是一种基于关联图的离线人脸聚类方法。

背景技术

随着城市信息化的不断推进，海量的图像被存储到数据库中。但是对于已存储图像信息的处理是目前具有极大挑战的难题。其中数据自动标签化是解决这一难题的关键技术，数据的自动标签化技术可以使计算机代替人力自动对数据进行归纳整理并赋予其应有的数据信息标签。自动标签化方法中聚类算法为其核心算法，目前聚类算法常见的应用领域有人脸识别、车辆检索、行人重识别等。目前公共安全领域通常会使用聚类算法为不同的目标构建档案库，如基于人脸、行人图像的一人一档，基于车辆信息的一车一档等等。

目前常用的聚类算法如K-means(K均值)聚类，谱聚类，层次聚类等方法，对未标记的人脸图像进行分组。但是，对于大规模数据聚类，上述方法存在着严重的缺陷，如K均值聚类算法需要指定聚类中心个数，而在现实世界获取的数据是无法精确预测中心个数的。而且对于超大规模数据的处理上，上述算法需要庞大的计算资源和海量的存储空间。

发明内容

本发明的目的是要解决目前技术中无法准确、高效、自动化对大规模数据聚类、标签化方法的问题，提供一种基于关联图的离线人脸聚类方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于关联图的离线人脸聚类方法，包括如下步骤：

S1、获取待聚类人脸图片；

S2、利用已训练好的卷积神经网络模型对待聚类人脸图片提取人脸特征；

S3、采用KNN算法对人脸特征构建K邻近相邻节点集合；

S4、自适应计算K邻近相邻节点集合的聚类阈值；

S5、基于相邻节点构建各节点关联图并进行迭代类别聚合；

S6、基于投票机制进行多标签清洗和节点重聚类。

进一步地，所述S2具体包括：

S21、截取待聚类人脸图片中的人脸图像；

S22、对人脸进行人脸关键点检测，并进行人脸矫正；

S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量。

进一步地，所述S3具体包括：

S31、将每一幅人脸图像由卷积神经网络模型输出的人脸特征视作一个节点，计算当前样本节点与其他节点的人脸特征相似度；

S32、将计算的人脸特征相似度进行排序，并按预设相似度阈值选取当前节点的相邻节点，然后构建K邻近相邻节点集合。

进一步地，所述S4具体包括：

S41、根据K邻近节点集合的数据分布，计算该数据集下每个类别的平均预计节点个数size_avg-count作为后续类别聚合中节点上限数量，然后增加一定的余量cmax_size＝α·size_avg-count；

S42、首先确定阈值分布中心的位置，作为自适应阈值的基准参考，先对阈值进行量化，然后计算量化阈值统计直方图，并以频次最高的阈值为中心，以r为半径，计算出整体的基准阈值标准；

S43、以预计节点个数计算topk＝cmax_size范围内的所有节点相似度均值作为关联图分割阈值；

S44、将相邻节点集合的基准阈值和关联图分割阈值加权融合得到最终聚类阈值，最终的自适应阈值为T＝α·T_max+β·T_topk。

进一步地，所述S5具体包括：

S51、基于预设相似度阈值，初次遍历所有节点及其相邻节点构建关联图，并将处于同一关联图的节点赋予同一类别标签；

S52、将初次聚类后为赋予标签的剩余节点，以聚合分割阈值为起点，按预设阈值步长进行基于关联图不断更新每个节点的类别标签，从而实现节点的分类，进而得到初始的聚类结果。

进一步地，所述S6具体包括：

S61、对上述步骤中产生的多标签节点进行标签清洗，首先计算该节点所属类别间的两两重合度后进行融合，如果类别融合后该节点类别标签数置1，则该节点置为正常分类节点；否者，将其类别标签清空；

S62、将聚类迭代过程中形成的丢弃节点与被S61中清理标签的节点进行合并构建孤立节点集合；

S63、清理孤立节点标签，将其作为无类别标签节点；

S64、获取已有分类的类别标签映射表；

S65、获取无标签节点的相邻节点，通过节点类别标签对原节点进行标签重定义：若相邻节点均在无标签节点集合中，则将原节点及其相邻节点作为新的类别加入已有聚类结果中；若相邻节点中存在有标签节点，则通过数量投票确定原节点的归属；

S66、根据新标签，对节点进行重归类；

S67、更新无类别标签节点，进行下一次迭代。

与现有技术相比，本发明具有以下有益效果：

1、本发明针对已积累的海量数据，提供了一种自动、高效的聚类方案，可在短时间内(小时级)对百万甚至千万级数据进行准确聚类并标签化；

2、本发明采用K邻近相邻集合的动态构建方法能更好地适应不同的数据分布，能较好地解决数据样本数量不均衡问题；

3、本发明基于数据集分布特点的自适应阈值计算方法，可以使聚类算法在不同场景下可获得不同的聚类参数，大幅提升算法的泛化性，同时减少了人工参与程度，大幅提升方案的易用性；

4、本发明基于关联图的类别迭代聚合既能让不同类别尽可能分开，又可以使类内节点尽可能完备。并且基于状态转换的节点标签更替方案，可以大幅提升算法的迭代性能，以及降低对系统硬件的资源占用；

5、本发明的多标签清洗以及节点重聚类算法，能够保证最终聚类结果中每个样本具有唯一类别，并且不会出现样本遗漏。

附图说明

图1为本发明的方法在人脸识别系统中的应用。

图2为本发明的方法的基本流程。

图3为本发明的K邻近相邻节点集合构建的过程图。

图4为本发明的自适应聚类阈值计算图表。

图5为本发明的迭代聚合流程示意图。

图6为本发明的迭代聚类的过程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定发明。

如图1、图2所示，本实施例提供了一种基于关联图的离线人脸聚类方法，包括如下步骤：

步骤一、获取待聚类人脸图片；

步骤二、截取待聚类人脸图片中的人脸图像；对人脸进行人脸关键点检测，并进行人脸矫正；将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量；

步骤三、采用KNN算法对人脸特征构建K邻近相邻节点集合：

若将人脸视作一个节点，则在其特征空间中同一个人的节点会集中于同一个区域，当两个节点的特征相似度满足预定条件(相似度阈值)时，则认为这两个节点在特征空间是相邻的，若将两个节点连接则可形成一个边，这样所有的边就形成了不同的关联图(Affinity Graph)，如图1中所示。这些关联图中的节点可以认为是相互连通的，也就代表这些节点同属一类。因此，本实施例中将每一幅人脸图像由卷积神经网络模型输出的人脸特征视作一个节点，计算当前样本节点与其他节点的人脸特征相似度；

将计算的人脸特征相似度进行排序，并按预设相似度阈值选取当前节点的相邻节点，然后构建K邻近相邻节点集合。

KNN计算目的在于为每个节点找到其相邻节点的集合如图3所示。与一般方案不同，本发明采用固定相似度阈值进行相邻范围划分的方案，如图3中左侧KNN结果所示。使用高置信度阈值即认为超过该阈值的节点均为可接受的有效节点，并且，本发明采用可变阈值设定，其设定如下式，其中th为预定阈值，n_nei为相邻节点的数量，offset为阈值偏移量：

对于离散度较强的人脸聚类，算法采用较低阈值保证其相邻节点的留存，从而减少孤立节点的产生。采用动态方式的优势在于：其一，极大的避免了一类多分的情况；其二，保留充分的相邻节点可以在更少的遍历下，生成大数量类别的Graph，以加快聚类的速度。

步骤四、自适应计算K邻近相邻节点集合的聚类阈值：

对于不同场景、不同特征，聚类算法中无法只使用一组参数进行全场景适配，因此需要进行自适应地参数调整。需要自适应计算的参数有两个：其一，聚类分割相似度阈值；其二，类别预计的节点个数。

首先，基于K相邻节点集合，可以获得当前数据的大致分布。然后，从其中提取出合适的相似度阈值以及预计的类别节点数量。为保证相邻节点集合的召回率，方案将计算KNN计算的阈值调整到最低阈值(如0.4)。基于此，统计K相邻节点集合长度直方图，选取直方图中频次大于5的节点集合，计算其平均相邻节点个数size_avg-count作为后续ID聚合中节点上限数量。实现时，会基于此长度增加一定的余量取cmax_size＝α·size_avg-count，如α＝1.5。

对于自适应阈值的计算方法，本发明结合两种不同的阈值计算方法进行计算，以提升最终结果的鲁棒性。方法1，首先确定阈值分布中心的位置，作为自适应阈值的基准参考。先对阈值进行量化，然后计算量化阈值统计直方图，并以频次最高的阈值为中心，以r为半径，计算出整体的基准阈值标准。方法2，基于阈值统计直方图计算topk＝cmax_size范围内的所有节点相似度均值作为关联图分割的阈值；最终的自适应阈值为T＝α·T_max+β·T_topk，如图4所示。

步骤五、基于相邻节点构建各节点关联图并进行迭代类别聚合：

基于预设相似度阈值(如0.4)，初次遍历所有节点及其相邻节点构建关联图，并将处于同一关联图的节点赋予同一类别标签；

将初次聚类后为赋予标签的剩余节点，以聚合分割阈值为起点，按预设阈值步长(如0.05)进进行基于关联图不断更新每个节点的类别标签，从而实现节点的分类，进而得到初始的聚类结果；

类别聚合流程如图5所示，通过遍历所有节点及其相邻节点，构建关联图，得到聚类结果。聚合过程中存在4种不同状态的节点：1)原始节点，即未被分类的节点；2)已分类节点，即被正常分类的节点，每个节点具有其自己的类别标签；3)保留节点，当一个类别集合中节点个数超过预设的最大节点限制，或者当前类别集合与保留集合有关联，则认为该集合中所有节点应保留到下一次迭代中使用更高的阈值进行分割聚类，故称之为保留节点；4)丢弃节点，即与当前所遍历的节点相似度低于当前分割阈值的相邻节点(图5中红线连接的节点)。

迭代聚合过程中存在的4种节点状态(对应上述4种情况)：1)正常分类状态，即被分类且所属类别只有一个；2)保留状态，满足保留条件后，该节点会被置为保留态；3)多标签状态，即一个节点被赋予多个标签；4)丢弃状态，即表示该节点为丢弃节点。方案将丢弃状态赋予类标签为-1，保留状态作为一类，其类别标签置为-2，正常标签>＝0。聚类迭代的过程中会根据关联图不断更新每个节点的类别标签，从而实现节点的分类。

为保留每个节点的完整分类信息，本方案将每个节点标签以序列的形式存储，当本次循环处理完毕后，会将保留节点的类标签序列清空，作为未处理节点传递到下次聚合迭代中。此外，分配标签时如果发现待分配节点已经存在了-2的标签，则认为该节点及其同属一类的节点都将置为保留节点，从而实现了原有方案中的交、并集合处理，并大大提升了处理速度。迭代过程示意图如图6所示。

步骤六、基于投票机制进行多标签清洗和节点重聚类：

对于被多归类的节点，其形成原因有两种：其一，原本的一类被分配了两种类别标签(即聚类分散)；其二，该节点与不同两类都比较接近。对于上述两种情况的处理，首先在节点的标签序列中获取其所有可能的所属类别，然后通过计算类别节点集合的重合度进行多类合并，若合并完成后该节点的类别标签仍大于1，则清空当前节点的类别标签，防止错误聚类出现。如此，一方面可以减轻聚类分散的情况，另一方面可以降低错误聚类的概率。具体实施时，对上述步骤中产生的多标签节点进行标签清洗，首先计算该节点所属类别间的两两重合度，并将重合度大于0.3的类别进行融合，如果类别融合后该节点类别标签数置1，则该节点置为正常分类节点；否者，将其类别标签清空；

将聚类迭代过程中形成的丢弃节点与被清理标签的节点进行合并构建孤立节点集合；

虽然迭代式的聚类既能让不同类别尽可能分开，又可以使类内节点尽可能完备，但阈值的迭代会断开节点间的连接，即舍弃一些节点完成子簇分离。若将这些节点以及被标签的节点作为一类时就会形成孤立节点，如图5中的蓝色、绿色节点，从而导致一个节点占用一个类别标签，即原有的一个类别会产生巨量的新类别，有时会达到5倍以上。因此，方案提出了re-cluster(重聚类)模块处理该问题，该模块采用投票机制，利用相邻节点类别标签对孤立节点进行投票重归类，其步骤如下：

1.清理孤立节点标签，将其作为无类别标签节点；

2.获取已有分类的类别标签映射表；

3.获取无标签节点的相邻节点，通过节点类别标签对原节点进行标签重定义：若相邻节点均在无标签节点集合中，则将原节点及其相邻节点作为新的类别加入已有聚类结果中；若相邻节点中存在有标签节点，则通过数量投票确定原节点的归属；

4.根据新标签，对节点进行重归类；

5更新无类别标签节点，进行下一次迭代。

综述，本发明通过提出的动态K邻近相邻节点集合构建以及分类标签的动态更新技术可以在大幅提升计算效率的同时将计算资源的使用降到最低。本发明可在高度并行化基础上，实现60分钟内完成针对百万量级的人脸图像的聚类，并且无遗漏地赋予每个人脸图像唯一类别的标签。实现了一种高效、准确的离线人脸聚类方案。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (5)

1.一种基于关联图的离线人脸聚类方法，其特征在于，包括如下步骤：

S1、获取待聚类人脸图片；

S2、利用已训练好的卷积神经网络模型对待聚类人脸图片提取人脸特征；

S3、采用KNN算法对人脸特征构建K邻近相邻节点集合；

S4、自适应计算K邻近相邻节点集合的聚类阈值；

S41、根据K邻近节点集合的数据分布，计算K邻近节点集合下每个类别的平均预计节点个数size_avg-count作为后续类别聚合中节点上限数量，然后增加余量cmax_size＝α·size_avg-count，α＝1.5；

S42、首先确定阈值分布中心的位置，作为自适应阈值的基准参考，先对阈值进行量化，然后计算量化阈值统计直方图，并以频次最高的阈值为中心，以r为半径，计算出整体的基准阈值标准；

S43、以预计节点个数计算topk＝cmax_size范围内的所有节点相似度均值作为关联图分割阈值；

S44、将相邻节点集合的基准阈值和关联图分割阈值加权融合得到最终聚类阈值，最终的自适应阈值为T＝λ·T_max+β·T_topk；

S5、基于相邻节点构建各节点关联图并进行迭代类别聚合；

S6、基于投票机制进行多标签清洗和节点重聚类。

2.根据权利要求1所述的基于关联图的离线人脸聚类方法，其特征在于，所述S2具体包括：

S21、截取待聚类人脸图片中的人脸图像；

S22、对人脸进行人脸关键点检测，并进行人脸矫正；

S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量。

3.根据权利要求2所述的基于关联图的离线人脸聚类方法，其特征在于，所述S3具体包括：

S31、将每一幅人脸图像由卷积神经网络模型输出的人脸特征视作一个节点，计算当前样本节点与其他节点的人脸特征相似度；

S32、将计算的人脸特征相似度进行排序，并按预设相似度阈值选取当前节点的相邻节点，然后构建K邻近相邻节点集合。

4.根据权利要求1所述的基于关联图的离线人脸聚类方法，其特征在于，所述S5具体包括：

S51、基于预设相似度阈值，初次遍历所有节点及其相邻节点构建关联图，并将处于同一关联图的节点赋予同一类别标签；

S52、将初次聚类后为赋予标签的剩余节点，以聚合分割阈值为起点，按预设阈值步长进行基于关联图不断更新每个节点的类别标签，从而实现节点的分类，进而得到初始的聚类结果。

5.根据权利要求4所述的基于关联图的离线人脸聚类方法，其特征在于，所述S6具体包括：

S61、对上述步骤中产生的多标签节点进行标签清洗，首先计算该节点所属类别间的两两重合度后进行融合，如果类别融合后该节点类别标签数置1，则该节点置为正常分类节点；否者，将其类别标签清空；

S62、将聚类迭代过程中形成的丢弃节点与被S61中清理标签的节点进行合并构建孤立节点集合；

S63、清理孤立节点标签，将其作为无类别标签节点；

S64、获取已有分类的类别标签映射表；

S65、获取无标签节点的相邻节点，通过节点类别标签对原节点进行标签重定义：若相邻节点均在无标签节点集合中，则将原节点及其相邻节点作为新的类别加入已有聚类结果中；若相邻节点中存在有标签节点，则通过数量投票确定原节点的归属；

S66、根据新标签，对节点进行重归类；

S67、更新无类别标签节点，进行下一次迭代。