CN111738341A - 一种分布式大规模人脸聚类方法及装置 - Google Patents

Abstract

本申请实施例公开了一种分布式大规模人脸聚类方法及装置。本申请实施例提供的技术方案，通过将待聚类人脸图片进行分批聚类并汇总聚类结果，得到聚类集合和未聚类集合，从聚类集合的每个类中抽取设定数量的人脸图片构成代表类，并计算每一个未聚类人脸图片与每个代表类的相似度距离，得到相似度距离集合，基于相似度距离集合将未聚类人脸图片聚类到最相似的代表类中，并根据设定的链接阈值确定各个未聚类人脸图片与对应的代表类的链接关系，基于链接关系合并各个代表类，输出合并结果。采用上述技术手段，可以减少大规模人脸数据聚类的数据计算量，减少内存的消耗，在保障聚类结果稳定的前提下提升人脸聚类效率。

Description

一种分布式大规模人脸聚类方法及装置

技术领域

本申请实施例涉及数据聚类技术领域，尤其涉及一种分布式大规模人脸聚类方法及装置。

背景技术

目前，在智能安防的众多业务场景中，都需要对大量无标签人脸数据做聚类处理，简化人脸数据标注过程或达到其他数据处理目的。人脸聚类核心要解决的问题是将收集的N张无标签相片划分成M个人，且“M”是事先未知的。人脸聚类算法大多通过获取人脸图片，利用现有特征提取技术，提取人脸图片的特征向量，根据提取的特征向量和一定的聚类算法，对所有待聚类人脸图片进行聚类。聚类算法对待聚类人脸图片进行聚类的时候，往往需要对人脸特征进行两两比较获取相似度值，并将其存储到一个人脸相似矩阵中，以此来实现较好的人脸聚类效果。

但是，现有人脸聚类算法在人脸数据的数量级较小时，可以得到令人满意的聚类效果及执行性能。而在人脸数据的数量级较大时，数据聚类的计算复杂度也相应地增高，并且需要大量的存储空间来存储任意两张人脸数据的相似度值。其数据聚类的耗时相对较长，并且，内存消耗的增长会导致系统内存不足，进一步影响人脸数据聚类效率。

发明内容

本申请实施例提供一种分布式大规模人脸聚类方法及装置，能够减少大规模人脸数据聚类的数据计算量，提升人脸数据聚类效率。

在第一方面，本申请实施例提供了一种分布式大规模人脸聚类方法，包括：

将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；

从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；

基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；

根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

进一步的，将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，包括：

按设定的批量将待聚类人脸图片进行分批聚类并汇总聚类结果；

将所述聚类结果中各个类包含的人脸图片数量与设定的数量阈值比对，若人脸图片数量大于所述数量阈值，将对应类放入聚类集合，若人脸图片数量小于或等于所述数量阈值，将对应类包含的人脸图片作为未聚类人脸图片放入未聚类集合。

进一步的，基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中，包括：

根据所述相似度距离集合确定所述未聚类人脸图片最相似的所述代表类，并将对应的相似度距离比对设定的添加阈值，若相似度距离大于所述添加阈值，则将对应的所述未聚类人脸图片添加到最相似的所述代表类中。

进一步的，根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果，包括：

根据设定的链接阈值确定所述相似度距离集合中与所述未聚类人脸图片链接的所述代表类，将所述未聚类人脸图片和对应链接的所述代表类作为链接元素放入链接集合中；

提取各个所述链接元素中包含的所述代表类作为类合并元素添加到第一合并集合中，计算每个所述类合并元素中各个所述代表类之间的相似度，并将相似度计算结果大于设定类合并阈值的所述类合并元素添加到第二类合并集合中；

将所述第二类合并集合中存在交集的各个所述类合并元素合并，输出合并结果。

进一步的，根据设定的链接阈值确定所述相似度距离集合中与所述未聚类人脸图片链接的所述代表类，将所述未聚类人脸图片和对应链接的所述代表类作为链接元素放入链接集合中，包括：

确定所述相似度距离集合中大于设定链接阈值的相似度距离元素；

基于所述相似度距离元素确定所述链接元素，将所述链接元素放入链接集合中，一个所述链接元素包括一张所述未聚类人脸图片和多个对应链接的所述代表类。

进一步的，在基于所述相似度距离元素确定所述链接元素，将所述链接元素放入链接集合中之后，还包括：

将所述链接元素中的所述未聚类人脸图片与各个所述代表类的相似度距离进行排序，基于设定的链接数量上限按相似度距离从大到小筛选并保留对应数量的所述代表类。

进一步的，提取各个所述链接元素中包含的所述代表类作为类合并元素添加到第一合并集合中，计算每个所述类合并元素中各个所述代表类之间的相似度，并将相似度计算结果大于设定类合并阈值的所述类合并元素添加到第二类合并集合中，包括：

以所述链接元素中包含的所述代表类作为类合并元素，将所述类合并元素添加到第一合并集合中；

从所述类合并元素的各个所述代表类中抽取设定数量的人脸图片，并基于设定的相似度计算公式计算每个所述类合并元素中各个所述代表类之间的相似度，得到对应的相似度计算结果；

将所述相似度计算结果与设定类合并阈值比对，提取所述相似度计算结果大于设定类合并阈值的所述类合并元素，添加至第二类合并集合中。

在第二方面，本申请实施例提供了一种分布式大规模人脸聚类装置，包括：

第一聚类模块，用于将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；

计算模块，用于从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；

第二聚类模块，用于基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；

合并模块，用于根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

在第三方面，本申请实施例提供了一种电子设备，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的分布式大规模人脸聚类方法。

在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的分布式大规模人脸聚类方法。

本申请实施例通过将待聚类人脸图片进行分批聚类并汇总聚类结果，得到聚类集合和未聚类集合，从聚类集合的每个类中抽取设定数量的人脸图片构成代表类，并计算每一个未聚类人脸图片与每个代表类的相似度距离，得到相似度距离集合，基于相似度距离集合将未聚类人脸图片聚类到最相似的代表类中，并根据设定的链接阈值确定各个未聚类人脸图片与对应的代表类的链接关系，基于链接关系合并各个代表类，输出合并结果。采用上述技术手段，可以有效减少大规模人脸数据聚类的数据计算量，减少内存的消耗，在保障聚类结果稳定的前提下提升人脸聚类效率。

附图说明

图1是本申请实施例一提供的一种分布式大规模人脸聚类方法的流程图；

图2是本申请实施例一中的分批聚类流程图；

图3是本申请实施例一中的类合并流程图；

图4是本申请实施例一中的链接元素确定流程图；

图5是本申请实施例一中的类合并元素添加流程图；

图6是本申请实施例一中的分批聚类及类合并流程图；

图7是本申请实施例二提供的一种分布式大规模人脸聚类装置的结构示意图；

图8是本申请实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本申请提供的一种分布式大规模人脸聚类方法，旨在通过对分批聚类结果进行未聚类人脸图片再次聚类及类合并操作，以此来减少人脸图片聚类的数据量级，降低计算复杂度并减少内存的消耗。相对于传统的人脸聚类算法，其在对待聚类图片进行聚类的时候，往往需要对人脸特征进行两两比较获取相似度值并将其存储到一个人脸相似矩阵中。这些人脸聚类算法在数量级较小时能得到令人满意的效果及执行性能。但是在数量级较大时，其计算复杂度相对较高，并且需要大量存储空间来存储任意两张人脸的相似值。显然，当人脸图片的数量较多时，传统的人脸聚类方法的耗时较大，且会因内存消耗急剧增长而致使系统内存不足，影响计算效率。基于此，提供本申请实施例的一种分布式大规模人脸聚类方法，以解决现有人脸聚类算法计算复杂，效率低下的技术问题。

实施例一：

图1给出了本申请实施例一提供的一种分布式大规模人脸聚类方法的流程图，本实施例中提供的分布式大规模人脸聚类方法可以由分布式大规模人脸聚类设备执行，该分布式大规模人脸聚类设备可以通过软件和/或硬件的方式实现，一般而言，该分布式大规模人脸聚类设备可以是电脑，服务器主机等计算设备。

下述以分布式大规模人脸聚类设备为执行分布式大规模人脸聚类方法的主体为例，进行描述。参照图1，该分布式大规模人脸聚类方法具体包括：

S110、将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片。

本申请实施例中，对大规模数量的人脸图片采用分批聚类的方式进行第一次人脸聚类。在进行分批聚类时，根据预先设定的批量，将待聚类人脸图片分成若干部分，进一步分批进行人脸图片聚类。其中，在对每一批量的人脸图片进行人脸聚类时，通过计算每一批量的待聚类人脸图片中每两张人脸的相似度，生成人脸相似度矩阵。进一步依据人脸相似度矩阵确定成对相似人脸，依据成对相似人脸之间的传递关系生成传递相似人脸。通过确定传递相似人脸之间的簇间相似度，依据簇间相似度确定每个传递相似人脸的相似簇。之后，将满足设定相似度值的相似簇进行合并，根据合并结果确定人脸聚类分组，以此得到对应待聚类人脸图片的多个类。需要说明的是，基于待聚类人脸图片聚类得到对应的多个类的方法有很多，本申请实施例在此不做固定限制。实际应用中，根据聚类需要，可适应性选择一人脸聚类算法进行人脸图片聚类，得到对应的多个类。

具体的，参照图2，提供本申请实施例分批聚类的流程图，其中，分批聚类流程包括：

S1101、按设定的批量将待聚类人脸图片进行分批聚类并汇总聚类结果；

S1102、将所述聚类结果中各个类包含的人脸图片数量与设定的数量阈值比对，若人脸图片数量大于所述数量阈值，将对应类放入聚类集合，若人脸图片数量小于或等于所述数量阈值，将对应类包含的人脸图片作为未聚类人脸图片放入未聚类集合。

示例性的，给定N张待聚类人脸图片{p₁,p₂,…,p_N},在进行分批聚类时，按照设定的批量a(如a＝5000张)分成“N/a”批。其中，对于取余的部分少于a的待聚类人脸图片，则自成一批次进行人脸聚类。在一些实施例中，根据系统的实际计算能力，也可以将取余的部分少于a的待聚类人脸图片归类到某一完整批次中进行人脸聚类。在对待聚类人脸图片进行分批聚类时，选择一人脸聚类算法将待聚类人脸图片进行第一次人脸聚类得到对应的多个类，进一步将各批次进行人脸聚类得到的聚类结果汇总。可以理解的是，完成第一次人脸聚类后得到的每一个类中，均包含了若干张人脸图片。

进一步的，基于上述分批聚类汇总到的聚类结果{c₁,c₂,…,c_m}，判断聚类结果{c₁,c₂,…,c_m}中每一个类c_n(n∈[1，m])包含的人脸图片数量是否大于预先设定的数量阈值k，如若大于k张，则将这一类放入聚类集合C中，其中C＝{c_n|||c||_n≥k,n＝1，2，....m}。反之，如若某一类包含的人脸图片数量小于或等于k张，则将这一类包含的人脸图片放入未聚类集合UC中。其中,未聚类集合UC的表达式为

可以理解的是，如若某一类的人脸图片未达到数量阈值k,则认为这一类中包含的人脸图片是未达到聚类要求的，将其中所包含的所有人脸图片作为未聚类人脸图片p_j归类至未聚类集合UC中。以此即可得到对应的聚类集合及未聚类集合。其中，聚类集合中的元素为类，并且每一个类c_n包含了大于k张的人脸图片。未聚类集合中的元素为未聚类人脸图片p_j。

S120、从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合。

基于人脸聚类得到的聚类集合C，为了减少数据计算量，本申请实施例采用随机抽取的方式在对聚类集合C中的每个类c_n随机抽取q(q≤k)张人脸图片，以这些人脸图片作为对应类的代表人脸图片，构成相应的代表类c_i。进一步将每一个代表类c_i放入代表集合RC中。需要说明的是，此时代表集合RC中的元素个数同聚类集合C相等，代表集合RC中每个元素是聚类集合C中对应元素的子集。

在一个实施例中，对聚类集合中的每个类c_n进行人脸图片抽取时，采用设定的抽取方法进行人脸图片抽取。其中，对应每一个类c_n，先确定其中相似度距离最小的两个人脸图片(本申请实施例中相似度距离取值为[0，1]，其值越大则两张人脸图片越相似)，该两个人脸图片即为对应类中最不相似的两个样本。以该两个样本中的一个样本作为候选样本，计算对应类中候选样本与其他人脸图片的相似度距离，定义这一相似度距离为第一相似度距离。将计算得到的第一相似度距离从小到大或者从大到小排序得到对应的样本序列。该样本序列中，各个人脸图片与候选样本从最相似到最不相似或者从最不相似到最相似进行排序。基于上述样本序列，按照设定的相似度距离间隔依序进行样本抽取，得到设定数量个抽样样本(即q(q≤k)张人脸图片)，进而以这些抽样样本作为代表人脸图片构成对应的代表类c_i，以此完成各个类的人脸图片抽取。需要说明的是，在对样本序列进行样本抽取时，不简单按照样本排序进行一定样本数量间隔抽取。而是根据样本的相似度距离间隔进行样本抽取。以此可以保障抽取到的样本均衡，具备对应类的高代表性。

进一步的，基于抽取得到的代表集合RC，计算未聚类集合UC中每一张未聚类人脸图片p_j与代表集合RC中的各个代表类c_i的平均相似度。其中，相似度的计算公式为：

其中，p_j∈UC，p_l∈c_i，c_i∈RC，式中d(p_j,p_l)表示第j张人脸图片同代表类c_i中第l张人脸图片的相似度，md(p_j,c_i)表示第j张人脸图片同第i类的相似度距离。以此，可以得到第j张人脸图片与代表集合RC中所有代表类c_i的相似度距离集合MD_j＝{md(p_j,c_i)|c_i∈RC}。基于该相似度距离集合，即可进行人脸匹配将未聚类人脸图片p_j聚类至对应的代表类c_i中。

S130、基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中。

具体的，在将未聚类集合UC中的未聚类人脸图片p_j聚类至代表集合RC的对应代表类c_i时，根据所述相似度距离集合确定所述未聚类人脸图片p_j最相似的所述代表类，并将对应的相似度距离比对设定的添加阈值，若相似度距离大于所述添加阈值，则将对应的所述未聚类人脸图片p_j添加到最相似的所述代表类c_i中。示例性的，基于未聚类集合UC的第j张人脸图片，找到其与代表集合RC中最相似的代表类c_i，即集合MD_j中值最大(即相似度距离最大)的元素所对应的代表类c_i，记为maxMD_j。如果maxMD_j大于指定的添加阈值，则将该人脸图片直接加入对应的代表类c_i中，以此完成未聚类人脸图片p_j的再次聚类。

需要说明的是，由于存在部分maxMD_j小于添加阈值的情况，则对应的这部分未聚类人脸图片p_j需要返回上述步骤S110，重新进行分批聚类。以此迭代聚类若干次，若还存在部分未聚类人脸图片，则将这部分未聚类的人脸图片丢弃。

S140、根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

最终，基于聚类得到的各个代表类c_i，通过类合并的方式进一步减少数据计算量。其中，通过未聚类集合UC中的各个未聚类人脸图片p_j来确定各个代表类c_i之间的链接关系，并进一步基于已确定的链接关系来将对应的代表类c_i合并在一起。需要说明的是，此时使用的未聚类集合UC，其包含的未聚类人脸图片p_j尚未进一步聚类，即此时未聚类集合UC中包含了分批聚类后所有未完成聚类的未聚类人脸图片p_j。参照图3，类合并的流程包括：

S1401、根据设定的链接阈值确定所述相似度距离集合中与所述未聚类人脸图片链接的所述代表类，将所述未聚类人脸图片和对应链接的所述代表类作为链接元素放入链接集合中。

具体的，在确定未聚类人脸图片p_j与对应代表类c_i的链接关系时，以链接元素的形式来表示两者的链接关系，并且使用相似度距离作为判断指标来确定链接元素。其中，参照图4，链接元素确定流程包括：

S14011、确定所述相似度距离集合中大于设定链接阈值的相似度距离元素。

S14012、基于所述相似度距离元素确定所述链接元素，将所述链接元素放入链接集合中，一个所述链接元素包括一张所述未聚类人脸图片和多个对应链接的所述代表类。

示例性的，对于未聚类集合UC中的第j张人脸图片与代表集合RC所有代表类c_i的相似度距离集合MD_j，判断相似度距离集合MD_j中的每个相似度距离元素md(p_j,c_i)是否大于指定链接阈值link_threhold。如果大于指定链接阈值，则将相似度距离元素md(p_j,c_i)中对应的人脸图片和代表类c_i添加到链接集合LPC中，最终得到该链接集合LPC。其中，链接集合LPC表示为：

LPC＝{(p_j,c_i)|md(p_j,c_i)≥link_threhold,p_j∈UC,c_i∈RC}

可以理解的是，对于一张未聚类人脸图片p_j，其在相似度距离集合MD_j中，存在多个相应的大于指定链接阈值link_threhold的相似度距离元素md(p_j,c_i)。则以此确定的对应同一张未聚类人脸图片p_j的链接元素，其包含的各个代表类c_i存在相应的链接关系。并且，对于同一个代表类c_i，可以同时链接到不同的未聚类人脸图片p_j，即相似度距离元素md(p_j,c_i)中，一个代表类c_i会与不同的未聚类人脸图片p_j构成相似度距离元素md(p_j,c_i)。

需要说明的是，为了避免一张未聚类人脸图片p_j链接的代表类c_i过多，在一个实施例中，将所述链接元素中的所述未聚类人脸图片p_j与各个所述代表类c_i的相似度距离进行排序，基于设定的链接数量上限按相似度距离从大到小筛选并保留对应数量的所述代表类c_i。通过给定一个链接数量上限L，统计链接集合LPC的每个元素中，第p_j张人脸链接代表类c_i的数量，如若数量大于给定链接数量上限L，则保留第p_j张人脸图片所对应的链接元素中，其md(p_j,c_i)值从大到小排序后的前L个代表类c_i，并将其余部分筛除。

S1402、提取各个所述链接元素中包含的所述代表类作为类合并元素添加到第一合并集合中，计算每个所述类合并元素中各个所述代表类之间的相似度，并将相似度计算结果大于设定类合并阈值的所述类合并元素添加到第二类合并集合中。

根据链接集合LPC，基于已确定的链接关系进行第一次类合并操作。其中，通过将链接同一未聚类人脸图片p_j的所有代表类c_i归类为同一个元素，定义这一元素为类合并元素，基于类合并元素进一步进行归类添加，确定相应的类合并集合。其中，参照图5，类合并元素添加的流程包括：

S14021、以所述链接元素中包含的所述代表类作为类合并元素，将所述类合并元素添加到第一合并集合中；

S14022、从所述类合并元素的各个所述代表类中抽取设定数量的人脸图片，并基于设定的相似度计算公式计算每个所述类合并元素中各个所述代表类之间的相似度，得到对应的相似度计算结果；

S14023、将所述相似度计算结果与设定类合并阈值比对，提取所述相似度计算结果大于设定类合并阈值的所述类合并元素，添加至第二类合并集合中。

示例性的，基于链接集合LPC，确定各个链接元素中包含的相似类。可以理解的是，一个链接元素中，链接到同一个未聚类人脸图片p_j的各个代表类c_i，则为存在一定相似度的相似类。将这些代表类c_i作为类合并元素放入同一集合中，定义这一集合为第一类合并集合SC，即该第一类合并集合SC为相似类集合。并且，需要说明的是，由于对应同一个代表类c_i，可以同时链接到不同的未聚类人脸图片p_j。则根据链接元素确定的各个类合并元素中，不同的类合并元素之间也同样可以包含同一个代表类c_i。举例而言，如有未聚类人脸图片p_j中的一张人脸图片p_k同时链接到了代表类c_i中的类c_k和类c_j，则将类c_k和类c_j作为类合并元素(c_k,c_j)添加到第一类合并集合SC中。其公式表达式为：

SC＝{(c_k,c_j)|(p_k,c_k)≥link_threholdand(p_k,c_j)≥link_threhold

进一步的，基于该第一类合并集合SC中的所有类合并元素(c_k,c_j)，判断类合并元素(c_k,c_j)中各个代表类c_i是否满足合并条件。如若满足合并条件，则将其该类合并元素(c_k,c_j)放入同一个集合中，定义该集合为第二类合并集合MSC。其中，基于设定的相似度计算公式，判断第一类合并集合中的类合并元素的各个代表类是否满足合并条件。具体的，对应第一类合并集合SC中的所有类合并元素(c_k,c_j)，从类c_k和类c_j中分别随机抽取g张人脸图片，分别记为

和

根据相似度计算公式计算

和

的相似度：

其中，

进一步根据计算得到的相似度MCD(c_k,c_j)比对预先设定的类合并阈值merge_threshold(即两部分人脸图片的相似度阈值)，如若MCD(c_k,c_j)大于设定的类合并阈值merge_threshold，则认为对应类合并元素中的两个代表类达到一定的相似度指标，将这一类合并元素放入第二类合并集合MSC中。

计算表达式为：

MSC＝{(c_k,c_j)|MCD(c_k,c_j)≥merge_threshold,(c_k,c_j)∈SC}

S1403、将所述第二类合并集合中存在交集的各个所述类合并元素合并，输出合并结果。

最终，由于根据链接元素确定的各个类合并元素中，不同的类合并元素之间也同样可以包含同一个代表类c_i，则各个类合并元素之间会存在代表类的交集。基于此，对第二类合并集合中的类合并元素进行再次合并，合并有交集的元素。举例而言，类合并元素a和类合并元素b存在代表类的交集，类合并元素b和类合并元素c存在代表类的交集，类合并元素a和类合并元素d存在代表类的交集，则将类合并元素a、b、c和d合并成一个档案，以此类推，完成第二类合并集合MSC的聚类，输出聚类结果。

参照图6，提供本申请实施例的分批聚类及类合并流程图，本申请实施例通过分批聚类，选取一个人脸聚类算法，对待聚类人脸图片按照指定批量的人脸图片进行分批人脸聚类，如按照每5000张人脸分批聚类。进一步进行人脸匹配，基于已聚成类的人脸图片和未聚成类的人脸图片，将未聚成类的人脸图片按照指定添加阈值添加到已聚成类的人脸图片中去，并对仍旧未聚成类的人脸图片进行新一轮人脸聚类。最终通过类合并，对已经聚成类的人脸图片进行类与类之间的合并，以此完成分布式的大规模人脸聚类，减少数据计算量。

上述，通过将待聚类人脸图片进行分批聚类并汇总聚类结果，得到聚类集合和未聚类集合，从聚类集合的每个类中抽取设定数量的人脸图片构成代表类，并计算每一个未聚类人脸图片与每个代表类的相似度距离，得到相似度距离集合，基于相似度距离集合将未聚类人脸图片聚类到最相似的代表类中，并根据设定的链接阈值确定各个未聚类人脸图片与对应的代表类的链接关系，基于链接关系合并各个代表类，输出合并结果。采用上述技术手段，可以减少大规模人脸数据聚类的数据计算量，减少内存的消耗，在保障聚类结果稳定的前提下提升人脸聚类效率。

实施例二：

在上述实施例的基础上，图7为本申请实施例二提供的一种分布式大规模人脸聚类装置的结构示意图。参考图7，本实施例提供的分布式大规模人脸聚类装置具体包括：第一聚类模块21、计算模块22、第二聚类模块23和合并模块24。

其中，第一聚类模块21用于将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；

计算模块22用于从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；

第二聚类模块23用于基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；

合并模块24用于根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

上述，通过将待聚类人脸图片进行分批聚类并汇总聚类结果，得到聚类集合和未聚类集合，从聚类集合的每个类中抽取设定数量的人脸图片构成代表类，并计算每一个未聚类人脸图片与每个代表类的相似度距离，得到相似度距离集合，基于相似度距离集合将未聚类人脸图片聚类到最相似的代表类中，并根据设定的链接阈值确定各个未聚类人脸图片与对应的代表类的链接关系，基于链接关系合并各个代表类，输出合并结果。采用上述技术手段，可以减少大规模人脸数据聚类的数据计算量，减少内存的消耗，在保障聚类结果稳定的前提下提升人脸聚类效率。

本申请实施例二提供的分布式大规模人脸聚类装置可以用于执行上述实施例一提供的分布式大规模人脸聚类方法，具备相应的功能和有益效果。

实施例三：

本申请实施例三提供了一种电子设备，参照图8，该电子设备包括：处理器31、存储器32、通信模块33、输入装置34及输出装置35。该电子设备中处理器的数量可以是一个或者多个，该电子设备中的存储器的数量可以是一个或者多个。该电子设备的处理器、存储器、通信模块、输入装置及输出装置可以通过总线或者其他方式连接。

存储器32作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的分布式大规模人脸聚类方法对应的程序指令/模块(例如，分布式大规模人脸聚类装置中的第一聚类模块、计算模块、第二聚类模块和合并模块)。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块33用于进行数据传输。

处理器31通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的分布式大规模人脸聚类方法。

输入装置34可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置35可包括显示屏等显示设备。

上述提供的电子设备可用于执行上述实施例一提供的分布式大规模人脸聚类方法，具备相应的功能和有益效果。

实施例四：

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种分布式大规模人脸聚类方法，该分布式大规模人脸聚类方法包括：将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的分布式大规模人脸聚类方法，还可以执行本申请任意实施例所提供的分布式大规模人脸聚类方法中的相关操作。

上述实施例中提供的分布式大规模人脸聚类装置、存储介质及电子设备可执行本申请任意实施例所提供的分布式大规模人脸聚类方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的分布式大规模人脸聚类方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种分布式大规模人脸聚类方法，其特征在于，包括：

将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；

从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；

基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；

根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

2.根据权利要求1所述的分布式大规模人脸聚类方法，其特征在于，将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，包括：

按设定的批量将待聚类人脸图片进行分批聚类并汇总聚类结果；

将所述聚类结果中各个类包含的人脸图片数量与设定的数量阈值比对，若人脸图片数量大于所述数量阈值，将对应类放入聚类集合，若人脸图片数量小于或等于所述数量阈值，将对应类包含的人脸图片作为未聚类人脸图片放入未聚类集合。

3.根据权利要求1所述的分布式大规模人脸聚类方法，其特征在于，基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中，包括：

根据所述相似度距离集合确定所述未聚类人脸图片最相似的所述代表类，并将对应的相似度距离比对设定的添加阈值，若相似度距离大于所述添加阈值，则将对应的所述未聚类人脸图片添加到最相似的所述代表类中。

4.根据权利要求1所述的分布式大规模人脸聚类方法，其特征在于，根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果，包括：

根据设定的链接阈值确定所述相似度距离集合中与所述未聚类人脸图片链接的所述代表类，将所述未聚类人脸图片和对应链接的所述代表类作为链接元素放入链接集合中；

提取各个所述链接元素中包含的所述代表类作为类合并元素添加到第一合并集合中，计算每个所述类合并元素中各个所述代表类之间的相似度，并将相似度计算结果大于设定类合并阈值的所述类合并元素添加到第二类合并集合中；

将所述第二类合并集合中存在交集的各个所述类合并元素合并，输出合并结果。

5.根据权利要求4所述的分布式大规模人脸聚类方法，其特征在于，根据设定的链接阈值确定所述相似度距离集合中与所述未聚类人脸图片链接的所述代表类，将所述未聚类人脸图片和对应链接的所述代表类作为链接元素放入链接集合中，包括：

确定所述相似度距离集合中大于设定链接阈值的相似度距离元素；

基于所述相似度距离元素确定所述链接元素，将所述链接元素放入链接集合中，一个所述链接元素包括一张所述未聚类人脸图片和多个对应链接的所述代表类。

6.根据权利要求5所述的分布式大规模人脸聚类方法，其特征在于，在基于所述相似度距离元素确定所述链接元素，将所述链接元素放入链接集合中之后，还包括：

将所述链接元素中的所述未聚类人脸图片与各个所述代表类的相似度距离进行排序，基于设定的链接数量上限按相似度距离从大到小筛选并保留对应数量的所述代表类。

7.根据权利要求5所述的分布式大规模人脸聚类方法，其特征在于，提取各个所述链接元素中包含的所述代表类作为类合并元素添加到第一合并集合中，计算每个所述类合并元素中各个所述代表类之间的相似度，并将相似度计算结果大于设定类合并阈值的所述类合并元素添加到第二类合并集合中，包括：

以所述链接元素中包含的所述代表类作为类合并元素，将所述类合并元素添加到第一合并集合中；

从所述类合并元素的各个所述代表类中抽取设定数量的人脸图片，并基于设定的相似度计算公式计算每个所述类合并元素中各个所述代表类之间的相似度，得到对应的相似度计算结果；

将所述相似度计算结果与设定类合并阈值比对，提取所述相似度计算结果大于设定类合并阈值的所述类合并元素，添加至第二类合并集合中。

8.一种分布式大规模人脸聚类装置，其特征在于，包括：

第一聚类模块，用于将待聚类人脸图片进行分批聚类并汇总聚类结果，基于所述聚类结果得到对应的聚类集合和未聚类集合，所述未聚类集合包括多张未聚类人脸图片；

计算模块，用于从所述聚类集合的每个类中抽取设定数量的人脸图片构成对应的代表类，并计算每一个所述未聚类人脸图片与每个所述代表类的相似度距离，得到相似度距离集合；

第二聚类模块，用于基于所述相似度距离集合将所述未聚类人脸图片聚类到最相似的所述代表类中；

合并模块，用于根据设定的链接阈值确定各个所述未聚类人脸图片与对应的所述代表类的链接关系，基于所述链接关系合并各个所述代表类，输出合并结果。

9.一种电子设备，其特征在于，包括：

存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的分布式大规模人脸聚类方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的分布式大规模人脸聚类方法。

Images