CN112016623A - 一种人脸聚类方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种人脸聚类方法、装置、设备及存储介质，该方法包括：将包含人脸的原始图像数据划分至多个第一分组中，在每个第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据，查找与候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，在每个第二分组中，对原始图像数据进行聚类，获得候选人脸集合，若候选人脸集合之间关于人脸相似，则将候选人脸集合合并为目标人脸集合。将包含人脸的原始图像数据分批次划分至不同的分组进行组内处理，降低了单次数据处理的计算量，节省内存，筛选出候选人脸集合再进行集合的合并，便于构造单个人脸数据的邻域，减少耗时，提高人脸聚类效率。

Description

一种人脸聚类方法、装置、设备及存储介质

技术领域

本发明实施例涉及数据聚类技术领域，尤其涉及一种人脸聚类方法、装置、设备及存储介质。

背景技术

近些年来，基于人脸识别的视频监控在许多领域得到了广泛的关注，包括司法鉴定、公安安全、小区监控等。在这些领域中，人脸的身份是未知的，可以利用人脸数据的特征描述和人脸数据之间的相似度进行聚类，聚类完成之后对所有人脸数据划分至不同的类别并分配标签，将这些带有标签的人脸数据输入至人脸识别模型中进行训练。

在聚类时，通常会遇到如下两个问题：

一、数量级大

数量级大是指在待聚类的人脸数据的数据量特别大，一般都是上百万级别的。在聚类时，对计算机内存和硬盘的占用往往到达上限，导致聚类失败。

二、数据稀疏

在人脸数据的数量级规模比较大的情况下，采集到人的数量较多，针对某个人来说其人脸数据的占比就比较少，即单人图片比较稀疏。

数据稀疏在聚类中会导致构造人脸邻域图片的时间成本较高，即当寻找一批跟当前人脸数据相似度比较高的人脸数据时，需要完成一次全局匹配，即对全部人脸数据进行全局匹配以构造全部人脸数据的邻域，由于人脸数据的稀疏性，这个过程的耗时是十分高的。

发明内容

本发明提供一种人脸聚类方法、装置、设备及存储介质，以解决如何对数量级大、数据稀疏的人脸数据进行聚类的问题。

第一方面，本发明实施例提供了一种人脸聚类方法，包括：

将包含人脸的原始图像数据划分至多个第一分组中；

在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

第二方面，本发明实施例还提供了一种人脸聚类装置，包括：

第一分组获取模块，用于将包含人脸的原始图像数据划分至多个第一分组中；

候选图像数据获取模块，用于在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

第二分组获取模块，用于查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

候选人脸集合获取模块，用于在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

目标人脸集合获取模块，用于若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

第三方面，本发明实施例还提供了一种设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的人脸聚类方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的人脸聚类方法。

本发明实施例将包含人脸的原始图像数据划分至多个第一分组中，在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据，查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合，若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合，将包含人脸的原始图像数据分批次划分至不同的分组进行组内处理，降低单次数据处理的数据计算量，减少对内存、硬盘等资源的消耗，实现处理数量级大的原始图像数据，再者，筛选出人脸具有差异性的原始图像数据作为人脸的代表，依据候选图像数据对原始图像数据进行二次划分，能够将相似度较高的原始图像数据先粗略地归类到多个第二分组中，同一第二分组内的原始图像数据关于人脸相似，不同第二分组的原始图像数据之间关于人脸相似是渐进变化的，无需将所有的原始图像数据进行全局匹配，在数据稀疏的情况下、减少构造邻域图像数据耗时，此外，对每个第二分组中的原始图像数据进行单体聚类，获得候选人脸集合，将候选人脸集合按照人脸相似进行整体合并，过程由细颗粒度到粗颗粒度，在保障聚类精度的同时也提高了人脸聚类的效率。

附图说明

图1为本发明实施例一提供的一种人脸聚类方法的流程图；

图2A是本发明实施例二提供的一种人脸聚类方法的流程图；

图2B为本发明实施例二提供的一种人脸聚类方法的示意图；

图3为本发明实施例三提供的一种人脸聚类装置的结构示意图；

图4为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种人脸聚类方法的流程图，本实施例可适用于对人脸数据基于角落点分组批量聚类的情况，该方法可以由人脸聚类装置来执行，该人脸聚类装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，服务器、工作站、个人电脑，等等，该方法具体包括如下步骤：

S101、将包含人脸的原始图像数据划分至多个第一分组中。

在本实施例中，可以通过累积用户上传的人脸图片、从安防视频中抽样图像数据、从开源数据库中下载人脸数据集等方式，收集包含人脸的原始图像数据，从而建立一个原始图像数据集合。

在原始图像数据的数量级满足聚类的需求时，按照预设的分类规则(如随机分组、分段分组)将原始图像数据划分成不同的类，每个类称为一个第一分组，一般情况下，第一分组属于初始的类，同一第一分组内的原始图像数据与原始图像数据之间、第一分组与第一分组之间关于人脸并不具有明显的相似性。

示例性的，该分类规则为随机分组，即采集N帧包含人脸的原始图像数据组成原始图像数据集合，按照预先设定的分组数量n(如400帧)随机分成K组，其中，

符号[*]表示向上取整，即对于取余的部分少于n的原始图像数据，将其划分至同一个第一分组中。

当然，根据计算机设备的实际计算能力，也可以将取余的部分少于n的原始图像数据归类到某一完整的第一分组中进行统一处理，本实施例对此不加以限制。

S102、在每个第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据。

在本实施例中，针对每个第一分组，在该第一分组的范围内对比原始图像数据，从中查找在人脸的维度上具有差异性的原始图像数据，作为该第一分组中的候选图像数据，形象地，该候选图像数据可以称之为该第一分组的角落点。

所谓差异性，是指某帧原始图像数据相对于同一个第一分组中的其他原始图像数据在人脸的维度上具有差异，即该原始图像数据在其所属的第一分组的范围内，在人脸的维度上存在其独立性。

在具体实现中，针对每个第一分组，可以通过计算相似度的方式来查找人脸具有差异性的原始图像数据，作为候选图像数据，也可以通过神经网络等分类模型对原始图像数据进行分类，查找分组内人脸最具独立性的两帧原始图像数据，作为候选图像数据，等等，本实施例对此不作限制。

S103、查找与候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中。

在本实施例中，以候选图像数据集合中的各个候选图像数据的人脸作为代表，在原始图像数据集合中查找与候选图像数据在人脸的维度上相似的原始图像数据，并将这些在人脸的维度上相似的原始图像数据划分至多个第二分组中。

其中，第二分组是指将原始图像数据按照与第一分组不同的分类规则划分成不同的类。一般情况下，同一第二分组内的原始图像数据与原始图像数据之间关于人脸存在明显的相似性。

S104、在每个第二分组中，对原始图像数据进行聚类，获得候选人脸集合。

将包含多个对象的集合分成由类似的对象组成的多个类的过程称为聚类。聚类的目标在于使同一类对象的相似度尽可能地大，不同类对象之间的相似度尽可能地小。

在本实施例中，针对每个第二分组，在第二分组的范围内、对原始图像数据在人脸的维度下进行聚类，即按照人脸的相似程度把原始图像数据分割成不同的候选人脸集合，使得位于同一个候选人脸集合内的原始图像数据的相似度尽可能大，同时不在同一个候选人脸集合中的原始图像数据之间的差异性也尽可能地大。

在具体实现中，可预先设置人脸聚类器，该人脸聚类器可应用划分聚类算法(K-Means、PCM、K-Modes等)、层次聚类算法(CURE、CHEMALOEN、BIRCH等)、密度聚类算法(DBSCAN、OPTICS等)等方法，用于对人脸进行聚类。

针对每个第二分组，可查找人脸聚类器，在每个第二分组中，将原始图像数据输入人脸聚类器中进行聚类，以输出一个或多个候选人脸集合。

由于人脸聚类器的聚类效果会受到输入数据的数量、设定的参数、噪声等因素的影响，因此，在人脸聚类器输出聚类的候选人脸集合时，可评估人脸聚类器输出的候选人脸集合是否有效。

在本示例中，通过统计候选人脸集合中原始图像数据的数量，判断该数量是否大于预设的第一阈值，若数量大于预设的第一阈值，则表示候选人脸集合中原始图像数据的数量较多，确定候选人脸集合有效；若数量小于或等于预设的第一阈值，则表示候选人脸集合中原始图像数据的数量较少，确定候选人脸集合无效。

示例性的，对于每个第二分组中的原始图像数据采用一个包含人脸聚类算法(如DBSCAN算法)的人脸聚类器进行人脸聚类，获取每个第二分组中的候选人脸集合，并将每个候选人脸集合放置于集合R＝{r₁,r₂,..,r_p}中，集合R中的元素r_i表示经过人脸聚类器输出的候选人脸集合，一般要求r_i中包含的原始图像数据的数量大于一个事先给定的数值，该数值即为第一阈值，在本示例中，可以选取5或10作为第一阈值，以第一阈值取值10为例，若r_i中包含的原始图像数据的数量大于10帧，则确定候选人脸集合r_i有效，若r_i中包含的原始图像数据的数量小于或等于10帧，则确定候选人脸集合r_i无效。

S105、若候选人脸集合之间关于人脸相似，则将候选人脸集合合并为目标人脸集合。

在本实施例中，为了进一步提高聚类的精度，避免对应同一身份人脸的原始图像数据存在于不同的候选人脸集合中，可以再次判断不同的候选人脸集合整体之间关于人脸的相似程度，若候选人脸集合之间关于人脸相似，则将候选人脸集合合并为目标人脸集合。

本发明实施例将包含人脸的原始图像数据划分至多个第一分组中，在每个第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据，查找与候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，在每个第二分组中，对原始图像数据进行聚类，获得候选人脸集合，若候选人脸集合之间关于人脸相似，则将候选人脸集合合并为目标人脸集合，将包含人脸的原始图像数据分批次划分至不同的分组进行组内处理，降低单次数据处理的数据计算量，减少对内存、硬盘等资源的消耗，实现处理数量级大的原始图像数据，再者，筛选出人脸具有差异性的候选图像数据作为人脸的代表，依据候选图像数据对原始图像数据进行二次划分，能够将相似度较高的原始图像数据先粗略地归类到多个第二分组中，同一第二分组内的原始图像数据关于人脸相似，不同第二分组的原始图像数据之间关于人脸相似是渐进变化的，无需对所有的原始图像数据进行全局匹配，在数据稀疏的情况下、减少构造邻域图像数据的耗时，此外，对每个第二分组中的原始图像数据进行单体聚类，获得候选人脸集合，将候选人脸集合按照人脸相似进行整体合并，过程由细颗粒度到粗颗粒度，在保障聚类精度的同时也提高了人脸聚类的效率。

实施例二

图2A为本发明实施例二提供的一种人脸聚类方法的流程图，图2B为本发明实施例二提供的一种人脸聚类方法的示意图，本实施例以前述实施例为基础，进一步细化查找人脸具有差异性的原始图像数据、划分多个第二分组的操作，该方法具体包括如下步骤：

S201、获取包含人脸的原始图像数据，以将原始图像数据划分至多个第一分组中。

在本实施例中，可以通过读取摄像头拍摄的图像数据、访问计算机设备内部存储的图片、从网络中下载图像数据等方式获取包含人脸的原始图像数据，构建原始图像数据集合。

具体的，采集N帧包含人脸的原始图像数据组成原始图像数据集合P，这里记为P＝{p₁,p₂,...,p_N}，p_i(i＝1,2…N)表示包含人脸的原始图像数据，按照预先设定的分组数量n(如400帧)随机分成K个第一分组，其中

符号[*]表示向上取整，即对于取余的部分少于n的原始图像数据，将其划分至同一个第一分组中，如图2B所示。

将原始图像数据划分至多个第一分组中，以实现对原始图像数据进行分批次处理，降低大规模数据处理的计算量，减少对内存、硬盘等资源的消耗。

S202、在第一分组中，计算两两原始图像数据之间关于人脸的第一相似度。

在本实施例中，为了建立原始图像数据之间的关联关系，可以采用欧式距离、余弦距离、皮尔逊相关系数、Tanimoto系数(广义Jaccard相似系数)等方式对第一分组中任意两帧原始图像数据之间在人脸维度下的相似度，作为第一相似度。

在数据聚类技术领域中，通常会采用欧式距离和余弦距离来衡量人脸之间的相似度，判别两张人脸是否为同一个人。欧氏距离的计算是指采用欧氏公式直接计算两个特征点之间的距离，距离越小，表示特征越相似；余弦距离(也称为余弦相似度)则是计算向量空间中两个向量的夹角的余弦值，以该余弦值作为衡量两个个体间差异的大小的度量，当两个向量之间的夹角趋向0时，两个向量越接近，差异就越小，表示特征越相似。

示例性的，在每个第一分组中，对组内所有的原始图像数据提取人脸特征向量，将人脸特征向量进行两两比对，计算每两个人脸特征向量之间的余弦距离、作为第一相似度。

S203、确定第一相似度最小的原始图像数据在第一分组内、人脸具有差异性。

S204、将第一相似度最小的原始图像数据设置为候选图像数据。

在第一分组的范围内，按照第一相似度对原始图像数据进行排序，从而寻找第一相似度最小的两帧原始图像数据，且认定相似度最小的两帧原始图像数据中的人脸具有差异性。

示例性的，以余弦距离作为第一相似度，余弦距离的取值范围从0到1，0表示两帧原始图像数据极其不相似，1表示两帧原始图像数据极其相似。按照余弦距离的取值对第一分组内的原始图像数据进行排序，找到每个第一分组内余弦距离最小的两帧原始图像数据，从而确定这两帧原始图像数据中的人脸具有差异性。

示例性的，对所有的第一分组，计算各个组内原始图像数据的余弦距离，从每个分组中挑选出余弦距离取值最小的两帧原始图像数据，作为候选图像数据。

将每个分组中具有差异性的两帧候选图像数据(即角落点)，可归纳在一个候选图像数据集合中，该候选图像数据集合又可称之为角落点集合C。

在本实施例中，对第一分组中的任意两帧原始图像数据计算第一相似度，找到第一相似度最小的两帧原始图像数据，将这两帧原始图像数据编号放置在角落点集合C，此时，角落点集合C包含候选图像数据的数量为2K，记为C＝{c₁,c₂,...,c_2K}，c_i(i＝1,2…2K)表示包含人脸的候选图像数据，如图2B所示。计算该部分的时间复杂度为O(Kn²)。

S205、计算两两候选图像数据之间关于人脸的第二相似度。

在本实施例中，以候选图像数据集合中两两候选图像数据之间关于人脸这个维度的相似度作为第二相似度，可以通过欧式距离、余弦距离、皮尔逊相关系数、Tanimoto系数(广义Jaccard相似系数)等相似度计算方式，计算候选图像数据集合中任意两两候选图像数据之间关于人脸的第二相似度。

S206、选择一帧第二相似度最小的候选图像数据，作为参考图像数据。

按照第二相似度对候选图像数据集合中所有的候选图像数据进行排序，挑选该集合中第二相似度最小的两帧配对的候选图像数据，可以从这两帧配对的候选图像数据中随机挑选1帧候选图像数据，作为参考图像数据，也可以统计这两帧配对的候选图像数据中每一帧候选图像数据与其他任意候选图像数据之间的第二相似度的总和，选择总和最低的一帧候选图像数据，作为参考图像数据。

示例性的，在候选图像数据集合中，计算任意两帧候选图像数据的余弦距离、作为第二相似度，按照余弦距离的取值对所有的候选图像数据进行排序，选取余弦距离取值最小的两帧配对的候选图像数据，从中随机挑选1帧候选图像数据，作为参考图像数据。

在本实施例中，对于候选图像数据集合C,计算该集合里面任意两帧候选图像数据c_i的第二相似度，并挑选第二相似度最小的配对的两帧候选图像数据c_i，从这两帧配对的候选图像数据中c_i随机挑选1帧作为参考图像数据，记为c_r。

S207、计算参考图像数据与候选图像数据之间关于人脸的第三相似度。

在本实施例中，以参考图像数据与候选图像数据之间关于人脸这个维度的相似度作为第三相似度，可以通过欧式距离、余弦距离、皮尔逊相关系数、Tanimoto系数(广义Jaccard相似系数)等相似度计算方式，在候选图像数据集合中，计算参考图像数据与候选图像数据之间关于人脸的第三相似度。

S208、按照第三相似度对候选图像数据进行排序。

在本实施例中，按照第三相似度对候选图像数据集合中的所有候选图像数据进行排序，该排序方式可以为降序排序，也可以为升序排序，需要说明的是，本发明实施例中的所有排序方式都应该统一，即全都为降序排序，或者，全都为升序排序。

具体的，计算角落点集合C中每张候选图像数据c_i同参考图像数据c_r之间关于人脸的第三相似度，并对角落点集合C中的候选图像数据c_i按照第三相似度从大到小排序，构成新的集合SC,记为SC＝{sc₁,sc₂,...,sc_2K},sc_i(i＝1,2…2K)表示按照第三相似度从大到小排序后的候选图像数据，如图2B所示。需要指出集合SC只是集合C经过特定规则排序后的集合,运算该部分的时间复杂度为O(K²)。

按照第三相似度对候选图像数据进行排序，使得候选图像数据集合中的所有候选图像数据会依据人脸的相似性形成相似度变化趋势固定的数据分布，类似灰度图像中灰度信息的渐变过程，即，候选图像数据集合中的所有候选图像数据的相似性渐变上升，或者，渐变下降，保证候选图像数据在聚类之前就已经具有一定的相似度变化趋势，后续再对原始图像数据进行聚类时，便于构造某一原始图像数据的邻域图像数据，减少对内存、硬盘等资源的消耗，提高大规模人脸聚类的效率。

S209、计算原始图像数据与每个候选图像数据之间关于人脸的第四相似度。

在本实施例中，以原始图像数据与每个候选图像数据之间关于人脸这个维度的相似度作为第四相似度，可以通过欧式距离、余弦距离、皮尔逊相关系数、Tanimoto系数(广义Jaccard相似系数)等相似度计算方式，计算原始图像数据与每个候选图像数据之间关于人脸的第四相似度。

S210、若某个候选图像数据的第四相似度最高，则将原始图像数据划分至为候选图像数据设置的第二分组中。

在本实施例中，统计所有的原始图像数据与每个候选图像数据之间关于人脸的第四相似度，将所有的第四相似度按照预设的规则进行排序，参考第四相似度的排列顺序，将每帧原始图像数据和与其对应匹配的候选图像数据一一对应，依次读取第四相似度和与其对应匹配的原始图像数据、候选图像数据，若某个候选图像数据的第四相似度最高，则将原始图像数据划分至为候选图像数据设置的第二分组中。

其中，为候选图像数据设置的第二分组是指第二分组的分类规则为候选图像数据的第四相似度，基于第四相似度的高低，将原始图像数据划分成不同的类。

在具体的实现中，计算原始图像数据集合P中每帧原始图像数据同集合SC中每帧候选图像数据sc_i的第四相似度，并选择第四相似度最高的候选图像数据sc_i作为其归属分组，这样集合P中N帧包含人脸的原始图像数据最多可以分成2K个第二分组，记为集合SCP，如图2B所示，其中，

运算该部分的时间计算复杂度为O(KN)。

S211、在每个第二分组中，按照第四相似度对原始图像数据进行排序。

在本实施例中，按照第四相似度对所有的原始图像数据进行排序，该排序方式可以为降序排序，也可以为升序排序，需要说明的是，本发明实施例中的所有排序方式都应该统一，即全都为降序排序，或者，全都为升序排序。

具体的，对于每个第二分组中的原始图像数据，按照其同集合SC中每帧候选图像数据sc_i的第四相似度从大到小排序，记为集合SCSP，如图2B所示，其中

，sp_i,j(i＝1,2…2K；j＝1,2…2K)表示第二分组中按照第四相似度从大到小排序后的原始图像数据。

在本实施中，按照第三相似度对候选图像数据进行排序为第一次排序，此时候选图像数据的顺序是固定的，将原始图像数据划分至为候选图像数据设置的多个第二分组中，此时不同的第二分组之间的顺序与排序后的候选图像数据的顺序保持一致，相当于所有的第二分组继承了第一次排序的顺序；这样做的好处在于任意相邻的两个第二分组之间的人脸相似度都是渐进变化的，即相似度从高到低变化、或者从低到高变化，此时若要再添加新的包含人脸的原始图像数据，则能快速定位该原始图像数据需要投放的第二分组，将人脸具有相似性的原始图像数据都尽可能放进同一个分组中，可以解决大规模人脸聚类中数据稀疏的问题；再者，按照第四相似度对每个第二分组中的原始图像数据进行排序，这是第二次排序，能够得到每个分组内依据人脸相似度变化(从大到小或者从小到大)排序整齐的原始图像数据，此时，将每个第二分组中的原始图像数据用于聚类，可以快速找到属于该原始图像数据的邻域，减少了查找邻域的时间，可以提高聚类的效率。

S212、按照候选图像数据的排序，展开第二分组中的原始图像数据。

S213、在维持原始图像数据的排序下，将原始图像数据划分至新的第二分组中。

示例性的，将所有的第二分组中的原始图像数据按照候选图像数据的排序、展开成一维列表，维持该列表的排序，将该列表中的所有原始图像数据按照分组数量n(如10000帧、25000帧)分成K个新的第二分组，其中

符号[*]表示向上取整，即对于取余的部分少于n的原始图像数据，将其划分至同一个新的第二分组中。在一些实施例中，根据系统的实际计算能力，也可以将取余的部分少于n的原始图像数据归类到某一完整的新的第二分组中进行统一处理。

在本实施例中，将集合SCSP中的原始图像数据按照排序后的顺序展开成一维列表

对一维列表FP中的原始图像数据按照每n帧划分成K个新的第二分组，记为新的集合G FP，如图2B所示。

第一次排序与第二次排序是两个不同维度的排序，第一次排序是分组之间的排序，第二次排序是分组内的排序，将两个维度排序后的集合拆分成同一个维度的集合，使得原始图像数据的整体变化趋势保持稳定，即按照人脸的相似性渐变上升、或者渐变下降，可以减少全局匹配的次数，在这个过程中再对原始图像数据进行单体聚类，获得候选人脸集合，将候选人脸集合按照人脸相似进行整体合并，过程由细颗粒度到粗颗粒度，在保障聚类精度的同时也提高了人脸聚类的效率。

S214、在每个第二分组中，对原始图像数据进行聚类，获得候选人脸集合。

示例性的，选取精度较高的人脸聚类器(精度达到95％以上)，依次对每个第二分组中的原始图像数据进行聚类，获得多个候选人脸集合。

在本实施例中，对于集合G FP中每个新的第二分组内的原始图像数据采用一个包含人脸聚类算法(如DBSCAN算法)的人脸聚类器进行人脸聚类，获取每个新的第二分组中的候选人脸集合，并将每个候选人脸集合放置于集合R＝{r₁,r₂,..,r_p}中，集合R中的元素r_i表示经过人脸聚类器输出的候选人脸集合，如图2B所示，一般要求r_i中包含的原始图像数据的数量大于一个事先给定的数值。

S215、计算两两候选人脸集合之间关于人脸的第五相似度。

在本实施例中，以两两候选人脸集合之间关于人脸这个维度的相似度作为第五相似度，可以通过欧式距离、余弦距离、皮尔逊相关系数、Tanimoto系数(广义Jaccard相似系数)等相似度计算方式，计算两两候选人脸集合之间关于人脸的第五相似度。

因为每个候选人脸集合是原始图像数据经过聚类后所生成的类，在精确度较高的前提下(人脸聚类器的平均精度达到95％以上)，每个类中的所有原始图像数据会对应同一个人脸身份。

因此，在一种实现方式中，可以采用抽样的方式从每个候选人脸集合中抽取固定的预设数量的原始图像数据，作为样本图像数据，保证每个候选人脸集合所对应的样本图像数据的数量相同，通过任意两两候选人脸集合中抽取出的样本图像数据之间关于人脸的相似性来衡量两个候选人脸集合之间的相似性。比如，将任意两个候选人脸集合中的样本图像数据进行一一配对，再通过计算两个配对的样本图像数据之间的余弦距离作为样本图像数据的相似度，统计所有配对样本图像数据的余弦距离的总和，对总和求取平均值，将平均值作为第五相似度。

示例性的，计算第五相似度的具体方法包括：依次选择两个候选人脸集合，作为第一验证集合、第二验证集合；从第一验证集合中抽取g帧原始图像数据，作为第一验证图像数据；从第二验证集合中抽取g帧原始图像数据，作为第二验证图像数据；分别计算任一第一验证图像数据与任一第二验证图像数据之间关于人脸的第六相似度；计算第六相似度的平均值，作为第一验证集合与第二验证集合之间关于人脸的第五相似度。其中，g帧为预先设定的数量，本发明实施例对此数量不作限定。

在本实施例中，对集合R中的候选人脸集合r_i进行合并。对于集合R中任意两个候选人脸集合r_i和r_j，分别从这两个候选人脸集合中随机抽取g帧原始图像数据，分别记为第一验证集合

和第二验证集合

计算第一验证集合与第二验证集合之间关于人脸的第六相似度的平均值MCD(r_i,r_j)，将MCD(r_i,r_j)作为两两候选人脸集合之间关于人脸的第五相似度，如下公式所示：

其中

S216、若第五相似度大于预设的第二阈值，则确定候选人脸集合之间关于人脸具有相似性。

当任意两个或两个以上的候选人脸集合之间存在各自集合内部的原始图像数据关于人脸相似，则可以确认这些候选人脸集合内部存在对应同一身份人脸的原始图像数据，即不同的集合之间存在交集。

其中，第五相似度是用于衡量候选人脸集合之间是否存在交集的标准，可以通过预先设定阈值的方式，将第五相似度与该阈值进行比较，从而确定任意两个候选人脸集合之间是否存在交集，若存在交集，则确认候选人脸集合之间关于人脸具有相似性。

示例性的，将第五相似度与预设的第二阈值进行比较，第二阈值用于区别与第一阈值的用途不同，若第五相似度大于预设的第二阈值，则确定候选人脸集合之间关于人脸具有相似性。其中，第二阈值可以基于所有第五相似度的数值进行设定，也可以设置为相似度的经验值，第二阈值用于判断候选人脸集合之间是否关于人脸具有相似性。

在本实施例中，如果MCD(r_i,r_j)大于给定的合并阈值MT，则将元素(r_i,r_j)放置于集合MSC中，MSC＝{(r_i,r_j)|MCD(r_i,r_j)≥MT,r_i∈R,r_j∈R}，如图2B所示。

S217、将所有具有相似性的候选人脸集合合并为目标人脸集合。

统计所有的候选人脸集合，将人脸具有相似性的两个或两个以上的候选人脸集合合并为一个目标人脸集合，对于原始图像数据集合来说，最终可能会得到多个目标人脸集合。

在本实施例中，将集合MSC中关于人脸相似的多个不同元素进行合并，以获得一个或两个以上的目标人脸集合M，如图2B所示。其中，目标人脸是指具有同一身份信息的人脸。

在确定候选人脸集合之间关于人脸具有相似性之后，将所有具有相似性的候选人脸集合合并为目标人脸集合，不同的目标人脸集合对应不同身份的目标人脸。例如，候选人脸集合A和候选人脸集合B关于人脸具有相似性，候选人脸集合B和候选人脸集合C关于人脸具有相似性，候选人脸集合A与候选人脸集合D关于人脸具有相似性，则将候选人脸集合A、B、C、D都合并为一个集合，以该集合作为目标人脸集合。

基于聚类得到各个候选人脸集合，再将各个候选人脸集合进行合并，获得目标人脸集合，在保障目标人脸分类正确的前提下，由于合并的操作简单、耗时少，能够进一步减少获取目标人脸的数据计算量。

进一步而言，在大规模人脸聚类的应用场景中，可能需要进行动态聚类，此时，若需要进一步添加新的包含人脸的原始图像数据，进行人脸匹配，可以基于已聚成类的原始图像数据(即候选人脸集合)，将新的包含人脸的原始图像数据按照指定添加阈值添加到候选人脸集合中去，并对仍旧未聚成类的原始图像数据进行新一轮人脸聚类。最终再通过对候选人脸集合进行合并，以此获得目标人脸集合，无需所有的原始图像数据进行全局匹配，在数据稀疏的情况下、减少构造邻域图像数据耗时。

需要说明的是，本发明实施例所提供的一种人脸聚类方法是一种技术框架，该技术框架可以融合于不同的人脸聚类算法中、并应用在需要人脸聚类的不同应用场景中，具有较强的灵活性，可扩展性，开发成本低，实现起来较为容易。

实施例三

图3为本发明实施例三提供的一种人脸聚类装置的结构示意图，该装置具体可以包括如下模块：

第一分组获取模块301，用于将包含人脸的原始图像数据划分至多个第一分组中；

候选图像数据获取模块302，用于在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

第二分组获取模块303，用于查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

候选人脸集合获取模块304，用于在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

目标人脸集合获取模块305，用于若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

在本发明的一个实施例中，所述候选图像数据获取模块302包括：

第一相似度计算子模块，用于在所述第一分组中，计算两两所述原始图像数据之间关于人脸的第一相似度；

最小相似度确定子模块，用于确定所述第一相似度最小的所述原始图像数据在所述第一分组内、人脸具有差异性；

候选图像数据确定子模块，用于将所述第一相似度最小的所述原始图像数据设置为候选图像数据。

在本发明的一个实施例中，所述候选图像数据获取模块302还包括：

第二相似度计算子模块，用于计算两两所述候选图像数据之间关于人脸的第二相似度；

参考图像数据确定子模块，用于选择一帧所述第二相似度最小的所述候选图像数据，作为参考图像数据；

第三相似度计算子模块，用于计算所述参考图像数据与所述候选图像数据之间关于人脸的第三相似度；

排序子模块，用于按照所述第三相似度对所述候选图像数据进行排序。

在本发明的一个实施例中，所述第二分组获取模块303包括：

第四相似度计算子模块，用于计算所述原始图像数据与每个所述候选图像数据之间关于人脸的第四相似度；

第二分组确定子模块，用于若某个所述候选图像数据的所述第四相似度最高，则将所述原始图像数据划分至为所述候选图像数据设置的第二分组中。

在本发明的一个实施例中，所述第二分组获取模块303还包括：

排序子模块，用于在每个所述第二分组中，按照所述第四相似度对所述原始图像数据进行排序。

在本发明的一个实施例中，所述第二分组获取模块303还包括：

第二分组处理子模块，用于按照所述候选图像数据的排序，展开所述第二分组中的所述原始图像数据；

新分组处理子模块，用于在维持所述原始图像数据的排序下，将所述原始图像数据划分至新的第二分组中。

在本发明的一个实施例中，所述候选人脸集合获取模块304包括：

人脸聚类器查找子模块，用于查找人脸聚类器，所述人脸聚类器用于对人脸进行聚类；

聚类子模块，用于在每个所述第二分组中，将所述原始图像数据输入所述人脸聚类器中进行聚类，以输出一个或多个候选人脸集合。

在本发明的一个实施例中，所述候选人脸集合获取模块304还包括：

数量统计子模块，用于统计所述候选人脸集合中所述原始图像数据的数量；

有效确定子模块，用于若所述数量大于预设的第一阈值，则确定所述候选人脸集合有效；

无效确定子模块，用于若所述数量小于或等于预设的第一阈值，则确定所述候选人脸集合无效。

在本发明的一个实施例中，所述目标人脸集合获取模块305包括：

第五相似度计算子模块，用于计算两两所述候选人脸集合之间关于人脸的第五相似度；

相似性确定子模块，用于若所述第五相似度大于预设的第二阈值，则确定所述候选人脸集合之间关于人脸具有相似性；

候选人脸集合合并子模块，用于将所有具有相似性的所述候选人脸集合合并为目标人脸集合。

在本发明的一个实施例中，所述第五相似度计算子模块包括：

候选人脸集合选择单元，用于依次选择两个所述候选人脸集合，作为第一验证集合、第二验证集合；

第一验证图像数据获取单元，用于从所述第一验证集合中抽取g帧所述原始图像数据，作为第一验证图像数据；

第二验证图像数据获取单元，用于从所述第二验证集合中抽取g帧所述原始图像数据，作为第二验证图像数据；

第六相似度计算单元，用于分别计算任一所述第一验证图像数据与任一所述第二验证图像数据之间关于人脸的第六相似度；

平均值计算单元，用于计算所述第六相似度的平均值，作为所述第一验证集合与所述第二验证集合之间关于人脸的第五相似度。

本发明实施例所提供的人脸聚类装置可执行本发明任意实施例所提供的人脸聚类方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图。如图4所示，该设备包括处理器400、存储器401、通信模块402、输入装置403和输出装置404；设备中处理器400的数量可以是一个或多个，图4中以一个处理器400为例；设备中的处理器400、存储器401、通信模块402、输入装置403和输出装置404可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本实施例中的人脸聚类方法对应的模块(例如，如图3所示的人脸聚类装置中的第一分组获取模块301、候选图像数据获取模块302、第二分组获取模块303、候选人脸集合获取模块304和目标人脸集合获取模块305)。处理器400通过运行存储在存储器401中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸聚类方法。

存储器401可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器401可进一步包括相对于处理器400远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块402，用于与显示屏建立连接，并实现与显示屏的数据交互。

输入装置403可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。

输出装置404可以包括显示屏等显示设备以及扬声器等音频设备。

需要说明的是，输入装置403和输出装置404的具体组成可以根据实际情况设定。

处理器400通过运行存储在存储器401中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸聚类方法。

本实施例提供的设备，可执行本发明任意实施例提供的一种人脸聚类方法，具备相应的功能和有益效果。

实施例五

本发明实施例五还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一种人脸聚类方法，该方法包括：

将包含人脸的原始图像数据划分至多个第一分组中；

在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人脸聚类方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述人脸聚类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (13)

1.一种人脸聚类方法，其特征在于，包括：

将包含人脸的原始图像数据划分至多个第一分组中；

在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

2.根据权利要求1所述的方法，其特征在于，所述在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据，包括：

在所述第一分组中，计算两两所述原始图像数据之间关于人脸的第一相似度；

确定所述第一相似度最小的所述原始图像数据在所述第一分组内、人脸具有差异性；

将所述第一相似度最小的所述原始图像数据设置为候选图像数据。

3.根据权利要求2所述的方法，其特征在于，所述在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据，还包括：

计算两两所述候选图像数据之间关于人脸的第二相似度；

选择一帧所述第二相似度最小的所述候选图像数据，作为参考图像数据；

计算所述参考图像数据与所述候选图像数据之间关于人脸的第三相似度；

按照所述第三相似度对所述候选图像数据进行排序。

4.根据权利要求1所述的方法，其特征在于，所述查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，包括：

计算所述原始图像数据与每个所述候选图像数据之间关于人脸的第四相似度；

若某个所述候选图像数据的所述第四相似度最高，则将所述原始图像数据划分至为所述候选图像数据设置的第二分组中。

5.根据权利要求4所述的方法，其特征在于，所述查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，还包括：

在每个所述第二分组中，按照所述第四相似度对所述原始图像数据进行排序。

6.根据权利要求4或5所述的方法，其特征在于，所述查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中，还包括：

按照所述候选图像数据的排序，展开所述第二分组中的所述原始图像数据；

在维持所述原始图像数据的排序下，将所述原始图像数据划分至新的第二分组中。

7.根据权利要求1所述的方法，其特征在于，所述在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合，包括：

查找人脸聚类器，所述人脸聚类器用于对人脸进行聚类；

在每个所述第二分组中，将所述原始图像数据输入所述人脸聚类器中进行聚类，以输出一个或多个候选人脸集合。

8.根据权利要求7所述的方法，其特征在于，所述在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合，还包括：

统计所述候选人脸集合中所述原始图像数据的数量；

若所述数量大于预设的第一阈值，则确定所述候选人脸集合有效；

若所述数量小于或等于预设的第一阈值，则确定所述候选人脸集合无效。

9.根据权利要求1或2或3或4或5或7或8所述的方法，其特征在于，所述若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合，包括：

计算两两所述候选人脸集合之间关于人脸的第五相似度；

若所述第五相似度大于预设的第二阈值，则确定所述候选人脸集合之间关于人脸具有相似性；

将所有具有相似性的所述候选人脸集合合并为目标人脸集合。

10.根据权利要求9所述的方法，其特征在于，所述计算两两所述候选人脸集合之间关于人脸的第五相似度，包括：

依次选择两个所述候选人脸集合，作为第一验证集合、第二验证集合；

从所述第一验证集合中抽取g帧所述原始图像数据，作为第一验证图像数据；

从所述第二验证集合中抽取g帧所述原始图像数据，作为第二验证图像数据；

分别计算任一所述第一验证图像数据与任一所述第二验证图像数据之间关于人脸的第六相似度；

计算所述第六相似度的平均值，作为所述第一验证集合与所述第二验证集合之间关于人脸的第五相似度。

11.一种人脸聚类装置，其特征在于，包括：

第一分组获取模块，用于将包含人脸的原始图像数据划分至多个第一分组中；

候选图像数据获取模块，用于在每个所述第一分组中，查找人脸具有差异性的原始图像数据，作为候选图像数据；

第二分组获取模块，用于查找与所述候选图像数据的人脸相似的原始图像数据，并划分至多个第二分组中；

候选人脸集合获取模块，用于在每个所述第二分组中，对所述原始图像数据进行聚类，获得候选人脸集合；

目标人脸集合获取模块，用于若所述候选人脸集合之间关于人脸相似，则将所述候选人脸集合合并为目标人脸集合。

12.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的人脸聚类方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的人脸聚类方法。

Images