CN109635647A - 一种基于约束条件下的多图片多人脸的聚类方法 - Google Patents

Abstract

本发明公开了一种基于约束条件下的多图片多人脸的聚类方法，对于一张图片中的多张人脸图像，提取出人脸图像中的固有属性和特征，同时根据人脸图像之间的相似度和簇的关系来添加三角约束。使用条件随机场建立模型，结合各种约束条件使用置信度传播算法迭代优化目标，最后使用聚类评价方法评估聚类效果。通过实验我们发现，本专利方法不仅准确率很高，而且聚类的过程很快。

Description

一种基于约束条件下的多图片多人脸的聚类方法

技术领域

本发明属于计算机视觉领域中对多张图片中多张人脸进行人脸聚类与识别。

背景技术

图像聚类在模式识别和机器学习等领域中是一个重要的课题，其中人脸聚类也获得 了广泛的关注与研究。在这个智能手机时代，照相机和摄像机随处可见，但是伴随的问题是存在着大量未添加标签的图片。通过人工添加标签的成本和精力很大，而使用聚类 的方法对包含人脸的图片添加相应的标签以及人脸识别显得更加自动化和方便。使用聚 类的方法对人脸图片进行分类，可以处理数据库中未带有真实身份的人脸图片，这在生 活和军事中有很着重要的使用价值。

使用聚类方法对人脸图片分类的一般流程是：通过机器学习或深度学习方法提取图 片中的人脸特征，根据代表每张图片的特征向量对人脸图像分类，聚类的最佳结果是将属于同一个人的图片放在同一个类别中，将不属于同一个人的图片放在不同类别中。现 在许多聚类的技术和产品关于人脸分类的效果已经很不错了，但是目前大多数针对的是 包含一张人脸的图片，而没有考虑一张图片中包含多张人脸的情况。

一张图片若存在多个人脸时，那么这多个人脸必定属于不同的身份。在视频中同一 通道的图片若只包含单个人脸，则这些图片一定属于同一个人。对于视频中包含多张人脸的图片，可以使用传统聚类等方法对图片处理，从而将视频同一通道中属于同一个人 的图片聚合在一起。

发明内容

发明目的：针对上述现有技术，提出一种基于约束条件下的多图片多人脸的聚类方 法，提高聚类的速度和准确率。

技术方案：一种基于约束条件下的多图片多人脸的聚类方法，包括如下步骤：

步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵；

步骤2：设置约束条件；所述约束条件包括人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通 道多人脸属于不同人约束条件，所述相似度大于预设阈值A的人脸图像属于同一人约束 条件，所述相似度小于预设阈值B的人脸图像属于不同人约束条件；根据所述约束件得 到：

其中，Y_ij表示人脸图像X_i,X_j是否属于同一个人，f_k(C_k(X_i,X_j))表示对于人脸图像X_i,X_j在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人；

步骤3：计算条件概率p(Y_ij|X_i,X_j)，求解p(Y|X)后验概率最大化问题，X表示样本，Y表示簇类；其中，采用条件随机场模型最大化所述后验概率，所述条件随机场模型表 示为：

其中，Z表示规范化因子，为所述相似度矩阵，表示人脸图像X_i,X_j,X_k之间相似度的约束性；

定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则 表示这两张人脸图像属于同一个人，并且同一簇内表示每张人脸图像的节点之间互相连 接，与其他簇内的节点不相连；

若不同变量Y_ij,Y_ik,Y_jk之间的三角关系不存在或是不连续，则W＝1；对于所述相似度矩阵中其他节点之间的三角关系，W则为：

W(Y_ij,Y_ik,Y_jk)＝(1-Y_ij)Y_ikY_jk+Y_ij(1-Y_ik)Y_jk+Y_ijY_ik(1-Y_jk)

其中，θ为超参数；

对所述条件随机场模型取负对数，将最大值问题转化为最小值问题，则所述条件随 机场模型的优化目标为：

E(Y,X)＝∑M(Y_ij)+∑θW(Y_ij,Y_ik,Y_jk)

其中，一元势函数利用E(Y,X)对输入的人脸图像进行聚类。

进一步的，使用循环置信度传播算法对取负对数后的条件随机场模型进行迭代和计 算，迭代过程如下：

首先定义变量Y_ij初始化时的信息由一元势函数产生：

每一次迭代的过程中迭代信息表示为：

其中，t表示迭代次数，t取1,2,…T，T表示最大的迭代次数；k∈N^t-1(i,j)表示跟结点i或者j相连的结点，N^t-1(i,j)表示跟结点i或者j相连的结点的集合；每次迭代过 程中计算要加入的节点和当前节点之间的信息，选择信息值最小的k更新节点i和j，直 到三角关系W＝0的节点不存在时为止：

有益效果：以往的一些聚类方法没有考虑图片中人脸自带的信息和约束，也没有考 虑对多人脸进行检测和识别。本专利通过统计图像中人脸的附带信息，记录多张人脸之间的约束和相似度对人脸图片之间关系的影响，最后通过三张人脸图像彼此之间的相似度约束来实现人脸聚类。这样不仅考虑了人脸聚类的准确率，还保证了人脸聚类的速度 很快，达到不错的效果。

具体实施方式

下面对本发明做更进一步的解释。

一种基于约束条件下的多图片多人脸的聚类方法，包括如下步骤：

步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵。其中，预处理过程包括使用SeetaFace人脸识别引擎对每张图片进行五点定位，对 提取到的人脸图像进行人脸矫正。任意两张人脸图像的相似度使用余弦函数计算。

步骤2：设置约束条件，约束条件包括：人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道 多人脸属于不同人约束条件，相似度大于预设阈值A的人脸图像属于同一人约束条件， 相似度小于预设阈值B的人脸图像属于不同人约束条件。其中，人脸固有属性包括性别、 脸型、年龄，可以通过统计人脸图像或使用人脸属性分类器提取。根据相似度挑选出相 似度极大或是极小的人脸图像对，将相似度极大的人脸图像对之间的关系设置为必定属 于同一个人，反之则设置为必定不属于同一个人，将相似度极大或是极小的人脸图像对 挑选出来，分别设置为1或者-1。则根据上述约束件，对人脸图像集集中的人脸图像 X₁,X₂,…,X_n进行理得到：

其中，Y_ij表示人脸图像X_i,X_j是否属于同一个人，f_k(C_k(X_i,X_j))表示对于人脸图像X_i,X_j在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人。

步骤3：计算人脸图像的条件概率p(Y_ij|X_i,X_j)，目标为求解p(Y|X)后验概率最大化 问题，X表示样本，Y表示簇类。采用条件随机场模型最大化后验概率，条件随机场模 型表示为：

其中，Z表示规范化因子，为相似度矩阵， 表示人脸图像X_i,X_j,X_k之间相似度的约束性。

若三张人脸图像中两两之间相似度很大，那么这三张人脸图像属于同一个人的概率 也就很大。在人脸聚类的过程中，使用机器学习或深度学习的方法提取人脸特征并且获取相应的特征向量，对特征向量进行合适的距离度量而得到人脸图片之间的相似度。根 据相似度我们可以得知，相似度越大的图片越可能属于同一人，相似度越小的图片越有 可能属于不同的身份。在聚类之前对图片数据集进行筛选，将相似度尽可能大或者小的 图片挑选出来，这样就可以更好更快地进行人脸聚类。

因此，定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则表示这两张人脸图像属于同一个人，并且与簇内其他人脸图像之间的相似度很大，即同一簇内表示每张人脸图像的节点之间互相连接，与其他簇内的节点不相连。

若不同变量Y_ij,Y_ik,Y_ik之间的三角关系不存在或是不连续，则W＝1；对于相似度矩阵中其他节点之间的三角关系，W则为：

W(Y_ij,Y_ik,Y_ik)＝(1-Y_ij)Y_ikY_jk+Y_ij(1-Y_ik)Y_jk+Y_ijY_ik(1-Y_jk)

其中，表示不同变量Y_ij,Y_ik,Y_jk之间的约束条件，θ为用来限制三角关系函数的超参数。

对条件随机场模型取负对数，将求解模型的最大值问题转化为最小值问题，则条件 随机场模型的优化目标为：

E(Y,X)＝∑M(Y_ij)+∑θW(Y_ij,Y_ik,Y_jk)

其中，一元势函数

使用循环置信度传播算法对取负对数后的条件随机场模型进行迭代和计算，迭代过 程如下：

首先定义变量Y_ij初始化时的信息由一元势函数产生：

每一次迭代的过程中迭代信息表示为：

其中，t表示迭代次数，t取1,2,…T，T表示最大的迭代次数；k∈N^t-1(i,j)表示跟结点i或者j相连的结点，N^t-1(i,j)表示跟结点i或者j相连的结点的集合；每次迭代过 程中计算要加入的节点和当前节点之间的信息，选择信息值最小的k更新节点i和j，直 到三角关系W＝0的节点不存在时为止：

最后利用优化后的E(Y,X)对输入的人脸图像进行聚类。在聚类算法迭代完之后使用 常用的聚类评价方法来衡量效果，而常见的方法有Pairwise F-measure和BCubed F-measure，同时检测和比较本专利中聚类过程中所用的时间。

本实施例中，选择了三个人脸数据库，分别来自家庭电子照片集，YouTubeFaces，自制视频图片集。对于人脸固有属性的提取如性别，脸型等，可以选择大量带有相关标 签的图片训练特征属性分类器，也可以使用已经训练好的参数固定的分类器。在家庭电 子照片集的图片大多是家庭成员之间的合照，而在同一张照片的人脸必定属于不同人的 身份，这样就可以将在同一张照片中的人脸图像关系f_k(C_k(X_i,X_j))设置为-1，表示不属 于同一个人。在同一个视频通道的图片则一定属于同一个人，这样就可以将 YouTubeFaces中在同一个通道的人脸图像关系f_k(C_k(X_i,X_j))设置为1，表示属于同一个 人；当视频同一通道的图片中包含多个人脸，结合上面两种方法给人脸图片添加约束。 本实施例使用的自制视频图片集来自于电视剧《琅琊榜》，截取的视频图片的时候尽可 能选择人脸较多的时刻，然后使用上面两种方法对图片添加约束。

人脸聚类可以对数据库中未带标签的图片进行标注，相对于手工标注节约了大量的 时间和精力。传统的机器学习方法大多数忽略了人脸图片中潜在的附带信息，比如人脸固有属性中的脸型、性别、年龄等特征；还有图片中人脸之间成对的约束，比如在同一 张合照的人必定属于不同身份，在同一个视频通道中的人脸属于同一个人等。在本专利 中，对于一张图片中的多张人脸图像，提取出人脸图像中的固有属性和特征，同时根据 人脸图像之间的相似度和簇的关系来添加三角约束。使用条件随机场建立模型，结合各 种约束条件使用置信度传播算法迭代优化目标，最后使用聚类评价方法评估聚类效果。 通过实验我们发现，本专利方法不仅准确率很高，而且聚类的过程很快。

以上所述为本发明的优选实施方案，应当指出，对于本技术领域的普通技术人员来 说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于约束条件下的多图片多人脸的聚类方法，其特征在于，包括如下步骤：

步骤1：选取人脸数据库，并对数据库中的人脸图像预处理后进行特征提取，得到特征向量，根据特征向量计算人脸图像集中任意两张人脸图像的相似度，得到相似度矩阵；

步骤2：设置约束条件；所述约束条件包括人脸固有属性约束条件，同一张照片上多人脸属于不同人约束条件，视频同一通道的单人脸属于同一人约束条件，视频同一通道多人脸属于不同人约束条件，所述相似度大于预设阈值A的人脸图像属于同一人约束条件，所述相似度小于预设阈值B的人脸图像属于不同人约束条件；根据所述约束件得到：

其中，Y_ij表示人脸图像X_i,X_j是否属于同一个人，f_k(C_k(X_i,X_j))表示对于人脸图像X_i,X_j在任意约束条件下的关系，若为1则表示属于同一个人，若为-1则表示属于不同人；

步骤3：计算条件概率p(Y_ij|X_i,X_j)，求解p(Y|X)后验概率最大化问题，X表示样本，Y表示簇类；其中，采用条件随机场模型最大化所述后验概率，所述条件随机场模型表示为：

其中，Z表示规范化因子，为所述相似度矩阵，表示人脸图像X_i,X_j,X_k之间相似度的约束性；

定义三角关系W为：在聚类的过程中，如果任意两张人脸图像被分到一个簇，则表示这两张人脸图像属于同一个人，并且同一簇内表示每张人脸图像的节点之间互相连接，与其他簇内的节点不相连；

若不同变量Y_ij,Y_ik,Y_jk之间的三角关系不存在或是不连续，则W＝1；对于所述相似度矩阵中其他节点之间的三角关系，W则为：

W(Y_ij,Y_ik,Y_jk)＝(1-Y_ij)Y_ikY_jk+Y_ij(1-Y_ik)Y_jk+Y_ijY_ik(1-Y_jk)

其中，θ为超参数；

对所述条件随机场模型取负对数，将最大值问题转化为最小值问题，则所述条件随机场模型的优化目标为：

E(Y,X)＝∑M(Y_ij)+∑θW(Y_ij,Y_ik,Y_jk)

其中，一元势函数利用E(Y,X)对输入的人脸图像进行聚类。

2.根据权利要求1所述的基于约束条件下的多图片多人脸的聚类方法，其特征在于，使用循环置信度传播算法对取负对数后的条件随机场模型进行迭代和计算，迭代过程如下：

首先定义变量Y_ij初始化时的信息由一元势函数产生：

每一次迭代的过程中迭代信息表示为：

其中，t表示迭代次数，t取1,2,…T，T表示最大的迭代次数；k∈N^t-1(i,j)表示跟结点i或者j相连的结点，N^t-1(i,j)表示跟结点i或者j相连的结点的集合；每次迭代过程中计算要加入的节点和当前节点之间的信息，选择信息值最小的k更新节点i和j，直到三角关系W＝0的节点不存在时为止：