CN112633051A - 一种基于图像搜索的在线人脸聚类方法 - Google Patents

Abstract

本发明公开了一种基于图像搜索的在线人脸聚类方法，包括：获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；在数据库中对人脸特征向量进行类中心特征检索；基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。与现有技术相比，本发明可以实现快速的在线类中心计算以及人脸聚类。

Description

一种基于图像搜索的在线人脸聚类方法

技术领域

本发明涉及计算机视觉、图像处理领域，特别是一种基于图像搜 索的在线人脸聚类方法。

背景技术

人脸识别技术近年无论是在学术界还是在视频监控、公共安全、门禁认证 等领域，其研究和应用的表现已达到了较高的水平。而如何针对如此庞大的人 脸数据库更好地赋能公共安全服务，以及如何利用这些信息资源将人脸识别准 确率提升到一个新的水平，是目前存在的两个非常具有挑战性的任务。因此， 有效利用未标记的人脸数据成为一种有吸引力的选择，即为无监督人脸聚类算 法。

人脸聚类分析旨在通过人脸之间的相似度，将庞大的人脸图像聚 集成若干簇，即将未标记的数据利用为“伪类”的一种自然想法，使 得这些数据可以像被标记的数据一样用于监督学习。常用的方法有 K-means(K均值)聚类、谱聚类、层次聚类等方法，对未标记的人 脸图像进行分组，这些方法有各自的优点但也有很多不足之处。例如， K-means方法需要预设聚类个数，即需要假定数据可能的类别数量， 但实际积累的数据集中类中心数量是完全不确定的，比如谱聚类要求 聚类的不同类别大小相对平衡，但实际并非如此。因此，当前的聚类 方案缺乏具有复杂聚簇结构的能力，从而产生噪声聚类，尤其是应用 在从实际场景中收集的大规模图像时，这个问题严重限制了性能指标 的提高。

此外，聚类算法的另一个较为严重的问题就是计算量巨大，尤其 是当大规模数据下聚类时，目前常见聚类算法均耗时较长并不能满足 实际工程需求。另外，某些场景下需要进行图像数据实时聚类入库， 因此需要结合图像检索方法，实现一种在线的实时聚类算法。

发明内容

本发明的目的是要解决现有技术中无法提供一种准确、高效的在 线实时人像数据标签化、人脸识别一人一档构建方法的问题，提供一 种基于图像搜索的在线人脸聚类方法。

为达到上述目的，本发明是按照以下技术方案实施的：

一种基于图像搜索的在线人脸聚类方法，包括以下步骤：

S1、获取已经聚类分组为多个类别的已归档人像图片和新的人像 图片；

S2、利用已训练好的卷积神经网络模型针对已归档人像图片和新 的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；

S3、在数据库中对人脸特征向量进行类中心特征检索；

S4、基于类中心特征检索的结果判定人脸图像所属的类别并归档 到数据库中。

进一步地，所述S2中利用已训练好的卷积神经网络模型提取已 归档人像图片和新的人像图片的人脸特征向量具体包括：

S21、截取已归档人像图片和新的人像图片中的人脸图像；

S22、对人脸图像进行人脸关键点检测，并进行人脸矫正；

S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型， 输出多维的人脸特征向量。

进一步地，所述S3具体包括：

S31、采用特征加权方式计算类中心特征：设每个类别中的人脸 特征集合为Fⁿ＝{f₁，f₂，…f_n}，则相应类别的类中心特征计算方法如 式(1)所示：

其中：f_i表示一个类别中的第i个人脸特征；w_i表示第i个人脸特 征的权重；

S32、采用量化特征类中心计算上述类中心特征：

设每个人脸特征的权重为w＝{w₁，w₂，…，w_n}，该类别的人脸特征 集合为f＝{f₁，f₂，…，f_n}，将特征值量化为：1→1，0→-1；然后计算 权重，第i维中心特征为：

f_cen(i)＝w₁·f₁(i)+w₂·f₂(i)+…+w_n·f_n(i)＝w₁-w₂+…+w_n (2）；

最终，获得量化的特征类中心特征为

S33、计算每个类别中的人脸特征的两两相似度，以其相似度得 分构建相似度矩阵，得到相似得分矩阵后，计算新的人脸图像的人脸 特征与该类别下其他人脸特征的平均相似度，计算公式如式(3)：

其中，S_i，j表示第i和第j个特征的相似度；

S34、将计算结果按相似度进行排序，选取相似度最高的类别作 为候选类别。

进一步地，所述S4具体包括：

S41、基于检索相似度对新的人脸图像归档，若与候选类别相似 度高于预设阈值，则将该新的人脸图像归入该候选类别分组；若与候 选类别相似度低于预设阈值，则新建一个类别分组，并将新的人脸图 像归入该类别，则将该新的人脸图像的人脸特征作为该类的中心特征， 其特征权重置为1.0；

S42、若新的人脸图像归入已有类别，则更新所属类别的特征权 重、特征中心等信息。

进一步地，所述S42中更新所属类别的特征权重、特征中心等信 息的具体步骤为：

假设当前类别中有n个人脸特征，新的人脸特征为第n+1个特征， 对权重w_i以及类别中心特征f_c进行更新：

记当前类别的人脸特征集合为Fⁿ＝{f₁，f₂，…f_n}，其平均相似度 之和为

以及

当前特征权重为

则

首先计算新的人脸特征与其他人脸特征的相似度序列，以及对应 的平均相似度：

得到新的人脸特征与已有人脸特征的相似度集合后，对已有的平 均相似度进行更新处理：

更新已有的平均相似度后，计算新的平均相似度之和

以便计 算后续权重：

得到新的相似度总和后计算新的特征权重：

由于

则有：

新特征的权重为：

将新特征的权重带入公式(1)求得该类别的新的类中心特征。

进一步地，还包括S5、在线聚类矫正；所述在线聚类矫正具体 包括：

S51、在已有聚类结果中，使用更高的相似度阈值找到最相似连 接节点对集合；

S52、对根据连接节点的联通关系将相似的节点重新聚合作为一 类，将不满足阈值的断开，从而实现将错误结果中不同类别进行拆分；

S53、因为子簇是通过连接节点对建立，其中较大簇会分裂为多 个小簇，故而分裂后，通过邻接节点集合重合率进行再合并处理使得 本属一类的数据尽量完整。

本发明的原理为：本发明首先利用CNN(卷积神经网络)将图 像表达为相应的特征，而后通过特征检索(即图像检索)的方式为新 数据快速选取其归属类别；为提升图像检索速度以适应工程需求，本 发明采用以类中心代表其整个类别进行新图像的入库检索，从而大幅 提升检索速度。

与现有技术相比，本发明具有以下有益效果：

1、本发明为人脸识别系统提供了一种自动化实时数据聚类功能， 可在人脸识别的同时完成人脸数据的分类，自动完成在线一人一档的 建立以及数据的标签化处理；

2、本发明的类中心的检索方式以及量化类中心的使用可以有效 地提升识别系统的效率以及系统资源占用；

3、本发明的加权类中心的计算方案有效地提升了中心特征的精 度，降低噪声的干扰，从而识别系统具有更强的鲁棒性；

4、本发明的在线权重以及中心更新算法能够最大程度利用已有 的计算信息，无需重新计算，从而大幅降低了聚类算法的计算代价。

附图说明

图1为本发明的流程图。

图2为本发明的人脸特征权重计算原理图。

图3为本发明的在线聚类矫正流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合实 施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅 用于解释本发明，并不用于限定发明。

如图1所示，本实施例的一种基于图像搜索的在线人脸聚类方法， 包括以下步骤：

步骤一、获取已经聚类分组为多个类别的已归档人像图片和新的 人像图片。

步骤二、利用已训练好的卷积神经网络模型针对已归档人像图片 和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库 中；具体地：

1)截取已归档人像图片和新的人像图片中的人脸图像；

2)对人脸图像进行人脸关键点检测，并进行人脸矫正；

3)将矫正后的人脸图像输入到已训练好的卷积神经网络模型， 输出多维的人脸特征向量。

步骤三、在数据库中对人脸特征向量进行类中心特征检索：

考虑到从实际应用场景中收集的大规模图像存在多样性和差异 性的问题，聚类分组结果中可能存在一个人被分到多个类别ID，或 一个类别ID中存在不同人脸图像的问题。当一个类别ID中存在多个 人脸图像时，如采用直接计算欧式中心的方法，这些噪声图像会使得 计算所得中心偏离真实中心，不能很好地表征该组人脸数据，导致后 续归类任务的误差不断累积放大。因此，为解决这种情况，本实施例 采用特征加权方式计算类中心特征：设每个类别中的人脸特征集合为 Fⁿ＝{f₁，f₂，…f_n}，则相应类别的类中心特征计算方法如式(1)所示：

其中：f_i表示一个类别中的第i个人脸特征；w_i表示第i个人脸特 征的权重；

为提升检索以及相似度计算速度，降低系统资源占用，采用量化 特征类中心计算上述类中心特征：

设每个人脸特征的权重为w＝{w₁，w₂，…，w_n}，该类别的人脸特征 集合为f＝{f₁，f₂，…，f_n}，将特征值量化为：1→1，0→-1；然后计算 权重，第i维中心特征为：

f_cen(i)＝w₁·f₁(i)+w₂·f₂(i)+…+w_n·f_n(i)＝w₁-w₂+…+w_n (2)；

最终，获得量化的特征类中心特征为

基于上述公式(1)，需要针对特征f_i计算其相应的权重w_i，为考虑 ID内图像之间的关联性，这里采用基于特征相似度的人脸计算方法， 其原理如图2所示。计算每个类别中的人脸特征的两两相似度，以其 相似度得分构建相似度矩阵(图2中相似度矩阵)，得到相似得分矩 阵后，计算新的人脸图像的人脸特征与该类别下其他人脸特征的平均 相似度(即图中每一行的均值)，计算公式如式(3)：

其中，S_i，j表示第i和第j个特征的相似度；

然后将计算结果按相似度进行排序，选取相似度最高的类别作为 候选类别。

步骤四、基于类中心特征检索的结果判定人脸图像所属的类别并 归档到数据库中：

a)基于检索相似度对新的人脸图像归档，若与候选类别相似度 高于预设阈值，则将该新的人脸图像归入该候选类别分组；若与候选 类别相似度低于预设阈值，则新建一个类别分组，并将新的人脸图像 归入该类别，则将该新的人脸图像的人脸特征作为该类的中心特征， 其特征权重置为1.0；

b)若新的人脸图像归入已有类别，则更新所属类别的特征权重、 特征中心等信息，上述已经说明了ID中心特征以及特征权重的计算 方法，当后续有新的人脸图像加入到该ID中以后，则需要对该ID下 的每个权重进行更新，以获得新的中心特征。最终的权重更新结果如 下：

由上述公式可知，实际权重更新时需要使用到的参数为当前状态 各个特征的权重

以及所有特征平均相似度总和

详细公式推 导如下：

假设当前类别中有n个人脸特征，新的人脸特征为第n+1个特征， 对权重w_i以及类别中心特征f_c进行更新：

基本变量说明：

1.f_i表示类中的第i个特征；

2.S_i，j表示第i个和第j个特征的相似度；

3.S_mi表示第i个人脸与类中其它人脸相似度均值，即

4.S_sum表示ID内所有平均相似度之和，即

5.w_i表示表示第i个人脸特征权重，

6.f_c表示类中心特征，即

假设当前ID中有n个特征，新采集人脸为第n+1个特征，则需要 对权重w_i以及ID中心特征f_c进行更新，具体推导如下，最终目的是 更新中心特征向量：S_mi→w_i→f_c：

记当前ID的特征集合为Fⁿ＝{f₁，f₂，…f_n}，其平均相似度之和为

以及

当前特征权重为

则

首先计算新加入特征与其他人脸特征的相似度序列，以及对应的 平均相似度：

得到新的特征与已有特征的相似度集合后，需要对已有的平均相 似度进行更新处理：

更新已有的平均相似度后，计算新的平均相似度之和

以便计 算后续权重：

得到新的相似度总和后可以计算新的特征权重：

又因为

则有：

新特征的权重为：

综上可知，实际使用时需要保存变量为ID内每个特征的权重以 及平均相似度之和共n+1个参数；

将新特征的权重带入公式(1)求得该类别的新的类中心特征。

基于上述聚类原理，可实现人脸在线聚类，但是由于聚类是基于 类中心计算所得，因此直接在线聚类方案无法处理聚类产生的错误样 本问题。并且，如果没有实时的错误矫正方案，会导致错误的不断累 积，使得大数据量以及长时间聚类情况下出现严重的性能下滑问题。 故而，本发明在上述聚类基础上加入了错误样本分离机制，将已聚的 错误样本进行拆分从而保证类中心的准确性。

该模块核心策略是当某一类所聚样本数据量超过一定程度时，利 用简化版的聚类算法对该ID进行关联划分，将该ID的样本划分为不 同小簇，并将每一个小簇作为新的ID重新计算类中心以及相应的权 重，其流程如图3所示。第1步，在已有聚类结果中，使用更高的相 似度阈值找到最相似连接节点对集合；第2步，对根据连接节点的联 通关系将相似的节点重新聚合作为一类，将不满足阈值的断开，从而 实现将错误结果中不同类别进行拆分；第3步，因为子簇是通过连接 节点对建立，其中较大簇会分裂为多个小簇，故而分裂后，需要通过 邻接节点集合重合率进行再合并处理使得本属一类的数据尽量完整； 如此，便将一个已聚类结果进行快速矫正。

综上所述，本发明首先利用CNN(卷积神经网络)将图像表达 为相应的特征，而后通过特征检索(即图像检索)的方式为新数据快 速选取其归属类别；为提升图像检索速度以适应工程需求，本发明采 用以类中心代表其整个类别进行新图像的入库检索，从而大幅提升检 索速度。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的 技术方案做出的技术变形，均落入本发明的保护范围之内。

Claims (6)

1.一种基于图像搜索的在线人脸聚类方法，其特征在于，包括以下步骤：

S1、获取已经聚类分组为多个类别的已归档人像图片和新的人像图片；

S2、利用已训练好的卷积神经网络模型针对已归档人像图片和新的人像图片提取人脸特征，然后将提取的人脸特征输入到数据库中；

S3、在数据库中对人脸特征向量进行类中心特征检索；

S4、基于类中心特征检索的结果判定人脸图像所属的类别并归档到数据库中。

2.根据权利要求1所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S2中利用已训练好的卷积神经网络模型提取已归档人像图片和新的人像图片的人脸特征向量具体包括：

S21、截取已归档人像图片和新的人像图片中的人脸图像；

S22、对人脸图像进行人脸关键点检测，并进行人脸矫正；

S23、将矫正后的人脸图像输入到已训练好的卷积神经网络模型，输出多维的人脸特征向量。

3.根据权利要求2所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S3具体包括：

S31、采用特征加权方式计算类中心特征：设每个类别中的人脸特征集合为Fⁿ＝{f₁，f₂，…f_n}，则相应类别的类中心特征计算方法如式(1)所示：

其中：f_i表示一个类别中的第i个人脸特征；w_i表示第i个人脸特征的权重；

S32、采用量化特征类中心计算上述类中心特征：

设每个人脸特征的权重为w＝{w₁，w₂，...，w_n}，该类别的人脸特征集合为f＝{f₁，f₂，...，f_n}，将特征值量化为：1→1，0→-1；然后计算权重，第i维中心特征为：

f_cen(i)＝w₁·f₁(i)+w₂·f₂(i)+…+w_n·f_n(i)＝w₁-w₂+…+w_n (2)；

最终，获得量化的特征类中心特征为

S33、计算每个类别中的人脸特征的两两相似度，以其相似度得分构建相似度矩阵，得到相似得分矩阵后，计算新的人脸图像的人脸特征与该类别下其他人脸特征的平均相似度，计算公式如式(3)：

其中，S_i，j表示第i和第j个特征的相似度；

S34、将计算结果按相似度进行排序，选取相似度最高的类别作为候选类别。

4.根据权利要求3所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S4具体包括：

S41、基于检索相似度对新的人脸图像归档，若与候选类别相似度高于预设阈值，则将该新的人脸图像归入该候选类别分组；若与候选类别相似度低于预设阈值，则新建一个类别分组，并将新的人脸图像归入该类别，则将该新的人脸图像的人脸特征作为该类的中心特征，其特征权重置为1.0；

S42、若新的人脸图像归入已有类别，则更新所属类别的特征权重、特征中心等信息。

5.根据权利要求4所述的基于图像搜索的在线人脸聚类方法，其特征在于，所述S42中更新所属类别的特征权重、特征中心等信息的具体步骤为：

假设当前类别中有n个人脸特征，新的人脸特征为第n+1个特征，对权重w_i以及类别中心特征f_c进行更新：

记当前类别的人脸特征集合为Fⁿ＝{f₁，f₂，…f_n}，其平均相似度之和为

以及

当前特征权重为

则

首先计算新的人脸特征与其他人脸特征的相似度序列，以及对应的平均相似度：

得到新的人脸特征与已有人脸特征的相似度集合后，对已有的平均相似度进行更新处理：

更新已有的平均相似度后，计算新的平均相似度之和

以便计算后续权重：

得到新的相似度总和后计算新的特征权重：

由于

则有：

新特征的权重为：

将新特征的权重带入公式(1)求得该类别的新的类中心特征。

6.根据权利要求5所述的基于图像搜索的在线人脸聚类方法，其特征在于，还包括S5、在线聚类矫正；所述在线聚类矫正具体包括：

S51、在已有聚类结果中，使用更高的相似度阈值找到最相似连接节点对集合；

S52、对根据连接节点的联通关系将相似的节点重新聚合作为一类，将不满足阈值的断开，从而实现将错误结果中不同类别进行拆分；

S53、因为子簇是通过连接节点对建立，其中较大簇会分裂为多个小簇，故而分裂后，通过邻接节点集合重合率进行再合并处理使得本属一类的数据尽量完整。

Images