CN111539285B - 一种基于特征编码的高效人脸聚类方法 - Google Patents

Abstract

本发明提供了一种基于特征编码的高效人脸聚类方法，至少包括：提取人脸原始特征，并进行特征编码，建立编码表，创建特征编码的索引引擎库；以创建的索引引擎库为基础，根据获取人脸特征与编码后的人脸特征值匹配，进行初步分组；计算初步分组中每一组的人脸平均特征，进行分组间的特征值比对，通过合并形成新的分组，得到最终结果。其有益效果为：本发明技术方案借助于高度抽象的特征值，快速的搜索算法，计算机可以在短时间内计算海量数据，快速简便，减少搜索计算量；本发明技术方案利用图结构的天生近邻优势和编码后的空间优势，目标将数百万级的特征向量空间构建成相互联通的图结构，在保证高检出准确率和效率的同时，降低内存占用。

Description

一种基于特征编码的高效人脸聚类方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于特征编码的高效人脸聚类方法。

背景技术

人脸识别技术是基于人的脸部特征，对输入的人脸图像或者视频流，首先判断其是否存在人脸，如果存在人脸，则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。

当前人脸识别已经在各行各业得到广泛应用，如主动式场景的人脸打卡、支付宝人脸验证等，非主动场景下的车站内的黄牛识别、地铁站内的可疑人员预警等。由于人脸识别为可见可得的实时算法，一段时间内，会对同一个行人进行识别并报警多次，并生成多个报警后台数据，这对工作人员过滤重要信息带来很大的工作量。而人脸聚类正是人脸识别技术的扩展和补充，有着重要的现实意义。

所谓人脸聚类是一种无标签式相似人脸归类技术：在众多人脸图片中自动定位到相似人脸，按照相似度排序、归类的技术。采用人脸聚类的方法进行人脸识别需要运用索引技术，当前使用的索引技术例如基于树的方法和基于哈希的检索方法，要保证高精度的同时，只能增大搜索空间，以牺牲空间和搜索时间为代价；经典的K-Means聚类方法在面对大数据量级的响应时间呈指数增长，且聚类的人脸数量无法自适应获取。

因此，基于上述技术，本领域技术人员致力于提供一种基于特征编码的高效人脸聚类方法，以解决前述问题。

发明内容

本发明所要解决的技术问题是提供一种基于特征编码的高效人脸聚类方法，借助于高度抽象的特征值，快速的搜索算法，在短时间内实现人脸聚类，且内存占用率低、精度高，以解决背景技术中的问题。

为了解决上述问题，本发明提供了一种基于特征编码的高效人脸聚类方法，至少包括：

(1)提取人脸原始特征，并进行特征编码，建立编码表，创建特征编码的索引引擎库；

(2)以创建的索引引擎库为基础，根据获取人脸特征与编码后的人脸特征值匹配，进行初步分组；

(3)计算初步分组中每一组的人脸平均特征，进行分组间的特征值比对，通过合并形成新的分组，得到最终结果。

进一步的，实现(1)的步骤至少包括如下操作：

(10)采用人脸检测算法对场景内人脸进行检测，并对检测得到的人脸采用卷积神经网络进行特征提取，得到原始人脸特征的图像库。

(11)通过聚类的方式定时对图像库中的特征进行特征编码，并对编码后的特征进行相似性距离计算；

(12)创建分层索引结构，根据指数衰减的概率分布规则，设计“低-中-高”的图层状索引结构，以加速检索效率；

(13)将原始特征编码与分层索引结构结合，形成索引引擎库。

进一步的，在(11)中，进行特征编码的方式为：对人脸特征的图像库中的每条人脸特征向量平均划分成K个子域，之后将所有特征数量进行聚类得到C个聚类中心，因此所有K个子域内的人脸特征可得到K*C个聚类中心；在任意子域内子向量段的编码用该子向量所属的聚类中心的编码值来表示，从而用较短的编码值表示原始特征向量，完成所有样本数据的编码工作。

进一步的，在(11)中，对编码后的特征进行相似性距离计算方式为：根据特征编码得到K个人脸特征向量的子域，得到K个子向量，将K个子向量分别在K*C的距离矩阵中获取每一个子向量到聚类中心向量的距离，距离越小，表示查询的人脸向量与图像库中的样本越相近。

进一步的，在(12)中，图层状索引结构高层结构中的节点为低层结构的子集，最低层包含所有图节点；查询时从高层选择最近邻节点开始，作为下一低层的起始点，逐步向下实现整个检索过程；因此，低层对应的节点之间相似度越高，距离越近；高层对应的节点之间相似度越低，距离越远。

进一步的，在(12)中，在创建分层图结构时，对原始特征向量进行特征编码后作为图节点，插入节点到具体层级，然后在每层图结构中寻找K个最近邻点，并相互连接，从而完成当前层节点的连接与构建。

进一步的，在(2)中，对存储人脸特征库的人脸编码表依次进行分布式搜索，按照编码后距离计算方式返回匹配距离值小于阈值T的结果，匹配成功的数量定义为当前人脸引用数，因此对整个人脸编码库完成遍历后，会得到和人脸表相同数量的引用计数表M，按照此引用次数进行排序，可以直观得到某个人脸被引用的计数高低频次。

进一步的，在(2)中，对引用计数表M按照降序排序后，按顺序从表首开始，根据人脸特征编码表再在索引引擎库中搜索，将所有距离值小于阈值T的依次归到同一组内，并标记为已分类；对于距离值大于阈值T的人脸，根据引用计数表依次划分成新组，直到所有人脸都被标记为已分类，此时完成初步分组的原始人脸分组集合S；

进一步的，在(3)中，对初步分组的人脸集合S计算人脸平均特征，分别匹配当前组人脸与其他分组人脸的相似度，若分组间距离值小于设定阈值T，则将二者分组进行合并，从而形成新的分组，循环所有分组比对，得出最终结果。

通过实施上述本发明提供的基于特征编码的高效人脸聚类方法，具有如下技术效果：

(1)本发明技术方案借助于高度抽象的特征值，快速的搜索算法，计算机可以在短时间内计算海量数据，在实际应用中可以使用每天闲时算力，自动对当日内进出所有人脸进行聚类；更高级地，可以对当周、当月内所有的人脸，每次计算支持高达百万级人脸数据；计算会自动聚类所有采集的人脸数据，可以用于商场的常客计算，机场常旅客计算，客流进出排重，排队区黄牛计算，徘徊人员计算等场景；

(2)本发明技术方案利用图结构的天生近邻优势和编码后的空间优势，目标将数百万级的特征向量空间构建成相互联通的图结构，在保证高检出准确率和效率的同时，降低内存占用。

附图说明

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

图1为本发明实施例中整体流程示意图；

图2为本发明实施例中特征切分示意图；

图3为本发明实施例中特征编码示意图；

图4为本发明实施例中距离计算与编码检索示意图；

图5为本发明实施例中分层索引建图示意图；

图6为本发明实施例中初步分组示意图；

图7为本发明实施例中分组合并示意图；

图8-9为本发明实施例中聚类效果图。

具体实施方式

下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面采用具体实施方式详细描述本发明的技术方案。

本具体实施方式表述一种基于特征编码的高效人脸聚类方法，如图1所示至少包括：

Step1：提取人脸原始特征向量，并进行特征编码，建立人脸特征编码表，创建特征编码的索引引擎库；

Step2：对特征向量进行聚类，获取人脸特征的聚类向量；

Step3：在距离矩阵中获得人脸特征向量与聚类向量之间的距离，并结合人脸特征编码表构建图层状索引结构；

Step4：对图层状索引结构的每一层内的节点进行距离计算，并结合人脸特征编码表进行分层检索，生成特征引用次数的引用计数表；

Step5：根据引用计数表标记人脸特征，得到初步人脸分组；

Step6：对得到的人脸分组进行合并，得到最终的结果。

基于上述步骤，具体实现方式为：

在Step1中，采用人脸检测算法对视频场景内人脸进行检测，并对检测得到的人脸采用卷积神经网络进行特征提取，得到人脸特征，其特征长度为1024字节(1KB)。

进行特征编码的方式为：定时对图像库中提取的人脸特征值进行特征编码，设定特征向量空间N*1024维度的人脸特征库中的每条人脸特征向量平均划分成K(K＝8)个子域，共得到N*8*128大小的向量空间，其每个子域由N个128维度的特征向量组成(如图2所示)；之后通过Step2将所有特征数量N进行聚类得到C个聚类中心(C＝256)，因此所有8个子域内的N条人脸特征可得到K*C＝8*256个聚类中心。通过聚类，任一该子域内的任一特征向量可由其对应聚类中心内的某个向量表示，这样在该子域内子向量段的编码就可以用该子向量所属的类中心的编码值来表示。通过此方式，将所有样本特征向量按照相同方式划分成8个子域空间，在各自子域内分别找到其距离最近的聚类中心，完成所有样本数据的编码工作，从而用较短的编码值表示原始特征向量，降低了内存开支(如图2所示)。

距离的计算是后续人脸相似性聚类的关键，编码之前的相似性距离计算方式一般为欧式距离或余弦距离，针对原始数据数量N，计算次数与样本数N成线性关系，效率比较慢。编码之后只需8*256次距离计算，即可实现将全样本的距离计算，转化为到子域类中心的距离计算。对编码后的特征进行相似性距离计算方式为：根据特征编码得到K个人脸特征向量的子域，得到K个子向量，将K个子向量分别在K*C的距离矩阵中获取每一个子向量到聚类中心向量的距离，距离越小，表示查询的人脸向量与图像库中的样本越相近。

具体计算方式为：

Step30：查询人脸特征向量划分为8个子域，共得到8个子向量；

Step31：对待检索人脸样本的编码值用value1,value2,value3,…value8表示，对8个子向量分别在8*256的距离矩阵中找到编码为value1到value8的聚类中心向量的距离:dis1、dis2、dis3到dis8，表示为公式1：

Distance＝dis1+dis2+dis3+…+dis8(公式1)

Distance作为当前查询人脸向量与该库样本的距离值,距离越小，证明二者越相近(如图3所示)。

在Step3中，按照指数衰减的概率分布规则(见公式2)随着层级layer的增加，节点出现的概率呈指数级降低，设计形成从”低-中-高”的图层状结构(如图5所示)，使得低层对应的节点之间相似度越高，距离越近；高层对应的节点之间相似度越低，距离越远，通过这种递增方式构建了分层的图层状结构。在图层状索引结构高层结构中的节点为低层结构的子集，最低层包含所有图节点；查询时从高层选择最近邻节点开始，作为下一低层的起始点，逐步向下实现整个检索过程；因此，低层对应的节点之间相似度越高，距离越近；高层对应的节点之间相似度越低，距离越远。

指数衰减的概率分布规则表示：随着层级layer的增加，节点出现的概率呈指数级降低：

上述构建图层状索引结构最大的优势是加速了检索过程，同时由于构建图结构时需要存储所有特征向量的信息，以及图结构之间的节点连接关系信息，针对大量级的人脸数据级，会导致内存开销非常大，因此将原始特征向量进行特征编码后与分层图结构索引技术相结合，在获取高检索效率的同时降低了内存空间的占用。其中构图时插入节点按照以下公式3深入到具体层级，然后在每层图结构中寻找K个最近邻点，并相互连接，从而完成当前层节点的连接与构建(如图4所示)。

每个节点所属层layer通过以下公式获得:

其中M为每个元素节点的最大连接数。

在Step4中，经过特征编码与图层状索引结构的索引构建相结合，无需存储原始特征向量，作为替代，先对原始向量进行特征编码后作为图节点，对存储人脸特征库的人脸编码表依次进行分布式搜索，按照编码后距离计算方式(公式1)返回匹配距离值小于阈值T的结果(等价于相似度阈值>T)，匹配成功的数量定义为当前人脸引用数。因此对整个人脸编码库完成遍历后，会得到和人脸表相同数量的引用计数表C。按照此引用次数进行排序，可以直观得到某个人脸被引用的计数高低频次。

在Step5中，对引用计数表C按照降序排序后，按顺序从表首开始，根据人脸特征编码表再在索引引擎库中搜索，将所有距离值小于阈值T的依次归到同一组内，并标记为已分类；对于距离值大于阈值T的人脸，根据引用计数表依次划分成新组，直到所有人脸都被标记为已分类，此时完成了原始人脸分组的集合S。(如图6所示)

在Step6中，对上述初步分组的人脸集合S计算人脸平均特征，分别匹配当前组人脸与其他分组人脸的相似度，若分组间距离值小于设定阈值T，则将二者分组进行合并，从而形成新的分组，循环所有分组比对，得出最终结果。(如图7所示)

本实施例中采用200W级别的人脸样本库数据进行聚类为例，共来自数十个相邻近的摄像场景，最终共得到4.9W+聚类结果，除去特征提取和索引构建的前期过程，聚类算法对200W人脸数据的聚类耗时13minutes,内存占用开销4G，实现当前最优的聚类效率，聚类准确率。部分聚类结果截图可参考图8-9所示。

需要补充说明的是，除非另作定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本领域技术人员在考虑说明书及实践这里的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何用途或者适应性变化，这些用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的结构，并且可以在不脱离其范围的前提下进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims (6)

1.一种基于特征编码的高效人脸聚类方法，其特征在于，至少包括：

(1)提取人脸原始特征，并进行特征编码，建立编码表，创建特征编码的索引引擎库；

(2)以创建的索引引擎库为基础，根据获取人脸特征与编码后的人脸特征值匹配，进行初步分组；在(2)中，对存储人脸特征库的人脸编码表依次进行分布式搜索，按照编码后距离计算方式返回匹配距离值小于阈值T的结果，匹配成功的数量定义为当前人脸引用数，因此对整个人脸编码库完成遍历后，会得到和人脸表相同数量的引用计数表M，按照此引用次数进行排序，可以直观得到某个人脸被引用的计数高低频次；

在(2)中，对引用计数表M按照降序排序后，按顺序从表首开始，根据人脸特征编码表再在索引引擎库中搜索，将所有距离值小于阈值T的依次归到同一组内，并标记为已分类；对于距离值大于阈值T的人脸，根据引用计数表依次划分成新组，直到所有人脸都被标记为已分类，此时完成初步分组的原始人脸分组集合S；

(3)计算初步分组中每一组的人脸平均特征，进行分组间的特征值比对，通过合并形成新的分组，得到最终结果，在(3)中，对初步分组的人脸集合S计算人脸平均特征，分别匹配当前组人脸与其他分组人脸的相似度，若分组间距离值小于设定阈值T，则将二者分组进行合并，从而形成新的分组，循环所有分组比对，得出最终结果。

2.如权利要求1所述的基于特征编码的高效人脸聚类方法，其特征在于，实现(1)的步骤至少包括如下操作：

(10)采用人脸检测算法对场景内人脸进行检测，并对检测得到的人脸采用卷积神经网络进行特征提取，得到原始人脸特征的图像库;

(11)通过聚类的方式定时对图像库中的特征进行特征编码，并对编码后的特征进行相似性距离计算；

(12)创建分层索引结构，根据指数衰减的概率分布规则，设计“低-中-高”的图层状索引结构，以加速检索效率；

(13)将原始特征编码与分层索引结构结合，形成索引引擎库。

3.如权利要求2所述的基于特征编码的高效人脸聚类方法，其特征在于，在(11)中，进行特征编码的方式为：对人脸特征的图像库中的每条人脸特征向量平均划分成K个子域，之后将所有特征数量进行聚类得到C个聚类中心，因此所有K个子域内的人脸特征可得到K*C个聚类中心；在任意子域内子向量段的编码用该子向量所属的聚类中心的编码值来表示，从而用较短的编码值表示原始特征向量，完成所有样本数据的编码工作。

4.如权利要求3所述的基于特征编码的高效人脸聚类方法，其特征在于，在(11)中，对编码后的特征进行相似性距离计算方式为：根据特征编码得到K个人脸特征向量的子域，得到K个子向量，将K个子向量分别在K*C的距离矩阵中获取每一个子向量到聚类中心向量的距离，距离越小，表示查询的人脸向量与图像库中的样本越相近。

5.如权利要求4所述的基于特征编码的高效人脸聚类方法，其特征在于，在(12)中，图层状索引结构高层结构中的节点为低层结构的子集，最低层包含所有图节点；查询时从高层选择最近邻节点开始，作为下一低层的起始点，逐步向下实现整个检索过程；因此，低层对应的节点之间相似度越高，距离越近；高层对应的节点之间相似度越低，距离越远。

6.如权利要求5所述的基于特征编码的高效人脸聚类方法，其特征在于，在(12)中，在创建分层图结构时，对原始特征向量进行特征编码后作为图节点，插入节点到具体层级，然后在每层图结构中寻找K个最近邻点，并相互连接，从而完成当前层节点的连接与构建。

Images