CN110807115A - 人脸检索方法、装置、及存储装置 - Google Patents

Abstract

本发明公开了一种人脸检索方法、装置、及存储装置。其中方法包括获取人脸库中每张人脸的第一人脸特征；基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树；将待检索人脸的第二人脸特征输入至该层次聚类树中进行检索。通过上述方式，大大减少了需要比对的人脸样本量，从而提高了人脸检索速度；且相比较于k均值聚类方法，其通用性强。

Description

人脸检索方法、装置、及存储装置

技术领域

本申请涉及机器学习及图像识别技术领域，特别是涉及一种人脸检索方法、装置、及存储装置。

背景技术

在人脸检索的过程中，需要在人脸库中找到与待检索人脸最相似的一张或多张人脸。当人脸库规模很大时，检索需要耗费大量的时间。现有技术中，人脸检索的方法有：(1)遍历法：将检索人脸与人脸库中的每一张人脸进行一一比对，根据相似度大小排序，输出相似度最高的一张或多张人脸，该方法需要耗费大量的时间。(2)聚类法：对人脸库中的人脸进行聚类，获得多个聚类中心；找到与待检索人脸最近的聚类中心；最后在该聚类中心所在的聚类簇中继续寻找输出距离最短的一张或多张人脸。例如专利CN109685044A提供的基于k均值聚类算法的人脸识别检索方法，其设计要点是建立人物库，每个人物通过k均值聚类方法计算出人物对应的中心向量。从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。然而该方法需要在人脸库聚类时需指定类别数k，k的选择直接影响聚类的效果，且各个人脸库的最优类别数k均不相同。(3)编码法：将人脸库中的每一张人脸进行编码，对待检索人脸同样进行编码操作，计算汉明距离，输出距离最短的一张或多张人脸。例如专利CN105808709 A提供的人脸识别快速检索方法及装置，其设计要点是：建立样本数据库，将样本数据进行二值化转换并Hash映射至多个Hash表中；对待查询样本的特征数据同样进行二值化转换并利用建立样本数据库采用的Hash函数投影得到二值码序列，计算与各个Hash表之间的汉明距离，距离最短的结果作为检索结果返回。然而该方法在对人脸特征进行二值化转换后进行Hash编码映射时，会造成较多的特征信息损失，影响检索精度。

发明内容

本申请提供一种人脸检索方法、装置、及存储装置，以解决现有的人脸检索方法检索速度慢或者检索精度低的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种人脸检索方法，包括：

获取人脸库中每张人脸的第一人脸特征；

基于所述第一人脸特征对所述人脸库中的人脸进行层次聚类以获得层次聚类树；

将待检索人脸的第二人脸特征输入至所述层次聚类树中进行检索。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种人脸检索装置，所述装置包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现上述的人脸检索方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现人脸检索。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储装置，存储有能够实现上述的人脸检索方法的程序文件。

本申请的有益效果是：本发明的人脸检索方法、装置、及存储装置通过获取人脸库中每张人脸的第一人脸特征；基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树；将待检索人脸的第二人脸特征输入至该层次聚类树中进行检索。通过上述方式，大大减少了需要比对的人脸样本量，从而提高了人脸检索速度；且相比较于k均值聚类方法，其通用性强。

附图说明

图1是本发明第一实施例的人脸检索方法的流程示意图；

图2是本发明第一实施例中基于第一人脸特征对人脸库中的人脸进行层次聚类以获得层次聚类树的子流程示意图；

图3是本发明第一实施例中将第二人脸特征输入至层次聚类树中进行检索的子流程示意图；

图4是本发明第二实施例的人脸检索方法的流程示意图；

图5是本发明实施例的人脸检索装置的第一结构示意图；

图6是本发明实施例的人脸检索装置的第二结构示意图；

图7是本发明实施例的存储装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的人脸检索方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括步骤：

步骤S101：获取人脸库中每张人脸的第一人脸特征、以及待检索人脸的第二人脸特征。

可选地，在步骤S101中，先基于人脸检测算法获取人脸位置；然后对获取到的人脸位置上的人脸进行对齐和裁剪；再使用特征提取网络从裁剪后的人脸中提取人脸特征。可选地，该人脸特征为256维浮点型数据，且在后序步骤中无需进行二值化转换和编码，即人脸特征信息不会受损，因此人脸检索精度高。

步骤S102：基于该第一人脸特征对人脸库中的人脸进行层次聚类以获得层次聚类树。

请参阅图2所示，在本实施例中，步骤S102包括如下子步骤：

步骤S1021：将该人脸库中每张人脸的第一人脸特征所包含的数据作为一个聚类簇。

现举例说明，假设人脸库中有n个人脸(Q₁,Q₂,……Q_n)，则将每个人脸的人脸特征所包含的数据作为一个聚类簇C₁,C₂,……C_n，形成最底端的聚类层，此时聚类簇的总个数q＝n。

步骤S1022：计算每两个聚类簇之间的簇间距离。

可选地，该簇间距离为平均余弦距离，承前举例说明，聚类簇C_i和C_j之间的平均余弦距离d(C_i,C_j)的计算公式见下式(1)：

其中，i＝1,2,……q，j＝i+1,i+2,……q。

步骤S1023：合并该簇间距离中距离最小的两个聚类簇以形成一个新聚类簇，并统计当前聚类簇的个数，该当前聚类簇为当前未合并的聚类簇或当前合并后形成的新聚类簇。

可选地，合并该簇间距离中距离最小的两个聚类簇以形成一个新聚类簇之后还包括计算该新聚类簇的聚类中心并保存。承前举例说明，找到簇间距离d(C_i,C_j)中距离最近的两个聚类簇

和

合并聚类簇

和形成新的聚类簇

计算C_k的聚类中心

并保存。此时当前聚类簇的个数q＝q-1。

步骤S1024：判断该当前聚类簇的个数是否为1；若是，执行步骤S1025；否则，针对该当前聚类簇，返回执行步骤S1022。

步骤S1025：将获得的树状层次结构作为该人脸库的层次聚类树输出。

在本实施例中，经过若干次层次聚类后直至当前聚类簇的总个数为1时，结束层次聚类过程，最终获得树状层次结构，并将该树状层次结构作为该人脸库的层次聚类树输出。相比较于k均值聚类方法，由于不需要预先设置聚类簇个数k，因此通用性强。

步骤S103：将该第二人脸特征输入至该层次聚类树中进行检索。

本实施例中的层次聚类树为m层树状层次结构，其中第1层的聚类簇个数为1，即步骤S103中的检索为自上而下的检索过程，可选地，m为大于1的整数。请参阅图3所示，在本实施例中，步骤S103包括如下子步骤：

步骤S1031：进入该第1层的聚类簇的两个子聚类簇所在的层。

可以理解的是，该子聚类簇即为步骤S1023中介绍的合并形成该第1层的聚类簇的两个聚类簇，该两个子聚类簇所在层可能为2～(m-1)层中的任意一层。

步骤S1032：计算该第二人脸特征与该两个子聚类簇的聚类中心之间的余弦距离。

通过步骤S1032，找到这两个子聚类簇中与该第二人脸特征的余弦距离较小的子聚类簇，并将该子聚类簇记为第一子聚类簇，然后进入步骤S1033。

S1033：判断该第一子聚类簇所在的层是否为第m层；若是，执行步骤S1034；否则，进入该第一子聚类簇的两个子聚类簇所在的层，并返回执行步骤S1032。

步骤S1034：将该第一子聚类簇所对应的人脸作为该待检索人脸的最相似人脸输出。

在步骤S1033中，若判断结果为是，说明该第一子聚类簇所在的层即为步骤S1021中所述的最底端的聚类层，可以将该第一子聚类簇所对应的人脸作为该待检索人脸的最相似人脸输出；若判断结果为否，进入该第一子聚类簇的两个子聚类簇所在的层，并返回执行步骤S1032，然后重新进入步骤S1033中进行判断。该方式大大减少了需要比对的人脸样本量，从而提高了人脸检索速度。

步骤S104：将该第二人脸特征所包含的数据作为新增聚类簇加入该层次聚类树中以对该层次聚类树进行更新。

可选地，若步骤S1033的判断结果为是时，将该第二人脸特征所包含的数据作为新增聚类簇加入该第一子聚类簇所在的父聚类簇中，并对该层次聚类树进行更新。可以理解的是，该父聚类簇为该第一子聚类簇和另一个子聚类簇合并形成。可选地，在步骤S104中，将该第二人脸特征所包含的数据作为新增聚类簇加入该第一子聚类簇所在的父聚类簇后，需要重新计算相应聚类簇的聚类中心，以完成对该层次聚类树的更新。通过该方式，可以实现新人脸样本的快速入库，以实现对人脸库的更新。

本发明第一实施例的人脸检索方法通过获取人脸库中每张人脸的第一人脸特征、以及待检索人脸的第二人脸特征；基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树；将该第二人脸特征输入至该层次聚类树中进行检索；将该第二人脸特征所包含的数据作为新增聚类簇加入该层次聚类树中以对该层次聚类树进行更新。通过上述方式，大大减少了需要比对的人脸样本量，从而提高了人脸检索速度；且相比较于k均值聚类方法，由于不需要预先设置聚类簇个数k，因此通用性强；同时还可以实现新人脸样本的快速入库，以实现对人脸库的更新。

图4是本发明第二实施例的人脸检索方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图4所示的流程顺序为限。如图4所示，该方法包括步骤：

步骤S201：获取人脸库中每张人脸的第一人脸特征、以及待检索人脸的第二人脸特征。

步骤S202：基于该第一人脸特征对人脸库中的人脸进行层次聚类以获得层次聚类树。

步骤S203：将该第二人脸特征输入至该层次聚类树中进行检索。

在本实施例中，图4中的步骤S201至步骤S203分别与图1中的步骤S101至步骤S103类似，为简约起见，在此不再赘述。

步骤S204：检索多张与该待检索人脸相似的人脸并输出。

可选地，若步骤S1033的判断结果为是时，从该第一子聚类簇所在的父聚类簇中检索出预设数量的聚类簇所对应的人脸，并将检索出的这些人脸作为该待检索人脸的相似人脸输出。需要说明的是，若从该第一子聚类簇所在的父聚类簇中检索出的相似人脸的数量小于预设数量，则继续向上一级父聚类簇中寻找，直至找到预设数量的相似人脸。若从该第一子聚类簇所在的父聚类簇中检索出的相似人脸的数量大于预设数量，则选择将与该第二人脸特征的余弦距离小的聚类簇所对应的人脸作为该待检索人脸的相似人脸输出。通过步骤S204，实现了检索并输出多张相似人脸的目的。

本发明第二实施例的人脸检索方法通过获取人脸库中每张人脸的第一人脸特征、以及待检索人脸的第二人脸特征；基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树；将该第二人脸特征输入至该层次聚类树中进行检索；检索多张与该待检索人脸相似的人脸并输出。通过上述方式，大大减少了需要比对的人脸样本量，从而提高了人脸检索速度；且相比较于k均值聚类方法，由于不需要预先设置聚类簇个数k，因此通用性强；同时还可以支持检索并输出多张相似人脸。

图5是本发明实施例的人脸检索装置的第一结构示意图。如图5所示，该装置30包括获取模块31、层次聚类模块32和检索模块33。

获取模块31，用于获取人脸库中每张人脸的第一人脸特征、以及待检索人脸的第二人脸特征。

可选地，获取模块31获取人脸特征的操作可以为基于人脸检测算法获取人脸位置；对获取到的人脸位置上的人脸进行对齐和裁剪；使用特征提取网络从裁剪后的人脸中提取人脸特征。

可选地，该人脸特征为256维浮点型数据。

层次聚类模块32与获取模块31耦接，用于基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树。

可选地，层次聚类模块32基于该第一人脸特征对该人脸库中的人脸进行层次聚类以获得层次聚类树的操作可以为第一步，将该人脸库中每张人脸的第一人脸特征所包含的数据作为一个聚类簇；第二步，计算每两个聚类簇之间的簇间距离；第三步，合并该簇间距离中距离最小的两个聚类簇以形成一个新聚类簇，并统计当前聚类簇的个数，该当前聚类簇为当前未合并的聚类簇或当前合并后形成的新聚类簇；第四步，判断该当前聚类簇的个数是否为1；若是，将获得的树状层次结构作为该层次聚类树输出；否则，针对该当前聚类簇，返回执行第二步。

可选地，第三步，合并该簇间距离中距离最小的两个聚类簇以形成一个新聚类簇之后计算该新聚类簇的聚类中心并保存。

检索模块33与层次聚类模块32耦接，用于将该第二人脸特征输入至该层次聚类树中进行检索。

可选地，该层次聚类树为m层树状层次结构，m为大于1的整数，第1层的聚类簇个数为1。检索模块33将该第二人脸特征输入至该层次聚类树中进行检索的操作可以为第一步，进入该第1层的聚类簇的两个子聚类簇所在的层；第二步，计算该第二人脸特征与该两个子聚类簇的聚类中心之间的余弦距离；第三步，判断该第一子聚类簇所在的层是否为第m层，该第一子聚类簇为第二步计算所得的余弦距离中较小的余弦距离所对应的子聚类簇；若是，将该第一子聚类簇所对应的人脸作为该待检索人脸的最相似人脸输出；否则，进入该第一子聚类簇的两个子聚类簇所在的层，并返回执行第二步。

可选地，检索模块33还用于检索多张与该待检索人脸相似的人脸并输出。

可选地，检索模块33检索多张与该待检索人脸相似的人脸并输出的操作可以为当判断得出该第一子聚类簇所在的层为第m层时，从该第一子聚类簇所在的父聚类簇中检索出预设数量的聚类簇所对应的人脸，并将这些人脸作为该待检索人脸的相似人脸输出。

可选地，层次聚类模块32还用于将该第二人脸特征所包含的数据作为新增聚类簇加入该层次聚类树中以对该层次聚类树进行更新。

可选地，层次聚类模块32将该第二人脸特征所包含的数据作为新增聚类簇加入该层次聚类树中以对该层次聚类树进行更新的操作为当判断得出该第一子聚类簇所在的层为第m层时，将该第二人脸特征所包含的数据作为新增聚类簇加入该第一子聚类簇所在的父聚类簇中，并对该层次聚类树进行更新。

请参阅图6，图6为本发明实施例的人脸检索装置的第二结构示意图。如图6所示，该装置40包括处理器41及和处理器41耦接的存储器42。

存储器42存储有用于实现上述任一实施例所述的人脸检索方法的程序指令。

处理器41用于执行存储器42存储的程序指令以实现人脸检索。

其中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图7，图7为本发明实施例的存储装置的结构示意图。本发明实施例的存储装置存储有能够实现上述所有方法的程序文件51，其中，该程序文件51可以以软件产品的形式存储在上述存储装置中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种人脸检索方法，其特征在于，包括：

获取人脸库中每张人脸的第一人脸特征；

基于所述第一人脸特征对所述人脸库中的人脸进行层次聚类以获得层次聚类树；

将待检索人脸的第二人脸特征输入至所述层次聚类树中进行检索。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一人脸特征对所述人脸库中的人脸进行层次聚类以获得层次聚类树步骤包括：

将所述人脸库中每张人脸的第一人脸特征所包含的数据作为一个聚类簇；

计算每两个聚类簇之间的簇间距离；

合并所述簇间距离中距离最小的两个聚类簇以形成一个新聚类簇，并统计当前聚类簇的个数，所述当前聚类簇为当前未合并的聚类簇或当前合并后形成的新聚类簇；

判断所述当前聚类簇的个数是否为1；若是，将获得的树状层次结构作为所述层次聚类树输出；否则，针对所述当前聚类簇，返回所述计算每两个聚类簇之间的簇间距离步骤。

3.根据权利要求2所述的方法，其特征在于，所述合并所述簇间距离中距离最小的两个聚类簇以形成一个新聚类簇步骤之后还包括计算所述新聚类簇的聚类中心。

4.根据权利要求3所述的方法，其特征在于，所述层次聚类树为m层树状层次结构，m为大于1的整数，第一层的聚类簇个数为1；

所述将待检索人脸的第二人脸特征输入至所述层次聚类树中进行检索步骤包括：

进入所述第一层的聚类簇的两个子聚类簇所在的层；

计算所述第二人脸特征与所述两个子聚类簇的聚类中心之间的余弦距离；

判断第一子聚类簇所在的层是否为第m层，所述第一子聚类簇为计算所得的余弦距离中较小的余弦距离所对应的子聚类簇；若是，将所述第一子聚类簇所对应的人脸作为所述待检索人脸的最相似人脸输出；否则，进入所述第一子聚类簇的两个子聚类簇所在的层，并返回所述计算所述第二人脸特征与所述两个子聚类簇的聚类中心之间的余弦距离步骤。

5.根据权利要求4所述的方法，其特征在于，当判断结果为所述第一子聚类簇所在的层是第m层时，从所述第一子聚类簇所在的父聚类簇中检索出预设数量的聚类簇所对应的人脸，并将所述人脸作为所述待检索人脸的相似人脸输出。

6.根据权利要求4所述的方法，其特征在于，当判断结果为所述第一子聚类簇所在的层是第m层时，将所述第二人脸特征所包含的数据作为新增聚类簇加入所述第一子聚类簇所在的父聚类簇中，并对所述层次聚类树进行更新。

7.根据权利要求2-6中任一项所述的方法，其特征在于，所述簇间距离为平均余弦距离。

8.根据权利要求1-6中任一项所述的方法，其特征在于，人脸特征的获取步骤包括：

基于人脸检测算法获取人脸位置；

对获取到的人脸位置上的人脸进行对齐和裁剪；

使用特征提取网络从裁剪后的人脸中提取人脸特征。

9.根据权利要求1-6中任一项所述的方法，其特征在于，所述人脸特征为256维浮点型数据。

10.一种人脸检索装置，其特征在于，所述装置包括处理器、与所述处理器耦接的存储器，其中，

所述存储器存储有用于实现如权利要求1-9中任一项所述的人脸检索方法的程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现人脸检索。

11.一种存储装置，其特征在于，存储有能够实现如权利要求1-9中任一项所述的人脸检索方法的程序文件。

Images