CN108664920B - 一种实时的大规模级联人脸聚类方法和装置 - Google Patents

Abstract

本发明实施例提供一种实时的大规模级联人脸聚类方法和装置，该方法包括：获取摄像机新拍的一张人脸图片；获取人脸图片对应的人脸特征数据；和人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，则继续和它距离相近的摄像机采集的已经聚类的类中心进行比较，则比中，判定为同一类人脸，更新该类的类中心；否则，以级联的方式继续扩大比较范围判断是否和某一类人脸的相似度高于或等于预设相似阈值。通过实时和级联的方式，可提高人脸聚类的实时性，还可提高大规模人脸聚类的准确率。

Description

一种实时的大规模级联人脸聚类方法和装置

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种实时的大规模级联人脸聚类方法和装置。

背景技术

海量人脸抓拍记录，在没有人员名单的前提下，希望对所有人脸进行分析，确定哪些人脸是同一个人。这一过程，我们叫做大规模人脸聚类(建档)。如果有人员名单，这叫做人脸归档。

人脸图片属于非结构化数据，无法通过直接比较判断两张人脸是否属于同一个人。传统如果要判断就是人工肉眼查看。现有人脸识别技术，可以对两张照片进行相似度判定，比如当相似度大于某个阈值的时候，判定为同一个人。但这样的技术仍然存在误识别的可能。

如果要在大规模人脸抓拍日志中进行人脸建档，目前有一些聚类的技术可以实现，这些方法大多基于传统的静态聚类方法，对获取的已有数据进行全局分析彼此的相似度，根据相似度采用聚类方法(如kmeans等)进行聚类，这类方法不能进行实时的聚类，特别是当规模大了之后，计算效率、聚类准确度都存在问题。

现有人脸识别技术存在如下问题：

1、人工肉眼归档，完全不可行，工作量及其大；

2、直接采用人脸识别办法进行相似度判断，由于存在误识别可能，如何通过合理的方法进行容错，以及防止错误扩散是很大的问题。另外，还需要通过大数据计算方法解决计算效率问题

3、传统人脸聚类方法，本质也是通过某种相似度模型进行特征计算。无法解决规模大了之后的实时性问题，且当人脸规模大了之后，准确度下降非常厉害。

从实用的角度，目前还没有看到成熟的实时且精确度较高的人脸聚类或人脸建档方法。

发明内容

本发明实施例提供一种实时的大规模级联人脸聚类方法和装置，以提供一种实时且精确度较高的人脸聚类技术方案。

一方面，本发明实施例提供了一种实时的大规模级联人脸聚类方法，所述方法包括：

获取摄像机新拍的一张人脸图片；

根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：

若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；

否则，则继续和它距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，以级联的方式继续扩大比较范围判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值。

另一方面，本发明实施例提供了一种实时的大规模级联人脸聚类装置，所述装置包括：

图片获取单元，用于获取摄像机新拍的一张人脸图片；

特征提取单元，用于根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

人脸聚类单元，用于根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，则继续和它距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，以级联的方式继续扩大比较范围判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值。

上述技术方案具有如下有益效果：通过实时和级联的方式，一方面可以提高人脸聚类的实时性，另一方面可以提高大规模人脸聚类的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种实时的大规模级联人脸聚类方法流程图；

图2为本发明实施例一种实时的大规模级联人脸聚类装置结构示意图；

图3为本发明实施例人脸聚类单元结构示意图；

图4为本发明实施例另一种实时的大规模级联人脸聚类装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例一种实时的大规模级联人脸聚类方法流程图，所述方法包括：

101、获取摄像机新拍的一张人脸图片；

102、根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

103、根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：

若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；

否则，则继续和它距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，以级联的方式继续扩大比较范围判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值。

优选地，所述以级联的方式继续扩大比较范围后，若直至与所有摄像机抓拍的已经聚类的类中心都比较完，仍然没有比中，则将所述人脸图片新建一类中心。

优选地，所述获取摄像机新拍的一张人脸图片后，判断所述人脸图片的质量参数是否大于或等于预设阈值：

若所述人脸图片的质量参数大于或等于预设阈值，则根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

若所述人脸图片的质量参数小于预设阈值，则将所述人脸图片放入废片库。

优选地，所述人脸图片的质量参数包括如下的一种或多种：角度参数、清晰度参数、光线明暗参数、遮挡参数。

优选地，判定为同一类人脸后，计算所述人脸图片的权重参数，利用如下公式更新该类的类中心，具体包括：

fc＝(wq1+wt1)*f1+(wq2+wt2)*f2+...+(wqn+wtn)*fn，其中，fc为该类的类中心；wq为人脸图片的质量分数；wt为人脸图片生成的时间系数，wt＝1/(1+d)，n为自然数，d为人脸图片的生成时间距离当前时间的间隔天数。

对应于上述方法实施例，如图2所示，为本发明实施例一种实时的大规模级联人脸聚类装置结构示意图，所述装置包括：

图片获取单元，用于获取摄像机新拍的一张人脸图片；

特征提取单元，用于根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

人脸聚类单元，用于根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，则继续和它距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；否则，以级联的方式继续扩大比较范围判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值。

优选地，如图3所示，为本发明实施例人脸聚类单元结构示意图，所述人脸聚类单元23包括：

新建模块231，用于所述以级联的方式继续扩大比较范围后，若直至与所有摄像机抓拍的已经聚类的类中心都比较完，仍然没有比中，则将所述人脸图片新建一类中心。

优选地，如图4所示，为本发明实施例另一种实时的大规模级联人脸聚类装置结构示意图，所述装置不但包括：图片获取单元21、特征提取单元22、人脸聚类单元23，所述装置还包括：

图片质量判断单元24，用于所述获取摄像机新拍的一张人脸图片后，判断所述人脸图片的质量参数是否大于或等于预设阈值：

若所述人脸图片的质量参数大于或等于预设阈值，则根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

若所述人脸图片的质量参数小于预设阈值，则将所述人脸图片放入废片库。

优选地，所述人脸图片的质量参数包括如下的一种或多种：角度参数、清晰度参数、光线明暗参数、遮挡参数。

优选地，所述人脸聚类单元23，用于判定为同一类人脸后，计算所述人脸图片的权重参数，利用如下公式更新该类的类中心，具体包括：

fc＝(wq1+wt1)*f1+(wq2+wt2)*f2+...+(wqn+wtn)*fn，其中，fc为该类的类中心；wq为人脸图片的质量分数；wt为人脸图片生成的时间系数，wt＝1/(1+d)，n为自然数，d为人脸图片的生成时间距离当前时间的间隔天数。

本发明实施例的基本方案是，采用实时和级联的方式进行聚类。实时是指，当新来一张人脸图片后，可以实时的加入到已经聚好类的已经聚类的类中心，若和某一类的相似度高于预设相似阈值，则与该类聚成一类，若和所有类的相似度都不高，则新建一类。级联是指，人脸图像都来自与摄像机，在聚类过程中，新来的人脸不是和库里所有人脸进行直接比较，而是先和该新来人脸来自同一摄像机的已经聚类的类中心进比较，若相似度高于预设相似阈值，则判定为同一类；否则，则继续和它距离相近的那些摄像机采集的已经聚类的类中心进行比较，若相似度高于预设相似阈值，则判定为同一类；否则，以级联的方式继续扩大比较范围，直至与所有摄像机抓拍的已经聚类的类中心都比较完，若仍然没有比中，则新建一类。通过实时和级联的方式，一方面可以提高整个系统的实时性，另一方面可以提高大规模人脸聚类的准确率。

人脸质量过滤。由于摄像机抓拍的人脸图像千差万别，低质量的人脸图片(如角度过大、过于模糊、光线很暗等)会影响人脸聚类的准确率，因此，需要将低质量的人脸图片排除，放入到废片库。

提取人脸特征。利用深度学习模型提取人脸特征，人脸特征用于比对(比较)两张人脸图像是否来自同一个人。

人脸聚类。一共分为N级。第1级为摄像机本级聚类，也既输入图像只与抓拍人脸库中来自同一摄像机的人脸进行比对。第2级为与输入图像所来自的摄像机最近的那些摄像机采集的已经聚类的类中心进行比对。如此依次放宽范围，直到第N级为与所有摄像机的抓拍已经聚类的类中心进行比对。每一级中，都只与抓拍人脸库中已聚类的聚类中心进行比对，一方面提高了速度，另一方面可以提高准确率。涉及到的聚类中心更新策略如下：每个聚类中心都由该类中所有的人脸特征按照他们的质量分数，以及时间进行归一化得到，如下：

fc＝(wq1+wt1)*f1+(wq2+wt2)*f2+...+(wqn+wtn)*fn (公式1)

fc为该类的类中心；wq为人脸图片的质量分数；wt为人脸图片生成的时间系数，wt＝1/(1+d)，n为自然数，d为人脸图片的生成时间距离当前时间的间隔天数。其中wq为人脸图片的质量分数，wt为时间相关的系数，时间距离越近的人脸，权重越大。

与比中类划到同一类。若输入图片与某一类的类中心比对，相似度大于某一阈值T2，则认为他们是来自同一类，并根据公式1进行类中心的更新。这里阈值T2对于每一级是不同的，对某一级i，i越小，T2也越小，这是因为i越小，库中图片量越小，不容易出错，T2可适当放小，以提供聚类的准确率。

新建一类。若输入图片与所有类中心的相似度都小于相应的阈值，则新建一类。

本发明实施例通过人脸质量过滤提高准确率，通过实时聚类提高实时性，通过级联聚类提高准确率和实时性。引入废片库，既提高准确率，又不丢失人脸图片。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种实时的大规模级联人脸聚类方法，其特征在于，所述方法包括：

获取摄像机新拍的一张人脸图片；

根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：

若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；

否则，则继续和输入图像的摄像机距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；其中，和输入图像的摄像机距离相近的摄像机采集的已经聚类的类中心是指：和输入图像的摄像机最近的摄像机内的所有人脸图像进行聚类的类中心；

否则，以级联的方式继续扩大比较范围，与下一摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值；其中，所述下一摄像机是指未比中的摄像机相近的摄像机；

所述以级联的方式继续扩大比较范围后，若直至与所有摄像机抓拍的已经聚类的类中心都比较完，仍然没有比中，则将所述人脸图片新建一类中心。

2.如权利要求1所述实时的大规模级联人脸聚类方法，其特征在于，所述获取摄像机新拍的一张人脸图片后，判断所述人脸图片的质量参数是否大于或等于预设阈值：

若所述人脸图片的质量参数大于或等于预设阈值，则根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

若所述人脸图片的质量参数小于预设阈值，则将所述人脸图片放入废片库。

3.如权利要求2所述实时的大规模级联人脸聚类方法，其特征在于，所述人脸图片的质量参数包括如下的一种或多种：角度参数、清晰度参数、光线明暗参数、遮挡参数。

4.如权利要求1所述实时的大规模级联人脸聚类方法，其特征在于，判定为同一类人脸后，计算所述人脸图片的权重参数，利用如下公式更新该类的类中心，具体包括：

fc＝(wq1+wt1)*f1+(wq2+wt2)*f2+...+(wqn+wtn)*fn，其中，fc为该类的类中心；wq为人脸图片的质量分数；wt为人脸图片生成的时间系数，wt＝1/(1+d)，n为自然数，d为人脸图片的生成时间距离当前时间的间隔天数。

5.一种实时的大规模级联人脸聚类装置，其特征在于，所述装置包括：

图片获取单元，用于获取摄像机新拍的一张人脸图片；

特征提取单元，用于根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

人脸聚类单元，用于根据所述人脸图片对应的人脸特征数据，和所述人脸图片来自同一摄像机的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：

若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；

否则，则继续和输入图像的摄像机距离相近的摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值：若相似度高于或等于预设相似阈值，则比中，判定为同一类人脸，更新该类的类中心；其中，和输入图像的摄像机距离相近的摄像机采集的已经聚类的类中心是指：和输入图像的摄像机最近的摄像机内的所有人脸图像进行聚类的类中心；

否则，以级联的方式继续扩大比较范围，与下一摄像机采集的已经聚类的类中心进行比较，判断所述人脸图片对应的人脸是否和某一类人脸的相似度高于或等于预设相似阈值；其中，所述下一摄像机是指未比中的摄像机相近的摄像机；

所述人脸聚类单元包括：

新建模块，用于所述以级联的方式继续扩大比较范围后，若直至与所有摄像机抓拍的已经聚类的类中心都比较完，仍然没有比中，则将所述人脸图片新建一类中心。

6.如权利要求5所述实时的大规模级联人脸聚类装置，其特征在于，所述装置还包括：

图片质量判断单元，用于所述获取摄像机新拍的一张人脸图片后，判断所述人脸图片的质量参数是否大于或等于预设阈值：

若所述人脸图片的质量参数大于或等于预设阈值，则根据所述人脸图片，获取所述人脸图片对应的人脸特征数据；

若所述人脸图片的质量参数小于预设阈值，则将所述人脸图片放入废片库。

7.如权利要求6所述实时的大规模级联人脸聚类装置，其特征在于，所述人脸图片的质量参数包括如下的一种或多种：角度参数、清晰度参数、光线明暗参数、遮挡参数。

8.如权利要求5所述实时的大规模级联人脸聚类装置，其特征在于，

所述人脸聚类单元，用于判定为同一类人脸后，计算所述人脸图片的权重参数，利用如下公式更新该类的类中心，具体包括：

fc＝(wq1+wt1)*f1+(wq2+wt2)*f2+...+(wqn+wtn)*fn，其中，fc为该类的类中心；wq为人脸图片的质量分数；wt为人脸图片生成的时间系数，wt＝1/(1+d)，n为自然数，d为人脸图片的生成时间距离当前时间的间隔天数。

Images