CN107392222A - 一种人脸聚类方法、装置以及存储介质 - Google Patents
一种人脸聚类方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN107392222A CN107392222A CN201710423670.8A CN201710423670A CN107392222A CN 107392222 A CN107392222 A CN 107392222A CN 201710423670 A CN201710423670 A CN 201710423670A CN 107392222 A CN107392222 A CN 107392222A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- vector
- characteristic
- classification features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种人脸聚类方法、装置和存储介质，其中该方法包括：根据待归类特征向量对人脸特征kd树进行查询，得到K个近邻特征向量以及得到K个近邻特征向量与待归类特征向量之间的特征距离；对K个特征距离从小到大进行排序，选取对应的前M个近邻特征向量作为近距特征向量，并计算近距特征向量与待归类特征向量的对称性距离；若对称性距离小于归类阈值，则将待归类特征向量与近距特征向量对应的类相关联。通过利用kd树排列已归类特征向量，通过K近邻算法搜索近邻特征向量，搜索效率高，速度快，可以快速减小聚类范围；通过对称性距离评价待归类特征向量与近距特征向量间的相似度，将待归类特征向量划分至最相似的类，保证了聚类的准确程度。
Description
技术领域
本发明涉及视频监控技术，尤其涉及一种人脸聚类方法、装置以及存储介 质。
背景技术
在地铁，车站，机场，海关这类公共场所中，正常情况下在一段时间内， 一个人只会出现一次，如果某个人多次出现，那么这个人的行为将值得公安部 门和公共场所管理部门重点关注。例如，在车站售票处多次出现的人可能是伺 机偷取其他人财物的人员或倒卖车票的黄牛；海关通道中多次出入的人员有更 大的涉嫌走私的嫌疑。对于人员流动量大的公共场所，异常的出现次数往往关 联异常的动机，锁定在特定场所异常出现次数的人对于锁定异常动机的人员， 维护公共安全具有重要的意义。
目前，在解决人脸异常出现次数的方案中，主要为基于深度学习的人脸识 别方案。当摄像机抓拍到一张人脸图像时，与之前抓拍到的所有图像进行比对， 并结合之前比对的身份标记情况，来判断此人脸是第一次出现，还是以及多次 出现。利用人脸识别技术进行大规模的人脸比对，进行人的通行次数统计的方 法主要有以下缺点：
1、准确率低，目前，我国重点车站，口岸等场所的日通行率都在几十万人 次，在这种数据规模下，单纯进行人脸识别错误率会很高，同时，实际情况下 的图像情况比公开的数据集复杂，光照、噪声、人脸角度等都会对识别率造成 影响。在这种情况下，单纯的人脸识别的结果可能无法达到实际应用的要求。
2、运算量暴增，单纯进行人脸比对时，每当一张人脸图像被抓拍到的时候， 都要和之前抓拍到的所有图像进行比对，总的运算量达到O(n2)，在每天流量几 十万人的情况下，比对计算次数达到百亿次。在大规模人流通过的情况下不可 行。
发明内容
为了克服现有技术的不足，本发明的目的之一在于提供一种人脸聚类方法， 其能解决现有的基于深度学习的人脸识别方案在人流量较大时准确率低、运算 量暴增的问题。
本发明的目的之二在于提供一种人脸聚类装置，其能解决现有的基于深度 学习的人脸识别方案在人流量较大时准确率低、运算量暴增的问题。
本发明的目的之三在于提供一种存储介质，存储有计算机程序，其能解决 现有的基于深度学习的人脸识别方案在人流量较大时准确率低、运算量暴增的 问题。
本发明的目的之一采用以下技术方案实现：
一种人脸聚类方法，包括以下步骤：
计算待归类人脸图像的待归类特征向量；
根据所述待归类特征向量对人脸特征kd树进行查询，得到K个近邻特征向 量以及得到K个所述近邻特征向量与所述待归类特征向量之间的特征距离，K 为不为0的自然数；所述人脸特征kd树包括多个已归类特征向量，所述已归类 特征向量关联于一个类；
对K个特征距离从小到大进行排序，在排序后的K个特征距离中选取前M 个特征距离最近对应的近邻特征向量作为近距特征向量，M不大于K且是不为 0的自然数，并计算所述近距特征向量与所述待归类特征向量的对称性距离；
若所述对称性距离小于归类阈值，则将所述待归类特征向量与所述近距特 征向量对应的类相关联。
进一步地，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特 征向量对应的类，n为不等于0的自然数；所述若所述对称性距离小于归类阈值， 则将所述待归类特征向量与所述近距特征向量对应的类相关联之后，还包括以 下步骤：将n加1。
进一步地，所述人脸聚类方法还包括以下步骤：若所述对称性距离大于所 述归类阈值，则将所述待归类特征向量与一新建的类相关联。
进一步地，所述人脸聚类方法还包括以下步骤：还包括以下步骤：
将所述待归类特征向量加入所述人脸特征kd树。
进一步地，所述已归类特征向量还关联于一获取时间；所述人脸聚类方法 还包括以下步骤：
删去所述人脸特征kd树中获取时间超出监控时间段的已归类特征向量。
进一步地，所述计算所述近距特征向量与所述待归类特征向量的对称性距 离，具体为根据如下算式计算：
其中，a表示所述近距特征向量，b表示所述待归类特征向量；Oa(b)表示b 在a的近距特征向量中的排序，Ob(a)表示a在b的近距特征向量中的排序；fa(i) 表示a的第i个近距特征向量，Ob(fa(i))表示fa(i)在b的近距特征向量中的排序； fb(i)表示b的第i个近距特征向量，Oa(fb(i))表示fb(i)在a的近距特征向量中的排 序；m表示指示阈值。
本发明的目的之二采用以下技术方案实现：
一种人脸聚类装置，包括：
第一计算模块，用于计算待归类人脸图像的待归类特征向量；
查询模块，用于根据所述待归类特征向量对人脸特征kd树进行查询，得到 K个近邻特征向量以及得到K个所述近邻特征向量与所述待归类特征向量之间 的特征距离，K为不为0的自然数；所述人脸特征kd树包括多个已归类特征向 量，所述已归类特征向量关联于一个类；
第二计算模块，用于对K个特征距离从小到大进行排序，在排序后的K个 特征距离中选取前M个特征距离最近对应的近邻特征向量作为近距特征向量， M不大于K且是不为0的自然数，并计算所述近距特征向量与所述待归类特征 向量的对称性距离；
第一关联模块，用于若所述对称性距离小于归类阈值，则将所述待归类特 征向量与所述近距特征向量对应的类相关联。
进一步地，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特 征向量对应的类，n为不等于0的自然数；所述人脸聚类装置还包括：
计数模块，用于若所述对称性距离小于归类阈值，则将所述待归类特征向 量与所述近距特征向量对应的类相关联之后，进行以下步骤：将n加1。
进一步地，所述人脸聚类装置还包括：
第二关联模块，若所述对称性距离大于所述归类阈值，则将所述待归类特 征向量与一新建的类相关联。
进一步地，所述人脸聚类装置还包括：
加入模块，用于将所述待归类特征向量加入所述人脸特征kd树；
所述已归类特征向量还关联于一获取时间，所述人脸聚类装置还包括：
删去模块，用于删去所述人脸特征kd树中获取时间超出监控时间段的已归 类特征向量。
本发明的目的之三采用以下技术方案实现：
一种存储介质，所述介质存储有计算机程序，所述计算机程序被处理器执 行时实现上述人脸聚类方法的步骤。
相比现有技术，本发明的有益效果在于：通过利用kd树排列已归类特征向 量，通过K近邻算法搜索近邻特征向量，搜索效率高，速度快，可以快速减小 聚类范围；进一步通过对称性距离评价待归类特征向量与其近距特征向量之间 的相似程度，将待归类特征向量划分至最相似的类中，保证了聚类的准确程度， 避免大规模比对准确率降低的问题。
附图说明
图1为本发明实施例一的人脸聚类方法的流程示意图；
图2为六个二维特征生成的kd树的示意图；
图3为图2中的kd树在二维空间上表示的示意图；
图4为待查二维特征为(2，4.5)时的第一个查找示意图；
图5为待查二维特征为(2，4.5)时的第二个查找示意图；
图6为对称性距离计算过程的示意图；
图7为本发明实施例二的人脸聚类装置的结构示意图；
图8为本发明实施例三的人脸聚类装置的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的 是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任 意组合形成新的实施例。
实施例一
本实施例提供的人脸聚类方法可以用于对监控视频中的行人进行聚类，检 测出频繁出现的行人。监控视频可以来自在必经通道内架设的人脸抓拍摄像机； 摄像机镜头正对人群行走方向，保证可以抓拍到清晰的人脸。可架设多个摄像 机，对多个通道全覆盖。抓拍到的人脸图像传入后端的服务器进行处理。
其中人脸抓拍图像的获取包括人脸检测与跟踪、人脸区域的识别、在一张 人脸出现在视频范围内的期间，连续进行抓拍，评估抓拍的人脸质量，选取质 量最好的一张进行保存。人脸抓拍图像的获得是一种通用方法，不再赘述。
如图1为一种人脸聚类方法，包括以下步骤：
步骤S110、计算待归类人脸图像的待归类特征向量。
每抓拍一张人脸图像后，应用现有的特征提取方法，如深度学习方法，提 取人脸特征作为待归类特征向量。人脸特征通常可以用一个128维的向量表示， 一张人脸图像对应一个人脸特征。
步骤S120、根据所述待归类特征向量对人脸特征kd树进行查询，得到K 个近邻特征向量以及得到K个所述近邻特征向量与所述待归类特征向量之间的 特征距离，K为不为0的自然数；所述人脸特征kd树包括多个已归类特征向量， 所述已归类特征向量关联于一个类。
kd树是k-dimension tree的缩写，是对数据点在k维空间中划分的一种数据 结构，kd树是一种平衡二叉树。将人脸特征以kd树的形式进行储存，可以有效 减小后续步骤中对最邻近的人脸特征的查找所需要的时间。
拥有n个已知点的kd树，其复杂度如下：
构建：O(log2n)
插入：O(log n)
删除：O(log n)
查询：O(n1-1/k+m)，m表示每次要搜索的最近点个数。
可见，kd树非常适合大规模数据的处理。
假设有六个二维特征＝{(2，3)，(5，4)，(9，6)，(4，7)，(8，1)，(7，2)}， 二维特征位于二维空间中。为了能有效找到最邻近，kd树将整个空间划分为几 个小部分。六个二维特征生成的kd树如图2所示。
对人脸特征，可以构建128维的kd树，kd树的构建属于现有技术，不再赘 述。
本发明中的人脸特征kd树，通过获取足够数量的人脸抓拍图像，提取人脸 抓拍图像的特征向量，再将这些特征向量构建为人脸特征kd树。然后利用现有 的人脸聚类方法或者本发明提供的人脸聚类方法将这些特征向量聚类，如果有 多张人脸抓拍图像的特征向量被聚为一类，即这些特征向量均关联于这个类， 则这些人脸抓拍图像很可能来自于同一个行人。如果这个类中有较多的特征向 量，就代表这个行人多次被出现且被抓拍，可能有异常动机。
根据待归类特征向量对人脸特征kd树进行查询，在kd树中进行查询的时 间复杂度为O(n1-1/k+m)，可满足大规模数据情况下的查询需求。查询后，可以得 到待归类特征向的K个最邻近的人脸特征，即近邻特征向量。
以图2所示的kd树为例，根据待查二维特征对kd树查询K个最邻近的特 征的方法如下：
这个kd树在二维空间上表示如图3所示。
假设要查询二维特征(2.1，3.1)，首先通过二叉搜索，顺着搜索路径很快 就能找到最邻近的近似点，也就是叶子节点(2，3)。但是此时找到的叶子节点 并不一定就是最邻近的，只是近似点，最邻近应该距离待查二维特征更近，应 该位于以待查二维特征为圆心且通过叶子节点的圆域内。为了找到真正的最邻 近，还需要进行“回溯”操作：算法沿搜索路径反向查找是否有距离待查二维 特征更近的二维特征。此例中搜索路径为先从(7，2)点开始进行二叉查找， 然后到达(5，4)，最后到达(2，3)。首先以(2，3)作为当前最邻近点，计算其到待查二维特征(2.1，3.1)的距离为0.1414，然后回溯到其父节点(5，4)， 并判断在该父节点的其他子节点空间中是否有距离待查二维特征更近的二维特 征。以(2.1，3.1)为圆心，以0.1414为半径画圆，如图3所示。发现该圆并不 和超平面y＝4交割，因此不需要进入(5，4)节点右子空间中去搜索。再从(5， 4)回溯到(7，2)，以(2.1，3.1)为圆心，以0.1414为半径的圆更不会与x＝7 超平面交割，因此不用进入(7，2)右子空间进行查找。至此，搜索路径中的 节点已经全部回溯完，结束整个搜索，返回最终的最邻近点(2，3)，同时得到 最近距离为0.1414。
又例如，待查二维特征为(2，4.5)。同样先进行二叉查找，先从(7，2) 查找到(5，4)节点，在进行查找时是由y＝4为分割超平面的，由于待查二维 特征的y值为4.5，因此进入右子空间查找到(4，7)，形成搜索路径：(7，2) -(5，4)-(4，7)。取(4，7)为当前最邻近点，计算其与待查二维特征的距 离为3.202。然后回溯到(5，4)，计算其与待查二维特征之间的距离为3.041， 小于3.202。然后以(2，4.5)为圆心，以3.041为半径作圆，如图4所示，可 见该圆和y＝4超平面交割，所以需要进入(5，4)左子空间进行查找。此时需 将(2，3)节点加入搜索路径中，即(7，2)-(2，3)。然后回溯至(2，3)叶 子节点，经过比较(2，3)距离(2，4.5)比(5，4)要近，所以最邻近点更新 为(2，3)，最近距离更新为1.5。之后再回溯至(7，2)，如图5所示，以(2， 4.5)为圆心1.5为半径作圆，圆没有和x＝7分割超平面交割。至此，搜索路径 回溯完，返回的最邻近点为(2，3)，最近距离为1.5。
根据所述待归类特征向量对人脸特征kd树进行查询，得到K个近邻特征向 量以及得到K个所述近邻特征向量与所述待归类特征向量之间的特征距离的处 理步骤与二维特征的处理相类似，不再赘述。人脸特征kd树中可能会有20万 个已归类特征向量，可以聚得几万个类。对于某个待归类特征向量，有可能会 得到八九千个近邻特征向量，数量仍然很庞大，因此可以将这些近邻特征向量 根据所述近邻特征向量与所述待归类特征向量之间的特征距离从小到大排序并 保存；后续对K个特征距离从小到大进行排序，在排序后的K个特征距离中选 取前M个特征距离最近对应的近邻特征向量作为近距特征向量进行聚类。
步骤S130、对K个特征距离从小到大进行排序，在排序后的K个特征距离 中选取前M个特征距离最近对应的近邻特征向量作为近距特征向量，M不大于 K且是不为0的自然数，如M取200；并计算所述近距特征向量与所述待归类 特征向量的对称性距离。
进一步地，所述计算所述近距特征向量与所述待归类特征向量的对称性距 离，具体为根据如下算式计算：
其中，a表示所述近距特征向量，b表示所述待归类特征向量；Oa(b)表示b 在a的近距特征向量中的排序，Ob(a)表示a在b的近距特征向量中的排序；如 果b不在a的M个近距特征向量中，则使Oa(b)等于一个较大的数，比如K的两 倍。d(a,b)的计算方法如下式所示：
其中，fa(i)表示a的第i个近距特征向量，Ob(fa(i))表示fa(i)在b的近距特 征向量中的排序；m表示指示阈值，可以通过有限次试验或者经验值设置。 Ob(fa(i))＜m时，表示b与a的第i个近距特征向量之间的距离足够近。
d(b,a)的计算方法如下式所示：
其中，fb(i)表示b的第i个近距特征向量，Oa(fb(i))表示fb(i)在a的近距特征 向量中的排序。
如图6所示，以人脸图像可视化特征向量，近距特征向量a和待归类特征 向量b之间的对称性距离计算过程如下：Oa(b)＝6，Ob(a)＝5，d(a,b)＝3，d(b,a)＝3， D(a,b)＝(3+3)/min(5,6)＝6/5。
步骤S140、比较所述对称性距离是否小于归类阈值。归类阈值可以通过有 限次实验或者经验值确定。
步骤S150、若所述对称性距离小于归类阈值，则将所述待归类特征向量与 所述近距特征向量对应的类相关联。
如图6中的近距特征向量a和待归类特征向量b之间的对称性距离 D(a,b)＝6/5，如果归类阈值设置为2，则对称性距离小于归类阈值，可以将该待 归类特征向量与近距特征向量a归为一类，即待归类人脸图像中的人与近距特 征向量a对应的人为同一个。
本发明通过利用kd树排列已归类特征向量，通过K近邻算法搜索近邻特征 向量，搜索效率高，速度快，可以快速减小聚类范围；进一步通过对称性距离 评价待归类特征向量与其近距特征向量之间的相似程度，将待归类特征向量划 分至最相似的类中，保证了聚类的准确程度，避免大规模比对准确率降低的问 题。
进一步地，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特 征向量对应的类，n为不等于0的自然数；步骤S140若所述对称性距离小于归 类阈值，则将所述待归类特征向量与所述近距特征向量对应的类相关联之后， 还包括：
步骤S160、将n加1。如原有的人脸特征kd树中有6个已归类特征向量属 于同一个类，待归类特征向量与其中某一已归类特征向量之间的对称性距离小 于归类阈值，即可将n置为7，表示抓拍到7次该行人。
进一步地，人脸聚类方法还包括：
步骤S170、若所述对称性距离大于所述归类阈值，则将所述待归类特征向 量与一新建的类相关联。
如果待归类特征向量与其近距特征向量之间的对称性距离均不小于归类阈 值，则可以认为待归类特征向量对应的行人未被抓拍到过，是新出现的行人， 可以将该行人新建一个类，如分配一个新的行人编号。
作为本发明的进一步改进，人脸聚类方法还包括：
步骤S180、将所述待归类特征向量加入所述人脸特征kd树。
为实现视频的连续监控，需要对人脸特征kd树进行即时更新。将待归类特 征向量进行分类后成为已归类特征向量，且已归类特征向量关联于一个类，实 现了动态聚类。在kd树中插入新的元素属于现有技术，不再赘述。
进一步地，所述已归类特征向量还关联于一获取时间，获取时间可以是摄 像头抓拍到人脸图像时的时间；所述人脸聚类方法还包括以下步骤：
步骤S190、删去所述人脸特征kd树中获取时间超出监控时间段的已归类特 征向量。
如果只需要对一定时间段内的人脸出现频度进行判断，随着时间的推移， 时间段外的人脸特征需要移出kd树的分支，以减小计算量。而且一般对于人脸 出现频次的统计来说，保存过长时间没有出现的行人也没有必要，实现了动态 聚类。从kd树中删除元素也属于现有技术。
进一步地，当新加入kd树的特征向量的数目大于原始kd树中的数据的1/2 时，可以重新建立kd树，新的kd树可以更符合当下时间段的场景，加快找到 近邻特征向量的速度，保证人脸出现频次统计的时效性，实现了动态聚类。
实施例二
如图7所示的人脸聚类装置，包括：
第一计算模块110，用于计算待归类人脸图像的待归类特征向量；
查询模块120，用于根据所述待归类特征向量对人脸特征kd树进行查询， 得到K个近邻特征向量以及得到K个所述近邻特征向量与所述待归类特征向量 之间的特征距离，K为不为0的自然数；所述人脸特征kd树包括多个已归类特 征向量，所述已归类特征向量关联于一个类；
第二计算模块130，用于对K个特征距离从小到大进行排序，在排序后的K 个特征距离中选取前M个特征距离最近对应的近邻特征向量作为近距特征向 量，M不大于K且是不为0的自然数，并计算所述近距特征向量与所述待归类 特征向量的对称性距离；
比较模块140，用于比较所述对称性距离是否小于归类阈值。
第一关联模块150，用于若所述对称性距离小于归类阈值，则将所述待归类 特征向量与所述近距特征向量对应的类相关联。
进一步地，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特 征向量对应的类，n为不等于0的自然数；所述人脸聚类装置还包括：
计数模块160，用于若所述对称性距离小于归类阈值，则将所述待归类特征 向量与所述近距特征向量对应的类相关联之后，进行以下步骤：将n加1。
进一步地，所述人脸聚类装置还包括：第二关联模块170，若所述对称性距 离大于所述归类阈值，则将所述待归类特征向量与一新建的类相关联。
进一步地，所述人脸聚类装置还包括：
加入模块(图未示)，用于将所述待归类特征向量加入所述人脸特征kd树；
进一步地，所述已归类特征向量还关联于一获取时间，所述人脸聚类装置 还包括：
删去模块(图未示)，用于删去所述人脸特征kd树中获取时间超出监控时 间段的已归类特征向量。
本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方 面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据 前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁， 在此就不再赘述。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然， 在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本 发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发 明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式 体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、 光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器， 或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法，如：
一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理 器执行时实现前述人脸聚类方法的步骤。
描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块或 单元可以是或者也可以不是物理上分开的，作为模块或单元示意的部件可以是 或者也可以不是物理模块，既可以位于一个地方，或者也可以分布到多个网络 模块上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方 案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并 实施。
本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算 机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基 于微处理器的系统、机顶盒、可编程的消费电子设备、网络PC、小型计算机、 大型计算机、包括以上任何系统或设备的分布式计算环境等等，如实施例四。 实施例三
如图8所示人脸聚类装置，包括存储器200、处理器300以及存储在存储器 200中并可在处理器300上运行的计算机程序，处理器300执行计算机程序时实 现上述人脸聚类方法的步骤。
本实施例中的装置与前述实施例中的方法是基于同一发明构思下的两个方 面，在前面已经对方法实施过程作了详细的描述，所以本领域技术人员可根据 前述描述清楚地了解本实施中的系统的结构及实施过程，为了说明书的简洁， 在此就不再赘述。
本发明实施例提供的人脸聚类装置，可以通过利用kd树排列已归类特征向 量，通过K近邻算法搜索近邻特征向量，搜索效率高，速度快，可以快速减小 聚类范围；进一步通过对称性距离评价待归类特征向量与其近距特征向量之间 的相似程度，将待归类特征向量划分至最相似的类中，保证了聚类的准确程度， 避免大规模比对准确率降低的问题。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的 范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换 均属于本发明所要求保护的范围。
Claims (10)
1.一种人脸聚类方法，其特征在于，包括以下步骤：
计算待归类人脸图像的待归类特征向量；
根据所述待归类特征向量对人脸特征kd树进行查询，得到K个近邻特征向量以及得到K个所述近邻特征向量与所述待归类特征向量之间的特征距离，K为不为0的自然数；所述人脸特征kd树包括多个已归类特征向量，所述已归类特征向量关联于一个类；
对K个特征距离从小到大进行排序，在排序后的K个特征距离中选取前M个特征距离最近对应的近邻特征向量作为近距特征向量，M不大于K且是不为0的自然数，并计算所述近距特征向量与所述待归类特征向量的对称性距离；
若所述对称性距离小于归类阈值，则将所述待归类特征向量与所述近距特征向量对应的类相关联。
2.如权利要求1所述的人脸聚类方法，其特征在于，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特征向量对应的类，n为不等于0的自然数；所述若所述对称性距离小于归类阈值，则将所述待归类特征向量与所述近距特征向量对应的类相关联之后，还包括以下步骤：将n加1。
3.如权利要求1所述的人脸聚类方法，其特征在于，还包括以下步骤：若所述对称性距离大于所述归类阈值，则将所述待归类特征向量与一新建的类相关联。
4.如权利要求1-3中任一项所述的人脸聚类方法，其特征在于：还包括以下步骤：
将所述待归类特征向量加入所述人脸特征kd树。
5.如权利要求1-3中任一项所述的人脸聚类方法，其特征在于，所述已归类特征向量还关联于一获取时间；所述人脸聚类方法还包括以下步骤：
删去所述人脸特征kd树中获取时间超出监控时间段的已归类特征向量。
6.如权利要求1-3中任一项所述的人脸聚类方法，其特征在于，所述计算所述近距特征向量与所述待归类特征向量的对称性距离，具体为根据如下算式计算：
<mrow>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>,</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>min</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
<mo>,</mo>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mi>a</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>a</mi>
<mo>,</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>min</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</munderover>
<msub>
<mi>I</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>f</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>f</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>m</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>m</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mi>b</mi>
<mo>,</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>min</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mi>a</mi>
<mo>)</mo>
</mrow>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</munderover>
<msub>
<mi>I</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>f</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>I</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mo>(</mo>
<mrow>
<msub>
<mi>f</mi>
<mi>b</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>m</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo><</mo>
<mi>m</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<msub>
<mi>O</mi>
<mi>a</mi>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>f</mi>
<mi>b</mi>
</msub>
<mo>(</mo>
<mi>i</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>&GreaterEqual;</mo>
<mi>m</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，a表示所述近距特征向量，b表示所述待归类特征向量；Oa(b)表示b在a的近距特征向量中的排序，Ob(a)表示a在b的近距特征向量中的排序；fa(i)表示a的第i个近距特征向量，Ob(fa(i))表示fa(i)在b的近距特征向量中的排序；fb(i)表示b的第i个近距特征向量，Oa(fb(i))表示fb(i)在a的近距特征向量中的排序；m表示指示阈值。
7.一种人脸聚类装置，其特征在于，包括：
第一计算模块，用于计算待归类人脸图像的待归类特征向量；
查询模块，用于根据所述待归类特征向量对人脸特征kd树进行查询，得到K个近邻特征向量以及得到K个所述近邻特征向量与所述待归类特征向量之间的特征距离，K为不为0的自然数；所述人脸特征kd树包括多个已归类特征向量，所述已归类特征向量关联于一个类；
第二计算模块，用于对K个特征距离从小到大进行排序，在排序后的K个特征距离中选取前M个特征距离最近对应的近邻特征向量作为近距特征向量，M不大于K且是不为0的自然数，并计算所述近距特征向量与所述待归类特征向量的对称性距离；
第一关联模块，用于若所述对称性距离小于归类阈值，则将所述待归类特征向量与所述近距特征向量对应的类相关联。
8.如权利要求7所述的人脸聚类装置，其特征在于，所述人脸特征kd树中有n个已归类特征向量关联于所述近距特征向量对应的类，n为不等于0的自然数；所述人脸聚类装置还包括：
计数模块，用于若所述对称性距离小于归类阈值，则将所述待归类特征向量与所述近距特征向量对应的类相关联之后，进行以下步骤：将n加1。
9.如权利要求7或8所述的人脸聚类装置，其特征在于，还包括：
第二关联模块，若所述对称性距离大于所述归类阈值，则将所述待归类特征向量与一新建的类相关联。
10.一种存储介质，所述介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的人脸聚类方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710423670.8A CN107392222B (zh) | 2017-06-07 | 2017-06-07 | 一种人脸聚类方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710423670.8A CN107392222B (zh) | 2017-06-07 | 2017-06-07 | 一种人脸聚类方法、装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392222A true CN107392222A (zh) | 2017-11-24 |
| CN107392222B CN107392222B (zh) | 2020-07-07 |
Family
ID=60333022
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710423670.8A Expired - Fee Related CN107392222B (zh) | 2017-06-07 | 2017-06-07 | 一种人脸聚类方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392222B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664920A (zh) * | 2018-05-10 | 2018-10-16 | 深圳市深网视界科技有限公司 | 一种实时的大规模级联人脸聚类方法和装置 |
| CN108875522A (zh) * | 2017-12-21 | 2018-11-23 | 北京旷视科技有限公司 | 人脸聚类方法、装置和系统及存储介质 |
| CN109063582A (zh) * | 2018-07-10 | 2018-12-21 | 武汉云易虹科技有限公司 | 一种自动判定疑似买卖分人员的系统及方法 |
| CN109101875A (zh) * | 2018-06-22 | 2018-12-28 | 上海市保安服务总公司 | 基于人脸识别的买卖分违法行为查处系统 |
| CN109145844A (zh) * | 2018-08-29 | 2019-01-04 | 北京旷视科技有限公司 | 用于城市安防监控的档案管理方法、装置以及电子设备 |
| CN109377361A (zh) * | 2018-09-18 | 2019-02-22 | 中国平安财产保险股份有限公司 | 基于大数据分析的保险理赔监管库的建设方法及装置 |
| CN109886239A (zh) * | 2019-02-28 | 2019-06-14 | 北京旷视科技有限公司 | 人像聚类方法、装置及系统 |
| WO2019136929A1 (zh) * | 2018-01-13 | 2019-07-18 | 惠州学院 | 基于k邻域相似性的数据聚类方法、装置和存储介质 |
| CN110363080A (zh) * | 2019-06-05 | 2019-10-22 | 平安科技（深圳）有限公司 | 基于人脸识别的黄牛识别方法、装置、终端及存储介质 |
| CN110458002A (zh) * | 2019-06-28 | 2019-11-15 | 天津大学 | 一种轻量级快速人脸识别方法 |
| CN110458796A (zh) * | 2019-06-10 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种图像标注方法、装置和存储介质 |
| CN111209862A (zh) * | 2020-01-03 | 2020-05-29 | 深圳力维智联技术有限公司 | 一种人脸图像的聚类方法、装置及介质 |
| CN112348829A (zh) * | 2020-11-02 | 2021-02-09 | 东华理工大学 | 基于模态点演化的地面LiDAR点云枝叶分离方法 |
| CN113989792A (zh) * | 2021-10-29 | 2022-01-28 | 天津大学 | 一种基于融合特征的文物推荐算法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252616A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 人脸标注方法、装置及设备 |
-
2017
- 2017-06-07 CN CN201710423670.8A patent/CN107392222B/zh not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104252616A (zh) * | 2013-06-28 | 2014-12-31 | 广州华多网络科技有限公司 | 人脸标注方法、装置及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 刘忠 等: "基于 KD-Tree 的 KNN 文本分类算法", 《网络安全技术与应用》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108875522A (zh) * | 2017-12-21 | 2018-11-23 | 北京旷视科技有限公司 | 人脸聚类方法、装置和系统及存储介质 |
| WO2019136929A1 (zh) * | 2018-01-13 | 2019-07-18 | 惠州学院 | 基于k邻域相似性的数据聚类方法、装置和存储介质 |
| CN108664920B (zh) * | 2018-05-10 | 2022-12-20 | 东方网力科技股份有限公司 | 一种实时的大规模级联人脸聚类方法和装置 |
| CN108664920A (zh) * | 2018-05-10 | 2018-10-16 | 深圳市深网视界科技有限公司 | 一种实时的大规模级联人脸聚类方法和装置 |
| CN109101875A (zh) * | 2018-06-22 | 2018-12-28 | 上海市保安服务总公司 | 基于人脸识别的买卖分违法行为查处系统 |
| CN109063582A (zh) * | 2018-07-10 | 2018-12-21 | 武汉云易虹科技有限公司 | 一种自动判定疑似买卖分人员的系统及方法 |
| CN109145844A (zh) * | 2018-08-29 | 2019-01-04 | 北京旷视科技有限公司 | 用于城市安防监控的档案管理方法、装置以及电子设备 |
| CN109377361A (zh) * | 2018-09-18 | 2019-02-22 | 中国平安财产保险股份有限公司 | 基于大数据分析的保险理赔监管库的建设方法及装置 |
| CN109886239A (zh) * | 2019-02-28 | 2019-06-14 | 北京旷视科技有限公司 | 人像聚类方法、装置及系统 |
| CN110363080A (zh) * | 2019-06-05 | 2019-10-22 | 平安科技（深圳）有限公司 | 基于人脸识别的黄牛识别方法、装置、终端及存储介质 |
| CN110458796A (zh) * | 2019-06-10 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 一种图像标注方法、装置和存储介质 |
| CN110458002A (zh) * | 2019-06-28 | 2019-11-15 | 天津大学 | 一种轻量级快速人脸识别方法 |
| CN110458002B (zh) * | 2019-06-28 | 2023-06-23 | 天津大学 | 一种轻量级快速人脸识别方法 |
| CN111209862A (zh) * | 2020-01-03 | 2020-05-29 | 深圳力维智联技术有限公司 | 一种人脸图像的聚类方法、装置及介质 |
| CN111209862B (zh) * | 2020-01-03 | 2023-09-29 | 深圳力维智联技术有限公司 | 一种人脸图像的聚类方法、装置及介质 |
| CN112348829A (zh) * | 2020-11-02 | 2021-02-09 | 东华理工大学 | 基于模态点演化的地面LiDAR点云枝叶分离方法 |
| CN112348829B (zh) * | 2020-11-02 | 2022-06-28 | 东华理工大学 | 基于模态点演化的地面LiDAR点云枝叶分离方法 |
| CN113989792A (zh) * | 2021-10-29 | 2022-01-28 | 天津大学 | 一种基于融合特征的文物推荐算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392222B (zh) | 2020-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392222A (zh) | 一种人脸聚类方法、装置以及存储介质 | |
| Hassan et al. | Detecting prohibited items in X-ray images: A contour proposal learning approach | |
| Zhou et al. | Spatial–temporal convolutional neural networks for anomaly detection and localization in crowded scenes | |
| Zapletal et al. | Vehicle re-identification for automatic video traffic surveillance | |
| Wen et al. | Efficient feature selection and classification for vehicle detection | |
| Conde et al. | HoGG: Gabor and HoG-based human detection for surveillance in non-controlled environments | |
| CN103714181B (zh) | 一种层级化的特定人物检索方法 | |
| CN104063719A (zh) | 基于深度卷积网络的行人检测方法及装置 | |
| Ibrahem et al. | Real-time weakly supervised object detection using center-of-features localization | |
| Najibi et al. | Towards the success rate of one: Real-time unconstrained salient object detection | |
| Alafif et al. | Hybrid classifiers for spatio-temporal real-time abnormal behaviors detection, tracking, and recognition in massive hajj crowds | |
| Pandey et al. | A hierarchical clustering approach for image datasets | |
| Dharamkar et al. | Cyber-attack classification using improved ensemble technique based on support vector machine and neural network | |
| Chung et al. | Face detection and posture recognition in a real time tracking system | |
| Kalangi et al. | Deployment of Haar Cascade algorithm to detect real-time faces | |
| Said et al. | Wavelet networks for facial emotion recognition | |
| Sun et al. | Characterizing dynamic textures with space-time lacunarity analysis | |
| Shri et al. | Video Analysis for Crowd and Traffic Management | |
| Revathi et al. | Hybridisation of feed forward neural network and self-adaptive PSO with diverse of features for anomaly detection | |
| Shemshaki et al. | Face detection based on fuzzy granulation and skin color segmentation | |
| Agarwal et al. | Application of computer vision techniques for segregation of plasticwaste based on resin identification code | |
| Sahoo et al. | Depth estimated history image based appearance representation for human action recognition | |
| Basit | Dynamic Matrix Decomposition for Action Recognition | |
| Lashkia et al. | Distance-based test feature classifiers and its applications | |
| Yun et al. | Density-aware pedestrian proposal networks for robust people detection in crowded scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200707 Termination date: 20210607 |