CN111598012B - 一种图片聚类管理方法、系统、设备及介质 - Google Patents

一种图片聚类管理方法、系统、设备及介质 Download PDF

Info

Publication number
CN111598012B
CN111598012B CN202010424309.9A CN202010424309A CN111598012B CN 111598012 B CN111598012 B CN 111598012B CN 202010424309 A CN202010424309 A CN 202010424309A CN 111598012 B CN111598012 B CN 111598012B
Authority
CN
China
Prior art keywords
clustering
feature vector
cluster
target
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010424309.9A
Other languages
English (en)
Other versions
CN111598012A (zh
Inventor
姚志强
周曦
刘振鲁
朱闻博
王诗诗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Original Assignee
Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd filed Critical Hengrui Chongqing Artificial Intelligence Technology Research Institute Co ltd
Priority to CN202010424309.9A priority Critical patent/CN111598012B/zh
Publication of CN111598012A publication Critical patent/CN111598012A/zh
Application granted granted Critical
Publication of CN111598012B publication Critical patent/CN111598012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种图片聚类管理方法、系统、设备及介质，包括：获取与图片对应的特征向量；将特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对目标聚类类别进行管理。本发明根据特征向量与目标信息的相似度来进行图片聚类管理，解决了传统图片聚类归档方法中出现的误识别问题。本发明同时还能够实时增量聚类；并且本发明中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本发明能够支持单机亿级数据量的聚类任务。

Description

一种图片聚类管理方法、系统、设备及介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图片聚类管理方法、系统、设备及介质。
背景技术
近年来，随着公安信息化的不断发展，人脸识别的技术已经在公安领域得到了广泛的应用。各省市利用大量布置的人脸抓拍机等设备获取了海量的人脸图片，并建立了人脸数据库来存储这些人脸图片。但是，经发明人研究认为，目前的图片聚类存在以下问题：基于人脸识别来进行归档的数据存在一定误识别的可能，基于这种误识别会产生错误的聚类结果；传统的聚类方法无法达成增量实时的聚类，无法保证大数据量下的人脸聚类精度以及人脸召回率，并且对识别引擎内存占用高，难以控制硬件上的成本。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图片聚类管理方法、系统、设备及介质，用于解决现有技术中存在的问题。
为实现上述目的及其他相关目的，本发明提供一种图片聚类管理方法，包括有：
获取与图片对应的特征向量；
将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
根据相似度比较结果，对所述目标聚类类别进行管理。
可选地，若所述相似度大于或等于预设值，则将所述特征向量聚类至所述目标聚类类别中，并依据所述特征向量，更新或替换所述目标聚类类别的目标信息。
可选地，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别。
可选地，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别之后，还包括：
所述特征向量作为所述创建的聚类类别的目标信息。
可选地，在比较所述特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于所述结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
可选地，所述特征向量包括以下至少之一：人脸特征向量、人体特征向量。
可选地，若所述特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
可选地，在比较所述人脸特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
可选地，若所述特征向量为人脸特征向量，则从已有聚类类别中确定所述目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
可选地，计算降维后的人脸特征向量与已有聚类类别中人脸特征向量之间的距离；若所述距离小于预设距离值，则将降维后的人脸特征向量与已有聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
本发明还提供一种图片聚类管理系统，包括有：
获取模块，用于获取与图片对应的特征向量；
比较模块，用于将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
聚类模块，用于根据相似度比较结果，对所述目标聚类类别进行管理。
可选地，若所述相似度大于或等于预设值，则将所述特征向量聚类至所述目标聚类类别中，并依据所述特征向量，更新或替换所述目标聚类类别的目标信息。
可选地，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别。
可选地，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别之后，还包括：
所述特征向量作为所述创建的聚类类别的目标信息。
可选地，在比较所述特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于所述结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
可选地，所述特征向量包括以下至少之一：人脸特征向量、人体特征向量。
可选地，若所述特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
可选地，在比较所述人脸特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
可选地，若所述特征向量为人脸特征向量，则从已有聚类类别中确定所述目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
可选地，计算降维后的人脸特征向量与已有聚类类别中人脸特征向量之间的距离；若所述距离小于预设距离值，则将降维后的人脸特征向量与已有聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
本发明还提供一种图片聚类管理设备，包括有：
获取与图片对应的特征向量；
将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
根据相似度比较结果，对所述目标聚类类别进行管理。
本发明还提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如上述中一个或多个所述的方法。
本发明还提供一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如上述中一个或多个所述的方法。
如上，本发明提供的一种图片聚类管理方法、系统、设备及介质，具有以下有益效果：
通过获取与图片对应的特征向量；将特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对目标聚类类别进行管理。本发明根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档方法中出现的误识别问题(本发明中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本发明只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本发明还根据相似度来将对应的特征向量加入至目标信息中进行更新或替换；或者将对应的特征向量加入至新创建的目标信息中，让本发明能够实时增量聚类。并且本发明中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本发明能够支持单机亿级数据量的聚类任务。
附图说明
图1为一实施例提供的图片聚类管理方法的流程示意图；
图2为另一实施例提供的图片聚类管理系统的硬件结构示意图；
图3为一实施例提供的终端设备的硬件结构示意图；
图4为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 获取模块
M20 比较模块
M30 聚类模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
根据得到的大规模人脸的抓拍记录，分析每一张人脸的人员归属并归为一类，这称之为大规模的人脸聚类。人脸聚类的主要应用场景包括，根据动态人脸数据库中的路人人脸进行聚类分析，形成动态的“一人一档”。
发明人研究发现，现有的人脸识别技术是基于人脸识别的引擎，通过对每一张人脸图片进行人脸检测以及特征提取，将非结构化的人脸图片转化为N维的人脸特征列向量。通过比较每两张图片之间的相似度，也即计算两个列向量A，B之间的欧式或内积距离，(欧氏距离的计算方式为：
Figure BDA0002498090290000051
内积距离的计算方式为：
Figure BDA0002498090290000052
当距离小于某个阈值时，判定两张人脸为同一个人，但这样的技术存在一定误识别的可能，需要大量人工的参与来帮助归类。目前存在一些传统的聚类方法，可以对现有的数据进行全量聚类，也即一次性处理全部底库的数据。但是传统方法对于大规模聚类，特别是处理数量级为千万级或者亿级的聚类任务时，会出现精度下降、召回率降低、计算速度指数级下降等问题。同时由于传统的聚类方法需要每次处理全量的底库数据，也难以实现实时增量的聚类，当数据量变大时，对于硬件也有着极高的要求。
基于此，本发明提出一种图片聚类管理方法，通过获取与图片对应的特征向量；将特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对目标聚类类别进行管理。本发明根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档方法中出现的误识别问题(本发明中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本发明只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本发明还根据相似度来将对应的一个或多个特征向量加入至目标信息中进行更新或替换；或者将对应的一个或多个特征向量加入至新创建的目标信息中，让本发明能够实时增量聚类。并且本发明中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本发明能够支持单机亿级数据量的聚类任务。
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
人脸聚类精度：聚入同一类的正例人脸对数除以总正例人脸对数。
人脸召回率：聚入同一类的正例人脸对数除以聚入同一类的包含标记样本的人脸总对数。
Docker：是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
PCA(Principal components analysis，PCA)：主成分分析，是一种统计分析、简化数据集的方法。它利用正交变换来对一系列可能相关的变量的观测值进行线性变换，从而投影为一系列线性不相关变量的值，这些不相关变量称为主成分(PrincipalComponents)。可以将主成分看做一个线性方程，其包含一系列线性系数来指示投影方向；常用于减少数据集的维数。
FAISS：由Facebook开发的一款高性能向量计算引擎，对输入的向量提供多种方式建立索引，包括哈希(LSH)、图(HNSW)以及量化乘积(OPQ)等方法，然后通过检索索引快速返回最离输入向量最近的K个向量结果。
如图1所示，本发明提供一种图片聚类管理方法，包括以下步骤：
S100，获取图像采集设备(例如抓拍机)抓拍的一张或多张图片，并从每张图片中提取一个或多个特征向量；
S200，将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
S300，根据相似度比较结果，对所述目标聚类类别进行管理。
本发明提供一种图片聚类管理方法，通过获取一张或多张图片，并从每张图片中提取一个或多个特征向量；将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对所述目标聚类类别进行管理。本方法根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档方法中出现的误识别问题(本方法中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本方法只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本方法还根据相似度来将对应的一个或多个特征向量加入至目标信息中进行更新或替换；或者将对应的一个或多个特征向量加入至新创建的目标信息中，让本方法能够实时增量聚类。并且本方法中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本方法能够支持单机亿级数据量的聚类任务。本方法提供的聚类方法不仅能够兼容任意厂商或主流的人脸识别引擎提取出的人脸特征向量，而且还能基于人脸搜索结果进行实时动态增量聚类。本方法针对每一个聚类类别都使用少量人脸特征向量来替代整个大类，即使用已有聚类类别中的目标信息来替代整个聚类类别；并且聚类类别中仅存储目标信息，从而能够有效减少内存的占用，使得本方法通过优化聚类策略，可以不依赖GPU(Graphics Processing Unit，图形处理器，简称GPU)来实现大规模人脸的聚类归档，实现“一人一档”。通过使用“一人一档”就可以定位不同时间、地点的目标数据，协助安防相关领域的人员进行信息的掌控以及追踪。
具体地，若图片对应的一个或多个特征向量与目标信息的相似度大于或等于预设值，则将这一个或多个特征向量加入至目标信息中来更新或替换目标信息；
若图片对应的一个或多个特征向量与目标信息的相似度小于预设值，则新创建聚类类别及目标信息，并将这一个或多个特征向量加入至新创建的目标信息中。
其中，本方法中的目标信息包括以下至少之一：聚类中心、采样点。本方法中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量。
在一示例性实施例中，若目标信息为聚类中心，则比较图片对应的一个或多个特征向量与目标聚类类别中聚类中心的相似度；
若图片对应的一个或多个特征向量与聚类中心的相似度大于或等于预设值，则将这一个或多个特征向量加入至目标信息中来更新聚类中心；
若图片对应的一个或多个特征向量与目标信息的相似度小于预设值，则新创建聚类类别及聚类中心，并将这一个或多个特征向量加入至新创建的聚类中心中。
具体地，若目标信息为聚类中心，比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度；即计算这一个或多个特征向量与聚类中心的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与聚类中心的相似度大于或等于预设值，即这一个或多个特征向量与聚类中心的距离小于或等于预设距离值；则将这一个或多个特征向量加入至聚类中心中来更新聚类中心，并同时更新目标聚类类别。若这一个或多个特征向量与聚类中心的相似度小于预设阈值，即这一个或多个特征向量与聚类中心的距离大于预设距离值；则新创建一个聚类类别和聚类中心，并将这一个或多个特征向量加入至新创建的聚类中心中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度大于或等于预设值，则将提取出的特征向量加入至已有聚类中心中来更新已有聚类中心，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度小于预设阈值，则新创建一个新的聚类类别和聚类中心，并将对应的特征向量加入至新创建的聚类中心中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别和聚类中心，则直接比较当前图片的特征向量与目标聚类类别中聚类中心的相似度，根据相似度将当前图片对应的一个或多个特征向量聚类归档至目标聚类类别和聚类中心中，或聚类归档至新创建的聚类类别和聚类中心中，同时将新创建的聚类中心作为下一张图片聚类时的已有聚类中心。本申请实施例通过将当前图片中提取出的特征向量加入至已有聚类中心中更新已有聚类中心，在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的聚类中心进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central Processing Unit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储聚类中心，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
在另一示例性实施例中，若目标信息为采样点，比较图片对应的一个或多个特征向量与目标聚类类别中采样点的相似度；
若图片对应的一个或多个特征向量与采样点的相似度大于或等于预设值，则将这一个或多个特征向量加入至采样点中更新采样点，并用更新后的采样点替换原采样点；
若图片对应的一个或多个特征向量与采样点的相似度小于预设值，则新创建一个聚类类别和采样点，并将这一个或多个特征向量加入至新创建的采样点中。
具体地，若目标信息为采样点，比较这一个或多个特征向量与目标聚类类别中采样点的相似度，即计算这一个或多个特征向量与采样点的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与采样点的相似度大于或等于预设阈值，即这一个或多个特征向量与采样点的距离小于或等于预设距离值；则将这一个或多个特征向量加入至采样点中来更新采样点，并用更新后的采样点替换原采样点，更新目标聚类类别。若这一个或多个特征向量与采样点的相似度小于预设阈值，即这一个或多个特征向量与采样点的距离大于预设阈值；则新创建一个聚类类别和采样点，并将这一个或多个特征向量加入至新创建的采样点中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中采样点的相似度大于或等于预设阈值，则将提取出的特征向量加入至已有采样点中来更新已有采样点，同时用更新后的采样点替换已有采样点，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度小于预设阈值，则新创建一个新的聚类类别和采样点，并将对应的特征向量加入至新创建的采样点中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别和采样点，则直接比较当前图片的特征向量与目标聚类类别中采样点的相似度，根据相似度将当前图片对应的特征向量聚类归档至目标聚类类别和采样点中，或聚类归档至新创建的聚类类别和采样点中。同时将新创建的聚类类别作为下一张图片聚类时的目标聚类类别，将新创建的采样点作为下一张图片聚类时的已有采样点。本申请实施例通过将当前图片中提取出的特征向量加入至已有采样点中更新已有采样点，同时用更新后的采样点替换已有采样点，在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的采样点进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central ProcessingUnit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储采样点，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
在另一示例性实施例中，若目标信息为聚类中心和采样点，则先比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，再比较这一个或多个特征向量与目标聚类类别中采样点的相似度。包括，
比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，若与聚类中心的相似度大于或等于预设阈值，则将这一个或多个特征向量加入至聚类中心中更新聚类中心。若与聚类中心的相似度小于预设阈值，再比较这一个或多个特征向量与目标聚类类别中采样点的相似度。
若与采样点的相似度大于或等于预设阈值，则将一个或多个特征向量加入至采样点中更新采样点，同时用更新后的采样点替换原采样点；若与采样点的相似度小于预设阈值，则新创建一个聚类类别、聚类中心和采样点，并将一个或多个特征向量加入至新创建的聚类中心和采样点中。
具体地，若目标信息为聚类中心和采样点，先比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，即计算这一个或多个特征向量与聚类中心的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与聚类中心的相似度大于或等于预设阈值，即这一个或多个特征向量与聚类中心的距离小于或等于预设距离值；则将这一个或多个特征向量加入至聚类中心中来更新聚类中心，同时更新目标聚类类别。若这一个或多个特征向量与聚类中心的相似度小于预设阈值，即这一个或多个特征向量与聚类中心的距离大于或等于预设阈值；再比较这一个或多个特征向量与目标聚类类别中采样点的相似度，即计算这一个或多个特征向量与采样点的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与采样点的相似度大于或等于预设阈值，即这一个或多个特征向量与采样点的距离小于或等于预设阈值；则将这一个或多个特征向量加入至采样点中来更新采样点，同时用更新后的采样点替换原采样点，更新目标聚类类别。若这一个或多个特征向量与采样点的相似度小于预设阈值，即这一个或多个特征向量与采样点的距离大于或等于预设阈值；则新创建一个聚类类别、聚类中心和采样点，并将这一个或多个特征向量加入至新创建的聚类中心和采样点中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中聚类中心、采样点的相似度均大于或等于对应的预设阈值，则将提取出的特征向量加入至已有聚类中心、采样点中来分别更新已有聚类中心和采样点，同时用更新后的采样点替换原采样点，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心、采样点的相似度均小于对应的预设阈值，则新创建一个新的聚类类别、聚类中心和采样点，并将对应的特征向量加入至新创建的聚类中心和采样点中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别、聚类中心和采样点，则直接比较当前图片的特征向量与目标聚类类别中聚类中心和采样点的相似度，根据相似度将当前图片聚类归档至目标聚类类别、聚类中心和采样点中，或创建新的聚类类别、聚类中心和采样点来进行聚类归档。同时将新创建的聚类类别作为下一张图片聚类时的目标聚类类别，将新创建的聚类中心作为下一张图片聚类时的已有聚类中心，将新创建的采样点作为下一张图片聚类时的已有采样点。本申请实施例通过将当前图片中提取出的特征向量加入至已有聚类中心中更新已有聚类中心，以及将当前图片中提取出的特征向量加入至已有采样点中更新已有采样点；在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的聚类中心、采样点进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central Processing Unit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储聚类中心和采样点，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
根据上述实施例的记载，本方法可以单独比较当前待聚类图片中特征向量与目标聚类类别中聚类中心的相似度，根据对应的相似度与预设阈值之间的关系来对当前待聚类图片对应的特征向量进行聚类，将当前图片对应的特征向量聚类至已有聚类中心中或聚类至新创建的聚类中心中。本方法还可以单独比较当前待聚类图片中特征向量与目标聚类类别中采样点的相似度，根据对应的相似度与预设阈值之间的关系来对当前待聚类图片进行聚类，将当前图片聚类至已有采样点中或聚类至新创建的采样点中。本方法还可以先比较当前待聚类图片中特征向量与目标聚类类别中聚类中心的相似度，在不满足与聚类中心的比较条件下，再比较当前待聚类图片中特征向量与目标聚类类别中采样点的相似度；最后根据与采样点的相似度条件将当前图片聚类至已有聚类中心、采样点中或聚类至新创建的聚类中心、采样点中。本方法实施例中聚类中心的预设阈值和采样点的预设阈值可以根据实际情况进行设定。
在一些实施例中，本方法中的特征向量包括以下至少之一：人脸特征向量、人体特征向量。
在一些示例性实施例中，在比较一个或多个特征向量与目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
本方法将不满足过滤规则的图片视为低质量图片，通过过滤掉低质量图片，避免对低质量图片进行聚类。通过设置过滤规则来对图片进行筛选，不仅能够提高本方法的聚类效率，还能够增加本方法的聚类准确率。
在一示例性实施例中，若特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；即图片的结构化特征信息为图片清晰度、人脸姿态分数；其中人脸姿态分数根据人脸的偏转角、俯仰角进行评分。
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
本方法过滤掉不满足要求的人脸图片，留下相对高质量的人脸图片，过滤掉噪声数据，即如果人脸图片的清晰程度分数小于或等于预设的过滤阈值，人脸的姿态分数未超过预设的过滤阈值，则将该图片视作低质量图片，并过滤掉该低质量图片，不对其进行图片聚类。
根据上述描述，在一示例性实施例中，在比较一个或多个人脸特征向量与目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
对于未被过滤掉的图片(即满足过滤规则的一张或多张图片)，再针对这些图片中的人脸特征向量进行PCA(Principal components analysis，主成分分析，简称PCA)降维，将其由高纬度降低为低纬度。具体地，对于人脸特征向量进行PCA降维处理，将新接收的N维人脸特征向量降维为Nd维(其中N维的维度大于Nd维的维度)。PCA降维处理的流程为：随机抽取一万条人脸特征向量，通过Python的sklearn库中的PCA方法得到一万条数据的N×N的协方差矩阵M，然后保存该协方差矩阵前Nd维的特征向量
Figure BDA0002498090290000121
以及一万条特征向量的平均值
Figure BDA0002498090290000122
对于每一条新进来的人脸特征向量XN，则可以得到经协方差矩阵降维后的人脸特征向量：
Figure BDA0002498090290000123
通过对人脸特征向量进行降维处理，能够降低这些人脸特征向量对内存的占用，减小计算量。
在一些示例性实施中，若所述特征向量为人脸特征向量，则从已有聚类类别中确定目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；作为示例，例如计算降维后的人脸特征向量与目标聚类类别中人脸特征向量之间的内积距离；若该内积距离小于预设距离值，则将降维后的人脸特征向量与目标聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
通过在已有聚类类别中找出目标聚类类别，再将获取的人脸特征向量与目标聚类类别中的目标信息进行比较，使本方法只需要比对部分聚类类别就能够完成图片聚类，与现有技术中需要与全部聚类类别中的特征向量进行比较而言，能够减少比较比象，加快比较速度，提高比较效率。
具体地，获取降维后的人脸特征向量，根据降维后人脸特征向量对已有的人脸检索索引进行更新，若人脸检索索引不存在，则新建立一个人脸检索索引。本方法中索引的构建可以使用FAISS开源工具，选择多种方式来构建人脸检索索引。作为示例，例如可以使用FAISS开源工具中的HNSW方法来构建人脸检索索引。根据更新后的人脸检索索引进行检索，计算内积距离，并根据内积距离快速定位找出索引中与该人脸最为接近的K个人脸，根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将定位出的K个聚类类别确定为目标聚类类别。再将降维后的人脸特征向量与这K个聚类类别中的信息进行比较判定，包括比较人脸特征向量与聚类中心和/或采样点的相似度，判定是否大于或等于预先设定的相似度阈值。若大于或等于预设的相似度阈值，则将该人脸特征向量
Figure BDA0002498090290000131
放入该目标聚类类别中，更新目标聚类类别中的聚类中心和/或采样点；若小于预设的相似度阈值，则建立一个新的聚类类别(包括新建聚类中心和/或采样点)。其中，对于一个需要更新的聚类，其聚类中心的向量为该类所有向量的均值
Figure BDA0002498090290000132
该类的模长为nA，聚类中心的更新公式为：
Figure BDA0002498090290000133
对于采样点，当新比较的人脸特征向量与现有采样点的相似度大于或等于预设阈值的情况下，将对应的人脸特征向量加入至原来的采样点中来更新原来的采样点，形成新的采样点，并用新的采样点来替换掉原来的采样点。
根据上述描述，聚类完成后，还保存获取的图片信息(包括人脸特征向量、图片ID、采集图片的时间、采集图片的设备等)，同时也对聚类结果进行保存和备份。并实时推送返回已有的聚类结果，包括推送返回每一张图片的人脸信息以及其对应的聚类类别ID。
本发明提供一种图片聚类管理方法，通过获取一张或多张图片，并从每张图片中提取一个或多个特征向量；将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对所述目标聚类类别进行管理。本方法根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档方法中出现的误识别问题(本方法中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本方法只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本方法还根据相似度来将对应的一个或多个特征向量加入至目标信息中进行更新或替换；或者将对应的一个或多个特征向量加入至新创建的目标信息中，让本方法能够实时增量聚类。并且本方法中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本方法能够支持单机亿级数据量的聚类任务。本方法基于人脸特征向量进行聚类，能够兼容多种不同的人脸学习引擎，同时对于检索引擎的构建也支持多种不同的检索引擎以及不同方式的构建，具有良好的扩展性；本方法支持多精度的特征向量，如支持浮点32位精度的特征向量以及整形8位精度的特征向量。并且本方法采用聚类中心和/或采样点的方式，通过以少量点来代替整体，有效减少内存占用；同时采用降维的方法，在保证合理范围内的信息损失下，可以显著减少内存的占用，提升运算速度。本方法相较于GPU的方案在速度上可以通过使用降维以及使用低精度的数据进行速度上的提升，同时本方法不依赖于GPU，比较易于达成分布式的搭建，可以进一步进行一个处理数据量上的提升。并且本方法的人脸聚类精度以及召回率能够达到95％以上。
如图2所示，本发明还提供一种图片聚类管理系统，包括有：
获取模块M10，用于获取图像采集设备(例如抓拍机)抓拍的一张或多张图片，并从每张图片中提取一个或多个特征向量；
比较模块M20，用于将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
聚类模块M30，用于根据相似度比较结果，对所述目标聚类类别进行管理。
本发明提供一种图片聚类管理系统，通过获取一张或多张图片，并从每张图片中提取一个或多个特征向量；将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对所述目标聚类类别进行管理。本系统根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档系统中出现的误识别问题(本系统中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本系统只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本系统还根据相似度来将对应的一个或多个特征向量加入至目标信息中进行更新或替换；或者将对应的一个或多个特征向量加入至新创建的目标信息中，让本系统能够实时增量聚类。并且本系统中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档系统占用的内存更低，使得本系统能够支持单机亿级数据量的聚类任务。本系统提供的聚类系统不仅能够兼容任意厂商或主流的人脸识别引擎提取出的人脸特征向量，而且还能基于人脸搜索结果进行实时动态增量聚类。本系统针对每一个聚类类别都使用少量人脸特征向量来替代整个大类，即使用已有聚类类别中的目标信息来替代整个聚类类别；并且聚类类别中仅存储目标信息，从而能够有效减少内存的占用，使得本系统通过优化聚类策略，可以不依赖GPU(Graphics Processing Unit，图形处理器，简称GPU)来实现大规模人脸的聚类归档，实现“一人一档”。通过使用“一人一档”就可以定位不同时间、地点的目标数据，协助安防相关领域的人员进行信息的掌控以及追踪。
具体地，若图片对应的一个或多个特征向量与目标信息的相似度大于或等于预设值，则将这一个或多个特征向量加入至目标信息中来更新或替换目标信息；
若图片对应的一个或多个特征向量与目标信息的相似度小于预设值，则新创建聚类类别及目标信息，并将这一个或多个特征向量加入至新创建的目标信息中。
其中，本方法中的目标信息包括以下至少之一：聚类中心、采样点。本方法中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量。
在一示例性实施例中，若目标信息为聚类中心，则比较图片对应的一个或多个特征向量与目标聚类类别中聚类中心的相似度；
若图片对应的一个或多个特征向量与聚类中心的相似度大于或等于预设值，则将这一个或多个特征向量加入至目标信息中来更新聚类中心；
若图片对应的一个或多个特征向量与目标信息的相似度小于预设值，则新创建聚类类别及聚类中心，并将这一个或多个特征向量加入至新创建的聚类中心中。
具体地，若目标信息为聚类中心，比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度；即计算这一个或多个特征向量与聚类中心的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与聚类中心的相似度大于或等于预设值，即这一个或多个特征向量与聚类中心的距离小于或等于预设距离值；则将这一个或多个特征向量加入至聚类中心中来更新聚类中心，并同时更新目标聚类类别。若这一个或多个特征向量与聚类中心的相似度小于预设阈值，即这一个或多个特征向量与聚类中心的距离大于预设距离值；则新创建一个聚类类别和聚类中心，并将这一个或多个特征向量加入至新创建的聚类中心中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度大于或等于预设值，则将提取出的特征向量加入至已有聚类中心中来更新已有聚类中心，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度小于预设阈值，则新创建一个新的聚类类别和聚类中心，并将对应的特征向量加入至新创建的聚类中心中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别和聚类中心，则直接比较当前图片的特征向量与目标聚类类别中聚类中心的相似度，根据相似度将当前图片对应的一个或多个特征向量聚类归档至目标聚类类别和聚类中心中，或聚类归档至新创建的聚类类别和聚类中心中，同时将新创建的聚类中心作为下一张图片聚类时的已有聚类中心。本申请实施例通过将当前图片中提取出的特征向量加入至已有聚类中心中更新已有聚类中心，在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的聚类中心进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central Processing Unit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储聚类中心，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
在另一示例性实施例中，若目标信息为采样点，比较图片对应的一个或多个特征向量与目标聚类类别中采样点的相似度；
若图片对应的一个或多个特征向量与采样点的相似度大于或等于预设值，则将这一个或多个特征向量加入至采样点中更新采样点，并用更新后的采样点替换原采样点；
若图片对应的一个或多个特征向量与采样点的相似度小于预设值，则新创建一个聚类类别和采样点，并将这一个或多个特征向量加入至新创建的采样点中。
具体地，若目标信息为采样点，比较这一个或多个特征向量与目标聚类类别中采样点的相似度，即计算这一个或多个特征向量与采样点的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与采样点的相似度大于或等于预设阈值，即这一个或多个特征向量与采样点的距离小于或等于预设距离值；则将这一个或多个特征向量加入至采样点中来更新采样点，并用更新后的采样点替换原采样点，更新目标聚类类别。若这一个或多个特征向量与采样点的相似度小于预设阈值，即这一个或多个特征向量与采样点的距离大于预设阈值；则新创建一个聚类类别和采样点，并将这一个或多个特征向量加入至新创建的采样点中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中采样点的相似度大于或等于预设阈值，则将提取出的特征向量加入至已有采样点中来更新已有采样点，同时用更新后的采样点替换已有采样点，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心的相似度小于预设阈值，则新创建一个新的聚类类别和采样点，并将对应的特征向量加入至新创建的采样点中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别和采样点，则直接比较当前图片的特征向量与目标聚类类别中采样点的相似度，根据相似度将当前图片对应的特征向量聚类归档至目标聚类类别和采样点中，或聚类归档至新创建的聚类类别和采样点中。同时将新创建的聚类类别作为下一张图片聚类时的目标聚类类别，将新创建的采样点作为下一张图片聚类时的已有采样点。本申请实施例通过将当前图片中提取出的特征向量加入至已有采样点中更新已有采样点，同时用更新后的采样点替换已有采样点，在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的采样点进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central ProcessingUnit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储采样点，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
在另一示例性实施例中，若目标信息为聚类中心和采样点，则先比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，再比较这一个或多个特征向量与目标聚类类别中采样点的相似度。包括，
比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，若与聚类中心的相似度大于或等于预设阈值，则将这一个或多个特征向量加入至聚类中心中更新聚类中心。若与聚类中心的相似度小于预设阈值，再比较这一个或多个特征向量与目标聚类类别中采样点的相似度。
若与采样点的相似度大于或等于预设阈值，则将一个或多个特征向量加入至采样点中更新采样点，同时用更新后的采样点替换原采样点；若与采样点的相似度小于预设阈值，则新创建一个聚类类别、聚类中心和采样点，并将一个或多个特征向量加入至新创建的聚类中心和采样点中。
具体地，若目标信息为聚类中心和采样点，先比较这一个或多个特征向量与目标聚类类别中聚类中心的相似度，即计算这一个或多个特征向量与聚类中心的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与聚类中心的相似度大于或等于预设阈值，即这一个或多个特征向量与聚类中心的距离小于或等于预设距离值；则将这一个或多个特征向量加入至聚类中心中来更新聚类中心，同时更新目标聚类类别。若这一个或多个特征向量与聚类中心的相似度小于预设阈值，即这一个或多个特征向量与聚类中心的距离大于或等于预设阈值；再比较这一个或多个特征向量与目标聚类类别中采样点的相似度，即计算这一个或多个特征向量与采样点的距离(例如欧式距离、内积距离)。若这一个或多个特征向量与采样点的相似度大于或等于预设阈值，即这一个或多个特征向量与采样点的距离小于或等于预设阈值；则将这一个或多个特征向量加入至采样点中来更新采样点，同时用更新后的采样点替换原采样点，更新目标聚类类别。若这一个或多个特征向量与采样点的相似度小于预设阈值，即这一个或多个特征向量与采样点的距离大于或等于预设阈值；则新创建一个聚类类别、聚类中心和采样点，并将这一个或多个特征向量加入至新创建的聚类中心和采样点中。
本申请实施例中，如果从图片中提取出的特征向量与目标聚类类别中聚类中心、采样点的相似度均大于或等于对应的预设阈值，则将提取出的特征向量加入至已有聚类中心、采样点中来分别更新已有聚类中心和采样点，同时用更新后的采样点替换原采样点，使得本方法可以进行实时聚类。如果从图片中提取出的特征向量与目标聚类类别中聚类中心、采样点的相似度均小于对应的预设阈值，则新创建一个新的聚类类别、聚类中心和采样点，并将对应的特征向量加入至新创建的聚类中心和采样点中，使得本方法可以进行实时增量聚类。
在对当前图片进行聚类时，若已存在聚类类别、聚类中心和采样点，则直接比较当前图片的特征向量与目标聚类类别中聚类中心和采样点的相似度，根据相似度将当前图片聚类归档至目标聚类类别、聚类中心和采样点中，或创建新的聚类类别、聚类中心和采样点来进行聚类归档。同时将新创建的聚类类别作为下一张图片聚类时的目标聚类类别，将新创建的聚类中心作为下一张图片聚类时的已有聚类中心，将新创建的采样点作为下一张图片聚类时的已有采样点。本申请实施例通过将当前图片中提取出的特征向量加入至已有聚类中心中更新已有聚类中心，以及将当前图片中提取出的特征向量加入至已有采样点中更新已有采样点；在对下一张图片进行聚类时，仅需要将下一张图片中的特征向量与目标聚类类别中的聚类中心、采样点进行比较，而不需要和目标聚类类别中的每个特征向量进行比较；使得本方法仅使用CPU(Central Processing Unit，中央处理器，简称CPU)就能够进行图片聚类，不仅不需要依赖GPU，而且本申请实施例中的聚类类别中仅存储聚类中心和采样点，可以有效减少内存的占用，使本方法能够支持单机亿级数据量的聚类任务。
根据上述实施例的记载，本方法可以单独比较当前待聚类图片中特征向量与目标聚类类别中聚类中心的相似度，根据对应的相似度与预设阈值之间的关系来对当前待聚类图片对应的特征向量进行聚类，将当前图片对应的特征向量聚类至已有聚类中心中或聚类至新创建的聚类中心中。本方法还可以单独比较当前待聚类图片中特征向量与目标聚类类别中采样点的相似度，根据对应的相似度与预设阈值之间的关系来对当前待聚类图片进行聚类，将当前图片聚类至已有采样点中或聚类至新创建的采样点中。本方法还可以先比较当前待聚类图片中特征向量与目标聚类类别中聚类中心的相似度，在不满足与聚类中心的比较条件下，再比较当前待聚类图片中特征向量与目标聚类类别中采样点的相似度；最后根据与采样点的相似度条件将当前图片聚类至已有聚类中心、采样点中或聚类至新创建的聚类中心、采样点中。本方法实施例中聚类中心的预设阈值和采样点的预设阈值可以根据实际情况进行设定。
在一些实施例中，本方法中的特征向量包括以下至少之一：人脸特征向量、人体特征向量。
在一些示例性实施例中，在比较一个或多个特征向量与目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
本方法将不满足过滤规则的图片视为低质量图片，通过过滤掉低质量图片，避免对低质量图片进行聚类。通过设置过滤规则来对图片进行筛选，不仅能够提高本方法的聚类效率，还能够增加本方法的聚类准确率。
在一示例性实施例中，若特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；即图片的结构化特征信息为图片清晰度、人脸姿态分数；其中人脸姿态分数根据人脸的偏转角、俯仰角进行评分。
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
本方法过滤掉不满足要求的人脸图片，留下相对高质量的人脸图片，过滤掉噪声数据，即如果人脸图片的清晰程度分数小于或等于预设的过滤阈值，人脸的姿态分数未超过预设的过滤阈值，则将该图片视作低质量图片，并过滤掉该低质量图片，不对其进行图片聚类。
根据上述描述，在一示例性实施例中，在比较一个或多个人脸特征向量与目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
对于未被过滤掉的图片(即满足过滤规则的一张或多张图片)，再针对这些图片中的人脸特征向量进行PCA(Principal components analysis，主成分分析，简称PCA)降维，将其由高纬度降低为低纬度。具体地，对于人脸特征向量进行PCA降维处理，将新接收的N维人脸特征向量降维为Nd维(其中N维的维度大于Nd维的维度)。PCA降维处理的流程为：随机抽取一万条人脸特征向量，通过Python的sklearn库中的PCA方法得到一万条数据的N×N的协方差矩阵M，然后保存该协方差矩阵前Nd维的特征向量
Figure BDA0002498090290000201
以及一万条特征向量的平均值
Figure BDA0002498090290000202
对于每一条新进来的人脸特征向量XN，则可以得到经协方差矩阵降维后的人脸特征向量：
Figure BDA0002498090290000203
通过对人脸特征向量进行降维处理，能够降低这些人脸特征向量对内存的占用，减小计算量。
在一些示例性实施中，若所述特征向量为人脸特征向量，则从已有聚类类别中确定目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；作为示例，例如计算降维后的人脸特征向量与目标聚类类别中人脸特征向量之间的内积距离；若该内积距离小于预设距离值，则将降维后的人脸特征向量与目标聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
通过在已有聚类类别中找出目标聚类类别，再将获取的人脸特征向量与目标聚类类别中的目标信息进行比较，使本系统只需要比对部分聚类类别就能够完成图片聚类，与现有技术中需要与全部聚类类别中的特征向量进行比较而言，能够减少比较比象，加快比较速度，提高比较效率。
具体地，获取降维后的人脸特征向量，根据降维后人脸特征向量对已有的人脸检索索引进行更新，若人脸检索索引不存在，则新建立一个人脸检索索引。本方法中索引的构建可以使用FAISS开源工具，选择多种方式来构建人脸检索索引。作为示例，例如可以使用FAISS开源工具中的HNSW方法来构建人脸检索索引。根据更新后的人脸检索索引进行检索，计算内积距离，并根据内积距离快速定位找出索引中与该人脸最为接近的K个人脸，根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将定位出的K个聚类类别确定为目标聚类类别。再将降维后的人脸特征向量与这K个聚类类别中的信息进行比较判定，包括比较人脸特征向量与聚类中心和/或采样点的相似度，判定是否大于或等于预先设定的相似度阈值。若大于或等于预设的相似度阈值，则将该人脸特征向量
Figure BDA0002498090290000211
放入该目标聚类类别中，更新目标聚类类别中的聚类中心和/或采样点；若小于预设的相似度阈值，则建立一个新的聚类类别(包括新建聚类中心和/或采样点)。其中，对于一个需要更新的聚类，其聚类中心的向量为该类所有向量的均值
Figure BDA0002498090290000212
该类的模长为nA，聚类中心的更新公式为：
Figure BDA0002498090290000213
对于采样点，当新比较的人脸特征向量与现有采样点的相似度大于或等于预设阈值的情况下，将对应的人脸特征向量加入至原来的采样点中来更新原来的采样点，形成新的采样点，并用新的采样点来替换掉原来的采样点。
根据上述描述，聚类完成后，还保存获取的图片信息(包括人脸特征向量、图片ID、采集图片的时间、采集图片的设备等)，同时也对聚类结果进行保存和备份。并实时推送返回已有的聚类结果，包括推送返回每一张图片的人脸信息以及其对应的聚类类别ID。
本发明提供一种图片聚类管理方法，通过获取一张或多张图片，并从每张图片中提取一个或多个特征向量；将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；根据相似度比较结果，对所述目标聚类类别进行管理。本方法根据特征向量与目标聚类类别中目标信息的相似度来进行图片聚类管理，不仅解决了传统图片聚类归档方法中出现的误识别问题(本方法中的聚类中心和采样点均为特征向量；其中，聚类中心是目标聚类类别中所有特征向量的平均值；采样点是在目标聚类类别中随机选择的特征向量)；而且相对于与全部聚类类别进行相似度比较而言，本方法只需要和已有聚类类比中的部分聚类类别(即目标聚类类别)进行比较，能够加快比较速度，提高比较效率。同时，本方法还根据相似度来将对应的一个或多个特征向量加入至目标信息中进行更新或替换；或者将对应的一个或多个特征向量加入至新创建的目标信息中，让本方法能够实时增量聚类。并且本方法中的聚类类别中仅保存聚类中心和目标信息，比传统的聚类归档方法占用的内存更低，使得本方法能够支持单机亿级数据量的聚类任务。本方法基于人脸特征向量进行聚类，能够兼容多种不同的人脸学习引擎，同时对于检索引擎的构建也支持多种不同的检索引擎以及不同方式的构建，具有良好的扩展性；本方法支持多精度的特征向量，如支持浮点32位精度的特征向量以及整形8位精度的特征向量。并且本方法采用聚类中心和/或采样点的方式，通过以少量点来代替整体，有效减少内存占用；同时采用降维的方法，在保证合理范围内的信息损失下，可以显著减少内存的占用，提升运算速度。本方法相较于GPU的方案在速度上可以通过使用降维以及使用低精度的数据进行速度上的提升，同时本方法不依赖于GPU，比较易于达成分布式的搭建，可以进一步进行一个处理数据量上的提升。并且本方法的人脸聚类精度以及召回率能够达到95％以上。
本申请实施例还提供了一种图片聚类管理设备，包括有：
获取图像采集设备(例如抓拍机)抓拍的一张或多张图片，并从每张图片中提取一个或多个特征向量；
将这一个或多个特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息；所述目标信息包括以下至少之一：聚类中心、采样点；
根据相似度比较结果，对目标聚类类别进行管理。
在本实施例中，该图片聚类管理设备执行上述系统或方法。例如：接入图片聚类管理系统，执行离线安装Docker命令；执行初始化配置模块的命令，进行初始化；启动聚类服务引擎Docker，同时启动附有启动脚本start.py，然后开始执行图片聚类。图像采集设备的具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中所述方法所包含步骤的指令(instructions)。
图3为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图4为本申请的一个实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图4实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图3实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (23)

1.一种图片聚类管理方法，其特征在于，包括有：
获取与图片对应的特征向量；
将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息，所述目标信息包括聚类中心和采样点；所述聚类中心是目标聚类类别中所有特征向量的平均值，所述采样点是在目标聚类类别中随机选择的特征向量；进行相似度比较的过程包括：先将所述特征向量与目标聚类类别中存储的聚类中心进行相似度比较，再根据对应的相似度比较结果确定是否将所述特征向量与目标聚类类别中存储的采样点进行相似度比较；
根据相似度比较结果，对所述目标聚类类别进行管理；
若所述特征向量包括人脸特征向量，则对图片中的人脸特征向量进行降维，并根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸，并根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别，以及将定位出的至多K个聚类类别确定为目标聚类类别。
2.根据权利要求1所述的图片聚类管理方法，其特征在于，若所述相似度大于或等于预设值，则将所述特征向量聚类至所述目标聚类类别中，并依据所述特征向量，更新或替换所述目标聚类类别的目标信息。
3.根据权利要求1所述的聚类管理方法，其特征在于，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别。
4.根据权利要求3所述的聚类管理方法，其特征在于，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别之后，还包括：
所述特征向量作为所述创建的聚类类别的目标信息。
5.根据权利要求1至4中任一所述的图片聚类管理方法，其特征在于，在比较所述特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于所述结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
6.根据权利要求5所述的图片聚类管理方法，其特征在于，所述特征向量包括以下至少之一：人脸特征向量、人体特征向量。
7.根据权利要求6所述的图片聚类管理方法，其特征在于，若所述特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
8.根据权利要求7所述的图片聚类管理方法，其特征在于，在比较所述人脸特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
9.根据权利要求8所述的图片聚类管理方法，其特征在于，若所述特征向量为人脸特征向量，则从已有聚类类别中确定所述目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
10.根据权利要求9所述的图片聚类管理方法，其特征在于，计算降维后的人脸特征向量与已有聚类类别中人脸特征向量之间的距离；若所述距离小于预设距离值，则将降维后的人脸特征向量与已有聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
11.一种图片聚类管理系统，其特征在于，包括有：
获取模块，用于获取与图片对应的特征向量；
比较模块，用于将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息，所述目标信息包括聚类中心和采样点；所述聚类中心是目标聚类类别中所有特征向量的平均值，所述采样点是在目标聚类类别中随机选择的特征向量；进行相似度比较的过程包括：先将所述特征向量与目标聚类类别中存储的聚类中心进行相似度比较，再根据对应的相似度比较结果确定是否将所述特征向量与目标聚类类别中存储的采样点进行相似度比较；
聚类模块，用于根据相似度比较结果，对所述目标聚类类别进行管理；
若所述特征向量包括人脸特征向量，则对图片中的人脸特征向量进行降维，并根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸，并根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别，以及将定位出的至多K个聚类类别确定为目标聚类类别。
12.根据权利要求11所述的图片聚类管理系统，其特征在于，若所述相似度大于或等于预设值，则将所述特征向量聚类至所述目标聚类类别中，并依据所述特征向量，更新或替换所述目标聚类类别的目标信息。
13.根据权利要求11所述的聚类管理系统，其特征在于，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别。
14.根据权利要求13所述的聚类管理系统，其特征在于，若所述相似度小于预设值，则创建一个聚类类别，并将所述特征向量聚类至创建的聚类类别之后，还包括：
所述特征向量作为所述创建的聚类类别的目标信息。
15.根据权利要求11至14中任一所述的图片聚类管理系统，其特征在于，在比较所述特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取所有图片的结构化特征信息；
基于所述结构化特征信息设置过滤规则，并按照所设置的过滤规则对获取的一张或多张图片进行过滤。
16.根据权利要求15所述的图片聚类管理系统，其特征在于，所述特征向量包括以下至少之一：人脸特征向量、人体特征向量。
17.根据权利要求16所述的图片聚类管理系统，其特征在于，若所述特征向量为人脸特征向量，则获取所有图片的图片清晰度、人脸姿态分数；
设置图片清晰度大于清晰度阈值、人脸姿态分数超过姿态分数阈值为过滤规则，并按照设置的过滤规则对获取的一张或多张图片进行过滤。
18.根据权利要求17所述的图片聚类管理系统，其特征在于，在比较所述人脸特征向量与所述目标聚类类别中目标信息的相似度前，还包括：
获取满足过滤规则的一张或多张图片；
对满足过滤规则的每张图片中的人脸特征向量进行降维，将人脸特征向量的维度由第一维度降低为第二维度。
19.根据权利要求18所述的图片聚类管理系统，其特征在于，若所述特征向量为人脸特征向量，则从已有聚类类别中确定所述目标聚类类别的过程包括：
根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸；
根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别；并将所述已有的至多K个聚类类别确定为目标聚类类别。
20.根据权利要求19所述的图片聚类管理系统，其特征在于，计算降维后的人脸特征向量与已有聚类类别中人脸特征向量之间的距离；若所述距离小于预设距离值，则将降维后的人脸特征向量与已有聚类类别中的人脸特征向量确定为同一人脸的人脸特征向量，检索出与降维后的人脸特征向量最接近的人脸。
21.一种图片聚类管理设备，其特征在于，包括有：
获取与图片对应的特征向量；
将所述特征向量与目标聚类类别中存储的目标信息进行相似度比较，其中，所述目标聚类类别只存储目标信息，所述目标信息包括聚类中心和采样点；所述聚类中心是目标聚类类别中所有特征向量的平均值，所述采样点是在目标聚类类别中随机选择的特征向量进行相似度比较的过程包括：先将所述特征向量与目标聚类类别中存储的聚类中心进行相似度比较，再根据对应的相似度比较结果确定是否将所述特征向量与目标聚类类别中存储的采样点进行相似度比较；
根据相似度比较结果，对所述目标聚类类别进行管理；
若所述特征向量包括人脸特征向量，则对图片中的人脸特征向量进行降维，并根据已有聚类类别中的聚类中心创建人脸检索索引；
基于所述人脸检索索引检索出与降维后的人脸特征向量最接近的前K个人脸，并根据最接近的前K个人脸所对应的聚类标签从已有聚类类别中定位出至多K个聚类类别，以及将定位出的至多K个聚类类别确定为目标聚类类别。
22.一种计算机设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-10中一个或多个所述的方法。
23.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-10中一个或多个所述的方法。
CN202010424309.9A 2020-05-19 2020-05-19 一种图片聚类管理方法、系统、设备及介质 Active CN111598012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010424309.9A CN111598012B (zh) 2020-05-19 2020-05-19 一种图片聚类管理方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010424309.9A CN111598012B (zh) 2020-05-19 2020-05-19 一种图片聚类管理方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111598012A CN111598012A (zh) 2020-08-28
CN111598012B true CN111598012B (zh) 2021-11-12

Family

ID=72186127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010424309.9A Active CN111598012B (zh) 2020-05-19 2020-05-19 一种图片聚类管理方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111598012B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112287753A (zh) * 2020-09-23 2021-01-29 武汉天宝莱信息技术有限公司 一种基于机器学习提升人脸识别精度的系统及其算法
CN112115901A (zh) * 2020-09-25 2020-12-22 广州市派客朴食信息科技有限责任公司 一种高准确度的食物识别方法
CN112927811A (zh) * 2021-03-26 2021-06-08 武汉康华数海科技有限公司 经济效益型模型在医学数据信息上的处理系统及处理方法
CN113515648A (zh) * 2021-09-13 2021-10-19 北京中科闻歌科技股份有限公司 内容聚类方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777349A (zh) * 2017-01-16 2017-05-31 广东工业大学 基于深度学习的人脸检索系统及方法
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及系统
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN109213732A (zh) * 2018-06-28 2019-01-15 努比亚技术有限公司 一种改善相册分类的方法、移动终端及计算机可读存储介质
CN111046209A (zh) * 2019-12-09 2020-04-21 中国科学院自动化研究所 图像聚类检索系统
CN111104541A (zh) * 2019-12-31 2020-05-05 厦门市美亚柏科信息股份有限公司 一种高效的人脸图片检索方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096800B (zh) * 2009-12-14 2014-11-19 北京中星微电子有限公司 一种图像信息获取方法及装置
US8880525B2 (en) * 2012-04-02 2014-11-04 Xerox Corporation Full and semi-batch clustering
WO2017069231A1 (ja) * 2015-10-23 2017-04-27 国立大学法人大阪大学 人体における治療後の形態予測方法及びシステム
CN106250821A (zh) * 2016-07-20 2016-12-21 南京邮电大学 一种聚类再分类的人脸识别方法
CN107122805A (zh) * 2017-05-15 2017-09-01 腾讯科技（深圳）有限公司 一种用户聚类方法和装置
CN107818341A (zh) * 2017-10-25 2018-03-20 天津大学 一种基于改进K‑means算法的颜色提取方法
CN108509975B (zh) * 2018-01-26 2020-04-10 北京三快在线科技有限公司 一种异常在线聚类方法及装置，电子设备
CN108664920B (zh) * 2018-05-10 2022-12-20 东方网力科技股份有限公司 一种实时的大规模级联人脸聚类方法和装置
CN109002843A (zh) * 2018-06-28 2018-12-14 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109710728B (zh) * 2018-11-26 2022-05-17 西南电子技术研究所（中国电子科技集团公司第十研究所） 新闻话题自动发现方法
CN109766754A (zh) * 2018-12-04 2019-05-17 平安科技（深圳）有限公司 人脸五官聚类方法、装置、计算机设备及存储介质
CN110060166A (zh) * 2019-03-13 2019-07-26 平安科技（深圳）有限公司 智能理赔方法、装置、计算机设备以及存储介质
CN110175555A (zh) * 2019-05-23 2019-08-27 厦门市美亚柏科信息股份有限公司 人脸图像聚类方法和装置
CN110516586B (zh) * 2019-08-23 2023-07-28 深圳力维智联技术有限公司 一种人脸图像聚类方法、系统、产品及介质
CN110781247B (zh) * 2019-09-23 2021-11-26 华为技术有限公司 向量聚类方法、装置及存储介质
CN111078922A (zh) * 2019-10-15 2020-04-28 深圳市商汤科技有限公司 一种信息处理方法及装置、存储介质
CN110889433B (zh) * 2019-10-29 2024-05-28 平安科技（深圳）有限公司 人脸聚类方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777349A (zh) * 2017-01-16 2017-05-31 广东工业大学 基于深度学习的人脸检索系统及方法
CN108875522A (zh) * 2017-12-21 2018-11-23 北京旷视科技有限公司 人脸聚类方法、装置和系统及存储介质
CN108537120A (zh) * 2018-03-06 2018-09-14 安徽电科恒钛智能科技有限公司 一种基于深度学习的人脸识别方法及系统
CN109213732A (zh) * 2018-06-28 2019-01-15 努比亚技术有限公司 一种改善相册分类的方法、移动终端及计算机可读存储介质
CN111046209A (zh) * 2019-12-09 2020-04-21 中国科学院自动化研究所 图像聚类检索系统
CN111104541A (zh) * 2019-12-31 2020-05-05 厦门市美亚柏科信息股份有限公司 一种高效的人脸图片检索方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的人脸识别系统;欧阳军林等;《当代教育理论与实践》;20191130;第11卷(第6期);第133-138页 *

Also Published As

Publication number Publication date
CN111598012A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111598012B (zh) 一种图片聚类管理方法、系统、设备及介质
EP3477506B1 (en) Video detection method, server and storage medium
CN111931592B (zh) 对象识别方法、装置及存储介质
WO2017045443A1 (zh) 一种图像检索方法及系统
US20150235142A1 (en) System and method for identification of multimedia content elements
US20190325197A1 (en) Methods and apparatuses for searching for target person, devices, and media
CN113052079B (zh) 一种基于人脸聚类的区域客流统计方法、系统、设备和介质
CN112420069A (zh) 一种语音处理方法、装置、机器可读介质及设备
CN111310725A (zh) 一种对象识别方法、系统、机器可读介质及设备
WO2022037299A1 (zh) 异常行为检测方法、装置、电子设备及计算机可读存储介质
CN110909817B (zh) 分布式聚类方法及系统、处理器、电子设备及存储介质
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
CN113076903A (zh) 一种目标行为检测方法、系统、计算机设备及机器可读介质
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN111275683B (zh) 图像质量评分处理方法、系统、设备及介质
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN111709473B (zh) 对象特征的聚类方法及装置
CN110019907A (zh) 一种图像检索方法及装置
CN111091152A (zh) 图像聚类方法、系统、设备及机器可读介质
CN111178455B (zh) 图像聚类方法、系统、设备及介质
CN112417197B (zh) 一种排序方法、装置、机器可读介质及设备
Yu et al. On-chip real-time feature extraction using semantic annotations for object recognition
CN111710011B (zh) 一种漫画生成方法、系统、电子设备及介质
CN112069184A (zh) 一种向量检索方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant