CN111178455B - 图像聚类方法、系统、设备及介质 - Google Patents

图像聚类方法、系统、设备及介质 Download PDF

Info

Publication number
CN111178455B
CN111178455B CN202010012763.3A CN202010012763A CN111178455B CN 111178455 B CN111178455 B CN 111178455B CN 202010012763 A CN202010012763 A CN 202010012763A CN 111178455 B CN111178455 B CN 111178455B
Authority
CN
China
Prior art keywords
vector
vectors
clustering
searched
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010012763.3A
Other languages
English (en)
Other versions
CN111178455A (zh
Inventor
周曦
姚志强
石立娟
马鲜艳
龚伟杰
邹锦富
徐友德
杨杰
张彦斌
彭健
姜迅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Yuncong Technology Co ltd
Original Assignee
Chongqing Zhongke Yuncong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Yuncong Technology Co ltd filed Critical Chongqing Zhongke Yuncong Technology Co ltd
Priority to CN202010012763.3A priority Critical patent/CN111178455B/zh
Publication of CN111178455A publication Critical patent/CN111178455A/zh
Application granted granted Critical
Publication of CN111178455B publication Critical patent/CN111178455B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种图像聚类方法、系统、设备及介质,该方法包括:通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。本发明通过在大数据集内采用比对返回topK的方式,生成K+1个向量的小范围数据集,通过对小范围数据集聚类,大大降低了对阈值的敏感度,无累积误差,提高了聚类精度;同时,召回率高兼容性好。

Description

图像聚类方法、系统、设备及介质
技术领域
本发明涉及人工智能技术领域,特别是涉及一种图像聚类方法、系统、设备及介质。
背景技术
目前,很多场合下均需要用到人脸聚类技术,聚类是图像处理技术中的重要内容,在图像检索任务中,常规的方法是对海量被检索图片数据集提取特征,创建索引并对待检索图片提取特征根据特征在索引中进行图像的检索。适用于安防领域,分析用户行为轨迹追踪、同行人分析、用户异常行为监控报警等。
然而,现有聚类在数据量有限下图像处理效率尚可,但是对于安防领域抓拍的路人库,数据量巨大(在机场、车站等区域,每天抓拍几千万张图片,需要保存数月,累积数据量可达几十亿),采用常规聚类算法无法完成聚类或聚类时间长而无法满足实际业务需求,以及基于阈值的聚类在大数据集上也存在累积误差大等问题,因此,亟需一种能够满足大数据集(人脸库或/和人体库)的图像聚类方法。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供图像聚类方法、系统、设备及介质,用于解决现有图像聚类针对大数据集,无法满足聚类分析需求的问题。
为实现上述目的及其他相关目的,本发明提供一种图像聚类方法,包括:
通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
本发明的另一目的在于提供一种图像聚类系统,包括:
数据集生成模块,用于通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
聚类模块,用于通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
本发明的另一目的在于提供一种设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行上述图像聚类方法。
本发明还一目的在于提供一个或多个机器可读介质,包括:
其上存储有指令,当由一个或多个处理器执行时,使得设备执行上述图像聚类方法。
如上所述,本发明提供的一种图像聚类方法、系统、设备及介质,具有以下有益效果:
本发明通过在大数据集内采用比对返回topK的方式,生成K+1个向量的小范围数据集,通过对小范围数据集聚类,大大降低了对阈值的敏感度,无累积误差,提高了聚类精度;同时,召回率高,兼容性好。
附图说明
图1为本发明实施例提供的图像聚类方法流程图;
图2为本发明实施例提供的图像聚类方法一流程图;
图3为本发明实施例提供的图像聚类方法另一流程图;
图4为本发明实施例提供的图像聚类方法中步骤S2流程图;
图5为本发明实施例提供的图像聚类方法原理图;
图6为本发明实施例提供的图像聚类系统结构框图;
图7为本发明实施例提供的图像聚类系统一结构框图;
图8为本发明实施例提供的图像聚类系统另一结构框图;
图9为本发明实施例提供的图像聚类系统中聚类合成模块结构框图;
图10为本发明实施例提供的终端设备的硬件结构示意图;
图11为本发明实施例提供的终端设备的硬件结构示意图。
元件标号说明
0 数据库构建模块
1 数据集生成模块
2 聚类模块
20 分布式聚类单元
21 目标聚类簇单元
22 聚类合并单元
01 向量维度提取模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在本申请中,需要理解的是,几个概念的含义分别为:
1:N:任意取某个特征向量作为搜索向量,作为“1”,在全量向量底库中进行比对获取与当前搜索向量相似的向量,全量向量底库中的向量个数为“N”,比对过程称为1:N。
精度:聚到同一个簇中的正例个数/聚到同一个簇中的总样本数。
召回率:聚到同一个簇中的正例个数/总正例个数。向量间的相似度参数可以根据需要使用欧式距离、余弦距离或余弦相似度,其中欧式距离值越小越相似,距离为0时完全一样;特征向量之间的余弦相似度取值为[-1,1],相似度越接近1则表示两个特征向量越相似。
请参阅图1,为本发明实施例提供的图像聚类方法流程图,包括:
步骤S1,通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
其中,待搜索向量可以为单个也可为批量的多个,当获取到多个待搜索量时,批量检索与各个所述待搜索向量最相近的前K个向量,得到多个包含K+1个向量的小数据集。
在某一些实施例中,当获取到多个待搜索量时,利用1:N比对思路批量检索多个待搜索向量;查找与每个待搜索向量最相近的前K个向量,形成K+1个向量构成的小范围数据集;其中,N代表向量数据库中向量总个数,K代表与当前待搜索向量最相似的头部向量个数。
需要说明的是,本实施例中,通过将大数据集转换成小数据集,再后续再进行聚类,1:N可以兼容不同的算法,不仅提高了兼容性,同时,能够确保聚类的收敛性;还能够提升聚类精度;另外,召回率基本等于1:N的召回率,保持较高的召回率。
步骤S2,通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
其中,若所述待搜索向量为一个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇。
另外,需要说明的是,若所述待搜索向量为多个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇;
若多个所述目标聚类簇存在重复的向量,则判断所述目标聚类簇所对应的搜索向量是否为同一对象,如果是,则将多个所述目标聚类簇进行合并,其中,重复的向量保留一个,减少了冗余的数据量。
在本实施例中,通过在大数据集的向量数据库采用比对返回topK的方式,生成K+1个向量的小范围数据集,通过对小范围数据集聚类,大大降低了对阈值的敏感度,无累积误差提高了聚类精度;同时,召回率高,兼容性好。
请参阅图2,本发明实施例提供的图像聚类方法一流程图,在步骤S1之前还包括:
步骤S0,获取图像,提取所述图像中的特征向量,将所述特征向量导入向量数据库并形成索引。
其中,有以下两种方式,一种是获取人体图像,利用人体识别算法提取所述人体图像中的人体特征得到人体特征向量;将所述人体特征向量导入向量数据库并形成索引。
另一种是获取人脸图像,利用人脸识别算法提取所述人脸图像中的人脸特征得到人脸特征向量,将所述人脸特征向量导入向量数据库并形成索引;
在本实施例中,人脸图像的来源可以是公共区域摄像头拍摄到的路人图像也可以是网上的人脸库中的图像,对于公共区域摄像头拍摄到的路人图像,基于拍摄到的一张照片中会存在多个人脸,为此可以将一张照片中的多个人脸进行人脸识别提取出各个人脸图像,以作为人脸图像,所述人脸图像对应的都是某一个人的人脸图像。
例如,当图像来源于公共区域摄像头拍摄的视频流,解码所述视频流得到视频帧,对图像帧进行人脸检测时,检测出人脸和人脸关键点,检测人脸包括检测人脸的区域坐标和人脸得分,人脸的区域坐标用于后续从图像帧中截取人脸,检测人脸关键点具体包括根据输入的人脸图片,识别出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点的坐标,检测人脸关键点用于人脸对齐,通过人脸关键点检测得到人脸的关键点坐标,根据人脸的关键点坐标调整人脸的角度,使人脸对齐。如果同一人脸对应多个照片时,根据人脸得分、人脸大小和人脸模糊度选择出最优的为路人的人脸图像。
可选地,支持不同人脸识别模型提取人脸特征向量,例如,利用人脸识别算法(主成分分析法、模板匹配法或深度学习网络模型(Insightface模型)等)得到人脸特征向量,如,采用256维度或512维度表示人脸特征向量。
其中,将人脸特征向量导入向量数据库(例如,高维度向量数据库),该向量数据库支持批量1:N检索的任意向量数据库,在向量数据库建立索引,以提高检索查询的效率。
另外,如果该向量数据库也可是基于人体图像与人脸图像各自特征向量关联而建立具有索引功能的数据库。
请参阅图3,为本发明实施例提供的图像聚类方法另一流程图,与图2中实施流程不同的是,在步骤S1之前,还包括:
步骤S01,提取所述特征向量关于人脸特征或人体特征的有效向量维度,将所述有效向量维度关联存储到向量数据库。
其中,由于不同人脸识别模型获取的向量维度具有不同含义,去除人脸特征之外的向量维度,得到关于人脸特征的有效向量维度,将所述有效向量维度关联存储到向量数据库,同理,不同人体识别模型获取的向量维度具有不同含义,去除人体特征之外的向量维度,得到关于人体特征的有效向量维度,将所述有效向量维度关联存储到向量数据库。
在另一些实施例中,在安防领域、在犯罪监控领域、或者在道路监控领域,在需要调取某些人脸图像时,所述有效向量维度关联存储到向量数据库并形成索引,不仅有利于提高检索准确性,同时,在聚类时,将其加载到内存中还可用于聚类过程维护,聚类过程中会记录向量归属于哪个簇、以及簇的个数,便于后续准确的下发待搜索向量,避免重复下发待搜索向量。
请参阅图4,为本发明实施例提供的图像聚类方法中步骤S2流程图,包括:
步骤S21,分布式聚类每个所述小数据集得到待处理的簇;
其中,针对每个数据集聚类成Q个簇,Q为大于等于1的整数。
步骤S22,选择包含待搜索向量的待处理的簇为目标聚类簇;
其中,无论待搜索向量为一个或多个,都将包含待搜索向量的待处理的簇为目标聚类簇若有多个待搜索向量对应多个所述目标聚类簇时,执行下一步骤S23,若只有一个待搜索向量时,则直接将与所述搜索向量对应的目标聚类簇作为最终的聚类结果。
步骤S23,当检测到多个所述目标聚类簇内存在重复的向量时,则对包含重复的向量的簇各自对应的待搜索向量进行聚类,若聚类结果属于同一类别,则在对多个所述目标聚类簇进行合并;其中,重复的向量保留一个。
具体而言,若聚类结果属于同一类别,则意味着:这些待搜索向量属于同一对象,例如属于同一人,可将该人所对应的多个所述目标聚类簇进行合并;其中,重复的向量保留一个实现一人一档的建立。
需要说明的是,通过在得到目标聚类簇内判断是否存在重复的向量,如果目标聚类簇内存在重复的向量(至少两个目标聚类簇内,有相同向量则为重复的向量),则逆向判断该目标聚类簇所对应的待搜索向量是否为同一人,如果是,则形成一人一档的聚类档案,便于存储、方便管理和检索。
详见图5,在本实施例中,在千万级别以上的大数据集聚类时,获取待搜索向量过程,先将导入内存中的向量随机化后顺序下发,从而批量获取m个向量作为待搜索向量,或,采用预处理方法,将向量通过特征分(人脸清晰度、人脸俯仰角等优化)进行排序。
批量检索及聚类过程,将上述m个待搜索向量同时进行1:N检索,分别返回与对应待搜索向量最相近的前K个向量,加上待搜索向量本身,得到该批次的搜索结果,即m*(K+1)个向量,在每K+1个向量中分别进行聚类,这里的聚类可以采用常规的聚类算法,例如不仅局限于DBSCAN等聚类算法(无需指定簇的个数的聚类算法均可以满足上述分布式聚类),将K+1个向量聚类完成后得到q个簇(待处理的簇),提取包含待搜索向量的一个簇作为需要保存的一个簇也即目标聚类簇。
若待搜索向量为一个,则直接将与所述搜索向量对应的目标聚类簇作为最终的聚类结果无需对聚类结果进行合并。
聚类结果合并过程:由于批量下发待搜索向量时,存在同一个人的多张照片对应的向量均选为待搜索向量的情况,此时这几个待搜索向量返回的前K个向量绝大部分是相同的,所聚出的目标聚类簇也大部分是相同的,此时同一个向量可能归属多个目标聚类簇,需要将归属多个目标聚类簇的向量所对应的簇合并(重复的向量保留一个)。
按照上述方法进行聚类合并,检测各个目标聚类簇内是否存在重复的向量,如果检测到包含重复的向量的目标聚类簇,则检测该目标聚类簇其对应的待搜索向量是否为同一对象,如果是,则将多个目标聚类簇进行合并,其中,重复的向量保留一个。
需要说明的是,由于现有技术中,常规的聚类算法在小数据集上通常能表现良好,但在千万级及亿级、几十亿量级的数据集上算法通常无法收敛,无法完成聚类任务,而本方案将大数据集上的聚类问题,通过1:N检索的方式,转化为小数据集上的聚类,聚类结果精度高(可达99%以上)、召回率高(可达95%以上),且采用批量检索及聚类的方式,聚类效率高,能够满足千万级、亿级及几十亿量级的人脸数据聚类任务。
另外,在上述实施例中,采用本方案具有以下优点:
1、聚类精度可达99%以上:在大数据集中通过1:N返回top K,在K+1个向量中做小范围数据聚类,大大降低了对阈值的敏感度,无累积误差,聚类精度高;
2、聚类效率高:采用批处理聚类方式,整体方案可支持分布式聚类,聚类效率高;
3、召回率高:召回率基本等于1:N的召回率,图片质量好的召回率在95%以上;
4、兼容性好:可以兼容不同的1:N算法;
5、支持千万级、亿级及几十亿集的人脸聚类需求。
综上,本方案基于“人脸/人体图像聚类”,形成“一人一档”,能够用于“用户行为轨迹追踪”、“同行人分析”和“用户异常行为监控报警”等众多项目。
请参阅图6,本发明实施例提供的图像聚类系统结构框图,包括:
数据集生成模块1,用于通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
需要说明的是,利用1:N比对思路,在向量数据库批量检索多个待搜索向量;查找与每个待搜索向量最相近的前K个向量,形成K+1个向量构成的小范围数据集;其中,N代表向量数据库中向量总个数,K代表与当前待搜索向量最相似的头部向量个数。
聚类模块2,用于通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
在本实施例中,通过在大数据集的向量数据库采用比对返回topK的方式,生成K+1个向量的小范围数据集,通过对小范围数据集聚类,大大降低了对阈值的敏感度,无累积误差提高了聚类精度;同时,召回率高,兼容性好。
请参阅图7,本发明实施例提供的图像聚类系统一结构框图,与图6中图像聚类系统结构不同之处在于,所述数据集生成模块1之前,还包括:
向量数据库生成模块0,用于获取图像,提取所述图像中的特征向量,将所述特征向量导入向量数据库并形成索引;
具体地,所述向量数据库生成模块,用于获取人体图像,利用人体识别算法提取所述人体图像中的人体特征得到人体特征向量;将所述人体特征向量导入向量数据库并形成索引。
或,所述向量数据库生成模块,用于获取人脸图像,利用人脸识别算法提取所述人脸图像中的人脸特征得到人脸特征向量;将所述人脸特征向量导入向量数据库并形成索引。
在另一些实施例中,所述有效向量维关联存储到向量数据库并形成索引,不仅有利于提高检索准确性,同时,在聚类时,将其加载到内存中还可用于聚类过程维护,聚类过程中会记录向量归属于哪个簇、以及簇的个数,便于后续准确的下发待搜索向量,避免重复下发待搜索向量。
请参阅图8,为本发明实施例提供的图像聚类系统另一结构框图,与图6中图像聚类系统结构不同之处在于,所述数据集生成模块1之前,还包括:
向量维度提取模块01,用于提取所述特征向量关于人脸特征或人体特征的有效向量维度,将所述有效向量维度关联存储到向量数据库。
请参阅图9,为本发明实施例提供的图像聚类系统中聚类模块结构框图,
分布式聚类单元20,利用分布式聚类每个所述小数据集得到待处理的簇;
目标聚类簇单元21,用于选择包含待搜索向量的待处理的簇为目标聚类簇;
聚类合并单元22,用于当检测到多个所述目标聚类簇内存在重复的向量时,则对包含重复的向量的簇各自对应的待搜索向量进行聚类,若聚类结果属于同一类别,则在对多个所述目标聚类簇进行合并;其中,重复的向量保留一个。
在本实施例中,该图像聚类系统与上述图像聚类方法为一一对应关系,具体功能和技术效果参照上述实施例即可,此处不再赘述。
本申请实施例还提供了一种设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图1所述的方法。在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的图1中图像聚类方法所包含步骤的指令(instructions)。
图10为本申请一实施例提供的终端设备的硬件结构示意图。如图所示,该终端设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit,简称CP U)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的,上述输入设备1100可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中图像识别装置各模块的功能具体功能和技术效果参照上述实施例即可,此处不再赘述。
图11为本申请的一个实施例提供的终端设备的硬件结构示意图。图11是对图10在实现过程中的一个具体的实施例。如图所示,本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图4所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,第二处理器1201设置在处理组件1200中。该终端设备还可以包括:通信组件1203,电源组件1204,多媒体组件1205,语音组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令,以完成上述图像聚类方法中的全部或部分步骤。此外,处理组件1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如,语音组件1206包括一个麦克风(MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中,语音组件1206还包括一个扬声器,用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件1208可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务器建立通信。
由上可知,在图11实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图10实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种图像聚类方法,其特征在于,包括:
获取人体图像,利用人体识别算法提取所述人体图像中的人体特征得到人体特征向量;将所述人体特征向量导入向量数据库并形成索引;或,获取人脸图像,利用人脸识别算法提取所述人脸图像中的人脸特征得到人脸特征向量;将所述人脸特征向量导入向量数据库并形成索引;
通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
2.根据权利要求1所述的图像聚类方法,其特征在于,若所述待搜索向量为一个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇。
3.根据权利要求1所述的图像聚类方法,其特征在于,当获取到多个待搜索量时,利用1:N比对思路批量检索与各个所述待搜索向量最相近的前K个向量,得到多个包含K+1个向量的小数据集,其中,N代表向量数据库中向量总个数,K代表与当前待搜索向量最相似的人体特征向量个数或人脸特征向量个数。
4.根据权利要求1或3所述的图像聚类方法,其特征在于,若所述待搜索向量为多个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇;
若多个所述目标聚类簇存在重复的向量,则判断所述目标聚类簇所对应的搜索向量是否为同一对象,如果是,则将多个所述目标聚类簇进行合并,其中,重复的向量保留一个。
5.根据权利要求1所述的图像聚类方法,其特征在于,所述向量数据库支持批量检索。
6.根据权利要求1所述的图像聚类方法,其特征在于,所述将所述特征向量导入向量数据库并形成索引的步骤之前,还包括:
提取所述特征向量关于人脸特征或人体特征的有效向量维度,将所述有效向量维度关联存储到向量数据库。
7.一种图像聚类系统,其特征在于,包括:
向量数据库生成模块,用于获取人体图像,利用人体识别算法提取所述人体图像中的人体特征得到人体特征向量;将所述人体特征向量导入向量数据库并形成索引;或,用于获取人脸图像,利用人脸识别算法提取所述人脸图像中的人脸特征得到人脸特征向量;将所述人脸特征向量导入向量数据库并形成索引;
数据集生成模块,用于通过待搜索向量进行检索,获得与所述待搜索向量最相近的前K个向量,进而得到包含K+1个向量的小数据集;
聚类模块,用于通过聚类所述小数据集获得待处理的簇,并根据所述待处理的簇获得聚类结果。
8.根据权利要求7所述的图像聚类系统,其特征在于,所述聚类模块包括:目标聚类簇单元,用于若所述待搜索向量为一个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇。
9.根据权利要求7所述的图像聚类系统,其特征在于,所述数据集生成模块当获取到多个待搜索量时,利用1:N比对思路批量检索与各个所述待搜索向量最相近的前K个向量,得到多个包含K+1个向量的小数据集,其中,N代表向量数据库中向量总个数,K代表与当前待搜索向量最相似的人体特征向量个数或人脸特征向量个数。
10.根据权利要求7或9所述的图像聚类系统,其特征在于,所述聚类模块包括:
目标聚类簇单元,用于若所述待搜索向量为多个,则从所述待处理的簇中选择包含所述待搜索向量的簇,作为目标聚类簇;
聚类合并单元,用于若多个所述目标聚类簇存在重复的向量,则判断所述目标聚类簇所对应的搜索向量是否为同一对象,如果是,则将多个所述目标聚类簇进行合并,其中,重复的向量保留一个。
11.根据权利要求7所述的图像聚类系统,其特征在于,所述向量数据库支持批量检索。
12.根据权利要求7所述的图像聚类系统,其特征在于,所述向量数据库生成模块之后,还包括:
向量维度提取模块,用于提取所述特征向量关于人脸特征或人体特征的有效向量维度,将所述有效向量维度关联存储到向量数据库。
13.一种设备,其特征在于,包括:
一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得所述设备执行如权利要求1-6中一个或多个所述的方法。
14.一个或多个机器可读介质,其特征在于,其上存储有指令,当由一个或多个处理器执行时,使得设备执行如权利要求1-6中一个或多个所述的方法。
CN202010012763.3A 2020-01-07 2020-01-07 图像聚类方法、系统、设备及介质 Active CN111178455B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010012763.3A CN111178455B (zh) 2020-01-07 2020-01-07 图像聚类方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010012763.3A CN111178455B (zh) 2020-01-07 2020-01-07 图像聚类方法、系统、设备及介质

Publications (2)

Publication Number Publication Date
CN111178455A CN111178455A (zh) 2020-05-19
CN111178455B true CN111178455B (zh) 2021-02-12

Family

ID=70658003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010012763.3A Active CN111178455B (zh) 2020-01-07 2020-01-07 图像聚类方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN111178455B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232148A (zh) * 2020-09-28 2021-01-15 浙江大华技术股份有限公司 图像聚类、目标轨迹追踪方法、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101853272B (zh) * 2010-04-30 2012-07-04 华北电力大学(保定) 基于相关反馈和聚类的搜索引擎技术
CN102915347B (zh) * 2012-09-26 2016-10-12 中国信息安全测评中心 一种分布式数据流聚类方法及系统
CN104462199B (zh) * 2014-10-31 2017-09-12 中国科学院自动化研究所 一种网络环境下的近似重复图像搜索方法
US10163041B2 (en) * 2016-06-30 2018-12-25 Oath Inc. Automatic canonical digital image selection method and apparatus

Also Published As

Publication number Publication date
CN111178455A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
CN111598012B (zh) 一种图片聚类管理方法、系统、设备及介质
CN113052079B (zh) 一种基于人脸聚类的区域客流统计方法、系统、设备和介质
CN112906568B (zh) 动态阈值管理方法、系统、电子设备及介质
CN112163428A (zh) 语义标签的获取方法、装置、节点设备及存储介质
CN111310725A (zh) 一种对象识别方法、系统、机器可读介质及设备
CN112241789A (zh) 用于轻量化神经网络的结构化剪枝方法、装置、介质及设备
CN113076903A (zh) 一种目标行为检测方法、系统、计算机设备及机器可读介质
CN114078008A (zh) 异常行为检测方法、装置、设备及计算机可读存储介质
CN111178455B (zh) 图像聚类方法、系统、设备及介质
TWI769665B (zh) 目標資料更新方法、電子設備及電腦可讀儲存介質
CN110363187B (zh) 一种人脸识别方法、装置、机器可读介质及设备
CN112529939A (zh) 一种目标轨迹匹配方法、装置、机器可读介质及设备
CN110674123B (zh) 数据预处理方法、装置、设备及介质
CN111091152A (zh) 图像聚类方法、系统、设备及机器可读介质
CN111275683A (zh) 图像质量评分处理方法、系统、设备及介质
CN112417197B (zh) 一种排序方法、装置、机器可读介质及设备
CN111428652B (zh) 一种生物特征管理方法、系统、设备及介质
CN111813988B (zh) 用于图像特征库的hnsw节点删除方法、系统、设备和介质
CN114240663A (zh) 数据对账方法、装置、终端及存储介质
CN110728243B (zh) 一种权级分类的业务管理方法、系统、设备和介质
CN111694979A (zh) 一种基于图像的档案管理方法、系统、设备和介质
CN112232890A (zh) 数据处理方法、装置、设备及存储介质
CN112069184A (zh) 一种向量检索方法、系统、设备及介质
CN111639705A (zh) 一种批量图片标注方法、系统、机器可读介质及设备
CN112801130B (zh) 图像聚类簇质量评估方法、系统、介质及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant