CN109685044B - 基于k均值聚类算法的人脸识别检索方法 - Google Patents

基于k均值聚类算法的人脸识别检索方法 Download PDF

Info

Publication number
CN109685044B
CN109685044B CN201910119779.1A CN201910119779A CN109685044B CN 109685044 B CN109685044 B CN 109685044B CN 201910119779 A CN201910119779 A CN 201910119779A CN 109685044 B CN109685044 B CN 109685044B
Authority
CN
China
Prior art keywords
face
image
person
feature vector
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910119779.1A
Other languages
English (en)
Other versions
CN109685044A (zh
Inventor
吴晓鹏
谢赟
韩欣
卓建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Datatom Information Technology Co ltd
Original Assignee
Shanghai Datatom Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Datatom Information Technology Co ltd filed Critical Shanghai Datatom Information Technology Co ltd
Priority to CN201910119779.1A priority Critical patent/CN109685044B/zh
Publication of CN109685044A publication Critical patent/CN109685044A/zh
Application granted granted Critical
Publication of CN109685044B publication Critical patent/CN109685044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于k均值聚类的人脸识别检索方法，包括：使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。本发明具有较快的检索速度，同时解决大量人脸特征向量存放在内存中，消耗硬件资源的问题。

Description

基于k均值聚类算法的人脸识别检索方法
技术领域
本发明涉及人脸识别技术领域。
背景技术
在人脸识别应用领域中，一个重要的应用过程就是从众多人脸图像中，找出同一个人的所有图像。在现有的社会场景中(例如：学校、媒体、公安等)，都会有大量的图片存在数据库中，如何从大量的数据图像中，快速找到一个人的所有图片是一个难题。如果使用1:1精确比对的方法计算，则速度慢，检索时间长，同时所有的人脸图像特征向量放在内存中，会占用大量的内存空间。因此，需要设计一种高效、快速的人脸检索方法，来提高检索速度，同时降低内存的消耗。
发明内容
本发明的目的在于提供一种基于k均值聚类算法的人脸识别检索方法，具有较快的检索速度，同时解决大量人脸特征向量存放在内存中，消耗硬件资源的问题。
实现上述目的的技术方案是：
一种基于k均值聚类的人脸识别检索方法，包括：
使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；
使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。
优选的，从图像库中，使用mtcnn(Multi-task convolutional neural networks，多任务卷积神经网络)对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像；
利用insightface(Additive Angular Margin Loss for Deep FaceRecognition，基于角度的人脸识别模型)学习模型提取人脸图像的特征向量；
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量。
优选的，若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；
如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
优选的，利用insightface学习模型提取待查询图像的特征向量；
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，返回与该人物对应的所有人脸；若相反，返回结果查无此人。
优选的，所述的人物库中，当人物中只有一个人脸图像的特征向量时，通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
优选的，每个人脸图像的特征向量或待查询图像的特征向量都有512维。
优选的，人物库中一个人物的所有人脸图像的特征向量对应维数相加，除以人脸图像的特征向量的个数，即为中心向量。
优选的，人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。
优选的，所述的浮点数精确比对，指：求两个向量的余弦距离；
所述的预设的阈值，指：同一个人的人脸特征向量的最大夹角距离。
本发明的有益效果是：本发明通过构建人物库的方法，可以大大减少人脸识别时的比对次数，从而减少计算量，加快检索速度。同时，因为在数据量很庞大的情况下，把所有人脸的特征向量加载到内存中，会消耗大量的内存资源，构建人物库，只用把人物库的中心向量加载到内存中即可，可以节约内存。
附图说明
图1是本发明的人脸识别检索方法的流程步骤图；
图2是本发明的人脸识别检索方法的流程示意图；
图3是本发明中人物库的构建示意图；
图4是本发明中中心向量的计算示意图；
图5是本发明中精确比对的示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图1和图2，本发明的基于k均值聚类的人脸识别检索方法，包括下列步骤：
步骤S110，使用卷积神经网络从图像库中提取人脸图像的特征向量，使用insightface学习模型，作为特征向量提取的方法，提取出的特征向量有512维，是一个高维的浮点数。在提取之前，从图像库中使用mtcnn对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像。
步骤S120，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量。中心向量的数量和人物个数相等。将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量。若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
具体地，如图3所示，人物库的具体构建过程包括：
对于第一个从图像库中提取出来的人脸图像，在人物库中创建人物1。使用卷积神经网络提取人脸特征向量，并将该特征向量放入人物1中。使用k均值(k＝1)聚类方法，计算人物1的中心向量，保存在人物1中。当人物中只有一个人脸图像的特征向量时，通过k均值(k＝1)聚类方法计算出来的人物中心向量等于这个人脸图像的特征向量。
对于第二个从图像库中提取出来的人脸图像，同样提取其特征向量，该特征向量需要先和人物1的中心向量精确比较，确定人脸和人物1是不是同一个人。如果对比结果大于设定的阈值，创建人物2，把第二个人脸特征向量放入人物2，计算人物2的中心向量。如果比对结果小于设定好的阈值，那证明这两个人脸是同一个人，将第二个人脸的特征向量放入人物库1，重新计算人物1的中心向量。
对于后续的人脸，需要先和已经存在于人物库中的人物中心向量作比较，如果该人脸是其中的某个人物，则将该人脸的特征向量加入该人物中，如果不存在于人物库中，则创建新的人物。每一个人脸只会属于一个人物，每一个人物可以包含多个人脸。
如图4所示，计算人物的中心向量，在做后续的计算和比对过程中，用中心向量来代替人物做计算。在人物库中，包含多个人物，每个人物下，包含多个人脸图像的特征向量，每个人脸图像的特征向量，对应一个人脸图像。在计算中心向量时，多个特征向量通过k均值(k＝1)聚类方法，计算人物中心向量。具体的计算过程包括：每一个特征向量都有512维，所有特征向量对应维数相加，除以特征向量的个数，即为中心向量。
步骤S130，查询检索过程，同样使用卷积神经网络从待查询图像中提取特征向量。同样采用insightface学习模型。
步骤S140，将待查询图像的特征向量与人物库中的各中心向量作如步骤S120一样的浮点数精确比对。人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。如图5所示，浮点数精确比对的过程是求两个向量的余弦距离。人脸图像的特征向量提取模型insightface，在训练过程中使用的是余弦距离。比对的结果是两个向量的夹角距离。和提前设定好的阈值作对比来确定是不是同一个人。
预设的阈值表示同一个人的人脸特征向量的最大夹角距离。数值大于设定的阈值表示不是同一个人，反之，是同一个人。
步骤S150，通过比较结果，确定返回的检索结果。如果查到了人脸和某个人物相似，则对应该人物中的所有人脸和待查询的人脸相似，返回该人物对应的所有人脸。如果查不到结果，证明数据库中没有该人物，返回结果查无此人。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。

Claims (7)

1.一种基于k均值聚类的人脸识别检索方法，其特征在于，包括：
使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；
使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果；
从图像库中，使用mtcnn对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像；
利用insightface学习模型提取人脸图像的特征向量；
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量；
若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；
如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
2.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，
利用insightface学习模型提取待查询图像的特征向量；
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，返回与该人物对应的所有人脸；若相反，返回结果查无此人。
3.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，所述的人物库中，当人物中只有一个人脸图像的特征向量时，通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
4.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，每个人脸图像的特征向量或待查询图像的特征向量都有512维。
5.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，人物库中一个人物的所有人脸图像的特征向量对应维数相加，除以人脸图像的特征向量的个数，即为中心向量。
6.根据权利要求4所述的基于k均值聚类的人脸识别检索方法，其特征在于，人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。
7.根据权利要求1或2所述的基于k均值聚类的人脸识别检索方法，其特征在于，所述的浮点数精确比对，指：求两个向量的余弦距离；
所述的预设的阈值，指：同一个人的人脸特征向量的最大夹角距离。
CN201910119779.1A 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法 Active CN109685044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910119779.1A CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910119779.1A CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Publications (2)

Publication Number Publication Date
CN109685044A CN109685044A (zh) 2019-04-26
CN109685044B true CN109685044B (zh) 2023-06-06

Family

ID=66196410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910119779.1A Active CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Country Status (1)

Country Link
CN (1) CN109685044B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276320A (zh) * 2019-06-26 2019-09-24 杭州创匠信息科技有限公司 基于人脸识别的门禁方法、装置、设备和存储介质
CN110874419B (zh) * 2019-11-19 2022-03-29 山东浪潮科学研究院有限公司 一种人脸数据库快速检索技术
CN111091106B (zh) * 2019-12-23 2023-10-10 浙江大华技术股份有限公司 图像聚类方法及装置、存储介质、电子装置
CN113792171B (zh) * 2021-11-15 2022-02-18 西安热工研究院有限公司 基于内存管理的图像检索方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411829B2 (en) * 2013-06-10 2016-08-09 Yahoo! Inc. Image-based faceted system and method
CN107909104B (zh) * 2017-11-13 2023-07-18 腾讯数码（天津）有限公司 一种图片的人脸聚类方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统

Also Published As

Publication number Publication date
CN109685044A (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
CN109685044B (zh) 基于k均值聚类算法的人脸识别检索方法
CN111950728B (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN111897975A (zh) 一种面向知识图谱表示学习训练的局部训练方法
WO2021056710A1 (zh) 多轮问答识别方法、装置、计算机设备及存储介质
CN106127222B (zh) 一种基于视觉的字符串相似度计算方法及相似性判断方法
CN110807402B (zh) 一种基于肤色检测的五官定位方法、系统和终端设备
EP3699779A1 (en) Error correction method and apparatus, and computer readable medium
CN109783805B (zh) 一种网络社区用户识别方法、装置和可读存储介质
CN104572717A (zh) 信息搜索方法和装置
EP4390725A1 (en) Video retrieval method and apparatus, device, and storage medium
CN111708942A (zh) 多媒体资源推送方法、装置、服务器及存储介质
CN109697240B (zh) 一种基于特征的图像检索方法及装置
CN108090117B (zh) 一种图像检索方法及装置，电子设备
CN111950267B (zh) 文本三元组的抽取方法及装置、电子设备及存储介质
CN104615621A (zh) 搜索中的相关性处理方法和系统
CN116450671B (zh) 智能交互会话大数据分析方法及大数据服务器
CN111737461A (zh) 文本的处理方法、装置、电子设备及计算机可读存储介质
CN114373088A (zh) 一种图像检测模型的训练方法和相关产品
CN110704575B (zh) 一种动态自适应二元层次词汇树图像检索方法
CN114662487A (zh) 一种文本分段方法、装置、电子设备及可读存储介质
CN112487214A (zh) 基于实体共现矩阵的知识图谱关系抽取方法及系统
CN110852206A (zh) 一种联合全局特征和局部特征的场景识别方法及装置
Xiongkai et al. A method of dynamically determining the number of clusters and cluster centers
CN111538813B (zh) 一种分类检测方法、装置、设备及存储介质
CN113094703B (zh) 针对web入侵检测的输出内容过滤方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant