CN109685044A - 基于k均值聚类算法的人脸识别检索方法 - Google Patents

基于k均值聚类算法的人脸识别检索方法 Download PDF

Info

Publication number
CN109685044A
CN109685044A CN201910119779.1A CN201910119779A CN109685044A CN 109685044 A CN109685044 A CN 109685044A CN 201910119779 A CN201910119779 A CN 201910119779A CN 109685044 A CN109685044 A CN 109685044A
Authority
CN
China
Prior art keywords
personage
feature vector
face
image
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910119779.1A
Other languages
English (en)
Other versions
CN109685044B (zh
Inventor
吴晓鹏
谢赟
韩欣
卓建飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Original Assignee
Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tak Billiton Information Technology Ltd By Share Ltd filed Critical Shanghai Tak Billiton Information Technology Ltd By Share Ltd
Priority to CN201910119779.1A priority Critical patent/CN109685044B/zh
Publication of CN109685044A publication Critical patent/CN109685044A/zh
Application granted granted Critical
Publication of CN109685044B publication Critical patent/CN109685044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于k均值聚类的人脸识别检索方法，包括：使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。本发明具有较快的检索速度，同时解决大量人脸特征向量存放在内存中，消耗硬件资源的问题。

Description

基于k均值聚类算法的人脸识别检索方法
技术领域
本发明涉及人脸识别技术领域。
背景技术
在人脸识别应用领域中，一个重要的应用过程就是从众多人脸图像中，找出同一个人的所有图像。在现有的社会场景中(例如：学校、媒体、公安等)，都会有大量的图片存在数据库中，如何从大量的数据图像中，快速找到一个人的所有图片是一个难题。如果使用1:1精确比对的方法计算，则速度慢，检索时间长，同时所有的人脸图像特征向量放在内存中，会占用大量的内存空间。因此，需要设计一种高效、快速的人脸检索方法，来提高检索速度，同时降低内存的消耗。
发明内容
本发明的目的在于提供一种基于k均值聚类算法的人脸识别检索方法，具有较快的检索速度，同时解决大量人脸特征向量存放在内存中，消耗硬件资源的问题。
实现上述目的的技术方案是：
一种基于k均值聚类的人脸识别检索方法，包括：
使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；
使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。
优选的，从图像库中，使用mtcnn(Multi-task convolutional neural networks，多任务卷积神经网络)对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像；
利用insightface(Additive Angular Margin Loss for Deep FaceRecognition，基于角度的人脸识别模型)学习模型提取人脸图像的特征向量；
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量。
优选的，若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；
如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
优选的，利用insightface学习模型提取待查询图像的特征向量；
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，返回与该人物对应的所有人脸；若相反，返回结果查无此人。
优选的，所述的人物库中，当人物中只有一个人脸图像的特征向量时，通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
优选的，每个人脸图像的特征向量或待查询图像的特征向量都有512维。
优选的，人物库中一个人物的所有人脸图像的特征向量对应维数相加，除以人脸图像的特征向量的个数，即为中心向量。
优选的，人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。
优选的，所述的浮点数精确比对，指：求两个向量的余弦距离；
所述的预设的阈值，指：同一个人的人脸特征向量的最大夹角距离。
本发明的有益效果是：本发明通过构建人物库的方法，可以大大减少人脸识别时的比对次数，从而减少计算量，加快检索速度。同时，因为在数据量很庞大的情况下，把所有人脸的特征向量加载到内存中，会消耗大量的内存资源，构建人物库，只用把人物库的中心向量加载到内存中即可，可以节约内存。
附图说明
图1是本发明的人脸识别检索方法的流程步骤图；
图2是本发明的人脸识别检索方法的流程示意图；
图3是本发明中人物库的构建示意图；
图4是本发明中中心向量的计算示意图；
图5是本发明中精确比对的示意图。
具体实施方式
下面将结合附图对本发明作进一步说明。
请参阅图1和图2，本发明的基于k均值聚类的人脸识别检索方法，包括下列步骤：
步骤S110，使用卷积神经网络从图像库中提取人脸图像的特征向量，使用insightface学习模型，作为特征向量提取的方法，提取出的特征向量有512维，是一个高维的浮点数。在提取之前，从图像库中使用mtcnn对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像。
步骤S120，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量。中心向量的数量和人物个数相等。将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量。若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
具体地，如图3所示，人物库的具体构建过程包括：
对于第一个从图像库中提取出来的人脸图像，在人物库中创建人物1。使用卷积神经网络提取人脸特征向量，并将该特征向量放入人物1中。使用k均值(k＝1)聚类方法，计算人物1的中心向量，保存在人物1中。当人物中只有一个人脸图像的特征向量时，通过k均值(k＝1)聚类方法计算出来的人物中心向量等于这个人脸图像的特征向量。
对于第二个从图像库中提取出来的人脸图像，同样提取其特征向量，该特征向量需要先和人物1的中心向量精确比较，确定人脸和人物1是不是同一个人。如果对比结果大于设定的阈值，创建人物2，把第二个人脸特征向量放入人物2，计算人物2的中心向量。如果比对结果小于设定好的阈值，那证明这两个人脸是同一个人，将第二个人脸的特征向量放入人物库1，重新计算人物1的中心向量。
对于后续的人脸，需要先和已经存在于人物库中的人物中心向量作比较，如果该人脸是其中的某个人物，则将该人脸的特征向量加入该人物中，如果不存在于人物库中，则创建新的人物。每一个人脸只会属于一个人物，每一个人物可以包含多个人脸。
如图4所示，计算人物的中心向量，在做后续的计算和比对过程中，用中心向量来代替人物做计算。在人物库中，包含多个人物，每个人物下，包含多个人脸图像的特征向量，每个人脸图像的特征向量，对应一个人脸图像。在计算中心向量时，多个特征向量通过k均值(k＝1)聚类方法，计算人物中心向量。具体的计算过程包括：每一个特征向量都有512维，所有特征向量对应维数相加，除以特征向量的个数，即为中心向量。
步骤S130，查询检索过程，同样使用卷积神经网络从待查询图像中提取特征向量。同样采用insightface学习模型。
步骤S140，将待查询图像的特征向量与人物库中的各中心向量作如步骤S120一样的浮点数精确比对。人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。如图5所示，浮点数精确比对的过程是求两个向量的余弦距离。人脸图像的特征向量提取模型insightface，在训练过程中使用的是余弦距离。比对的结果是两个向量的夹角距离。和提前设定好的阈值作对比来确定是不是同一个人。
预设的阈值表示同一个人的人脸特征向量的最大夹角距离。数值大于设定的阈值表示不是同一个人，反之，是同一个人。
步骤S150，通过比较结果，确定返回的检索结果。如果查到了人脸和某个人物相似，则对应该人物中的所有人脸和待查询的人脸相似，返回该人物对应的所有人脸。如果查不到结果，证明数据库中没有该人物，返回结果查无此人。
以上实施例仅供说明本发明之用，而非对本发明的限制，有关技术领域的技术人员，在不脱离本发明的精神和范围的情况下，还可以作出各种变换或变型，因此所有等同的技术方案也应该属于本发明的范畴，应由各权利要求所限定。

Claims (9)

1.一种基于k均值聚类的人脸识别检索方法，其特征在于，包括：
使用卷积神经网络从图像库中提取人脸图像的特征向量，建立人物库，每个人物都通过k均值聚类方法计算出该人物对应的中心向量；
使用卷积神经网络从待查询图像中提取特征向量，并与人物库中的各中心向量作浮点数精确比对，通过比较结果，确定返回的检索结果。
2.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，从图像库中，使用mtcnn对普通图像检测人脸位置，并对检测出来的人脸做对齐和裁剪操作，得到人脸图像；
利用insightface学习模型提取人脸图像的特征向量；
将人脸图像的特征向量与人物库中的中心向量作浮点数精确比对，判断该人脸属于人物库中的哪个人物，将人脸图像的特征向量存入该人物中，并更新中心向量。
3.根据权利要求2所述的基于k均值聚类的人脸识别检索方法，其特征在于，若人脸图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，是同一人，反之，则不是同一人；
如果人脸图像的特征向量不属于任何一个人物，则创建新的人物。
4.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，
利用insightface学习模型提取待查询图像的特征向量；
若待查询图像的特征向量与中心向量浮点数精确比对的结果小于预设的阈值，返回与该人物对应的所有人脸；若相反，返回结果查无此人。
5.根据权利要求3所述的基于k均值聚类的人脸识别检索方法，其特征在于，所述的人物库中，当人物中只有一个人脸图像的特征向量时，通过k均值聚类方法计算出来中心向量等于这个人脸图像的特征向量。
6.根据权利要求1所述的基于k均值聚类的人脸识别检索方法，其特征在于，每个人脸图像的特征向量或待查询图像的特征向量都有512维。
7.根据权利要求2所述的基于k均值聚类的人脸识别检索方法，其特征在于，人物库中一个人物的所有人脸图像的特征向量对应维数相加，除以人脸图像的特征向量的个数，即为中心向量。
8.根据权利要求6所述的基于k均值聚类的人脸识别检索方法，其特征在于，人脸图像的特征向量或待查询图像的特征向量中，每一维中的数据都是浮点数。
9.根据权利要求3或4所述的基于k均值聚类的人脸识别检索方法，其特征在于，所述的浮点数精确比对，指：求两个向量的余弦距离；
所述的预设的阈值，指：同一个人的人脸特征向量的最大夹角距离。
CN201910119779.1A 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法 Active CN109685044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910119779.1A CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910119779.1A CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Publications (2)

Publication Number Publication Date
CN109685044A true CN109685044A (zh) 2019-04-26
CN109685044B CN109685044B (zh) 2023-06-06

Family

ID=66196410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910119779.1A Active CN109685044B (zh) 2019-02-18 2019-02-18 基于k均值聚类算法的人脸识别检索方法

Country Status (1)

Country Link
CN (1) CN109685044B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276320A (zh) * 2019-06-26 2019-09-24 杭州创匠信息科技有限公司 基于人脸识别的门禁方法、装置、设备和存储介质
CN110874419A (zh) * 2019-11-19 2020-03-10 山东浪潮人工智能研究院有限公司 一种人脸数据库快速检索技术
CN111091106A (zh) * 2019-12-23 2020-05-01 浙江大华技术股份有限公司 图像聚类方法及装置、存储介质、电子装置
CN113792171A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于内存管理的图像检索方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140363075A1 (en) * 2013-06-10 2014-12-11 Yahoo! Inc. Image-based faceted system and method
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统
CN107909104A (zh) * 2017-11-13 2018-04-13 腾讯数码（天津）有限公司 一种图片的人脸聚类方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140363075A1 (en) * 2013-06-10 2014-12-11 Yahoo! Inc. Image-based faceted system and method
WO2016011834A1 (zh) * 2014-07-23 2016-01-28 邢小月 一种图像处理方法及系统
CN107766811A (zh) * 2017-10-10 2018-03-06 浙江大学 一种基于复杂流型结构的人脸识别方法及系统
CN107909104A (zh) * 2017-11-13 2018-04-13 腾讯数码（天津）有限公司 一种图片的人脸聚类方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李振东等: "深度卷积特征向量用于快速人脸图像检索", 《计算机辅助设计与图形学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110276320A (zh) * 2019-06-26 2019-09-24 杭州创匠信息科技有限公司 基于人脸识别的门禁方法、装置、设备和存储介质
CN110874419A (zh) * 2019-11-19 2020-03-10 山东浪潮人工智能研究院有限公司 一种人脸数据库快速检索技术
CN111091106A (zh) * 2019-12-23 2020-05-01 浙江大华技术股份有限公司 图像聚类方法及装置、存储介质、电子装置
CN111091106B (zh) * 2019-12-23 2023-10-10 浙江大华技术股份有限公司 图像聚类方法及装置、存储介质、电子装置
CN113792171A (zh) * 2021-11-15 2021-12-14 西安热工研究院有限公司 基于内存管理的图像检索方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN109685044B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN109685044A (zh) 基于k均值聚类算法的人脸识别检索方法
US10963504B2 (en) Zero-shot event detection using semantic embedding
US10891465B2 (en) Methods and apparatuses for searching for target person, devices, and media
CN110263659B (zh) 一种基于三元组损失和轻量级网络的指静脉识别方法及系统
Lee et al. Intra-class variation reduction using training expression images for sparse representation based facial expression recognition
Lin et al. Group event detection with a varying number of group members for video surveillance
US20210012777A1 (en) Context acquiring method and device based on voice interaction
CN107862300A (zh) 一种基于卷积神经网络的监控场景下行人属性识别方法
CN111160264B (zh) 一种基于生成对抗网络的漫画人物身份识别方法
US11335127B2 (en) Media processing method, related apparatus, and storage medium
CN104050449A (zh) 一种人脸识别方法及装置
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN106780639B (zh) 基于显著性特征稀疏嵌入和极限学习机的哈希编码方法
Li et al. Modified hidden factor analysis for cross-age face recognition
CN110009662B (zh) 人脸跟踪的方法、装置、电子设备及计算机可读存储介质
Mady et al. Efficient real time attendance system based on face detection case study “MEDIU staff”
US11908222B1 (en) Occluded pedestrian re-identification method based on pose estimation and background suppression
CN114282059A (zh) 视频检索的方法、装置、设备及存储介质
Sankaran et al. Multimodal fusion refiner networks
Yang et al. A method of pedestrians counting based on deep learning
CN113347381B (zh) 预测不雅举止轨迹的方法及系统
Kadambari et al. Automation of attendance system using facial recognition
Dong et al. Facial expression recognition based on improved VGG convolutional neural network
CN116935292A (zh) 一种基于自注意力模型的短视频场景分类方法及系统
Xia et al. Recognition of suspicious behavior using case-based reasoning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant