CN109815353B - 一种基于类中心的人脸检索方法及系统 - Google Patents

一种基于类中心的人脸检索方法及系统 Download PDF

Info

Publication number
CN109815353B
CN109815353B CN201910052416.0A CN201910052416A CN109815353B CN 109815353 B CN109815353 B CN 109815353B CN 201910052416 A CN201910052416 A CN 201910052416A CN 109815353 B CN109815353 B CN 109815353B
Authority
CN
China
Prior art keywords
face
class
retrieval
center
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910052416.0A
Other languages
English (en)
Other versions
CN109815353A (zh
Inventor
贾可
奚兴
张艳明
沈复民
申恒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Koala Youran Technology Co ltd
Original Assignee
Chengdu Koala Youran Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Koala Youran Technology Co ltd filed Critical Chengdu Koala Youran Technology Co ltd
Priority to CN201910052416.0A priority Critical patent/CN109815353B/zh
Publication of CN109815353A publication Critical patent/CN109815353A/zh
Application granted granted Critical
Publication of CN109815353B publication Critical patent/CN109815353B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于类中心的人脸检索方法，包括注册人脸库方法和人脸检索与在线更新特征库方法；本发明所提出的采用类中心/重心的方式，有效抑制了同一个人不同照片之间受拍摄影响引入的噪声，从而显著增大了类间距，降低了系统误识率，同时有效降低了同一自然人所有照片之间的类内距，显著提高了系统准确率，检索时采用类中心/重心，因此检索的算法时间复杂度固定为O(N)，不受人脸库照片数量的影响，进一步提出了在线增量更新类中心/重心的方法，从而显著加强了系统适应性。

Description

一种基于类中心的人脸检索方法及系统
技术领域
本发明属于人工智能领域，更具体地说，尤其涉及一种基于类中心的人脸检索方法。同时，本发明还涉及一种基于类中心的人脸检索系统。
背景技术
人脸识别：从人脸照片抽取特征向量，目前一般根据特征向量间的夹角来衡量照片间的相似度，从而判定两者是否属于同一自然人。
人脸检索：又称1:N人脸识别模式，或身份识别(identification)。人脸库中包含N个自然人的M张照片(M≥N)，每个自然人存在大于等于1张照片。对于检索照片，查询人脸库中与其相似度最高的照片其相似度是否大于阈值，从而判定人的身份。
通过初步查询，论文中未查得相似技术。
中文专利中最相近的为201710570916.4，浙江捷尚视觉科技股份有限公司“基于Softmax的人脸检索方法和系统”。但本存在如下缺陷：
1、该发明除了采用平均处理之外，缺少进一步的逼近重心的方法，导致搜索精度差；
2、不具有在线增量更新的方法，存在一定的缺陷。
因此需要设计一种基于类中心的人脸检索方法及系统。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于类中心的人脸检索方法及系统。
为实现上述目的，本发明提供如下技术方案：
一种基于类中心的人脸检索方法，包括注册人脸库方法和人脸检索与在线更新特征库方法，所述注册人脸库方法，包括如下步骤：
S1、步骤1：输入同一个人的m张照片，采用深度神经网络提取每张图片的d维特征：
embi＝net.forward(imgi)，
Figure BDA0001951228140000027
Figure BDA0001951228140000021
S2、计算m个特征的中心，并归一化：
Figure BDA0001951228140000022
Figure BDA0001951228140000023
S3、计算每张图片的特征与中心的相似度，以此作为样本权重：
Figure BDA0001951228140000024
S4、计算m个特征的加权平均，并归一化：
Figure BDA0001951228140000025
Figure BDA0001951228140000026
S5、多次迭代步骤3和步骤4，使得加权中心c趋近于m个特征的重心，然后将类中心c与图片数量m保存到人脸特征库；
所述人脸检索与在线更新特征库方法，包括如下步骤：
A、输入一张照片img，采用深度神经网络提取该图片的d维特征：
emb＝net.forward(img)
Figure BDA0001951228140000031
B、将图片特征与特征库中的n个特征分别计算相似度：
Figure BDA0001951228140000032
C、取相似度最大的一类，若相似度大于阈值，则作为该照片的自然人身份：
Figure BDA0001951228140000033
D、增量更新该自然人的中心特征，其中m为该中心已统计的特征数量，limit为系统设置的统计特征数量上限：
me ank＝Ck·m+fk/m+1，
Figure BDA0001951228140000034
Figure BDA0001951228140000035
m＝min(m+1，limit)。
本发明还提供一种基于类中心的人脸检索系统，包括：人脸采集模块和人脸检索模块，以及可选的外部控制模块；所述人脸检索模块包括智能处理单元和存储的人脸特征库，以及可选的显示操作单元；所述人脸采集模块的输出端通过网线、USB、MIPI或CSI等通用接口与所述智能处理单元的输入端连接，所述智能处理单元通过系统总线与人脸特征库连接，所述智能处理单元可选连接键盘、鼠标、触摸屏等显示操作单元，所述智能处理单元可选通过网线、USB、GPIO、串口、韦根、干节点等通用接口与所述外部控制模块连接。
优选的，所述智能处理单元可用CPU、GPU、ARM、FPGA、人工智能芯片等运算/控制处理器。
优选的，所述智能处理单元电性连接有片上RAM存储、磁盘或SD卡等数据存储单元，人脸特征库被保存于数据存储单元上，通过系统总线与智能处理单元连接。
优选的，所述人脸采集模块为含可见光或红外的单目、双目、多目摄像仪。
优选的，所述可选的显示操作单元可为液晶触摸屏。
本发明的技术效果和优点：
1、本发明所提出的采用类中心/重心的方式，有效抑制了同一个人不同照片之间受拍摄影响引入的噪声，从而显著增大了类间距，降低了系统误识率；
2、本方法同时有效降低了同一自然人所有照片之间的类内距，显著提高了系统准确率；
3、本方法检索时采用类中心/重心，因此检索的算法时间复杂度固定为O(N)，不受人脸库照片数量的影响；
4、在1、3的基础上，本发明进一步提出了在线增量更新类中心/重心的方法，从而显著加强了系统适应性。
附图说明
图1为本发明方法与传统方法类间距对比图；
图2为本发明方法与传统方法类内距对比图；
图3为本发明的系统组成框图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例和说明书附图1-图3，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种基于类中心的人脸检索方法，包括注册人脸库方法和人脸检索与在线更新特征库方法，所述注册人脸库方法，包括如下步骤：
S1、步骤1：输入同一个人的m张照片，采用深度神经网络提取每张图片的d维特征：
embi＝net.forward(imgi),
Figure BDA0001951228140000051
Figure BDA0001951228140000052
S2、计算m个特征的中心，并归一化：
Figure BDA0001951228140000053
Figure BDA0001951228140000054
S3、计算每张图片的特征与中心的相似度，以此作为样本权重：
Figure BDA0001951228140000061
S4、计算m个特征的加权平均，并归一化：
Figure BDA0001951228140000062
Figure BDA0001951228140000063
S5、多次迭代步骤3和步骤4，使得加权中心c趋近于m个特征的重心，然后将类中心c与图片数量m保存到人脸特征库；
所述人脸检索与在线更新特征库方法，包括如下步骤：
A、输入一张照片img，采用深度神经网络提取该图片的d维特征：
emb＝net.forward(img)
Figure BDA0001951228140000064
B、将图片特征与特征库中的n个特征分别计算相似度：
Figure BDA0001951228140000065
C、取相似度最大的一类，若相似度大于阈值，则作为该照片的自然人身份：
Figure BDA0001951228140000066
D、增量更新该自然人的中心特征，其中m为该中心已统计的特征数量，limit为系统设置的统计特征数量上限：
me ank＝ck·m+fk/m+1，
Figure BDA0001951228140000071
Figure BDA0001951228140000072
m＝min(m+1,limit)。
本方法：
1、本发明所提出的采用类中心/重心的方式，有效抑制了同一个人不同照片之间受拍摄影响引入的噪声，从而显著增大了类间距(见图1)，降低了系统误识率；
2、该方法同时有效降低了同一自然人所有照片之间的类内距(见图2)，显著提高了系统准确率；
3、本方法检索时采用类中心/重心，因此检索的算法时间复杂度固定为O(N)，不受人脸库照片数量的影响；
4、在1、3的基础上，本发明进一步提出了在线增量更新类中心/重心的方法，从而显著加强了系统适应性。
本发明还提供一种基于类中心的人脸检索系统，包括：人脸采集模块和人脸检索模块，以及可选的外部控制模块；所述人脸检索模块包括智能处理单元和存储的人脸特征库，以及可选的显示操作单元；所述人脸采集模块的输出端通过网线、USB、MIPI或CSI等通用接口与所述智能处理单元的输入端连接，所述智能处理单元通过系统总线与人脸特征库连接，所述智能处理单元可选连接键盘、鼠标、触摸屏等显示操作单元，所述智能处理单元可选通过网线、USB、GPIO、串口、韦根、干节点等通用接口与所述外部控制模块连接(见图3)。
进一步地，所述智能处理单元可用CPU、GPU、ARM、FPGA、人工智能芯片等运算/控制处理器。
进一步地，所述智能处理单元电性连接有片上RAM存储、磁盘或SD卡等数据存储单元，人脸特征库被保存于数据存储单元上，通过系统总线与智能处理单元连接。
进一步地，所述人脸采集模块为含可见光或红外的单目、双目、多目摄像仪。
进一步地，所述可选的显示操作单元可为液晶触摸屏。
本系统：
将注册人脸库方法和人脸检索与在线更新特征库方法编辑到智能处理单元中的数据存储器(SRAM)中，智能处理单元通过人脸采集模块采集人脸信息，智能处理单元通过深度神经网络方法对人脸进行特征提取，与人脸特征库进行特征比对检索，以及注册和更新人脸特征库；
智能处理单元通过人脸采集模块采集人脸信息，智能处理单元通过人脸检索与在线更新特征库方法根据人脸信息进行搜索，本系统在基于本发明的方法上，可以快速精确的进行人脸采集、人脸存储和人脸信息的搜索。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于类中心的人脸检索方法，其特征在于：包括注册人脸库方法和人脸检索与在线更新特征库方法，所述注册人脸库方法，包括如下步骤：
S1、步骤1：输入同一个人的m张照片，采用深度神经网络提取每张图片的d维特征：
Figure FDA0003031680650000011
Figure FDA0003031680650000012
S2、计算m个特征的中心，并归一化：
Figure FDA0003031680650000013
Figure FDA0003031680650000014
S3、计算每张图片的特征与中心的相似度，以此作为样本权重：
Figure FDA0003031680650000015
S4、计算m个特征的加权平均，并归一化：
Figure FDA0003031680650000016
Figure FDA0003031680650000017
S5、多次迭代步骤3和步骤4，使得加权中心c趋近于m个特征的重心，然后将类中心c与图片数量m保存到人脸特征库；
所述人脸检索与在线更新特征库方法，包括如下步骤：
A、输入一张照片img，采用深度神经网络提取该图片的d维特征：
emb＝net.forward(img)
Figure FDA0003031680650000021
B、将图片特征与特征库中的n个特征分别计算相似度：
Figure FDA0003031680650000022
C、取相似度最大的一类，若相似度大于阈值，则作为该照片的自然人身份：
Figure FDA0003031680650000023
D、增量更新该自然人的中心特征，其中m为该中心已统计的特征数量，limit为系统设置的统计特征数量上限：
Figure FDA0003031680650000024
Figure FDA0003031680650000025
m＝min(m+1，limit)。
2.一种根据权利要求1所述的基于类中心的人脸检索方法的检索系统，其特征在于：包括：人脸采集模块和人脸检索模块，以及外部控制模块；所述人脸检索模块包括智能处理单元和存储的人脸特征库，以及显示操作单元；所述人脸采集模块的输出端通过网线、USB、MIPI或CSI通用接口与所述智能处理单元的输入端连接，所述智能处理单元通过系统总线与人脸特征库连接，所述智能处理单元选择连接键盘、鼠标、触摸屏显示操作单元，所述智能处理单元通过网线、USB、GPIO、串口、韦根、干节点通用接口与所述外部控制模块连接。
3.根据权利要求2所述的基于类中心的人脸检索方法的检索系统，其特征在于：所述智能处理单元用CPU、GPU、ARM、FPGA。
4.根据权利要求2所述的基于类中心的人脸检索方法的检索系统，其特征在于：所述智能处理单元电性连接有片上RAM存储、磁盘或SD卡数据存储单元，人脸特征库被保存于数据存储单元上，通过系统总线与智能处理单元连接。
5.根据权利要求2所述的基于类中心的人脸检索方法的检索系统，其特征在于：所述人脸采集模块为含可见光或红外的单目、双目、多目摄像仪。
6.根据权利要求2所述的基于类中心的人脸检索方法的检索系统，其特征在于：所述显示操作单元为液晶触摸屏。
CN201910052416.0A 2019-01-21 2019-01-21 一种基于类中心的人脸检索方法及系统 Active CN109815353B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910052416.0A CN109815353B (zh) 2019-01-21 2019-01-21 一种基于类中心的人脸检索方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910052416.0A CN109815353B (zh) 2019-01-21 2019-01-21 一种基于类中心的人脸检索方法及系统

Publications (2)

Publication Number Publication Date
CN109815353A CN109815353A (zh) 2019-05-28
CN109815353B true CN109815353B (zh) 2021-07-13

Family

ID=66603523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910052416.0A Active CN109815353B (zh) 2019-01-21 2019-01-21 一种基于类中心的人脸检索方法及系统

Country Status (1)

Country Link
CN (1) CN109815353B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027515A (zh) * 2019-12-24 2020-04-17 神思电子技术股份有限公司 一种人脸库照片更新方法
CN113255599B (zh) * 2021-06-29 2021-09-24 成都考拉悠然科技有限公司 一种自定义人流量测试人脸布控率系统及其方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408402A (zh) * 2014-10-29 2015-03-11 小米科技有限责任公司 人脸识别方法及装置
CN107798354A (zh) * 2017-11-16 2018-03-13 腾讯科技（深圳）有限公司 一种基于人脸图像的图片聚类方法、装置及存储设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9514332B2 (en) * 2012-02-03 2016-12-06 See-Out Pty Ltd. Notification and privacy management of online photos and videos
KR102427412B1 (ko) * 2016-07-06 2022-08-01 메타 플랫폼스, 인크. 검색 질의에 기반하는 소스 이미지로부터의 얼굴과 타겟 이미지와의 조합

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408402A (zh) * 2014-10-29 2015-03-11 小米科技有限责任公司 人脸识别方法及装置
CN107798354A (zh) * 2017-11-16 2018-03-13 腾讯科技（深圳）有限公司 一种基于人脸图像的图片聚类方法、装置及存储设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度特征聚类的海量人脸图像检索;李振东;《哈尔滨工业大学学报》;20181130;第101-109页 *
基于聚类的大型人脸检索系统;刘燕;《计算机工程》;20050831;第162-164页 *

Also Published As

Publication number Publication date
CN109815353A (zh) 2019-05-28

Similar Documents

Publication Publication Date Title
WO2019119505A1 (zh) 人脸识别的方法和装置、计算机装置及存储介质
CN100481112C (zh) 一种人脸识别系统与识别方法
CN109145717B (zh) 一种在线学习的人脸识别方法
WO2020038136A1 (zh) 面部识别方法、装置、电子设备及计算机可读介质
EP3084682B1 (en) System and method for identifying faces in unconstrained media
WO2021103721A1 (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
WO2017088432A1 (zh) 图像识别方法和装置
CN109190514B (zh) 基于双向长短期记忆网络的人脸属性识别方法及系统
CN107545241A (zh) 神经网络模型训练及活体检测方法、装置及存储介质
WO2019033574A1 (zh) 电子装置、动态视频人脸识别的方法、系统及存储介质
CN107609466A (zh) 人脸聚类方法、装置、设备及存储介质
CN110503076B (zh) 基于人工智能的视频分类方法、装置、设备和介质
WO2015149534A1 (zh) 基于Gabor二值模式的人脸识别方法及装置
US10032091B2 (en) Spatial organization of images based on emotion face clouds
CN106407911A (zh) 基于图像的眼镜识别方法及装置
WO2013009422A2 (en) Systems and methods for matching visual object components
CN105590097A (zh) 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法
WO2021218238A1 (zh) 图像处理方法和图像处理装置
US10943098B2 (en) Automated and unsupervised curation of image datasets
CN109815353B (zh) 一种基于类中心的人脸检索方法及系统
WO2021127916A1 (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
WO2023178906A1 (zh) 活体检测方法及装置、电子设备、存储介质、计算机程序、计算机程序产品
CN112036284B (zh) 图像处理方法、装置、设备及存储介质
CN111368581A (zh) 基于tof摄像模组的人脸识别方法、人脸识别装置和电子设备
CN115827995A (zh) 基于大数据分析的社交匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant