CN107657223B - 一种基于快速处理多距离度量学习的人脸认证方法 - Google Patents

一种基于快速处理多距离度量学习的人脸认证方法 Download PDF

Info

Publication number
CN107657223B
CN107657223B CN201710839181.0A CN201710839181A CN107657223B CN 107657223 B CN107657223 B CN 107657223B CN 201710839181 A CN201710839181 A CN 201710839181A CN 107657223 B CN107657223 B CN 107657223B
Authority
CN
China
Prior art keywords
distance
images
same person
features
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710839181.0A
Other languages
English (en)
Other versions
CN107657223A (zh
Inventor
傅予力
张隆琴
周玉龙
陈维翔
向友君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710839181.0A priority Critical patent/CN107657223B/zh
Publication of CN107657223A publication Critical patent/CN107657223A/zh
Application granted granted Critical
Publication of CN107657223B publication Critical patent/CN107657223B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints

Abstract

本发明公开了一种基于快速处理多距离度量学习的人脸认证方法,所述方法包括:对训练样本集中的每个样本提取K种特征;利用一种快速且有效的度量学习算法,获得K种特征对应的初步距离度量矩阵;利用带约束的目标函数对初步距离度量矩阵的特征值进行优化,从而获得优化后的距离度量矩阵;对需要测试的两个样本,提取同样的K种特征,并利用已学习到的距离度量获得两样本的距离;若距离小于阈值,判断为同一个人,若大于阈值,则判断不是同一个人。本发明通过在带约束的目标函数中优化矩阵的特征值从而优化距离度量矩阵,可以有效较少计算成本,提高学习速度,从而更加适用于实际场景。

Description

一种基于快速处理多距离度量学习的人脸认证方法
技术领域
本发明涉及计算机视觉和模式识别技术领域,具体涉及一种基于快速处理多距离度量学习的人脸认证方法。
背景技术
人脸认证是计算机视觉的研究热点之一,在信息安全和验证方面有非常大的应用前景,如二代身份证的人脸验证系统。由于人脸受到光照、年龄、姿势等外在因素的影响,在不同环境中获得的同一张人脸可能会有很大的差异,因此需要学习一种可以反映人们对相似性定义的度量,即距离度量学习,距离度量学习旨在学习一个马氏距离度量,以使来自同一个人的人脸图像之间的距离变得更近,而来自不同人的人脸图像之间的距离变远,以此更好的认证两张人脸图像是否属于一个人。
在人脸图像分析中,通常能够提取多个特征表示每个人脸图像,并且希望从这多个特征中获得比从单个特征更多的有用信息,因此多距离度量学习旨在通过对每个人脸图像提取的不同特征进行距离度量学习,利用更多对人脸描述有用的信息来更好的度量人脸的相似性。
发明内容
本发明提出了一种快速处理多距离度量学习的人脸认证方法,目的在于对人脸图像的多种特征进行距离度量学习时,在保证高人脸认证准确率的前提下有较快的认证速度,从而更加适用于实际场景。
本发明的目的可以通过采取如下技术方案达到:
一种基于快速处理多距离度量学习的人脸认证方法,所述的人脸认证方法包括下列步骤:
输入训练集,其中,训练集由两个子集组成,子集S中的样本对(xi,xj)来自同一个人脸,子集D中的样本对(xi,xj)来自两个不同的人脸;
对训练子集中的每个人脸图像均提取K种特征,
Figure BDA0001410334560000021
表示样本xi的第k个特征,k=1,2,……,K;
学习K种特征对应的距离度量矩阵及其权重;
输入两张人脸图像作为测试样本;
对输入的两张人脸图像提取同样的K种特征,并利用已经学习到的距离度量矩阵和权重计算这两张人脸图像的距离d;
判断,若两张图像的距离小于给定的第一阈值,则是同一个人,若大于给定的第二阈值,则不是同一个人。
进一步地,所述的学习K种特征对应的距离度量矩阵及其权重包括:
a)利用KISS算法,求出每种特征对应的距离度量:
Figure BDA0001410334560000022
式中,yij=1表示
Figure BDA0001410334560000023
Figure BDA0001410334560000024
来自同一张人脸,yij=-1表示
Figure BDA0001410334560000025
Figure BDA0001410334560000026
来自不同的人脸;
b)求出M0k的特征向量和特征值:
Figure BDA0001410334560000027
式中,Pk表示由M0k特征向量组成的矩阵,Λ0k表示由特征向量对应的特征值组成的对角矩阵;
c)以Λ0k作为初始值,优化特征值变量Λk
Figure BDA0001410334560000031
Figure BDA0001410334560000032
式中,
Figure BDA0001410334560000033
表示
Figure BDA0001410334560000034
Figure BDA0001410334560000035
的马氏距离,
Figure BDA0001410334560000036
表示第k种特征对应的铰链损失函数,其中h(x)=max(x,0);
d)利用上述求得的Λk及公式
Figure BDA0001410334560000037
求得优化后的距离度量Mk
进一步地,所述的对训练子集中的每个人脸图像均提取K种特征的特征提取方法包括LBP特征或SIFT特征提取等方法。
进一步地,所述的距离d具体如下:
Figure BDA0001410334560000038
其中,Mk和wk分别为每种特征对应的距离度量及其权重。
进一步地,所述的判断,若两张图像的距离小于给定的第一阈值,则是同一个人,若大于给定的第二阈值,则不是同一个人具体如下:
判断若d2(x,y)<μkk,则两张人脸图像是同一个人,若d2(x,y)>μkk,则两张人脸图像不是同一个人,其中,参数μk和τk根据训练样本集的实际情况得到,参数μk为距离阈值,τk是对距离阈值的调整参数。
本发明相对于现有技术具有如下的优点及效果:
1)本发明通过对每个人脸图像提取K种特征,可以获得对人脸特征可多的信息,从而更全面的描述人脸的特征;
2)本发明通过同时学习K种特征对应的距离度量矩阵,可以在保留K种特征对人脸距离度量的有用信息的同时,利用同一人脸的K种特征之间的相关性,获得更准确的距离度量;
3)本发明利用一种快速且有效的距离度量算法,先获得K种特征对应的距离度量矩阵,并作为初始值,再利用带约束的目标函数,优化矩阵的特征值从而优化距离度量矩阵,可以有效较少计算成本,提高学习速度,从而更加适用于实际场景。
附图说明
图1是本发明公开的一种基于快速处理多距离度量学习的人脸认证方法的流程图;
图2是本发明中更快速获取多距离度量矩阵的方法流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
如图1所示,本实施例公开了一种基于快速处理多距离度量学习的人脸认证方法,具体按照以下步骤进行:
步骤S1、输入训练集。其中,训练集由两个子集组成,子集S中的样本对(xi,xj)来自同一个人脸,子集D中的样本对(xi,xj)来自两个不同的人脸。
步骤S2、特征提取。对训练子集中的每个人脸图像均提取K种特征,
Figure BDA0001410334560000051
表示样本xi的第k个特征,k=1,2,……,K,其中,提取样本特征的方法可以是现有的任一种特征提取方法,如LBP特征、SIFT特征。
通过K种特征可以比单一的特征获得更多关于人脸图像的信息,从而更全面的描述人脸的特征。
步骤S3、利用多距离度量学习方法,对步骤S2中获得的
Figure BDA0001410334560000052
特征进行学习,求得每种特征对应的距离度量Mk及其权重wk
为了更快速的获得所述步骤S3中的Mk及其wk的,结合图2,具体的流程如下所述:
S301、利用一种比较快速且有效的算法,如KISS算法,求出每种特征对应的距离度量:
Figure BDA0001410334560000053
式中,yij=1表示
Figure BDA0001410334560000054
Figure BDA0001410334560000055
来自同一张人脸,yij=-1表示
Figure BDA0001410334560000056
Figure BDA0001410334560000057
来自不同的人脸。
相比于先将K种特征组合再学习一个单一的距离度量矩阵,同时学习的方式获得K种特征对应的距离度量矩阵M0k,为人脸的距离度量获得更多有用的信息。
S302、求出M0k的特征向量和特征值:
Figure BDA0001410334560000058
式中,Pk表示由M0k特征向量组成的矩阵,Λ0k表示由特征向量对应的特征值组成的对角矩阵。
S303、以Λ0k作为初始值,优化特征值变量Λk
Figure BDA0001410334560000059
Figure BDA00014103345600000510
式中,
Figure BDA0001410334560000061
表示
Figure BDA0001410334560000062
Figure BDA0001410334560000063
的马氏距离,
Figure BDA0001410334560000064
表示第k种特征对应的铰链损失函数,其中h(x)=max(x,0),参数μk和τk根据训练样本集的实际情况得到,参数μk为距离阈值,τk是对距离阈值的调整参数,从而进一步增大同一个人的距离和不同人的距离的间隔,具体的,当
Figure BDA0001410334560000065
Figure BDA0001410334560000066
来自同一个人时,要求它们的距离
Figure BDA0001410334560000067
小于μkkkk>0),当
Figure BDA0001410334560000068
Figure BDA0001410334560000069
来自两个不同的人时,要求它们的距离
Figure BDA00014103345600000610
大于μkk,wk为Jk对应的权重,
Figure BDA00014103345600000611
表示对于同一样本对的不同特征,希望它们的距离尽量接近,从而保持同一样本不同特征之间的相关性。
S304、利用步骤S303求得的Λk及公式
Figure BDA00014103345600000612
求得优化后的距离度量Mk
通过优化特征值而非整个度量矩阵,可以减少优化过程的计算量,加速距离度量的学习过程。
步骤S4、输入两张人脸图像作为测试样本。
步骤S5、对步骤S4的两个样本均提取与步骤S2对应的K种特征。
步骤S6、利用步骤S3获得的Mk和wk计算两个人脸图像的距离:
Figure BDA00014103345600000613
步骤S7、判断若d2(x,y)<μkk,则两张人脸图像是同一个人,若d2(x,y)>μkk,则两张人脸图像不是同一个人。
实施例二
本实施例更具体公开了一种基于快速处理多距离度量学习的人脸认证方法,具体按照以下步骤进行:
步骤S1、输入训练集。训练集由两部分组成,一部分为同一个人的两张不同环境下的人脸图像组成的相似对人脸图像,另一部分为两个人的两张图像组成的不相似对人脸图像;
步骤S2、特征提取。对训练集中的每一张人脸图像均提取K个特征,
Figure BDA0001410334560000071
表示样本xi的第k个特征,k=1,2,……,K,其中,特征的提取可以是现有的任一中特征提取方法,如局部二值模式(LBP)特征、尺度不变特征转换(SIFT)特征等。
步骤S3、利用多距离度量学习方法,对步骤S2中获得的
Figure BDA0001410334560000072
特征进行学习,求得K个特征对应的距离度量Mk及其权重wk,其中,k=1,2,……,K。
具体步骤如下:
假设
Figure BDA0001410334560000073
表示第xi张人脸图像的第k个特征,
Figure BDA0001410334560000074
表示第K个特征对应的距离度量,并且是个正定矩阵,则样本对
Figure BDA0001410334560000075
Figure BDA0001410334560000076
的距离为:
Figure BDA0001410334560000077
要求对于来自同一个人的两张图像的距离
Figure BDA0001410334560000078
要小于μkkkk>0),来自不同人的两张图像的距离
Figure BDA0001410334560000079
要大于μkk,因此μk和τk的选择根据训练样本集的实际情况选择,令yij=1表示
Figure BDA00014103345600000710
Figure BDA00014103345600000711
来自同一个人,yij=-1表示
Figure BDA00014103345600000712
Figure BDA00014103345600000713
来自不同的人,则有:
Figure BDA00014103345600000714
第k个特征对应的铰链损失函数为:
Figure BDA00014103345600000715
其中,h(x)=max(x,0)。同时由于样本xi的第k和第l特征描述的是同一张人脸图像,因此希望
Figure BDA0001410334560000081
Figure BDA0001410334560000082
之间的距离与
Figure BDA0001410334560000083
Figure BDA0001410334560000084
之间的距离应该尽量接近。最终,通过下面这个模型来学习Mk
Figure BDA0001410334560000085
Figure BDA0001410334560000086
通过上述的模型学习K个Mk矩阵的计算量非常大,为了较少计算量,具体的步骤如下:
先选择一种快速并且有效的距离度量学习方法,如KISS算法:
Figure BDA0001410334560000087
将M0k进行分解:
Figure BDA0001410334560000088
Figure BDA0001410334560000089
Figure BDA00014103345600000810
其中
Figure BDA00014103345600000811
表示M0k的特征向量,
Figure BDA00014103345600000812
是对应的特征值,Pk表示特征
Figure BDA00014103345600000813
线性变换的空间,而Λk表示将
Figure BDA00014103345600000814
变换到由Pk组成的特征空间中的新的向量,因此,通过学习Λk可以得到更优化的Mk。此时
Figure BDA00014103345600000815
Figure BDA00014103345600000816
的距离为:
Figure BDA00014103345600000817
学习模型为:
Figure BDA00014103345600000818
Figure BDA00014103345600000819
将学习到的Λk
Figure BDA0001410334560000091
得到优化后的Mk
步骤S4、输入需要认证的两张人脸图像。
步骤S5、对输入的两张人脸图像均提取K种特征,所选取的特征种类与步骤S2的特征种类相同。
步骤S6、利用步骤S3获得的Mk和wk计算两个人脸图像的距离d,该距离d具体如下::
Figure BDA0001410334560000092
步骤S7、判断距离d是否大于所给阈值,若大于,则两张人脸图像是同一个人的图像,若小于,则两张人脸图像分别是两个不同的人的图像。
该步骤具体如下:
判断若d2(x,y)<μkk,则两张人脸图像是同一个人,若d2(x,y)>μkk,则两张人脸图像不是同一个人。
通过上述技术方案的描述,可以看到本发明通过同时学习样本多种特征的距离度量获取更多有用的判别信息,在优化距离度量矩阵的过程中,通过优化其特征值而不是整个距离度量矩阵以较少计算成本,提高计算速度,更适用实际场景。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (4)

1.一种基于快速处理多距离度量学习的人脸认证方法,其特征在于,所述的人脸认证方法包括下列步骤:
输入训练集,其中,训练集由两个子集组成,子集S中的样本对(xi,xj)来自同一个人脸,子集D中的样本对(xi,xj)来自两个不同的人脸;
对训练子集中的每个人脸图像均提取K种特征,
Figure FDA0002259932060000011
表示样本xi的第k个特征,k=1,2,……,K;
学习K种特征对应的距离度量矩阵及其权重;
输入两张人脸图像作为测试样本;
对输入的两张人脸图像提取同样的K种特征,并利用已经学习到的距离度量矩阵和权重计算这两张人脸图像的距离d;
判断,若两张图像的距离小于给定的第一阈值,则是同一个人,若大于给定的第二阈值,则不是同一个人;
其中,所述的学习K种特征对应的距离度量矩阵及其权重包括:
a)利用KISS算法,求出每种特征对应的距离度量:
Figure FDA0002259932060000012
式中,yij=1表示
Figure FDA0002259932060000013
Figure FDA0002259932060000014
来自同一张人脸,yij=-1表示
Figure FDA0002259932060000015
Figure FDA0002259932060000016
来自不同的人脸;
b)求出M0k的特征向量和特征值:
Figure FDA0002259932060000017
式中,Pk表示由M0k特征向量组成的矩阵,Λ0k表示由特征向量对应的特征值组成的对角矩阵;
c)以Λ0k作为初始值,优化特征值变量Λk
Figure FDA0002259932060000021
Figure FDA0002259932060000022
式中,k和l分别表示图像的第k种和第l种特征,
Figure FDA0002259932060000023
Figure FDA0002259932060000024
表示
Figure FDA0002259932060000025
Figure FDA0002259932060000026
的马氏距离,
Figure FDA0002259932060000027
表示
Figure FDA0002259932060000028
Figure FDA0002259932060000029
的马氏距离,
Figure FDA00022599320600000210
表示第k种特征对应的铰链损失函数,wk为Jk对应的权重,参数μk为距离阈值,τk是对距离阈值的调整参数,根据训练样本集的实际情况得到,其中h(x)=max(x,0);
d)利用上述求得的Λk及公式
Figure FDA00022599320600000211
求得优化后的距离度量Mk
2.根据权利要求1所述的一种基于快速处理多距离度量学习的人脸认证方法,其特征在于,所述的对训练子集中的每个人脸图像均提取K种特征的特征提取方法包括LBP特征或SIFT特征提取方法。
3.根据权利要求1所述的一种基于快速处理多距离度量学习的人脸认证方法,其特征在于,所述的距离d具体如下:
Figure FDA00022599320600000212
其中,Mk和wk分别为每种特征对应的距离度量及其权重。
4.根据权利要求3所述的一种基于快速处理多距离度量学习的人脸认证方法,其特征在于,所述的判断,若两张图像的距离小于给定的第一阈值,则是同一个人,若大于给定的第二阈值,则不是同一个人具体如下:
判断若d2(x,y)<μkk,则两张人脸图像是同一个人,若d2(x,y)>μkk,则两张人脸图像不是同一个人,其中,参数μk和τk根据训练样本集的实际情况得到,参数μk为距离阈值,τk是对距离阈值的调整参数。
CN201710839181.0A 2017-09-18 2017-09-18 一种基于快速处理多距离度量学习的人脸认证方法 Active CN107657223B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710839181.0A CN107657223B (zh) 2017-09-18 2017-09-18 一种基于快速处理多距离度量学习的人脸认证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710839181.0A CN107657223B (zh) 2017-09-18 2017-09-18 一种基于快速处理多距离度量学习的人脸认证方法

Publications (2)

Publication Number Publication Date
CN107657223A CN107657223A (zh) 2018-02-02
CN107657223B true CN107657223B (zh) 2020-04-28

Family

ID=61130602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710839181.0A Active CN107657223B (zh) 2017-09-18 2017-09-18 一种基于快速处理多距离度量学习的人脸认证方法

Country Status (1)

Country Link
CN (1) CN107657223B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190518B (zh) * 2018-08-14 2022-03-18 电子科技大学 一种基于通用的集合度量学习的人脸验证方法
CN113052953B (zh) * 2021-04-16 2023-11-24 南京大学 基于变化光源人脸图像的人脸本质参数确定方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599833A (zh) * 2016-12-12 2017-04-26 武汉科技大学 一种基于领域适应和流形距离度量的人脸识别方法
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9465813B1 (en) * 2012-11-09 2016-10-11 Amazon Technologies, Inc. System and method for automatically generating albums
CN106372581B (zh) * 2016-08-25 2020-09-04 中国传媒大学 构建及训练人脸识别特征提取网络的方法
CN106326868A (zh) * 2016-08-26 2017-01-11 江苏华通晟云科技有限公司 基于余弦相似度度量学习的人脸识别方法
CN106845397B (zh) * 2017-01-18 2020-04-14 湘潭大学 一种基于相似度度量的人脸确认方法
CN106960182B (zh) * 2017-03-02 2018-12-14 云南大学 一种基于多特征集成的行人再识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599833A (zh) * 2016-12-12 2017-04-26 武汉科技大学 一种基于领域适应和流形距离度量的人脸识别方法
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统

Also Published As

Publication number Publication date
CN107657223A (zh) 2018-02-02

Similar Documents

Publication Publication Date Title
CN110188641B (zh) 图像识别和神经网络模型的训练方法、装置和系统
CN110210560B (zh) 分类网络的增量训练方法、分类方法及装置、设备及介质
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
US5901244A (en) Feature extraction system and face image recognition system
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
US10565713B2 (en) Image processing apparatus and method
Boussaad et al. Deep-learning based descriptors in application to aging problem in face recognition
Kekre et al. Performance Comparison for Face Recognition using PCA, DCT &WalshTransform of Row Mean and Column Mean
CN111414875B (zh) 基于深度回归森林的三维点云头部姿态估计系统
US20200265211A1 (en) Fingerprint distortion rectification using deep convolutional neural networks
CN110929836B (zh) 神经网络训练及图像处理方法和装置、电子设备、介质
CN111582027B (zh) 身份认证方法、装置、计算机设备和存储介质
CN107657223B (zh) 一种基于快速处理多距离度量学习的人脸认证方法
KR102225613B1 (ko) 사람 재식별 장치 및 방법
Raveendra et al. Performance evaluation of face recognition system by concatenation of spatial and transformation domain features
TW201828156A (zh) 圖像識別方法、度量學習方法、圖像來源識別方法及裝置
Tome et al. Scenario-based score fusion for face recognition at a distance
Abboud et al. Biometric templates selection and update using quality measures
CN105608468B (zh) 一种基于流型矩阵补全的多标签分类方法
Wang et al. Learning models for predicting recognition performance
CN112446428B (zh) 一种图像数据处理方法及装置
CN110956098B (zh) 图像处理方法及相关设备
Pang et al. One-pass incremental membership authentication by face classification
CN113536845B (zh) 人脸属性识别方法、装置、存储介质和智能设备
CN104112147B (zh) 一种基于最近特征线的人脸特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant