CN103679158A - 人脸认证方法和装置 - Google Patents

人脸认证方法和装置 Download PDF

Info

Publication number
CN103679158A
CN103679158A CN201310752853.6A CN201310752853A CN103679158A CN 103679158 A CN103679158 A CN 103679158A CN 201310752853 A CN201310752853 A CN 201310752853A CN 103679158 A CN103679158 A CN 103679158A
Authority
CN
China
Prior art keywords
face
people
feature
image
training images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310752853.6A
Other languages
English (en)
Other versions
CN103679158B (zh
Inventor
王宁
张祥德
江武明
张要罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyes Intelligent Technology Co ltd
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Techshino Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Techshino Technology Co Ltd filed Critical Beijing Techshino Technology Co Ltd
Priority to CN201310752853.6A priority Critical patent/CN103679158B/zh
Publication of CN103679158A publication Critical patent/CN103679158A/zh
Priority to US15/107,067 priority patent/US9898649B2/en
Priority to PCT/CN2014/088867 priority patent/WO2015101080A1/zh
Application granted granted Critical
Publication of CN103679158B publication Critical patent/CN103679158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明公开了一种人脸认证方法和装置。其中,人脸认证方法包括获取多个人脸训练图像;提取多个人脸训练图像的Gabor特征;提取多个人脸训练图像的POEM特征;将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本,其中,正样本为多个人脸训练图像中同一个人的不同人脸图像的两两组合,负样本为多个人脸训练图像中不同人的人脸图像的两两组合;利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果;以及利用训练结果进行人脸认证。通过本发明,解决了人脸认证方法难以兼顾效率和识别率的问题,进而达到了既能够提高人脸识别的特征提取效率,又能够提高人脸识别率的效果。

Description

人脸认证方法和装置
技术领域
本发明涉及图像处理领域,具体而言,涉及一种人脸认证方法和装置。
背景技术
随着信息技术的发展,信息安全问题日益突出。其中对人的身份识别是信息安全领域的重要组成部分。
人脸认证是人脸识别的一种形式,通过提取两幅给定人脸图像的特征,判断是否是同一个人,相对于其它的生物特征认证技术具有直接、友好、方便的特点。
人脸认证主要由人脸检测、人眼定位、特征提取与认证三部分构成。
人脸属于典型的三维非刚性对象,而且人脸认证一般也是基于视图模式的,容易受到光照、姿态、表情等不确定因素的影响,因此人脸识别具有很高的挑战性,同时人脸识别涉及计算机科学、模式识别、人工智能等多个领域,加上其广泛的应用市场和巨大商业潜力,已经受到越来越多的公司和研究机构的关注。
以下对相关技术中的人脸认证方案进行介绍:
早期人脸识别算法都是用人脸特征点之间的间距、比率等参数作为特征,并假定图像背景单一或者无背景。在过去的几十年,人脸识别的研究取得了较大进展,国内外研究人员提出了一些关于人脸识别的方法,不同的研究人员可能从不同的角度对已有的人脸识别算法进行归纳和分类,但总的来说,人脸识别算法是个特征提取的方法,特征的形式和分类规则是密切相关的。在本申请中将人脸识别方法大体分为:基于几何特征的方法,基于代数特征的方法,基于纹理特征的方法。
(1)基于几何特征的方法
这种方法将人脸用一个几何特征矢量表示,几何特征矢量是以人脸器官的形状和几何关系为基础的特征矢量,其分量通常包括指定人脸两点间的欧氏距离、曲率、角度等。主要算法有积分投影法、弹性模板匹配等。
这种算法利用了人脸眼睛、鼻子、嘴巴等不同特征点的位置,这些点的位置信息很难获得,而且受表情光照的影响比较大。
(2)基于代数特征的方法
这种方法考虑了人脸模式的整体属性,比如主成分分析方法,线性判别分析方法。
主成分分析方法是将人脸图像作为一个向量,对其进行主成分分析,降到一定维数,得到特征向量,用两个向量之间的夹角余弦值来衡量两个人脸图像的相似度。
线性判别分析方法的基本思想通过寻找一个投影空间,使得投影后样本类间离散度和样本类内离散度的比值最大,因此LDA生成的子空间以实现最佳可分性为目的,从而比PCA更加适合识别。
这类方法所遇到的最大问题是矩阵的奇异性问题,而且是利用人脸的整体信息,易受表情,光照等影响。
(3)基于纹理特征的方法
这类方法提取人脸上的纹理信息,将人脸识别问题转化为纹理分类,常见的提取的纹理特征有LBP特征,Gabor特征,POEM特征。
这三种特征方式都可以提取人脸图像的局部信息,不受遮挡的影响,但LBP特征对光照的稳定性不好,尤其是在有非均匀光照变化的时候。Gabor特征受光照影响小一些,但在整个人脸上提取每个点的Gabor特征,速度较慢。相对于LBP特征,POEM先求梯度图,在此基础上应用LBP算子,这样同样减少了光照的影响,POEM特征按照块进行提取和运算,速度较快,不过,需要合理设计特征块的位置和尺寸。简而言之,Gabor特征是用人脸图像上的点,而POEM特征是用人脸图像上的块。
相关技术的缺陷
1、由于人脸是一个复杂多变的非刚性物体,此外人脸表情丰富,加上图像获取过程中外界条件发生变化的影响,给人脸的认证带来了困难。单纯依靠一种人脸特征进行人脸认证,很难取得理想的效果。
2、由于人脸模式的复杂性,需要认证算法时间复杂度要低。在使用Gabor特征时存储要用到数千个Gabor特征点,计算量非常大,不利于大规模人脸数据库的识别认证。基于Gabor特征的人脸认证方法,需要提取大量的Gabor特征点,并且需要进行大量复杂的运算,因此其提取速度慢,另外,该方法提取的Gabor特征点中存在很多相关性较高的特征点,这在人脸认证时的区分度不高。
3、利用POEM特征采样同样有局限性,其对图像块的划分是固定的。因为人脸受环境和姿态影响较大,如果特征块的位置和大小固定,那么将不能保证在人脸上提取更多更有效的特征。
这种方法在提取POEM特征块时的计算量较小,因此其提取特征点的速度较快,但是,在相关技术中通常要固定POEM特征块的位置和大小,而这种固定位置和大小的POEM特征块不一定是最理想的特征块。另外,该方法提取的POEM特征块中存在很多相关性较高的特征块,这在人脸认证时的区分度不高。
针对相关技术中的人脸认证方法难以兼顾效率和识别率的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种人脸认证方法,以解决相关技术中的人脸认证方法难以兼顾效率和识别率的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种人脸认证方法。该人脸认证方法包括:获取多个人脸训练图像;提取多个人脸训练图像的Gabor特征;提取多个人脸训练图像的POEM特征;将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本,其中,正样本为多个人脸训练图像中同一个人的不同人脸图像的两两组合,负样本为多个人脸训练图像中不同人的人脸图像的两两组合;利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果;以及利用训练结果进行人脸认证。
进一步地,提取多个人脸训练图像的POEM特征包括:对多个人脸训练图像进行POEM编码计算;获取多个不同大小、不同位置的矩形;按照多个矩形对进行POEM编码计算后的多个人脸训练图像中的每个人脸进行遍历,得到矩形内POEM编码的直方图;以及将直方图作为POEM特征。
进一步地,将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本包括:对于多个人脸训练图像的Gabor特征,对多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量;对于多个人脸训练图像的POEM特征,对多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量;以及由第一向量和第二向量组合得到多个人脸训练图像的正样本和负样本。
进一步地,利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练包括:获取AdaBoost算法的训练目标,其中,训练目标包括识别率和/或误识率;以及利用训练目标对多个人脸训练图像的正样本和负样本进行训练直到达到训练目标。
进一步地,利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果包括:通过AdaBoost算法的训练形成人脸分类器,人脸分类器包括多级强分类器以及构成多级强分类器中每级强分类器的弱分类器,弱分类器由Gabor特征和POEM特征块组成,弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,阈值参数用于对人脸认证结果进行判定。
进一步地,利用训练结果进行人脸认证包括:获取第一待认证图像和第二待认证图像;按照人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取第一待认证图像和第二待认证图像的Gabor特征和POEM特征;由第一待认证图像和第二待认证图像的Gabor特征和POEM特征计算第一待认证图像和第二待认证图像对应的Gabor特征的内积和POEM特征的卡方距离;以及人脸分类器通过阈值参数和权重参数对求得的内积和卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
为了实现上述目的,根据本发明的另一方面,提供了一种人脸认证装置。该人脸认证装置包括:获取单元,用于获取多个人脸训练图像;第一提取单元,用于提取多个人脸训练图像的Gabor特征;第二提取单元,用于提取多个人脸训练图像的POEM特征;融合单元,用于将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本,其中,正样本为多个人脸训练图像中同一个人的不同人脸图像的两两组合,负样本为多个人脸训练图像中不同人的人脸图像的两两组合;训练单元,用于利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果;以及认证单元,用于利用训练结果进行人脸认证。
进一步地,第二提取单元包括:编码模块,用于对多个人脸训练图像进行POEM编码计算;第一获取模块,用于获取多个不同大小、不同位置的矩形;遍历模块,用于按照多个矩形对进行POEM编码计算后的多个人脸训练图像中的每个人脸进行遍历,得到矩形内POEM编码的直方图;以及特征模块,用于将直方图作为POEM特征。
进一步地,融合单元包括:第一向量模块,用于对于多个人脸训练图像的Gabor特征,对多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量;第二向量模块,用于对于多个人脸训练图像的POEM特征,对多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量;以及样本模块,用于由第一向量和第二向量组合得到多个人脸训练图像的正样本和负样本。
进一步地,训练单元包括:第二获取模块,用于获取AdaBoost算法的训练目标,其中,训练目标包括识别率和/或误识率;以及训练模块,用于利用训练目标对多个人脸训练图像的正样本和负样本进行训练直到达到训练目标。
进一步地,训练单元包括:形成模块,用于通过AdaBoost算法的训练形成人脸分类器,人脸分类器包括多级强分类器以及构成多级强分类器中每级强分类器的弱分类器,弱分类器由Gabor特征和POEM特征块组成,弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,阈值参数用于对人脸认证结果进行判定。
进一步地,认证单元包括:第三获取模块,用于获取第一待认证图像和第二待认证图像;提取模块,用于按照人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取第一待认证图像和第二待认证图像的Gabor特征和POEM特征;计算模块,用于由第一待认证图像和第二待认证图像的Gabor特征和POEM特征计算第一待认证图像和第二待认证图像对应的Gabor特征的内积和POEM特征的卡方距离;以及判断模块,用于利用人脸分类器通过阈值参数和权重参数对求得的内积和卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
通过本发明,解决了相关技术中的人脸认证方法难以兼顾效率和识别率的问题,进而达到了既能够提高人脸识别的特征提取效率,又能够提高人脸识别率的效果。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明第一实施例的人脸认证方法的流程图;
图2a至图2e是根据本发明实施例的不同尺度图像的Gabor特征点的示意图;
图3a至图3b是根据本发明实施例的POEM特征生成的示意图;
图4是根据本发明实施例的提取POEM特征的流程图;
图5a至图5e是根据本发明实施例的挑选得到的Gabor特征的分布图;
图6是根据本发明实施例进行人脸认证的方法的流程图;
图7是根据本发明实施例的人脸认证装置的示意图;以及
图8是根据本发明优选实施例的人脸认证装置的示意图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明提供了一种人脸认证方法。该人脸认证方法能够基于Gabor特征和POEM特征进行人脸认证,以下结合附图对该人脸认证方法进行说明。
图1是根据本发明第一实施例的人脸认证方法的流程图。如图所示,该人脸认证方法包括如下步骤:
步骤S101,获取多个人脸训练图像。
步骤S102,提取多个人脸训练图像的Gabor特征。
Gabor特征可以使用Gabor滤波器进行提取。具体地,可以利用5个尺度8个方向的Gabor滤波器进行提取,该滤波器的表达式如下:
ψ v , μ = | | k r | | 2 σ 2 exp ( - | | k r | | 2 | | r r | | 2 2 σ 2 ) exp ( i k r · r r )
其中 r r = x y , k r = ( π 2 f v ) cos μπ / 8 sin μπ / 8 , v = 0,1,2,3,4 , μ = 0,1 , . . . , 7 .
其中,v为尺度,μ为方向,σ=2π,
Figure BDA0000451575690000064
对于5个不同的尺度,分别生成网格节点间距不同的网格图,在每个尺度下,对每个网格节点,按μ=0,1,...,7的8个Gabor滤波方向生成一个8×1的向量来表示该网格节点的特征信息。
图2示出了不同尺度图像的Gabor特征点的示意图。对于一幅251×203的人脸图像,在5个尺度上,分别按照Gabor滤波器的波长
Figure BDA0000451575690000065
作为网格节点的间距,共生成了4384个网格特征。图2a至图2e分别示出了按照不同Gabor滤波器的波长生成的网格特征,随着Gabor滤波器的波长的增大,提取的特征越少。第k个特征(x,y)计算的表达式如下所示:
cμ,k=Magnitude(I(x,y)*ψv,μ)
其中,I(x,y)表示在原人脸图像上以(x,y)为中心的区域,I(x,y)的大小和滤波器的窗口大小是相对应的。Magnitude(z)为计算复数z的大小,v为该点所在图像对应的尺度,μ=0,1,...,7,则该特征所对应的特征向量为Ck=[c0,k,c1,k,c2,k,c3,k,c4,k,c5,k,c6,k,c7,k],其中[]内的元素可称之为‘分量’,对其进行归一化处理,则整幅图像的Gabor特征为C=[C1 T,C2 T,...,C4384 T]T
Gabor特征提取图像的局部纹理特征,属于加窗傅里叶变换,Gabor函数具有优良的空间局部性和方向选择性,可以在频域不同尺度、不同方向上提取图像的特性,从而能够抓住图像局部区域多个方向的空间频率和局部结构特性。
步骤S103,提取多个人脸训练图像的POEM特征。
为了下面叙述方便以及对本发明实施方案的理解,引入如下定义:
cell:如图3a所示,一个cell即为大小为w×w的像素块,其中心像素为p,将此像素内像素点的值累加到p。其中,图3a中的a1、a2、a3分别为三个不同方向的梯度。
block:如图3b所示,block即为计算LBP时选取的相邻像素所在的图像块,如果block的大小为L×L,则LBP算子的半径为L/2,则图3b所示的9个像素处于一个图像块内,该图像块的大小为L×L。
其中,LBP是对图像中的任意一个像素,将其与周围的8个相邻像素顺时针比较,如果该像素的灰度值比相邻像素小,则在相邻像素标记为1,否则标记为0,与周围所有8个相邻像素比较之后得到一个8位的二进制数,该二进制数对应的十进制数即为该像素的编码。
在该实施例中,通过累加将每个cell区域内的所有像素点的值累加到中心像素。
对多个人脸训练图像提取POEM特征的流程如图4所示,对图4所示的人脸图像求梯度,得到求梯度之后的人脸图像,按照梯度方向将求梯度之后的人脸图像分为图三个梯度方向的三张人脸图像,分解后的每张人脸图像进行累加后,得到累加后的人脸图像,最后对累加后的人脸图像进行LBP编码,得到编码后的人脸图像,具体方法如下:
首先,计算人脸训练图像的梯度图,每个像素点的梯度方向被映射成一个1到T的整数。比如,如果某像素点的梯度方向落在
Figure BDA0000451575690000071
区间,则用t来表示该梯度方向。那么,每个像素点就可以用一个二维向量(m,t)表示,其中m是梯度的大小,t是离散化后的梯度方向。
对像素点(x,y)求梯度,根据梯度方向t(其中,1代表0-60°,2代表60°-120°,3代表120°-180°),确定该方向上的梯度大小。
其次,计算一个cell内梯度图的直方图,并将得到的梯度图的直方图累加到cell的中心像素。这样,每一个像素点得到一个向量(a1,a2,...ai...,aT),其中ai是该像素点所在的cell所有像素点梯度落在第i个区间的梯度值大小的和。然后分解得到T个子图,第i个子图的像素点灰度值大小为ai,该图为方向为i的梯度累加图。
最后在每个梯度累加图上计算LBP算子,比如在第i个梯度累加图上,像素p的POEM编码计算如下:
POEM L , w , n i ( p ) = Σ j = 0 n - 1 f ( s ( m p i , m c j i ) ) 2 j
其中,分别是第i个梯度累加图中,像素p及其第j个相邻像素的累加梯度值大小。s(.,.)是相似函数,可以定义为两个梯度值的差,L和w分别为block和cell的边长。n是LBP编码中与中心像素比较的像素的个数,如图3b,与中心像素比较的像素的个数n=8,f是一个如下定义的函数:
f ( x ) = 1 x &GreaterEqual; 0 0 x < 0
LBP算子如图3b所示,对图像块中任意一个像素,将其与周围的8个相邻像素顺时针做比较,如果该像素的灰度值比相邻像素的灰度值小,则将相邻像素标记为1,否则标记为0,由此得到一个8位的二进制数为11010011,其对应的十进制数211即为该像素的编码。
按照上述计算像素编码的方法计算每个像素的编码,对编码的人脸图像按照不同大小、不同位置的矩形进行遍历,得到作为最后的POEM特征。
遍历的过程例如,假设矩形尺寸为30×20像素,跳跃步长向下为6个像素,向右为4个像素,那么第一个块的左上角为[1,1],第二个块的左上角的点为[7,1],……依次类推。
步骤S104,将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本,其中,正样本为多个人脸训练图像中同一个人的不同人脸图像的两两组合,负样本为多个人脸训练图像中不同人的人脸图像的两两组合。
将多个人脸训练图像中的同一个人的不同人脸图像的两两组合作为正样本,将多个人脸训练图像中不同人的人脸图像的两两组合作为负样本,通过这样的组合方式,利用Adaboost算法可以筛选得到相同人相似度高,同时不同人相似度低的特征,增加了算法的准确性和稳定性。
步骤S105,利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果。
利用AdaBoost算法对正样本和负样本进行训练,在训练的过程中,不仅仅只考虑Gabor特征或者POEM特征,而是将Gabor特征和POEM特征进行融合,利用AdaBoost算法综合计算得到的训练结果,得到的训练结果可以作为判断两张人脸图像是否为同一个人的人脸的模型。
步骤S106,利用训练结果进行人脸认证。
对多个人脸训练图像的特征进行训练得到训练结果,该训练结果可以作为判断两张人脸图像是否为同一个人的人脸的模型,利用该模型区分两张人脸是否属于同一个人,从而实现对人脸进行认证。
本发明实施例的人脸认证方法中,通过提取多个人脸图像的Gabor特征和POEM特征,并对Gabor特征和POEM特征进行融合得到对正样本和负样本进行训练后的结果,利用训练的结果可以判断两张人脸图像是否属于一个人,从而达到了人脸识别的效果。
同时,对Gabor特征和POEM特征进行融合训练的方法,既利用了Gabor特征和POEM特征对光照的稳定性好的优点,又减少了经过训练之后得到的用于人脸认证的特征量,提高了特征提取的效率,克服了利用单一特征进行人脸识别时识别率较低的问题,从而解决了现有技术中人脸认证方法难以兼顾效率和识别率的问题,进而达到了既能够提高人脸识别的特征提取效率,又能够提高人脸识别率的效果。
进一步地,将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本包括:
对于多个人脸训练图像的Gabor特征,对多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量。
例如,图像A的Gabor特征向量为CA,图像B的Gabor特征向量为CB,则对图像A和图像B的特征向量求内积,得到的第一向量为:
S 1 ( C A , C B ) = [ C 1 A &CenterDot; C 1 B , C 2 A &CenterDot; C 2 B , . . . , C 4384 A &CenterDot; C 4384 B ]
对于多个人脸训练图像的POEM特征,对多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量。
例如,用C'A表示人脸训练图像A的POEM特征,C'B表示人脸训练图像B的POEM特征,则对多个人脸训练图像中的每两个POEM特征计算卡方距离,得到第二向量为:
S 2 ( C &prime; A , C &prime; B ) = [ d ( C &prime; 1 A , C &prime; 1 B ) , d ( C &prime; 2 A , C &prime; 2 B ) , . . . , d ( C &prime; k A , C &prime; k B ) ]
其中,d(C1,C2)表示训练图像A的POEM特征对应的直方图C1和训练图像B的POEM特征的直方图C2的卡方距离。
由第一向量和第二向量组合得到多个人脸训练图像的正样本和负样本。
在得到的多个第一向量和多个第二向量之后,将其中同一个人的两幅不同图像组合生成的向量作为正样本,不同人的两幅图像组合生成的向量作为负样本,得到所有训练样本[(S1,y1),(S2,y2),...,(SN,yN)],其中
Figure BDA0000451575690000104
y=1代表正样本,y=0代表负样本。
通过将同一个人的两幅不同图像组合生成的向量作为正样本,不同人的两幅图像组合生成的向量作为负样本,实现了Gabor特征和POEM特征的融合,在对Gabor特征和POEM特征的融合之后进行特征筛选,能够筛选得到正负样本区分度较高的人脸特征。对Gabor特征和POEM特征的融合,提高人脸识别的准确率,同时减少了特征的提取,提高人脸认证的效率。
筛选后的Gabor特征如图5所示,图5示出了筛选得到的不同尺度的Gabor特征,其中,图5a的尺度与图2a的尺度相同,通过对图2a中的Gabor特征进行筛选得到图5a所示的Gabor特征,同样地,图5b、图5c、图5d和图5e分别于图2b、图2c、图2d和图2e一一对应。
进一步地,利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练包括:获取AdaBoost算法的训练目标,其中,训练目标包括识别率和/或误识率,以及利用训练目标对多个人脸训练图像的正样本和负样本进行训练直到达到训练目标。
AdaBoost算法的训练目标包括识别率和/或误识率,识别率和误识率可以根据人脸认证的精确度预先设定。例如,设定每级AdaBoost算法识别率为a=0.998,误识率为b=0.5。每一级所选用的正样本都是一样的,第N级的负样本是前N-1级认证错误的样本,每一级所选用的样本数量一样多。每一级按照如下方法进行训练:
训练样本如(x1,y1),...,(xn,yn),其中,yi=0,1分别代表负样本和正样本,n为训练样本数量。
初始化样本权重,第i个负样本权重为
Figure BDA0000451575690000101
第i个正样本权重为
Figure BDA0000451575690000102
其中m和l分别为负样本个数和正样本个数。
对t=1,…T,t表示训练过程的迭代次数。
首先,权重归一化, w t , i = w t , i &Sigma; j = 1 n w t , j .
其次,对于每个特征j,训练一个弱分类器hj,计算权重错误率εj=∑iwt,i|hj(xi)-yi|。
再次,选择具有最小权重错误率的分类器作为ht
然后,更新样本权重: w t + 1 , i = w t , i &beta; t 1 - e i .
其中,如果样本xi被分类正确,则ei=0,否则ei=1,
Figure BDA0000451575690000112
其中,εt是所有εj中最小的那个。
最后,选取阈值theta,使得误识率刚好小于等于0.5,比较当前识别率是否大于0.998,若大于则停止训练,否则,继续训练。
最终的强分类器:
h ( x ) = 1 &Sigma; t = 1 T &alpha; t h t ( x ) &GreaterEqual; theta 0 otherwise , 其中 &alpha; t = log 1 &beta; t
通过上述的训练过程,期望通过筛选Gabor特征和POEM特征,使得利用筛选后Gabor特征和POEM特征对人脸进行认证的识别率和/或误识率达到训练目标,从而使得判断人脸图像A与人脸图像B是否为同一人脸的结果更加精确。
进一步地,利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果包括:
通过AdaBoost算法的训练形成人脸分类器,人脸分类器包括多级强分类器以及构成多级强分类器中每级强分类器的弱分类器,弱分类器由Gabor特征和POEM特征组成,弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,阈值参数用于对人脸认证结果进行判定。
利用人脸分类器进行人脸认证的方法包括图6所示的如下步骤:
步骤S201,获取第一待认证图像和第二待认证图像。
第一待认证图像和第二待认证图像为需要判断是否为同一人脸的两张人脸图像。
步骤S202,按照人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取第一待认证图像和第二待认证图像的Gabor特征和POEM特征。
提取第一待认证图像的Gabor特征和POEM特征,提取第二待认证图像的Gabor特征和POEM特征,提取特征的方法在本发明的前述实施例中已经详细介绍,在此不做赘述。
步骤S203,由第一待认证图像和第二待认证图像的Gabor特征和POEM特征计算第一待认证图像和第二待认证图像的Gabor特征的内积和POEM特征的卡方距离。
例如,第一待认证图像的Gabor特征向量为CA,第二待认证图像的Gabor特征向量为CB,则对第一待认证图像和第二待认证图像的Gabor特征向量求内积,计算方法如下:
Sim ( C A , C B ) = &Sigma; i = 1 8 C i A * C i B
计算第一待认证图像和第二待认证图像的POEM特征的直方图的卡方距离的计算方法如下:
Dis ( p 1 , p 2 ) = &Sigma; i ( p i 1 - p i 2 ) 2 p i 1 + p i 2
其中,Dis表示两个直方图p1和p2的卡方距离。
步骤S204,人脸分类器通过阈值参数和权重参数对求得的内积和卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
判断第一待认证图像和第二待认证图像是否为同一个人的人脸图像,需要通过弱分类器和强分类器的级联进行判断。
级联分类器包含多个强分类器,每一级强分类器下包含多个弱分类器,令ht代表弱分类器,则将两个Gabor特征向量的内积第一向量和两个POEM特征的直方图卡方距离第二向量,与其相对应的弱分类器ht的阈值参数进行比较,如果满足阈值参数的要求,则认为通过该弱分类器的验证,验证结果为1,否则,未通过该弱分类器的验证,验证结果为0。
同样地,对第二向量的判断与对第一向量的判断方法相同,不再一一赘述。
在某一级强分类器下,根据弱分类器的阈值参数的判断结果进行权重的累加,如果通过弱分类器的判断,则累加该弱分类器的权重,否则,不累加。
在弱分类器判断并累加权重之后,与该弱分类器所属的强分类器的阈值参数进行比较,同样地,如果经过权重累加之后的值大于强分类器的阈值参数,则通过强分类器的验证,如果经过权重累加之后的值小于强分类器的阈值参数,则没有通过强分类器的验证。
前一级强分类器判断通过后,进入下一级强分类器的判断,直到所有强分类器均判断通过,如果所有强类器均判断通过,则确定第一待认证图像和第二待认证图像为同一个人的人脸图像。
本发明利用级联AdaBoost对训练图像上的Gabor特征和POEM特征进行筛选,既利用了Gabor特征对光照的鲁棒性,又能极大的加快特征提取和认证的速度。
从以上的描述中,可以看出,本发明实现了如下技术效果:
1、在多个训练的人脸图像上提取Gabor特征和POEM特征,对于Gabor特征,在人脸图像上根据不同尺度采用不同间隔,确定Gabor特征,对于POEM特征,在人脸图像上遍历不同位置不同大小的块,挑选得到的POEM特征丰富了POEM特征的构造方式。Gabor特征与POEM特征一块用AdaBoost算法进行训练。在认证的时候,只需提取挑选出来的特征。
2、用AdaBoost算法对两种特征同时挑选,挑选出相关性低的特征,大大减少了挑选的特征量的数量,提高了特征提取速度。
另外,在Feret数据库上,根据两种特征融合之后得到的特征进行人脸识别时,在fa、fb、dup1上的误识率为0.001,识别率分别为0.971、0.985和0.751,而单独使用Gabor特征进行人脸识别的误识率为0.001时,识别率分别为0.962、0.969和0.698,单独使用POEM特征进行人脸识别的误识率为0.001时,识别率分别为0.967、0.974和0.719。由此可见,用两种特征融合对人脸进行识别的识别率比只用两种特征中的任何一种特征的识别率更高。
本发明实施例还提供了一种人脸认证装置。
图7是根据本发明实施例的人脸认证装置的示意图。如图所示,该人脸认证装置包括获取单元10、第一提取单元20、第二提取单元30、融合单元40、训练单元50和认证单元60。
获取单元10用于获取多个人脸训练图像。
第一提取单元20用于提取多个人脸训练图像的Gabor特征。
Gabor特征可以使用Gabor滤波器进行提取。具体地,可以利用5个尺度8个方向的Gabor滤波器进行提取,该滤波器的表达式如下:
&psi; v , &mu; = | | k r | | 2 &sigma; 2 exp ( - | | k r | | 2 | | r r | | 2 2 &sigma; 2 ) exp ( i k r &CenterDot; r r )
其中 r r = x y , k r = ( &pi; 2 f v ) cos &mu;&pi; / 8 sin &mu;&pi; / 8 , v = 0,1,2,3,4 , &mu; = 0,1 , . . . , 7 .
其中,v为尺度,μ为方向,σ=2π,
Figure BDA0000451575690000141
对于5个不同的尺度,分别生成网格节点间距不同的网格图,在每个尺度下,对每个网格节点,按μ=0,1,...,7的8个Gabor滤波方向生成一个8×1的向量来表示该网格节点的特征信息。
图2示出了不同尺度图像的Gabor特征点的示意图。对于一幅251×203的人脸图像,在5个尺度上,分别按照Gabor滤波器的波长
Figure BDA0000451575690000142
作为网格节点的间距,共生成了4384个网格特征。图2a至图2e分别示出了按照不同Gabor滤波器的波长生成的网格特征,随着Gabor滤波器的波长的增大,提取的特征越少。第k个特征(x,y)计算的表达式如下所示:
cμ,k=Magnitude(I(x,y)*ψv,μ)
其中,I(x,y)表示在原人脸图像上以(x,y)为中心的区域,I(x,y)的大小和滤波器的窗口大小是相对应的。Magnitude(z)为计算复数z的大小,v为该点所在图像对应的尺度,μ=0,1,...,7,则该特征所对应的特征向量为Ck=[c0,k,c1,k,c2,k,c3,k,c4,k,c5,k,c6,k,c7,k],其中[]内的元素可称之为‘分量’,对其进行归一化处理,则整幅图像的Gabor特征为C=[C1 T,C2 T,...,C4384 T]T
Gabor特征提取图像的局部纹理特征,属于加窗傅里叶变换,Gabor函数具有优良的空间局部性和方向选择性,可以在频域不同尺度、不同方向上提取图像的特性,从而能够抓住图像局部区域多个方向的空间频率和局部结构特性。
第二提取单元30用于提取多个人脸训练图像的POEM特征。
为了下面叙述方便以及对本发明实施方案的理解,引入如下定义:
cell:如图3a所示,一个cell即为大小为w×w的像素块,其中心像素为p,将此像素内像素点的值累加到p。其中,图3a中的a1、a2、a3分别为三个不同方向的梯度。
block:如图3b所示,block即为计算LBP时选取的相邻像素所在的图像块,如果block的大小为L×L,则LBP算子的半径为L/2,则图3b所示的9个像素处于一个图像块内,该图像块的大小为L×L。
其中,LBP是对图像中的任意一个像素,将其与周围的8个相邻像素顺时针比较,如果该像素的灰度值比相邻像素小,则在相邻像素标记为1,否则标记为0,与周围所有8个相邻像素比较之后得到一个8位的二进制数,该二进制数对应的十进制数即为该像素的编码。
在该实施例中,通过累加将每个cell区域内的所有像素点的值累加到中心像素。
对多个人脸训练图像提取POEM特征的流程如图4所示,对图4所示的人脸图像求梯度,得到求梯度之后的人脸图像,按照梯度方向将求梯度之后的人脸图像分为图三个梯度方向的三张人脸图像,分解后的每张人脸图像进行累加后,得到累加后的人脸图像,最后对累加后的人脸图像进行LBP编码,得到编码后的人脸图像,具体方法如下:
首先,计算人脸训练图像的梯度图,每个像素点的梯度方向被映射成一个1到T的整数。比如,如果某像素点的梯度方向落在
Figure BDA0000451575690000151
区间,则用t来表示该梯度方向。那么,每个像素点就可以用一个二维向量(m,t)表示,其中m是梯度的大小,t是离散化后的梯度方向。
对像素点(x,y)求梯度,根据梯度方向t(其中,1代表0-60°,2代表60°-120°,3代表120°-180°),确定该方向上的梯度大小。
其次,计算一个cell内梯度图的直方图,并将得到的梯度图的直方图累加到cell的中心像素。这样,每一个像素点得到一个向量(a1,a2,...ai...,aT),其中ai是该像素点所在的cell所有像素点梯度落在第i个区间的梯度值大小的和。然后分解得到T个子图,第i个子图的像素点灰度值大小为ai,该图为方向为i的梯度累加图。
最后在每个梯度累加图上计算LBP算子,比如在第i个梯度累加图上,像素p的POEM编码计算如下:
POEM L , w , n i ( p ) = &Sigma; j = 0 n - 1 f ( s ( m p i , m c j i ) ) 2 j
其中,
Figure BDA0000451575690000153
分别是第i个梯度累加图中,像素p及其第j个相邻像素的累加梯度值大小。s(.,.)是相似函数,可以定义为两个梯度值的差,L和w分别为block和cell的边长。n是LBP编码中与中心像素比较的像素的个数,如图3b,与中心像素比较的像素的个数n=8,f是一个如下定义的函数:
f ( x ) = 1 x &GreaterEqual; 0 0 x < 0
LBP算子如图3b所示,对图像块中任意一个像素,将其与周围的8个相邻像素顺时针做比较,如果该像素的灰度值比相邻像素的灰度值小,则将相邻像素标记为1,否则标记为0,由此得到一个8位的二进制数为11010011,其对应的十进制数211即为该像素的编码。
按照上述计算像素编码的方法计算每个像素的编码,对编码的人脸图像按照不同大小、不同位置的矩形进行遍历,得到作为最后的POEM特征。
遍历的过程例如,假设矩形尺寸为30×20像素,跳跃步长向下为6个像素,向右为4个像素,那么第一个块的左上角为[1,1],第二个块的左上角的点为[7,1],……依次类推。
其中,第二提取单元30用于提取多个人脸训练图像的POEM特征,该提取单元30包括编码模块、第一获取模块、遍历模块和特征模块。其中,编码模块用于对多个人脸训练图像进行POEM编码计算。第一获取模块用于获取多个不同大小、不同位置的矩形。遍历模块用于按照多个矩形对进行POEM编码计算后的多个人脸训练图像中的每个人脸进行遍历,得到矩形内POEM编码的直方图。特征模块用于将直方图作为POEM特征。
融合单元40用于将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本,其中,正样本为多个人脸训练图像中同一个人的不同人脸图像的两两组合,负样本为多个人脸训练图像中不同人的人脸图像的两两组合。
将多个人脸训练图像中的同一个人的不同人脸图像的两两组合作为正样本,将多个人脸训练图像中不同人的人脸图像的两两组合作为负样本,通过这样的组合方式,利用Adaboost算法可以筛选得到相同人相似度高,同时不同人相似度低的特征,增加了算法的准确性和稳定性。
训练单元50用于利用AdaBoost算法对多个人脸训练图像的正样本和负样本进行训练,得到训练结果。
利用AdaBoost算法对正样本和负样本进行训练,在训练的过程中,不仅仅只考虑Gabor特征或者POEM特征,而是将Gabor特征和POEM特征进行融合,利用AdaBoost算法综合计算得到的训练结果,得到的训练结果可以作为判断两张人脸图像是否为同一个人的人脸的模型。
认证单元60用于利用训练结果进行人脸认证。
对多个人脸训练图像的特征进行训练得到训练结果,该训练结果可以作为判断两张人脸图像是否为同一个人的人脸的模型,利用该模型区分两张人脸是否属于同一个人,从而实现对人脸进行认证。
本发明实施例的人脸认证装置中,通过提取多个人脸图像的Gabor特征和POEM特征,并对Gabor特征和POEM特征进行融合得到对正样本和负样本进行训练后的结果,利用训练的结果可以判断两张人脸图像是否属于一个人,从而达到了人脸识别的效果。
同时,通过融合单元40对Gabor特征和POEM特征进行融合训练,既利用了Gabor特征和POEM特征对光照的稳定性好的优点,又减少了经过训练之后得到的用于人脸认证的特征量,提高了特征提取的效率,克服了利用单一特征进行人脸识别时识别率较低的问题,从而解决了现有技术中人脸认证方法难以兼顾效率和识别率的问题,进而达到了既能够提高人脸识别的特征提取效率,又能够提高人脸识别率的效果。
进一步地,融合单元40用于通过以下模块将多个人脸训练图像的Gabor特征和多个人脸训练图像的POEM特征进行融合以获取多个人脸训练图像的正样本和负样本:
第一向量模块用于针对多个人脸训练图像的Gabor特征,对多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量。
例如,图像A的Gabor特征向量为CA,图像B的Gabor特征向量为CB,则对图像A和图像B的特征向量求内积,得到的第一向量为:
S 1 ( C A , C B ) = [ C 1 A &CenterDot; C 1 B , C 2 A &CenterDot; C 2 B , . . . , C 4384 A &CenterDot; C 4384 B ]
第二向量模块用于针对多个人脸训练图像的POEM特征,对多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量。
例如,用C'A表示人脸训练图像A的POEM特征,C'B表示人脸训练图像B的POEM特征,则对多个人脸训练图像中的每两个POEM特征计算卡方距离,得到第二向量为:
S 2 ( C &prime; A , C &prime; B ) = [ d ( C &prime; 1 A , C &prime; 1 B ) , d ( C &prime; 2 A , C &prime; 2 B ) , . . . , d ( C &prime; k A , C &prime; k B ) ]
其中,d(C1,C2)表示训练图像A的POEM特征对应的直方图C1和训练图像B的POEM特征的直方图C2的卡方距离
样本模块用于由第一向量和第二向量组合得到多个人脸训练图像的正样本和负样本。
在得到的多个第一向量和多个第二向量之后,将其中同一个人的两幅不同图像组合生成的向量作为正样本,不同人的两幅图像组合生成的向量作为负样本,得到所有训练样本[(S1,y1),(S2,y2),...,(SN,yN)],其中
Figure BDA0000451575690000173
y=1代表正样本,y=0代表负样本。
通过将同一个人的两幅不同图像组合生成的向量作为正样本,不同人的两幅图像组合生成的向量作为负样本,实现了Gabor特征和POEM特征的融合,在对Gabor特征和POEM特征的融合之后进行特征筛选,能够筛选得到正负样本区分度较高的人脸特征。对Gabor特征和POEM特征的融合,提高人脸识别的准确率,同时减少了特征的提取,提高人脸认证的效率。
筛选后的Gabor特征如图5所示,图5示出了筛选得到的不同尺度的Gabor特征,其中,图5a的尺度与图2a的尺度相同,通过对图2a中的Gabor特征进行筛选得到图5a所示的Gabor特征,同样地,图5b、图5c、图5d和图5e分别于图2b、图2c、图2d和图2e一一对应。
进一步地,训练单元包括第二获取模块和训练模块。
第二获取模块用于获取AdaBoost算法的训练目标,其中,训练目标包括识别率和/或误识率。
训练模块用于利用训练目标对多个人脸训练图像的正样本和负样本进行训练直到达到训练目标。
AdaBoost算法的训练目标包括识别率和/或误识率,识别率和误识率可以根据人脸认证的精确度预先设定。例如,设定每级AdaBoost算法识别率为a=0.998,误识率为b=0.5。每一级所选用的正样本都是一样的,第N级的负样本是前N-1级认证错误的样本,每一级所选用的样本数量一样多。每一级按照如下方法进行训练:
训练样本如(x1,y1),...,(xn,yn),其中,yi=0,1分别代表负样本和正样本,n为训练样本数量。
初始化样本权重,第i个负样本权重为第i个正样本权重为其中m和l分别为负样本个数和正样本个数。
对t=1,…T,t表示训练过程的迭代次数。
首先,权重归一化, w t , i = w t , i &Sigma; j = 1 n w t , j .
其次,对于每个特征j,训练一个弱分类器hj,计算权重错误率 &epsiv; j = &Sigma; i w t , i | h j ( x i ) - y i | .
再次,选择具有最小权重错误率的分类器作为ht
然后,更新样本权重: w t + 1 , i = w t , i &beta; t 1 - e i .
其中,如果样本xi被分类正确,则ei=0,否则ei=1,其中,εt是所有εj中最小的那个。
最后,选取阈值theta,使得误识率刚好小于等于0.5,比较当前识别率是否大于0.998,若大于则停止训练,否则,继续训练。
最终的强分类器:
h ( x ) = 1 &Sigma; t = 1 T &alpha; t h t ( x ) &GreaterEqual; theta 0 otherwise , 其中 &alpha; t = log 1 &beta; t
通过上述的训练过程,期望通过筛选Gabor特征和POEM特征,使得利用筛选后Gabor特征和POEM特征对人脸进行认证的识别率和/或误识率达到训练目标,从而使得判断人脸图像A与人脸图像B是否为同一人脸的结果更加精确。
进一步地,训练单元包括:形成模块,用于通过AdaBoost算法的训练形成人脸分类器,人脸分类器包括多级强分类器以及构成多级强分类器中每级强分类器的弱分类器,弱分类器由Gabor特征和POEM特征块组成,弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,阈值参数用于对人脸认证结果进行判定。
认证单元60用于利用人脸分类器进行人脸验证,该认证单元包括图8所示的第三获取模块601、提取模块602、计算模块603和判断模块604。
第三获取模块601用于获取第一待认证图像和第二待认证图像。
第一待认证图像和第二待认证图像为需要判断是否为同一人脸的两张人脸图像。
提取模块602用于按照人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取第一待认证图像和第二待认证图像的Gabor特征和POEM特征。
提取第一待认证图像的Gabor特征和POEM特征,提取第二待认证图像的Gabor特征和POEM特征,提取模块602提取上述特征的方法在本发明的前述实施例中已经详细介绍,在此不做赘述。
计算模块603用于由第一待认证图像和第二待认证图像的Gabor特征和POEM特征计算第一待认证图像和第二待认证图像对应的Gabor特征的内积和POEM特征的卡方距离。
例如,第一待认证图像的Gabor特征向量为CA,第二待认证图像的Gabor特征向量为CB,则对第一待认证图像和第二待认证图像的Gabor特征向量求内积,计算方法如下:
Sim ( C A , C B ) = &Sigma; i = 1 8 C i A * C i B
计算第一待认证图像和第二待认证图像的POEM特征的直方图的卡方距离的计算方法如下:
Dis ( p 1 , p 2 ) = &Sigma; i ( p i 1 - p i 2 ) 2 p i 1 + p i 2
其中,Dis表示两个直方图p1和p2的卡方距离。
判断模块604用于利用人脸分类器通过阈值参数和权重参数对求得的内积和卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
判断模块604判断第一待认证图像和第二待认证图像是否为同一个人的人脸图像,需要通过弱分类器和强分类器的级联进行判断。
级联分类器包含多个强分类器,每一级强分类器下包含多个弱分类器,令ht代表弱分类器,则将两个Gabor特征向量的内积第一向量和两个POEM特征的直方图卡方距离第二向量,与其相对应的弱分类器ht的阈值参数进行比较,如果满足阈值参数的要求,则认为通过该弱分类器的验证,验证结果为1,否则,未通过该弱分类器的验证,验证结果为0。
同样地,对第二向量的判断与对第一向量的判断方法相同,不再一一赘述。
在某一级强分类器下,根据弱分类器的阈值参数的判断结果进行权重的累加,如果通过弱分类器的判断,则累加该弱分类器的权重,否则,不累加。
在弱分类器判断并累加权重之后,与该弱分类器所属的强分类器的阈值参数进行比较,同样地,如果经过权重累加之后的值大于强分类器的阈值参数,则通过强分类器的验证,如果经过权重累加之后的值小于强分类器的阈值参数,则没有通过强分类器的验证。
前一级强分类器判断通过后,进入下一级强分类器的判断,直到所有强分类器均判断通过,如果所有强类器均判断通过,则确定第一待认证图像和第二待认证图像为同一个人的人脸图像。
本发明利用级联AdaBoost对训练图像上的Gabor特征和POEM特征进行筛选,既利用了Gabor特征对光照的鲁棒性,又能极大的加快特征提取和认证的速度。
从以上的描述中,可以看出,本发明实现了如下技术效果:
1、在多个训练的人脸图像上提取Gabor特征和POEM特征,对于Gabor特征,在人脸图像上根据不同尺度采用不同间隔,确定Gabor特征,对于POEM特征,在人脸图像上遍历不同位置不同大小的块,挑选得到的POEM特征丰富了POEM特征的构造方式。Gabor特征与POEM特征一块用AdaBoost算法进行训练。在认证的时候,只需提取挑选出来的特征。
2、用AdaBoost算法对两种特征同时挑选,挑选出相关性低的特征,大大减少了挑选的特征量的数量,提高了特征提取速度。
另外,在Feret数据库上,根据两种特征融合之后得到的特征进行人脸识别时,在fa、fb、dup1上的误识率为0.001,识别率分别为0.971、0.985和0.751,而单独使用Gabor特征进行人脸识别的误识率为0.001时,识别率分别为0.962、0.969和0.698,单独使用POEM特征进行人脸识别的误识率为0.001时,识别率分别为0.967、0.974和0.719。由此可见,用两种特征融合对人脸进行识别的识别率比只用两种特征中的任何一种特征的识别率更高。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种人脸认证方法,其特征在于,包括:
获取多个人脸训练图像;
提取所述多个人脸训练图像的Gabor特征;
提取所述多个人脸训练图像的POEM特征;
将所述多个人脸训练图像的Gabor特征和所述多个人脸训练图像的POEM特征进行融合以获取所述多个人脸训练图像的正样本和负样本,其中,所述正样本为所述多个人脸训练图像中同一个人的不同人脸图像的两两组合,所述负样本为所述多个人脸训练图像中不同人的人脸图像的两两组合;
利用AdaBoost算法对所述多个人脸训练图像的正样本和负样本进行训练,得到训练结果;以及
利用所述训练结果进行人脸认证。
2.根据权利要求1所述的人脸认证方法,其特征在于,提取所述多个人脸训练图像的POEM特征包括:
对所述多个人脸训练图像进行POEM编码计算;
获取多个不同大小、不同位置的矩形;
按照所述多个矩形对进行POEM编码计算后的所述多个人脸训练图像中的每个人脸进行遍历,得到矩形内POEM编码的直方图;以及
将所述直方图作为所述POEM特征。
3.根据权利要求1所述的人脸认证方法,其特征在于,将所述多个人脸训练图像的Gabor特征和所述多个人脸训练图像的POEM特征进行融合以获取所述多个人脸训练图像的正样本和负样本包括:
对于所述多个人脸训练图像的Gabor特征,对所述多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量;
对于所述多个人脸训练图像的POEM特征,对所述多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量;以及
由所述第一向量和所述第二向量组合得到所述多个人脸训练图像的正样本和负样本。
4.根据权利要求1所述的人脸认证方法,其特征在于,利用AdaBoost算法对所述多个人脸训练图像的正样本和负样本进行训练包括:
获取AdaBoost算法的训练目标,其中,所述训练目标包括识别率和/或误识率;以及
利用所述训练目标对所述多个人脸训练图像的正样本和负样本进行训练直到达到所述训练目标。
5.根据权利要求1所述的人脸认证方法,其特征在于,利用AdaBoost算法对所述多个人脸训练图像的正样本和负样本进行训练,得到训练结果包括:
通过所述AdaBoost算法的训练形成人脸分类器,所述人脸分类器包括多级强分类器以及构成所述多级强分类器中每级强分类器的弱分类器,所述弱分类器由Gabor特征和POEM特征块组成,所述弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,所述阈值参数用于对人脸认证结果进行判定。
6.根据权利要求5所述的人脸认证方法,其特征在于,利用所述训练结果进行人脸认证包括:
获取第一待认证图像和第二待认证图像;
按照所述人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取所述第一待认证图像和所述第二待认证图像的Gabor特征和POEM特征;
由所述第一待认证图像和所述第二待认证图像的Gabor特征和POEM特征计算所述第一待认证图像和所述第二待认证图像对应的Gabor特征的内积和POEM特征的卡方距离;以及
所述人脸分类器通过所述阈值参数和所述权重参数对求得的所述内积和所述卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
7.一种人脸认证装置,其特征在于,包括:
获取单元,用于获取多个人脸训练图像;
第一提取单元,用于提取所述多个人脸训练图像的Gabor特征;
第二提取单元,用于提取所述多个人脸训练图像的POEM特征;
融合单元,用于将所述多个人脸训练图像的Gabor特征和所述多个人脸训练图像的POEM特征进行融合以获取所述多个人脸训练图像的正样本和负样本,其中,所述正样本为所述多个人脸训练图像中同一个人的不同人脸图像的两两组合,所述负样本为所述多个人脸训练图像中不同人的人脸图像的两两组合;
训练单元,用于利用AdaBoost算法对所述多个人脸训练图像的正样本和负样本进行训练,得到训练结果;以及
认证单元,用于利用所述训练结果进行人脸认证。
8.根据权利要求7所述的人脸认证装置,其特征在于,所述第二提取单元包括:
编码模块,用于对所述多个人脸训练图像进行POEM编码计算;
第一获取模块,用于获取多个不同大小、不同位置的矩形;
遍历模块,用于按照所述多个矩形对进行POEM编码计算后的所述多个人脸训练图像中的每个人脸进行遍历,得到矩形内POEM编码的直方图;以及
特征模块,用于将所述直方图作为所述POEM特征。
9.根据权利要求7所述的人脸认证装置,其特征在于,所述融合单元包括:
第一向量模块,用于对于所述多个人脸训练图像的Gabor特征,对所述多个人脸训练图像中的每两个人脸训练图像对应的Gabor特征点的特征向量求内积,得到第一向量;
第二向量模块,用于对于所述多个人脸训练图像的POEM特征,对所述多个人脸训练图像中的每两个人脸训练图像对应的POEM特征的直方图计算卡方距离,得到第二向量;以及
样本模块,用于由所述第一向量和所述第二向量组合得到所述多个人脸训练图像的正样本和负样本。
10.根据权利要求7所述的人脸认证装置,其特征在于,所述训练单元包括:
第二获取模块,用于获取AdaBoost算法的训练目标,其中,所述训练目标包括识别率和/或误识率;以及
训练模块,用于利用所述训练目标对所述多个人脸训练图像的正样本和负样本进行训练直到达到所述训练目标。
11.根据权利要求7所述的人脸认证装置,其特征在于,所述训练单元包括:
形成模块,用于通过所述AdaBoost算法的训练形成人脸分类器,所述人脸分类器包括多级强分类器以及构成所述多级强分类器中每级强分类器的弱分类器,所述弱分类器由Gabor特征和POEM特征块组成,所述弱分类器包括特征的类型参数、位置参数、尺度参数、方向参数,以及由人脸识别率的设定目标确定的阈值参数和权重参数,所述阈值参数用于对人脸认证结果进行判定。
12.根据权利要求11所述的人脸认证装置,其特征在于,所述认证单元包括:
第三获取模块,用于获取第一待认证图像和第二待认证图像;
提取模块,用于按照所述人脸分类器的特征的类型参数、位置参数、尺度参数和方向参数分别提取所述第一待认证图像和所述第二待认证图像的Gabor特征和POEM特征;
计算模块,用于由所述第一待认证图像和所述第二待认证图像的Gabor特征和POEM特征计算所述第一待认证图像和所述第二待认证图像对应的Gabor特征的内积和POEM特征的卡方距离;以及
判断模块,用于利用所述人脸分类器通过所述阈值参数和所述权重参数对求得的所述内积和所述卡方距离进行判断以判断第一待认证图像和第二待认证图像是否是同一个人的人脸图像。
CN201310752853.6A 2013-12-31 2013-12-31 人脸认证方法和装置 Active CN103679158B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310752853.6A CN103679158B (zh) 2013-12-31 2013-12-31 人脸认证方法和装置
US15/107,067 US9898649B2 (en) 2013-12-31 2014-10-17 Face authentication method and device
PCT/CN2014/088867 WO2015101080A1 (zh) 2013-12-31 2014-10-17 人脸认证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310752853.6A CN103679158B (zh) 2013-12-31 2013-12-31 人脸认证方法和装置

Publications (2)

Publication Number Publication Date
CN103679158A true CN103679158A (zh) 2014-03-26
CN103679158B CN103679158B (zh) 2017-06-16

Family

ID=50316648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310752853.6A Active CN103679158B (zh) 2013-12-31 2013-12-31 人脸认证方法和装置

Country Status (3)

Country Link
US (1) US9898649B2 (zh)
CN (1) CN103679158B (zh)
WO (1) WO2015101080A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015101080A1 (zh) * 2013-12-31 2015-07-09 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105005763A (zh) * 2015-06-26 2015-10-28 李战斌 一种基于局部特征信息挖掘的人脸识别方法及系统
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN105740808A (zh) * 2016-01-28 2016-07-06 北京旷视科技有限公司 人脸识别方法和装置
CN106909894A (zh) * 2017-02-14 2017-06-30 北京深瞐科技有限公司 车辆品牌型号识别方法和系统
CN107273855A (zh) * 2017-06-17 2017-10-20 南京理工大学 基于高阶导数线性局部算子的光照不变人脸识别方法
CN107871100A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
WO2018090937A1 (zh) * 2016-11-18 2018-05-24 深圳云天励飞技术有限公司 图像处理方法、终端及存储介质
CN108429619A (zh) * 2018-01-18 2018-08-21 北京捷通华声科技股份有限公司 身份认证方法和系统
CN108921043A (zh) * 2018-06-08 2018-11-30 新疆大学 一种新融合算法的维吾尔族人脸识别方法
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置
CN109993127A (zh) * 2019-04-03 2019-07-09 浙江口信科技有限公司 一种基于人工智能的人脸图像识别方法
CN110175863A (zh) * 2019-04-18 2019-08-27 特斯联(北京)科技有限公司 一种基于大数据的个性化多用景区广告平台
CN110458102A (zh) * 2019-08-12 2019-11-15 深圳市商汤科技有限公司 一种人脸图像识别方法及装置、电子设备和存储介质
WO2020024737A1 (zh) * 2018-08-02 2020-02-06 腾讯科技(深圳)有限公司 生成人脸识别的负样本的方法、装置及计算机设备
CN110874602A (zh) * 2018-08-30 2020-03-10 北京嘀嘀无限科技发展有限公司 一种图像识别方法及装置
CN112381023A (zh) * 2020-11-20 2021-02-19 中武(福建)跨境电子商务有限责任公司 一种跨境电商快速身份识别方法及其识别系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105138973B (zh) * 2015-08-11 2018-11-09 北京天诚盛业科技有限公司 人脸认证的方法和装置
CN105809129A (zh) * 2016-03-07 2016-07-27 南京邮电大学 一种基于Gabor小波的多阈值LBP人脸识别方法
CN107992728B (zh) * 2016-10-27 2022-05-20 腾讯科技(深圳)有限公司 人脸验证方法及装置
CN108229120B (zh) * 2017-09-07 2020-07-24 北京市商汤科技开发有限公司 人脸解锁及其信息注册方法和装置、设备、程序、介质
CN108090470B (zh) 2018-01-10 2020-06-23 浙江大华技术股份有限公司 一种人脸对齐方法及装置
CN108596082A (zh) * 2018-04-20 2018-09-28 重庆邮电大学 基于图像扩散速度模型和色彩特征的人脸活体检测方法
CN108596093B (zh) * 2018-04-24 2021-12-03 北京市商汤科技开发有限公司 人脸特征点的定位方法及装置
CN108564130B (zh) * 2018-04-24 2022-03-08 南京师范大学 一种基于单演特征与多核学习的红外目标识别方法
KR20200024602A (ko) * 2018-08-28 2020-03-09 삼성전자주식회사 사용자 단말의 학습 방법 및 장치
US11373063B2 (en) * 2018-12-10 2022-06-28 International Business Machines Corporation System and method for staged ensemble classification
CN111881709A (zh) * 2019-05-03 2020-11-03 爱唯秀股份有限公司 人脸图像处理方法及装置
CN111339811B (zh) * 2019-08-27 2024-02-20 杭州海康威视系统技术有限公司 图像处理方法、装置、设备及存储介质
CN112766013A (zh) * 2019-10-21 2021-05-07 深圳君正时代集成电路有限公司 一种人脸识别中进行多级筛选的识别方法
CN114092864B (zh) * 2022-01-19 2022-04-12 湖南信达通信息技术有限公司 伪造视频的识别方法、装置、电子设备及计算机存储介质
CN115393658A (zh) * 2022-10-27 2022-11-25 垒途智能教科技术研究院江苏有限公司 一种基于婴儿肢体动作数据的分类器训练方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US20100232657A1 (en) * 2009-03-12 2010-09-16 Jie Wang Automatic Face Recognition
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928406B2 (en) * 2012-10-01 2018-03-27 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system
CN103136516B (zh) 2013-02-08 2016-01-20 上海交通大学 可见光与近红外信息融合的人脸识别方法及系统
CN103353936B (zh) 2013-07-26 2017-01-11 上海交通大学 人脸识别方法及系统
CN103679158B (zh) 2013-12-31 2017-06-16 北京天诚盛业科技有限公司 人脸认证方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404060A (zh) * 2008-11-10 2009-04-08 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
US20100232657A1 (en) * 2009-03-12 2010-09-16 Jie Wang Automatic Face Recognition
CN103268485A (zh) * 2013-06-09 2013-08-28 上海交通大学 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHANG W CH ET AL: "Histogram sequence of local gabor binary pattern for face description and identification", 《JOURNAL OF SOFTWARE》 *
王宁: "基于特征融合的人脸识别算法", 《中国优秀硕士论文库》 *
胡敏 等: "融合全局和局部特征的人脸识别", 《电子测量与仪器学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015101080A1 (zh) * 2013-12-31 2015-07-09 北京天诚盛业科技有限公司 人脸认证方法和装置
US9898649B2 (en) 2013-12-31 2018-02-20 Beijing Techshino Technology Co., Ltd. Face authentication method and device
CN105005763B (zh) * 2015-06-26 2019-04-16 李战斌 一种基于局部特征信息挖掘的人脸识别方法及系统
CN105005763A (zh) * 2015-06-26 2015-10-28 李战斌 一种基于局部特征信息挖掘的人脸识别方法及系统
CN105184778A (zh) * 2015-08-25 2015-12-23 广州视源电子科技股份有限公司 一种检测方法及装置
CN105184778B (zh) * 2015-08-25 2018-04-24 广州视源电子科技股份有限公司 一种检测方法及装置
CN105740808A (zh) * 2016-01-28 2016-07-06 北京旷视科技有限公司 人脸识别方法和装置
CN105740808B (zh) * 2016-01-28 2019-08-09 北京旷视科技有限公司 人脸识别方法和装置
CN107871100B (zh) * 2016-09-23 2021-07-06 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN107871100A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
US10467743B1 (en) 2016-11-18 2019-11-05 Shenzhen Intellifusion Technologies Co., Ltd. Image processing method, terminal and storage medium
WO2018090937A1 (zh) * 2016-11-18 2018-05-24 深圳云天励飞技术有限公司 图像处理方法、终端及存储介质
CN106909894A (zh) * 2017-02-14 2017-06-30 北京深瞐科技有限公司 车辆品牌型号识别方法和系统
CN106909894B (zh) * 2017-02-14 2018-08-14 北京深瞐科技有限公司 车辆品牌型号识别方法和系统
CN107273855A (zh) * 2017-06-17 2017-10-20 南京理工大学 基于高阶导数线性局部算子的光照不变人脸识别方法
CN109697399A (zh) * 2017-10-24 2019-04-30 普天信息技术有限公司 一种人脸表情识别方法及装置
CN108429619A (zh) * 2018-01-18 2018-08-21 北京捷通华声科技股份有限公司 身份认证方法和系统
CN108921043A (zh) * 2018-06-08 2018-11-30 新疆大学 一种新融合算法的维吾尔族人脸识别方法
WO2020024737A1 (zh) * 2018-08-02 2020-02-06 腾讯科技(深圳)有限公司 生成人脸识别的负样本的方法、装置及计算机设备
US11302118B2 (en) 2018-08-02 2022-04-12 Tencent Technology (Shenzhen) Company Limited Method and apparatus for generating negative sample of face recognition, and computer device
CN110874602A (zh) * 2018-08-30 2020-03-10 北京嘀嘀无限科技发展有限公司 一种图像识别方法及装置
CN109993127A (zh) * 2019-04-03 2019-07-09 浙江口信科技有限公司 一种基于人工智能的人脸图像识别方法
CN110175863A (zh) * 2019-04-18 2019-08-27 特斯联(北京)科技有限公司 一种基于大数据的个性化多用景区广告平台
CN110458102A (zh) * 2019-08-12 2019-11-15 深圳市商汤科技有限公司 一种人脸图像识别方法及装置、电子设备和存储介质
JP2022520120A (ja) * 2019-08-12 2022-03-28 深▲セン▼市商▲湯▼科技有限公司 顔画像認識方法及び装置、電気機器並びに記憶媒体
WO2021027343A1 (zh) * 2019-08-12 2021-02-18 深圳市商汤科技有限公司 一种人脸图像识别方法及装置、电子设备和存储介质
CN112381023A (zh) * 2020-11-20 2021-02-19 中武(福建)跨境电子商务有限责任公司 一种跨境电商快速身份识别方法及其识别系统

Also Published As

Publication number Publication date
US20170039418A1 (en) 2017-02-09
US9898649B2 (en) 2018-02-20
CN103679158B (zh) 2017-06-16
WO2015101080A1 (zh) 2015-07-09

Similar Documents

Publication Publication Date Title
CN103679158A (zh) 人脸认证方法和装置
Kang et al. Orientation robust text line detection in natural images
CN101739555B (zh) 假脸检测方法及系统、假脸模型训练方法及系统
CN102332086B (zh) 一种基于双阈值局部二进制模式的人脸识别方法
Liu et al. Learning the spherical harmonic features for 3-D face recognition
CN102938065B (zh) 基于大规模图像数据的人脸特征提取方法及人脸识别方法
CN103198303B (zh) 一种基于人脸图像的性别识别方法
Zhou et al. Histograms of categorized shapes for 3D ear detection
CN105138972A (zh) 人脸认证方法和装置
US20120093420A1 (en) Method and device for classifying image
CN105389593A (zh) 基于surf特征的图像物体识别方法
CN104517104A (zh) 一种基于监控场景下的人脸识别方法及系统
CN102163281B (zh) 基于AdaBoost框架和头部颜色的实时人体检测方法
CN103632132A (zh) 一种基于肤色分割和模板匹配的人脸检测与识别方法
CN101763507A (zh) 人脸识别方法及人脸识别系统
CN102663413A (zh) 一种面向多姿态和跨年龄的人脸图像认证方法
CN104778457A (zh) 基于多示例学习的视频人脸识别算法
CN101533466B (zh) 一种眼睛定位图像处理方法
CN102542243A (zh) 一种基于lbp图像和分块编码的虹膜特征提取方法
CN106022241A (zh) 一种基于小波变换及稀疏表示的人脸识别方法
Nanni et al. Ensemble of texture descriptors for face recognition obtained by varying feature transforms and preprocessing approaches
CN105809113A (zh) 三维人脸识别方法及应用其的数据处理装置
CN106056074A (zh) 一种基于区域稀疏的单张训练样本人脸识别方法
CN104573722A (zh) 基于三维点云的三维人脸种族分类装置和方法
CN104978569A (zh) 一种基于稀疏表示的增量人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee after: Beijing Eyes Intelligent Technology Co.,Ltd.

Address before: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee before: BEIJING TECHSHINO TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220323

Address after: 071800 Beijing Tianjin talent home (Xincheng community), West District, Xiongxian Economic Development Zone, Baoding City, Hebei Province

Patentee after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Patentee after: Beijing Eyes Intelligent Technology Co.,Ltd.

Address before: 100085, 1 floor 8, 1 Street, ten Street, Haidian District, Beijing.

Patentee before: Beijing Eyes Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Face authentication method and device

Effective date of registration: 20220614

Granted publication date: 20170616

Pledgee: China Construction Bank Corporation Xiongxian sub branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000332

PE01 Entry into force of the registration of the contract for pledge of patent right