CN107480628B - 一种人脸识别方法及装置 - Google Patents

一种人脸识别方法及装置 Download PDF

Info

Publication number
CN107480628B
CN107480628B CN201710680306.XA CN201710680306A CN107480628B CN 107480628 B CN107480628 B CN 107480628B CN 201710680306 A CN201710680306 A CN 201710680306A CN 107480628 B CN107480628 B CN 107480628B
Authority
CN
China
Prior art keywords
image
sub
sample
dissimilarity
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710680306.XA
Other languages
English (en)
Other versions
CN107480628A (zh
Inventor
张莉
张正齐
薛杨涛
王邦军
张召
李凡长
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201710680306.XA priority Critical patent/CN107480628B/zh
Publication of CN107480628A publication Critical patent/CN107480628A/zh
Application granted granted Critical
Publication of CN107480628B publication Critical patent/CN107480628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人脸识别方法及装置。其中,方法包括对获取到的待识别图像与包含多个用户的单幅样本图像的样本训练库进行图像分割,将待识别图像与各样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;计算待识别图像的各子图像与各样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到待识别图像与各所述样本图像的相异性值;根据各相异性值,利用最近邻分类器为待识别图像在样本训练库中匹配对应的用户。有效避免了传统的利用相似性识别由于训练样本少造成的准确率较低的现象;有利于提升单样本训练的人脸图像识别的准确性,从而提高人脸识别的准确率,以提高身份鉴别的安全性。

Description

一种人脸识别方法及装置
技术领域
本发明实施例涉及图像处理技术领域,特别是涉及一种人脸识别方法及装置。
背景技术
随着计算机技术与图像处理技术的飞跃发展,由于人脸与人体的其它生物特征(例如指纹、虹膜等)一样与生俱来,它的唯一性和不易复制等良好特性为身份鉴别提供了必要的前提,故其在公共安全领域得到了广泛的应用。人脸识别技术为一种利用分析比较人脸视觉特征信息,以进行身份鉴别的计算机技术。
人脸识别是用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测并跟踪人脸,进而对检测到的人脸的相关特征信息进行提取,然后根据相关特征信息进行识别,以此实现身份的鉴别。各类人脸识别的关键在于提取人脸数据中与身份相关的本质特征,减弱甚至消除与身份不相关的信息,例如环境光照、姿势、表情以及饰物。
通过监督的、半监督的或者无监督的方法,获得人脸图像的低维特征,使得原始面部样本的本质特征被很好地保存。然而,人脸识别中基于外观的方法的性能受训练样本数量的严重影响。在许多实际的人脸识别应用场景中,例如法律的实施、电子护照和身份证照片的验证等情况下,通常在这些系统中每个人都只登记了一个样本,即单样本,只能用这些非常有限的图像去训练人脸识别系统,因而产生了单样本人脸识别问题。
在单样本人脸识别中,多采用近邻分类方法,在该类方法中近邻的度量对整个人脸识别的准确率影响较大,现有的近邻度量方式为欧氏距离及曼哈顿距离,由于每个样本仅有的一幅存储人脸图像作为训练集,在复杂的情况下,即表情、姿势、光照、遮挡及拍摄、时间不同等因素的影响下,平均识别准确率较低,对于物体遮挡,尤其是下巴、嘴巴或者脖子附近有遮挡物的时候,识别效果很差。
故,如何利用单样本训练的人脸识别模型,提高人脸识别的准确度,从而提高身份鉴别的安全性,是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种人脸识别方法及装置,提高了单样本训练的人脸识别模型的识别准确度,从而提高人脸识别的准确率,以提高身份鉴别的安全性。
为解决上述技术问题,本发明实施例提供以下技术方案:
本发明实施例一方面提供了一种人脸识别方法,包括:
获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像;
将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;
计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值;
根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户。
可选的,所述计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性包括:
分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵;
根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
可选的,所述根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵包括:
利用下述公式计算第一协方差矩阵Rij与第二协方差矩阵R′ij
Figure BDA0001375298210000031
Figure BDA0001375298210000032
式中,x1j为待识别图像的第j幅子图像,x2j为样本图像的第j幅子图像,
Figure BDA0001375298210000035
为所述待识别图像和所述样本图像对应的转置子图像,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像对应的的第j幅子图像的第一协方差矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像对应的第j幅子图像的第二协方差矩阵;p为各所述子图像的行数,q为相应子图像的列数。
可选的,所述根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵包括:
根据下述公式构造第一联合矩阵、第二联合矩阵:
Figure BDA0001375298210000033
Figure BDA0001375298210000034
式中,Rj为第j幅子图像对应的第一联合矩阵,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像的对应第j幅子图像的第一协方差矩阵;R′j为第j幅子图像对应的第二联合矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像的对应第j幅子图像的第二协方差矩阵。
可选的,所述对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值包括:
对所述联合矩阵以特征向量为P0,特征值为对角化矩阵Λ,进行特征值分解,则有RjP0=P0Λ,以得到变化矩阵:
P=P0Λ-1/2
根据上式对第j幅子图像xij进行变化,得到:
yij=xijP0Λ-1/2
计算变化后第j幅子图像对应的协方差矩阵:
Figure BDA0001375298210000041
对上述协方差矩阵进行特征值分解,令其特征值为λj
可选的,所述利用下述公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性包括:
利用下述公式计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像对应的子图像的第一相异性值:
Figure BDA0001375298210000042
其中,ds为第一相异性值,q为第一协方差矩阵的特征值个数,λj为变化后的第一协方差矩阵的特征值;
利用下述公式计算所述待识别图像的第j幅转置子图像与第l个所述用户的样本图像对应的转置子图像的第二相异性值:
Figure BDA0001375298210000043
其中,ds′为第二相异性值,p为第二协方差矩阵的特征值个数,λj'为变化后的第二协方差矩阵的特征值;
根据所述第一相异性值与所述第二相异性值计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像的对应子图像的相异性:
Figure BDA0001375298210000051
可选的,所述将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值包括:
所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性集合为:
Dissl={dissl1,dissl2,...,disslN},l=1,…,t,N为预设块数;l为第l个所述用户对应的样本图像;
所述待识别图像与第l幅样本图像的相异性值为:
Figure BDA0001375298210000052
可选的,所述根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户包括:
所述样本训练库中的样本图像集为Y={Y1,Y2,...,Yt},利用下述识别规则对所述待识别图像进行识别:
Figure BDA0001375298210000053
k为所述待识别图像所属的类别。
本发明实施例另一方面提供了一种人脸识别装置,包括:
获取图像模块,用于获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像;
图像分割处理模块,用于将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;
相异性计算模块,用于计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值;
图像识别模块,用于根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户。
可选的,所述相异性计算模块包括:
协方差矩阵计算单元,用于分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵;
联合矩阵生成单元,用于根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
联合矩阵特征分解单元,用于对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
相异性计算单元,用于利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
本发明实施例提供了一种人脸识别方法,对获取到的待识别图像与包含多个用户的单幅样本图像的样本训练库进行图像分割,将待识别图像与各样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;计算待识别图像的各子图像与各样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到待识别图像与各所述样本图像的相异性值;根据各相异性值,利用最近邻分类器为待识别图像在样本训练库中匹配对应的用户。
本申请提供的技术方案的优点在于,在单样本的人脸识别领域中,由于每个用户的训练样本图像为单样本,利用待识别图像与各个用户的样本图像的相异性,可有效避免传统的利用相似性识别由于训练样本少造成的准确率较低的现象;此外,将待识别图像与样本图像进行分割,依次比较分割后的每幅子图像的相异性,一定程度上弥补了样本少的缺陷,有利于提升单样本训练的人脸图像识别的准确性,从而提高人脸识别的准确率,以提高身份鉴别的安全性。
此外,本发明实施例还针对人脸识别方法提供了相应的实现装置,进一步使得所述方法更具有实用性,所述装置具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种人脸识别方法的流程示意图;
图2为本发明实施例提供的一组示意性例子的待识别人脸图像;
图3为本发明实施例提供的人脸识别装置的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后,下面详细的说明本申请的各种非限制性实施方式。
首先参见图1,图1为本发明实施例提供的一种人脸识别方法的流程示意图,本发明实施例可包括以下内容:
S101:获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像。
待识别图像为当前需要识别的图像。样本训练库包含多幅单样本图像,即每幅图片与用户都是唯一对应,一个用户只有一幅图片作为样本。待识别图像对应的用户为样本训练库中某幅图像对应的用户,即从样本训练库中匹配到当前待识别图像对应的用户,以实现图像的人脸识别。
S102:将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像。
对待识别图像在垂直方向和水平方向上进行图像分割,可以为均匀分割,当然,也可为不均匀分割,例如在垂直方向和水平方向对待识别图像做n*m的均匀分割,分割的块数为N=n*m,可按照预设块数对图像进行分割,本领域技术人员可根据具体的实际情况对分割块数进行确定,例如n×m为3×3、4×4、5×5和10×10,举例来说,将图像进行2*3均匀分割,即是将图像水平方向上分割为二分,垂直方向分割为3分,总共分为6块子图像。分割后获得的子图像,可记为Z={Z1,Z2,……,Zi},Z为待识别图像,1到i分别按照从左上到右下的顺序进行排列,即第一行最左边第一张为Z1,直至第一行最后一张边;第二行最左边第一张,至第二行最后一张,等等,直至第n行最右边的最后一张Zi
对样本训练库中的每一幅样本图像都与待识别图像进行相同切割,即均匀性、子图像大小、子图像位置、子图像块数都相同的多幅子图像,命名规则与待识别图像的子图像一样。举例来说,待识别图像进行2*2的均匀分割,则每张样本图像都进行2*2的均匀分割。
训练样本库中包含多幅图像,可记为Y={Y1,Y2,...,Yt},1,2,……,t为样本图像的幅数,也就是样本训练库中包含的用户数。每一个样本图像Yt经过分割后,得到训练样本子图像集合Yt={yt1,yt2,...,ytN},其中N=n×m,即切割的块数,矩阵中的元素表示每个样本图像包括的子图像区块,共N块。
需要说明的是,为了保证待识别图像与样本图像中的各个细节都进行比较,且没有重复进行比较,在进行切割时,切割到的各个子图像互相不重叠。
S103:计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值。
单样本人脸识别问题采用近邻分类方法,其中近邻的度量是一个关键问题。近邻方法通常采用欧氏距离及曼哈顿距离,但是在复杂的情况下,即表情、姿势、光照、遮挡及拍摄、时间不同等因素的影响下,平均识别准确率较低,对于物体遮挡,尤其是下巴、嘴巴或者脖子附近有遮挡物的时候,识别效果很差。而通过比较两张图像的相异性,可有效的避免上述的问题。
在计算相异性,待识别图像需要与样本训练库中的每幅样本图像计算二者之间的相异性,例如样本训练库中包含10幅图像,需要依次与这10幅图像进行相异性比较,得到10组相异性值。
对于每个样本图像与待识别图像在进行相异性计算时,由于进行了分割处理,即需要先分别计算待识别图像的每幅子图像与该样本图像的对应的子图像的相异性,然后将多幅子图像的相异性融合平均,得到该个样本图像与待识别图像的相异性。
S104:根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户。
分别计算出待识别图像与样本训练库中的每幅样本图像之间的相异性后,相异性越小,证明两张图像的相似度就越高,也就是说待识别图像与相异性最小的一幅样本图像隶属于同一个用户,也即是实现了人脸识别。举例来说,样本训练库中包含10幅图像,待识别图像与10幅样本图像的相异性计算后,所得的10组相异性值分别为:0.8,0.6,0.1,0.25,0.4,0.9,0.3,0.6,0.4,0.7,第三幅样本图像与待识别图像的相异性值最小,即可认为第三幅样本图像对应的用户即为待识别图像的人脸。
在本发明实施例提供的技术方案中,在单样本的人脸识别领域中,由于每个用户的训练样本图像为单样本,利用待识别图像与各个用户的样本图像的相异性,可有效避免传统的利用相似性识别由于训练样本少造成的准确率较低的现象;此外,将待识别图像与样本图像进行分割,依次比较分割后的每幅子图像的相异性,一定程度上弥补了样本少的缺陷,有利于提升单样本训练的人脸图像识别的准确性,从而提高人脸识别的准确率,以提高身份鉴别的安全性。
在一种具体的实施方式下,计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性的过程可为:
A1:分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵。
任意两个对应的分别来自待识别图像Z和样本图像Yt的子图像区块Zi和yit,令子图像的大小为p×q。不失一般性,令x1=zi和x2=yit。如果一个数据集构成的样本矩阵为p×q,则p和q有确定的含义,或为样本个数,或为样本维数。但是对一个p×q的子图像而言,其行列并不能代表样本的维数或者个数。鉴于此,可分别考虑两种情形,即子图像本身和其转置后的图像,因而可以构造如下两个与xi相关的协方差矩阵Rij∈Rq×q和R′ij∈Rp×p。协方差矩阵的具体计算过程可为:
利用下述公式计算第一协方差矩阵Rij(Rij∈Rq×q)与第二协方差矩阵R′ij(R′ij∈Rp ×p):
Figure BDA0001375298210000101
Figure BDA0001375298210000102
式中,x1j为待识别图像的第j幅子图像,x2j为样本图像的第j幅子图像,
Figure BDA0001375298210000103
为所述待识别图像和所述样本图像对应的转置子图像,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像对应的的第j幅子图像的第一协方差矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像对应的第j幅子图像的第二协方差矩阵;p为各所述子图像的行数,q为相应子图像的列数。
A2:根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
由于对于每幅子图像存在两个协方差矩阵,故同时具有两个联合矩阵,可根据下述公式构造第一联合矩阵、第二联合矩阵:
Figure BDA0001375298210000111
Figure BDA0001375298210000112
式中,Rj为第j幅子图像对应的第一联合矩阵,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像的对应第j幅子图像的第一协方差矩阵;R′j为第j幅子图像对应的第二联合矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像的对应第j幅子图像的第二协方差矩阵。
A3:对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
对所述联合矩阵以特征向量为P0,特征值为对角化矩阵Λ,进行特征值分解,则有RjP0=P0Λ,以得到变化矩阵:
P=P0Λ-1/2
根据上式对第j幅子图像xij进行变化,得到:
yij=xijP0Λ-1/2
计算变化后第j幅子图像对应的协方差矩阵:
Figure BDA0001375298210000113
对上述协方差矩阵进行特征值分解,令其特征值为λj
A4:利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
每幅子图像对应构造了两个矩阵,故有两个相异性值,即第一相异性值,第二相异性值,具体计算过程可为:
利用下述公式计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像对应的子图像的第一相异性值:
Figure BDA0001375298210000121
其中,ds为第一相异性值,q为第一协方差矩阵的特征值个数,λj为变化后的第一协方差矩阵的特征值。
其中,第l个所述用户即为样本训练库中包含的多个用户中的任意一个用户,由于每个用户对应一张图像,第l个所述用户的样本图像也即为样本训练库中的第l幅样本图像。
需要说明的是,p×q为分割的子图像的大小,即子图像的行和列,并不需要计算,是直接从样本图像上分割下来的;而因为做特征分解的矩阵分别是p×p和q×q的,所以特征值个数也是q或p。
相异性ds在0到1之间变化,当两个数据集彼此相似时,ds的值一定接近于0,然而,当两个数据集彼此完全不一样时,ds的值一定接近于1。
利用下述公式计算所述待识别图像的第j幅转置子图像与第l个所述用户的样本图像对应的转置子图像的第二相异性值:
Figure BDA0001375298210000122
其中,ds′为第二相异性值,p为第二协方差矩阵的特征值个数,λj'为变化后的第二协方差矩阵的特征值;
相异性ds'在0到1之间变化,当两个数据集彼此相似时,ds'的值一定接近于0,然而,当两个数据集彼此完全不一样时,ds'的值一定接近于1。
根据所述第一相异性值与所述第二相异性值计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像的对应子图像的相异性:
Figure BDA0001375298210000123
计算出待识别图像的每一幅子图像与一个样本图像对应的子图像的相异性之后,将这些子图像的相异性可进行算数平均值计算,作为该样本图像与待识别图像的相异性。
按照上述方法重复计算样本训练库中每个样本图像与待识别图像的相异性,可得待识别图像的各子图像与各所述样本图像对应的子图像的相异性集合可为:
Dissl={dissl1,dissl2,...,disslN},l=1,…,t,N为预设块数;l为第l个所述用户对应的样本图像;
所述待识别图像与第l幅样本图像的相异性值可表示为:
Figure BDA0001375298210000131
在一种具体的实施方式中,图像的识别可为:
所述样本训练库中的样本图像集为Y={Y1,Y2,...,Yt},利用下述识别规则对所述待识别图像进行识别:
Figure BDA0001375298210000132
k为所述待识别图像所属的类别。
即分别计算出各个样本图像与待识别图像的相异性之后,取相异性值最小的样本,待识别图像隶属该样本图像。
为了让本领域技术人员更加清楚本申请提供的技术方案的实用性,本申请还提供了具体的例子,以证明本申请提供的技术方案的有效性与准确率。
请参阅图2所示,图2为用户的6幅待识别图像,样本数据库中为包含该用户在内的100个用户的AR面部图像数据库。分别采用本申请提供的技术方案、DMMA(DiscriminativeMultimanifold Analysis,判别多流形分析方法)、曼哈顿距离、欧式距离对这6幅图像进行人脸识别,得到的试验结果见表1所示:
表1 基于围巾遮挡影响下四种单样本人脸识别方法实验结果
Figure BDA0001375298210000141
由表中实验数据可知,在图2所示六个图像集上,四种单样本人脸识别方法在每个图像集上的识别准确率各不相同。在六个基于围巾遮挡的子图像集上,每一个子图像集上,基于相异性的单样本人脸识别方法都远远高于基于距离度量的两种单样本人脸识别方法以及DMMA方法。相异性的单样本人脸识别方法的平均识别准确率远远要比基于距离度量的两种单样本人脸识别方法以及DMMA方法的平均识别准确率要高,由此可以认为,在有围巾遮挡的情况下,基于相异性的单样本人脸识别方法的识别效果远远要比其他两种基于距离度量的方法要好,能够发挥最好的识别效果。
本发明实施例还针对人脸识别方法提供了相应的实现装置,进一步使得所述方法更具有实用性。下面对本发明实施例提供的人脸识别装置进行介绍,下文描述的人脸识别装置与上文描述的人脸识别方法可相互对应参照。
参见图3,图3为本发明实施例提供的人脸识别装置在一种具体实施方式下的结构图,该装置可包括:
获取图像模块301,用于获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像;
图像分割处理模块302,用于将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;
相异性计算模块303,用于计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值;
图像识别模块304,用于根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户。
在一种具体的实施方式中,所述相异性计算模块303可包括:
协方差矩阵计算单元3031,用于分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵;
联合矩阵生成单元3032,用于根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
联合矩阵特征分解单元3033,用于对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
相异性计算单元3034,用于利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
所述相异性计算模块303还可包括:
均值计算单元3035,用于所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性集合为:
Dissl={dissl1,dissl2,...,disslN},l=1,…,t,N为预设块数;l为第l个所述用户对应的样本图像;所述待识别图像与第l幅样本图像的相异性值为:
Figure BDA0001375298210000161
在另外一种实施方式下,所述图像识别模块304可为所述样本训练库中的样本图像集为Y={Y1,Y2,...,Yt},利用下述识别规则对所述待识别图像进行识别:
Figure BDA0001375298210000162
k为所述待识别图像所属的类别的模块。
本发明实施例所述人脸识别装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本发明实施例在单样本的人脸识别领域中,由于每个用户的训练样本图像为单样本,利用待识别图像与各个用户的样本图像的相异性,可有效避免传统的利用相似性识别由于训练样本少造成的准确率较低的现象;此外,将待识别图像与样本图像进行分割,依次比较分割后的每幅子图像的相异性,一定程度上弥补了样本少的缺陷,有利于提升单样本训练的人脸图像识别的准确性,从而提高人脸识别的准确率,以提高身份鉴别的安全性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种人脸识别方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种人脸识别方法,其特征在于,包括:
获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像;
将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;
计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值;
根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户;
其中,所述计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性包括:
分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵;
根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
2.根据权利要求1所述的人脸识别方法,其特征在于,所述根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵包括:
利用下述公式计算第一协方差矩阵Rij与第二协方差矩阵R′ij
Figure FDA0002498085730000011
Figure FDA0002498085730000012
式中,x1j为待识别图像的第j幅子图像,x2j为样本图像的第j幅子图像,
Figure FDA0002498085730000013
为所述待识别图像和所述样本图像对应的转置子图像,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像对应的的第j幅子图像的第一协方差矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像对应的第j幅子图像的第二协方差矩阵;p为各所述子图像的行数,q为相应子图像的列数。
3.根据权利要求2所述的人脸识别方法,其特征在于,所述根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵包括:
根据下述公式构造第一联合矩阵、第二联合矩阵:
Figure FDA0002498085730000021
Figure FDA0002498085730000022
式中,Rj为第j幅子图像对应的第一联合矩阵,R1j为所述待识别图像的第j幅子图像的第一协方差矩阵,R2j为所述样本图像的对应第j幅子图像的第一协方差矩阵;R′j为第j幅子图像对应的第二联合矩阵,R′1j为所述待识别图像的第j幅子图像的第二协方差矩阵,R′2j为所述样本图像的对应第j幅子图像的第二协方差矩阵。
4.根据权利要求3所述的人脸识别方法,其特征在于,所述对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值包括:
对所述联合矩阵以特征向量为P0,特征值为对角化矩阵Λ,进行特征值分解,则有RjP0=P0Λ,以得到变化矩阵:
P=P0Λ-1/2
根据上式对第j幅子图像xij进行变化,得到:
yij=xijP0Λ-1/2
计算变化后第j幅子图像对应的协方差矩阵:
Figure FDA0002498085730000023
对上述协方差矩阵进行特征值分解,令其特征值为λK
5.根据权利要求4所述的人脸识别方法,其特征在于,所述利用下述公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性包括:
利用下述公式计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像对应的子图像的第一相异性值:
Figure FDA0002498085730000031
其中,ds为第一相异性值,q′为第一协方差矩阵的特征值个数,λK为变化后的第一协方差矩阵的特征值;
利用下述公式计算所述待识别图像的第j幅转置子图像与第l个所述用户的样本图像对应的转置子图像的第二相异性值:
Figure FDA0002498085730000032
其中,ds′为第二相异性值,p′为第二协方差矩阵的特征值个数,λK'为变化后的第二协方差矩阵的特征值;
根据所述第一相异性值与所述第二相异性值计算所述待识别图像的第j幅子图像与第l个所述用户的样本图像的对应子图像的相异性:
Figure FDA0002498085730000033
6.根据权利要求5所述的人脸识别方法,其特征在于,所述将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值包括:
所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性集合为:
Dissl={dissl1,dissl2,...,disslN},l=1,…,t,N为预设块数;l为第l个所述用户对应的样本图像;
所述待识别图像与第l幅样本图像的相异性值为:
Figure FDA0002498085730000034
7.根据权利要求6所述的人脸识别方法,其特征在于,所述根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户包括:
所述样本训练库中的样本图像集为Y={Y1,Y2,...,Yt},利用下述识别规则对所述待识别图像进行识别:
Figure FDA0002498085730000035
k为所述待识别图像所属的类别。
8.一种人脸识别装置,其特征在于,包括:
获取图像模块,用于获取待识别图像与样本训练库,所述样本训练库包含多个用户的单幅样本图像;
图像分割处理模块,用于将所述待识别图像与各所述样本图像分割为相同预设块数、位置一一对应、不重叠的多幅子图像;
相异性计算模块,用于计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性,将各个子图像的相异性值进行平均值融合计算,以得到所述待识别图像与各所述样本图像的相异性值;
图像识别模块,用于根据各所述相异性值,利用最近邻分类器为所述待识别图像在所述样本训练库中匹配对应的用户;
其中,所述相异性计算模块包括:
协方差矩阵计算单元,用于分别计算所述待识别图像、各所述样本图像的每幅子图像对应的转置子图像,根据所述子图像与对应的转置子图像计算每幅所述子图像的协方差矩阵;
联合矩阵生成单元,用于根据所述待识别图像的子图像的协方差矩阵,及所述样本图像的对应子图像的协方差矩阵构造联合矩阵;
联合矩阵特征分解单元,用于对所述联合矩阵进行特征值分解,以获得所述联合矩阵的特征值;
相异性计算单元,用于利用预设相异性公式计算所述待识别图像的各子图像与各所述样本图像对应的子图像的相异性。
CN201710680306.XA 2017-08-10 2017-08-10 一种人脸识别方法及装置 Active CN107480628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710680306.XA CN107480628B (zh) 2017-08-10 2017-08-10 一种人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710680306.XA CN107480628B (zh) 2017-08-10 2017-08-10 一种人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN107480628A CN107480628A (zh) 2017-12-15
CN107480628B true CN107480628B (zh) 2020-08-25

Family

ID=60599998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710680306.XA Active CN107480628B (zh) 2017-08-10 2017-08-10 一种人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN107480628B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776782A (zh) * 2018-05-31 2018-11-09 北京益泰电子集团有限责任公司 一种身份鉴定方法及身份鉴定系统
CN111382656A (zh) * 2019-04-02 2020-07-07 深圳市鸿合创新信息技术有限责任公司 一种图像识别方法、装置、电子设备及存储介质
CN113537410B (zh) * 2021-09-14 2021-12-07 征图新视(江苏)科技股份有限公司 一种通用的深度学习正样本自动均衡方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN105224957A (zh) * 2015-10-23 2016-01-06 苏州大学 一种基于单样本的图像识别的方法及系统
CN105303151A (zh) * 2014-06-30 2016-02-03 深圳Tcl新技术有限公司 人脸相似度的检测方法和装置
CN106897700A (zh) * 2017-02-27 2017-06-27 苏州大学 一种单样本人脸识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN105303151A (zh) * 2014-06-30 2016-02-03 深圳Tcl新技术有限公司 人脸相似度的检测方法和装置
CN105224957A (zh) * 2015-10-23 2016-01-06 苏州大学 一种基于单样本的图像识别的方法及系统
CN106897700A (zh) * 2017-02-27 2017-06-27 苏州大学 一种单样本人脸识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CUDA 共享内存在人脸表情识别中的应用;夏春芬 等;《HHME2010、NCMT2010、CHCI2010、PCC2010论文集》;20101231;第1-6页 *

Also Published As

Publication number Publication date
CN107480628A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
US10565433B2 (en) Age invariant face recognition using convolutional neural networks and set distances
CN107423690B (zh) 一种人脸识别方法及装置
Ramachandra et al. Towards making morphing attack detection robust using hybrid scale-space colour texture features
EP2676224B1 (en) Image quality assessment
Sarfraz et al. Head Pose Estimation in Face Recognition Across Pose Scenarios.
CN103136516B (zh) 可见光与近红外信息融合的人脸识别方法及系统
JP2007272897A (ja) 文脈支援型人間識別のためのデジタル画像処理方法および装置
CN105243376A (zh) 一种活体检测方法和装置
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
El Khiyari et al. Age invariant face recognition using convolutional neural networks and set distances
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
CN107480628B (zh) 一种人脸识别方法及装置
CN112183504B (zh) 一种基于非接触式手掌静脉图像的视频注册方法及装置
Proenca et al. Joint head pose/soft label estimation for human recognition in-the-wild
WO2013181695A1 (en) Biometric verification
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
CN110852292B (zh) 一种基于跨模态多任务深度度量学习的草图人脸识别方法
Bekhet et al. Gender recognition from unconstrained selfie images: a convolutional neural network approach
Wu et al. Kinship verification from faces: Methods, databases and challenges
Benlamoudi et al. Face spoofing detection using multi-level local phase quantization (ML-LPQ)
Booysens et al. Ear biometrics using deep learning: A survey
CN108427923B (zh) 一种掌纹识别方法及装置
Goud et al. Smart attendance notification system using SMTP with face recognition
CN113705310A (zh) 特征学习的方法、目标物体的识别方法和对应装置
CN110287973B (zh) 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant