CN105426836B - 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法 - Google Patents

一种基于分部式模型和稀疏成分分析的单样本人脸识别方法 Download PDF

Info

Publication number
CN105426836B
CN105426836B CN201510788322.1A CN201510788322A CN105426836B CN 105426836 B CN105426836 B CN 105426836B CN 201510788322 A CN201510788322 A CN 201510788322A CN 105426836 B CN105426836 B CN 105426836B
Authority
CN
China
Prior art keywords
face
facial image
formula
priori
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510788322.1A
Other languages
English (en)
Other versions
CN105426836A (zh
Inventor
王斌
王存刚
张静
周小平
张倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201510788322.1A priority Critical patent/CN105426836B/zh
Publication of CN105426836A publication Critical patent/CN105426836A/zh
Application granted granted Critical
Publication of CN105426836B publication Critical patent/CN105426836B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于分部式模型和稀疏成分分析的单样本人脸识别方法,首先,将人脸图像分解成若干部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合,理想的“部分”是眼部或者嘴部等区域。接着,为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模。紧接着,基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度。最后,对于输入人脸,根据相似度度量计算数据库与之最相似的人脸,输出其标签,完成单样本人脸识别。

Description

一种基于分部式模型和稀疏成分分析的单样本人脸识别方法
技术领域
本发明涉及计算机视觉、模式识别和图像处理方法和设备,尤其涉及一种基于分部式模型和稀疏成分分析的单样本人脸识别方法、及设备。
背景技术
作为生物特征识别的一个分支,人脸识别在近些年来成为国内外研究者十分关注的研究领域。目前有很多用于人脸识别的人脸表示方法,在这些方法中,基于成分分析的方法被广泛用来人脸识别和分析。成分分析方法旨在寻找一组基,使得其表示训练数据的误差最小。作为成分分析方法的一类,分部式表示在很多视觉应用,尤其是人脸表示方面,取得了很好的效果。这是因为人脸具有典型的结构。分部式表示方法期望基对应训练图像的某些语义部分,并且用这些部分的组合来表示人脸图像。
分部式表示的方法促使其成分稀疏化,并期望其成分能够捕捉给定图片的语义部分,这些方法用分部式的方式表示图像,其中的每个部分,像整体式方法一样用一组基表示。在这些方法中,多因素因子分析(Multiple Cause Factor Analysis,MCFA)具有较好的性能。MCFA从给定数据中学习一个共同的空间分割,并且把分割得到的每个部分用离散的状态空间或者线性空间建模。这个方法在对齐人脸上效果尤其好。尽管如此,该方法学习到的部分有可能是非连续的,并且它的部分没有从稀疏成分表示中获益。
与此同时,最近的研究发现稀疏成分分析在计算机视觉应用中取得很好的效果,并被用来人脸表示和合成。稀疏成分分析的思想是:从训练样本中学习一组过完备基;但在表示每个样本时,只使用或激活尽可能少的基。该思想具有生理学基础,从编码的角度而言,稀疏成分分析非常有效并且对数据变化很鲁棒。所有上述方法中,观测数据x∈R表示为随机线性系统x=Wz+μ+ε的输出,其中W∈RD×M是由M个成分组成的矩阵;z∈RM×1是与M个成分相对应的组合系数向量;μ∈RD×1是均值向量;ε∈RD×1是随机噪声向量。稀疏编码促使组合系数z的元素是稀疏的。与主成分分析法相比,稀疏成分分析学习到的基和样本本身比较接近,这在一定程度上可以解释稀疏成分分析在图像恢复和识别上的鲁棒性。尽管如此,稀疏成分分析用整体式方法表示图像,因此它的缺点是在人脸表示方面不够灵活。
发明内容
本发明的目的在于针对现有方法的不足,提出一种基于分部式模型和稀疏成分分析的单样本人脸识别方法,克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足。
本发明第一个方面是提供一种基于分部式模型和稀疏成分分析的单样本人脸识别方法和设备,克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足。
本发明第一个方面提供了一种基于分部式模型和稀疏成分分析的单样本人脸识别方法,包括:
——将人脸图像分解成多个部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合;
——为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模;
——基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度;
——对于输入人脸,根据相似度度量计算数据库与之最相似的人脸,输出其标签,完成单样本人脸识别。
其中,所述人脸图像分解成的多个部分,至少有一个部分包括眼部或者嘴部。
本发明的一种优选实施例中,所述方法包括:
步骤1,将人脸图像分解成多个部分,实现人脸分割
人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验:rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先验P1(rm.)施加在r.l=(r1l,...,rMl)之上,该先验记作P2(rm.),两种先验P1(rm.)、P2(rm.)用PoE结合起来,其中每个先验是一个专家,即:
其中Zm为分割函数;施加在R={rm.}上的完整先验为如下公式(1),
其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集,近邻的数目设为|Mm|=4;
步骤2,为每个人脸部分学习稀疏成分分析模型
令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分分析模型:
其中,K是基的数目;为第l个部分的过完备基;
步骤3、逐像素地产生一副图片
对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第l个稀疏成分分析模型中产生一个像素。对部分的选择由随机二值向量rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个部分被选中时,rml=1;得到下述模型:
其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;
令Z={zlk},将式(2)代入式(3)中,可以得到下式:
考虑到式(4)的第一个等式,观测变量x的条件分布可表示为:
步骤4,导出可以表示人脸的产生式模型
导出本发明中人脸表示的产生式模型P(x,Z,R):
其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合;
步骤5,采用Monto Carlo EM算法学习步骤4导出的产生式模型的参数
Monto Carlo EM算法是下列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)
步骤6,基于学习好的产生式模型导出人脸特征,并基于该特征定义相似度函数;
步骤7,使用上述产生式模型和相似度函数进行单样本人脸图像识别。
其中,步骤6中,导出人脸特征方法优选为:
P(Zc|xc)编码了与样本xc相关的信息,使用投影的组合作为xc的特征hc
其中,步骤6中,定义相似度函数的方法优选为:
定义样本xc和样本xb之间的相似度为以下加权内积:
其中V为表示人脸基权值的对角矩阵。
本发明第二个方面提供了一种基于分部式模型和稀疏成分分析的单样本人脸识别设备,包括:
——人脸图像库;
——人脸图像采集装置,采集并输入人脸图像;
——处理器,处理器包括
——人脸图像分解模块,将采集的人脸图像分解成多个部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合;
——人脸图像建模模块,为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模;
——学习模块,基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度;
——输出模块,对于输入人脸,根据相似度度量人脸图像库中与之最相似的人脸,输出度量结果,完成单样本人脸识别。
其中,所述人脸分割方法优选为:
人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验:rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先验P1(rm.)施加在r.l=(r1l,...,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.)用PoE结合起来,其中每个先验是一个专家,即:
其中Zm为分割函数;
P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),
其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集,近邻的数目设为|Mm|=4。
其中,所述学习稀疏成分分析模型的方法优选为:
令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分分析模型:
其中,K是基的数目;为第l个部分的过完备基。
其中,所述人脸图像建模方法优选为:
对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个部分被选中时,rml=1;得到下述模型:
其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;
令Z={zlk},将式(2)代入式(3)中,可以得到下式:
观测变量x的条件分布表示为:
导出本发明中人脸表示的产生式模型P(x,Z,R):
其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合。
其中,所述学习人脸图像的特征的方法优选为包括:采用Monto Carlo EM算法学习步骤4导出的产生式模型的参数。
更优选地,所述Monto Carlo EM算法优选为:下列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)。
其中,导出人脸图像的特征的方法优选为:
P(Zc|xc)编码了与样本xc相关的信息,使用投影的组合作为xc的特征hc
其中,定义相似度的方法优选为:
定义样本xc和样本xb之间的相似度为以下加权内积:
其中V为表示人脸基权值的对角矩阵。
本发明结合了分部式表示的灵活性和稀疏成分分析的鲁棒性,克服了分部式表示和稀疏成分分析各自在人脸表示方面的不足,与现有方法相比,本发明的有益效果包括:
(1)结合了分部式表示的灵活性和稀疏成分分析的鲁棒性。
(2)使用PoE(product of experts)来推导连续性先验,并用连续性先验帮助学习连续和灵活的人脸部分。
(3)使用稀疏成分分析模型来表示每一个人脸部分,而不是离散的状态空间。
(4)可以利用无标签样本的信息,获取有标签的训练数据通常代价高昂,而本发明在少量有标签训练样本的情况下也可以很好得工作。
(5)该模型可以采用离线的方式训练,因此它有很高的计算效率,可以胜任实时计算。
附图说明
图1为基于分部式稀疏成分分析模型的单样本人脸识别方法流程图。
图2为实施例人脸图像库的示例图像。
图3为本发明学习出的人脸部分(B)与其他方法学习出的人脸部分(A)的对比图。
图4为本发明评估在实施例图像库上参数对识别效果的影响。
具体实施方式
以下结合具体实施例和附图对本发明的技术方案做更详细的阐述,操作的流程图如图1所示。以下实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和过程,但本发明的保护范围不限于下述的实施例。
本发明的具体实施例为使用CBCL人脸数据库学习人脸部分先验,并把它迁移到PIE人脸数据库上(如图2所示),完成人脸识别。
下面结合附图对本发明的实施方式做更具体的说明,详述如下(使用Visual C++编程实现):
步骤10,提供人脸图像训练集。
本实施例使用CBCL人脸数据库来学习人脸部分先验,并将它迁移到PIE人脸数据库上的识别实验中。部分的数目设置为L=6,基的数目设置为K=200(<M)。
步骤20,学习人脸表示模型,包括:
——步骤21,学习人脸部分先验,实现人脸分割
人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择记录在变量rm.=(rm1,...,rmL)T中,该变量服从Multinomial先验:rm.~Mult(n=1,αm.),其中αm.=(αm1,...,αmL)T,该先验记作P1(rm.),并将先验P1(rm.)施加在r.l=(r1l,...,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.)用PoE结合起来,其中每个先验是一个专家,即:
其中Zm为分割函数。
P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),
其中,Z0=∏mZm是起归一化作用的函数,Mm是变量rml的相邻变量集,近邻的数目设为|Mm|=4。
——步骤22、23,使用人脸部分先验学习稀疏成分分析模型。
在适当归一化的人脸图像中,各器官具有相似的相对位置。对于本发明中的模型,这意味着所有的人脸共享相同的变量R和定义部分的α。在本次实施过程中,固定人脸部分先验,重复使用学习到的参数α0并固定α=α0,离线学习稀疏成分分析模型。具体如下:
令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分分析模型:
其中,K是基的数目;为第l个部分的过完备基。
对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量rm.=(rm1,...,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个部分被选中时,rml=1;得到下述模型:
其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,...,αmL)T为多项式分布的参数;
令Z={zlk},将式(2)代入式(3)中,可以得到下式:
考虑到式(4)第一个等式,观测变量x的条件分布可以表示为:
——步骤23、导出学习的人脸表示模型。
导出本发明中人脸表示的产生式模型P(x,Z,R):
其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合。
采用Monto Carlo EM算法学习导出的产生式模型的参数,完整的算法是下列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(-Step)(2)利用采样得到的样本更新参数θ(-Step)
如图3所示,上图(A组)是其他方法学习出的人脸部分,下图(B组)为本发明学习出的人脸部分。第l列是定义部分的参数α.l的可视化,像素值表示该像素属于部分的概率。
本发明学习出的人脸部分和其他方法学习出的人脸部分相比有以下特点:学习出的分割为软分割,即部分的相邻边界处有重叠,软分割在人脸合成中的效果更好。
步骤30、基于稀疏成分分析模型导出人脸特征。
由于后验分布P(Zc|xc),P(Zc|xc)编码了与样本xc相关的信息,本发明使用投影的组合作为xc的特征hc
同样,获得样本xb的特征hb
步骤40、定义人脸样本之间的相似度。
基于导出的人脸特征,定义样本xc和xb之间的相似度为以下加权内积:
其中V为表示人脸基权值的对角矩阵,通过最大化类间距离确定,该相似度度量可以无缝地与概率产生式模型结合。
根据Gibbs采样法得到Zc、tc的样本,并用这些样本估计分布P(Zc,tc|xc)和投影hc
步骤50、基于分部式稀疏成分分析模型和相似度函数进行单样本人脸识别。
有了人脸图像的特征导出方式和人脸图像之间的相似度度量,下面进行PIE人脸数据库上的单个样本人脸识别。单样本人脸识别在实际中非常有价值,这是因为,实际应用中每个人通常只有一个或者很少的样本。对于C个人的检索问题,训练集由两部分组成:第一部分是来自C个人的C幅有标签的人脸图片,另外一部分是来自其他任何人的无标签样本。单样本人脸识别的目标是,基于训练集训练模型,并借助于模型为输入的测试样本指定标签。具体来说,输入一副测试人脸图片,计算其与训练集中每一副人脸图像之间的相似度,找出与测试图像最相似的,输出其标签,完成人脸识别。
PIE人脸库是个很有挑战性的人脸库,它包括41368幅人脸图像,这些图像在光照、照明和姿势变化的情况下从68个人上获取。实验中选用正面姿势(C27),每个人选取49幅人脸图片。所有的图片被归一化到大小为32×32的灰度图像。对于每个人,随机选择30幅图片作为训练集,剩下的图片作为测试集。对于训练集中的每个人,随机选择一副图片并给它标签,剩余的29幅图片没有标签。识别过程根据相似度函数,将每幅无标签或者测试图片分配给离它最近(最相似)的有标签的样本。
为了验证本发明的有效性,在实施例上和所涉领域的最新方法做了比较。这些方法包括多因素因子分析(Multiple Cause Factor Analysis,MCFA)、结构化稀疏主成分分析(Structured Sparse Principle Component Analysis,SSPCA)、图正则化非负矩阵分解(Graph Regularized Nonnegative Matrix Factorization,GNMF)、局部线性嵌入(LocalLinear Embedding,LLE)和半监督判别分析(Semi-Supervised Discriminant Analysis,SSDA)。对于方法SSDA,引用文献里的结果;对于方法GNMF和LLE,使用作者发布的程序或者建议的参数;对于成分分析方法,即本发明中所述方法、MCFA和SSPCA,使用离线交叉验证法选择参数。
所有这些方法,首先从无标签训练数据中学习模型,然后导出相似度函数并用于检索。实验重复测试了30轮。每轮中随机从每个人的样本中选择一个并赋予标签,最后给出平均结果。根据离线交叉验证,MCFA和SSPCA在实施例上参数设置为:L=6和K=200,本发明在实施例上的参数设为L=6和K=20。本发明还评估了这些参数对识别效果的影响,实验结果如图4和表1所示。PIE人脸数据库上识别正确率如表1所示,基准方法是最近邻分类,它直接使用像素,没有利用标签信息。
表1,本发明与现有技术识别效果的对比
方法 无标签样本准确率 测试样本准确率
基准方法 24.79±1.49 24.31±1.58
Eigenface 21.31±1.42 20.74±1.50
SDA 39.93±2.94 39.47±3.26
LLE 47.56±2.65 47.32±2.81
GNMF 49.34±2.73 49.02±2.87
MCFA 34.67±2.16 34.38±2.24
SSPCA 39.04±2.82 38.96±2.98
本发明 51.76±2.16 51.34±2.58
本发明使用相似度函数SPD,效果优于SSDA、LLE和其他的方法。图4为本发明(PSCA+SPD)、MCFA(MCFA+SPD)和SPCA(SSPCA+SPD)识别准确率随参数L(部分数目)的变化。如图4所示,随着L的变化,本发明一致地优于另外两种方法,且在L=5,6时取得最好结果。
以上对本发明的具体实施例进行了详细描述,但其只是作为范例,本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言,任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此,在不脱离本发明的精神和范围下所作的均等变换和修改,都应涵盖在本发明的范围内。

Claims (8)

1.一种基于分部式模型和稀疏成分分析的单样本人脸识别方法,其特征在于,步骤包括:
——将人脸图像分解成多个部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合;
——为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模;
——基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度;
——对于输入人脸,根据相似度度量计算数据库与之最相似的人脸,输出其标签,完成单样本人脸识别,
步骤1,将人脸图像分解成多个部分,实现人脸分割
人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择记录在变量rm.=(rm1,…,rmL)T中,该变量服从Multinomial先验:rm.~Mult(n=1,αm.),其中αm.=(αm1,…,αmL)T,该先验记作P1(rm.),并将先验P1(rm.)施加在r.l=(r1l,…,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.)用PoE结合起来,其中每个先验是一个专家,即:
其中Zm为分割函数;
P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),
其中,Z0=ПmZm是起归一化作用的函数,Mm是变量m的相邻变量集,近邻的数目设为|Mm|=4;
步骤2,为每个人脸部分学习稀疏成分分析模型
令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分分析模型:
其中,K是基的数目;为第l个部分的过完备基;
步骤3,逐像素地产生一副图片
对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量rm.=(rm1,…,rmL)T记录,其中rml∈{0,1},l=1,…,L服从Multinomial先验式,当第l个部分被选中时,rml=1;得到下述模型:
rm.~Multi(n=1,αm.) (3)
其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,…,αmL)T为多项式分布的参数;
令Z={zlk},将式(2)代入式(3)中,可以得到下式:
观测变量x的条件分布表示为:
步骤4,导出可以表示人脸的产生式模型
导出本发明中人脸表示的产生式模型P(x,Z,R):
其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合;
步骤5,采用Monto Carlo EM算法学习步骤4导出的产生式模型的参数
Monto Carlo EM算法是下列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(2)利用采样得到的样本更新参数θ;
步骤6,基于学习好的产生式模型导出人脸特征,并基于该特征定义相似度函数;
步骤7,使用上述产生式模型和相似度函数进行单样本人脸图像识别。
2.根据权利要求1所述的方法,其特征在于,所述人脸图像分解成的多个部分,至少有一个部分包括眼部或者嘴部。
3.根据权利要求1所述的方法,其特征在于,步骤6中,导出人脸特征方法为:
P(Zc|xc)编码了与样本xc相关的信息,使用投影的组合作为xc的特征hc
步骤6中,定义相似度函数的方法为:
定义样本xc和样本xb之间的相似度为以下加权内积:
其中V为表示人脸基权值的对角矩阵。
4.一种基于分部式模型和稀疏成分分析的单样本人脸识别设备,其特征在于,包括:
——人脸图像库;
——人脸图像采集装置,采集并输入人脸图像;
——处理器,处理器包括
——人脸图像分解模块,将采集的人脸图像分解成多个部分,实现人脸分割,这里的“部分”是人脸图像的一个空间区域或者像素集合;
——人脸图像建模模块,为每个部分学习一个稀疏成分分析模型,并且把不同部分的模型结合在一起,完成人脸图像建模;
——学习模块,基于学习出的分部式稀疏成分分析模型导出人脸图像的特征,并且定义相似度度量衡量人脸之间的相似度;
——输出模块,对于输入人脸,根据相似度度量人脸图像库中与之最相似的人脸,输出度量结果,完成单样本人脸识别;
人脸部分的推断基于每个像素所选择的部分,对于像素xm,它首先从L个部分中选择一个部分记为l;令M为人脸图像的像素数目,第m个像素的选择记录在变量rm.=(rm1,…,rmL)T中,该变量服从Multinomial先验:rm.~Mult(n=1,αm.),其中αm.=(αm1,…,αmL)T,该先验记作P1(rm.),并将先验P1(rm.)施加在r.l=(r1l,…,rMl)之上,得到先验P2(rm.),两种先验P1(rm.)、P2(rm.)用PoE结合起来,其中每个先验是一个专家,即:
其中Zm为分割函数;
P1(rm.)、P2(rm.)施加在R={rm.}上的完整先验为如下公式(1),
其中,Z0=ΠmZm是起归一化作用的函数,Mm是变量m的相邻变量集,近邻的数目设为|Mm|=4。
5.根据权利要求4所述的设备,其特征在于,所述学习稀疏成分分析模型的方法为:令yl∈RM为所有L个人脸部分的第l个部分,将每个部分建模为稀疏成分分析模型:
其中,K是基的数目;为第l个部分的过完备基。
6.根据权利要求4所述的设备,其特征在于,所述人脸图像建模方法为:
对于像素xm,它首先从L个部分中选择一个部分并记为l,然后相应地从第l个稀疏成分分析模型中产生一个像素;对部分的选择由随机二值向量rm.=(rm1,…,rmL)T记录,其中rml∈{0,1}服从Multinomial先验式,当第l个部分被选中时,rml=1;得到下述模型:
其中,yml为式(2)定义的第l个部分的第m个像素;μm为均值;为随机噪声;αm.=(αm1,…,αmL)T为多项式分布的参数;
令Z={zlk},将式(2)代入式(3)中,可以得到下式:
观测变量x的条件分布表示为:
导出本发明中人脸表示的产生式模型P(x,Z,R):
其中,b=1,u=0;θ=(wmlkmmml)是待学习的参数集合。
7.根据权利要求4所述的设备,其特征在于,所述学习人脸图像的特征的方法为:采用Monto Carlo EM算法学习步骤4导出的产生式模型的参数;
所述Monto Carlo EM算法为:下列两个步骤的迭代:(1)对于每个给定的训练样本,首先采用Gibbs采样的方法采集R和Z的样本(2)利用采样得到的样本更新参数θ。
8.根据权利要求4所述的设备,其特征在于,导出人脸图像的特征的方法为:
P(Zc|xc)编码了与样本xc相关的信息,使用投影的组合作为xc的特征hc
定义相似度的方法为:
定义样本xc和样本xb之间的相似度为以下加权内积:
其中V为表示人脸基权值的对角矩阵。
CN201510788322.1A 2015-11-17 2015-11-17 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法 Active CN105426836B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510788322.1A CN105426836B (zh) 2015-11-17 2015-11-17 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510788322.1A CN105426836B (zh) 2015-11-17 2015-11-17 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

Publications (2)

Publication Number Publication Date
CN105426836A CN105426836A (zh) 2016-03-23
CN105426836B true CN105426836B (zh) 2019-01-18

Family

ID=55505036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510788322.1A Active CN105426836B (zh) 2015-11-17 2015-11-17 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法

Country Status (1)

Country Link
CN (1) CN105426836B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106097373B (zh) * 2016-06-24 2018-11-02 聊城大学 一种基于分部式稀疏成分分析模型的笑脸合成方法
CN106845376B (zh) * 2017-01-06 2019-10-01 中山大学 一种基于稀疏编码的人脸识别方法
CN108898547B (zh) * 2018-06-27 2022-06-07 太原理工大学 一种基于单样本的人脸图像虚拟样本扩充方法及系统
CN113780822B (zh) * 2021-09-14 2023-10-31 上海师范大学 一种基于psr模型的城市生态安全预警方法
CN114612983A (zh) * 2022-03-15 2022-06-10 北京拙河科技有限公司 一种基于弹性图和svm的人脸识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620669A (zh) * 2008-07-01 2010-01-06 邹采荣 一种人脸身份和表情的同步识别方法
CN102799870A (zh) * 2012-07-13 2012-11-28 复旦大学 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN103943531A (zh) * 2014-04-22 2014-07-23 上海华力微电子有限公司 在线监控锗硅工艺中自掺杂硼浓度的方法
CN104392231A (zh) * 2014-11-07 2015-03-04 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101620669A (zh) * 2008-07-01 2010-01-06 邹采荣 一种人脸身份和表情的同步识别方法
CN102799870A (zh) * 2012-07-13 2012-11-28 复旦大学 基于分块一致lbp和稀疏编码的单训练样本人脸识别方法
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN103943531A (zh) * 2014-04-22 2014-07-23 上海华力微电子有限公司 在线监控锗硅工艺中自掺杂硼浓度的方法
CN104392231A (zh) * 2014-11-07 2015-03-04 南京航空航天大学 基于分块与稀疏主特征提取的快速协同显著性检测方法

Also Published As

Publication number Publication date
CN105426836A (zh) 2016-03-23

Similar Documents

Publication Publication Date Title
Yang et al. Learning face age progression: A pyramid architecture of gans
CN105426836B (zh) 一种基于分部式模型和稀疏成分分析的单样本人脸识别方法
Xie et al. Scut-fbp: A benchmark dataset for facial beauty perception
Cao et al. Egocentric gesture recognition using recurrent 3d convolutional neural networks with spatiotemporal transformer modules
Wang et al. Graph based skeleton motion representation and similarity measurement for action recognition
Pincus et al. Comparison of quantitative methods for cell‐shape analysis
Raman et al. Activity recognition using a supervised non-parametric hierarchical HMM
CN108875459B (zh) 一种基于稀疏系数相似的加权稀疏表示人脸识别方法及系统
TWI322963B (zh)
Kokiopoulou et al. Graph-based classification of multiple observation sets
Koehl et al. Landmark-free geometric methods in biological shape analysis
Bu Human motion gesture recognition algorithm in video based on convolutional neural features of training images
CN110717418A (zh) 一种喜好情感自动识别方法及系统
Liu et al. 3D skeletal gesture recognition via discriminative coding on time-warping invariant Riemannian trajectories
Kumar et al. Age and gender classification using Seg-Net based architecture and machine learning
Mogan et al. Gait-vit: Gait recognition with vision transformer
Xia et al. Combining face averageness and symmetry for 3D-based gender classification
Böhringer et al. Quantification of facial traits
Dantcheva et al. Expression recognition for severely demented patients in music reminiscence-therapy
Rahevar et al. Spatial–temporal dynamic graph attention network for skeleton-based action recognition
Mohammadzade et al. Sparseness embedding in bending of space and time; a case study on unsupervised 3D action recognition
Huang et al. Discriminative parts learning for 3D human action recognition
Shayestegan et al. Advanced analysis of 3d kinect data: supervised classification of facial nerve function via parallel convolutional neural networks
Boutin et al. Diffusion models as artists: are we closing the gap between humans and machines?
Sheng et al. Action recognition using direction-dependent feature pairs and non-negative low rank sparse model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant