CN107194378A - 一种基于混合字典学习的人脸识别方法及装置 - Google Patents

一种基于混合字典学习的人脸识别方法及装置 Download PDF

Info

Publication number
CN107194378A
CN107194378A CN201710506984.4A CN201710506984A CN107194378A CN 107194378 A CN107194378 A CN 107194378A CN 201710506984 A CN201710506984 A CN 201710506984A CN 107194378 A CN107194378 A CN 107194378A
Authority
CN
China
Prior art keywords
dictionary
face
sample set
class
mixing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710506984.4A
Other languages
English (en)
Other versions
CN107194378B (zh
Inventor
杨猛
林国军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201710506984.4A priority Critical patent/CN107194378B/zh
Publication of CN107194378A publication Critical patent/CN107194378A/zh
Application granted granted Critical
Publication of CN107194378B publication Critical patent/CN107194378B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/19Recognition using electronic means
    • G06V30/192Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用计算机技术领域,提供了一种基于混合字典学习的人脸识别方法及装置,所述方法包括:接收输入的待识别人脸图像,提取待识别人脸图像的人脸特征,计算人脸特征在训练好的混合字典上的编码系数,混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典,根据编码系数计算人脸特征在所述类专用字典的每个类专用子字典上的重构残差,获取所有重构残差中最小的重构残差,根据最小的重构残差对应的类专用子字典的类别,确定待识别人脸图像的身份,从而有效地对人脸图像进行了表示,有效地提高了人脸识别的鲁棒性,在字典学习模型的编码系数和混合字典间都采用了判别信息,进而有效地提高人脸识别的识别效率和准确率。

Description

一种基于混合字典学习的人脸识别方法及装置
技术领域
本发明属于计算机技术领域,尤其涉及一种基于混合字典学习的人脸识别方法及装置。
背景技术
人脸识别技拥有广阔的应用前景、巨大的社会效益和经济效益,一直是计算机视觉领域的一个研究热点。在现实环境中,人脸可能存在遮挡、光照、表情以及姿态的变化,导致现实环境中待识别的人脸图像与人脸识别数据库中人脸图像存在较大差异,人脸识别技术需要非常好的鲁棒性,才能在这种情形下依然能够准确地判别待识别人脸图像的身份。
近年来,字典学习被应用于人脸识别并且取得了较好的识别效果。Yang等研究人员提出了Fisher判别字典学习(FDDL)的方法,学习得到的字典的元素对应于类别标签,重构残差和编码系数都采用了判别信息。由于FDDL是类专用字典学习方法,其字典只包括类专用字典,而不包括类共享字典和干扰字典,同时,没有在类专用子字典之间采用判别信息,所以FDDL学习得到的字典鲁棒性差,导致人脸识别精度较低。
Kong等研究人员提出了包括类共享字典和类专用字典的混合字典学习方法(COPAR),COPAR的类专用子字典间引入了不相关罚项,类专用子字典被用来分类。由于COPAR是包括类共享字典和类专用字典的混合字典学习方法,而不包括干扰字典,同时,编码系数没有采用判别信息,所以COPAR学习得打的字典鲁棒性差,导致人脸识别精度较低。
Deng等研究人员认为某个人的人脸的类内变化,比如遮挡、光照和表情变化,能被其他人的人脸的类内变化所共享,也就是某个人的人脸的类内变化可以近似表示为其他人的人脸的类内变化的稀疏线性组合,提出了扩展稀疏表示(ESRC),ESRC从一个和训练数据库不相关的人脸数据集中构造一个类内变化字典来表示训练图像和测试图像之间的变化。其中,干扰字典包括真实干扰字典和模拟干扰字典,类内变化字典属于真实干扰字典,可见ESRC的字典只包括类专用字典和真实干扰字典,不包括类共享字典和模拟干扰字典,同时,编码系数和类专用子字典之间均没有采用判别信息,而且没有进行字典学习,所以ESRC得到的字典鲁棒性差,导致人脸识别精度较低。
发明内容
本发明的目的在于提供一种基于混合字典学习的人脸识别方法及装置,旨在解决现有技术中基于混合字典学习的人脸识别方法鲁棒性较差,导致人脸识别精度较低的问题。
一方面,本发明提供了一种基于混合字典学习的人脸识别方法,所述方法包括下述步骤:
接收输入的待识别人脸图像,提取所述待识别人脸图像的人脸特征;
计算所述人脸特征在训练好的混合字典上的编码系数,所述混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典;
根据所述编码系数计算所述人脸特征在所述类专用字典的每个类专用子字典上的重构残差;
获取所述所有重构残差中最小的重构残差,根据所述最小的重构残差对应的所述类专用子字典的类别,确定所述待识别人脸图像的身份。
另一方面,本发明提供了一种基于混合字典学习的人脸识别装置,所述装置包括:
特征提取模块,用于接收输入的待识别人脸图像,提取所述待识别人脸图像的人脸特征;
系数计算模块,用于计算所述人脸特征在训练好的混合字典上的编码系数,所述混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典;
残差计算模块,用于根据所述编码系数计算所述人脸特征在所述类专用字典的每个类专用子字典上的重构残差;以及
身份确定模块,用于获取所述所有重构残差中最小的重构残差,根据所述最小的重构残差对应的所述类专用子字典的类别,确定所述待识别人脸图像的身份。
本发明预先训练好包括类共享字典、类专用字典、模拟干扰字典和真实高干扰字典的混合字典,计算待识别人脸图像的人脸特征在该混合字典上的编码系数,根据该编码系数计算待识别人脸图像的人脸特征在类专用字典的每个类专用子字典上的重构残差,在所有重构残差中获取最小的重构残差,该最小的重构残差对应的类专用子字典的类别即待识别人脸图像的类别,继而可确定待识别人脸图像的身份,从而通过包括了类共享字典、类专用字典、真实干扰字典和模拟干扰字典的混合字典能够有效地对人脸图像进行表示,同时有效地提高了人脸识别的鲁棒性,此外,在字典学习模型的编码系数和混合字典间都采用了判别信息,进而有效地提高人脸识别的识别效率和准确率。
附图说明
图1是本发明实施例一提供的基于混合字典学习的人脸识别方法的实现流程图;
图2是本发明实施例二提供的基于混合字典学习的人脸识别方法中生成混合字典的实现流程图;
图3是本发明实施例三提供的基于混合字典学习的人脸识别装置的结构示意图;
图4是本发明实施例三提供的基于混合字典学习的人脸识别装置的优选结构示意图;以及
图5是本发明实施例三提供的基于混合字典学习的人脸识别装置与FDDL、COPAP、ESRC在标准人脸库AR上的人脸识别结果的实验示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的基于混合字典学习的人脸识别方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,接收输入的待识别人脸图像,提取待识别人脸图像的人脸特征。
本发明实施例适用于人脸识别平台或系统,当接收到用户输入的待识别人脸图像时,通过预设的人脸特征提取算法提取待识别人脸图像的人脸特征,并通过特征向量矩阵表示该人脸特征。具体地,人脸特征提取算法可为SIFT(局部特征提取)算法、LBP(localbinary patterns)算法等。
在步骤S102中,计算人脸特征在训练好的混合字典上的编码系数,混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典。
在本发明实施例中,通过预设的字典学习模型训练得到混合字典,该混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典,混合字典的生成过程可参照实施例二的各步骤。人脸特征在混合字典上的编码系数的计算公式为:
其中,y为人脸特征,分别为人脸特征在类共享字典Dc、类专用字典[D1,D2,…,Di,…,DN]、模拟干扰字典Db和真实干扰字典Dp上的编码系数,Di为第i个类专用子字典,λ为预设的常数,N为人脸样本子集的类别数量。
在步骤S103中,根据编码系数计算人脸特征在类专用字典的每个类专用子字典上的重构残差。
在本发明实施例中,每个类专用子字典对应着不同的类别,通过计算人脸特征在每个类专用子字典上的重构残差,以确定人脸特征所属的类别。具体地,重构残差的计算公式为:
在步骤S104中,获取所有重构残差中最小的重构残差,根据最小的重构残差对应的类专用子字典的类别,确定待识别人脸图像的身份。
在本发明实施例中,在所有计算得到的重构残差中获取数值最小的重构残差,该最小的重构残差所对应的类专用子字典的类别,即待识别人脸图像所属的类别,进而确定了待识别人脸图像的身份。
在本发明实施例中,通过包括了类共享字典、类专用字典、真实干扰字典和模拟干扰字典的混合字典,有效地对人脸图像进行表示,有效地提高了人脸识别的鲁棒性,此外,在字典学习模型的系数和混合字典间都采用了判别信息,有效地提高人脸识别的识别效率和准确率。
实施例二:
图2示出了本发明实施例二提供的基于混合字典学习的人脸识别方法中混合字典的生成流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S201中,对预设的第一人脸样本集进行人脸变化模拟,生成替代人脸样本集。
在本发明实施例中,第一人脸样本集为进行混合字典学习的训练样本集,第一人脸样本集中包括N个样本子集,N也第一人脸样本集中样本子集的类别数量,每个类别的样本子集可存储同一个人的不同人脸图像。为了得到对人脸遮挡、光照、表情和姿态变化鲁棒性的字典,将第一人脸样本集中的人脸样本进行人脸变化的模拟,由变化后的人脸样本构成替代人脸样本集。作为示例地,第一人脸样本集可表示为A=[A1,A2,…,AN]∈Rd×S,替代人脸样本集可表示为Z=[Z1,Z2,…,ZN]∈Rd×S,其中,Ai为第一人脸样本集中第i类样本子集,
优选地,可通过采用随机正方形对第一人脸样本集中人脸样本进行遮挡、或通过对第一人脸样本图像进行椒盐噪声污染、或通过对第一人脸样本集中的人脸样本进行镜像变化,实现对第一人脸样本集中人脸样本的人脸变化模拟,多方面地模拟人脸的变化。
在步骤S202中,对预设的第二人脸样本集进行干扰成分提取,生成干扰成分集。
在本发明实施例中,可通过预设的矩阵低秩分解方式提取第二人脸样本集中的干扰成分,干扰成分可包括噪声、野点、光照和遮挡等,从而实现人脸真实变化的提取。具体地,第二人脸样本集中样本子集与第一人脸样本集中样本子集的类别不同,第二人脸样本集可表示为G=[G1,G2,…,GL]∈Rd×T为第二人脸样本集中的第i类样本子集,L为第二人脸样本集的类别数量且L<N。矩阵低秩分解方式的提取公式可表示为:
其中,Gi=Λi+Ei,Λi为Gi中的干净成分,Ei为Gi中的干扰成分。
在步骤S203中,根据第一人脸样本集、替代人脸样本集和干扰成分集,对预设的字典学习模型进行优化,生成混合字典。
在本发明实施例中,混合字典D包括类共享字典Dc、类专用字典[D1,D2,…,Di,…,DN]和干扰字典,干扰字典包括模拟干扰字典Db和真实干扰字典Dp。设置第一人脸样本集在Dc上的编码系数矩阵第一人脸样本集在[D1,D2,…,Di,…,DN]上的编码系数矩阵X=[X1,X2,…,XN]∈RK×S、替代人脸样本集在Db上的编码系数矩阵和干扰成分集在Dp上的编码系数矩阵其中,X中的为第一人脸样本集中第i类样本子集在[D1,D2,…,Di,…,DN]上的编码系数矩阵,为第i类样本子集在Di上的编码系数矩阵。预设的字典学习模型为:
其中,Mi为系数均值向量,Mi的每一个列向量为所有列的平均值,λ1、λ2、λ3和λ4为预设的标量常数。当固定混合字典D或(C,X,B,P)时,字典学习模型的训练(或优化)过程是凸优化,可通过交替迭代D和(C,X,B,P)的优化方式训练字典学习模型,最终得到混合字典D=[Dc,D1,D2,…,DN,Db,Dq]。
在本发明实施例中,在所有重构残差中选择数值最小的重构残差,该最小的重构残差对应的类专用子字典的类别即待识别人脸图像所属的类别,进而可得到待识别人脸图像的身份。
在本发明实施例中,通过对第一训练人脸样本集进行人脸变化模拟和对第二人脸样本集进行人脸真实变化的提取,得到替代人脸样本集和干扰成分集,通过第一训练人脸样本集、替代人样本集和干扰成分集,优化字典学习模型,生成包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典的混合字典,该混合字典能够有效地对人脸图像进行表示,从而有效地提高字典学习的鲁棒性,还在字典学习模型的系数和混合字典间都采用了判别信息,有效地提高人脸识别的识别效率和准确率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。
实施例三:
图3示出了本发明实施例三提供的基于混合字典学习的人脸识别装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
特征提取模块31,用于接收输入的待识别人脸图像,提取待识别人脸图像的人脸特征。
在本发明实施例中,通过预设的人脸特征提取算法提取待识别人脸图像的人脸特征,并通过特征向量矩阵表示该人脸特征。
系数计算模块32,用于计算人脸特征在训练好的混合字典上的编码系数,混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典。
在本发明实施例中,人脸特征在混合字典上的编码系数的计算公式为:
其中,y为人脸特征,分别为人脸特征在类共享字典Dc、类专用字典[D1,D2,…,Di,…,DN]、模拟干扰字典Db和真实干扰字典Dp上的编码系数,Di为第i个类专用子字典,λ为预设的常数,N为人脸样本子集的类别数量。
残差计算模块33,用于根据编码系数计算人脸特征在类专用字典的每个类专用子字典上的重构残差。
在本发明实施例中,每个类专用子字典对应着不同的类别,通过计算人脸特征在第一人脸样本集的每类样本子集上的重构残差,以确定人脸特征所属的类别。具体地,重构残差的计算公式为:
身份确定模块34,用于获取所有重构残差中最小的重构残差,根据最小的重构残差对应的类专用子字典的类别,确定待识别人脸图像的身份。
在本发明实施例中,在所有计算得到的重构残差中获取数值最小的重构残差,该最小的重构残差所对应的类专用子字典的类别,即待识别人脸图像所属的类别,进而确定了待识别人脸图像的身份。
优选地,如图4所示,基于混合字典学习的人脸识别装置还包括:
人脸变化模拟模块41,用于对预设的第一人脸样本集进行人脸变化模拟,生成替代人脸样本集。
在本发明实施例中,第一人脸样本集为进行混合字典学习的训练样本集,第一人脸样本集中包括N个样本子集,N也第一人脸样本集中样本子集的类别数量,每个类别的样本子集可存储同一个人的不同人脸图像。为了得到对人脸遮挡、光照、表情和姿态变化鲁棒性的字典,将第一人脸样本集中的人脸样本进行人脸变化的模拟,由变化后的人脸样本构成替代人脸样本集。作为示例地,第一人脸样本集可表示为A=[A1,A2,…,AN]∈Rd×S,替代人脸样本集可表示为Z=[Z1,Z2,…,ZN]∈Rd×S,其中,Ai为第一人脸样本集中第i类样本子集,
优选地,可通过采用随机正方形对第一人脸样本集中人脸样本进行遮挡、或通过对第一人脸样本图像进行椒盐噪声污染、或通过对第一人脸样本集中的人脸样本进行镜像变化,实现对第一人脸样本集中人脸样本的人脸变化模拟,多方面地模拟人脸的变化。
真实干扰提取模块42,用于对预设的第二人脸样本集进行干扰成分提取,生成干扰成分集。
在本发明实施例中,可通过预设的矩阵低秩分解方式提取第二人脸样本集中的干扰成分,干扰成分可包括噪声、野点、光照和遮挡等,从而实现人脸真实变化的提取。
具体地,第二人脸样本集中样本子集与第一人脸样本集中样本子集的类别不同,第二人脸样本集可表示为G=[G1,G2,…,GL]∈Rd×T为第二人脸样本集中的第i类样本子集,L为第二人脸样本集的类别数量且L<N。矩阵低秩分解方式的提取公式可表示为:
其中,Gi=Λi+Ei,Λi为Gi中的干净成分,Ei为Gi中的干扰成分。
字典学习模块43,用于根据第一人脸样本集、替代人脸样本集和干扰成分集,对预设的字典学习模型进行优化,生成混合字典。
在本发明实施例中,设置第一人脸样本集在Dc上的编码系数矩阵第一人脸样本集在[D1,D2,…,Di,…,DN]上的编码系数矩阵X=[X1,X2,…,XN]∈RK×S、替代人脸样本集在Db上的编码系数矩阵和干扰成分集在Dp上的编码系数矩阵其中,X中的为第一人脸样本集中第i类样本子集在[D1,D2,…,Di,…,DN]上的编码系数矩阵,为第i类样本子集在Di上的编码系数矩阵。预设的字典学习模型为:
其中,Mi为系数均值向量,Mi的每一个列向量为所有列的平均值,λ1、λ2、λ3和λ4为预设的标量常数。当固定混合字典D或(C,X,B,P)时,字典学习模型的训练(或优化)过程是凸优化,可通过交替迭代D和(C,X,B,P)的优化方式训练字典学习模型,最终得到混合字典D=[Dc,D1,D2,…,DN,Db,Dq]。
优选地,真实干扰提取模块42包括:
分解提取模块421,用于通过预设的矩阵低秩分解方式对第二人脸样本集中每类样本子集进行干扰成分提取。
优选地,字典学习模块43包括:
字典模型优化模块431,用于根据第一人脸样本集、替代人脸样本集合和干扰成分集,通过交替迭代混合字典和字典学习模型中的编码系数矩阵,对字典学习模型进行迭代优化,生成混合字典。
作为示例地,在实验中,从标准人脸库AR中选取50个男性和50个女性,从100个人中随机选取90个人。从标准人脸库AR第1集中获取90个人中每个人的7幅具有光照和表情变化的图像,以用于训练,并从该标准人脸库AR第2集中获取该90个人中每人的13幅具有光照、遮挡和表情变化的图像,以用于测试,将用于训练的图像的镜像设置为替代训练样本,将字典学习模型中的标量常数λ1、λ2、λ3和λ4分别设置为0.001、0.005、0.05和0.0001,将编码系数的计算公式中的λ设置为0.001,将标准人脸库AR第1集中的100个人的剩余10个人,每人具有13幅光照、遮挡和表情变化的图像用于干扰成分的提取,图5示出了本发明实施例与FDDL、COPAP、ESRC在标准人脸库AR上的人脸识别结果。如图5所示,图5的训练时间为对字典学习模型进行离线训练的时间,识别时间为平均一幅图像的在线识别时间。可见,本发明实施例在实验中的识别精度明显高于FDDL、COPAP和ESRC,训练时间明显短于FDDL和COPAP,ESRC不存在训练时间,而识别时间和FDDL、COPAP、ESRC的识别时间都很短。
又如,还可在标准人脸库Multi-PIE、Extended Yale B等上进行实验,并将实验结果与FDDL、COPAP、ESRC的实验结果进行比较,同样可得出本发明实施例的识别精度较高、训练时间较短以及识别时间较短的比较结果。
在本发明实施例中,通过对第一训练人脸样本集进行人脸变化模拟和对第二人脸样本集进行人脸真实变化的提取,得到替代人脸样本集和干扰成分集,通过第一训练人脸样本集、替代人样本集和干扰成分集,优化字典学习模型,生成包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典的混合字典,该混合字典能够有效地对人脸图像进行表示,从而有效地提高字典学习的鲁棒性,还在字典学习模型的系数和混合字典间都采用了判别信息,有效地提高人脸识别的识别效率和准确率。
在本发明实施例中,基于混合字典学习的人脸识别装置的各模块可由相应的硬件或软件模块实现,各模块可以为独立的软、硬件模块,也可以集成为一个软、硬件模块,在此不用以限制本发明。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于混合字典学习的人脸识别方法,其特征在于,所述方法包括下述步骤:
接收输入的待识别人脸图像,提取所述待识别人脸图像的人脸特征;
计算所述人脸特征在训练好的混合字典上的编码系数,所述混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典;
根据所述编码系数计算所述人脸特征在所述类专用字典的每个类专用子字典上的重构残差;
获取所述所有重构残差中最小的重构残差,根据所述最小的重构残差对应的所述类专用子字典的类别,确定所述待识别人脸图像的身份。
2.如权利要求1所述的方法,其特征在于,在接收输入的待识别人脸图像,提取所述待识别人脸图像的人脸特征的步骤之前,所述方法还包括:
对预设的第一人脸样本集进行人脸变化模拟,生成替代人脸样本集,所述第一人脸样本集中包括预设类别数量个样本子集;
对预设的第二人脸样本集进行干扰成分提取,生成干扰成分集,所述第二人脸样本集的样本子集类别与所述第一人脸样本集的样本子集类别是不同的;
根据所述第一人脸样本集、替代人脸样本集和干扰成分集,对预设的字典学习模型进行优化,生成所述混合字典。
3.如权利要求2所述的方法,其特征在于,对预设的第二人脸样本集进行干扰成分提取,生成干扰成分集的步骤,包括:
通过预设的矩阵低秩分解方式对所述第二人脸样本集中每类样本子集进行干扰成分提取,所述矩阵低秩分解方式的提取公式为:
且Gi=Λi+Ei,其中,所述Gi为第二人脸样本集中第i类样本子集,所述Λi为所述Gi中的干净成分,所述Ei为所述Gi中的干扰成分,所述γ为预设的标量常数且γ>0。
4.如权利要求2所述的方法,其特征在于,根据所述第一人脸样本集、替代人脸样本集和干扰成分集,对预设的字典学习模型进行优化,生成所述混合字典的步骤,包括:
根据所述第一人脸样本集、替代人脸样本集合和干扰成分集,通过交替迭代所述混合字典和所述字典学习模型中的编码系数矩阵,对所述字典学习模型进行迭代优化,生成所述混合字典,所述字典学习模型表示为:
其中,所述Dc、[D1,D2,…,Di,…,DN]、Db和Dp分别为所述混合字典D中的类共享字典、类专用字典、模拟干扰字典和真实干扰字典,所述Di为所述类专用子字典,所述Ai和Zi分别为所述第一人脸样本集和替代人脸样本集中的第i类样本子集,所述Ci和Xi分别是所述Ai在所述Dc上、在所述[D1,D2,…,DN]上的编码系数矩阵,所述为所述Ai在所述Di上的编码系数矩阵,所述Bi和Pi分别为所述Zi在所述Db上、所述Ei在所述Dp上的编码系数矩阵,所述Mi为系数均值向量,所述Mi的每一个列向量为所述所有列的平均值,所述λ1、λ2、λ3和λ4为预设的标量常数,所述N为所述第一人脸样本集中样本子集的类别数量。
5.如权利要求1所述的方法,其特征在于,所述人脸特征在所述混合字典上的编码系数的计算公式为:
其中,所述y为所述人脸特征,所述分别为所述人脸特征在所述类共享字典、类专用字典、模拟干扰字典和真实干扰字典上的编码系数,所述λ为预设的常数;
所述人脸特征在所述每个类专用子字典上的重构残差的计算公式为
6.一种基于混合字典学习的人脸识别装置,其特征在于,所述装置包括:
特征提取模块,用于接收输入的待识别人脸图像,提取所述待识别人脸图像的人脸特征;
系数计算模块,用于计算所述人脸特征在训练好的混合字典上的编码系数,所述混合字典包括类共享字典、类专用字典、模拟干扰字典和真实干扰字典;
残差计算模块,用于根据所述编码系数计算所述人脸特征在所述类专用字典的每个类专用子字典上的重构残差;以及
身份确定模块,用于获取所述所有重构残差中最小的重构残差,根据所述最小的重构残差对应所述类专用子字典的类别,确定所述待识别人脸图像的身份。
7.如权利要求6所述的装置,其特征在于,所述装置还包括:
人脸变化模拟模块,用于对预设的第一人脸样本集进行人脸变化模拟,生成替代人脸样本集,所述第一人脸样本集中包括预设类别数量个样本子集;
真实干扰提取模块,用于对预设的第二人脸样本集进行干扰成分提取,生成干扰成分集,所述第二人脸样本集中样本子集类别与所述第一人脸样本集中样本子集类别是不同的;以及
字典学习模块,用于根据所述第一人脸样本集、替代人脸样本集和干扰成分集,对预设的字典学习模型进行优化,生成所述混合字典。
8.如权利要求7所述的装置,其特征在于,所述真实干扰提取模块包括:
分解提取模块,用于通过预设的矩阵低秩分解方式对所述第二人脸样本集中每类样本子集进行干扰成分提取,所述矩阵低秩分解方式的提取公式为:
且Gi=Λi+Ei,其中,所述Gi为第二人脸样本集中第i类样本子集,所述Λi为所述Gi中的干净成分,所述Ei为所述Gi中的干扰成分,所述γ为预设的标量常数且γ>0。
9.如权利要求7所述的装置,其特征在于,所述字典学习模块包括:
字典模型优化模块,用于根据所述第一人脸样本集、替代人脸样本集合和干扰成分集,通过交替迭代所述混合字典和所述字典学习模型中的编码系数矩阵,对所述字典学习模型进行迭代优化,生成所述混合字典,所述字典学习模型表示为:
其中,所述Dc、[D1,D2,…,Di,…,DN]、Db和Dp分别为所述混合字典D中的类共享字典、类专用字典、模拟干扰字典和真实干扰字典,所述Di为所述类专用子字典,所述Ai和Zi分别为所述第一人脸样本集和替代人脸样本集中的第i类样本子集,所述Ci和Xi分别是所述Ai在所述Dc上、在所述[D1,D2,…,DN]上的编码系数矩阵,所述为所述Ai在所述Di上的编码系数矩阵,所述Bi和Pi分别为所述Zi在所述Db上、所述Ei在所述Dp上的编码系数矩阵,所述Mi为系数均值向量,所述Mi的每一个列向量为所述所有列的平均值,所述λ1、λ2、λ3和λ4为预设的标量常数,所述N为所述第一人脸样本集中样本子集的类别数量。
10.如权利要求6所述的装置,其特征在于,所述人脸特征在所述混合字典上的编码系数的计算公式为:
其中,所述y为所述人脸特征,所述分别为所述人脸特征在所述类共享字典、类专用字典、模拟干扰字典和真实干扰字典上的编码系数,所述λ为预设的常数;
所述人脸特征在所述每个类专用子字典上的重构残差的计算公式为
CN201710506984.4A 2017-06-28 2017-06-28 一种基于混合字典学习的人脸识别方法及装置 Active CN107194378B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710506984.4A CN107194378B (zh) 2017-06-28 2017-06-28 一种基于混合字典学习的人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710506984.4A CN107194378B (zh) 2017-06-28 2017-06-28 一种基于混合字典学习的人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN107194378A true CN107194378A (zh) 2017-09-22
CN107194378B CN107194378B (zh) 2020-11-17

Family

ID=59880683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710506984.4A Active CN107194378B (zh) 2017-06-28 2017-06-28 一种基于混合字典学习的人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN107194378B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832786A (zh) * 2017-10-31 2018-03-23 济南大学 一种基于字典学习的人脸识别分类方法
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108345905A (zh) * 2018-02-02 2018-07-31 深圳大学 多特征图片识别方法、装置及计算机可读存储介质
CN108985177A (zh) * 2018-06-21 2018-12-11 南京师范大学 一种结合稀疏约束的快速低秩字典学习的人脸图像分类方法
CN109063555A (zh) * 2018-06-26 2018-12-21 杭州电子科技大学 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
CN110826417A (zh) * 2019-10-12 2020-02-21 昆明理工大学 一种基于判别字典学习的跨视角行人重识别方法
CN111783521A (zh) * 2020-05-19 2020-10-16 昆明理工大学 基于低秩先验引导的域不变信息分离的行人重识别方法
CN113657259A (zh) * 2021-08-16 2021-11-16 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
CN116935471A (zh) * 2023-07-24 2023-10-24 山东睿芯半导体科技有限公司 一种基于双字典学习的人脸识别方法、装置、芯片及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915436A (zh) * 2012-10-25 2013-02-06 北京邮电大学 基于类内变化字典和训练图像的稀疏表示人脸识别方法
JP2013190911A (ja) * 2012-03-13 2013-09-26 Hitachi Computer Peripherals Co Ltd 文字認識装置、認識辞書生成装置及び正規化方法
CN104281845A (zh) * 2014-10-29 2015-01-14 中国科学院自动化研究所 基于旋转不变字典学习模型的人脸识别方法
CN104349193A (zh) * 2014-11-11 2015-02-11 无锡科思电子科技有限公司 一种基于睡眠识别自动关机的机顶盒
CN104392246A (zh) * 2014-12-03 2015-03-04 北京理工大学 一种基于类间类内面部变化字典的单样本人脸识别方法
CN105844223A (zh) * 2016-03-18 2016-08-10 常州大学 一种类别特色字典和共享字典学习的人脸表示算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190911A (ja) * 2012-03-13 2013-09-26 Hitachi Computer Peripherals Co Ltd 文字認識装置、認識辞書生成装置及び正規化方法
CN102915436A (zh) * 2012-10-25 2013-02-06 北京邮电大学 基于类内变化字典和训练图像的稀疏表示人脸识别方法
CN104281845A (zh) * 2014-10-29 2015-01-14 中国科学院自动化研究所 基于旋转不变字典学习模型的人脸识别方法
CN104349193A (zh) * 2014-11-11 2015-02-11 无锡科思电子科技有限公司 一种基于睡眠识别自动关机的机顶盒
CN104392246A (zh) * 2014-12-03 2015-03-04 北京理工大学 一种基于类间类内面部变化字典的单样本人脸识别方法
CN105844223A (zh) * 2016-03-18 2016-08-10 常州大学 一种类别特色字典和共享字典学习的人脸表示算法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUOJUN LIN 等: "Sample Diversity, Discriminative and Comprehensive Dictionary Learning for Face Recognition", 《CHINESE CONFERENCE ON BIOMETRIC RECOGNITION》 *
SHU KONG 等: "A dictionary learning approach for classification: separating the particularity and the commonality", 《ECCV 2012》 *
WEIHONG DENG 等: "Extended SRC: undersampled face recognition via intraclass variation dictionary", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
YIGANG PENG 等: "RASL: Robust Alignment by Sparse and Low-rank Decomposition for Linearly Correlated Images", 《2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
熊承义 等: "基于字典优化的稀疏表示人脸识别", 《中南民族大学学报(自然科学版)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832786B (zh) * 2017-10-31 2019-10-25 济南大学 一种基于字典学习的人脸识别分类方法
CN107832786A (zh) * 2017-10-31 2018-03-23 济南大学 一种基于字典学习的人脸识别分类方法
CN108171215B (zh) * 2018-01-25 2023-02-03 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108171215A (zh) * 2018-01-25 2018-06-15 河南大学 基于低秩变异字典和稀疏表示分类的人脸伪装检测及伪装类别检测方法
CN108345905A (zh) * 2018-02-02 2018-07-31 深圳大学 多特征图片识别方法、装置及计算机可读存储介质
CN108985177A (zh) * 2018-06-21 2018-12-11 南京师范大学 一种结合稀疏约束的快速低秩字典学习的人脸图像分类方法
CN109063555A (zh) * 2018-06-26 2018-12-21 杭州电子科技大学 基于低秩分解和稀疏表示残差对比的多姿态人脸识别方法
CN110826417A (zh) * 2019-10-12 2020-02-21 昆明理工大学 一种基于判别字典学习的跨视角行人重识别方法
CN110826417B (zh) * 2019-10-12 2022-08-16 昆明理工大学 一种基于判别字典学习的跨视角行人重识别方法
CN111783521B (zh) * 2020-05-19 2022-06-07 昆明理工大学 基于低秩先验引导的域不变信息分离的行人重识别方法
CN111783521A (zh) * 2020-05-19 2020-10-16 昆明理工大学 基于低秩先验引导的域不变信息分离的行人重识别方法
CN113657259A (zh) * 2021-08-16 2021-11-16 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
CN113657259B (zh) * 2021-08-16 2023-07-21 西安航空学院 基于鲁棒特征提取的单样本人脸识别方法
CN116935471A (zh) * 2023-07-24 2023-10-24 山东睿芯半导体科技有限公司 一种基于双字典学习的人脸识别方法、装置、芯片及终端

Also Published As

Publication number Publication date
CN107194378B (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
CN107194378A (zh) 一种基于混合字典学习的人脸识别方法及装置
Yang et al. Learning face age progression: A pyramid architecture of gans
Kong et al. Deeply learned view-invariant features for cross-view action recognition
CN110175251A (zh) 基于语义对抗网络的零样本草图检索方法
CN107437077A (zh) 一种基于生成对抗网络的旋转面部表示学习的方法
Hossain et al. Text to image synthesis for improved image captioning
Ni et al. Order-preserving sparse coding for sequence classification
Khan et al. Facial expression recognition on real world face images using intelligent techniques: A survey
CN107430678A (zh) 使用高斯接收场特征的低成本面部识别
CN111861945B (zh) 一种文本引导的图像修复方法和系统
Wen et al. Discriminative dictionary learning with two-level low rank and group sparse decomposition for image classification
CN111127146A (zh) 基于卷积神经网络与降噪自编码器的信息推荐方法及系统
Liu et al. Verbal-person nets: Pose-guided multi-granularity language-to-person generation
CN109993224A (zh) 基于深度学习与多核学习的geo卫星形状与姿态识别方法
CN111026267B (zh) Vr脑电意念控制接口系统
Dantcheva et al. Expression recognition for severely demented patients in music reminiscence-therapy
Wu et al. Parallel multi-path age distinguish network for cross-age face recognition
CN110415261A (zh) 一种分区域训练的表情动画转换方法及系统
Liu et al. Face aging simulation with deep convolutional generative adversarial networks
Liu et al. Multimodal face aging framework via learning disentangled representation
CN110543845A (zh) 一种三维人脸的人脸级联回归模型训练方法及重建方法
CN109509144B (zh) 一种基于对抗生成网络的与职业相关的人脸老化方法
Jing et al. Learning low-rank sparse representations with robust relationship inference for image memorability prediction
Segal et al. Constructing a skeleton database and enriching it using a Generative Adversarial Network (GAN) simulator to assess human movement
Habib et al. GAC-Text-to-Image Synthesis with Generative Models using Attention Mechanisms with Contrastive Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant