CN101593269A - 人脸识别装置及方法 - Google Patents

人脸识别装置及方法 Download PDF

Info

Publication number
CN101593269A
CN101593269A CNA2008101133664A CN200810113366A CN101593269A CN 101593269 A CN101593269 A CN 101593269A CN A2008101133664 A CNA2008101133664 A CN A2008101133664A CN 200810113366 A CN200810113366 A CN 200810113366A CN 101593269 A CN101593269 A CN 101593269A
Authority
CN
China
Prior art keywords
image
measured
facial image
reconstructed
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008101133664A
Other languages
English (en)
Other versions
CN101593269B (zh
Inventor
刘昌平
黄磊
程艳花
谭怒涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Hanvon Zhiyuan Science And Technology Co Ltd
Original Assignee
Hanwang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanwang Technology Co Ltd filed Critical Hanwang Technology Co Ltd
Priority to CN2008101133664A priority Critical patent/CN101593269B/zh
Publication of CN101593269A publication Critical patent/CN101593269A/zh
Application granted granted Critical
Publication of CN101593269B publication Critical patent/CN101593269B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明提出了一种人脸识别方法,包括以下步骤:利用n个模板图像分别对待测人脸图像进行图像重构,并分别计算待测人脸图像与所得的n个重构图像的重构误差,n为正整数;采用线性判别分析分别获得待测人脸图像与n个模板图像的线性判别分析LDA误差;对重构误差及LDA误差进行加权计算,以分别确定待测人脸图像与n个模板图像之间的不相似度;以及选择不相似度的最小值对应的模板图像来识别待测人脸图像。本发明兼顾待测图像的区域信息及全局信息,有效地提高了识别的性能。本发明还提出了实现上述方法的装置。

Description

人脸识别装置及方法
技术领域
本发明涉及计算机图像处理、模式识别和生物特征识别技术领域,特别涉及一种人脸识别装置及方法。
背景技术
人脸识别是基于计算机、图像处理及模式识别等技术的一种生物特征识别技术。在过去的十几年里,随着人脸识别在商业和执法部门得到广泛应用,例如刑事鉴定、信用卡识别、安全系统、现场监控等,人脸识别技术越来越得到了更多的关注。在实际的应用中,由于多幅图像的训练信息多样化特点,往往会有多幅图像用作训练样本。线性判别分析(LinearDiscriminant Analysis,LDA)也是采用多幅图像作为训练样本,是人脸识别方法中比较经典的方法之一。线性判别分析方法目的在于找到一种线性变化,使得训练图像类间散度最大化,类内散度最小化,从而使区别信息更适合区分图像,主要考虑的是图像的全局特征,忽略了局部信息。
然而,在这些实际应用中,人脸识别的应用环境是多样的,因此,针对光照条件、面部表情、姿势、角度、发型等外界条件的影响。不同条件的影响干扰图像的方式是不同的。例如,光照或者观察角度的变化影响图像的总体表现和组成,或者是低频部分受到影响。然而,面部表情变化,例如眼睛/嘴巴的张开、闭合,以及左右移动等旋转变化、平移变化,仅仅是高频部分受影响,也称为高频现象。对于多种干扰方式同时存在时识别效果将受到影响。而人脸识别算法要求更稳定一些,才能更进行准确的识别结果。因此,若只考虑图像的全局特征而忽略外部可能引起的区域信息变化,则不能有效提高待测图像的识别性能。
发明内容
本发明的目的旨在提供一种人脸识别装置及方法,以结合待测图像的全局信息和区域信息进行分析,减少外界环境变化等因素干扰识别稳定性,从而减小识别误差,提高人脸识别精度。
为此,本发明提出了一种人脸识别方法,该方法包括以下步骤:利用n个模板图像分别对待测人脸图像进行图像重构,并分别计算该待测人脸图像与所得的n个重构图像的重构误差Ei;采用线性判别分析分别获得该待测人脸图像与所述n个模板图像的线性判别分析LDA误差Di;对所述重构误差Ei及所述LDA误差Di进行加权计算,以分别确定该待测人脸图像与所述n个模板图像之间的不相似度eei;以及根据所述不相似度的最小值来识别该待测人脸图像;其中,n为正整数,i=1,2,3,…,n。
根据本发明实施例的人脸识别方法,所述分别确定该待测人脸图像与所述n个模板图像之间的不相似度系根据下述公式,eei=λ·Ei+ω·Di,其中λ和ω分别为权重系数,λ+ω=1,且λ的取值范围在0.1~1之间。
根据本发明实施例的人脸识别方法,还包括在进行所述图像重构步骤之前将待测人脸图像与模板图像进行归一化处理的步骤。
根据本发明实施例的人脸识别方法,所述根据不相似度的最小值识别该待测人脸图像的步骤包括:将该待测人脸图像分类到与所述不相似度最小值对应的模板图像类别中;判断所述不相似度的最小值是否小于一预定阈值;当判断所述不相似度的最小值小于该预定阈值时,识别该待测人脸图像与所述不相似度最小值对应的模板图像类别匹配;以及当判断所述不相似度的最小值大于该预定阈值时,识别该待测人脸图像与所述n个模板图像不匹配。
根据本发明实施例的人脸识别方法,利用所述n个模板图像对该待测人脸图像进行图像重构包括:分别将所述n个模板图像与该待测人脸图像划分为多个图像块;去除外部干扰信息对该待测人脸图像的多个图像块的干扰;以及分别根据所述n个模板图像的多个图像块,对去除干扰信息后的所述待测人脸图像的多个图像块进行图像重构。
根据本发明实施例的人脸识别方法,在所述外部干扰信息为光照变化时,根据乘性干扰及加性干扰去除该待测人脸图像的多个图像块的光照变化干扰,分别获得对应的多个重构图像块,从而获得对应的重构图像。
根据本发明实施例的人脸识别方法,在所述外部干扰信息为旋转变化时,对所述n个模板图像分别与该待测人脸图像的多个图像块的像素值进行升序或降序矩阵排列,以分别获得对应的重构图像。
根据本发明实施例的人脸识别方法,在外部干扰信息为光照变化与旋转变化同时存在时,更包括判断所述光照变化程度大小的步骤。当判断所述光照变化程度较大时,去除所述光照变化干扰,以获得所述重构图像;当判断所述光照变化程度较小时,去除所述光照变化及所述旋转变化干扰,以获得所述重构图像。
根据本发明实施例的人脸识别方法,当所述外部干扰信息存在平移变化时,则去除所述平移变化干扰对所述待测人脸图像进行图像重构。
根据本发明实施例的人脸识别方法,所述获得该待测人脸图像与所述n个模板图像的线性判别分析LDA误差Di的步骤包括以下步骤:根据所述n个模板图像的样本训练得到一映射矩阵;利用所述映射矩阵分别将所述n个模板图像和该待测人脸图像的高维特征投影到低维空间中,以分别获得所述n个模板图像和该待测人脸图像的低维特征向量;根据所述n个模板图像和该待测人脸图像的低维特征向量,分别计算所述n个模板图像和该待测人脸图像之间的距离,以获得所述n个模板图像与该待测人脸图像之间的LDA误差。
根据本发明的另一方面,本发明还提出一种人脸识别装置,该人脸识别装置包括图像重构模块、重构误差计算模块、线性判别分析LDA误差模块、相似度确定模块以及识别模块。图像重构模块利用n个模板图像分别对待测人脸图像进行图像重构,以去除外部干扰信息对应获得n个重构图像;重构误差计算模块用于根据所述n个重构图像,分别计算该待测人脸图像与所述n个重构图像的重构误差Ei;线性判别分析LDA误差模块,用于采用线性判别分析分别获得该待测人脸图像与所述n个模板图像的LDA误差Di;相似度确定模块用于根据所述重构误差Ei及所述LDA误差Di进行加权计算,以分别确定该待测人脸图像与所述n个模板图像之间的不相似度eei;识别模块用于根据所述不相似度的最小值来识别该待测人脸图像;其中,n为正整数,i=1,2,3,…,n。
根据本发明实施例的人脸识别装置,相似度确定模块根据下述公式确定该待测人脸图像与所述n个模板图像之间的不相似度,eei=λ·Ei+ω·Di,其中,λ和ω分别为权重系数,λ+ω=1,且λ的取值范围在0.1~1之间。
根据本发明实施例的人脸识别装置,更包含预处理模块,用于在所述图像重构模块进行图像重构前将待测人脸图像与n个模板图像进行归一化预处理。
根据本发明实施例的人脸识别装置,所述识别模块将该待测人脸图像分类到与所述不相似度最小值对应的模板图像类别中,并根据所述不相似度的最小值是否小于一预定阈值来识别所述待测人脸图像,其中当判断所述不相似度的最小值小于该预定阈值时,所述识别模块识别该待测人脸图像与所述不相似度最小值对应的模板图像类别匹配;以及当判断所述不相似度的最小值大于该预定阈值时,所述识别模块识别该待测人脸图像与所述n个模板图像不匹配。
根据本发明实施例的人脸识别装置,图像重构模块包括图像划分模块和干扰去除模块,其中图像划分模块用于将每个所述模板图像与该待测人脸图像划分为多个图像块,干扰去除模块用于去除所述外部干扰信息对所述待测人脸图像的多个图像块的干扰。
根据本发明实施例的人脸识别装置,当所述外部干扰信息为光照变化时,所述干扰去除模块根据该待测人脸图像的多个图像块乘性干扰及加性干扰去除光照变化干扰,获得对应的重构图像。当所述外部干扰信息为旋转变化时,所述干扰去除模块对所述模板图像与该待测人脸图像的多个图像块的像素值进行升序或降序矩阵排列,以去除旋转干扰,获得对应的重构图像。当所述外部干扰信息为光照变化与旋转变化同时存在时,所述干扰去除模块用于判断所述光照变化程度大小。当所述干扰去除模块判断所述光照变化程度较大时,去除所述光照变化干扰,以获得所述重构图像;当所述干扰去除模块判断所述光照变化程度较小时,去除所述光照变化及所述旋转变化干扰,以获得所述重构图像。当所述外部干扰信息存在平移变化时,所述干扰去除模块去除所述平移变化干扰对所述待测人脸图像。
根据本发明实施例的人脸识别装置,LDA误差模块包括:映射矩阵确定模块,用于根据所述n个模板图像的样本训练得到一映射矩阵;映射模块用于利用所述映射矩阵分别将所述n个模板图像和该待测人脸图像的高维特征投影到低维空间中,以分别获得所述n个模板图像和该待测人脸图像的低维特征向量;距离计算模块用于根据所述n个模板图像和该待测人脸图像的低维特征向量,分别计算所述n个模板图像和该待测人脸图像之间的距离,以获得所述n个模板图像与该待测人脸图像之间的LDA误差。
本发明的人脸识别装置及方法通过对待测人脸图像进行分块重构,从而从考虑图像区域信息出发,除去外部条件变化对待测图像的干扰。此外,本发明利用线性判别分析LDA方法,通过多个模板图像对待测人脸图像进行识别,从全局特征对待测人脸图像以进行识别分析。本发明通过将待测人脸图像的局部信息和全局信息结合起来进行误差分析及图像识别,能够在面部姿态、照明条件以及其他干扰因素存在的情况下,有效地提高识别性能。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的人脸识别装置的系统结构图;
图2为本发明实施例的人脸识别方法的总体步骤流程图;
图3为本发明实施例的人脸识别方法的详细步骤流程图;
图4为本发明实施例的人脸识别方法中图像重构步骤流程图;以及
图5为本发明实施例的人脸识别方法中线性判别分析LDA误差确定步骤流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
图1为本发明实施例的人脸识别装置的系统结构图,如图1所示,本发明实施例的人脸识别装置包括预处理模块10、图像重构模块20、重构误差计算模块30、线性判别分析(Linear Discriminant Analysis,LDA)误差模块40、相似度确定模块50以及识别模块52。预处理模块10用于将待测人脸图像与/或识别库内的模板图像进行归一化处理,模板图像的数量可以是一个或多个。在本发明的实施例中,模板图像的数量为多个。归一化处理例如是根据人眼定位原理把待测人脸图像以及各个模板图像统一到一定大小的图像,以便于后面的图像重构和识别处理。
在本发明的该实施例中,图像重构模块20利用已归一化处理的多个模板图像分别对待测人脸图像进行图像重构,其中图像重构模块20包括图像划分模块22以及干扰去除模块24。在执行待测人脸图像与其中一个模板图像的图像重构时,图像划分模块22将待测人脸图像及对应的模板图像分别划分成多个小平面,即划分为多个图像块。
干扰去除模块24用于去除外部干扰信息对待测人脸图像的干扰,以降低干扰对识别效果的影响。当待测人脸图像存在的外部干扰信息为光照变化时,干扰去除模块24则考虑特殊光照条件下图像的乘性干扰和加性干扰,分别对待测人脸图像的多个划分图像块进行干扰信息去除,从而得到对应的重构图像块。图像重构模块20根据待测人脸图像的重构图像块,重构出对应的图像。
当外部干扰信息为旋转变化时,例如待测人脸与模板人脸出现偏转等偏差,而造成人眼出现不水平等状况时,干扰去除模块24则对模板图像与待测人脸图像的多个图像块进行直接排序方法,例如将模板图像与待测人脸图像的图像块中所有像素值通过升序或降序矩阵进行排列。图像重构模块20根据多个图像块排序后的像素值矩阵获得待测人脸图像重构图像。
当外部干扰信息为平移变化时,干扰去除模块24则根据待测人脸图像发生平移变化的图像块,在其对应的模板图像的图像块邻域内,例如对应模板中图像块中心像素点在2×2或3×3范围内移动,整个图像块跟着移动,搜索出最佳匹配的图像块,从而去除待测人脸图像相对模板图像的平移影响。
重构误差计算模块30用于根据重构图像计算待测人脸图像与对应模板图像的重构误差,重构误差计算模块30包括重构均方误差计算模块32与平均重构误差计算模块34。重构均方误差计算模块32用于计算待测人脸图像的每个被划分图像块与重构图像对应重构图像块之间的重构均方误差。
图像重构模块20利用图像划分模块22及干扰去除模块24,根据所有的模板图像,可以对待测人脸图像对应构建出多个重构图像。因此,重构误差计算模块30根据重构的多个重构图像,可以求出它们分别与待测人脸图像的重构误差值。
该误差是在存在变化的光照条件或旋转、平移变化下使用模板图像重建待测人脸图像测得的误差,该误差值越小表明待测人脸图像和重构的图像越相似,越有可能待测人脸来自于该误差值对应的模板图像,即属于同一个人脸的图像。经过这样的处理后,不均匀光照将被减弱,或者旋转被调整到适当位置。平均重构误差计算模块34然后根据重构均方误差计算模块32求得的每个图像块的重构均方误差,计算出待测人脸图像与对应模板图像所有图像块的平均重构误差,也就是重构误差Ei,进而分别获得待测人脸图像与所有重构图像之间的重构误差Ei。这里,i=1,2,3,…,表示多个模板图像中其中的一个模板图像,当然,i=1也可以仅为1,即表示只存在一个模板图像。在本发明的实施例中,模板图像的数量为多个。Ei则表示其中一个对应的模板图像与待测人脸图像之间的重构误差。
此外,待测人脸图像可能同时存在光照及旋转变化,因此干扰去除模块24用于判断所述光照变化的程度大小,即干扰去除模块24根据光照变化的大小程度来决定去除何种干扰。当判断所述光照变化程度较大时,干扰去除模块24仅去除所述光照变化干扰,按照上述方式进行对应图像重构。因为在光照条件很大的情况下,旋转变化引起的重构误差将很不稳定,所以在光照变化很大的时候,重构均方误差计算模块32不再考虑旋转引起的变化,直接用光照变化产生的重构误差来代替旋转变化产生的重构误差,以实现弹性的匹配。这里,干扰去除模块24可以根据待测人脸图像的图像块对应模板图像的图像块的光照变化情况获得的重构误差,以及待测人脸图像与对应的模板图像之间的直接均方误差,利用两个误差的比值,即通过两个误差之间的不同来估计光照大小程度情况。当待测人脸图像和模板图像之间的直接均方误差与待测人脸图像和重构图像之间的重构均方误差之比大于一预定训练参数时,则仅考虑由光照变化所引起的重构误差。
当干扰去除模块24判断判断光照变化的程度较小时,即判断待测人脸图像和模板图像之间的直接均方误差与待测人脸图像和重构图像之间的重构均方误差之比不大于预定训练参数时,则同时考虑光照变化和旋转变化,去除对应的变化干扰以进行图像重构。
上述预定训练参数是判断光照变化程度的阈值设定,该参数值可以通过实验获得,例如通过选取一定数量的测试样本与训练样本,预先设定该参数值,从而根据对测试样本在各种干扰条件下的图像重构获得的重构误差,进行测试样本的图像识别。随机或按一定规律递增或递减穷举设定此参数值,求得不同参数下的识别率。选取其中可以使识别率达到比较理想效果的值作为这里的预定训练参数,从而作为本发明实施例图像重构中光照变化程度大小的判断标准。
重构误差计算模块30通过上述方式,可以分别计算出各种外部变化条件下待测人脸图像与所有根据模板图像得到的重构图像的重构误差Ei。重构误差值越小,表明待测人脸图像与对应的模板图像相似度越大,即认为是最佳匹配的人脸图像。
需要指出的是,本发明的图像重构模块并不局限于上述实施例对应的图像重构,现有技术存在的其他图像重构方法,例如《计算机工程与设计》2005年08期发表的《自适应超分辨率图像重构》、《武汉大学学报》(信息科学版)2007年发表的《基于HMRF先验模型的HBE卫星遥感图像超分辨率重建》、《华南理工大学学报》(自然科学版)2005年发表的《基于半像素运动信息的快速超分辨率图像重构算法》等均可以构成本发明人脸识别装置所涉及的图像重构手段。
LDA误差计算模块40采用线性判别分析分别获得待测人脸图像与所有模板图像的线性判别分析LDA误差Di,其中LDA误差计算模块40包括映射矩阵确定模块42、映射模块44以及距离计算模块46。
在人脸识别中,识别训练库中的模板图像可具有多个不同的类别,即多个不同人的人脸图像,相同类别对应具有多种状态下的模板图像,即同一个人的多个不同的脸部姿态、表情图像。映射矩阵获取模块42则通过模板图像的样本训练,并根据样本类间离散度和类内离散度的比值得到最佳映射矩阵。映射模块44用于利用所述映射矩阵将一一将所有模板图像和待测人脸图像的高维特征分别投影到低维空间中,进而获得所有模板图像和待测人脸图像的低维特征向量,即从高维特征空间中提取出最具判别能力的低维特征。距离计算模块46根据所述低维特征向量分别计算每个模板图像和该待测人脸图像之间的距离大小,即待测人脸图像与每个模板图像的线性判别分析LDA误差Di。因此,通过分别计算待测人脸图像与所有模板图像的线性判别分析LDA误差Di,可以将同一类别的所有模板图像分类到一起,并且从最小值的LDA误差可初步确定与待测人脸图像最相似的模板图像类。
这里,需要指出的是,虽然LDA误差模块40与重构误差计算模块30的连接关系如图2所示,但本发明不局限于图2显示的实施例。实际应用中,可以首先是LDA误差模块40计算出待测人脸图像与模板图像之间的LDA误差,再由图像重构模块20和重构误差计算模块30执行对应的待测人脸图像的重构以及图像重构误差计算,或者是LDA误差模块40与图像重构模块20及重构误差计算模块30并行连接,分别执行对应的操作。
相似度确定模块50用于根据上面得到的重构误差Ei及LDA误差Di进行加权计算,进而从待测人脸图像的全局特征及区域特征出发,更精确地得到待测人脸图像分别与多个模板图像之间的不相似度eei,也就是得到图像之间的不相似程度的大小。相似度确定模块50根据下述公式确定待测人脸图像与多个模板图像之间的不相似度,
eei=λ·Ei+ω·Di                        (1)
这里,不相似度值用来表示待测人脸图像与模板图像之间的相似程度。即,eei值越大表示两幅图像的不相似程度越大,即相似程度越小。反之,eei值越小表示两幅图像的不相似程度越小,即相似程度越大,两幅图像越可能是属于同一个人的图像。
在公式(1)中,i=1,2,3,…,n,n为所述多个模板图像的总数,i则对应其中的一个模板图像。λ和ω分别为权重系数,这里,优选λ+ω=1,且λ的取值范围在0.1~1之间。
λ和ω参数是根据预定的测试样本和训练样本进行识别率获取后确定的固定参数。关于λ和ω的确定过程如下:利用一定数量的人脸图像作为训练样本(对应于模板图像)和测试样本(对应于待测人脸图像),并由预处理模块10、图像重构模块20、重构误差计算模块30以及LDA误差模块40及相似度确定模块50对上述训练样本和测试样本分别执行对应的操作,即由预处理模块10对这些样本进行预处理,由图像重构模块20利用训练样本对测试样本进行图像重构,重构误差计算模块30则计算出测试样本与每个训练样本之间的重构误差Ei,LDA误差模块40确定出测试样本与每个训练样本之间的LDA误差Di。首先在λ取值范围内随机或按照一定规律选择几个数值,例如选取λ=0.1,λ=0.5,λ=1,相似度确定模块50根据公式(1)分别确定每个测试样本与所有训练样本的不相似度eei。识别模块52根据每个测试样本对应获得的最小不相似度值进行分类识别,即将该测试样本划分到不相似度最小值对应的训练样本类别中。并且通过和测试样本实际表示的人脸图像进行比较验证,从而可以求得所有的测试样本在这些λ取值下对应的识别率。即,可以得到不同λ值下测试样本是否被正确识别的识别率。对于不同λ值对应的识别率大小,根据最高识别率来逐步缩小λ的取值范围,即在最高识别率对应的λ范围内再次选择多个λ值,并根据上述方式进行识别率计算。以此类推,逐步缩小λ的取值范围,直至得到相对更高的识别率值,由此确定此时对应的λ值、ω值,以用于此后的不相似度大小计算。当然,λ与ω的大小确定不局限于此,例如,λ与ω之和可以为其他值,或者可以事先为其中一个的λ或者ω赋值,然后根据公式(1)进行样本识别训练,从而确定另一个参数ω或者λ的参数大小。
识别模块52根据相似度确定模块50得到的所有模板图像分别与待测人脸图像之间的不相似度eei,从而确定所得的多个不相似度的最小值,来识别待测人脸图像。识别模块52首先将待测人脸图像分类到不相似度最小值对应的模板图像类别中,即同一个人脸对应的模板图像类中。然后在识别该最小不相似度对应的模板图像类与待测人脸图像是否匹配时,识别模块52是根据一个预定阈值来确定的。当识别模块52判断不相似度的最小值小于该预定阈值时,则识别该待测人脸图像与所述不相似度最小值对应的模板图像类别匹配,即识别待测人脸图像与该模板图像类中的所有图像属于同一个人。当判断不相似度的最小值大于该预定阈值时,识别模块52则识别该待测人脸图像与所有的模板图像均不匹配,即表示待测人脸为识别库中没有模板图片对应的陌生人。
本发明另一个实施例还提出了一种人脸识别方法,下面结合图2、图3、图4及图5对该实施例的人脸识别方法作出详细说明。
图2为本发明实施例的人脸识别方法的总体步骤流程图,如图2显示,首先,利用多个模板图像分别对待测人脸图像进行图像重构,并根据获得的待测人脸图像的多个重构图像,分别计算待测人脸图像与对应的重构图像的重构误差(步骤102)。这里,待测人脸图像利用每个模板图像可对应得到一个重构图像,即表示存在几个模板图像,则对应得到几个重构图像。同理,每个重构图像分别与待测人脸图像比对,则求得对应的重构误差。关于步骤102中待测人脸图像重构以及重构误差计算,可参考图3中步骤204至步骤212给出的一个具体实施例,下文中将给出详细说明。
步骤104关于线性判别分别LDA误差计算,即采用线性判别分析来分别获得待测人脸图像与每个模板图像的LDA误差。这里需要指出的是,步骤114的LDA误差计算与步骤102关于图像重构及重构误差计算次序不局限于图2所给出的实施例的流程步骤,即不局限于先执行图像重构误差步骤之后才能够执行LDA误差。实际应用中,也可以先计算待测人脸图像与模板图像之间的LDA误差,再进行待测人脸图像的重构以及对应的图像重构误差计算,或者是LDA误差计算和图像重构及重构误差计算并行执行各自对应的操作。关于步骤104中待测人脸图像重构以及重构误差计算,可参考图3中步骤214对应的具体实施例,下文中将给出详细说明。
在获取待测人脸图像与每个模板图像对应的重构误差及LDA误差之后,分别对同一个模板图像对应的重构误差和LDA误差进行加权计算,从而分别确定待测人脸图像与多个模板图像之间的不相似度(步骤106)。关于步骤106的不相似度计算具体步骤可参考图3的步骤216,下文中将给出详细说明。
然后,从确定的多个不相似度中根据最小值识别该待测人脸图像(步骤108)。关于步骤108中待测人脸识别具体步骤请参考图3步骤218至步骤226,下文中将给出详细说明。
现在,请参考图3,图3为本发明实施例的人脸识别方法的详细步骤流程图。
首先,将待测人脸图像与模板图像进行归一化处理(步骤202),把待测人脸图像以及各个模板图像统一到一定大小的图像,以便于后面的图像重构和识别处理。然后将归一化后的待测人脸图像与模板图像划分为多个图像块(步骤204)。图像划分是将待测人脸图像及模板图像划分成多个小平面,即划分为多个图像块。图像划分步骤可以遵循以下公式,
F = ∪ i = 1 , . . . , N f i
这里,F是一幅人脸图像,待测人脸图像或者模板图像。fi为被划分的一个小图像块或是小平面,N是所划分的小图像块的总数,其中这些图像块满足下列条件:
Figure A20081011336600182
这里,i≠j。
接着,根据外部干扰信息的类型,去除待测人脸图像各个划分图像块的外部干扰信息(步骤206),去除外部干扰信息对待测人脸图像的干扰,进而降低干扰对识别效果的影响。
根据模板图像对去除光照干扰的待测人脸图像进行图像重构(步骤208)。关于待测人脸图像外部干扰信息去除以及图像重构步骤请参考图4,下文中将给出详细说明。
图4为本发明实施例的人脸识别方法中图像重构步骤流程图,如图4所示,首先判断外部干扰信息的类型(步骤302),此实施例中外部干扰信息类型可以包含光照变化,例如待测人脸图像相对模板图像亮度的高低、光照不均匀等,平移变化,例如眼睛、嘴巴等张合而引起的人脸图像特征点的上下或左右移动,以及旋转变化,例如人脸扭转、倾斜等造成的图像特征点旋转变化。
当判断待测人脸图像相比模板图像出现光照变化时(步骤304),则考虑特殊光照条件下图像的乘性干扰和加性干扰,分别对多个划分的待测人脸图像的图像块进行干扰信息去除(步骤306)。在不均匀光照条件下,利用下述公式对模板图像构建光照变化条件下的图像块:
fi1(x,y)=aifi(x,y)+bi                    (2)
这里,fi(x,y)∈fi,fi1(x,y)∈fi1,fi是在均匀光照下的模板图像的图像块,fi1是相对应的变化光照条件下的图像块,ai和bi分别是待测人脸图像的乘性干扰和加性干扰。
然后,根据去除干扰信息后的图像块矩阵则得到重构图像(步骤324)。根据上述等式(2)可得到如下等式:
f i ′ ( x 0 , y 0 ) . . . f i ′ ( x k , y k ) . . . f i ′ ( x mi - 1 , y mi - 1 ) = f i ( x 0 , y 0 ) 1 . . 1 . f i ( x k , y k ) 1 . . 1 . f i ( x mi - 1 , y mi - 1 ) 1 a i b i - - - ( 3 )
其中,mi是第i个图像块的像素个数,f′i是来自待测人脸图像的图像块,简单记成如下表示方式:
G ′ = G a i b i
此外,通过下列方法可求得ai和bi的值
a ^ i b ^ i = ( G T G ) - 1 G T G ′ - - - ( 4 )
由等式(2)和等式(4),可以得到去除光照干扰后待测人脸图像的重构图像块,表示如下:
f ^ i ′ ( x k , y k ) = a ^ i f i ( x k , y k ) + b i ^ , k = 0,1 , . . . , m i - 1 - - - ( 5 )
当判断出现平移变化时(步骤308),则根据待测人脸图像中发生平移变化的图像块,在其对应的模板图像的图像块邻域内,例如对应模板中图像块中心像素点在2×2或3×3范围内移动,整个图像块跟着移动,搜索出最佳匹配的图像块(步骤310),从而去除待测人脸图像相对模板图像存在的平移干扰,减少待测人脸图像的平移对利用模板图像进行识别所造成的影响。当出现旋转变化时(步骤312),对模板图像与待测人脸图像的多个划分图像块进行像素值升序或降序矩阵排列(步骤314)。当外部干扰信息为旋转变化时,例如待测人脸与模板人脸出现偏转等偏差,而造成人眼出现不水平等状况时,对模板图像与待测人脸图像的多个图像块进行直接排序方法,例如将模板图像与待测人脸图像的图像块中所有像素值通过升序或降序矩阵进行排列。
例如,模板图像的图像块按照升序排列得到的像素值矩阵如下:
gi=rank(fi)=[gi(0),...,gi(k),...,gi(mi-1)]T            (6)
相似地,待测人脸图像的f′i图像块的像素值按同样的方法排列得到像素值矩阵如下:
g′i=rank(f′i)=[g′i(0),...,g′i(k),...,g′i(mi-1)]T    (7)
根据多个图像块排序后的像素值矩阵,可去除旋转干扰获得待测人脸图像重构图像(步骤324)。
某些情况下可能存在光照变化与旋转变化同时存在的情况,因此需要判断光照变化程度的大小,即判断是否光照变化程度较大(步骤316)。这里,参考图3的步骤210至步骤212,在求得待测人脸图像与对应重构图像的重构误差之后再进行判断。
现在请参考图3,在根据上述步骤对待测人脸图像进行图像重构之后,步骤210计算出待测人脸图像每个被划分图像块与对应重构图像块的重构均方误差(步骤210)。对于光照变化下,重构均方误差计算的公式如下:
ei 1 = Σ k = 0,1 , . . . , m i - 1 ( f i ′ ( x k , y k ) - f ^ i ′ ( x k , y k ) ) 2 m i - - - ( 8 )
其中ei1表示光照变化条件下,待测人脸图像与对应模板图像中第i块的重构均方误差。
对于旋转变化下,重构均方误差计算的公式如下:
e i 2 = Σ k = 0,1 , . . . , m i - 1 ( g i ′ ( k ) - g i ( k ) ) 2 m i - - - ( 9 )
其中,ei2表示旋转变化条件下,待测人脸图像与对应模板图像中第i块的重构均方误差。gi(k)表示模板图像块fi中的一个像素值,
Figure A20081011336600203
表示待测人脸图像块f′i中的一个像素值。
然后,根据每个图像块的重构均方误差计算出多个图像块的平均重构误差(步骤212)。通过步骤210及212,可以分别求出待测人脸图像与所有模板图像的平均重构误差,也就是重构误差Ei
在求出光照变化条件下待测人脸图像与重构图像的重构误差ei1,以及旋转变化条件下待测人脸图像与重构图像的重构误差ei2之后,可以执行图4步骤316的判断步骤。即在可能同时存在光照及旋转变化的情况下,对所述光照变化程度的大小作出判断(步骤316)。当判断所述光照变化程度较大时,则去除所述光照变化干扰(步骤318),按照上述方式进行对应图像重构。因为在光照条件很大的情况下,旋转变化引起的重构误差将很不稳定,所以在光照变化很大的时候,不再考虑旋转引起的变化,直接用光照变化产生的重构误差来代替旋转变化产生的重构误差,以实现弹性的匹配。这里,判断光照变化程度大小可通过以下公式进行:
η = Σ i e i 3 · [ 1 + α · m ( x i , y i ) ] Σ i e i 1 · [ 1 + α · m ( x i , y i ) ] - - - ( 10 )
其中,ei1是指在去除或减弱光照影响后待测人脸图像与模板图像的图像块之间的重构均方误差,ei3为直接反映两幅图像的对应图像块的均方误差, e i 3 = Σ k = 0,1 , . . . , m i - 1 ( f i ′ ( x k , y k ) - f i ( x k , y k ) ) 2 m i . 因此,通过两个误差ei1与ei3之间的不同用来估计光照变化程度大小情况。
在公式(10)中,(xi,yi)是指第i个图像块的中心点,m(xi,yi)是对应本征脸的值,这个值用来反应不同脸部位置的特点,α为一个权重因子,
m ( x i , y i ) = ( 255 max ( f e ′ ) - min ( f e ′ ) ) f e ′ ( x i , y i ) - - - ( 11 )
其中,fe为本征脸图像,max(f′e)和min(f′e)是指图像f′e中的数量级范围,且f′e=|fe|,本征脸归一化为0到1。
由公式(10)可以得到一幅待测人脸图像的光照变化程度,如果η>η0时,η0是光照变化的阈值设定,该阈值是使识别率达到比较理想效果的值。即光照变化程度大于阈值η0,就只考虑由光照和平移(存在平移变化的情况下)所引起的干扰(步骤318);否则,则同时考虑光照变化干扰与旋转变化干扰(步骤320)。
参数η0可以通过实验获得,例如通过选取一定数量的测试样本与训练样本,预先设定η0值,从而根据对测试样本在光照干扰条件下的图像重构获得的重构误差,进行测试样本的图像识别。随机或按一定规律递增或递减穷举设定η0值,求得不同η0参数下的识别率。选取其中可以使识别率达到比较理想效果的值作为这里的预定训练参数η0,从而作为本发明实施例图像重构中光照变化程度大小的判断标准。
如果η≤η0,即同时考虑光照变化和旋转变化干扰,根据公式(8)和(9)可以得到以下公式:
ei=(1-β)·ei1+β·ei2                     (12)
ei1是去除了光照变化后的重构人脸图像块的误差,ei2是独立的去除了旋转信息后的重构误差,β是权重因素。
因此,在光照变化程度较大(其中同时考虑存在平移影响),而不考虑旋转变化的情况下,对应的平均重构误差如下:
E ‾ = Σ i = 1 , . . . , N min Δx , Δy ( e i 1 ) · [ 1 + α · m ( x i , y i ) ] N - - - ( 13 )
在考虑光照变化和旋转变化干扰同时存在并且考虑平移变化的情况下,得到待测人脸图像与模板图像的两个对应图像块的平均重构误差计算如下:
E ‾ = Σ i = 1 , . . . , N min Δx , Δy [ ( 1 - β ) · ( e i 1 ) + β · e i 2 ] · [ 1 + α · m ( x i , y i ) ] N - - - ( 14 )
上述公式(13)、(14)考虑了平移干扰的存在,这里Δx和Δy是指沿着x方向和y方向的平移。
在执行上述外部干扰去除步骤306、步骤310、步骤314、步骤318或者步骤320之后,则前进至步骤322,完成对应的图像重构。需要指出的是,本发明的图像重构并不局限于图4的优选实施例,现有技术存在的其他图像重构方法均可以构成本发明人脸识别装置所涉及的图像重构手段。
步骤214是根据线性判别分析,来获得待测人脸图像与模板图像的线性判别分析LDA误差。线性判别分析(LDA)方法是比较经典的方法之一,该方法选择与类内散布的正交矢量作为特征脸空间,从而能够压制图像之间与识别信息无关的差异,对光照及人脸表情变化都不太敏感。这种方法的目的就是从高维特征空间里提取出最具有判别能力的低维特征,这些特征能帮助将同一个类别的所有样本聚集在一起,不同类别的样本尽量分开,即选择使样本类间离散度和类内离散度的比值最大的特征。
关于LDA误差确定的详细步骤请参考图5。图5为本发明实施例的人脸识别方法中线性判别分析LDA误差确定步骤流程图,如图5显示,首先根据多个模板图像的样本训练得到映射矩阵(步骤402),最佳映射矩阵是根据样本类间离散度和类内离散度的比值训练得到。
其中,样本类间离散度矩阵定义为:
S B = Σ i = 1 c χ i ( μ i - μ ) ( μ i - μ ) T - - - ( 15 )
这里,χi为第i类模板图像样本数与总体模板图像样本数的比值,即这类模板图像的概率,μi为第i类模板图像对应的样本均值,即同类别模板图像的点像素矩阵向量求和的平均值,μ为总体模板图像样本的均值,即所有模板图像对应的像素值矩阵的求和平均值,c为总的模板图像的类别数。
样本类内离散度矩阵定义为:
S W = Σ i = 1 c Σ X k ∈ χ i ( X k - μ i ) ( X k - μ i ) T - - - ( 16 )
根据样本类间离散度矩阵和样本类内离散度矩阵的行列式比值可求得将模板图像和待测人脸图像从高维特征空间降到低维特征空间的最佳映射矩阵。关于最佳映射矩阵的求解过程如下:
定义为J(w)为:
J ( w ) = | w T S B w | | w T S W w | - - - ( 17 )
这里,首先求出使得J(w)最大的w,w的求取方法如下:
c ( w ) = w t S B w - λ ( w t S W w - 1 )
⇒ d c d w = 2 S B w - 2 λ S W w = 0
⇒ S B w = λ S W w
S B w i = λ i S W w i - - - ( 18 )
w的第i个列向量就是对应求公式(18)第i大的特征值对应的特征向量。取特征值为非零的前k个特征值对应的特征向量则构成最佳投影的k维空间wopt,这里k最大为(c-1)。
利用最佳映射矩阵分别将所有的模板图像和待测人脸图像的高维特征投影到低维空间中,以获得模板图像和待测人脸图像的低维特征向量(步骤406)。其中对应公式如下:
Y = w opt T X - - - ( 19 )
这里,X为模板图像或者待测人脸图像对应的像素值矩阵,Y为模板图像或者待测人脸图像通过映射降维后得到的低维特征向量。通过该步骤,从而从高维特征空间中提取出最具判别能力的低维特征。
然后,根据获得的低维特征向量分别计算模板图像和待测人脸图像之间的距离(步骤408)。即获得模板图像每个训练样本与待测人脸图像之间的LDA误差Di。这里,LDA误差Di可以采用欧式距离表示,或者其他表示LDA误差的距离公式来表示。例如hausdroff距离,马氏距离等等。以欧式距离为例,则定义
D i = sqrt ( Σ k = 1 n ( y k 1 - y k 2 ) 2 )
这里Di表示在低维的n维空间待测人脸图像低维特征矩阵Y1与模板图像的低维特征矩阵Y2两点之间的距离,yk1表示Y1矩阵中的第k维坐标,yk2表示Y2矩阵的第k维坐标,这里k=1,2…n。
现在请参考图3,在获得平均重构误差与LDA误差之后,综合考虑平均重构误差与LDA误差对待测人脸图像及模板图像之间相似度的判断特征,获得待测人脸图像与模板图像之间的不相似度(步骤216),从而在去除干扰信息的前提下,获得更精确的待测人脸图像与模板图像之间的相似程度。
这里,不相似度值用来表示待测人脸图像与模板图像之间的相似程度。即,eei值越大表示两幅图像的不相似程度越大,即相似程度越小。反之,eei值越小表示两幅图像的不相似程度越小,即相似程度越大,两幅图像越可能属于同一个人的图像。其中待测人脸图像与模板图像之间的不相似度根据下面公式计算出:
eei=λ·Ei+ω·Di                    (20)
其中,i=1,2,3,…,n,n为所述多个模板图像的总数,即i对应为n个模板图像中的其中一个的模板图像。eei为待测人脸图像与其中一个对应模板图像的不相似度,Ei为待测人脸图像与模板图像的重构误差,Di为待测人脸图像与模板图像的LDA误差,λ和ω分别为权重系数。这里,优选λ+ω=1,且λ的取值范围在0.1~1之间。当然,λ也可以从0开始取值,但这里优选λ由0.1取值是因为,在LDA误差与图像重构误差的加权计算中,若λ值太小,对应的图像重构误差值Ei也很小,则不能够均衡体现出重构误差Ei与LDA误差Di对综合误差判断的作用或影响。同理,ω取值范围也遵循上述原理。
λ和ω参数是根据预定的测试样本和训练样本进行识别率获取后确定的固定参数。下面,详细说明λ或ω参数的确定方法。首先利用一定数量的人脸图像作为训练样本(对应于模板图像)和测试样本(对应于待测人脸图像),这里训练样本和测试样本均为已知图像。通过重构误差计算步骤102、LDA误差计算步骤104、不相似度确定步骤106对上述训练样本和测试样本分别执行对应的操作,即利用训练样本对测试样本进行图像重构,计算出测试样本与每个训练样本之间的重构误差Ei,以及获得测试样本与每个训练样本之间的LDA误差Di
然后,在λ取值范围内随机或按照一定规律选择几个数值,例如选取λ=0.1,λ=0.5,λ=1,对应的ω=0.9,ω=0.5,ω=0。根据公式(20)分别确定每个测试样本与所有训练样本的不相似度eei。根据每个测试样本对应获得的最小不相似度值进行分类识别,即将该测试样本划分到不相似度最小值对应的训练样本类别中。通过和测试样本实际表示的人脸图像进行比较验证,从而可以求得所有的测试样本在这些λ取值下对应的识别率大小。即,可以得到不同λ值下测试样本是否被正确识别的识别率。对于不同λ值对应的识别率,根据最高识别率来逐步缩小λ的取值范围,对于不同λ值对应的识别率大小,根据最高识别率来逐步缩小λ的取值范围,即在最高识别率对应的λ范围内再次选择多个λ值,进行识别率计算。以此类推,逐步缩小λ的取值范围,直至得到相对更高的识别率值,由此确定此时对应的λ值、ω值,作为公式(20)的已知参数用于之后实际应用中的不相似度大小确定。当然,λ与ω的大小确定不局限于此,例如,λ与ω之和可以为其他值,或者可以事先为其中一个的λ或者ω赋值,然后根据公式(20)进行样本识别训练,从而确定另一个参数ω或者λ的大小。通过上述方式,从而确定了公式(20)的权重系数,以用于待测人脸图像的识别。
根据分别确定的所有模板图像与待测人脸图像之间的不相似度eei,从而选择出与最小不相似度及其对应的模板图像(步骤218)。然后将待测人脸图像分类到该不相似度最小值对应的模板图像类别中(步骤220),即同一个人脸对应的模板图像类中。然后,根据一个预定阈值来判断识别该最小的不相似度对应的模板图像与待测人脸图像是否匹配(步骤222)。当判断不相似度的最小值小于该预定阈值时,则识别该待测人脸图像与所述不相似度最小值对应的模板图像类匹配(步骤224),即识别待测人脸图像与该模板图像类中的所有图像属于同一个人。当判断不相似度的最小值大于该预定阈值时,则识别该待测人脸图像与所有的模板图像均不匹配(步骤226),即表示待测人脸为识别库中没有模板图片对应的陌生人的图像。
本发明实施例的人脸识别装置及方法通过对待测人脸图像进行重构,从而从考虑图像区域信息出发,除去外部条件变化对待测图像的干扰,进行准确有效的图像重构。并且本发明利用线性判别分析LDA方法,通过多个训练样本对待测人脸图像进行识别,从全局特征待对测人脸图像以进行识别分析。本发明通过将待测人脸图像的局部信息和全局信息结合起来进行误差分析及图像识别,能够在面部姿态、照明条件以及其他干扰因素存在的情况下,有效地提高人脸识别的性能。
下面的表1给出了单独利用LDA方法、本发明实施例的图像重构方法以及利用本发明人脸识别装置及方法进行人脸图像识别后,所得到的识别率结果。这里,分别选用ORL图像集和PIE(pose,illumination,expression)图像集作为训练样本和测试样本,从表1的结果可知,本发明的人脸识别装置及方法相比单独的LDA方法或图像重构方法识别,具有更高的识别率。
表1
  人脸数据集   ORL   PIE
  训练样本测试样本   200个200个   340个1389个
  LDA方法实施例的图像重构方法本发明识别装置及方法   94.5%97%98.5%   88.84%87.33%93.38%
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同限定。

Claims (23)

1.一种人脸识别方法,其特征在于,该方法包括以下步骤:
利用n个模板图像分别对待测人脸图像进行图像重构,并分别计算该待测人脸图像与所得的n个重构图像的重构误差Ei
采用线性判别分析分别获得该待测人脸图像与所述n个模板图像的线性判别分析LDA误差Di
对所述重构误差Ei及所述LDA误差Di进行加权计算,以分别确定该待测人脸图像与所述n个模板图像之间的不相似度eei;以及
根据所述不相似度的最小值来识别该待测人脸图像;
其中,n为正整数,i=1,2,3,…,n。
2.如权利要求1所述的人脸识别方法,其特征在于,所述分别确定该待测人脸图像与所述n个模板图像之间的不相似度系根据下述公式,
eei=λ·Ei+ω·Di
其中,λ和ω分别为权重系数,λ+ω=1,且λ的取值范围在0.1~1之间。
3.如权利要求1所述的人脸识别方法,其特征在于,该方法还包括在进行所述图像重构步骤之前将该待测人脸图像与所述n个模板图像进行归一化处理的步骤。
4.如权利要求1或2项所述的人脸识别方法,其特征在于,所述根据不相似度的最小值来识别该待测人脸图像的步骤包括:
将该待测人脸图像分类到与所述不相似度最小值对应的模板图像类别中;
判断所述不相似度的最小值是否小于一预定阈值;
当判断所述不相似度的最小值小于该预定阈值时,识别该待测人脸图像与所述不相似度最小值对应的模板图像类别匹配;以及
当判断所述不相似度的最小值大于该预定阈值时,识别该待测人脸图像与所述n个模板图像不匹配。
5.如权利要求1或2项所述的人脸识别方法,其特征在于,利用所述n个模板图像对该待测人脸图像进行图像重构包括:
分别将所述n个模板图像与该待测人脸图像划分为多个图像块;
去除外部干扰信息对该待测人脸图像的多个图像块的干扰;以及
分别根据所述n个模板图像的多个图像块,对去除干扰信息后的所述待测人脸图像的多个图像块进行图像重构。
6.如权利要求5所述的人脸识别方法,其特征在于,在所述外部干扰信息为光照变化时,根据乘性干扰及加性干扰去除该待测人脸图像的多个图像块的光照变化干扰,分别获得对应的多个重构图像块,从而获得对应的重构图像。
7.如权利要求6所述的人脸识别方法,其特征在于,所述计算该待测人脸图像与所述n个重构图像的重构误差Ei的步骤包括:
分别计算出该待测人脸图像的每个图像块与所述n个重构图像对应的重构图像块的重构均方误差;以及
根据所述重构均方误差,分别计算该待测人脸图像的多个图像块与所述n个重构图像对应的多个重构图像块的平均重构误差。
8.如权利要求5所述的人脸识别方法,其特征在于,
在所述外部干扰信息为旋转变化时,对所述n个模板图像分别与该待测人脸图像的多个图像块的像素值进行升序或降序矩阵排列,以分别获得对应的重构图像。
9.如权利要求8所述的人脸识别方法,其特征在于,所述计算该待测人脸图像与所述n个重构图像的重构误差Ei的步骤包括:
根据所述排列矩阵顺序,分别计算出该待测人脸图像的每个图像块与对应的重构图像块的重构均方误差;以及
根据所述重构均方误差,分别计算该待测人脸图像的多个图像块与对应的多个重构图像块的平均重构误差。
10.如权利要求5所述的人脸识别方法,其特征在于,当所述外部干扰信息为光照变化与旋转变化同时存在时,更包括判断所述光照变化程度大小的步骤,
当判断所述光照变化程度较大时,去除所述光照变化干扰,以获得所述重构图像;
当判断所述光照变化程度较小时,去除所述光照变化及所述旋转变化干扰,以获得所述重构图像。
11.如权利要求5所述的人脸识别方法,其特征在于,当所述外部干扰信息存在平移变化时,则去除所述平移变化干扰对所述待测人脸图像进行图像重构。
12.如权利要求1或2项所述的人脸识别方法,其特征在于,所述获得该待测人脸图像与所述n个模板图像的线性判别分析LDA误差Di的步骤包括以下步骤:
根据所述n个模板图像的样本训练得到一映射矩阵;
利用所述映射矩阵分别将所述n个模板图像和该待测人脸图像的高维特征投影到低维空间中,以分别获得所述n个模板图像和该待测人脸图像的低维特征向量;
根据所述n个模板图像和该待测人脸图像的低维特征向量,分别计算所述n个模板图像和该待测人脸图像之间的距离,以获得所述n个模板图像与该待测人脸图像之间的LDA误差。
13.一种人脸识别装置,其特征在于,该装置包括:
图像重构模块,利用n个模板图像分别对待测人脸图像进行图像重构,以去除外部干扰信息对应获得n个重构图像;
重构误差计算模块,用于根据所述n个重构图像,分别计算该待测人脸图像与所述n个重构图像的重构误差Ei
线性判别分析LDA误差模块,用于采用线性判别分析分别获得该待测人脸图像与所述n个模板图像的LDA误差Di
相似度确定模块,用于根据所述重构误差Ei及所述LDA误差Di进行加权计算,以分别确定该待测人脸图像与所述n个模板图像之间的不相似度eei;以及
识别模块,用于根据所述不相似度的最小值来识别该待测人脸图像;
其中,n为正整数,i=1,2,3,…,n。
14.如权利要求13所述的人脸识别装置,其特征在于,所述相似度确定模块根据下述公式确定该待测人脸图像与所述n个模板图像之间的不相似度,
eei=λ·Ei+ω·Di
其中,λ和ω分别为权重系数,λ+ω=1,且λ的取值范围在0.1~1之间。
15.如权利要求13所述的人脸识别装置,其特征在于,该装置更包含预处理模块,用于在所述图像重构模块进行图像重构前将该待测人脸图像与所述n个模板图像进行归一化预处理。
16.如权利要求13或14项所述的人脸识别装置,其特征在于,所述识别模块将该待测人脸图像分类到与所述不相似度最小值对应的模板图像类别中,并根据所述不相似度的最小值是否小于一预定阈值来识别所述待测人脸图像,其中
当判断所述不相似度的最小值小于该预定阈值时,所述识别模块识别该待测人脸图像与所述不相似度最小值对应的模板图像类别匹配;以及
当判断所述不相似度的最小值大于该预定阈值时,所述识别模块识别该待测人脸图像与所述n个模板图像不匹配。
17.如权利要求13或14项所述的人脸识别装置,其特征在于,所述图像重构模块包括:
图像划分模块,用于将每个所述模板图像与该待测人脸图像划分为多个图像块;以及
干扰去除模块,用于去除所述外部干扰信息对所述待测人脸图像的多个图像块的干扰。
18.如权利要求17所述的人脸识别装置,其特征在于,当所述外部干扰信息为光照变化时,所述干扰去除模块根据该待测人脸图像的多个图像块乘性干扰及加性干扰去除光照变化干扰,获得对应的重构图像。
19.如权利要求17所述的人脸识别装置,其特征在于,当所述外部干扰信息为旋转变化时,所述干扰去除模块对每个所述模板图像与该待测人脸图像的多个图像块的像素值分别进行升序或降序矩阵排列,以去除旋转干扰,获得对应的重构图像。
20.如权利要求19所述的人脸识别装置,其特征在于,所述重构误差计算模块包括:
重构均方误差计算模块,用于计算出该待测人脸图像的每个被划分图像块与所述重构图像的对应重构图像块的重构均方误差;以及
平均重构误差计算模块,用于根据所述重构均方误差,计算出该待测人脸图像与对应重构图像的所述多个图像块之间的平均重构误差。
21.如权利要求17所述的人脸识别装置,其特征在于,当所述外部干扰信息为光照变化与旋转变化同时存在时,所述干扰去除模块用于判断所述光照变化程度的大小,
当所述干扰去除模块判断所述光照变化程度较大时,去除所述光照变化干扰,获得所述重构图像;
当所述干扰去除模块判断所述光照变化程度较小时,去除所述光照变化及所述旋转变化干扰,获得所述重构图像。
22.如权利要求17所述的人脸识别装置,其特征在于,当所述外部干扰信息存在平移变化时,所述干扰去除模块去除所述平移变化干扰对所述待测人脸图像。
23.如权利要求13或14项所述的人脸识别装置,其特征在于,所述LDA误差模块包括:
映射矩阵确定模块,用于根据所述n个模板图像的样本训练得到一映射矩阵;
映射模块,用于利用所述映射矩阵分别将所述n个模板图像和该待测人脸图像的高维特征投影到低维空间中,以分别获得所述n个模板图像和该待测人脸图像的低维特征向量;及
距离计算模块,用于根据所述n个模板图像和该待测人脸图像的低维特征向量,分别计算所述n个模板图像和该待测人脸图像之间的距离,以获得所述n个模板图像与该待测人脸图像之间的LDA误差。
CN2008101133664A 2008-05-29 2008-05-29 人脸识别装置及方法 Expired - Fee Related CN101593269B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2008101133664A CN101593269B (zh) 2008-05-29 2008-05-29 人脸识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101133664A CN101593269B (zh) 2008-05-29 2008-05-29 人脸识别装置及方法

Publications (2)

Publication Number Publication Date
CN101593269A true CN101593269A (zh) 2009-12-02
CN101593269B CN101593269B (zh) 2012-05-02

Family

ID=41407917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101133664A Expired - Fee Related CN101593269B (zh) 2008-05-29 2008-05-29 人脸识别装置及方法

Country Status (1)

Country Link
CN (1) CN101593269B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011076098A1 (zh) * 2009-12-21 2011-06-30 汉王科技股份有限公司 模拟雷达扫描的人脸检测方法
CN102262723A (zh) * 2010-05-24 2011-11-30 汉王科技股份有限公司 一种人脸识别方法及装置
CN104978569A (zh) * 2015-07-21 2015-10-14 南京大学 一种基于稀疏表示的增量人脸识别方法
CN108197250A (zh) * 2017-12-29 2018-06-22 深圳云天励飞技术有限公司 图片检索方法、电子设备及存储介质
CN108241855A (zh) * 2018-01-04 2018-07-03 百度在线网络技术(北京)有限公司 图像生成方法和装置
CN108256564A (zh) * 2018-01-10 2018-07-06 广东工业大学 一种基于距离度量相异度的自适应模版匹配方法及装置
CN108932468A (zh) * 2018-04-27 2018-12-04 衡阳师范学院 一种适用于心理学的面部识别方法
CN109345456A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN110084775A (zh) * 2019-05-09 2019-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110895705A (zh) * 2018-09-13 2020-03-20 富士通株式会社 异常样本检测装置及其训练装置和训练方法
US11348005B2 (en) 2018-09-30 2022-05-31 Boe Technology Group Co., Ltd. Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
CN110895705B (zh) * 2018-09-13 2024-05-14 富士通株式会社 异常样本检测装置及其训练装置和训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2414328A (en) * 2004-05-17 2005-11-23 Mitsubishi Electric Inf Tech Discrimination transforms applied to frequency domain derived feature vectors
CN100543764C (zh) * 2007-12-25 2009-09-23 西南交通大学 一种具有光照鲁棒性的人脸特征提取方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011076098A1 (zh) * 2009-12-21 2011-06-30 汉王科技股份有限公司 模拟雷达扫描的人脸检测方法
CN102262723A (zh) * 2010-05-24 2011-11-30 汉王科技股份有限公司 一种人脸识别方法及装置
CN102262723B (zh) * 2010-05-24 2013-03-13 汉王科技股份有限公司 一种人脸识别方法及装置
CN104978569A (zh) * 2015-07-21 2015-10-14 南京大学 一种基于稀疏表示的增量人脸识别方法
CN104978569B (zh) * 2015-07-21 2018-04-03 南京大学 一种基于稀疏表示的增量人脸识别方法
CN108197250A (zh) * 2017-12-29 2018-06-22 深圳云天励飞技术有限公司 图片检索方法、电子设备及存储介质
CN108241855A (zh) * 2018-01-04 2018-07-03 百度在线网络技术(北京)有限公司 图像生成方法和装置
CN108256564A (zh) * 2018-01-10 2018-07-06 广东工业大学 一种基于距离度量相异度的自适应模版匹配方法及装置
CN108256564B (zh) * 2018-01-10 2022-04-19 广东工业大学 一种基于距离度量相异度的自适应模版匹配方法及装置
CN108932468A (zh) * 2018-04-27 2018-12-04 衡阳师范学院 一种适用于心理学的面部识别方法
CN108932468B (zh) * 2018-04-27 2021-10-12 衡阳师范学院 一种适用于心理学的面部识别方法
CN110895705B (zh) * 2018-09-13 2024-05-14 富士通株式会社 异常样本检测装置及其训练装置和训练方法
CN110895705A (zh) * 2018-09-13 2020-03-20 富士通株式会社 异常样本检测装置及其训练装置和训练方法
US11348005B2 (en) 2018-09-30 2022-05-31 Boe Technology Group Co., Ltd. Apparatus, method, and computer-readable medium for image processing, and system for training a neural network
US11361222B2 (en) 2018-09-30 2022-06-14 Boe Technology Group Co., Ltd. System, method, and computer-readable medium for image classification
US11449751B2 (en) 2018-09-30 2022-09-20 Boe Technology Group Co., Ltd. Training method for generative adversarial network, image processing method, device and storage medium
US11615505B2 (en) 2018-09-30 2023-03-28 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
CN109345456A (zh) * 2018-09-30 2019-02-15 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN110084775B (zh) * 2019-05-09 2021-11-26 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110084775A (zh) * 2019-05-09 2019-08-02 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN101593269B (zh) 2012-05-02

Similar Documents

Publication Publication Date Title
CN101593269B (zh) 人脸识别装置及方法
CN103679158B (zh) 人脸认证方法和装置
Kaur et al. Face recognition using principal component analysis
Dago-Casas et al. Single-and cross-database benchmarks for gender classification under unconstrained settings
Liu et al. Sparse representation using nonnegative curds and whey
CN100410963C (zh) 一种基于块内相关性的二维线性鉴别分析人脸识别方法
Dong et al. Eyebrow shape-based features for biometric recognition and gender classification: A feasibility study
Khan et al. A comparative analysis of gender classification techniques
Berbar Three robust features extraction approaches for facial gender classification
Kusuma et al. PCA-based image recombination for multimodal 2D+ 3D face recognition
CN103136504A (zh) 人脸识别方法及装置
US10496897B2 (en) Method and apparatus for recognizing RGB-D objects based on adaptive similarity measure of dense matching item
CN103839033A (zh) 一种基于模糊规则的人脸识别方法
Beksi et al. Object classification using dictionary learning and rgb-d covariance descriptors
CN105809113A (zh) 三维人脸识别方法及应用其的数据处理装置
CN105023006A (zh) 基于增强型非参数最大边缘准则的人脸识别方法
Hou et al. Disentangled representation for age-invariant face recognition: A mutual information minimization perspective
Erfani et al. From shared subspaces to shared landmarks: A robust multi-source classification approach
Hongtao et al. Face recognition using multi-feature and radial basis function network
CN102103691A (zh) 一种基于主成分分析人脸的识别方法
Li et al. Image gradient orientations embedded structural error coding for face recognition with occlusion
Kukharev et al. Face recognition using two-dimensional CCA and PLS
Onifade et al. GWAgeER-A GroupWise Age Ranking Framework for Human Age Estimation
Huo et al. Ensemble of sparse cross-modal metrics for heterogeneous face recognition
Le et al. Multiple distribution data description learning method for novelty detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20170926

Address after: 450000 No. 315, No. 1, floor 2, building 3, building 10, Jianye Road, Jinshui District, Henan, Zhengzhou

Patentee after: Henan Hanvon Zhiyuan science and Technology Co Ltd

Address before: Beijing City, Haidian District Hanvon building 100094 Zhongguancun Software Park Building No. 5

Patentee before: Hanwang Tech Co., Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120502

Termination date: 20210529

CF01 Termination of patent right due to non-payment of annual fee