CN1599917A - 使用Kernel Fisherfaces的面部识别 - Google Patents
使用Kernel Fisherfaces的面部识别 Download PDFInfo
- Publication number
- CN1599917A CN1599917A CNA028240065A CN02824006A CN1599917A CN 1599917 A CN1599917 A CN 1599917A CN A028240065 A CNA028240065 A CN A028240065A CN 02824006 A CN02824006 A CN 02824006A CN 1599917 A CN1599917 A CN 1599917A
- Authority
- CN
- China
- Prior art keywords
- vector
- image
- face
- space
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
一种面部识别系统和方法从输入空间投射输入面部图像和参考面部图像集到高维数特征空间,以获得面部图像的更多表示特征。计算输入面部图像和参考面部图像的Kernel Fisherfaces,并将其用于投射输入面部图像和参考面部图像到比输入空间维数低的面部图像空间和高维数特征空间。输入面部图像和参考面部图像被表示为面部图像空间内的点,且输入面部点和每个参考图像点之间的距离被用于确定输入面部图像是否相像于参考面部图像的特定面部图像。
Description
相关申请交叉参考
本申请要求在2001年12月3日申请的名称为“Kernel Methods forFace Recognition”的美国临时专利申请No.60/336,974,和2001年12月3日申请的名称为“Face Recognition Using Kernel Methods”的美国临时专利申请No.60/337,022,以及在2002年7月22日申请的名称为“Face Recognition Using Kernel Fisherfaces”的美国专利申请No.10/201,429的优先权。
技术领域
本发明通常涉及面部识别,更具体的,涉及使用Kernel Fisher线性区别分析或Kernel Fisherfaces的面部识别。
发明背景
近来面部识别技术受到增强的关注,原因是它可用在例如监视、安全、广告等各种应用中。然而,先前的尝试开发有效面部识别系统是不成功的,因为在先前面部识别系统中使用的计算机和算法不能有效处理面部识别所固有包含的大量数据和复杂计算。这些先前尝试通常使用不能说明面部图像中内在结构信息的简单特征表示。只有可通过使用例如高阶统计的高级方法才能编码这些内在结构信息。此外,当在各种照明条件下照亮面部图像时,先前的面部识别系统不能工作良好。
近来,例如主分量分析(Principal Component Analysis)(PCA)和Fisher线性判别式(Fisher Liner Discriminant)(FLD)的线性子空间方法被应用到面部识别,得到了令人瞩目的结果。PCA和FLD利用面部识别中基本的特征值问题,并且因此从它们在输入空间中的图像采样中归纳出面部图像的较低维数表示。这样,PCA和FLD减少了数据量,从而减轻了面部识别中的计算负担。
使用PCA的面部识别系统的一个例子公开在Turk等的美国专利No.Re.36,014中。在此,该面部识别系统使用PCA来获得比输入空间维数低的多维空间中的面部图像表示。PCA的使用能减少数据量以及面部识别的计算负担。
PCA和FLD的缺点之一是,除了像素之间的相对位置外,面部图像的较低维数表示没有关于图像内像素之间关系的信息。即PCA或FLD内的较低维数表示是根据图像的二阶统计,即,像素中的按像素的(pixelwise)协方差,并不针对(address)例如三个或更多像素之间关系的高阶统计相关性。这样的在面部图像中的高阶相关性可以包括像素强度值之间的关系,例如在某边缘或某条曲线内的三个或更多像素之间的关系。高阶相关性通常具有面部图像的更有意义、更有代表性的特征,并能捕获用于面部识别的重要信息。PCA和FLD不使用高阶统计相关性的原因之一是,它导致了巨大的计算负担。
在机器学习领域对使用高阶统计相关性作了一些研究。然而,在机器学习中使用的输入数据和面部识别中使用的面部图像非常各种。首先,机器学习中的数据是相对干净(没有多少噪声)且具有低维数,即,每个采样或数据点通常是具有低于200元素的短向量。
另一选择是,面部图像变化大,这就是面部识别难以实施的原因之一。其次,面部识别中的采样维数比机器学习的高得多,这样就导致了面部识别中的大量数据以及计算负担。例如,通常的50×50像素面部图像在每个采样中具有2500元素。因为这些原因,在机器学习领域使用高阶统计相关性所包含的算法以及数学和那些用在面部识别中的有本质的各种。因此,机器学习领域中用于使用高阶统计相关性的算法和数学不能被应用到面部识别中。
因此,必需有一种面部识别系统和方法,其可以处理具有广泛变化的面部图像以及大量的图像数据,从而可使用面部图像的高阶相关性来获得面部图像的更多表示特征,而不在该面部识别系统上引入大量计算负担。此外,需要一种面部识别系统,其在当将这些特征被投射(project)到较低维数面部图像空间时,能使用面部图像区别特征并使分类区别(class separation)最大化。
发明内容
本发明提供一种面部识别系统和方法,它们使用面部图像的更多表示和区别特征,而不引入巨大的计算负担。该面部识别系统从输入空间投射输入面部图像和参考面部图象集到高维数特征空间,从而获得面部图像的更多表示特征。算出参考面部图像的KernelFisherfaces,并将其用于投射输入面部图像和参考面部图像到比输入空间维数低的面部图像空间和高维数特征空间。这样,获得了面部图像的表示和区别特征,并可将其用于面部识别中,而不引入大量计算负担。
当使用Kernel Fisherfaces投射时,输入面部图像和参考面部图像在较低维数面部图像空间中用向量表示。算出输入面部图像点和每个参考面部图像点之间的距离。本发明的面部识别系统和方法确定所计算距离中的最短距离。结果,当所计算的最短距离小于阈值时,确定输入面部图像相像于由对应于面部图像空间内最短距离的参考图像点之一所表示的特定面部图像。
通过在面部识别中使用Kernel Fisher线性判别式(KernelFisherfaces),能够简化在像素之间使用高阶相关性和区别图像内特征所包含的计算,同时在面部识别中获得并使用面部图像的更多表示和区别特征。
本发明可以多种形式体现,包括计算机程序产品,方法,和系统,专用或通用计算装置或设备,在线服务或系统,用户接口等。
附图简要说明
通过考虑下面的结合附随附图的详细说明,将更容易理解本发明的教导。在附随附图中相同参考标记用于相同元件。
图1A是显示根据本发明一个实施例,面部识别系统使用参考面部图像集练习的图。
图1B是显示根据本发明一个实施例,在参考面部图像集中识别特定输入面部的图。
图1C是显示根据本发明一个实施例的在图1A和1B中所显示的面部识别系统104结构的框图。
图1D是显示根据本发明一个实施例,如何将面部图像表示为向量矩阵和如何在面部识别系统104中修正那些向量的图。
图2是显示根据本发明一个实施例,用参考面部图像集来训练面部识别系统的方法的流程图。
图3是显示根据本发明一个实施例,从参考面部图像集中识别特定面部图像的方法的流程图。
图4是显示根据本发明一个实施例,在第一测试面部图像集中测试面部识别系统的结果的图表。
图5是显示根据本发明一个实施例,在第二测试面部图像集中测试面部识别系统的结果的图表。
具体实施方式
图1A是显示根据本发明一个实施例,面部识别系统使用参考面部图像集的面部识别系统练习的图。参考图1A,输入参考面部图像集102到面部识别系统104中。参考面部图像102是稍后将和输入面部图像进行比较以识别面部的面部图像。面部识别系统104分析并以下面将详细说明的方式用参考面部图像102的图像数据来进行练习,从而稍后面部识别系统104可以确定输入面部图像和参考面部图像102之一相像。
图1B是显示根据本发明一个实施例,面部识别系统将输入面部图像识别为和参考面部图像集中的某特定面部图像相像的图。已经用图1所示的参考面部图像集来训练了面部识别系统104。参考图1B,输入面部图像106被面部识别系统104接收。面部识别系统104确定输入面部图像106是否和参考面部图像集102内的面部图像之一相像,还确定它和哪个特定面部图像相像。从面部识别系统104输出此结果108。
图1C是显示根据本发明一个实施例,在图1A和1B中显示的面部识别系统104结构的图。参考图1C,面部识别系统104包括:高维数投射模块110,Kernel Fisherface计算模块112,面部图像空间投射模块114,距离计算模块118,以及存储模块120。高维数投射模块110从输入空间投射面部图像(图像集102或输入面部图像106)到高维数特征空间,从而从所投射的参考面部图像102或输入面部图像106的高阶统计获得更多表示特征。该高维数特征空间比输入空间具有更多维数。投射面部图像到该高维数特征空间是通过使用投射函数执行在表示面部图像的向量之间的多种各种运算来实现的。KernelFisherface模块112计算在该高维数特征空间内的投射参考面部图像102的特征值和特征向量(Kernel Fisherface)。面部图像空间投射模块118通过使用所计算的Kernel Fisherface从高维数特征空间投射面部图像到较低维数面部图像空间,来获得参考面部图像102或输入面部图像106的面部图像空间表示。面部图像空间的维数通常低于输入空间和用于多数面部识别图像采样的高维数特征空间。
存储模块120存储参考面部图像102的表示到较低维数面部图像空间中,以用于和输入面部图像106进行比较。存储模块120还存储计算的Kernel Fisherface,以和输入面部图像一起使用。距离计算模块118计算面部图像空间内对应于输入面部图像106的点和面部图像空间内对应于参考面部图像102的每个点之间的距离,并确定哪个距离最短,从而识别哪一个特定参考面部图像102和输入面部图像106是相像的。根据本发明一个实施例,所计算距离是欧几里得距离。然而,其他类型的距离也可以和本发明一起使用。和面部识别系统104内的各种模块相关的数学和算法的细节将在下面详细说明。
图1D是显示根据本发明一个实施例,如何用向量矩阵来表示面部图像和如何在面部识别系统104中修正这些向量的图。首先,各面部图像(参考面部图像或输入面部图像)用向量表示,面部图像集122在输入空间中用向量矩阵124表示。通常,面部图像是二维N×N强度值阵列。让n=N2。每个面部图像在输入空间中都表示为矩阵124中的向量A1,A2,A3,......,Am之一,每个都有维数n,其中m等于用矩阵向量所表示的面部图像的数目,且n等于N2。换句话说,矩阵124有m行n列。例如,假定在面部识别系统中使用了40个对象(subject)的400幅图像,且图像的分辨率是23×23。则,m等于400,且n等于529(23×23)。
本发明的面部识别系统104投射输入空间内的向量矩阵124到高维数特征空间,以从图像内像素间的高阶统计中提取面部图像的更多表示特征,使得在高维数特征空间产生向量B1,B2,B3,......,Bm的矩阵126。向量B1,B2,B3,......,Bm是根据投射函数在向量A1,A2,A3,......,Am中各种运算而产生的结果,并具有比向量A1,A2,A3,......,Am更高的维数。换句话说,矩阵126具有m行和f列,其中f比n(即矩阵124中的列数目)大得多。列f的数目取决于所选择的投射函数。
然后,面部识别系统104投射向量矩阵126到低维数面部图像空间,该低维数面部图像空间的维数低于高维数特征空间且通常其维数也低于输入空间,这导致产生在低维数图像空间内的向量C1,C2,C3,......,Cm的矩阵128。通过使用Kernel Fisherfaces,简化了此处理中所包含的计算,如下面将要详细说明的。向量C1,C2,C3,......,Cm通常具有低于向量A1,A2,A3,......,Am和向量B1,B2,B3,......,Bp维数的维数。换句话说,矩阵128有m行和d列,其中d比n和f小得多(即分别是矩阵124和126内列的数目),并通常具有等于面部图像内对象数目减1的值。在以上例子中,d等于39(40-1)。
图2是显示根据本发明一个实施例,用参考面部图像集来训练面部识别系统104的方法的流程图。参考图2,在202获得参考面部图像集。开始,参考面部图像由用于每个像素的强度值矩阵组成。为此目的,使用各种面部表情和在各种照明条件下为每个人收集参考面部图像。换句话说,用照明和表情变化来对每个人收集图像集。然后,执行常规图像处理,以排列每个参考面部图像内的例如眼睛和鼻子的元素,且每个参考面部图像都用分类标识来进行标记。即,每个面部图像集都用识别符来标记(例如一个数字),它反映该人图像的标识特性。例如,为John收集一个15幅面部图像集,且每个面部图像都用分类数字1标记。类似的,为Jane收集一个15幅面部图像集,且每个面部图像都用分类数字2标记等。这些面部图像用作用于面部识别的参考图像。然后,每个参考面部图像用向量形式的强度值的光栅扫描来表示,且参考面部图像集可用包括多个向量的矩阵形式表示。例如,按行来断开100×100像素面部图像中的10,000像素中的每一个,且每个像素(范围从0到255)的强度值都以1×10,000向量的形式输入。产生的矩阵是m×10000矩阵的形式,其中m是参考面部图像数目。在Turk等人的美国专利Re.36,041中详细公开了获得以输入向量形式的面部图像的方法。
随后,在204,由高维数投射模块110来投射参考面部图像102到维数比输入空间高的高维数特征空间,从而获得图像的更多表示特征。可从图像内的高阶统计相关性(例如三个或多个像素之间的关系)来得到这些更多表示特征。如上所述,这种图像内的高阶相关性可以包括像素强度值之间的关系,例如在边缘或曲线内的三个或多个像素之间的关系。
和例如那些在Turk等人的美国专利Re.36,041中所公开的常规面部识别系统相反,在这样的系统中不使用图像内的高阶相关性,而是用协方差矩阵来编码面部图像之间的关系。常规面部识别系统中的协方差矩阵是根据二阶统计的,即,像素值(考虑每两个像素)两两相乘,而投射模块204允许多于两个像素值相乘,从而计算像素(多于两个像素)间的高阶统计。这样的高阶统计通常捕获了边缘内或曲线上三个或多个像素间的内在关系。高阶相关性通常具有图像的更多有意义的表示特征,并和二阶统计比较,捕获用于面部识别的重要信息。这是因为二阶统计对应于图像的振幅谱,而高阶统计对应于相位谱。相位谱捕获了结构信息,并提供有意义的面部图像表示。
可根据投射函数通过在表示参考面部图像的向量之间执行各种类型的运算来实现参考面部图像102到高维数特征空间的投射。例如,可以使用以下投射函数来投射二维空间中的向量到三维特征空间中:
Φ:R2→R3
类似的,可以使用下面的投射函数来投射二维空间中的向量到四维特征空间:
Φ:R2→R4
(x1,x2)→(x1 2,x2 2,x1x2,x2x1)
也可能使用其他各种投射函数来投射n维面部图像到f维特征空间(f比n大得多)。特定投射函数的选择取决于数据和应用,并通常根据经验确定。
本发明可使用多种形式的投射函数Φ(x)。然而,仅有有限数目的投射函数是和有效、系统化计算相兼容。选择特定投射函数Φ(x)的一种方法是选择以下这种投射函数:可使用kernel函数有效计算其点积,而不是通过实际执行投射函数的点积运算来计算,因为投射函数的点积运算通常用在从高维数特征空间投射面部图像到低维数面部图像空间所实施的计算和计算强度中。因此,此种方法得出满足下列关系的kernel函数k(x,y):
k(x,y)=φ(x)·φ(y)
通常,和使用点积Φ(x)·Φ(y)的计算相比,使用kernel函数k(x,y)的计算可更有效地实施,因为使用kernel函数k(x,y)的计算取决于n维输入空间(通常是低的),而Φ(x)·Φ(y)的计算取决于Φ(x)和Φ(y)的维数,通常该维数非常高,可以是无限大。
本领域公知Mercer条件(还通常作为Mercer定理公知)作为确定是否某个kernel函数k(x,y)可用于计算输入空间内而非高维数特征空间内的投射采样的点积(Φ(x)·Φ(y))的方法。然而,可根据任何其他方法或定理(甚至是经验的)选择投射函数。对于本领域技术人员来说,Mercer定理是已知的,并在Data Mining and KnowledgeDiscovery(数据挖掘(mining)和知识发现)1998年第2卷第2期第121-167页Christopher J.C.Burges的“A Tutorial on Support VectorMachines for Pattern Recognition”中详细说明。
大约有24种kernel函数满足Mercer条件。多项式kernel(k(x,y)=(x·y)d)以及高斯kernel(其中
σ是高斯分布的标准偏差,x、y来自该高斯分布)是最广泛使用的kernel函数。根据本发明一个实施例,二次(d=2)多项式kernel被用作投射函数。根据本发明的另一个实施例,三次(d=3)多项式kernel被用作投射函数。注意到投射函数(Φ(x),Φ(y))的确切形式完全由选定的kernel函数k(x,y)所规定。实际上,无需知道投射函数的确切封闭形式,只要在从高维数特征空间投射面部图像到较低维数面部图像空间的计算中使用投射采样的点积Φ(x)·Φ(y),因为另外kernel函数k(x,y)可以按照高效计算方式被用于执行这样的投射。因此,使用kernel函数的一个优点是,n维面部图像可被投射到f维特征空间(f比n大得多),该空间提供了更丰富的特征表示,而不用知道投射函数的确切封闭形式。当使用d次多项式kernel函数时,高维数特征空间的维数f是
例如,对于d=2次的多项式kernel和包括16乘以16像素(n=256)的面部图像,高维数特征空间的维数f是32,896(比输入空间维数大128倍)。
使用此种投射函数从输入空间投射面部图像到高维数特征空间的原因是多样的。首先,投射到较高维数特征空间的面部图像比起在原始输入空间内的面部图像提供了更有表现力的特征表示。投射函数计算各种统计信息以表现图形,这非常重要,因为更有表现力的特征表示通常辅助于图形分类任务。第二,投射函数允许图形内特征之间的非线性表示。例如,上述投射函数的例子说明图形内特征之间的关系。第三,投射函数允许在较高维数空间内执行分类任务,这使得分类任务更容易。换句话说,在输入空间中不是线性可分的图形在高维数特征空间内通常是线性可分的。
再次参考图2,在206,Kernel Fisherface计算模块112从高维数特征空间内所投射的参考面部图像中计算Kernel Fisherfaces。在计算Kernel Fisherfaces中所包含的技术将在下面详细说明。
在208,通过面部图像空间投射模块114使用所计算的KernelFisherfaces来从高维数特征空间投射参考面部图像到低维数面部图像空间,使在低维数面部图像空间内产生对应向量。在整体结构上类似的面部图像不是随机分布在高维数特征空间内的,且因此可由相对较低维数的子空间来进行描述。Kernel Fisherfaces可以简化从高维数特征空间内所投射的参考图像中导出在低维数面部图像空间内的面部图像描述所包含的计算。较低维数面部图像空间的维数通常低于输入空间和高维数特征空间的维数,其中输入面部图像被投射到该高维数特征空间。
随后,在210,在存储模块120中存储Kernel Fisherfaces和对应于低维数面部图像空间内参考面部图像的向量分布,以将来用于和输入面部图像进行比较。因此,存储模块120将具有面部图像空间内的向量分布,该面部图像空间对应于参考面部图像集,稍后输入面部图像将和该参考面部图像集比较,以进行面部识别。
图3是显示根据本发明一个实施例,识别在参考面部图像集中的特定面部图像的方法的流程图。首先,在302,获得输入面部图像106,以和先前存储的参考面部图像102比较。在302,以和以上所述的获得参考面部图像102相同的方式获得向量形式的输入面部图像106。如果仅有一个输入面部图像,则输入空间中的向量矩阵124是单向量矩阵(1×n矩阵)。高维数投射模块110投射输入面部图像106到高维数特征空间,以获得输入面部图像106的更多表示特征。随后,在308,先前在206计算的关于参考面部图像的Kernel Fisherfaces被面部图像空间投射模块114用于投射输入面部图像到面部图像空间。
此时,在所投射的较低维数面部图像空间中存在对应于输入面部图像106和参考面部图像集102的点(对应向量)。对应于参考面部图像102的点(向量)被存储到存储模块120中,但可由距离计算模块118检索。在310,距离计算模块118计算在输入面部图像点和对应于较低维数面部图像空间内参考面部图像106的每一点之间的欧几里得距离。距离计算单元118确定最短计算距离。和对应于该最短距离的点相关联的参考面部图像是参考面部图像中最相像于输入面部图像的特定面部图像,且分配给此特定面部图像的分类标识是面部识别的结果。
现在将详细说明在每个上述步骤之下的数学方法。
特征值问题
通常,面部识别是二维强度值N乘N阵列。在多维图像空间中将面部图像表示为N2维数的向量。例如,256乘256像素大小的典型图像成为65,536维数的向量,或等同于65,536维图像空间内的一个点。类似的,面部图像集映射到该65,536维图像空间的点集上。如上所述,本发明的面部识别系统投射图像(输入面部图像或参考面部图像)到高维数特征空间,以从图像内像素间的高阶统计中提取图像的更多表示特征。由于面部图像在整体结构上类似,因此,它们不是随机分布在图像空间内的,并可由低维数子空间来描述。此外,属于同一个人的面部图像集通常在低维数子空间内形成较小的群。换句话说,同一个人面部图像的个人内(分类内)变化比个人间(分类间)变化小。使用Kernel Fisher线性判别式(KFLD)分析,有可能识别最佳分离低维数面部图像空间内的群的投射向量。这些投射向量被称为Kernel Fisherfaces,且计算这些Kernel Fisherfaces的过程等同于解决高维数特征空间内图像的基本特征值问题。然而,kernel函数(并因此Kernel Fisherface)的使用为解决特征值问题提供了高效计算方法。
假定居中的m集(零平均值,单位变化)采样xk,xk=[xk1,xk2,...,xkn]T∈Rn(Rn是输入空间),FLD得出在所投射低维数面部图像空间内最大化群之间变化同时最小化每个群内变化的投射方向。换句话说,FLD的目标是得出投射方向,从而采样分类的采样被投射,以在低维数面部图像空间内(即,最小化分类内散布SW或每个群内的变化)形成压缩群,同时尽可能分离群(即,最大化分类间散布SW或各群间的变化)。因此,应当得出最大化下面标准函数J(w)的向量w:
最大化J(w)的最佳解决方案是对特征值问题的解决方案。最佳w的列是对应于最大特征值的广义特征向量:
SBw=λSWw (2)
对于特征值λ□0以及特征向量w∈Rn(R是实数)。输入空间Rn内的分类内散布矩阵SW由
规定,其中c是分类总数,μi是分类平均值,ni是分类i中的采样数,且x∈Xi。类似的,在输入空间Rn中的分类间散布矩阵SB由
规定,其中c是分类数,μi是分类平均值,且ni是分类中的采样数,μ是在所有分类中的向量x的总平均值,不管该向量属于哪个分类,即
(n是所有分类中的采样(或向量)数目,且x是任意分类中的向量,不管它属于哪个分类)。
投射图像到高维数特征空间
在Kernel FLD分析中,从输入空间Rn通过非线性映射函数(投射函数)来投射每个向量x到高维数特征空间Rf中的Φ(x):
Φ:Rn→Rf f>n (7)
上面说明了投射函数Φ的例子。高维数特征空间的维数f可为任意大。分别用SW Φ和SB Φ表示在高维数空间Rf内的分类内和分类间的散布矩阵,并在高维数Kernel空间Rf内应用FLD,必需得出到特征值问题的特征值λ和特征向量wΦ:
在高维数空间Rf内使用等式(2)、(3)、(4)和(5),以下等式遵循
其中μΦ是向量Φ(x)的总平均值,即
下面是在高维数空间Rf内的最佳投射矩阵WOPT Φ是:
其中
是对应于m最大广义特征值{λi,|i=1,2,......,m}的广义特征向量集。等式(13)中的“arg maxwΦ”得出最大化根据arg max的比率的wΦ。
为避免计算wΦ中的奇点问题,根据本发明一个实施例,将小标识矩阵I加到SwΦ,从而使其数字稳定。换句话说,Sw Φ=Sw Φ+εI,其中I是其维数和Sw Φ相同的标识矩阵,ε是小实数,例如根据本发明一个实施例是0.001。通过将小实数加到分类内散布矩阵的对角线,分类内散布矩阵的对角线上的元素不会是零,从而消除奇点问题。
计算Kernel Fisherfaces
考虑c-分类问题(即每个采样属于c分类中的一个),并让分类t的第r个采样和分类u的第s个采样分别是xtr和xus(其中分类t有lt个采样,且分类u有lu个采样)。kernel函数定义为
(krs)tu=k(xtr,xus)=Φ(xtr)·Φ(xus) (14)
让K是由元素(Ktu)u=1,...,c t=1,...,c定义的m×m矩阵,其中Ktu是由高维数特征空间Rf内点积组成的矩阵。
其中
在此,Ktu是lt×lu矩阵,K是m×m对称矩阵。同样,矩阵Z定义为:
Z=(Zt)t=1,...c (17)
其中(Zt)是全部项都等于
的lt×lt矩阵,即Z是m×m块对角线矩阵。
在等式(12)和(9)中的高维数特征空间Rf内的分类间和分类内散布矩阵分别变为:
其中μi Φ是Rf内分类i的平均值,li是属于分类i的采样数。从重新产生kernels的理论中,任何解wΦ∈Rf必须位于Rf内所有链采样范围内,即,
随后是通过解以下等式获得(20)的解:
λKKα=KZKα (21)
随后,等式(13)可被写为:
其中等式(22)中的“arg maxwΦ”得出最大化根据arg max的比率的wΦ。在等式(22)中获得的提取特征向量
被称为Kernel Fisherface。
投射面部图像到较低维数面部图像空间
现在可以将高维数特征空间Rf内的向量Φ(x)投射到较低维数面部图像空间,该较低维数面部图像空间是通过使用Kernel Fisherface(特征向量)wΦ而跨越的。当x是在高维数特征空间Rf内投射是Φ(x)的测试采样时,到特征向量wΦ的投射Φ(x)成为对应于Φ(x)的非线性Fisher线性判别式(FLD):
以这种方式,能使用kernel函数提取Fisher线性判别式,而不实际执行由投射采样到高维数特征空间Rf所产生的繁重计算。
图4是显示根据本发明一个实施例,在第一测试面部图像集上测试面部识别系统结果的图表。第一测试图像集是40个对象的400幅图像(每对象10幅),其包括面部轮廓以及姿势中的变化和比例。然而,保持照明条件不变。为减少计算复杂性,每个面部图像都垂直下采样为23×28像素。每个面部图像都用强度值的光栅扫描表示,然后被归一化为零平均值向量。面部图像峰度平均值和标准偏差分别是2.08和0.14。峰度是非高斯分布的测量值,根据第4阶瞬间量计算,并由
kurt(x)=E[x4]-3(E[x2])2
来定义,其中E是期望值。
使用“排除一个在外”策略执行所有测试。即,分类某人图像,从m图像集中删除该图像,从而有m-1参考面部图像和一个输入面部图像。该图表显示根据本发明的使用KFLD的面部识别系统,该系统和基于例如ICA(独立分量分析)、SVM(支持向量机器)、PCA、KPCA(Kernel原理分量分析)、LLE(局部线性嵌入)、Isomap、FLD等其他面部识别算法的面部识别系统的误差率相比,具有最低的误差率。
图5是显示根据本发明一个实施例的在第二测试面部图像集上测试面部识别系统结果的图表。第二测试面部图像集具有11个对象的165幅精密裁剪的图像,其包括内部面部结构,例如眉毛、眼睛、鼻子、嘴和下巴,但不包括面部轮廓。为了计算效率,每个图像垂直下采样为29×41像素,然后用归一化强度值居中向量表示。面部图像峰度平均值和标准偏差分别是2.68和1.49。
如图4所示的一样,使用“排除一个在外”策略执行测试。图5的图表也显示根据本发明的使用KFLD的面部识别系统,该系统和基于例如ICA、SVM、PCA、KPCA、LLE、Isomap、FLD等其他面部识别算法的面部识别系统的误差率相比,具有最低的误差率。
虽然将本发明示出了用于面部识别的方法和系统,但是,本领域技术人员应当清楚,本发明的面部识别系统也可以嵌入记录在任何类型的计算机可读介质上的计算机程序产品中。本发明面部识别系统的使用不限于识别面部图像,还可用于识别其它具有广泛变化和大量元素的复杂图像。
结合一个可能的实施例详细说明了本发明。本领域技术人员应当理解,本发明可用其它实施例来实践。首先,组件的特定命名、术语大写、属性、数据结构、或任何其他程序设计或结构方面不是强制性的或重要的,且实现本发明或其特征的机制可以具有不同名称、格式或协议。此外,该系统可通过硬件和软件组合来实现,如所述的,或全部用硬件元素实现。同样,在此描述的在各种系统组件之间的特定功能分割仅仅是示范性的,并不是强制性的;由单个系统组件执行的功能可由多个组件代替执行,且由多个组件执行的功能也可由单个组件替代执行。
以上说明中的某些部分以算法和信息中运算符号表示方面给出了本发明的特征。这些算法说明和表示是由那些数据处理领域中的技术人员所使用的方式,以最有效传送他们工作的内容到本领域其他技术人员。虽然进行功能或逻辑说明了这些运算,但应当理解,这些运算可用计算机程序来实现。此外,有时也证明这种方法是便利的,将这些运算配置称为模块或编码装置,而不丧失一般性。
然而,头脑中应当清楚,所有这些和类似的术语和适当的物理数量相关,且仅仅是应用到这些数量的方便标记。除非特别指明,否则从以下讨论中可以清楚,应当理解,在整篇说明中,使用例如“处理”、或“计算”、或“算出”、或“确定”、或“显示”等术语的讨论指的是计算机系统或类似的电子计算装置的动作和处理,它们是操控和转换在计算机系统存储器或寄存器或其他这样的信息存储器中表示为物理(电子)数量的传输或显示装置。
本发明的某些方面包括在此描述的算法形式的处理步骤和指令。应当注意到,本发明的处理步骤和指令可包含在软件、固件或硬件中,且当包含在软件中时,可被下载到驻留到不同平台上,并从由实时网络操作系统所使用的不同平台来进行运算。
本发明还涉及用于执行在此所术运算的设备。该设备可以是为所需目的而特别构造,或它可包括通用计算机,该计算机由存储在计算机内的计算机程序来选择性地激活或重配置。这样的计算机程序可存储在计算机可读存储介质中,例如但不限于,任何类型盘,包括:软盘、光盘、CD-ROM、磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁或光卡、专用集成电路(ASIC),或适用于存储电子指令的任何类型的介质,且每个都联接到计算机系统总线。此外,在说明书中提到的计算机可包括单个处理器,或是采用为增强计算能力而设计的多个处理器的结构。
在此给出的算法和显示并不固有的和任何特定计算机或其他设备相关。可以和根据在此教导,各种通用系统也可以结合程序来使用,或可证明这样易于构造更加专用设备来执行所需的方法步骤。从下面的说明中将出现多种该系统的所需结构。此外,本发明并不是参考任何特定程序语言进行说明。应当理解,可使用多种程序语言来实现在此描述的本发明的教导,并提供了对特定语言的任何参考来公开本发明的实现和最佳模式。
最后,应当注意到,在说明书中所选择使用的语言主要是为清楚和教导目的,并不是选择用于刻画或限定本发明主题。相应的,本发明公开是示例性的,但不限制本发明发明范围,本发明发明范围在后面的权利要求中提出。
Claims (49)
1.一种在第一维数的输入空间中表示对应于第一向量集的参考面部图像集的方法,该方法包括:
使用投射函数来投射第一向量到第二维数的高维数特征空间中,以产生高维数特征空间内的第二向量集,该第二维数具有比第一维数高的维数;以及
产生用于第二向量的Kernel Fisherfaces。
2.如权利要求1的方法,进一步包括:
根据第二向量和Kernel Fisherfaces来在第三维数的面部图像空间中产生第三向量集,该第三向量对应于面部图像空间内的参考面部图像点,并且第三维数具有比第一维数和第二维数低的维数。
3.如权利要求2的方法,进一步包括:将输入面部图像识别为对应于参考面部图像集内的特定面部图像,输入面部图像由输入空间内的至少第四向量来表示,识别输入空间的步骤包括:
使用投射函数来投射该第四向量到高维数特征空间,以产生高维数特征空间内的第五向量;
根据第五向量和Kernel Fisherfaces来在面部图像空间内产生第六向量,该第六向量对应于面部图像空间内的输入面部图像点;
计算面部图像空间内输入面部图像点和每个参考面部图像点之间的距离;以及
响应于确定所计算距离的最小值,来将输入面部图像识别为对应于与该最小距离相对应的参考面部图像。
4.如权利要求2的方法,其中将参考面部图像分组为至少两类,第一、第二和第三向量分别分布在输入空间、高维数特征空间和面部图像空间内的至少两个群中,以及产生Kernel Fisherfaces,包括:
产生投射第二向量到面部图像空间的向量,从而在面部图像空间内第三向量群之间的变化基本上被最大化,而第三向量每个群之内的变化基本上被最小化。
5.如权利要求4的方法,其中第三向量群之间的变化由分类间散布矩阵表示,且第三向量每个群之的变化由分类内散布矩阵表示。
6.如权利要求5的方法,其中Kernel Fisherfaces投射第二向量到面部图像空间,从而分类间散布矩阵和分类内散布矩阵之间的比率基本上被最大化。
7.如权利要求5的方法,其中标识矩阵的一小部分被加到分类内散布矩阵。
8.一种将输入面部图像识别为对应于参考面部图像集内特定面部图像的方法,参考面部图像由第一向量集表示,且输入面部图像由在第一维数的输入空间内的至少第二向量表示,该方法包括:
使用投射函数来投射第一向量到第二维数的高维数特征空间中,以产生高维数特征空间内的第三向量集,该第二维数具有比第一维数高的维数;
产生用于第三向量的Kernel Fisherfaces;
根据第三向量和Kernel Fisherfaces来在第三维数面部图像空间中产生第四向量集,该第四向量对应于面部图像空间内的参考面部图像点,并且第三维数具有比第一维数和第二维数低的维数;
使用投射函数来投射第二向量到高维数特征空间,以产生高维数特征空间内的第五向量;
根据第五向量和Kernel Fisherfaces来在面部图像空间内产生第六向量,该第六向量对应于面部图像空间内的输入面部图像点;
计算面部图像空间内输入面部图像点和每个参考面部图像点之间的距离;以及
响应于确定所计算距离的最小值,来将输入面部图像识别为对应于与该最小距离相对应的参考面部图像。
9.如权利要求8的方法,其中参考面部图像被分组为至少两个分类,第一、第三和第四向量分别分布在输入空间、高维数特征空间和面部图像空间中的至少两个群中,并产生Kernel Fisherfaces,包括:
产生投射第三向量到面部图像空间的向量,从而在面部图像空间内第四向量群之间的变化基本上被最大化,而第四向量每个群之内的变化基本上被最小化。
10.如权利要求9的方法,其中第四向量群之间的变化由分类间散布矩阵表示,且第四向量每个群之内的变化由分类内散布矩阵表示。
11.如权利要求10的方法,其中Kernel Fisherfaces投射第三向量到面部图像空间,从而分类间散布矩阵和分类内散布矩阵之间的比率基本上被最大化。
12.如权利要求10的方法,其中标识矩阵的一小部分被加到分类内散布矩阵。
13.如权利要求8的方法,其中投射函数Φ(x)满足以下关系:
k(x,y)=Φ(x)·Φ(y)
其中k(x,y)是kernel函数,Φ(x)·Φ(y)是投射函数Φ(x)和Φ(y)的点积,以及x和y是实数变量。
14.如权利要求13的方法,其中kernel函数是多项式kernel函数。
15.如权利要求13的方法,其中kernel函数是高斯kernel函数。
16.如权利要求8的方法,其中产生第四向量集包括:执行在第三向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算。
17.如权利要求8的方法,其中产生第六向量包括:执行在第五向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算。
18.如权利要求8的方法,其中该距离是欧几里得距离。
19.一种计算机程序产品,用于将参考面部图像集表示为对应于第一维数的输入空间内的第一向量集,该计算机程序产品被存储在计算机可读介质上,并适于执行包括以下步骤的操作:
使用投射函数来投射第一向量到第二维数的高维数特征空间中,以产生高维数特征空间内的第二向量集,该第二维数具有比第一维数高的维数;以及
产生用于第二向量的Kernel Fisherfaces。
20.如权利要求19的计算机程序产品,进一步包括:
根据第二向量和Kernel Fisherfaces来在第三维数的面部图像空间中产生第三向量集,该第三向量对应于面部图像空间内的参考面部图像点,并且第三维数具有比第一维数和第二维数低的维数。
21.如权利要求20的计算机程序产品,进一步包括以下步骤:将输入面部图像识别为对应于参考面部图像集内的特定面部图像,输入面部图像由输入空间内的至少第四向量来表示,识别输入空间的步骤包括:
使用投射函数来投射该第四向量到高维数特征空间,以产生高维数特征空间内的第五向量;
根据第五向量和Kernel Fisherfaces来在面部图像空间内产生第六向量,该第六向量对应于面部图像空间内的输入面部图像点;
计算面部图像空间内输入面部图像点和每个参考面部图像点之间的距离;以及
响应于确定所计算距离的最小值,来将输入面部图像识别为对应于与该最小距离相对应的参考面部图像。
22.如权利要求20的计算机程序产品,其中将参考面部图像分组为至少两类,第一、第二和第三向量分别分布在输入空间、高维数特征空间和面部图像空间内的至少两个群中,以及产生KernelFisherfaces,包括:
产生投射第二向量到面部图像空间的向量,从而在面部图像空间内第三向量群之间的变化基本上被最大化,而第三向量每个群之内的变化基本上被最小化。
23.如权利要求22的计算机程序产品,其中第三向量群之间的变化由分类间散布矩阵表示,且第三向量每个群之内的变化由分类内散布矩阵表示。
24.如权利要求23的计算机程序产品,其中Kernel Fisherfaces投射第二向量到面部图像空间,从而分类间散布矩阵和分类内散布矩阵之间的比率基本上被最大化。
25.如权利要求23的计算机程序产品,其中标识矩阵的一小部分被加到分类内散布矩阵。
26.一种计算机程序产品,用于将输入面部图像识别为对应于参考面部图像集内特定面部图像的方法,参考面部图像由第一向量集表示,且输入面部图像由在第一维数的输入空间内的至少第二向量表示,该计算机程序产器被存储在计算机可读介质中,并适用执行包括以下步骤的操作:
使用投射函数来投射第一向量到第二维数的高维数特征空间中,以产生高维数特征空间内的第三向量集,该第二维数具有比第一维数高的维数;
产生用于第三向量的Kernel Fisherfaces;
根据第三向量和Kernel Fisherfaces来在第三维数面部图像空间中产生第四向量集,该第四向量对应于面部图像空间内的参考面部图像点,并且第三维数具有比第一维数和第二维数低的维数;
使用投射函数来投射第二向量到高维数特征空间,以产生高维数特征空间内的第五向量;
根据第五向量和Kernel Fisherfaces来在面部图像空间内产生第六向量,该第六向量对应于面部图像空间内的输入面部图像点;
计算面部图像空间内输入面部图像点和每个参考面部图像点之间的距离;以及
响应于确定所计算距离的最小值,来将输入面部图像识别为对应于与该最小距离相对应的参考面部图像。
27.如权利要求26的计算机程序产品,其中参考面部图像能够被分组为至少两个分类,第一、第三和第四向量分别分布在输入空间、高维数特征空间和面部图像空间中的至少两个群中,并产生KernelFisherfaces,包括:
产生投射第三向量到面部图像空间的向量,从而在面部图像空间内第四向量群之间的变化基本上被最大化,而第四向量每个群之内的变化基本上被最小化。
28.如权利要求27的计算机程序产品,其中第四向量群之间的变化由分类间散布矩阵表示,且第四向量每个群之内的变化由分类内散布矩阵表示。
29.如权利要求28的计算机程序产品,其中Kernel Fisherfaces投射第三向量到面部图像空间,从而分类间散布矩阵和分类内散布矩阵之间的比率基本上被最大化。
30.如权利要求28的计算机程序产品,其中标识矩阵的一小部分被加到分类内散布矩阵。
31.如权利要求26的计算机程序产品,其中投射函数Φ(x)满足以下关系:
k(x,y)=Φ(x)·Φ(y)
其中k(x,y)是kernel函数,Φ(x)·Φ(y)是投射函数Φ(x)和Φ(y)的点积,以及x和y是实数变量。
32.如权利要求31的计算机程序产品,其中kernel函数是多项式kernel函数。
33.如权利要求31的计算机程序产品,其中kernel函数是高斯kernel函数。
34.如权利要求26的计算机程序产品,其中产生第四向量集包括:执行在第三向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算。
35.如权利要求26的计算机程序产品,其中产生第六向量包括:执行在第五向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算。
36.如权利要求26的计算机程序产品,其中该距离是欧几里得距离。
37.一种面部识别系统,用于将输入面部图像识别为对应于参考面部图像集内特定面部图像的方法,参考面部图像由第一向量集表示,且输入面部图像由在第一维数的输入空间内的至少第二向量表示,该面部识别系统包括:
高维数特征空间投射模块,其用于使用投射函数来投射第一向量和第二向量到第二维数的高维数特征空间中,以分别产生第三向量和第四向量,该第二维数具有比第一维数高的维数;
Kernel Fisherfaces模块,其用于计算第三向量的KernelFisherfaces;
面部图像投射模块,其用于使用Kernel Fisherfaces来在第三维数的面部图像空间中从第三向量产生第五向量集,和从第四向量中产生第六向量,该第五向量对应于面部图像空间内的参考面部图像点,且该第六向量对应于面部图像空间内的输入面部图像点,并且该第三维数具有比第一维数和第二维数低的维数;以及
距离计算模块,其用于计算面部图像空间内输入面部图像点和每个参考面部图像点之间的距离。
38.如权利要求37的面部识别系统,进一步包括:存储模块,其用于存储Kernel Fisherfaces和第五向量。
39.如权利要求37的面部识别系统,其中距离计算模块确定所计算距离的最小值,并将输入面部图像识别为相像于与该最小距离相对应的参考面部图像。
40.如权利要求37的面部识别系统,其中参考面部图像能够被分组为至少两个分类,第一、第三和第五向量分别分布在输入空间、高维数特征空间和面部图像空间中的至少两个群中,并且KernelFisherfaces模块通过得出投射第三向量到面部图像空间的向量来计算Kernel Fisherfaces,从而在面部图像空间内第五向量群之间的变化基本上被最大化,而第五向量每个群之内的变化基本上被最小化。
41.如权利要求40的面部识别系统,其中第五向量群之间的变化由分类间散布矩阵表示,且第五向量每个群之内的变化由分类内散布矩阵表示。
42.如权利要求41的面部识别系统,其中Kernel Fisherfaces投射第三向量到面部图像空间,从而分类间散布矩阵和分类内散布矩阵之间的比率基本上被最大化。
43.如权利要求41的面部识别系统,其中标识矩阵的一小部分被加到分类内散布矩阵。
44.如权利要求37的面部识别系统,其中投射函数Φ(x)满足以下关系:
k(x,y)=Φ(x)·Φ(y)
其中k(x,y)是kernel函数,Φ(x)·Φ(y)是投射函数Φ(x)和Φ(y)的点积,以及x和y是实数变量。
45.如权利要求44的面部识别系统,其中kernel函数是多项式kernel函数。
46.如权利要求44的面部识别系统,其中kernel函数是高斯kernel函数。
47.如权利要求37的面部识别系统,其中通过执行在第三向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算来产生第五向量集。
48.如权利要求37的面部识别系统,其中通过执行在第四向量与高维数特征空间内的Kernel Fisherfaces之间的点积运算来产生第六向量。
49.如权利要求37的面部识别系统,其中该距离是欧几里得距离。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US33694701P | 2001-12-03 | 2001-12-03 | |
US33702201P | 2001-12-03 | 2001-12-03 | |
US60/337,022 | 2001-12-03 | ||
US60/336,947 | 2001-12-03 | ||
US10/201,429 US7054468B2 (en) | 2001-12-03 | 2002-07-22 | Face recognition using kernel fisherfaces |
US10/201,429 | 2002-07-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1599917A true CN1599917A (zh) | 2005-03-23 |
CN1302437C CN1302437C (zh) | 2007-02-28 |
Family
ID=27394293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB028240065A Expired - Fee Related CN1302437C (zh) | 2001-12-03 | 2002-12-03 | 使用Kernel Fisher faces的面部识别的方法和系统 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7054468B2 (zh) |
EP (1) | EP1464031B1 (zh) |
JP (1) | JP4589625B2 (zh) |
CN (1) | CN1302437C (zh) |
AT (1) | ATE408867T1 (zh) |
AU (1) | AU2002347641A1 (zh) |
DE (1) | DE60228999D1 (zh) |
WO (1) | WO2003049033A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630405B (zh) * | 2009-08-14 | 2011-10-12 | 重庆市勘测院 | 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法 |
CN105706144A (zh) * | 2013-11-08 | 2016-06-22 | 亚德诺半导体集团 | 基于支持向量机的对象检测系统及相关方法 |
WO2018187951A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于核主成分分析的人脸识别方法 |
CN112749669A (zh) * | 2021-01-18 | 2021-05-04 | 吾征智能技术(北京)有限公司 | 一种基于人面部图像的微表情智能识别系统 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7379602B2 (en) | 2002-07-29 | 2008-05-27 | Honda Giken Kogyo Kabushiki Kaisha | Extended Isomap using Fisher Linear Discriminant and Kernel Fisher Linear Discriminant |
US7254275B2 (en) * | 2002-12-17 | 2007-08-07 | Symbol Technologies, Inc. | Method and system for image compression using image symmetry |
US7184595B2 (en) * | 2002-12-26 | 2007-02-27 | Carmel-Haifa University Economic Corporation Ltd. | Pattern matching using projection kernels |
US7370212B2 (en) | 2003-02-25 | 2008-05-06 | Microsoft Corporation | Issuing a publisher use license off-line in a digital rights management (DRM) system |
JP4860472B2 (ja) * | 2003-10-09 | 2012-01-25 | ユニヴァーシティ オブ ヨーク | 画像認識 |
JP4483334B2 (ja) * | 2004-02-18 | 2010-06-16 | 富士ゼロックス株式会社 | 画像処理装置 |
WO2005101298A2 (en) * | 2004-04-14 | 2005-10-27 | Imperial Innovations Limited | Estimation of within-class matrix in image classification |
GB0408328D0 (en) | 2004-04-14 | 2004-05-19 | Imp College Innovations Ltd | Method of processing image data |
US20060242406A1 (en) | 2005-04-22 | 2006-10-26 | Microsoft Corporation | Protected computing environment |
GB2414328A (en) * | 2004-05-17 | 2005-11-23 | Mitsubishi Electric Inf Tech | Discrimination transforms applied to frequency domain derived feature vectors |
US7650011B2 (en) * | 2004-07-09 | 2010-01-19 | Honda Motor Co., Inc. | Visual tracking using incremental fisher discriminant analysis |
US8347078B2 (en) | 2004-10-18 | 2013-01-01 | Microsoft Corporation | Device certificate individualization |
US8464348B2 (en) | 2004-11-15 | 2013-06-11 | Microsoft Corporation | Isolated computing environment anchored into CPU and motherboard |
US8336085B2 (en) | 2004-11-15 | 2012-12-18 | Microsoft Corporation | Tuning product policy using observed evidence of customer behavior |
US8176564B2 (en) * | 2004-11-15 | 2012-05-08 | Microsoft Corporation | Special PC mode entered upon detection of undesired state |
US20060106920A1 (en) * | 2004-11-15 | 2006-05-18 | Microsoft Corporation | Method and apparatus for dynamically activating/deactivating an operating system |
US7376894B2 (en) * | 2004-11-18 | 2008-05-20 | Microsoft Corporation | Vector path merging into gradient elements |
KR100634527B1 (ko) * | 2004-11-26 | 2006-10-16 | 삼성전자주식회사 | 층 기반 영상 처리 장치 및 방법 |
JP4734980B2 (ja) * | 2005-03-15 | 2011-07-27 | オムロン株式会社 | 顔認証装置およびその制御方法、顔認証装置を備えた電子機器、顔認証装置制御プログラム、ならびに該プログラムを記録した記録媒体 |
US20060217925A1 (en) * | 2005-03-23 | 2006-09-28 | Taron Maxime G | Methods for entity identification |
US8438645B2 (en) | 2005-04-27 | 2013-05-07 | Microsoft Corporation | Secure clock with grace periods |
US20070033102A1 (en) * | 2005-03-29 | 2007-02-08 | Microsoft Corporation | Securely providing advertising subsidized computer usage |
US8725646B2 (en) | 2005-04-15 | 2014-05-13 | Microsoft Corporation | Output protection levels |
KR100639988B1 (ko) * | 2005-04-21 | 2006-10-31 | 한국전자통신연구원 | 얼굴 특징 추출 장치 및 그 방법 |
US9363481B2 (en) | 2005-04-22 | 2016-06-07 | Microsoft Technology Licensing, Llc | Protected media pipeline |
US9436804B2 (en) | 2005-04-22 | 2016-09-06 | Microsoft Technology Licensing, Llc | Establishing a unique session key using a hardware functionality scan |
US7657126B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US7519200B2 (en) | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
US8732025B2 (en) | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
US7945099B2 (en) | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
US7760917B2 (en) | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
US7660468B2 (en) | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
US20060265758A1 (en) | 2005-05-20 | 2006-11-23 | Microsoft Corporation | Extensible media rights |
US8353046B2 (en) | 2005-06-08 | 2013-01-08 | Microsoft Corporation | System and method for delivery of a modular operating system |
JP3976056B2 (ja) * | 2005-10-24 | 2007-09-12 | 日本電気株式会社 | 係数決定方法、特徴抽出方法、システム及びプログラム、並びにパタン照合方法、システム及びプログラム |
US7599166B2 (en) | 2005-11-17 | 2009-10-06 | Samsung Electro-Mechanics Co., Ltd. | Multilayer chip capacitor |
JP4777059B2 (ja) | 2005-12-22 | 2011-09-21 | パナソニック株式会社 | 画像検索装置および画像検索方法 |
US8233702B2 (en) * | 2006-08-18 | 2012-07-31 | Google Inc. | Computer implemented technique for analyzing images |
KR100825756B1 (ko) * | 2006-12-05 | 2008-04-29 | 한국전자통신연구원 | 얼굴 특징 추출 방법 및 그 장치 |
JP5358083B2 (ja) * | 2007-11-01 | 2013-12-04 | 株式会社日立製作所 | 人物画像検索装置及び画像検索装置 |
US20080184026A1 (en) * | 2007-01-29 | 2008-07-31 | Hall Martin H | Metered Personal Computer Lifecycle |
US8416981B2 (en) | 2007-07-29 | 2013-04-09 | Google Inc. | System and method for displaying contextual supplemental content based on image content |
US8165352B1 (en) | 2007-08-06 | 2012-04-24 | University Of South Florida | Reconstruction of biometric image templates using match scores |
US8331632B1 (en) | 2007-08-06 | 2012-12-11 | University Of South Florida | Indexing face templates using linear models |
US8190539B2 (en) * | 2008-06-11 | 2012-05-29 | International Business Machines Corporation | Evolutionary facial feature selection |
US8180167B2 (en) * | 2008-07-16 | 2012-05-15 | Seiko Epson Corporation | Model-based error resilience in data communication |
US8131063B2 (en) * | 2008-07-16 | 2012-03-06 | Seiko Epson Corporation | Model-based object image processing |
US8345932B2 (en) * | 2008-11-24 | 2013-01-01 | International Business Machines Corporation | Support vector machine for biometric data processing |
JP5137805B2 (ja) * | 2008-12-15 | 2013-02-06 | キヤノン株式会社 | 検査システム及びその制御方法、コンピュータプログラム |
US8208717B2 (en) * | 2009-02-25 | 2012-06-26 | Seiko Epson Corporation | Combining subcomponent models for object image modeling |
US8260038B2 (en) * | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Subdivision weighting for robust object model fitting |
US8204301B2 (en) * | 2009-02-25 | 2012-06-19 | Seiko Epson Corporation | Iterative data reweighting for balanced model learning |
US8260039B2 (en) * | 2009-02-25 | 2012-09-04 | Seiko Epson Corporation | Object model fitting using manifold constraints |
US8442330B2 (en) * | 2009-03-31 | 2013-05-14 | Nbcuniversal Media, Llc | System and method for automatic landmark labeling with minimal supervision |
TWI384406B (zh) * | 2009-05-26 | 2013-02-01 | Univ Nat Chiao Tung | 人臉辨識與合成方法 |
US8194975B2 (en) * | 2009-06-29 | 2012-06-05 | Tandent Vision Science, Inc. | Use of an intrinsic image in face recognition |
US7961956B1 (en) | 2009-09-03 | 2011-06-14 | Thomas Cecil Minter | Adaptive fisher's linear discriminant |
US8897572B2 (en) | 2009-12-02 | 2014-11-25 | Qualcomm Incorporated | Fast subspace projection of descriptor patches for image recognition |
WO2011119509A1 (en) * | 2010-03-20 | 2011-09-29 | Emsense Corporation | Spatially constrained biosensory measurements to decode physiological states and user responses induced by marketing media |
US9530073B2 (en) | 2010-04-20 | 2016-12-27 | Qualcomm Incorporated | Efficient descriptor extraction over multiple levels of an image scale space |
CN103513890B (zh) * | 2012-06-28 | 2016-04-13 | 腾讯科技(深圳)有限公司 | 一种基于图片的交互方法、装置和服务器 |
CN103035050B (zh) * | 2012-12-19 | 2015-05-20 | 南京师范大学 | 一种用于复杂人脸识别门禁系统的高精度人脸识别方法 |
JP5866064B2 (ja) * | 2013-04-09 | 2016-02-17 | 株式会社日立国際電気 | 画像検索装置、画像検索方法、および記録媒体 |
US9275306B2 (en) * | 2013-11-13 | 2016-03-01 | Canon Kabushiki Kaisha | Devices, systems, and methods for learning a discriminant image representation |
KR102010378B1 (ko) * | 2014-09-24 | 2019-08-13 | 삼성전자주식회사 | 객체를 포함하는 영상의 특징을 추출하는 방법 및 장치 |
JP6453618B2 (ja) | 2014-11-12 | 2019-01-16 | 株式会社東芝 | 算出装置、方法及びプログラム |
US9747494B2 (en) | 2015-11-16 | 2017-08-29 | MorphoTrak, LLC | Facial matching system |
KR102221118B1 (ko) * | 2016-02-16 | 2021-02-26 | 삼성전자주식회사 | 영상의 특징을 추출하여 객체를 인식하는 방법 |
US11314967B2 (en) | 2016-06-01 | 2022-04-26 | Ohio State Innovation Foundation | System and method for recognition and annotation of facial expressions |
JP2018081402A (ja) * | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN109389017B (zh) * | 2017-08-11 | 2021-11-16 | 苏州经贸职业技术学院 | 行人再识别方法 |
US10872258B2 (en) | 2019-03-15 | 2020-12-22 | Huawei Technologies Co., Ltd. | Adaptive image cropping for face recognition |
CN111291885B (zh) | 2020-01-20 | 2023-06-09 | 北京百度网讯科技有限公司 | 近红外图像的生成方法、生成网络的训练方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1992002000A1 (en) * | 1990-07-17 | 1992-02-06 | British Telecommunications Public Limited Company | A method of processing an image |
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
AU5135996A (en) * | 1995-03-20 | 1996-10-08 | Lau Technologies | Systems and methods for identifying images |
US5710833A (en) | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US5842194A (en) * | 1995-07-28 | 1998-11-24 | Mitsubishi Denki Kabushiki Kaisha | Method of recognizing images of faces or general images using fuzzy combination of multiple resolutions |
US6038337A (en) * | 1996-03-29 | 2000-03-14 | Nec Research Institute, Inc. | Method and apparatus for object recognition |
US6112195A (en) | 1997-03-27 | 2000-08-29 | Lucent Technologies Inc. | Eliminating invariances by preprocessing for kernel-based methods |
JP2001273495A (ja) * | 2000-03-24 | 2001-10-05 | Minolta Co Ltd | 物体認識装置 |
US6920231B1 (en) * | 2000-06-30 | 2005-07-19 | Indentix Incorporated | Method and system of transitive matching for object recognition, in particular for biometric searches |
US6826300B2 (en) * | 2001-05-31 | 2004-11-30 | George Mason University | Feature based classification |
-
2002
- 2002-07-22 US US10/201,429 patent/US7054468B2/en not_active Expired - Lifetime
- 2002-12-03 WO PCT/JP2002/012649 patent/WO2003049033A1/en active IP Right Grant
- 2002-12-03 EP EP02783743A patent/EP1464031B1/en not_active Expired - Lifetime
- 2002-12-03 AU AU2002347641A patent/AU2002347641A1/en not_active Abandoned
- 2002-12-03 JP JP2003550152A patent/JP4589625B2/ja not_active Expired - Lifetime
- 2002-12-03 AT AT02783743T patent/ATE408867T1/de not_active IP Right Cessation
- 2002-12-03 CN CNB028240065A patent/CN1302437C/zh not_active Expired - Fee Related
- 2002-12-03 DE DE60228999T patent/DE60228999D1/de not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101630405B (zh) * | 2009-08-14 | 2011-10-12 | 重庆市勘测院 | 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法 |
CN105706144A (zh) * | 2013-11-08 | 2016-06-22 | 亚德诺半导体集团 | 基于支持向量机的对象检测系统及相关方法 |
CN105706144B (zh) * | 2013-11-08 | 2018-11-20 | 亚德诺半导体集团 | 基于支持向量机的对象检测系统及相关方法 |
WO2018187951A1 (zh) * | 2017-04-12 | 2018-10-18 | 邹霞 | 基于核主成分分析的人脸识别方法 |
CN112749669A (zh) * | 2021-01-18 | 2021-05-04 | 吾征智能技术(北京)有限公司 | 一种基于人面部图像的微表情智能识别系统 |
CN112749669B (zh) * | 2021-01-18 | 2024-02-02 | 吾征智能技术(北京)有限公司 | 一种基于人面部图像的微表情智能识别系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2003049033A1 (en) | 2003-06-12 |
US7054468B2 (en) | 2006-05-30 |
CN1302437C (zh) | 2007-02-28 |
JP4589625B2 (ja) | 2010-12-01 |
DE60228999D1 (de) | 2008-10-30 |
JP2005512201A (ja) | 2005-04-28 |
EP1464031A1 (en) | 2004-10-06 |
ATE408867T1 (de) | 2008-10-15 |
EP1464031A4 (en) | 2007-05-23 |
EP1464031B1 (en) | 2008-09-17 |
US20040017932A1 (en) | 2004-01-29 |
AU2002347641A1 (en) | 2003-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1302437C (zh) | 使用Kernel Fisher faces的面部识别的方法和系统 | |
Bargshady et al. | Enhanced deep learning algorithm development to detect pain intensity from facial expression images | |
JP6843086B2 (ja) | 画像処理システム、画像においてマルチラベル意味エッジ検出を行う方法、および、非一時的コンピューター可読記憶媒体 | |
Munder et al. | An experimental study on pedestrian classification | |
Vondrick et al. | Hoggles: Visualizing object detection features | |
Wang et al. | Hidden part models for human action recognition: Probabilistic versus max margin | |
US8774515B2 (en) | Learning structured prediction models for interactive image labeling | |
US6389169B1 (en) | Intelligent systems and methods for processing image data based upon anticipated regions of visual interest | |
CN103443804B (zh) | 面部标志检测方法 | |
Chen et al. | Face recognition using nearest feature space embedding | |
CN1700241A (zh) | 面部描述和识别的方法和装置 | |
Gunasekar et al. | Face detection on distorted images augmented by perceptual quality-aware features | |
WO2015173435A1 (en) | Method for predicting a phenotype from a genotype | |
CN101551855A (zh) | 自适应核匹配追踪辅助诊断系统及其辅助诊断方法 | |
CN1093290C (zh) | 利用部分特征空间上投影特征向量的模式识别装置和方法 | |
Heim et al. | Active perceptual similarity modeling with auxiliary information | |
CN1700240A (zh) | 基于随机采样的面部识别方法 | |
Meng et al. | Automatic annotation of drosophila developmental stages using association classification and information integration | |
Goundar | Improved deep learning model based on integrated convolutional neural networks and transfer learning for shoeprint image classification | |
Dong et al. | Fusion based blind image steganalysis by boosting feature selection | |
Mullen et al. | PoseR-A deep learning toolbox for decoding animal behavior | |
Movahedi et al. | Combining Local and Global Cues for Closed Contour Extraction. | |
Dornelles et al. | A genetic algorithm based approach for combining binary image operators | |
Sanie | AI for Image Compositional Guidance, a Knowledge-Based Approach | |
Amine et al. | SVM-based face recognition using genetic search for frequency-feature subset selection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20070228 Termination date: 20111203 |