CN100342399C - 提取用作面貌识别和重现的特征向量的方法和装置 - Google Patents
提取用作面貌识别和重现的特征向量的方法和装置 Download PDFInfo
- Publication number
- CN100342399C CN100342399C CNB2003101204703A CN200310120470A CN100342399C CN 100342399 C CN100342399 C CN 100342399C CN B2003101204703 A CNB2003101204703 A CN B2003101204703A CN 200310120470 A CN200310120470 A CN 200310120470A CN 100342399 C CN100342399 C CN 100342399C
- Authority
- CN
- China
- Prior art keywords
- vector
- looks
- fourier
- proper vector
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 239000013598 vector Substances 0.000 title claims abstract description 408
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000002131 composite material Substances 0.000 claims abstract description 45
- 230000008878 coupling Effects 0.000 claims abstract description 36
- 238000010168 coupling process Methods 0.000 claims abstract description 36
- 238000005859 coupling reaction Methods 0.000 claims abstract description 36
- 238000001228 spectrum Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 4
- 230000007704 transition Effects 0.000 claims description 3
- 238000011002 quantification Methods 0.000 claims 1
- 230000004069 differentiation Effects 0.000 description 21
- 239000011159 matrix material Substances 0.000 description 20
- 230000014509 gene expression Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000000513 principal component analysis Methods 0.000 description 14
- 230000007246 mechanism Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012797 qualification Methods 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
提供了一种提取用于面貌识别和重现的特征向量的方法和装置。利用第一和第二标准化向量,产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量,并利用第三和第四标准化向量,产生用于标准化面貌图像的中心面貌区域的中心傅立叶特征向量。为整体面貌区域产生整体强度特征向量,为预定数目的面貌分量方向区域产生局部强度特征向量。通过耦合第一和第二标准化向量以及所述整体强度特征而产生整体合成特征向量,而且通过耦合第三和第四标准化向量以及局部强度特征向量而产生中心合成特征向量。
Description
技术领域
本发明涉及一种面貌识别和重现系统,并尤其涉及一种用于提取用作面貌搜索和识别的特征向量的方法和装置,本发明能通过分别产生用于标准化面貌图像的傅立叶特征向量和强度特征向量,然后合并此傅立叶特征向量和强度特征向量,而克服在频域和空间域产生特征向量的局限性。
背景技术
在我们所生活的“信息社会”中,个人信息或特定组信息被认为比其他财产更具有价值。为了保护此有价值信息不被第三人获得,开发多种能够有效识别企图访问该信息的人的身份的技术,是及其重要的。在现有可用的鉴定技术中,由于面貌识别在用于识别他人的身份的同时,能够不被其发现他/她的身份正被检查,而且在鉴定过程中,无需被识别人以特定方式移动或行动,就能鉴定识别个人身份,因此面貌识别已被认为是最方便且最有效的鉴定方法。
尽管对诸如信用卡、借记卡或电子ID之类的必需鉴定处理的终端用户产品的社会需求越来越大,但目前只有包括基于密码的鉴定技术的少数鉴定技术被证实有效。由于缺乏相对于基于密码的鉴定技术的可替换的鉴定技术,因而,产生了许多诸如利用计算机进行身份盗用犯罪之类的社会问题。由于面貌识别被认为可以解决这些问题,因而引起了公众的广泛关注。另外,面貌识别极有可能被应用到许多不同领域,例如终端访问控制、公共场所控制、电子相册以及犯罪者面貌识别。
同时,还存在多种不同类型的面貌识别技术。其中之一为基于主分量分析(PCA)的面貌识别技术。PCA是一种通过最小化数据损耗时将图像数据投影到低维向量空间来压缩数据的方法。基于PCA的面貌识别技术,能通过从面貌图像中提取主要特征向量,并根据所提取的主要特征向量将面貌图像分入预定种类,从而识别面貌图像。然而,该技术会产生诸如低识别速度和低可靠性的问题。尽管该技术不考虑面貌图像亮度的变化而达到某种可靠程度,但无法对不同面貌表情和姿态提供可靠且令人满意的面貌识别结果。
为克服基于PCA面貌识别技术的局限性,2002年10月奥地利克拉根福的Toshio Kamei等的“Report of the core experiments on Fourier spectral PCLDAbased face descriptor”“(基于面貌描述符的傅立叶频谱PCLDA的核心实验报告)”,ISO-IEC-JTC1-SC29WG11,M8559,中已公开了通过在频域采用主分量线性判别分析(PCLDA)而从面貌图像提取特征向量的方法,以及2002年9月,Tae-kyun Kim的“Component-based LDA Face Descriptor for ImageRetrieval”(用于图像重现的基于分量的LDA面貌描述符),British MachineVision Conference 2002中,公开了一种采用LDA在空间域提取分量方向(component-wise)特征向量的方法。然而,以上两种方法仅分别采用了频域特征向量或空间域特征向量,因此它们在面貌识别和重现的精度方面存在各自的局限性。
发明内容
本发明提供了一种提取用于面貌识别和重现的特征向量的方法,该方法通过分别产生用于标准化面貌图像的傅立叶特征向量和强度特征向量,然后合并此傅立叶特征向量和强度特征向量,而克服在频域和空间域产生特征向量的局限性。
本发明还提供了一种提取用于面貌识别和重现的特征向量的装置,所述装置使用提取用于面貌识别和重现的特征向量的方法。
依据本发明的一方面,提供一种提取用于面貌识别和重现的特征向量的方法。利用第一和第二标准化向量,产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量,利用第三和第四标准化向量,产生用于标准化面貌图像的中心面貌区域的中心傅立叶特征向量。对于整体面貌区域产生整体强度特征向量,对于预定数量的面貌分量方向区域而产生局部强度特征向量。通过耦合第一和第二标准化向量以及整体强度特征,而产生整体合成特征向量,并通过耦合第三和第四标准化向量以及局部强度特征向量,而产生中心合成特征向量。
依据本发明的一个方面,提供了一种提取用于面貌识别和重现的特征向量的方法,该方法包括以下步骤:(a)产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量和用于该标准化面貌图像的中心面貌区域的中心傅立叶特征向量;(b)产生用于该整体面貌区域的整体强度特征向量,并且利用整体傅立叶特征向量和整体强度特征向量,产生整体合成特征向量;(c)产生用于预定数目的面貌分量方向区域的局部强度特征向量,并且利用中心傅立叶特征向量和局部强度特征向量,产生中心合成特征向量。依据本发明的另一方面,提供了一种提取用于面貌识别和重现的特征向量的装置,所述装置包括第一单元和第二单元。所述第一单元利用第一和第二标准化向量,而产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量,并利用第三和第四标准化向量,而产生用于标准化面貌图像的中心面貌区域的中心傅立叶特征向量。所述第二单元产生用于整体面貌图像的整体强度特征向量,和用于预定数量面貌分量方向区域的局部强度特征向量,并通过耦合第一和第二标准化向量以及所述整体强度特征向量,而产生整体合成特征向量,通过耦合第三和第四标准化向量以及所述局部强度特征向量,产生中心合成特征向量。
依据本发明的另一方面,提供了一种计算机可读记录介质,其上记录能实现提取用于面貌识别和重现的特征向量的方法的程序。
依据本发明的另一个方面,提供了一种用于提取用于面貌识别和重现的特征向量的装置,该装置包括:第一部分,用于产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量和用于该标准化面貌图像的中心面貌区域的中心傅立叶特征向量;第二部分,用于产生用于该整体面貌区域的整体强度特征向量,并且利用整体傅立叶特征向量和整体强度特征向量,产生整体合成特征向量;第三部分,用于产生用于预定数目的面貌分量方向区域的局部强度特征向量,并且利用中心傅立叶特征向量和局部强度特征向量,产生中心合成特征向量。
附图说明
通过以下参照附图对优选实施例的详细描述,本发明的以上及其他特点和优点将更为明显,其中:
图1是根据本发明一个优选实施例的用于提取用作面貌识别和重现的特征向量的装置的方框图;
图2是图1中所示傅立叶特征产生器的详细方框图;
图3A和3B是图2中所示的分块面貌区域的详细方框图;
图4是图1中所示的整体傅立叶特征向量产生器的详细方框图;
图5是图1中所示的中心傅立叶特征向量产生器的详细方框图;
图6是图1中所示的强度特征产生器的详细方框图;
图7是图6中所示的姿态估计/补偿单元的详细方框图;
图8是图1中所示的整体合成特征向量产生器的详细方框图;
图9是图1中所示的中心合成特征向量产生器的详细方框图;和
图10是示出了图1中所示的傅立叶特征产生器所采用的光栅扫描的示意图。
具体实施方式
以下,将参照附图对本发明优选实施例进行详细描述。
图1是依据本发明一个优选实施例的用于提取用作面貌识别和重现的特征向量的装置的方框图。参考图1,该装置包括频率特征向量产生单元120和合成特征向量产生单元130。所述频率特征向量产生单元120包括傅立叶特征产生单元121、整体傅立叶特征向量产生单元123、和中心傅立叶特征向量产生单元125,并且所述合成特征向量产生单元130包括傅立叶特征产生单元121、强度特征产生单元131、整体合成特征向量产生单元133、和中心合成特征向量产生单元135。
如图1所示,通过将一原始面貌图像按比例转换,例如56行,每行包括例如46像素,从而获得一标准化面貌图像110。原始面貌图像的右眼中心位于标准化面貌图像110的第24列第16行,而左眼中心位于标准化面貌图像110的第24列第31行。
在频率特征向量产生单元120中,所述傅立叶特征产生单元121对于所述标准化面貌图像110,即一整体面貌区域和一中心面貌区域,进行傅立叶变换,从而获得整体面貌区域和中心面貌区域的傅立叶频谱和傅立叶振幅,所述傅立叶特征产生单元121还利用整体面貌区域的傅立叶频谱和傅立叶振幅,定义第一和第二特征向量,以及利用中心面貌区域的傅立叶频谱和傅立叶振幅,定义第三和第四特征向量。第一至第四特征向量被投影到主分量线性判别分析(PCLDA)子空间,然后标准化为单元向量。第一和第二标准化向量是用于整体面貌区域的特征向量,而第三和第四标准化向量是用于中心面貌区域的特征向量。此处,通过对构成标准化面貌图像110的像素间的空间关系编码,而获得傅立叶特征向量。
所述整体傅立叶特征向量产生单元123,将傅立叶特征产生单元121所提供的第一和第二标准化向量结合为一个单个结合向量,将该结合向量投影到由预定基础矩阵所定义的判别空间中,以预定方式量化所投影向量的每个分量,并将已量化向量存储为整体傅立叶特征向量。
所述中心傅立叶特征向量产生单元125,将傅立叶特征产生单元121所提供的第三和第四标准化向量结合为一个单个结合向量,将该结合向量投影到由预定基础矩阵所定义的判别空间中,以预定方式量化所投影向量的每个分量,并将已量化向量存储为中心傅立叶特征向量。
在合成特征向量产生单元130中,所述强度特征产生单元131执行标准化面貌图像110的姿态估计和补偿,将所述姿态补偿面貌图像各部分中的整体面貌区域和标准化面貌图像110的预定数量分量,例如标准化面貌图像110的5个分量,投影到所述PCLDA子空间,并将投影结果标准化为第五和第六单元向量。用于整体面貌区域的整体强度特征向量是第五特征向量,所述第五特征向量已被标准化为第五单元向量,且用于标准化面貌图像110的各部分的局部强度特征向量为第六至第十特征向量,所述第六至第十特征向量的每一个均被标准化为第六单元向量。此处,通过编码构成整体面貌区域的像素与标准化面貌图像110的五个分量的强度变化,而获得所述强度特征向量。
所述整体合成特征向量产生单元133,将傅立叶特征产生单元121提供的第一和第二标准化向量,以及强度特征产生单元131提供的整体强度特征向量,结合为一个单个结合向量,将该结合向量投影到由预定基础矩阵所定义的判别空间中,以预定方式量化所投影向量的每个分量,并将已量化向量存储为整体合成特征向量。
所述中心合成特征向量产生单元135将傅立叶特征产生单元121提供的第三和第四标准化向量,以及强度特征产生单元131提供的局部强度特征向量,结合为一个单个结合向量,将该结合向量投影到由预定基础矩阵所定义的判别空间中,以预定方式量化所投影向量的每个分量,并将已量化向量存储为中心合成特征向量。
图2是图2中的傅立叶特征产生单元121的详细方框图。参考图2,所述傅立叶特征产生单元121包括第一图像分割单元210、整体傅立叶特征向量产生器220、和中心傅立叶特征向量产生器230。整体傅立叶特征向量产生器220包括第一和第二傅立叶变换器222和225、第一和第二PCLDA投影器223和226、以及第一向量标准化器227。中心傅立叶特征向量产生器230包括第三傅立叶变换器231、第三和第四PCLDA投影器233和234、以及第二向量标准化器235。
如图2所示,第一图像分割单元210将该标准化面貌图像110分为一整体面貌区域221、一分块面貌区域224、和一中心面貌区域231。
整体傅立叶特征向量产生器220获得整体面貌区域221的傅立叶频谱和分块面貌区域224的傅立叶振幅,并然后利用该傅立叶频谱和傅立叶振幅,产生整体傅立叶特征向量,以下将详述此处理。
第一傅立叶变换器222执行整体面貌区域221的傅立叶变换,从而将整体面貌区域221转换为频域分量。假设用f(x,y)表示整体面貌区域221,则可采用以下等式表示傅立叶频谱F(u,v)。
在等式(1)中,M=46,N=56,u=0,1,2,...,而且v=0,1,2,...,55。F(0,0)表示一DC分量。傅立叶频谱F(u,v)用于获得第一特征向量x1 f,由通过光栅扫描傅立叶频谱F(u,v)获得的实数部分Re[F(u,v)]和虚数部分Im[F(u,v)]来定义该第一特征向量的元素(elements)。具体说,对如下表1所定义的扫描区域A和B中除高频分量(u=12,13,...,34)之外的所有分量执行光栅扫描。表1表示用于从傅立叶域提取特征向量的光栅扫描参数。
表1
特征向量 | 特征 | 扫描区域A | 扫描区域B | 向量维数 | ||||
SA | EA | SB | EB | 小计 | 块数 | 总计 | ||
x1 f | Re[F(u,v)] | (0,0) | (11,13) | (35,0) | (45,13) | 322 | - | 644 |
Im[F(u,v)] | (0,0) | (11,13) | (35,0) | (45,13) | 322 | - | ||
x2 f | |F1 0(u,v)| | (0,0) | (10,13) | (33,0) | (43,13) | 308 | 1 | 856 |
|Fk 1(u,v)| | (0,0) | (5,6) | (17,0) | (21,6) | 77 | 4 | ||
|Fk 2(u,v)| | (0,0) | (2,2) | (9,0) | (10,2) | 15 | 16 | ||
x1 g | Re[G(u,v)] | (0,0) | (7,7) | (24,0) | (31,7) | 128 | - | 256 |
Im[G(u,v)] | (0,0) | (7,7) | (24,0) | (31,7) | 128 | - | ||
x2 g | |G1 0(u,v)| | (0,0) | (7,7) | (24,0) | (31,7) | 128 | 1 | 384 |
|Gk 1(u,v)| | (0,0) | (3,3) | (12,0) | (15,3) | 32 | 4 | ||
|Gk 2(u,v)| | (0,0) | (1,1) | (6,0) | (7,1) | 8 | 16 |
在表1中,SA和SB分别表示扫描区域A和B的起点,而EA和EB分别表示扫描区域A和B的终点。扫描区域A和B以及光栅扫描的例子如图10所示。如图10所示,通过沿‘u’方向执行光栅扫描,以从扫描区域A和B提取傅立叶分量。
由如下等式(2)表示作为光栅扫描结果所获得的第一特征向量x1 f。此处,第一特征向量x1 f为644维。
第一PCLDA投影器223将第一傅立叶变换器222所获得的第一特征向量x1 f,投影到通过对第一特征向量x1 f执行PCLDA所获得的判别空间。采用预定公知算法获得的且本领域普通技术人员公知的第一基本矩阵Ψ1 f对所述判别空间进行定义。
第二傅立叶变换器225,通过对分块面貌区域224执行傅立叶变换,而将分块面貌区域224转换为频域。如图3A所示的分块面貌区域224,包括三个子空间,即整体区域311、四块区域312和十六块区域313。对分块面貌区域224的每个子空间执行傅立叶变换。此处,由f1 0(x,y)表示的整体区域311是通过除去标准化面貌图像110的边界行,并将结果面貌图像剪切成44×56图像获得的。f1 0(x,y)可用以下等式(3)表示。
在等式(3)中,x=0,1,2,...,43,且y=0,1,2,...,55。
用fk 1(x,y)表示的四块区域312和用fk 2(x,y)表示的十六块区域313是利用整体区域311获得的。具体说,四块区域312是通过将整体区域311分成大小均为22×28的四块而获得的。fk 1(x,y)可用以下等式(4)表示。
在等式(4)中,k=1,2,3,4,x=0,1,2,...,21;y=0,1,2,...,27,
且
用fk 2(x,y)表示的十六块区域313是通过将整体区域311分成大小均为11×14的16个块而获得的。fk 2(x,y)可用以下等式(5)表示。
在等式(5)中,k=1,2,3,...,16,x=0,1,2,...,10,y=0,1,2,...,13,
且
通过第二傅立叶变换器225在整体区域311、四块区域312和十六块区域311上执行傅立叶变换,可获得傅立叶频谱Fk j(u,v)和傅立叶振幅|Fk j(u,v)|,所获得的结果可分别用以下等式(6)和(7)表示:
在等式中,Re(z)和Im(z)分别表示复数z的实数部分和虚数部分。Mj表示整体区域311的宽,或者是四块区域312或十六块区域313中每个子块的宽。例如M0=44、M1=22、和M2=11。Nj表示整体区域311的高,或者是四块区域312或十六块区域313中每个子块的高。例如N0=56、N1=28、和N2=14。
对除了表1中所定义的高频分量外的傅立叶振幅|Fk j(u,v)|,执行光栅扫描,从而获得第二特征向量x2 f。按整体区域311的傅立叶振幅|F1 0(u,v)|、四块区域312的傅立叶振幅|F1 1(u,v)|、|F2 1(u,v)|、|F3 1(u,v)|和|F4 1(u,v)|以及十六块区域313的傅立叶振幅|F1 2(u,v)|、|F2 2(u,v)|、......、|F16 2(u,v)|的顺序,对傅立叶振幅值执行光栅扫描。
光栅扫描所获得的第二特征向量x2 f可用以下等式(8)表示。此处,第二特征向量x2 f为856维。
第二PCLDA投影器226,将第二傅立叶变换器225所提取的第二特征向量x2 f,投影到对第二特征向量x2 f执行PCLDA所获得的判别空间。采用预定公知算法获得的且本领域普通技术人员公知的第二基本矩阵Ψ2 f,来定义所述判别空间。
第一向量标准化器227,通过标准化被第一PCLDA投影器223投影到该判别空间的第一特征向量,而产生第一标准化向量y1 f。另外,第一向量标准化器227通过标准化被第二PCLDA投影器226投影到该判别空间的第二特征向量,而产生第二标准化向量y2 f。第一和第二标准化向量y1 f和y2 f可分别用以下等式(9)和(10)表示:
在等式(9)和(10)中,m1 f和m2 f表示被第一和第二PCLDA投影器223和226投影到判别空间的向量均值。第一和第二标准化向量y1 f和y2 f分别为70维和80维。
所述中心傅立叶特征向量产生器230,获得中心面貌区域231的傅立叶频谱和傅立叶振幅,并利用该中心面貌区域231的傅立叶频谱和傅立叶振幅,产生中心傅立叶特征向量。所述中心傅立叶特征向量产生器230的工作方式与整体傅立叶特征向量产生器220相同。以下将详细描述中心傅立叶特征向量产生器230的工作过程。
所述中心面貌区域231,是通过将f(x,y)表示的标准化面貌图像110,剪切成起点为(7,12)和终点为(38,43)的32×32图像而获得的。
所述第三傅立叶变换器232,通过傅立叶变换,将g(x,y)表示的中心面貌区域231转换为频域,从而获得傅立叶频谱G(u,v)。对傅立叶频谱G(u,v)执行光栅扫描,从而获得第三特征向量x1 g。此处,对如表1的扫描区域A和B执行光栅扫描。光栅扫描所获得的第三特征向量x1 g为256维。
第三PCLDA投影器233,将第三傅立叶变换器232提取的第三特征向量x1 g,投影到通过对第三特征向量x1 g执行PCLDA所获得的判别空间。采用预定公知算法获得的且本领域普通技术人员公知的第三基本矩阵Ψ1 g,来定义该判别空间。
第四傅立叶变换器235,通过对分块面貌区域234执行傅立叶变换,而将该分块面貌区域234转换为频域。如图3B所示,分块面貌区域234包括三个子空间,即具有32×32大小且用g1 0(x,y)表示的32×32型中心区域321、由均为16×16大小的四个相同块组成且用gk 1(x,y)表示的四块区域322、以及由均为8×8大小的十六个相同块组成且用gk 2(x,y)表示的十六块区域323。对分块面貌区域234的每个子空间,执行傅立叶变换。中心区域321具有傅立叶振幅|G(u,v)|,而且四块区域322和十六块区域323的子块gk j(x,y)的每一个具有振幅|Gk j(u,v)|。通过对以上傅立叶振幅执行光栅扫描,可获得第四特征向量x2 g。对表1中的扫描区域A和B执行光栅扫描。此处,光栅扫描所获得的第四特征向量x2 g为384维。
第四PCLDA投影器236,将第四傅立叶变换器235所提取的第四特征向量x2 g,投影到通过对第四特征向量x2 g执行PCLDA所获得的判别空间。采用预定公知算法获得的且本领域普通技术人员公知的第四基本矩阵Ψ2 g,来定义该判别空间。
为了利用由第三PCLDA投影器233投影到该判别空间的向量均值m1 g而产生单元向量,第二向量标准化器237标准化所述第三特征向量。该标准化的结果是获得第三标准化向量y1 g。另外,为了利用由第四PCLDA投影器236投影到该判别空间的向量均值m2 g而产生单元向量,第二向量标准化器237标准化所述第四特征向量,从而获得第四标准化向量y2 g。所述第三和第四标准化向量y1 g和y2 g分别为70维和80维。
图4为图1的整体傅立叶特征向量产生单元123的详细方框图。如图4所示,整体傅立叶特征向量产生单元123包括第一耦合器410、第一LDA投影器420和第一量化器430。
参考图4,第一耦合器410将来自傅立叶特征产生单元121中第一向量标准化器227的第一和第二标准化向量y1 f和y2 f耦合成具有,例如150维的单一耦合向量。
第一LDA投影器420将第一耦合器410提供的耦合向量,投影到由采用预定公知算法获得且本领域普通技术人员公知的第五基本矩阵Ψ3 f定义的线性判别空间。所得到的投影向量zf可用以下等式(11)表示。
采用以下等式(12),第一量化器430将第一LDA投影器420提供的投影向量的每个分量,剪切并量化为无符号的5位整数,然后将所得到的向量作为整体傅立叶特征向量wi f存储。
图5是图1的中心傅立叶特征向量产生单元125的详细方框图。如图5所示,中心傅立叶特征向量产生单元125包括第二耦合器510、第二LDA投影器520以及第二量化器530。
参考图5,第二耦合器510将来自傅立叶特征产生单元121中第二向量标准化器237的第三和第四标准化向量y1 g和y2 g耦合成具有,例如150维的单一耦合向量。
第二LDA投影器520将第二耦合器510提供的耦合向量投影到采用预定公知算法获得且本领域普通技术人员公知的第六基本矩阵Ψ3 g定义的线性判别空间。所得到的投影向量zg可用以下等式(11)表示:
采用以下等式(13),第二量化器530将第二LDA投影器520提供的投影向量zg的每个分量,剪切并量化为无符号的5位整数,然后将所得到的向量作为中心傅立叶特征向量wi g存储。
图6是图2的强度特征向量产生器230的详细方框图。如图6所示,强度特征向量产生器230包括姿态估计和补偿单元610、第二图像分割器620、整体强度特征向量产生器630、以及局部强度特征向量产生器640。
参考图6,姿态估计和补偿单元610估计标准化面貌图像110的姿态,基于该姿态估计结果而对标准化面貌图像110进行补偿,并输出结果正面面貌图像。姿态估计和补偿单元610调整由于标准化面貌图像110的姿态变化所引起的不匹配。
第二图像分割器620将从姿态估计和补偿单元610输出的姿态补偿面貌图像,分别分割成一个整体面貌区域和具有面貌分量1至5的第一至第五局部图像。该整体面貌区域,具有由以下表2所定义的一预定光栅扫描区域。具体说,起点为(0,0)的整体面貌区域大小为46×56。起点分别为(9,4)、(6,16)、(17,16)、(7,25)和(16,25)的第一至第五局部图像的大小,分别为29×27、24×21、24×21、24×24和24×24。
例如,下表定义了光栅扫描区域和面貌分量方向区域的向量维数。
表2
上左 | 大小 | 向量维数 | |||
x | y | 宽 | 高 | ||
整体面貌:xh | 0 | 0 | 46 | 56 | 2576 |
面貌分量1:x1 c | 9 | 4 | 29 | 27 | 783 |
面貌分量2:x2 c | 6 | 16 | 24 | 21 | 504 |
面貌分量3:x3 c | 17 | 16 | 24 | 21 | 504 |
面貌分量4:x4 c | 7 | 25 | 24 | 24 | 576 |
面貌分量5:x5 c | 16 | 25 | 24 | 24 | 576 |
在所述整体强度特征向量产生器630中,通过沿列方向对整体面貌区域执行光栅扫描,第一光栅扫描器631产生包括用于整体面貌区域的强度值的第五特征向量xh。从整体面貌区域的左上点(0,0)开始至整体面貌区域的右下点(46,56)结束,而执行列方向光栅扫描。此处,第五特征向量xh为,例如2576维。
第五PCLDA投影器632将来自第一光栅扫描器631的第五特征向量xh,投影到由采用预定公知算法获得且本领域普通技术人员公知的第七基本矩阵Ψ1 h所定义的判别空间。
第五向量标准化器633将投影向量标准化为单元向量yh,并将此单元向量yh作为整体强度特征向量存储。该单元向量yh可用以下等式(14)表示。
在等式(14)中,mh表示通过第五PCLDA投影器632,投影到该判别空间的向量均值,且具有40维。
在局部强度特征向量产生器640中,通过沿列方向对每个局部面貌区域执行光栅扫描,第二至第六光栅扫描器641a至645a,均产生包括用于每个局部面貌区域的强度值的第六特征向量xk c(k=1,2,...,5)。从每个局部面貌区域的左上点开始至每个局部面貌区域的右下点结束,来执行列方向光栅扫描。对于表2所定义的每个光栅扫描区域,第六特征向量xk c(k=1,2,...,5)为783、504、504、576或576维。
第六至第十PCLDA投影器641b至645b,将由第二至第六光栅扫描器641a至645a的每一个所提供的第六特征向量xk c(k=1,2,...,5),投影到由采用预定公知算法获得且本领域普通技术人员公知的第八基本矩阵Ψk c(k=1,2,...,5)所定义的判别空间。
第六至第十向量标准化器641c至645c,将通过第六至第十PCLDA投影器641b至645b的每一个投影到该判别空间的向量,标准化为单元向量yk c(k=1,2,...,5),并将此单元向量yk c作为局部强度特征向量存储。单元向量yk c可用以下等式(15)表示。
在等式(15)中,mk c表示由第六至第十PCLDA投影器641b至645b的每一个,投影到该判别空间的向量均值,且为40维。
图7是图6的姿态估计和补偿单元610的详细方框图。如图7所示,姿态估计和补偿单元610包括姿态估计器710和姿态补偿器720,所述姿态估计器710包括n个主分量分析/特征空间距离(principal-component-analysis/distance-from-feature-space:PCA/DFFS)模块711、712和713以及最小值检测器714,所述姿态补偿器720包括仿射转换器721和反相映射器722。
采用PCA/DFFS方法,姿态估计器710估计标准化面貌图像110的姿态,使之属于下表(3)中定义的九个姿态类之一。为此,第一至第n个PCA投影器711a、712a和713a(此处,n=9),将标准化面貌图像110,投影到用于九个姿态类中每一个的投影矩阵Pi(i=1,2,...,9)的PCA子空间。可从训练面貌图像中收集的典型图像中学习并获得,用于九个姿态类中每一个的PCA模型。将具有与九个姿态类所定义的相同姿态的面貌图像,判定为每个姿态类的距离。
表3
姿态ID | 定义 |
1 | 向上 |
2 | 轻微向上 |
3 | 向左 |
4 | 轻微向左 |
5 | 向前 |
6 | 轻微向右 |
7 | 向右 |
8 | 轻微向下 |
9 | 向下 |
第一至第n个DFFS计算器711b、712b和713b(此处,n=9),利用以下等式(16)计算九个姿态类中每一个的距离di(x)。该距离di(x)表示用于特定姿态类的PCA子空间所表示的面貌的精确程度。
di(x)=‖x‖2-‖Pi(x-Mi‖2 ...(16)
在等式(16)中,x和Mi分别表示对标准化面貌图像结果的列方向光栅扫描所获得的向量,和用于特定姿态类(i)的PCA子空间的平均向量。投影矩阵Pi(i=1,2,...,9)是采用预定公知算法获得且是本领域普通技术人员公知的。
最小值检测器714检测第一至第n个DFFS计算器711b、712b和713b(此处,n=9)所提供的距离di(x)中的最小值,并估计对应于所检测到的最小值的预定姿态类,以作为用于该标准化面貌图像110的姿态类,如以下等式(17)所示。
imin=argimin{di(x)}i=1,2,...,9 ...(17)
在1994年7月,B.Moghaddam和A.Pentland在“Face Recognition usingView-based and Modular Eigenspaces,”Automatic Systems for the Identificationand Inspection of Humans,SPIE Vol.2277中,公开了上述PCA/DFFS方法。
姿态补偿器720依据姿态估计器710所估计的姿态类,将标准化面貌图像110补偿为正面面貌图像。为达到此目的,仿射变换器721装入产生对应于所估计姿态类的正面姿态类的预定仿射变换矩阵。从一姿态类到所述正面姿态类的仿射变换,依赖于姿态类和正面姿态类之间的对应点。每个姿态类可将,例如,15个区别面貌特征的平均位置作为对应点,详细地说,就是在两眉毛和眼睛的左和右边界,在鼻子的左、右和下边界,在嘴巴的左、右、上和下边界。所述区别面貌特征可从被分配给每个姿态类的训练图像中人工选择。
反相映射器722通过利用来自仿射转换器721的预定仿射转换矩阵,将标准化面貌图像110几何反相映射成正面面貌图像,从而提供一姿态补偿面貌图像730。从姿态类(j)至正面面貌图像的仿射转换,可采用下表4中所示的六维参数Aj={a,b,c,d,e,f}来表示,而且以上参数是通过正面面貌图像中的区别面貌特征与每个姿态面貌图像中的区别面貌特征的比率来计算的。
表4
姿态类 | a | b | c | d | e | f |
1 | 0.991580 | 0.010128 | 0.074633 | -0.003959 | 0.943660 | 1.515700 |
2 | 0.970768 | -0.002972 | 0.881806 | 0.003942 | 0.887513 | 2.570872 |
3 | 1.037537 | 0.119828 | -4.445840 | -0.008323 | 1.242277 | -5.354795 |
4 | 0.996640 | -0.073498 | 1.742925 | 0.004347 | 1.033041 | -0.724001 |
5 | 1.000000 | 0.000000 | 0.000000 | 0.000000 | 1.000000 | 0.000000 |
6 | 0.987388 | 0.086766 | -1.807056 | -0.003484 | 0.998318 | 0.264492 |
7 | 0.999838 | -0.128101 | 3.728913 | 0.013586 | 1.185747 | -4.659860 |
8 | 0.984965 | -0.000953 | 0.423803 | 0.002269 | 0.970589 | 0.884239 |
9 | 0.978864 | -0.003004 | 0.538113 | 0.011342 | 1.001916 | -0.477181 |
反相映射面貌图像上的点(x,y)的强度,可利用以下双线性内插公式(18)计算。
(1-dy)·{(1-dx)·f(x′,y′)+dx·f(x′+1,y′)}+dy·{(1-dx)·f(x′,y′+1)+dx·f(x′+1,y′+1)}
...(18)
在公式(18)中,x′=ceil(a·x+b·y+c)、y′=ceil(d·x+e·y+f)、dx=(a·x+b·y+c)-x′且dy=(d·x+e·y+f)-y′。f(x′,y′)表示在点(x′,y′)的标准化面貌图像110的强度。
图8是图1的整体合成特征向量产生单元133的详细方框图。如图8所示,整体合成特征向量产生单元133包括第三耦合器810、第三LDA投影器820和第三量化器830。
参考图8,第三耦合器810将由傅立叶特征产生单元121的第一向量标准化器227提供的第一和第二标准化向量y1 f和y2 f与由整体强度特征向量产生器630提供的整体强度特征向量yh耦合成具有,例如190维的单一耦合向量。
第三LDA投影器820将第三耦合器810提供的耦合向量,投影到由采用预定公知算法获得且本领域普通技术人员公知的第九基本矩阵Ψ2 h所定义的线性判别空间。所得到的投影向量zh可用以下等式(19)表示:
采用以下等式(20),第三量化器830将第三LDA投影器820提供的投影向量zh的每个分量,剪切并量化为无符号的5位整数,然后将所得到的向量作为整体合成特征向量wi h存储。
图9是图1的中心合成特征向量产生单元135的详细方框图。如图9所示,中心合成特征向量产生单元135包括第四耦合器910、第四LDA投影器920和第四量化器930。
参考图9,第四耦合器910将由傅立叶特征产生单元121的第二向量标准化器237提供的第三和第四标准化向量y1 g和y2 g,以及由局部强度特征向量产生器640提供的局部强度特征向量yk c,耦合成具有,例如350维的单一耦合向量。
第四LDA投影器920,将第四耦合器910提供的耦合向量,投影到由采用预定公知算法获得且本领域普通技术人员公知的第十基本矩阵Ψ6 c所定义的线性判别空间。所得到的投影向量zc可用以下等式(21)表示。
采用以下等式(22),第四量化器930将第四LDA投影器920提供的投影向量的每个分量,剪切并量化为无符号的5位整数,然后将所得到的向量作为中心合成特征向量wi c存储。
2002年9月,Tae-kyun Kim的“Component-based LDA face Descriptor forImage Retrieval,”British Machine Vision Conference 2002中已公开了以上所述的第一至第十基本矩阵(或投影矩阵)。
以下,将详细描述依据本发明的提取特征向量的方法的面貌图像重现性能。
作为根据本发明的提取特征向量方法的试验,采用包括五个数据库的一组MPEG-7面貌图像数据。以上五个数据库是扩展版本1的MPEG-7面貌图像数据库(E1)、Altkom数据库(A2)、XM2VTS数据库中的MPEG-7测试组(M3)、FERET数据库F4以及Banca数据库中的MPEG-7测试组(B5)。用于此试验的图像总数为11,845个。在此11,845个图像中,3,655个图像仅仅用作LDA投影的训练图像,而其余的图像用作估计依据本发明的图像检索算法的性能的测试图像。那些测试图像中,4190个图像被用作提取面貌特征向量的基本图像,而剩下的,则被用作面貌搜索图像。表5表示用于此试验的训练图像和测试图像的详细信息。本试验中每个图像的普通信息都已预先给出,这样才可能估计依据本发明的图像重现算法的性能。
表5
DB | 人 | 图像 | 总计 | |
训练图像I | Altkom | 40 | 15 | 600 |
50对50 | Banca | - | - | - |
MPEG | 317 | 5 | 1,585 | |
XM2VTS | 147 | 10 | 1,470 | |
FERET | - | - | - | |
总计 | 504 | 3,655 | ||
测试图像I50对50 | Altom | 40 | 15 | 600 |
Banca | 52 | 10 | 520 | |
MPEG | 318 | 5 | 1,590 | |
XM2VTS | 148 | 10 | 1,480 | |
FERET | - | - | 4,000 | |
总计 | 558 | 8,190 |
依据本发明的图像重现算法所执行的重现精度,可采用平均标准化改进重现率(ANMRR)来测量,这已在2002年B.S.Manjunath,Philippe Salembier和Thomas Sikora的“Introduction to MPEG-7:Multimedia Content DescriptionInterface,”John Wiley & Sons Ltd.中公开。
依据此试验结果,当只采用傅立叶特征向量和只采用强度特征向量时,根据本发明的图像重现算法的重现精度分别为0.354和0.390。当同时采用了傅立叶特征向量和强度特征向量时,根据本发明的图像重现算法的重现精度为0.266。常规傅立叶特征向量和强度特征向量的大小分别为240(=48×5)位和200(=40×5)位,而依据本发明的傅立叶特征向量大小为320(=64×5)位。依据本发明的图像重现算法的重现精度,随特征向量大小的不同而不同。例如,当大小为48(即240位)时,ANMRR是0.280。当大小为64(即320位)时,ANMRR是0.266。当大小为128(即640位)时,ANMRR是0.249。也就是说,如上所述,采用更大的特征向量,会增大重现精度,同时计算负载也会略为增大。而且,以上所有结果表明通过利用类似于本发明的傅立叶特征向量和强度特征向量,有可能提供精度重现技术,并产生非常好的鉴定结果。
本发明可实现为写在计算机可读记录介质上的计算机可读代码。计算机可读介质,包括几乎各种可将计算机可读数据写于其上的记录设备。例如,计算机可读记录介质包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储器和诸如通过因特网进行数据传输的载波。计算机可读记录介质也可分布到多种与网络相连的计算机系统。所以,计算机可读代码可记录在计算机可读记录介质上且可以分散方式运行。
如上所述,依据本发明,通过指定面貌识别和重现系统,可选择使用频率特征向量或合成特征向量。而且,依据本发明,可克服只采用频域特征向量或只采用空间域特征向量的常规重现技术的局限性,且通过分别为预定标准化面貌图像产生傅立叶特征向量和强度特征向量,然后将所述两特征向量合并为单一合成特征向量,可相当大地增强图像重现精度。
以上参照其典型实施例,已对本发明进行了具体的说明和描述,本领域普通技术人员应理解在不脱离所附权利要求定义的本发明精神和范围的情况下,可对本发明进行各种形式和细节上的改变。
Claims (20)
1、一种提取用于面貌识别和重现的特征向量的方法,该方法包括以下步骤:
(a)利用第一和第二标准化向量,产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量,并利用第三和第四标准化向量,产生用于该标准化面貌图像的中心面貌区域的中心傅立叶特征向量;以及
(b)产生用于该整体面貌区域的整体强度特征向量和用于预定数目的面貌分量方向区域的局部强度特征向量,通过耦合所述第一和第二标准化向量以及该整体强度特征,而产生整体合成特征向量,并且通过耦合所述第三和第四标准化向量以及该局部强度特征向量,而产生中心合成特征向量。
2、根据权利要求1的方法,其中该步骤(a)包括:
(a1)通过在该整体面貌区域执行傅立叶变换,而获取用于该整体面貌区域的傅立叶频谱和傅立叶振幅,并利用所获得的该整体面貌区域的傅立叶频谱和傅立叶振幅,而定义第一和第二特征向量;
(a2)通过在该中心面貌区域执行傅立叶变换,而获取用于该中心面貌区域的傅立叶频谱和傅立叶振幅,并利用所获得的该中心面貌区域的傅立叶频谱和傅立叶振幅,而定义第三和第四特征向量;
(a3)通过将所述第一和第二特征向量投影到第一主分量线性判别分析子空间,并标准化所产生的特征向量,而产生所述第一和第二标准化向量,以及通过将所述第一和第二标准化向量耦合成单一耦合向量,且将该单一耦合向量投影到第一线性判别空间,而产生该整体傅立叶特征向量;以及
(a4)通过将所述第三和第四特征向量投影到第二主分量线性判别分析子空间,并标准化所产生的特征向量,而产生所述第三和第四标准化向量,以及通过将所述第三和第四标准化向量耦合成单一耦合向量,且将该单一耦合向量投影到第二线性判别空间,而产生该中心傅立叶特征向量。
3、根据权利要求2的方法,其中在步骤(a1)中,从该整体面貌区域获得该傅立叶频谱,并从第一分块面貌区域获得该傅立叶振幅。
4、根据权利要求3的方法,其中该第一分块面貌区域包括通过将该整体面貌区域剪切成预定大小图像而获得的整体区域、通过将该整体区域分成四块而获得的四块区域、以及通过将该整体区域分成十六块而获得的十六块区域。
5、根据权利要求2的方法,其中在步骤(a2)中,从该中心面貌区域获得该傅立叶频谱,从第二分块区域获得该傅立叶振幅。
6、根据权利要求5的方法,其中该第二分块面貌区域包括对应该中心面貌区域的中心区域、通过将该中心区域分成四块而获得的四块区域、以及通过将该中心区域分成十六块而获得的十六块区域。
7、根据权利要求1的方法,其中该步骤(b)包括:
(b1)产生用于该标准化面貌图像的整体面貌区域的所述第一和第二标准化向量,并产生用于该标准化面貌图像的中心面貌区域的所述第三和第四标准化向量;
(b2)产生用于整体面貌区域的整体强度特征向量,和用于预定数目面貌分量方向区域的局部强度特征向量;
(b3)通过将所述第一和第二标准化向量以及该整体强度特征向量耦合成单一耦合向量,并将所耦合的向量投影到第三线性判别空间,从而产生整体合成特征向量;以及
(b4)通过将所述第三和第四标准化向量以及该局部强度特征向量耦合成单一耦合向量,并将所耦合的向量投影到第四线性判别空间,从而产生中心合成特征向量。
8、根据权利要求7的方法,其中该步骤(b2)包括:
(b21)通过对该标准化面貌图像执行姿态估计和补偿,从而将该标准化面貌图像转换成正面面貌图像;
(b22)通过对所得到的姿态补偿面貌图像的整体面貌区域执行光栅扫描,从而定义第五特征向量;
(b23)通过对姿态补偿面貌图像的多个面貌分量方向区域执行光栅扫描,从而定义第六特征向量;
(b24)通过将该第五特征向量投影到第三主分量线性判别分析子空间,并将所获得的特征向量标准化为第五单元向量,从而产生该整体强度特征向量;以及
(b25)通过将该第六特征向量投影到第四主分量线性判别分析子空间,并将所获得的特征向量标准化为第六单元向量,从而产生该局部强度特征向量。
9、根据权利要求8的方法,其中在步骤(b21)中,采用PCA-DFFS方法来估计标准化面貌图像的姿态。
10、根据权利要求7的方法,其中该步骤(b3)包括:
(b31)将(b1)产生的第一和第二标准化向量与(b2)产生的整体强度特征向量耦合成单一耦合向量;
(b32)将所耦合的向量投影到第三线性判别空间;以及
(b33)量化所投影向量的每个分量,并将所得到的向量作为整体合成特征向量存储。
11、根据权利要求7的方法,其中该步骤(b4)包括:
(b41)将(b1)产生的第三和第四标准化向量与(b2)产生的局部强度特征向量耦合成单一耦合向量;
(b42)将所耦合的特征向量投影到第四线性判别空间;以及
(b43)量化所投影向量的每个分量,并将所得到的向量作为中心合成特征向量存储。
12、一种提取用于面貌识别和重现的特征向量的方法,该方法包括以下步骤:
(a)产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量和用于该标准化面貌图像的中心面貌区域的中心傅立叶特征向量;
(b)产生用于该整体面貌区域的整体强度特征向量,并且利用整体傅立叶特征向量和整体强度特征向量,产生整体合成特征向量;以及
(c)产生用于预定数目的面貌分量方向区域的局部强度特征向量,并且利用中心傅立叶特征向量和局部强度特征向量,产生中心合成特征向量。
13、一种提取用于面貌识别和重现的特征向量的装置,该装置包括:
第一单元,利用第一和第二标准化向量,产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量,并利用第三和第四标准化向量,产生用于标准化面貌图像的中心面貌区域的中心傅立叶特征向量;以及
第二单元,产生用于该整体面貌图像的整体强度特征向量,和用于预定数目的面貌分量方向区域的局部强度特征向量,通过耦合所述第一和第二标准化向量以及整体强度特征向量,而产生整体合成特征向量,并且通过耦合所述第三和第四标准化向量以及局部强度特征向量,而产生中心合成特征向量。
14、根据权利要求13的装置,其中该第一单元包括:
傅立叶特征产生器,产生用于标准化面貌图像的整体面貌区域的第一和第二标准化向量,以及用于中心面貌区域的第三和第四标准化向量;
整体傅立叶特征向量产生器,通过将所述第一和第二标准化向量耦合成单一耦合向量,并将所耦合的向量投影到第一线性判别空间,从而产生整体傅立叶特征向量;以及
中心傅立叶特征向量产生器,通过将所述第三和第四标准化向量耦合成单一耦合向量,并将所耦合的向量投影到第二线性判别空间,从而产生中心傅立叶特征向量。
15、根据权利要求13的装置,其中该第二单元包括:
傅立叶特征产生器,产生用于标准化面貌图像的整体面貌区域的第一和第二标准化向量,并产生用于标准化面貌图像的中心面貌区域的第三和第四标准化向量;
强度特征产生器,产生用于整体面貌区域的整体强度特征向量,和用于预定数目的面貌分量方向区域的局部强度特征向量;
整体合成特征向量产生器,通过耦合第一和第二标准化向量以及整体强度特征向量,从而产生整体合成特征向量;以及
中心合成特征向量产生器,通过耦合第三和第四标准化向量以及局部强度特征向量,从而产生中心合成特征向量。
16、根据权利要求15的装置,其中所述傅立叶特征产生器包括:
整体傅立叶特征向量产生器,通过将由傅立叶变换整体面貌区域获得的傅立叶频谱和傅立叶振幅所定义的第一和第二特征向量投影到第一主分量线性判别分析子空间,并标准化所获得的特征向量,从而产生第一和第二标准化向量;和
中心傅立叶特征向量产生器,通过将由傅立叶变换该中心面貌区域获得的傅立叶频谱和傅立叶振幅所定义的第三和第四特征向量投影到第二主分量线性判别分析子空间,并标准化所获得的特征向量,从而产生第三和第四标准化向量。
17、根据权利要求16的装置,其中用于整体傅立叶特征向量产生器的傅立叶频谱是从此整体面貌区域获得的,并且用于该整体面貌区域的傅立叶振幅是从将整体面貌区域剪切成预定大小区域而获得的整体区域、将该整体区域分成四块而获得的四块区域和将该整体区域分成十六块而获得的十六块区域中获得的。
18、根据权利要求16的装置,其中用于中心傅立叶特征向量产生器的傅立叶频谱是从此中心面貌区域获得的,并且用于该中心面貌区域的傅立叶振幅是从中心区域、将该中心区域分成四块而获得的四块区域和将该中心区域分成十六块而获得的十六块区域中获得的。
19、根据权利要求15的装置,其中该强度特征产生器包括:
姿态估计和补偿单元,估计标准化面貌图像的姿态,并基于此估计结果将此标准化面貌图像转换成正面面貌图像;
整体强度特征向量产生器,通过将对标准化面貌图像的整体面貌区域执行光栅扫描所获得的第五特征向量,投影到第三主分量线性判别分析子空间,并将所获得的特征向量标准化为第五单元向量,从而产生整体强度特征向量;以及
局部强度特征向量产生器,通过将对姿态补偿面貌图像的多个面貌分量方向区域执行光栅扫描所获得的第六特征向量,投影到第四主分量线性判别分析子空间,并将所获得的特征向量标准化为第六单元向量,从而产生局部强度特征向量。
20、一种用于提取用于面貌识别和重现的特征向量的装置,该装置包括:
第一部分,用于产生用于标准化面貌图像的整体面貌区域的整体傅立叶特征向量和用于该标准化面貌图像的中心面貌区域的中心傅立叶特征向量;
第二部分,用于产生用于该整体面貌区域的整体强度特征向量,并且利用整体傅立叶特征向量和整体强度特征向量,产生整体合成特征向量;以及
第三部分,用于产生用于预定数目的面貌分量方向区域的局部强度特征向量,并且利用中心傅立叶特征向量和局部强度特征向量,产生中心合成特征向量。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR62650/2002 | 2002-10-15 | ||
KR20020062650 | 2002-10-15 | ||
KR62650/02 | 2002-10-15 | ||
KR26426/2003 | 2003-04-25 | ||
KR10-2003-0026426A KR100486738B1 (ko) | 2002-10-15 | 2003-04-25 | 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 |
KR26426/03 | 2003-04-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1504961A CN1504961A (zh) | 2004-06-16 |
CN100342399C true CN100342399C (zh) | 2007-10-10 |
Family
ID=32044739
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2003101204703A Expired - Lifetime CN100342399C (zh) | 2002-10-15 | 2003-10-15 | 提取用作面貌识别和重现的特征向量的方法和装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7391889B2 (zh) |
EP (1) | EP1411459B1 (zh) |
JP (1) | JP4061260B2 (zh) |
CN (1) | CN100342399C (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1302365A (zh) * | 1999-04-02 | 2001-07-04 | 松下冷机株式会社 | 热泵装置 |
US8171567B1 (en) | 2002-09-04 | 2012-05-01 | Tracer Detection Technology Corp. | Authentication method and system |
BRPI0508631A (pt) | 2004-03-12 | 2007-08-07 | Ingenia Technology Ltd | aparelho para determinar uma assinatura de um artigo arranjado em um volume de leitura, uso do aparelho, métodos para identificar um artigo feito de papel ou papelão, um artigo feito de plástico, um produto pela sua embalagem, um documento, um item de vestuário ou calçado, e um disco, método para etiquetar um artigo, e, artigo etiquetado |
JP5148996B2 (ja) | 2004-03-12 | 2013-02-20 | インジェニア・テクノロジー・(ユーケイ)・リミテッド | 認証可能な印刷物品を作成し、その後に検証するための方法および装置 |
GB2414328A (en) * | 2004-05-17 | 2005-11-23 | Mitsubishi Electric Inf Tech | Discrimination transforms applied to frequency domain derived feature vectors |
GB2417592B (en) * | 2004-08-13 | 2006-07-26 | Ingenia Technology Ltd | Authenticity verification of articles |
GB2444139B (en) * | 2004-08-13 | 2008-11-12 | Ingenia Technology Ltd | Authenticity verification methods products and apparatuses |
JP4332129B2 (ja) * | 2005-04-20 | 2009-09-16 | 富士通株式会社 | 文書分類プログラム、文書分類方法および文書分類装置 |
EP1908027B1 (en) | 2005-07-27 | 2010-09-29 | Ingenia Holdings Limited | Verification of authenticity |
EP2175396A3 (en) * | 2005-12-23 | 2010-08-11 | Ingenia Holdings (UK) Limited | Optical authentication |
US7684594B2 (en) * | 2006-02-08 | 2010-03-23 | Fujifilm Corporation | Method and apparatus for estimating object part location in digital image data using feature value analysis |
KR100819027B1 (ko) * | 2006-04-26 | 2008-04-02 | 한국전자통신연구원 | 얼굴 영상을 이용한 사용자 인증 방법 및 장치 |
US7684651B2 (en) * | 2006-08-23 | 2010-03-23 | Microsoft Corporation | Image-based face search |
KR100855631B1 (ko) | 2006-12-26 | 2008-09-01 | (주)엔토시스 | 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법 |
US7991199B2 (en) * | 2007-06-29 | 2011-08-02 | Microsoft Corporation | Object identification and verification using transform vector quantization |
DE102008041861A1 (de) * | 2008-09-08 | 2010-03-11 | Psylock Gmbh | Biometrisches Identifizierungsverfahren mittels Merkmalsvektoren und Analyse gegenüber mehreren biometrischen Proben |
GB2466311B (en) | 2008-12-19 | 2010-11-03 | Ingenia Holdings | Self-calibration of a matching algorithm for determining authenticity |
GB2466465B (en) | 2008-12-19 | 2011-02-16 | Ingenia Holdings | Authentication |
US8213691B2 (en) * | 2008-12-30 | 2012-07-03 | Mitsubishi Electric Research Laboratories, Inc. | Method for identifying faces in images with improved accuracy using compressed feature vectors |
TWI419060B (zh) * | 2009-10-15 | 2013-12-11 | Univ Nat Kaohsiung Applied Sci | 採用金字塔取樣演算法之人臉辨識方法 |
GB2476226B (en) | 2009-11-10 | 2012-03-28 | Ingenia Holdings Ltd | Optimisation |
JP5524692B2 (ja) * | 2010-04-20 | 2014-06-18 | 富士フイルム株式会社 | 情報処理装置および方法ならびにプログラム |
TWI413004B (zh) * | 2010-07-29 | 2013-10-21 | Univ Nat Taiwan Science Tech | 人臉特徵辨識方法及系統 |
US9251402B2 (en) | 2011-05-13 | 2016-02-02 | Microsoft Technology Licensing, Llc | Association and prediction in facial recognition |
US9323980B2 (en) * | 2011-05-13 | 2016-04-26 | Microsoft Technology Licensing, Llc | Pose-robust recognition |
US8593452B2 (en) * | 2011-12-20 | 2013-11-26 | Apple Inc. | Face feature vector construction |
US10248848B2 (en) | 2012-03-13 | 2019-04-02 | Nokia Technologies Oy | Method and apparatus for improved facial recognition |
US9361510B2 (en) * | 2013-12-13 | 2016-06-07 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
CN104281835B (zh) * | 2014-09-04 | 2017-05-17 | 台州学院 | 基于局部敏感的核稀疏表示的人脸识别方法 |
JP6702118B2 (ja) * | 2016-09-26 | 2020-05-27 | カシオ計算機株式会社 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
US20180357819A1 (en) * | 2017-06-13 | 2018-12-13 | Fotonation Limited | Method for generating a set of annotated images |
CN111435849B (zh) * | 2019-01-11 | 2021-11-09 | 华为技术有限公司 | 一种通信方法及设备 |
CN110135361A (zh) * | 2019-05-19 | 2019-08-16 | 北京深醒科技有限公司 | 一种基于红外摄像头下的多姿态人脸识别方法 |
CN111767828B (zh) * | 2020-06-28 | 2023-12-08 | 京东科技控股股份有限公司 | 证件图像翻拍识别方法、装置、电子设备和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10255043A (ja) * | 1997-03-11 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 顔動画像からの表情認識方法 |
JP2000030060A (ja) * | 1998-07-09 | 2000-01-28 | Cyber Tec Kk | 画像認識方法及びその装置 |
WO2000014649A1 (en) * | 1998-09-03 | 2000-03-16 | Wallac Oy | Signal processing |
JP2000222578A (ja) * | 1999-02-02 | 2000-08-11 | Matsushita Electric Ind Co Ltd | パターンマッチング方法および動きベクトル検出方法 |
JP2002032767A (ja) * | 2000-07-19 | 2002-01-31 | Giken Torasutemu Kk | 物体認識方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5956427A (en) * | 1995-06-15 | 1999-09-21 | California Institute Of Technology | DFT encoding of oriented filter responses for rotation invariance and orientation estimation in digitized images |
US5917940A (en) * | 1996-01-23 | 1999-06-29 | Nec Corporation | Three dimensional reference image segmenting method and device and object discrimination system |
JP3279913B2 (ja) * | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
US6466685B1 (en) * | 1998-07-14 | 2002-10-15 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method |
JP4292837B2 (ja) * | 2002-07-16 | 2009-07-08 | 日本電気株式会社 | パターン特徴抽出方法及びその装置 |
-
2003
- 2003-10-15 CN CNB2003101204703A patent/CN100342399C/zh not_active Expired - Lifetime
- 2003-10-15 JP JP2003354929A patent/JP4061260B2/ja not_active Expired - Lifetime
- 2003-10-15 US US10/685,002 patent/US7391889B2/en active Active
- 2003-10-15 EP EP03256510A patent/EP1411459B1/en not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10255043A (ja) * | 1997-03-11 | 1998-09-25 | Atr Chinou Eizo Tsushin Kenkyusho:Kk | 顔動画像からの表情認識方法 |
JP2000030060A (ja) * | 1998-07-09 | 2000-01-28 | Cyber Tec Kk | 画像認識方法及びその装置 |
WO2000014649A1 (en) * | 1998-09-03 | 2000-03-16 | Wallac Oy | Signal processing |
JP2000222578A (ja) * | 1999-02-02 | 2000-08-11 | Matsushita Electric Ind Co Ltd | パターンマッチング方法および動きベクトル検出方法 |
JP2002032767A (ja) * | 2000-07-19 | 2002-01-31 | Giken Torasutemu Kk | 物体認識方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1411459A1 (en) | 2004-04-21 |
CN1504961A (zh) | 2004-06-16 |
EP1411459B1 (en) | 2009-05-13 |
US20040170305A1 (en) | 2004-09-02 |
JP4061260B2 (ja) | 2008-03-12 |
JP2004139596A (ja) | 2004-05-13 |
US7391889B2 (en) | 2008-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100342399C (zh) | 提取用作面貌识别和重现的特征向量的方法和装置 | |
CN1174344C (zh) | 数字摄像机图像中字符定位的方法及装置 | |
CN1313979C (zh) | 产生三维漫画的装置和方法 | |
CN1311388C (zh) | 表示图像组的方法和装置 | |
CN1459761A (zh) | 基于Gabor滤波器组的字符识别技术 | |
US6996272B2 (en) | Apparatus and method for removing background on visual | |
CN1220156C (zh) | 基于色彩和图像特征组合的图像检索方法 | |
CN1700241A (zh) | 面部描述和识别的方法和装置 | |
CN105426829B (zh) | 基于人脸图像的视频分类方法和装置 | |
CN1818927A (zh) | 指纹识别方法与系统 | |
CN1711556A (zh) | 检测均匀色片段的方法和系统 | |
CN1761205A (zh) | 基于内容的网络色情图像和不良图像检测系统 | |
JP2004078912A (ja) | デジタルカラー画像において顔を位置付けるための方法 | |
CN1450796A (zh) | 检测和/或追踪图像或图像序列中颜色区域的方法和装置 | |
CN1617143A (zh) | 用于文档检索和相似性匹配的特征 | |
CN1783933A (zh) | 图像处理装置及其方法 | |
CN1909670A (zh) | 图像表示和分析方法 | |
JP2011054081A (ja) | 画像処理装置および方法、並びにプログラム | |
CN1577380A (zh) | 用于检测彩色图像中的脸部的方法和设备 | |
CN1374623A (zh) | 图像处理设备 | |
Paschalakis et al. | Real-time face detection and tracking for mobile videoconferencing | |
KR100486738B1 (ko) | 얼굴 인식 및 검색용 특징벡터 추출방법 및 장치 | |
Lu et al. | An effective color space for face recognition | |
CN1238816C (zh) | 基于单个汉字字符的字体识别方法 | |
CN1692373A (zh) | 图像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20200320 Address after: Tokyo, Japan Patentee after: NEC Corp. Address before: Han Guojingjidao Co-patentee before: NEC Corp. Patentee before: Samsung Electronics Co.,Ltd. |
|
TR01 | Transfer of patent right | ||
CX01 | Expiry of patent term |
Granted publication date: 20071010 |
|
CX01 | Expiry of patent term |