CN102063607B - 一种用于采集人脸图像的方法和系统 - Google Patents

Abstract

本发明提供了一种用于采集人脸图像的方法。所述方法包括：同时以不同视角获取同一目标区域的多幅目标区域图像；从所述多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类。此外，本发明还提供一种用于采集人脸系统的相应系统。根据本发明，可以获取相同时刻的多幅目标区域图像，并可以采用简单而高效的方法对该多幅目标区域图像中的人脸图像进行匹配，从而形成对应于每个人脸的人脸图像类。因此，即使在没有用户配合的情况下，也可以为诸如人脸识别等后续应用提供更加有效的人脸图像输入。

Description

一种用于采集人脸图像的方法和系统

技术领域

本发明涉及计算机视觉领域，更具体地涉及一种用于采集人脸图像的方法和系统。

背景技术

计算机视觉是计算机科学中的一个重要研究领域，其目的是采用计算机来模拟人类的视觉系统。人脸检测技术和人脸识别技术是计算机视觉领域中两个重要的分支。人脸检测技术主要目的是从一幅图像中定位出面孔，即确定该图像中是否存在人脸的成像区域并从该图像中定位出的人脸区域或人脸图像。而人脸识别技术的主要目的则在于识别出这些面孔是谁，即，将这些已定位出来的人脸图像同人的标识(ID)联系起来，以确定与人脸图像对应的人的身份。

人脸检测技术有着广泛的应用，其中最重要一种应用是为人脸识别技术提供人脸图像的输入。随着技术的进步，人脸检测技术日臻成熟。特别是对水平、垂直以及深度转角低于例如15度的准正面人脸的检测技术，其稳定性和效率目前已经非常高，并在工业领域得到了广泛的应用。

在现有技术中，人脸检测研发出了的多种技术。其中，准正面人脸检测的经典算法是P.Viola和M.Jones于2001年7月在加拿大温哥华举行的第八届国际计算机视觉大会上发表的“鲁棒实时对象检测(Robust Real Time Object Detection)”一文中提出的。该算法基于Harr-like特征来描述人脸，并利用Adboost算法选择最能代表人脸的矩形特征，从而形成弱分类器。然后，利用加权投票的方式将这些弱分类器串联成一个级联分类器。之后，使用这个级联分类器，遍历图像中的每个位置，以在多种尺度上判断每个位置上的矩形区域是否是人脸区域。最后将重叠的人脸候选区域合并。

此外，微软亚洲研究院的李子清研究员在2004年9月的IEEE模式分析与机器智能汇刊中的“FloatBoost学习和统计人脸检测(FloatBoost Learning and Statistical Face Detection)”一文中提出了一种基于FloatBoost的人脸检测算法。该算法通过利用FloatBoost方法将通过学习得到的弱分类器构造成一个强分类器。从而由该强分类器构成一个从粗到精、从简单到复杂的金字塔型的人脸检测系统。具体地，在该多视角的人脸检测技术方案中，人脸图像检测被分为3个级别。在第一级别，分类器检测-90度到90度之间的人脸；在第二级别，分类器在第一级别的基础上将人脸细化为3个视角组，每组人脸角度区间为60度，分别在每个视角组进行人脸检测；在第三级别，每组人间角度区间被进一步细化为9个人脸组，每个人脸组角度区间为20度。该方法试图通过这样的3级检测来有效地检测不同视角的人脸。

此外，还出现了多相机的人脸检测技术。美国伊力诺依大学的张震球等人利用多个相机采集智能(Smart)房间中的人物图像，并利用时空关系来检测人脸。根据该人脸检测技术，首先利用分布在房间中相机来分别采集一个场景中的图像。采集到的图像被送到一个单相机多视角人脸检测算法模块中，以便检测人脸区域。然后，根据检测到的人脸区域在多个相机中的时间信息，通过人脸跟踪的方法确定最终检测到的人脸。具体地，根据不同相机之间的投影关系，确定人脸图像在不同相机中的候选位置。由于人脸的深度不同，所以同一人的不同人脸图像可能对应多个位置的假设。同时，该方法将图像的区域颜色相似性与对多幅图像中人脸的跟踪相结合，以试图能够有效地找到跟踪的人脸，从而将在多个相机中的轨迹和颜色均能够保持一致的人脸确认出来。关于该多相机的人脸检测技术，请参考张震球等人于2006年的第7届国际自动人脸、姿态识别国际大会上发表的“使用空时动态编程在智能房间内的多视角、多相机的鲁棒人脸检测(Robust Multi-View Multi-Camera Face Detectioninside Smart Rooms Using Spatio-Temporal Dynamic Programming)”一文。

需要说明的是，上述现有技术中的方法在一定程度上能够较为有效的检测出人脸，但是这些算法过于繁琐和复杂，而且计算量很大。另外，尽管在工业领域人脸识别技术得到了较为广泛的应用，但在实际应用中，对于人脸检测存在着一些限制，尤其是对于人脸的姿态有一定的要求。例如，在用相机获取人脸图像的过程要求被检测的用户配合，并且人脸的转角不能太大等。出现上述限制的主要原因将紧接着在下文中进行描述。

众所周知，人脸是一个3维物体，而图像上的人脸图像则是一个2维物体。因此，人脸图像是从3维物体到2维平面成像的结果。当人脸相对于相机呈现不同的朝向时，形成的2维人脸图像就会发生变化。这就造成了即使是同一个人的人脸图像也会因为姿态的不同而显著不同。换句话讲，人脸图像通常按照同一个人来聚类(即同一人的所有人脸图像具有相似性，因此可以形成对应于每个人脸的人脸图像类)，而在姿态差别过大的情况下，其聚类性不是很好。因此，人脸姿态在一定范围内的准正面人脸图像可以具有较好的聚类性，而且其检测精度也高于其他视角的人脸检测精度。

人脸采集技术是人脸检测的一项应用技术，其用相机实时采集并检测人脸图像，并将检测到的人脸图像输出。人脸采集的核心技术就是人脸检测，因其目的就是要将姿态各异的人脸图像从纷繁复杂的背景图像中区分出来。因此在人脸采集中，与人脸的姿态相关的问题不可避免。

在一些场合中，诸如门禁应用等，可以要求用户的面孔朝向相机，或者将系统设计成使用户的面孔朝向相机，从而比较容易地采集到准正面人脸图像。然而，在另一些场合中，诸如公共场所，要求人脸面对相机就很不现实，因而，这种情况下人脸就会拥有各种各样的姿态。这样，人脸检测的精度必然会下降，造成了人脸采集的困难。

因此，在现有技术中需要一种针对各种姿态来方便且高效地采集人脸图像的技术。

发明内容

有鉴于此，本发明提供了一种用于采集人脸图像的改进技术，用于针对各种姿态方便而且高效地采集人脸图像。

根据本发明的一个方面，提供了一种用于采集人脸图像的方法。该方法可以包括以下步骤：同时以不同视角获取同一目标区域的多幅目标区域图像；从所述多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类。

在根据本发明的一个实施方式中，所述多个静态线索可以包括度量性线索，该度量性线索包括多个相似性度量，以及所述执行人脸匹配可以进一步包括：针对属于不同目标区域图像的两幅人脸图像，计算其间的所述多个相似性度量；基于所述多个相似性度量，计算综合相似性度量；以及基于所述综合相似性度量，确定所述两幅人脸图像是否匹配。

在根据本发明的另一实施方式中，所述确定所述两幅人脸图像是否匹配可以包括通过比较所述综合相似性度量和预定的度量阈值来确定所述两幅人脸图像是否匹配。

在根据本发明的又一实施方式中，所述执行人脸匹配可以进一步包括计算一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量；确定所述各个综合相似性度量中的最大综合相似性度量；以及将与该最大综合相似性度量相关的两幅人脸图像确定为匹配。

在根据本发明的再一实施方式中，所述综合相似性度量可以是所述多个相似性度量的加权和。

在根据本发明的另一实施方式中，所述多个相似性度量包括以下之中的两个或更多：位置相似性度量；颜色相似性度量；以及人脸相似性度量。

在根据本发明的又一实施方式中，所述多个静态线索可以包括度量性线索和非度量性线索，其中该度量性线索包括人脸图像之间的相似性度量，该非度量性线索包括空间关系线索，所述执行人脸匹配可以包括：利用动态规划方法，确定同时以不同视角获取的两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，以考虑所述空间关系线索，其中所述空间关系线索表现为与所述最大整体度量对应的路径；基于所述路径，确定所述两幅目标区域图像中多幅人脸图像之间的匹配关系。

在根据本发明的再一实施方式中，所述相似性度量可以包括以下其中至少一个：位置相似性度量；颜色相似性度量；人脸相似性度量；以及综合相似性度量，其是基于位置相似性度量、颜色相似性度量和人脸相似性度量其中至少两个的综合度量。

在根据本发明的又一实施方式中，所述方法还包括：根据应用需求，从所述人脸图像类中选取人脸图像作为输出。

此外，本发明还提供了一种用于采集人脸图像的系统。根据本发明的系统可以包括图像获取装置，用于同时以不同视角获取同一目标区域的多幅目标区域图像；人脸检测装置，用于从该多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；人脸匹配装置，用于根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类。

根据本发明，可以获取相同时刻的多幅目标区域图像，并可以采用简单而高效的方法对该多幅目标区域图像中的人脸图像进行匹配，从而形成对应于每个人脸的人脸图像类，因此，即使在没有用户配合的情况下，也可以为诸如人脸识别等后续应用提供更加有效的人脸图像输入。

附图说明

通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的标号表示相同或相似的部件。在附图中，

图1示出了根据本发明的一个实施方式的用于采集人脸图像的方法的流程图；

图2示出了根据本发明的一个实施方式的用于对人脸图像执行匹配的方法的流程图；

图3示出了根据本发明的另一实施方式的用于对人脸图像执行匹配的方法的流程图；

图4示出了根据本发明的再一实施方式的用于对人脸图像执行匹配的方法的流程图；

图5a和图5b示出了用于说明基于对应于最大整体相似性度量的路径进行匹配的示意图；

图6示出了根据本发明的一个实施方式的用于采集人脸图像的系统的方框图；

图7示出了根据本发明的另一实施方式的用于采集人脸图像的系统的方框图；以及

图8示出了根据本发明的再一实施方式的用于采集人脸图像的系统的方框图。

具体实施方式

在下文中，将参考附图通过实施方式对本发明提供用于采集人脸图像的方法和系统进行详细的描述。

首先参考图1，图1示出了根据本发明的一个实施方式的用于采集人脸图像的方法的流程图。

如图1所示，在步骤101，同时以不同视角获取同一目标区域的多幅目标区域图像。

根据本发明的实施方式，在目标区域周围的多个适当位置布置多个相机，这多个相机相互配合同时从不同视角拍摄与该目标区域相关的多幅目标区域图像。

接着，在步骤102，从多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像。

在拍摄了与目标区域相关的多幅目标区域图像后，可以依据现有技术中的人脸检测算法，来得到图像中的人脸区域。从而，可以得到这多幅目标区域图像中每一幅图像所包含的人脸图像，形成与每幅图像对应的人脸图像集合。

随后，在步骤103，根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类。

根据本发明的一个实施方式，可以首先从不同视角的两幅目标区域图像的两个人脸图像集合中分别选取人脸图像进行匹配。下面将参考图2来描述根据该实施方式执行人脸匹配的方法。图2示出了根据本发明的一个实施方式对人脸图像进行匹配的方法。在该实施方式中，静态线索可以包括度量性线索。度量性线索是指可以度量的线索，例如可以包括多个相似性度量。

参考图2，首先在步骤201，针对属于不同目标区域图像的两幅人脸图像，计算其间的所述多个相似性度量。

多个相似性度量可以包括例如位置相似性度量、颜色相似性度量以及人脸相似性度量。

其中位置相似性度量是基于以下考虑。在某一幅图像中的某一位置出现的图像将会在另一视角不同的图像中的相应位置出现。换句话讲，人脸图像在第一图像中的位置与其在视角不同的第二图像中的位置之间存在规律性。因此，位置相似性可以用来确定两幅人脸图像是否是同一个人脸的图像。

位置相似性度量的计算可以利用计算机视觉领域公知的对极几何来推导。对极几何是用于在两幅目标区域图像上建立对应点的几何模型，根据对极几何，如果分别由两个相机拍摄的两幅人脸图像中的任意一对点x和x’是对应点，则基本矩阵F满足：

x’^TFx＝0    (1)

其中，x’^T为x’的转置；基本矩阵F为拍摄上述两幅人脸图像的两个相机之间的基本矩阵。该基本矩阵的计算是本领域公知的，因此为了清楚起见，此处不再赘述。

因而，如果两幅人脸图像对应于同一个人，则人脸图像上的对应的像素点也满足公式(1)。通过人脸检测得到的人脸图像通常大致是矩形区域，而要确定这两幅人脸图像中点与点之间的对应并不容易。因此，需要从人脸矩形导出人脸的位置点，例如选取鼻子位置的点，两个眼睛中心点，人脸区域中心点。为了简单起见，例如可以选取人脸区域中的中心位置处的点，利用上述公式(1)来得到位置相似性度量。在下面给出了位置相似度计算的一个示例性公式。

其中，Pos(i，j)为人脸图像i和人脸图像j的位置相似性度量；T_p是预定义的接近于零的阈值；以及F为两个相机之间的基本矩阵；i，j是人脸图像的索引。

颜色相似性是指人的身体部位的颜色的相似性。在确定的人体区域中，除了人脸以外通常会包括人的身体部位，而身体部位的颜色，例如服装的颜色，对于同一个人通常是一样的，换句话讲，两幅图像中的衣着颜色不同的人通常不是同一个人。基于这个考虑，可以将对颜色相似性作为确定两幅人脸图像是否匹配的因素。

颜色相似性度量可以基于图像中人体区域的颜色来计算，例如衣服的颜色。人体区域的定位可以采用多种方式来实现。例如，可以利用背景建模技术获得前景图像，然后根据人脸位置直接得到身体区域。此外，也可以基于简单的算法来估算身体区域。例如可以采用预定义的人体模板来估算人脸图像中的身体区域。得到身体区域后，抽取该区域的颜色直方图，根据颜色直方图的相似性就可以得到颜色的相似性度量。例如，可以采用HSV(色度、饱和度和亮度)空间的颜色直方图的交来计算颜色相似性。即，

$\mathrm{Col}(i,j)=\underset{k}{\mathrm{\Σ}}\min (H_i\left(k\right),H_j\left(k\right))---\left(3\right)$

其中，Col(i，j)为人脸图像i和人脸图像j的颜色相似性度量；H_i(k)和H_j(k)是与人脸图像i和人脸图像j对应的归一化的直方图；i，j是人脸图像的索引；k是直方图块的索引。

人脸相似性是人脸识别领域常用的度量。已知的是，相同人的不同人脸图像必定存在一定的相似性，例如在准正面人脸检测中，仅凭人脸相似性这一个度量就可以取得较好的匹配效果。因此毫无疑问可以将人脸相似性作为确定两幅人脸图像是否匹配的因素。

人脸相似性度量可以采用现有技术中的人脸识别相关技术利用特征矢量的距离来实现。人脸的特征例如可以采用PCA(主成分分析)特征或LDA(线性判别分析)特征。人脸相似性度量可以定义为该特征矢量之差的范数：

Fa(i，j)＝||V(i)-V(j)||    (4)

其中Fa(i，j)为人脸图像i和人脸图像j的人脸相似性度量；V(i)和V(j)是人脸图像的特征矢量；以及i，j是人脸图像的索引。

这样，就得到了两幅人脸图像之间的多个相似性度量。

继续参考图2，接着，在步骤202，基于所述多个相似性度量，计算综合相似性度量。

根据本发明，综合相似性度量是对包括例如位置相似性度量、颜色相似性度量和人脸相似性度量的上述多个相似性度量的综合度量。例如，该综合相似性度量可以是所述多个相似性度量的加权和。然而需要说明的是，这仅仅是示例性的；本领域技术人员应该明白的是，也可以采用本领域技术人员能够想到的其他综合上述多个相似性因素的方式来得到该综合相似性度量。

在采用加权和的实施方式中，人脸图像i和人脸图像j的综合相似性量S(i，j)可以根据下式得出：

S(i，j)＝w₁Pos(i，j)+w₂Col(i，j)+w₃Fa(i，j)    (5)

其中

i和j为人脸图像的索引；

S(i，j)为人脸图像i和人脸图像j之间的综合相似性度量；

Pos(i，j)为人脸图像i和人脸图像j之间的位置相似性度量；

Col(i，j)为人脸图像i和人脸图像j之间的颜色相似性度量；

以及

Fa(i，j)为人脸图像i和人脸图像j之间的人脸相似性度量；

以及

w1、w2和w3分别为位置相似性度量Pos(i，j)、颜色相似

性度量Col(i，j)和人脸相似性度量Fa(i，j)的权重因子。

需要说明的是，不同的应用场景下每种相似性的重要性可能不同，因此可以根据应用场景来设置每种相似性的权重，以便得到较好的匹配结果。

颜色相似性度量、位置相似性度量和人脸相似性度量例如可以根据上面示出的公式(2)至(4)分别计算得到，然后就可以例如按照公式(5)计算出两幅人脸图像的综合相似性度量。

接着，在步骤203，可以根据该综合相似度量来确定这两幅人脸图像是否匹配。

在根据本发明的一个实施方式中，如果综合相似性度量高于预定度量阈值，则认为两幅人脸图像匹配，例如，可以为其打上匹配的标记。

上述匹配的步骤可以针对所有目标区域图像中的所有人脸图像执行。在对所有的目标区域图像中的所有人脸图像执行了匹配后，可以根据匹配标记将对应于相同人脸的人脸图像合并，以形成针对每个人脸的人脸图像类。

需要说明的是，在有些情况下，有些相似性度量可能是无法获得。例如，当得到两幅人脸图像其中一幅或者两幅除人脸以外不存其他身体区域时，这时色彩相似度可能为0。在这种情况下，得到的综合度量值可能较小，如果仍基于该综合相似性度量和预定度量阈值来确定是否匹配，就可能存在错误地将匹配的人脸图像确定不匹配的情况。

在上述情况下，可以根据哪些相似性度量可用来对综合相似性度值进行归一化。或者可以针对所采用的相似度的不同设定不同的阈值。

另外，发明人在实际研究中也注意到，对于由两个相机拍摄的两幅人脸图像，如果这两幅人脸图像匹配，则其综合相似性度量应与将其中任一个与其他人脸图像的综合相似性度量高。

因此，在本发明的又一实施方式中，采用了通过确定最大相似性度量来执行匹配的方式。接下来，将参考图3来描述该方法，其中图3示出了根据该实施方式中的用于对人脸图像执行匹配的方法。

如图3所示，首先在步骤301计算一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量。

可以选取任意两个相机拍摄的两个目标区域图像。假设其中一个目标区域图像包括的人脸图像形成人脸图像集合Sm，其中Sm包括M幅人脸图像；而另一目标区域图像包括的人脸图像形成人脸图像集合Sn，其中Sn包括N幅人脸图像。

具体地，针对人脸图像集合Sm中的任一幅人脸图像i(i＝1至M)和人脸图像集合Sn中的每幅人脸图像j(j＝1至N)，例如按照公式(5)来计算综合相似性度量。特别地，可以首先针对一幅目标区域图像的一幅人脸图像和另一目标区域图像的每个幅人脸图像，按照公式(2)至(4)中任何一项计算得到相应的颜色相似性度量、位置相似性度量和人脸相似性度量；然后例如按照公式(5)计算得到各个综合相似性度量。

接着，如图3所示，在步骤302确定所述各个综合相似性度量中的最大综合相似性度量。

得到了一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量后，可以通过比较或通过现有技术中公知的寻找最大值的各种算法来找到最大综合相似性度量。

然后，在步骤303，将与该最大综合相似性度量相关的两幅人脸图像确定为匹配。

需要说明的是，如果该最大综合相似性度量中的一幅人脸图像已经被标记为匹配，则可以将次最大综合相似性度量相关的两幅人脸图像确定为匹配。另外，为了节省计算资源，也可以仅计算人脸图像i与人脸图像集合Sn中未经过匹配标记的人脸图像的综合相似性度量。这样就可以直接将与找到的最大综合相似性度量相关的人脸图像标记为匹配。

可以针对每幅目标区域图像中的每幅人脸图像执行上述匹配的步骤。在完成对所有人脸图像的上述匹配操作之后，可以根据匹配标记将与同一人脸对应的人脸图像合并，以形成针对每个人脸的人脸图像类。

在进一步的实施方式中，根据图1所述的用于采集人脸图像的方法还可以包括根据应用需求，从所述人脸图像类中选取人脸图像作为输出的步骤。人脸采集是用于为例如人脸识别的应用提供输入的一种技术，因此，人脸选择是一个根据应用来确定的步骤，不同的应用对人脸采集输出的人脸图像有不同的要求。输出的人脸图像可能是一个人脸输出一幅人脸图像，也可能是若干幅人脸图像。另外，也可以基于不同的规则来选择人脸图像，比如可以根据图像的清晰度，人脸的眼睛检测的结果，人脸的姿态等。

关于图像清晰度的确定例如可以参考R.Liu，Z.Li以及J.Jia等人在2008年6月的IEEE计算机视觉和模式识别汇刊中发表的“图像局部模糊检测和分类(Image Partial Blur Detection andClassification)”一文中公开的技术方案。人脸的眼睛检测例如可以参考C.Kim，M.Turk，C.H.Choi在2008年9月的第8届国际自动人脸、姿态识别国际大会汇刊中发表的“用于人眼检测的使用复合矢量的偏鉴别分析(Biased Discriminant Analysis Using CompositeVectors for Eye Detection)”中公开的技术方案。人脸的姿态检测例如可以参考V.Pathangay，S.Das，T.Greiner等人在2008年9月的第8届国际自动人脸、姿态识别国际大会汇刊中发表的“基于对称性的单个未校准视角的人脸姿态评估(Symmetry-based face poseestimation from a single uncalibrated view)”中公开的技术方案。

需要说明的是，在上面给出的实施方式中，以位置相似性度量、颜色相似性度量和人脸相似性度量为例对本发明的用于采集人脸图像的方法进行了描述，实际上，其他可以获得的静态线索同样可以应用于本发明。此外，本发明也可以基于上述给出的三个示例性的相似性度量中的两个来计算综合相似性度量。这都属于本发明的范围。

另外，需要说明的是，在上面的实施方式中，描述了在形成人脸图像类后根据应用需求选取人脸图像作为输出的实施方式。然而，需要说明的是，这并非是必须的。在根据本发明的其他实施方式中，形成的人脸图像类可以存储在存储器中。而由后续的人脸识别模块或者应用根据其自身需要从该存储器中选取其所需的人脸图像。

在上述描述中，描述了基于度量性线索执行人脸匹配的实施方式。但本发明并不局限于此，在本发明的另一实施方式中，还可以基于非度量性线索来执行人脸匹配，其中非度量性线索是相对于度量性线索而言，是指不能直接度量的线索。例如，还可以在确定两幅目标区域图像的匹配关系时，考虑两幅目标区域图像之间的空间关系。

本发明人注意到，在不同相机采集的图像中，检测到的人脸图像存在一个固有的空间关系，也可称为左右关系。例如，在被观测物体同一侧的相机所采集的图像中，与各个物体对应的图像均保持相同的左右关系。相反，在被观测物体不同侧的相机所在采集的图像中，与各个物体对应的图像的左右关系是相反的。如果在匹配人脸图像时可以考虑到这种固有的左右关系，则人脸匹配的精度可以得到进一步提高。

基于存在上述人脸图像之间的空间关系的事实，可以确定的是，对任意两个相机的拍摄到的目标区域图像中的人脸图像而言，如果对应的人脸都被正确匹配，则所有被确定为匹配的人脸图像的相似度量之和(即整体的相似性度量)会达到最大。换句话讲，空间关系可以表现为与最大整体相似性度量对应的路径(即最优路径)。因此，可以通过找出最大的整体相似性度量来以隐含的方式在执行人脸图像匹配是考虑空间关系因素。

接下参考图4，图4示出了根据本发明的该实施方式用于对人脸图像执行所述匹配的方法。在该实施方式中，多个静态线索可以包括度量性线索和非度量性线索。度量性线索可以包括例如人脸图像之间的相似性度量。非度量性线索可以包括例如空间关系线索。

参考图4，首先在步骤401，利用动态规划方法，确定同时以不同视角获取的两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，以考虑所述空间关系线索，其中所述空间关系线索表现为与所述最大整体度量对应的路径。

两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，即最大整体相似性度量，可以通过现有技术中已知的动态规划方法来确定。关于这一点，本领域技术人员例如可以参考2002年4月至6月的国际计算机视觉杂志中由D.Scharstein andR.Szeliski.发表的“对密集的两帧立体照片对应性算法的分类和评估(A taxonomy and evaluation of dense two-frame stereo correspondencealgorithms)”一文。为了清楚起见，关于利用现有技术的动态规划方法执行最大整体相似性度量确定的步骤，此处不再赘述。

接着，在步骤402，基于与所述最大整体相似性度量对应的路径，确定所述两幅目标区域图像中多幅人脸图像之间的匹配关系。

图5a示例性地示出了与利用动态规划方法确定的最大整体相似性度量对应的路径。如图5a所示，X轴的坐标例如表示一幅目标区域图像的人脸集合Sm的人脸图像的索引，Y轴例如表示另一幅目标区域图像的人脸集合Sn的人脸图像的索引。

其中从原点(0，0)曲折延伸至点(x，y)的线路即为与该最大整体相似性度量对应的路径。

图5b示出了图5a所示坐标系统中的一个单元格。如图5b所示，其中，如果对应的路径沿着由正方形表示的单元格的水平实线边行进，则表示人脸图像集合Sm中的人脸图像i在人脸图像集合Sn中没有匹配的人脸图像，即人脸图像i无匹配的人脸图像。如果对应的路径沿着由正方形表示的单元格的垂直实线边行进，则表示人脸图像集合Sn中的人脸图像j在人脸图像集合Sm中没有匹配的人脸图像，即人脸图像j无匹配的人脸图像。而如果对应的路径沿着由正方形表示的单元格的对角线行进，则表示Sm中的人脸图像i与Sn中的人脸图像j匹配。

例如图5a中示出的对应路径中，人脸图像集合Sm中的人脸图像1、3、4、5、7、8、10和11分别与人脸图像集合Sn中的人脸图像1、2、4、5、7、8、9和10匹配，而Sm中的人脸图像2、6和9在人脸集合Sn中没有与之相匹配的人脸图像，Sn中的人脸图像3和6在人脸图像集合Sm中也没有与之匹配的人脸图像。

计算最大整体相似性度量所基于的相似性度量可以是由下式给出的相似性度量：

其中，S(i，j)可以是公式(5)中定义的综合相似性度量，β为i或者j不存在匹配时定义的相似性常量。

另外，需要说明的是，该公式中的S(i，j)也可以由上面公式(2)至(4)计算得到的任何一个相似性度量来替代，只不过通过动态规划得到的分别是最大整体颜色相似性度量、最大整体位置相似性度量和最大整体人脸相似性度量，而不是最大整体综合相似性度量。然而，这样同样能够到达本发明的目的。因此这些实施方式也在本发明的范围内。

此外还需要说明的是，图5a和图5b给出的路径与匹配关系之间的对应仅仅是示例。本发明并不局限于此，而是可以根据情况定义与图5a和图5b所示不同的其他路径行进方式。在确定匹配关系时，只需依据其路径行进方式的定义来确定即可。

从上面的描述可以看出，空间关系线索与前面描述的多个相似度线索不同，其是利用动态规划方法以隐含的方式在人脸匹配中被考虑的，而相似性线索则是例如借助于上述公式(2)至公式(5)来考虑的。在考虑空间关系线索的实施方式中，利用动态规划所实现的最大整体相似性度量是全局最优的结果，与前面参考图3描述的确定局部最大相似度的方案相比，该方案得到的匹配关系更加准确、可靠，且效率更高。因此基于动态规划的人脸匹配可以进一步提高人脸匹配的准确性、可靠性和效率。

通过根据本发明的实施方式，可以获取相同时刻的多幅目标区域图像，并可以基于例如综合相似性度量或者最大整体相似性度量，采用简单而高效的方法对该多幅目标区域图像中的人脸图像进行匹配，从而形成对应于每个人脸的人脸图像类。因此，即使在没有用户配合的情况下，也可以为诸如人脸识别等后续应用提供更加有效的人脸图像输入。尤其是在后续应用要求准正面算法的情况下，也可以为其提供更加有效的人脸图像输入。

在下文中，将继续参考图6至图8来描述根据本发明的实施方式的用于采集人脸图像的系统。

参考图6，图6示出了根据本发明的一个实施方式的用于采集人脸图像的系统600。如图6所示，系统600可以包括：图像获取装置601，用于同时以不同视角获取同一目标区域的多幅目标区域图像；人脸检测装置602，用于从多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；人脸匹配装置603，用于根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类。

此外，图7还示出了根据本发明的另一实施方式的用于采集人脸图像的系统700。如图7所示，系统700可以包括图像获取装置701，其对应于图6所示的图像获取装置601；人脸检测装置702，其对应于图6所示的人脸检测装置602；人脸匹配装置703，其对应于人脸匹配装置603。与图6所示的系统600不同的是，在图7中的系统700中，所述多个静态线索包括度量性线索，该度量性线索包括多个相似性度量，所述人脸匹配装置703可以进一步包括：相似性度量计算装置7031，用于针对属于不同目标区域图像的两幅人脸图像，计算其间的所述多个相似性度量；综合度量计算装置7032，用于基于所述多个相似性度量，计算综合相似性度量；匹配确定装置7033，用于基于所述综合相似性度量，确定所述两幅人脸图像是否匹配。

在根据本发明的一个实施方式中，所述匹配确定装置7033可以用于通过比较所述综合相似性度量和预定的度量阈值来确定所述两幅人脸图像是否匹配。

根据本发明的另一实施方式中，所述人脸匹配装置7033可以进一步用于：例如通过相似性度量计算装置7031和综合度量计算装置7032，计算一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量；确定所述各个综合相似性度量中的最大综合相似性度量；以及将与该最大综合相似性度量相关的两幅人脸图像确定为匹配。

在根据本发明的优选实施方式中，所述综合相似性度量可以是所述多个相似性度量的加权和。

在根据本发明的再一实施方式中，所述多个相似性度量可以包括以下之中的两个或更多：位置相似性度量；颜色相似性度量；以及人脸相似性度量。

此外，图8示出了根据本发明的又一实施方式的用于采集人脸图像的系统800。如图8所示，系统800可以包括图像获取装置801，其对应于图6所示的图像获取装置601；人脸检测装置802，其对应于图6所示的人脸检测装置602；人脸匹配装置803，其对应于人脸匹配装置603。与图6所示的系统600不同的是，在图8所示的系统中，所述多个静态线索包括度量性线索和非度量性线索，其中该度量性线索包括人脸图像之间的相似性度量，该非度量性线索包括空间关系线索，并且其中人脸匹配装置803进一步包括：最大整体度量确定装置8031，用于利用动态规划方法，确定同时以不同视角获取的两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，以考虑所述空间关系线索，其中所述空间关系线索表现为与所述最大整体度量对应的路径；以及匹配关系确定装置8032，用于基于所述路径，确定所述两幅目标区域图像中多幅人脸图像之间的匹配关系。

在根据本发明的一个实施方式中，所述相似性度量可以包括以下其中至少一个：位置相似性度量；颜色相似性度量；人脸相似性度量；以及综合相似性度量，其是基于位置相似性度量、颜色相似性度量和人脸相似性度量其中至少两个的综合度量。

此外，需要说明的是，在根据本发明的另一实施方式中，上述系统600、700和800还可以包括：人脸图像输出装置(未示出)，用于根据应用需求，从所述人脸图像类中选取人脸图像作为输出。

通过根据本发明的实施方式的系统，可以采用简单而高效的方法对以不同视角拍摄的多幅目标区域图像中的人脸图像进行匹配，从而形成对应于每个人脸的人脸图像类。因此，即使在没有用户配合的情况下，也可以为诸如人脸识别等后续应用提供更加有效的人脸图像输入。尤其是在后续应用要求准正面算法的情况下，也可以为其提供更加有效的人脸图像输入。

本领域技术人员还应当理解，上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。

另外，本领域技术人员还应当理解，本发明的实施例可以以软件、硬件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。

虽然已经参考目前考虑到的实施例描述了本发明，但应该理解本发明不限于所公开的实施方式。相反，本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。所附权利要求的范围符合最广泛解释，以包含所有这样的修改及等同结构和功能。

Claims (14)

1.一种用于采集人脸图像的方法，包括：

同时以不同视角获取同一目标区域的多幅目标区域图像；

从所述多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；

根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类；以及

根据应用需求，从所述人脸图像类中选取人脸图像作为输出，

其中所述多个静态线索包括度量性线索和非度量性线索，其中该度量性线索包括人脸图像之间的相似性度量，该非度量性线索包括空间关系线索，所述执行人脸匹配进一步包括：

利用动态规划方法来确定同时以不同视角获取的两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，以便在执行人脸匹配时利用所述空间关系线索，其中所述空间关系线索表现为与所述最大整体度量对应的路径；以及

基于所述路径，确定所述两幅目标区域图像中所述多幅人脸图像之间的匹配关系。

2.根据权利要求1所述的方法，其中，所述多个静态线索包括度量性线索，该度量性线索包括多个相似性度量，以及所述执行人脸匹配进一步包括：

针对属于不同目标区域图像的两幅人脸图像，计算其间的所述多个相似性度量；

基于所述多个相似性度量，计算综合相似性度量；以及

基于所述综合相似性度量，确定所述两幅人脸图像是否匹配。

3.根据权利要求2所述的方法，其中，所述确定所述两幅人脸图像是否匹配进一步包括：通过将所述综合相似性度量和预定的度量阈值进行比较来确定所述两幅人脸图像是否匹配。

4.根据权利要求2所述的方法，其中，所述执行人脸匹配进一步包括：

计算一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量；

确定所述各个综合相似性度量中的最大综合相似性度量；以及

将与该最大综合相似性度量相关的两幅人脸图像确定为匹配。

5.根据权利要求2所述的方法，其中，所述综合相似性度量是所述多个相似性度量的加权和。

6.根据权利要求2-5任一项所述的方法，其中，所述多个相似性度量包括以下之中的两个或更多：

位置相似性度量；

颜色相似性度量；以及

人脸相似性度量。

7.根据权利要求1所述的方法，其中，所述相似性度量包括以下其中至少一个：

位置相似性度量；

颜色相似性度量；

人脸相似性度量；以及

综合相似性度量，其是基于位置相似性度量、颜色相似性度量和人脸相似性度量其中至少两个的综合度量。

8.一种用于采集人脸图像的系统，包括：

图像获取装置，用于同时以不同视角获取同一目标区域的多幅目标区域图像；

人脸检测装置，用于从所述多幅目标区域图像中检测多个人脸区域，以得到多幅人脸图像；以及

人脸匹配装置，用于根据所述多幅人脸图像之间的多个静态线索，对所述多幅人脸图像执行人脸匹配，以形成每个人脸的人脸图像类；以及

人脸图像输出装置，用于根据应用需求，从所述人脸图像类中选取人脸图像作为输出，

其中所述多个静态线索包括度量性线索和非度量性线索，其中该度量性线索包括人脸图像之间的相似性度量，该非度量性线索包括空间关系线索，所述人脸匹配装置进一步包括：

最大整体度量确定装置，用于利用动态规划方法来确定同时以不同视角获取的两幅目标区域图像中多幅人脸图像之间关于所述相似性度量的最大整体度量，以便在执行人脸匹配时利用所述空间关系线索，其中所述空间关系线索表现为与所述最大整体度量对应的路径；以及

匹配关系确定装置，用于基于所述路径，确定所述两幅目标区域图像中所述多幅人脸图像之间的匹配关系。

9.根据权利要求8所述的系统，其中，所述多个静态线索包括度量性线索，该度量性线索包括多个相似性度量，以及所述人脸匹配装置进一步包括：

相似性度量计算装置，用于针对属于不同目标区域图像的两幅人脸图像，计算其间的所述多个相似性度量；

综合度量计算装置，用于基于所述多个相似性度量，计算综合相似性度量；以及

匹配确定装置，用于基于所述综合相似性度量，确定所述两幅人脸图像是否匹配。

10.根据权利要求9所述的系统，其中，所述匹配确定装置进一步用于通过将所述综合相似性度量和预定的度量阈值进行比较来确定所述两幅人脸图像是否匹配。

11.根据权利要求9所述的系统，其中，所述人脸匹配装置进一步用于：

计算一幅目标区域图像的一幅人脸图像和另一目标区域图像的每幅人脸图像之间的各个综合相似性度量；

确定所述各个综合相似性度量中的最大综合相似性度量；以及

将与该最大综合相似性度量相关的两幅人脸图像确定为匹配。

12.根据权利要求9所述的系统，其中，所述综合相似性度量是所述多个相似性度量的加权和。

13.根据权利要求9至12任一项所述的系统，其中，所述多个相似性度量包括以下之中的两个或更多：

位置相似性度量；

颜色相似性度量；以及

人脸相似性度量。

14.根据权利要求8所述的系统，其中，所述相似性度量包括以下其中至少一个：

位置相似性度量；

颜色相似性度量；

人脸相似性度量；以及

综合相似性度量，其是基于位置相似性度量、颜色相似性度量和人脸相似性度量其中至少两个的综合度量。