CN101510257A - 一种人脸相似度匹配方法及装置 - Google Patents

Abstract

本发明实施例提供一种人脸相似度匹配方法，该方法包括：摄取第一人脸图像；提取所述第一人脸图像和存储的第二人脸图像中多个关键点的特征数据；对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

Description

一种人脸相似度匹配方法及装置

技术领域

本发明涉及认证识别领域，尤其涉及一种人脸相似度匹配方法及装置。

背景技术

随着视频监控技术的发展，为解决社会安全问题带来了契机。视频监控利用图像和摄像头记录场景数据，以便于在线监控，并为事后事件处理提供了凭证。随着监控设备成本的下降，装备视频监控系统已经成为了预防犯罪和保障生命财产安全的重要手段，因而在金融机构、政府部门、重要交通、边检防卫和门禁小区中得到了广泛应用。

其中，面向监控视频的人脸智能分析是视频监控技术中的重要技术，对于监控视频的人脸分析，人脸检测和人脸相似度匹配是极其重要的两个步骤。监控视频中的人脸相似度匹配由人脸特征提取和特征相似度度量组成。人脸特征提取模块通过对原始人脸图像数据进行变换，得到最能反映人脸表示或分类本质的特征数据。根据特征抽取区域的不同，目前主要的特征提取方法包括全局特征提取方法和局部特征提取方法，例如基于特征脸Eigenface和Fisherface等方法提取的人脸特征是典型的全局特征，而基于Gabor、局部二值模式(Local Binary Pattern，LBP)和尺度不变特征变换(Scale InvariantFeature Transform，SIFT)等方法提取的特征为人脸局部特征。

然而，监控环境下的视频与影视、新闻等视频相比，存在人员不配合、成像环境更加恶劣、人脸图像分辨率和清晰度较低的特点，因此造成了监控视频人脸图像包含了大量姿态变化、光照变化、分辨率变化和遮挡等不利于人脸分析的因素。图1a、图1b、图1c、图1d分别显示了监控视频一般存在的姿态、尺度、遮挡和光照变化，加上由于人脸的非配合特性，这些因素造成了人脸面部器官精确定位和人脸归一化存在很大难度。基于以上分析可知，在监控视频中，如果盲目采用传统人脸识别方法提取特征和进行相似度比较，必定会造成人脸检索性能的不可接受，因此，在监控视频中，要进行准确的人脸相似度匹配，必须探索与传统方法所不同的技术路线。

现有技术中，Bicego等的方法首次引入了SIFT作为人脸相似度度量器，并且以人脸识别率作为人脸相似度度量准确性的参数衡量。该方法主要采用了如下的技术手段：

1、对归一化的人脸图像提取SIFT特征，获取关键点的位置、尺度、方向和特征向量；

2、比较人脸图像A和人脸图像B中的所有关键点特征描述子之间的欧氏距离来比较人脸之间的相似度；

3、比较提取的眼睛和嘴部的SIFT关键点的特征向量之间的距离，计算人脸之间的相似度；

4、将人脸进行分块进行SIFT匹配计算关键点的特征向量之间的距离，计算人脸之间的相似度。

在实现本发明过程中，发明人发现现有的人脸相似度匹配方法准确性不高，因为：

1、现有技术简单采用直接匹配的方法比较人脸之间的相似度，没有考虑存在的多个匹配点判决信息；

2、现有技术仅比较眼睛和嘴部的关键点特征向量之间的平均距离衡量人脸之间的相似度。实际上，人脸存在的判决性信息不一定仅限存在于这些部位，如痣和雀斑等个性特征对人脸相似度匹配起着重要的作用。

发明内容

本发明实施例提供了一种人脸相似度匹配方法及装置，可以提高人脸匹配的准确率。

一方面，本发明提供了一种人脸相似度匹配方法，该方法包括：摄取第一人脸图像；提取所述第一人脸图像和存储的第二人脸图像中多个关键点的特征数据；对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

另一方面，本发明提供了一种人脸相似度匹配装置，该装置包括：摄像单元，用于摄取第一人脸图像；提取单元，用于提取所述第一人脸图像和存储的第二人脸图像的关键点的特征数据；搜索单元，用于对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；相似度计算单元，用于计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；判断单元，用于将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

上述技术方案具有如下优点或有益效果是：提出了基于一种人脸相似度匹配方法和装置，这种似度分析方法和装置通过融合多对存在匹配关系的SIFT特征点信息，以提高总体匹配性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a至图1d是监控视频中的人脸变化因素图；

图2是本发明实施例提供的一种人脸相似度匹配方法流程图；

图3是基于图像多尺度表示的人脸关键点检测流程图；

图4是尺度空间人脸图像序列图；

图5是DOG图像序列图；

图6a、图6b是候选关键点定位方法和结果图；

图7是监控视频人脸图像的SIFT关键点分布；

图8是由关键点邻域梯度信息生成特征向量；

图9是基于最近邻匹配点的相似度度量流程图；

图10人脸特征匹配与相似度比较示意图；

图11是融合匹配点的相似度度量流程图；

图12本发明实施例提供的一种人脸相似度匹配装置的模块示意图；

图13本发明另一实施例提供的一种人脸相似度匹配装置的模块示意图；

图14本发明另一实施例提供的一种人脸相似度匹配装置的模块示意图；

图15是实验测试数据库样本；

图16a至图16d是识别率与注册模板数的关系曲线图；

图17是增加遮挡处理的数据库样本；

图18a至图18d是遮挡情况下识别率与注册模板数的关系曲线图；

图19是遮挡情况下搜索到的匹配SIFT关键点示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提出了一种人脸相似度匹配方法，可以满足监控视频内容分析需求，如图2所示，该方法包括：

步骤201，摄取第一人脸图像；

步骤202，提取所述第一人脸图像和存储的第二人脸图像的关键点的特征数据；

步骤203，根据所述第一人脸图像和第二人脸图像的关键点的特征数据，对第一人脸图像和第二人脸图像进行一致性比较以判断是否匹配。

其中，提取所述第一人脸图像和第二人脸图像的特征数据是通过尺度不变特征变换SIFT方法提取的。基于SIFT的人脸特征提取算法本质上是一种基于局部特征提取的图像表示与相似度度量的方法，局部特征的提取分为两步：提取目标关键点和对关键点进行描述，关键点的定位是目标识别的基础，一般是图像灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信息。特征点描述即建立特征向量，特征空间的选择决定了图像的哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量，以确保最低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。

本发明实施例中的提取人脸图像关键点特征数据的步骤具体包含以下两个步骤：

1)基于图像多尺度表示的人脸关键点检测

为了保证提取的特征对于尺度变换保持稳定性能，SIFT在尺度空间内进行图像关键点的检测，尺度空间理论最早出现于计算机视觉领域，其目的是模拟图像数据的多尺度特征。尺度空间理论的主要思想是利用高斯核对原始图像进行尺度变换，以获得多尺度下的图像表示。在SIFT算法中，首先执行尺度空间的极值检测作为关键点的候选。图3表示了基于图像多尺度表示的人脸关键点检测流程图，其主要由图像尺度空间生成，DOG金字塔建立，候选关键点获取，关键点精定位及其筛选和关键点主方向确定几个部分组成。下面对于这几个部分的功能进行介绍：

图像尺度空间生成主要是对给定的二维图像生成在不同尺度空间下的图像序列图，其示例如图4所示；

DOG金字塔建立主要是对尺度空间人脸图像序列进行DOG(Differenceof Gaussian)操作，即相邻高斯滤波图像的差分，是归一化LOG(Laplacian ofGaussian)算子的近似。其主要是为找到具有稳定尺度特征的关键点，其示例如图5所示；

候选关键点的获取主要是在建立的DOG空间金字塔中，定义在相邻尺度空间内具有局部最大值或局部最小值的点作为图像关键点的候选，如图6a所示。DOG尺度空间的中间层的每个象素点与同一层的相邻8个象素点、上一层的相邻9个象素点和下一层的相邻9个象素点总共26个相邻象素点进行比较。在图6a中，标记为叉号的象素若比相邻的26个象素的DOG值都大或都小，则该点可作为候选关键点。图6b显示了对一张人脸图像的候选关键点定位结果，可以观察到包含人脸判决信息的主要面部器官，如眼、鼻和嘴部，都存在较多的候选关键点；

关键点精定位及其筛选主要是因为DOG图像的像素值对噪声和边缘较敏感，因此，在DOG空间检测到的局部极值点要进一步筛选，并重定位到亚象素级和精度尺度位置。同时还要去除低对比度的特征点和不稳定的边缘响应点，以增强匹配稳定性和提高抗噪声能力；

关键点主方向的确定主要目的是保证SIFT具有旋转不变性，SIFT基于特征点邻域象素的梯度方向分布特性为每个特征点指定方向参数。在以特征点为中心的邻域窗口内采样，并用梯度方向直方图统计邻域象素的梯度方向；

通过以上步骤，已经完成图像特征点的提取，每个特征点有三个信息：位置、尺度和方向。图7显示了两张监控视频人脸图像的SIFT特征分布情况。图中每个箭头的头部、方向和长度分别标识了提取的人脸关键点的位置、主方向和尺度信息。可以看出，这些关键点分布在眼睛、眉毛、嘴唇和鼻梁等具有良好人脸判决性信息的区域。

2)基于梯度方向直方图统计的人脸关键点特征提取

在SIFT的图像关键点表示中，仅利用关键点的位置、尺度和方向信息不足以形成足够判决性的特征，于是需要对关键点周围的区域以尺度大小提取灰度统计特征。在特征提取之前，首先将坐标轴旋转为关键点的方向，以确保旋转不变性。然后以关键点为中心取8×8的窗口，如图8所示。图8左的中央点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，图中圆圈代表高斯加权的范围。然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，如图8右部分所示。这种邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于含有定位误差的特征匹配也提供了较好的容错性。实际计算过程中为增强匹配的稳健性，将扩大特征提取的区域范围，对每个关键点使用4×4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的SIFT特征向量。为进一步去除光照对比度变化的影响，可将特征向量的长度归一化。

通过对监控视频人脸生成图像尺度空间、建立DOG金字塔、获取候选关键点、确定关键点主方向和提取基于梯度方向直方图统计的人脸关键点特征等步骤，对于两幅人脸图像A和B，可以获得基于SIFT的关键点特征描述{(pos_i，rot_i，scl_i，vct_i)，i∈A}和{(pos_j，rot_j，scl_j，vct_j)，j∈B}，其中pos、rot、sc1和vct分别是关键点的位置、方向、尺度和特征向量信息，可利用不同图像的关键点之间的相似度度量来估算图像之间的匹配程度。

根据应用场合的不同，本发明实施例分别提出了2种人脸图像相似度匹配方法。

1)本发明实施例提供一种人脸图像基于最近邻匹配点的相似度匹配方法，该方法提取所述第一人脸图像和第二人脸图像的关键点的特征数据时提取多个关键点的特征数据；

然后根据所述第一人脸图像和第二人脸图像的关键点的位置信息和特征向量信息，计算第一人脸图像的每一个关键点与第二人脸图像的每一个关键点的相似度分数，根据最大的相似度分数是否满足预设值判断是否匹配。

所述的相似度分数包括：所述的第一人脸图像和第二人脸图像的关键点的位置信息分量与所述的第一人脸图像和第二人脸图像的关键点的特征向量信息的向量内积的乘积。

该匹配方法可以用于监控场合，能对图像进行快速匹配，并给出范围在0～1之间的相似度值从而能对图像进行相似度分析。

如图9所示，首先，对于给定的人脸图像A和B，其对应的基于SIFT的关键点特征描述为{(pos_i，rot_i，scl_i，vct_i)，i∈A}和{(pos_j，rot_j，scl_j，vct_j)，j∈B}。与目标识别存在区别，对于监控视频中的人脸图像，由于人脸姿态的随意性和尺度定位误差，关键点的尺度信息scl_i和方向信息rot_i对于匹配所起的作用有限；而特征描述子vct_i的定义考虑了scl_i和rot_i信息，使得vct_i对尺度和方向旋转鲁棒，这正好满足视频中的人脸匹配要求；另外，空间位置信息pos_i对于匹配非常重要。在实验中发现，人脸不同区域有可能具有相似的局部描述。综上所述，本实施例利用vct_i和pos_i匹配视频人脸。对于图像A和B的关键点i和j，其相似度定义为：

$s_{\mathrm{ij}}=\exp (-\frac{1}{{\mathrm{\σ}}^2}|{\mathrm{pos}}_i-{\mathrm{pos}}_j|)\·\left|\right|{\mathrm{vct}}_i,{\mathrm{vct}}_j\left|\right|---\left(4\right)$

其中，是关键点i和j的位置信息分量，‖vct_i，vct_j‖是关键点的特征向量信息的向量内积操作，在i与J(j∈J)的所有相似度分数中，假设s_i1和s_i2是前两位相似度值最大的分数。定义ratio＝s_i1/s_i2，如果ratio大于阈值T，则图像A中的特征点i和图像B的某特征点相匹配。在所有的匹配特征对中，搜索相似度分数最大的s_i1，定义为s_max，用于图像A与B的相似度度量。

图10显示了本发明上述人脸相似度匹配过程。对于监控视频中的两张人脸图像，分别提取了SIFT特征，每张人脸的关键点、尺度和方向信息用红色箭头表示。按照式(4)，计算两张图像特征对的相似度，并将相匹配的特征对用连线表示，图中共有4对特征满足匹配条件，其中线a、b、c、d都表示匹配的特征对，且线c表示相似度分数最大的匹配特征对。可以看到，本发明提出的方法可以定位和提取人脸图像具有局部判决性的特征，如面颊、眼眉和鼻梁区域。匹配的特征对对一定范围内的人脸尺度变化、位移变化鲁棒，且能自动避开遮挡区域，因此该算法特别适用于监控视频下的人脸比较。

2)本发明实施例还提供一种人脸图像融合匹配点的相似度匹配方法，该方法提取所述第一人脸图像和第二人脸图像的关键点的特征数据时提取多个关键点的特征数据；

然后，对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；

计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；

将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

其中，所述的对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点包括：

根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特征向量信息分别计算两个关键点的特征向量距离；

如果所述的特征向量距离满足预设值则判断上述两个关键点相匹配。

其中，所述的计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数包括：

根据所述第一人脸图像的关键点与相匹配的第二人脸图像的关键点的位置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺度特征权重和方向特征权重；

将两个相匹配的关键点的位置特征权重、尺度特征权重、方向特征权重和特征向量距离相乘以获得相似度分数。

其中，所述的相似度分数融合包括：相似度分数求和融合和相似度分数求积融合。

如图11所示，对于人脸图像A中的每一个关键点i，在图像B中搜索相匹配的关键点j，如果i和j的特征描述满足以下条件，称i和j匹配成功：

dis(vct_i，vct_j)<dis(vct_i，vct_k)×R，k≠j(1)

式(1)表示匹配成功的特征点(i与j)之间的特征向量距离至少应为第二匹配的特征点(i与k，k≠j)之间的特征向量距离的R倍。尺度^dis(·)可基于多种距离度量，在这里选择向量相关系数作为相似度分数。

为了增加准确性，式(1)还可以受以下3个条件的约束：

(I).|pos_i-pos_j|<pos_thres；

(II).|rot_i-rot_j|<rot_thres；

(III)min(scl_i，scl_j)/max(scl_i，scl_j)<scl_thres

上述约束表明匹配成功的特征点(i和j)还应满足位移、旋转角度和尺度的关联关系。设定这种约束的原因在于人脸的不同区域可能存在纹理的相似性，且可根据不同匹配要求设定约束的严格程度以保证局部特征的唯一性和判决性。

对匹配成功的关键点i与j计算置信度权重^wpos，^wrot和^wscl。其中^wpos，^wrot，^wscl的计算如下：

方向特征权重w_pos：首先计算成功匹配的两个特征点i和j之间的pos_i，pos_j之间的距离pos，计算方法如下：pos＝norm(pos_i-pos_j)，其中norm是计算pos_i，pos_j两者的欧式距离，随后对于pos进行归一化操作将得到其置信度权重^wpos，^wpos＝exp(-pos²/σ²)，其中σ值一般取1，是一个可以调整的值；

方向特征权重w_rot：首先计算成功匹配的两个特征点i和j之间的rot_i，rot_j之间的距离rot，计算方法如下：rot＝abs(rot_i-rot_j)，其中abs是对rot_i，rot_j两者差值取绝对值操作，随后对于rot进行归一化操作将得到其置信度权重^wrot，^wrot＝exp(-rot²/σ²)，其中σ值一般取1，是一个可以调整的值；

位置特征权重^wscl：首先计算成功匹配的两个特征点i和j之间的scl_i，scl_j之间的距离scl，计算方法如下：scl＝scl_i/scl_j，如果scl大于1，则scl＝scl_j/scl_i，随后对于scl进行归一化操作将得到其置信度权重^wscl，^wscl＝exp(-scl²/σ²)，其中σ值一般取1，是一个可以调整的值；

求出了^wpos，^wrot和^wscl之后，对于i与j之间的相似度分数定义为：

s_ij＝^wpos·^wrot·^wscl·dis(vct_i，vct_j)(2)

人脸图像A和B越相似，则必定有更多的关键点相匹配。融合所有的相匹配的关键点，必将提高人脸相似度度量的准确性：

${\mathrm{DIS}}_1=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{s}_{\mathrm{ij}},$

${\mathrm{DIS}}_2=\underset{i=1}{\overset{M}{\mathrm{\&Pi;}}}{s}_{\mathrm{ij}}---\left(3\right)$

式(3)基于求和融合Sum-Rule和求积融合Product-Rule的分类器融合策略，将所有的匹配分数融合起来。具体采用哪种融合规则主要由^dis(·)的形式决定，采用向量相关系数的时候采用Sum-Rule的方法。

对于基于融合匹配点的相似度度量方法，其相似度度量的结果越大，两个图像就越相似。

本实施例提出的融合匹配点相似度匹配方法的目的是为了在对监控视频中的人脸图像进行精确匹配的场合，本实施例提出融合多对存在匹配关系的SIFT特征点信息，以提高总体匹配性能。可将每对匹配成功的特征点相似度视为弱匹配器，基于分类器融合策略，融合多个弱匹配器将提高整体匹配效果。

本发明实施例还提供一种人脸相似度匹配装置，如图12所示，该装置包括：

摄像单元1201，用于摄取第一人脸图像；

提取单元1202，用于提取所述第一人脸图像和存储的第二人脸图像的关键点的特征数据；

比较单元1203，用于根据所述第一人脸图像和第二人脸图像的关键点的位置信息和特征向量信息，对第一人脸图像和第二人脸图像进行一致性比较以判断是否匹配。

该实施例提供的装置根据人脸图像的关键点的位置信息和特征向量信息进行一致性比较，从而提高了人脸识别的准确率。

其中，提取所述第一人脸图像和第二人脸图像的特征数据是通过尺度不变特征变换SIFT方法提取的。基于SIFT的人脸特征提取算法本质上是一种基于局部特征提取的图像表示与相似度度量的方法，局部特征的提取分为两步：提取目标关键点和对关键点进行描述，关键点的定位是目标识别的基础，一般是图像灰度变化的局部极值点，含有显著的结构性信息，甚至这些点也可以没有实际的直观视觉意义，但却在某种角度、某个尺度上含有丰富的易于匹配的信息。特征点描述即建立特征向量，特征空间的选择决定了图像的哪些特性参与匹配。特征点的特征描述应是对各种变化的不变量，以确保最低限度受位置、视角、尺度和光照等因素的影响。选择合理的特征空间可以降低各类图像变化因素对匹配算法速度、稳健性的影响。

本发明实施例还提供一种人脸相似度匹配装置，如图13所示，该装置包括：

摄像单元1301，用于摄取第一人脸图像；

提取单元1302，用于提取所述第一人脸图像的关键点和存储的第二人脸图像的多个关键点的特征数据，该特征数据包括：第一人脸图像和第二人脸图像中关键点的位置信息和特征向量信息；

比较单元包括：

第一相似度计算单元1303，用于根据所述第一人脸图像和第二人脸图像的关键点的位置信息和特征向量信息，计算第一人脸图像的关键点与第二人脸图像的每一个关键点的相似度分数；

第一判断单元1304，用于根据最大的相似度分数是否满足预设值判断是否匹配。

所述的比较单元的具体工作流程为：对于给定的人脸图像A和B，其对应的基于SIFT的关键点特征描述为{(pos_i，rot_i，scl_i，vct_i)，i∈A}和{(pos_j，rot_j，scl_j，vct_j)，j∈B}。与目标识别存在区别，对于监控视频中的人脸图像，由于人脸姿态的随意性和尺度定位误差，关键点的尺度信息scl_i和方向信息rot_i对于匹配所起的作用有限；而特征描述子vct_i的定义考虑了scl_i和rot_i信息，使得vct_i对尺度和方向旋转鲁棒，这正好满足视频中的人脸匹配要求；另外，空间位置信息pos_i对于匹配非常重要。在实验中发现，人脸不同区域有可能具有相似的局部描述。综上所述，本实施例利用vct_i和pos_i匹配视频人脸。对于图像A和B的关键点i和j，其相似度定义为：

$s_{\mathrm{ij}}=\exp (-\frac{1}{{\mathrm{\&sigma;}}^2}|{\mathrm{pos}}_i-{\mathrm{pos}}_j|)\&CenterDot;\left|\right|{\mathrm{vct}}_i,{\mathrm{vct}}_j\left|\right|---\left(4\right)$

‖vct_i，vct_j‖是向量内积操作。在i与J(j∈J)的所有相似度分数中，假设s_i1和s_i2是前两位相似度值最大的分数。定义ratio＝s_i1/s_i2，如果ratio大于阈值T，则图像A中的特征点i和图像B的某特征点相匹配。在所有的匹配特征对中，搜索相似度分数最大的s_i1，定义为s_max，用于图像A与B的相似度度量。

该匹配装置主要用于在监控场合，能对图像进行快速匹配，并给出范围在0～1之间的相似度值从而能对图像进行相似度分析。

本发明实施例还提供一种人脸相似度匹配装置，如图14所示，该装置包括：

摄像单元1401，用于摄取第一人脸图像；

提取单元1402，用于提取所述第一人脸图像和存储的第二人脸图像的多个关键点的特征数据，该特征数据包括：第一人脸图像和第二人脸图像中关键点的位置信息、尺度信息、方向信息和特征向量信息；

比较单元用于根据所述第一人脸图像和第二人脸图像的关键点的位置信息、尺度信息、方向信息和特征向量信息对第一人脸图像和第二人脸图像进行一致性比较；该比较单元包括：

搜索单元1403，用于对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；

第二相似度计算单元1404，用于计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；

第二判断单元1405，用于将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

所述的比较单元的具体工作流程为：

对于人脸图像A中的每一个关键点i，在图像B中搜索相匹配的关键点j，如果i和j的特征描述满足以下条件，称i和j匹配成功：

dis(vct_i，vct_j)<dis(vct_i，vct_k)×R，k≠j(1)

式(1)表示匹配成功的特征点(i与j)之间的特征向量距离至少应为第二匹配的特征点(i与k，k≠j)之间的特征向量距离的R倍。尺度^dis(·)可基于多种距离度量，在这里选择向量相关系数作为相似度分数。

为了增加准确性，式(1)还可以受以下3个条件的约束：(I).|pos_i-pos_j|<pos_thres：

(II).|rot_i-rot_j|<rot_thres；

(III)min(scl_i，scl_j)/max(scl_i，scl_j)<scl_thres

上述约束表明匹配成功的特征点(i和j)还应满足位移、旋转角度和尺度的关联关系。设定这种约束的原因在于人脸的不同区域可能存在纹理的相似性，且可根据不同匹配要求设定约束的严格程度以保证局部特征的唯一性和判决性。对匹配成功的关键点i与j赋予置信度权重^wpos，^wrot和^wscl。其中^wpos，^wrot，^wscl的计算如下：

方向特征权重^wpos：首先计算成功匹配的两个特征点i和j之间的pos_i，pos_j之间的距离pos，计算方法如下：pos＝norm(pos_i-pos_j)，其中norm是计算pos_i，pos_j两者的欧式距离，随后对于pos进行归一化操作将得到其置信度权重^wpos，^wpos＝exp(-pos²/σ²)，其中σ值一般取1，是一个可以调整的值；

方向特征权重^wrot：首先计算成功匹配的两个特征点i和j之间的rot_i，rot_j之间的距离rot，计算方法如下：rot＝abs(rot_i-rot_j)，其中abs是对rot_i，rot_j两者差值取绝对值操作，随后对于rot进行归一化操作将得到其置信度权重^wrot，^wrot＝exp(-rot²/σ²)，其中σ值一般取1，是一个可以调整的值；

位置特征权重^wsc，：首先计算成功匹配的两个特征点i和j之间的scl_i，scl_j之间的距离scl，计算方法如下：scl＝scl_i/scl_j，如果scl大于1，则scl＝scl_j/scl_i，随后对于scl进行归一化操作将得到其置信度权重^wscl，^wscl＝exp(-scl²/σ²)，其中σ值一般取1，是一个可以调整的值；

求出了^wpos，^wrot和^wscl之后，对于i与j之间的相似度分数定义为：

s_ij＝^wpos·^wrot·^wscl·dis(vct_i，vct_j)(2)

人脸图像A和B越相似，则必定有更多的关键点相匹配。融合所有的相匹配的关键点，必将提高人脸相似度度量的准确性：

${\mathrm{DIS}}_1=\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}{s}_{\mathrm{ij}},$

${\mathrm{DIS}}_2=\underset{i=1}{\overset{M}{\mathrm{\&Pi;}}}{s}_{\mathrm{ij}}---\left(3\right)$

式(3)基于求和融合Sum-Rule和求积融合Product-Rule的分类器融合策略，将所有的匹配分数融合起来。具体采用哪种融合规则主要由dis(·)的形式决定，采用向量相关系数的时候采用Sum-Rule的方法。

对于基于融合匹配点的相似度度量方法，其相似度度量的结果越大，两个图像就越相似。

本实施例提出的人脸相似度匹配装置的目的是为了在对监控视频中的人脸图像进行精确匹配的场合，本实施例提出融合多对存在匹配关系的SIFT特征点信息，以提高总体匹配性能。可将每对匹配成功的特征点相似度视为弱匹配器，基于分类器融合策略，融合多个弱匹配器将提高整体匹配效果。

算法比较：

本实施例利用人脸识别率参数来比较不同算法对特征提取和相似度度量的准确性。图15是实验测试数据库样本；参与比较的算法包括：基于SIFT的融合匹配点的相似度度量、基于SIFT的最近邻匹配点的距离度量、基于最近邻分类的PCA(PrimaryComponent Analysis，主元分析)特征提取方法和基于卡方距离的LBP(Local Binary Pattern，局部二值模式)方法。在实验中，对各方法的参数设置如下：在基于SIFT的融合匹配点的相似度度量方法中，R＝0.8，pos_thres＝7，rot_thres＝0.27，scl_thres＝0.77；在基于最近邻匹配点的距离度量方法中，ratio＝1.16，σ＝9；PCA的特征向量数目为219；LDA(LinearDiscriminant Analysis，线性判别分析)的特征向量数目为21；在基于卡方距离的LBP方法中，LBP的尺度算子为(8，1)。在特征提取时，将图像分为四个子块，对每个子块提取59维的Uniform Code，因此LBP方法对每张图像可获得59×4＝236维特征。然后对于每张图像构成一个236维的特征向量，然后计算每个特征向量中与其最相似的特征向量，这样便可以得到与改图像最相似的人脸图像。

实验结果如图16a-16d所示。图16a-16d列出了人脸识别率与注册模板数的关系曲线图，共包括四个子图，通过累积识别率曲线表示各种特征提取算法和相似度比较算法的性能。各子图的纵轴为累积识别率，横轴n的范围为1～16。累积识别率的计算过程如下：对应于n的特定取值，当进行某次识别时，如果前n候选中包含正确识别结果，则将正确识别的次数加1。在所有的识别工作完成后，将正确识别的次数与总的识别次数相比，即得对应于n的累积识别率。图16a、图16b、图16c和图16d分别列出了当注册模板数分别为1，2，3和4时的累积识别率。如图16a图中，在每人10幅图像中，任意选择1幅进行注册形成特征数据库模板，其它9幅图像与之进行匹配计算识别率。各子图中，基于SIFT的融合匹配点的相似度度量方法、基于最近邻匹配点的距离度量、基于最近邻分类的PCA特征提取方法和基于卡方距离的LBP方法分别用红色曲线、黑色曲线、蓝色曲线和青色曲线表示。在各种情况下，融合匹配点的相似度度量均获得了最好的识别效果。在注册模板数分别为1，2，3和4的情况下，首选识别率为60.9％，77.7％，84.5％和88.6％，远远超过了其它算法。这说明了在监控视频数据库下，与其它算法相比较，基于SIFT的算法能较好地解决多姿态人脸定位误差和归一化难题，并能提取强判决特征，融合人脸多个匹配点判据能有效提高人脸相似度匹配的准确度。

遮挡测试：

在监控视频中可能经常会出现人员相互遮挡的现象，为了说明算法在这种情况下的性能，本发明实施例为每幅人脸图像手工增加了遮挡，如图17所示。在本发明实施例的设想中，由于SIFT采用了关键点匹配的机制，而PCA和LBP基于全局或者局部灰度统计机制，本发明实施例提出的两种算法性能应该远优于PCA和LBP的方法。实验结果如图18所示。

图18a-18d列出了数据库包含遮挡的情况下，人脸识别率与注册模板数的关系曲线图。通过观察曲线的趋势变化，可以看到两种基于SIFT的人脸特征匹配和相似度度量方法始终保持了较好的识别性能，对于融合匹配点的相似度度量器，在注册模板数分别为1，2，3和4的情况下，首选识别率为47.1％，68.6％，74.1％和83.2％，而LBP的性能却急剧下降，首选识别率为26.4％，39.1％，51.2％和60.5％，甚至远劣于PCA的方法。基于SIFT的方法在寻找匹配的关键点过程中，能自动避开遮挡区域，寻找其它相似关键点，如图19所示，蓝色圆圈表示存在对应匹配关系的关键点位置，因此能获得对遮挡鲁棒的性能。而LBP方法对图像区域块进行局部模式直方图统计，即使基于相同的人脸图像，由于遮挡块的位置随机，获得的LBP特征模式必定存在较大的差异，造成不准确的人脸相似度度量。

从认知学的角度来看，本发明实施例提出的基于SIFT的人脸特征匹配和相似度度量符合人类自身执行人脸图像匹配的过程。对于传统的人脸相似度比较算法，通过对训练图像集合进行学习，获得应用于所有人脸的特征提取器，提取具有判决性能的局部特征或全局特征，如LDA方法和基于Adaboost的人脸识别方法。然而，这种思路忽略了用户拥有的判决特征并不完全相同的事实，比如说有些用户脸上有伤疤，有些用户有雀斑等，采用统一的特征提取器必将损失很多判决特征。为此，本发明实施例使用了对于任意人脸图像，采用关键点定位和基于关键点的特征提取思路，对于待匹配的人脸图像，搜索其特征点对，分析对应局部区域模式是否相似。这与人类的图像匹配过程类似。例如，给定一张照片，要求用户从照片集中找出其它身份相同的照片。对于两张明显不像的照片，用户可能粗略地比对眼睛或鼻子关键部位，很快给出相似度信息；对于较相像的照片，用户可能还会寻找其它细节信息，如痣、斑和疤等，给出融合相似度信息。不管使用哪种比较方式，用户都基于个性特征进行对应匹配，这与本发明提出的基于SIFT人脸特征提取和相似度度量过程保持了一致。

本发明实施例提出的人脸相似度匹配方法及装置包含两种基于SIFT的人脸相似度匹配方法，分别为融合匹配点的相似度度量和基于最近邻匹配点的相似度度量；其中，基于SIFT的融合匹配点的相似度度量方法，适用于图像精匹配的应用场合，如果监控视频图像质量较好可以采用该方法；基于最近邻匹配点的相似度度量方法适用于对图像进行快速匹配的应用场合，较好的满足了监控视频中对于实时和视频质量较差的情况。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述仅为本发明的几个实施例，本领域的技术人员依据申请文件公开的可以对本发明进行各种改动或变型而不脱离本发明的精神和范围。

Claims (10)

1、一种人脸相似度匹配方法，其特征在于，该方法包括：

摄取第一人脸图像；

提取所述第一人脸图像和存储的第二人脸图像中多个关键点的特征数据；

对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；

计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；

将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

2、根据权利要求1所述的方法，其特征在于，所述提取所述第一人脸图像和第二人脸图像的关键点的特征数据是通过尺度不变特征变换SIFT方法提取的；该特征数据包括：第一人脸图像和第二人脸图像中关键点的位置信息、尺度信息、方向信息和特征向量信息。

3、根据权利要求2所述的方法，其特征在于，所述的对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点包括：

根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特征向量信息分别计算两个关键点的特征向量距离；

如果所述的特征向量距离满足预设值则判断上述两个关键点相匹配。

4、根据权利要求2所述的方法，其特征在于，所述的计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数包括：

根据所述第一人脸图像的关键点与相匹配的第二人脸图像的关键点的位置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺度特征权重和方向特征权重；

将两个相匹配的关键点的位置特征权重、尺度特征权重、方向特征权重和特征向量距离相乘以获得相似度分数。

5、根据权利要求1所述的方法，其特征在于，所述的相似度分数融合包括：相似度分数求和融合和相似度分数求积融合。

6、一种人脸相似度匹配装置，其特征在于，该装置包括：

摄像单元，用于摄取第一人脸图像；

提取单元，用于提取所述第一人脸图像和存储的第二人脸图像的关键点的特征数据；

搜索单元，用于对于所述第一人脸图像的每一个关键点，在所述第二人脸图像的关键点中搜索相匹配的关键点；

相似度计算单元，用于计算所述第一人脸图像的关键点与相匹配的所述第二人脸图像的关键点的相似度分数；

判断单元，用于将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数融合以判断是否匹配。

7、根据权利要求6所述的装置，其特征在于，所述提取单元通过尺度不变特征变换SIFT方法提取所述第一人脸图像和第二人脸图像的关键点的特征数据；该特征数据包括：第一人脸图像和第二人脸图像中关键点的位置信息、尺度信息、方向信息和特征向量信息。

8、根据权利要求6所述的装置，其特征在于，所述的搜索单元包括：

距离计算单元，用于根据所述第一人脸图像中一个关键点与第二人脸图像中每个关键点的特征向量信息分别计算两个关键点的特征向量距离；

匹配单元，用于根据所述的特征向量距离是否满足预设值判断上述两个关键点是否相匹配。

9、根据权利要求6所述的装置，其特征在于，所述的相似度计算单元包括

特征权重计算单元，用于根据所述第一人脸图像的关键点与相匹配的第二人脸图像的关键点的位置信息、尺度信息和方向信息分别计算上述两个关键点的位置特征权重、尺度特征权重和方向特征权重；

分数计算单元，用于将两个相匹配的关键点的位置特征权重、尺度特征权重、方向特征权重和特征向量距离相乘以获得相似度分数。

10、根据权利要求6所述的装置，其特征在于，所述判断单元通过将所述第一人脸图像的每一个关键点与相匹配的所述第二人脸图像的关键点的相似度分数求和融合或求积融合以判断是否匹配。

Images