CN102968626B - 一种人脸图像匹配的方法 - Google Patents

Abstract

本发明公开了一种人脸图像匹配的方法，该方法包括：将待匹配的至少两幅人脸图像转化为可用于特征抽取的归一化人脸图像；按照预定的特征参数对每一所述归一化人脸图像分别进行N次多模态特征的抽取，并通过向量的度量函数对单个特征参数下所述至少两幅归一化人脸图像得到的特征进行匹配，获得匹配分数值；将进行N次匹配后得到的匹配分数值融合，获得所述至少两幅人脸图像最终的匹配分数，所述N为大于1的自然数。通过采用本发明公开的方法，提高了识别精度，降低了特征维度与计算复杂度。

Description

一种人脸图像匹配的方法

技术领域

本发明涉及生物特征识别领域，尤其涉及一种人脸图像匹配的方法。

背景技术

人脸图像匹配是对人脸图像进行相似度度量，是人脸识别、人脸图像检索、人脸图像标注等技术的核心，不仅在家庭生活、个人娱乐、企业应用等方面有着巨大的应用前景，更在国家安全、司法刑侦、个人安全等方面发挥着重要作用。但是，人脸图像在获取的过程中受到光照、表情、姿态、遮挡等因素的影响，造成了同一个人在不同条件下采集的人脸图像差异较大，不同人之间的人脸图像区分度减低，使得人脸图像匹配成为一个十分困难的问题而受到学术界的广泛关注。

人脸匹配技术的研究主要集中在两个方面：人脸特征表达和相似度度量。人脸特征表达研究的是对人脸区域的刻画，即采用何种方法对人脸区域进行描述。主要分为两类：基于局部特征的表达和基于全局特征的表达，前者主要研究人脸局部的纹理特征的刻画；后者研究人脸全局的结构特征的刻画。在人脸特征表达的基础上，采用何种度量函数对得到的人脸特征进行相似度度量，是人脸匹配技术的另一个研究重点。

近些年来，随着特征表达、信息融合、特征选择、机器学习等技术的发展，基于多特征、多分类器的融合方法也在人脸匹配中广泛应用。但是，现有的人脸图像匹配方法往往对整个人脸提取的特征，没有考虑人脸不同区域的属性特点，其特征维度及计算复杂度较高。

发明内容

本发明的目的是提供一种人脸图像匹配的方法，提高了识别精度，降低了特征维度与计算复杂度。

一种人脸图像匹配的方法，该方法包括：

将待匹配的至少两幅人脸图像转化为可用于特征抽取的归一化人脸图像；

按照预定的特征参数对每一所述归一化人脸图像分别进行N次多模态特征的抽取，并通过向量的度量函数对单个特征参数下所述至少两幅归一化人脸图像得到的特征进行匹配，获得匹配分数值；

将进行N次匹配后得到的匹配分数值融合，获得所述至少两幅人脸图像最终的匹配分数，所述N为大于1的自然数。

由上述本发明提供的技术方案可以看出，对脸图像进行归一化人，再根据人脸区域区分度进行特征参数的预定，并采用分数层融合的方法对匹配分数进行融合，提高了识别精度，降低了特征维度与计算复杂度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例一提供的一种人脸图像匹配的方法的流程图；

图2为本发明实施例二提供的又一种人脸图像匹配的方法的流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

实施例一

图1为本发明实施例一提供的一种人脸图像匹配的方法的流程图，如图1所示，主要包括如下步骤：

步骤101、将待匹配的至少两幅人脸图像转化为可用于特征抽取的归一化人脸图像。

可先采用开源软件包OpenCV（开源计算机视觉库）中的物体检测子，得到人脸区域和两个人眼区域的位置，再通过人脸图像配准对图像进行归一化，例如，进行尺度归一化，得到高度H=128像素，宽度W=128像素的归一化人脸图像。

再将人脸区域分成重叠的子块，以便用于特征的抽取。每个块的位置和尺度参数为（x,y,h,w），其中x，y为子块的横纵坐标，h为子块的高度，w为子块宽度。图像分块采用重叠方式，重叠宽度和高度为bh，bw。例如，可设置为：h=16，w=16，bh=8，bw=8，x={1，9，17…，113}，y={1，9，17…，113}。

步骤102、按照预定的特征参数对每一所述归一化人脸图像分别进行N次多模态特征的抽取，并通过向量的度量函数对单个特征参数下所述至少两幅归一化人脸图像得到的特征进行匹配，获得匹配分数值。

本步骤中多模态特征的抽取主要包括：多通道Gabor（加窗傅立叶变换）特征抽取与多参数LBP（局部二值模式）直方图特征抽取。

其中，多通道Gabor特征抽取的步骤包括：利用多通道的Gabor滤波器对图像的一子块进行卷积；通过取模运算对卷积后某一像素的复数值进行计算，获得像素特征值；将子块中每一像素的像素特征值按行排列成向量形式作为Gabor特征向量；Gabor滤波器的核函数如下：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(z\right)=\frac{{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{-{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}\left|\right|}^2{z}^2/2{\mathrm{\σ}}^2}[e^{i{\stackrel{\→}{k}}_{\mathrm{\μ},v}z}-e^{-{\mathrm{\σ}}^2/2}];$

其中，e为自然对数的底数，i为虚数的单位，μ和v为核函数的方向和尺度因子，z＝(x,y)为该子块在图像中的坐标，k_v＝k_max/f^v为控制频率，φ_μ＝πμ/8，σ为高斯方差。示例性的，可将上述变量做如下设置：σ＝2π，k_max＝π/2，v∈{0,1,2,3,4}，μ∈{0,1,2,3,4,5,6,7}；通过调节变量v和μ可以得到多通道的Gabor滤波器。

所述多参数LBP直方图特征抽取的步骤包括：以一子块中的像素为中心点，在该像素半径为R的圆周上均匀采样P个点；比较所述P个点与中心像素点的灰度高低（高于中心像素点的记为1，否则为0）；将比较的结果用二进制的比特编码，组成一个P位的二进制特征编码，并统计每个特征编码字出现的频率，作为最后的LBP直方图特征。示例性的，可采用R=1，3，5，7，9，P=4，5，6，7，8等LBP算子进行特征抽取。

通过预定的特征参数进行特征的抽取时，可优先选择最具区分度的人脸区域，以便提高识别的精确度。其中所述预定的特征参数主要包括：抽取人脸子块在归一化人脸图像中的位置(x,y)，人脸子块的大小（h,w），特征类型t＝{0,1}（0为Gabor，1为LBP）、抽取参数θ＝(μ，υ)或(P,R)。

根据预定的特征参数分别对人脸图像进行N（大于1的自然数）次特征抽取得到包含N个特征向量的集合。示例性的，若进行匹配的图像为两幅人脸图像，则得到特征向量的集合为：Γ₁:{v₁₁，v₁₂，...,v_1N}，Γ₂:{v₂₁,v₂₂，...,v_2N}；再根据每对特征抽取的模式调用向量的度量函数进行特征向量的匹配，例如，如果是Gabor特征向量，则用余弦距离计算匹配分数值：如果是LBP特征向量，则用卡方距离计算匹配分数值： $s_{\mathrm{ch}}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(v_{1j}-v_{2j})}^2}{v_{1j}+v_{2j}}.$

步骤103、将进行N次匹配后得到的匹配分数值融合，获得所述至少两幅人脸图像最终的匹配分数。

根据步骤202的计算可获得匹配分数集合S:{s₁,s₂，...,s_N}；通过分数融合器将分数集合S融合，得到最终的匹配分数。

本发明实施例通过，对脸图像进行归一化人，再根据人脸区域区分度进行特征参数的预定，并采用分数层融合的方法对匹配分数进行融合，提高了识别精度，降低了特征维度与计算复杂度。

实施例二

为了便于理解本发明，下面结合附图2对本发明做进一步说明，如图2所示，主要包括如下步骤：

步骤201、学习过程。所述学习过程的步骤包括：对数据库中每一人脸图像进行预处理，获得归一化人脸图像；对每幅归一化人脸图像分块，并对每一图像进行多模态特征的抽取，获得特征集；通过自适应增强AdaBoost算法从所述特征集中选择最优特征，构成最优特征集，并根据所述最优特征的分布概率构建分数融合器。

具体的：首先，对数据库中的每一人脸图像进行归一化处理，可先采用开源软件包OpenCV（开源计算机视觉库）中的物体检测子，得到人脸区域和两个人眼区域的位置，再通过人脸图像配准对图像进行归一化，例如，进行尺度归一化，得到高度H=128像素，宽度W=128像素的归一化人脸图像。再将人脸区域分成重叠的子块，以便用于特征的抽取。每个块的位置和尺度参数为（x,y,h,w），其中x，y为子块的横纵坐标，h是子块的高度，w是子块宽度。图像分块采用重叠方式，重叠宽度和高度为bh，bw。例如，可设置为：h=16，w=16，bh=8，bw=8，x={1，9，17…，113}，y={1，9，17…，113}。

其次，将所有归一化的人脸图像进行多模态特征的抽取。例如，使用多通道Gabor（加窗傅立叶变换）滤波器与多参数的LBP（局部二值模式）分别对所有归一化的人脸图像进行特征的抽取。其中，多通道Gabor特征抽取的步骤包括：利用多通道的Gabor滤波器对图像的一子块进行卷积；通过取模运算对卷积后某一像素的复数值进行计算，获得像素特征值；将子块中每一像素的像素特征值按行排列成向量形式作为Gabor特征向量；Gabor滤波器的核函数如下：

${\mathrm{\ψ}}_{\mathrm{\μ},v}\left(z\right)=\frac{{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}\left|\right|}^2}{{\mathrm{\σ}}^2}{e}^{-{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},v}\left|\right|}^2{z}^2/2{\mathrm{\σ}}^2}[e^{i{\stackrel{\→}{k}}_{\mathrm{\μ},v}z}-e^{-{\mathrm{\σ}}^2/2}];$

其中，e为自然对数的底数，i为虚数的单位，μ和v为核函数的方向和尺度因子，z＝(x,y)为该子块在图像中的坐标，k_v＝k_max/f^v为控制频率，φ_μ＝πμ/8，σ为高斯方差。示例性的，可将上述变量做如下设置：σ＝2π，k_max＝π/2，v∈{0,1,2,3,4}，μ∈{0,1,2,3,4,5,6,7}；通过调节变量v和μ可以得到多通道的Gabor滤波器。

所述多参数LBP直方图特征抽取的步骤包括：以一子块中的像素为中心点，在该像素半径为R的圆周上均匀采样P个点；比较所述P个点与中心像素点的灰度高低（高于中心像素点的记为1，否则为0）；将比较的结果用二进制的比特编码，组成一个P位的二进制特征编码，并统计每个特征编码字出现的频率，作为最后的LBP直方图特征。示例性的，可采用R=1，3，5，7，9，P=4，5，6，7，8等LBP算子进行特征抽取。

采用以上两种特征抽取方法，对所有的人脸子块进行特征抽取，得到特征集Ω:{u₁,u₂，...,u_T}，集合中每个特征u的参数主要包括：抽取人脸子块在归一化人脸图像中的位置(x,y)，特征类型t＝{0,1}（0为Gabor，1为LBP）、抽取参数θ＝(μ，υ)或(P,R)

再次，通过自适应增强AdaBoost算法从所述特征集中选择最优特征，构成最优特征集。其步骤为：（1）、构造正负样本集合，并计算每一样本的特征值集合；所述正样本为同一类别的人脸图像之间的匹配对，所述负样本为不同类别人脸图像之间的匹配对，所述特征值为一正负样本对同一特征进行匹配得到的匹配分数值。若对两个样本（一般为一正一负两个样本）进行匹配来计算特征值集合，则根据样本特征抽取模式来选择匹配算法：假设进行特征抽取时两个样本的特征向量集合为v₁:(v₁₁,v₁₂,...,v_1w)和v₂:(v₂₁,v₂₂,...,v_2w)，如果是Gabor特征向量，则用余弦距离计算特征值：如果是LBP特征向量，则用卡方距离计算匹特征值：计算后得到特征值集合S':{s′₁,s′₂，...,s′_w}，该特征值集合从属于进行匹配计算的两个样本。（2）为样本赋予权值，若有N₁个正样本与N₂个负样本，则正负样本的初始权值分别为12N₁和12N₂。（3）选择最优特征φ_t，在当前加权的正负样本集上选取使得下式最小化的候选特征作为当前加权样本集上的最优特征：

${\mathrm{\φ}}_t=\arg \underset{\mathrm{\φ}\∈\mathrm{\Φ}}{\min }2\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\sqrt{{P_{\mathrm{\φ}}}^{+}\left(s_j\right){P_{\mathrm{\φ}}}^{-}\left(s_j\right)};$

其中，argmin为使目标函数取最小值时的变量值，为求和公式，Φ为所有候选特征的集合，s_j为特征值，为候选特征φ在加权正样本集合上特征值等于s_j的概率，为特征φ在加权负样本集合上特征值等于s_j的概率。

根据以上步骤，可挑选得到由q个优选特征组成的优选特征集合Ω:{u₁,u₂，...,u_q}，集合中每个特征u的参数主要包括：抽取人脸子块在归一化人脸图像中的位置(x,y)，人脸子块的大小(h，w)，特征类型t＝{0,1}（0为Gabor，1为LBP）、抽取参数θ＝(μ，υ)或(P,R)。

最后，构建并输出分数融合器。先根据当前最优特征φ_t在加权正负样本集合上的分布概率建立单元分类器h_t(φ_t)：

$h_t=\left({\mathrm{\φ}}_t\right)=\frac{1}{2}\ln \frac{{P_{\mathrm{\φ}}}^{+}\left(s_j\right)}{{P_{\mathrm{\φ}}}^{-}\left(s_j\right)};$

其中，In为底数为e的对数；

得到的优选特征，m为当前迭代次数，x为样本。

进一步的，当分数融合器构建完毕后，在正负样本集合上进行性能测试，若测试结果无法达到预定结果，则更新所述正负样本集合的权值，并利用更新后正负样本集合的权值更新所述分数融合器。所述正负样本集合的权值更新可使用下述公式进行：

$w_{t+1}\left(x_i\right)=\frac{w_t\left(x_i\right)\exp (-y_i{h}_t\left({\mathrm{\φ}}_t\left(x_i\right)\right))}{Z_t};$

其中，y_i∈{+1,-1}为样本x_i的类别标号，正样本取值为+1，负样本取值为-1；w_t(x_i)为样本x_i的当前权重，w_t+1(x_i)为更新后的样本权值，h_t(φ_t(x_i))为样本x_i在所述单元分类器h_t(φ_t)上的分类结果，exp为以自然对数e为底指数函数，Z_t为归一化系数，使w_t+1(x_i)在所有样本上组成一个概率密度函数。

将利用更新后正负样本集合的权值，转入用于选择最优特征的步骤（3），并进行第m+1次迭代，更新所述分数融合器，直到分数融合器H(x)的性能测试达到预期结果，保存并输出。

步骤202、匹配过程。本实施例中的匹配过程与实施例一中的匹配过程类似，不再赘述。

需要强调的是，在进行匹配过程时，为了提高识别精度及工作效率，依据学习过程中获得的最优特征集Ω:{u₁,u₂，...,u_q}的参数抽取待匹配人脸图像的特征，可利用学习过程中输出的分数融合器进行人脸图像匹配后分数的融合，也可以采用其他的分数层融合方法进行融合。

本发明实施例通过学习过程获得的最优特征集，可获得最具区分度的人脸区域，提高匹配时的识别精确度及效率，并利用学习过程构建的分数融合器进行图像匹配时的分数层融合，大大降低了计算的复杂度。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种人脸图像匹配的方法，其特征在于，该方法包括：

将待匹配的至少两幅人脸图像转化为可用于特征抽取的归一化人脸图像；

按照预定的特征参数对每一所述归一化人脸图像分别进行N次多模态特征的抽取，并通过向量的度量函数对单个特征参数下所述至少两幅归一化人脸图像得到的特征进行匹配，获得匹配分数值；

将进行N次匹配后得到的匹配分数值融合，获得所述至少两幅人脸图像最终的匹配分数，所述N为大于1的自然数；

该方法还包括：学习过程；

所述学习过程的步骤包括：对数据库中每一人脸图像进行预处理，获得归一化人脸图像；

对每幅归一化人脸图像分块，并对每一图像进行多模态特征的抽取，获得多模态特征集；

通过自适应增强AdaBoost算法从所述多模态特征集中选择最优特征，构成最优特征集，并依据所述最优特征集的参数对每一所述归一化人脸图像分别进行N次多模态特征的抽取；

根据所述最优特征的分布概率构建分数融合器，所述分数融合器用于对所述N次匹配后得到的匹配分数值进行融合；

其中：

所述从所述特征集中选择最优特征的步骤包括：构造正负样本集合，并计算每一样本的特征值集合；所述正样本为同一类别的人脸图像之间的匹配对，所述负样本为不同类别人脸图像之间的匹配对，所述特征值为一正负样本对同一特征进行匹配得到的匹配分数值；为样本赋予权值，若有N₁个正样本与N₂个负样本，则正负样本的初始权值分别为1/2N₁和1/2N₂；选择最优特征φ_t：

${\mathrm{\φ}}_t=\arg \underset{\mathrm{\φ}\∈\mathrm{\Φ}}{min}2\underset{j=1}{\overset{N}{\Σ}}\sqrt{{P_{\mathrm{\φ}}}^{+}\left(s_j\right){P_{\mathrm{\φ}}}^{-}\left(s_j\right)};$

其中，argmin为使目标函数取最小值时的变量值，为求和公式，Φ为所有候选特征的集合，s_j为特征值，P_φ ⁺(s_j)为候选特征φ在加权正样本集合上特征值等于s_j的概率，P_φ ^-(s_j)为特征φ在加权负样本集合上特征值等于s_j的概率；

所述根据所述最优特征的分布概率构建分数融合器的步骤包括：

以当前最优特征φ_t在加权正负样本集合上的分布概率建立单元分类器h_t(φ_t)：

$h_t\left({\mathrm{\φ}}_t\right)=\frac{1}{2}ln\frac{{P_{\mathrm{\φ}}}^{+}\left(s_j\right)}{{P_{\mathrm{\φ}}}^{-}\left(s_j\right)};$

其中，In为底数为e的对数；

构建并输出分数融合器： $H\left(x\right)=sign\left(\underset{t=1}{\overset{m}{\Σ}}{h}_t\right({\mathrm{\φ}}_t\left(x\right)\left)\right);$

其中，sign为示性函数，m为当前迭代次数，x为样本；

在构建所述分数融合器与输出所述分数融合器之间还包括：

使用正负样本集合对该分数融合器的性能进行测试，若测试结果无法达到预定结果，则更新所述正负样本集合的权值：

$w_{t+1}\left(x_i\right)=\frac{w_t\left(x_i\right)\exp (-y_i{h}_t({\mathrm{\φ}}_t\left(x_i\right)\left)\right)}{Z_t};$

其中，y_i∈{+1,-1}为样本x_i的类别标号，正样本取值为+1，负样本取值为-1；w_t(x_i)为样本x_i的当前权重，w_t+1(x_i)为更新后的样本权值，h_t(φ_t(x_i))为样本x_i在所述单元分类器h_t(φ_t)上的分类结果，exp为以自然对数e为底指数函数，Z_t为归一化系数，使w_t+1(x_i)在所有样本上组成一个概率密度函数；

利用更新后正负样本集合的权值更新所述分数融合器。

2.根据权利要求1所述的方法，其特征在于，所述多模态特征的抽取包括：

多通道加窗傅立叶变换Gabor特征抽取与多参数局部二值模式LBP直方图特征抽取。

3.根据权利要求2所述的方法，其特征在于，所述多通道Gabor特征抽取的步骤包括：

利用多通道的Gabor滤波器对图像的一子块进行卷积；

通过取模运算对卷积后某一像素的复数值进行计算，获得像素特征值；

将子块中每一像素的像素特征值按行排列成向量形式作为Gabor特征向量；Gabor滤波器的核函数如下：

${\mathrm{\ψ}}_{\mathrm{\μ},\mathrm{\ν}}\left(z\right)=\frac{\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},\mathrm{\ν}}|{|}^2}{{\mathrm{\σ}}^2}{e}^{-\left|\right|{\stackrel{\→}{k}}_{\mathrm{\μ},\mathrm{\ν}}|{|}^2{z}^2/2{\mathrm{\σ}}^2}\[e^{i{\stackrel{\→}{k}}_{\mathrm{\μ},\mathrm{\ν}}z}-e^{-{\mathrm{\σ}}^2/2}\];$

其中，e为自然对数的底数，i为虚数的单位，μ和ν为核函数的方向和尺度因子，z＝(x,y)为该子块在图像中的坐标，k_ν＝k_max/f^v为控制频率，φ_μ＝πμ/8，σ为高斯方差。

4.根据权利要求2所述的方法，其特征在于，所述多参数LBP直方图特征抽取的步骤包括：

以一子块中的像素为中心点，在该像素半径为R的圆周上均匀采样P个点；

比较所述P个点与中心像素点的灰度高低；

将比较的结果用二进制的比特编码，组成一个P位的二进制特征编码，并统计每个特征编码字出现的频率，作为最后的LBP直方图特征。

5.根据权利要求3所述的方法，其特征在于，所述通过向量的度量函数对单个特征参数下所述至少两幅归一化人脸图像得到的特征进行匹配包括：

若所述单个特征参数为所述多通道的Gabor特征抽取的参数，则使用余弦距离进行匹配；

若所述单个特征参数为所述多参数LBP直方图特征抽取的参数，则使用卡方距离进行匹配。