CN104143088B - 一种基于图像检索和特征权重学习的人脸识别方法 - Google Patents

Abstract

一种基于图像检索和特征权重学习的人脸识别方法，步骤如下：生成训练样本图像集A和样本图像特征集F；检索得到匹配人脸图像子集D_t；计算并筛选得到相似人脸图像子集D_s；在线特征点权重学习；在线特征对权重学习；人脸识别。本发明系统实现简单，分布性能好，适用于数据量较大的人脸识别应用场合，能够达到人脸识别的快速、高效、精准的要求，能很好的应用于实际人脸识别需求中。

Description

一种基于图像检索和特征权重学习的人脸识别方法

技术领域

本发明涉及计算机视觉技术领域，具体为一种基于图像检索和特征权重学习的人脸识别方法。

背景技术

由于其在公共安全、人机交互、财产安全等领域的广泛应用，人脸识别已经成为了一个非常活跃的研究领域。以往的研究主要限制在实验室拍摄环境。但是，当我们需要处理真实场景下的人脸识别问题时，这些针对于实验室环境的人脸识别算法效果随着光照、表情、遮挡等的变化产生了极大的下降。相同的人脸由于拍摄条件的不同可能产生很大的差异性，这无疑给真实场景下的人脸识别问题带来了很大的难度。同时，由于现代社交网络的发展，图片数据大量增加，一些常用的搜索手段在识别的准确性、系统的泛化能力以及识别的速度上都存在着不足。

发明内容

针对上述问题，本发明的目的在于提供一种能够快速准确识别出人脸基于图像检索和特征权重学习的人脸识别方法。技术方案如下：

一种基于图像检索和特征权重学习的人脸识别方法，其特征在于，包括：

步骤一：生成训练样本图像集A和样本图像特征集F：

S11收集人脸图像生成训练样本图像集A；

S12使用SDM算法和仿射变换将人脸图像旋转到水平位置并且做尺度归一化；

S13提取训练样本图像集A中每一张人脸图像的SIFT特征f_i'，以及每个SIFT特征f_i'对应的几何坐标z_i，得到一个M×130的特征集，其中M为每张人脸图像的特征点个数；每个特征点f_i由一个128维的SIFT特征f_i'加上2维相对应的几何坐标z_i组成，对SIFT特征f_i'做l₂范数归一化，根据人脸尺寸对几何坐标z_i做l₁范数归一化；单个特征点表示如下：

f_i＝[f_i',αz_i],0≤α≤1,

z_i＝(x,y),i＝1,…M；

其中，参数α是用来调节位置信息在SIFT特征匹配中的权重，x,y为特征点在人脸图像上的横纵坐标；

S14将所有人脸图像的特征点的集合作为样本图像特征集F。

步骤二：检索得到匹配人脸图像子集D_t：

S21对样本图像特征集F采用K-means方法进行聚类，生成K个聚类；

S22用步骤一中S13所述的方法提取待识别人脸图像Q的特征集，得到待识别人脸图像特征集F_Q；

S23用欧几里得度量法，做最近邻查找，将待识别人脸图像特征集F_Q中的每一个特征点分配到K个聚类中与之最近的那些聚类中去；将包含待识别人脸图像特征集F_Q中特征点的那些聚类作为聚类集合K_Q；

S24将训练样本图像集A中所有包含有聚类集合K_Q中任意一个特征点的人脸图像提取出来，作为匹配人脸图像子集D_t。

步骤三：计算并筛选得到相似人脸图像子集D_s：

S31计算K个聚类中每个聚类的逆文档频率idf(k)：

其中，k表示聚类的标号，N表示训练样本图像集A中的人脸图像总数，n(k)表示训练样本图像集A中包含有第k个聚类中任意一个特征点的人脸图像数量；

S32计算待识别人脸图像Q和匹配人脸图像子集D_t中每个匹配人脸图像d_t的相似度S(Q,d_t)，

其中，tf_Q(k)表示待识别人脸图像特征集F_Q中被分配到第k个聚类的特征点的数量；表示某个匹配人脸图像d_t所有特征点中存在于第k个聚类的特征点的个数；f_i为匹配人脸图像d_t的特征点，g_j表示待识别人脸图像Q的特征点，(f_i,g_j)表示两个特征点匹配，e(f_i)＝e(g_j)表示两个特征点属于相同的聚类；函数L(f_i)和L(g_j)分别表示特征点f_i和g_j的类别信息，||L(f_i)-L(g_j)||＜ε表示特征点在空间位置上具有连续性；

S33对匹配人脸图像子集D_t中所有匹配人脸图像d_t按照相似度S(Q,d_t)降序排列，取前R个人脸图像组成相似人脸图像子集D_s；其中，R等于匹配人脸图像子集D_t中人脸图像数量的十分之一。

步骤四：在线特征点权重学习：

S41用步骤一中S13所述的方法提取相似人脸图像子集D_s特征点，生成相似人脸图像特征集F_s，将特征集F_s中每个特征点对应的权重初始化为一个统一的数值ω₀；

S42对特征集F_s中的每一个特征点f_i作最近邻查找，找到f_i的最近邻特征点f_j，如果f_j和f_i的类别标签一致，那么f_j的权重增大，否则减小；如果某个特征点f_j被n个特征点查找为最近邻特征点，则它的权重需被修改n次；将特征点f_j原始权重表示为ω¹(f_j)＝ω₀，则特征点f_j经过n次修改后的权重ωⁿ⁺¹(f_j)通过如下迭代公式实现：

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(ω₀+Δω),L(f_j)＝L(f_i),

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(ω₀-Δω),L(f_j)≠L(f_i),

S43对所有修改后的特征点权重作l₁范数归一化，得到带权重特征库。

步骤五：在线特征对权重学习：

S51将带权重特征库中的特征点按权重值降序排列，取前2m个特征点，随机组合成m组特征对P＝{p₁,p₂,p_m}，m等于相似人脸图像特征集F_s中特征点数量的十分之一；将每个特征对对应的权重初始化为一个统一的数值w₀；

S52对m组特征对P＝{p₁,p₂,p_m}中的每一对特征对p_u作最近邻查找，找到p_u的最近邻特征对p_v，如果p_v和p_u的类别标签一致，那么p_v的权重增大，否则减小；如果某个特征对p_v被n个特征对查找为最近邻特征对，则它的权重需被修改n次；将特征对p_v原始权重表示为w¹(p_v)＝w₀，则特征点p_v经过n次修改后的权重wⁿ⁺¹(p_v)通过如下迭代公式实现：

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(w₀+Δw),L(p_v)＝L(p_u),

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(w₀-Δw),L(p_v)≠L(p_u),

其中，λ是用来进一步调整特征对权重的参数；

S53对所有修改后的特征对权重作l₁范数归一化，得到带权重特征对库；

步骤六：人脸识别：

S61从带权重特征库中寻找待识别人脸图像Q的特征点g_j的最近邻特征点，将该最近邻特征点的权重投给特征点g_j所属的类别，进而得到每个类别的特征点投票得分S_single；

S62对待识别人脸图像Q的所有特征点随机选择出特征对G_J，从带权重特征对库中寻找特征对G_J的最近邻特征对，并将该最邻近特征对的权重投给特征对G_J所属的类别，得到每个类别的特征对投票得分S_pair；

S63将每个类别的特征点投票得分S_single和特征对投票得分S_pair分别相加，得到每个类别的最终得分，将最终得分最高的那个类别标签赋予待识别人脸图像Q。

本发明引入了特征的几何坐标信息，通过这种方式，将SIFT特征的强大纹理描述能力和人脸特征的几何坐标分布结合起来，实现对人脸的更精确的描述，不仅可以去除掉很多误匹配，并且提高了人脸识别的准确度。引入图像检索，使待对比人脸图像数量远远小于整个数据库的图像总数，不仅可以减少最近邻分类的计算量，而且能提前排除掉与待识别人脸图像差别明显的人脸图像以提高算法的精度。基于单特征和特征组的权重学习方案，解决了人脸识别中类内距离大于类间距离的问题。

本发明系统实现简单，分布性能好，适用于数据量较大的人脸识别应用场合，能够达到人脸识别的快速、高效、精准的要求，能很好的应用于实际人脸识别需求中。

附图说明

图1为基于图像检索和特征权重学习的人脸识别方法的步骤流程框图。

具体实施方式

一种基于图像检索和特征权重学习的人脸识别方法，具体实施步骤如下：

步骤一：生成训练样本图像集A和样本图像特征集F：

S11收集人脸图像生成训练样本图像集A；

S12使用SDM(监督梯度下降法Supervised Descent Method)算法和仿射变换将人脸图像旋转到水平位置并且做尺度归一化；

S13提取训练样本图像集A中每一张人脸图像的SIFT特征f_i'，以及每个SIFT特征f_i'对应的几何坐标z_i，得到一个M×130的特征集，其中M为每张人脸图像的特征点个数；每个特征点f_i由一个128维的SIFT特征f_i'加上2维相对应的几何坐标z_i组成，对SIFT特征f_i'做l₂范数归一化，根据人脸尺寸对几何坐标z_i做l₁范数归一化；单个特征点表示如下：

f_i＝[f_i',αz_i],0≤α≤1,

z_i＝(x,y),i＝1,…M；

其中，参数α是用来调节位置信息在SIFT特征匹配中的权重，x,y为特征点在人脸图像上的横纵坐标；

S14将所有人脸图像的特征点的集合作为样本图像特征集F。

步骤二：检索得到匹配人脸图像子集D_t：

S21对样本图像特征集F采用K-means方法进行聚类，生成K个聚类；

S22用步骤一中S13所述的方法提取待识别人脸图像Q的特征集，得到待识别人脸图像特征集F_Q；

S23用欧几里得度量法，做最近邻查找，将待识别人脸图像特征集F_Q中的每一个特征点分配到K个聚类中与之最近的那些聚类中去；将包含待识别人脸图像特征集F_Q中特征点的那些聚类作为聚类集合K_Q；

S24将训练样本图像集A中所有包含有聚类集合K_Q中任意一个特征点的人脸图像提取出来，作为匹配人脸图像子集D_t；

步骤三：计算并筛选得到相似人脸图像子集D_s。

S31计算K个聚类中每个聚类的逆文档频率idf(k)：

其中，k表示聚类的标号，N表示训练样本图像集A中的人脸图像总数，n(k)表示训练样本图像集A中包含有第k个聚类中任意一个特征点的人脸图像数量；

S32计算待识别人脸图像Q和匹配人脸图像子集D_t中每个匹配人脸图像d_t的相似度S(Q,d_t)，

其中，tf_Q(k)表示待识别人脸图像特征集F_Q中被分配到第k个聚类的特征点的数量；表示某个匹配人脸图像d_t所有特征点中存在于第k个聚类的特征点的个数；f_i为匹配人脸图像d_t的特征点，g_j表示待识别人脸图像Q的特征点，(f_i,g_j)表示两个特征点匹配，e(f_i)＝e(g_j)表示两个特征点属于相同的聚类；函数L(f_i)和L(g_j)分别表示特征点f_i和g_j的类别信息，||L(f_i)-L(g_j)||＜ε表示特征点在空间位置上具有连续性；即两者的距离小于值ε，ε在本实施例中取值为0.01。

S33对匹配人脸图像子集D_t中所有匹配人脸图像d_t按照相似度S(Q,d_t)降序排列，取前R个人脸图像组成相似人脸图像子集D_s；其中，R等于匹配人脸图像子集D_t中人脸图像数量的十分之一。

步骤四：在线特征点权重学习：

S41用步骤一中S13所述的方法提取相似人脸图像子集D_s特征点，生成相似人脸图像特征集F_s，将特征集F_s中每个特征点对应的权重初始化为一个统一的数值ω₀，在本实施例中ω₀取值为1；

S42对特征集F_s中的每一个特征点f_i作最近邻查找，找到f_i的最近邻特征点f_j，如果f_j和f_i的类别标签一致，那么f_j的权重增大，否则减小；如果某个特征点f_j被n个特征点查找为最近邻特征点，则它的权重需被修改n次；将特征点f_j原始权重表示为ω¹(f_j)＝1，则特征点f_j经过n次修改后的权重ωⁿ⁺¹(f_j)通过如下迭代公式实现：

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(1+Δω),L(f_j)＝L(f_i),

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(1-Δω),L(f_j)≠L(f_i),

其中，Δω取从0开始以0.05为步长到1截止中的一个数据，数据的选定是通过一组已知类别信息的人脸图像测得；

S43对所有修改后的特征点权重作l₁范数归一化，得到带权重特征库。

步骤五：在线特征对权重学习：

S51将带权重特征库中的特征点按权重值降序排列，取前2m个特征点，随机组合成m组特征对P＝{p₁,p₂,p_m}，m等于相似人脸图像特征集F_s中特征点数量的十分之一；将每个特征对对应的权重初始化为一个统一的数值w₀，在本实施例中w₀取值为1；

S52对m组特征对P＝{p₁,p₂,p_m}中的每一对特征对p_u作最近邻查找，找到p_u的最近邻特征对p_v，如果p_v和p_u的类别标签一致，那么p_v的权重增大，否则减小；如果某个特征对p_v被n个特征对查找为最近邻特征对，则它的权重需被修改n次；将特征对p_v原始权重表示为w¹(p_v)＝w₀，则特征点p_v经过n次修改后的权重wⁿ⁺¹(p_v)通过如下迭代公式实现：

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(1+Δw),L(p_v)＝L(p_u),

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(1-Δw),L(p_v)≠L(p_u),

其中，Δw取从0开始以0.05为步长到1截止中的一个数据，数据的选定是通过一组已知类别信息的人脸图像测得；λ是用来进一步调整特征对权重的参数，λ取大于1的数值，

是为了强调特征对的权重对匹配的结果更重要，在本实施例中λ取值为1.5。

S53对所有修改后的特征对权重作l₁范数归一化，得到带权重特征对库。

步骤六：人脸识别：

S61从带权重特征库中寻找待识别人脸图像Q的特征点g_j的最近邻特征点，将该最近邻特征点的权重投给特征点g_j所属的类别，进而得到每个类别的特征点投票得分S_single；

S62对待识别人脸图像Q的所有特征点随机选择出特征对G_J，从带权重特征对库中寻找特征对G_J的最近邻特征对，并将该最邻近特征对的权重投给特征对G_J所属的类别，得到每个类别的特征对投票得分S_pair；

S63将每个类别的特征点投票得分S_single和特征对投票得分S_pair分别相加，得到每个类别的最终得分，将最终得分最高的那个类别标签赋予待识别人脸图像Q。

Claims (3)

1.一种基于图像检索和特征权重学习的人脸识别方法，其特征在于，包括：

步骤一：生成训练样本图像集A和样本图像特征集F：

S11收集人脸图像生成训练样本图像集A；

S12使用SDM算法和仿射变换将人脸图像旋转到水平位置并且做尺度归一化；

S13提取训练样本图像集A中每一张人脸图像的SIFT特征f_i'，以及每个SIFT特征f_i'对应的几何坐标z_i，得到一个M×130的特征集，其中M为每张人脸图像的特征点个数；每个特征点f_i由一个128维的SIFT特征f_i'加上2维相对应的几何坐标z_i组成，对SIFT特征f_i'做l₂范数归一化，根据人脸尺寸对几何坐标z_i做l₁范数归一化；单个特征点表示如下：

f_i＝[f_i',αz_i],0≤α≤1,

z_i＝(x,y),i＝1,…M；

其中，参数α是用来调节位置信息在SIFT特征匹配中的权重，x,y为特征点在人脸图像上的横纵坐标；

S14将所有人脸图像的特征点的集合作为样本图像特征集F；

步骤二：检索得到匹配人脸图像子集D_t：

S21对样本图像特征集F采用K-means方法进行聚类，生成K个聚类；

S22用步骤一中S13所述的方法提取待识别人脸图像Q的特征集，得到待识别人脸图像特征集F_Q；

S23用欧几里得度量法，做最近邻查找，将待识别人脸图像特征集F_Q中的每一个特征点分配到K个聚类中与之最近的那些聚类中去；将包含待识别人脸图像特征集F_Q中特征点的那些聚类作为聚类集合K_Q；

S24将训练样本图像集A中所有包含有聚类集合K_Q中任意一个特征点的人脸图像提取出来，作为匹配人脸图像子集D_t；

步骤三：计算并筛选得到相似人脸图像子集D_s：

S31计算K个聚类中每个聚类的逆文档频率idf(k)：

$\mathrm{idf}\left(k\right)=\frac{N}{n\left(k\right)},$

其中，k表示聚类的标号，N表示训练样本图像集A中的人脸图像总数，n(k)表示训练样本图像集A中包含有第k个聚类中任意一个特征点的人脸图像数量；

S32计算待识别人脸图像Q和匹配人脸图像子集D_t中每个匹配人脸图像d_t的相似度S(Q,d_t)，

$S(Q,d_t)=\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}\underset{\underset{\underset{\underset{\left|\right|L\left(f_i\right)-L\left(g_j\right)\left|\right|<\mathrm{\&epsiv;}}{e\left(f_i\right)=e\left(g_j\right)}}{f_i\&Element;d_t,g_j\&Element;Q}}{(f_i,g_j)}}{\mathrm{\&Sigma;}}\frac{\mathrm{idf}\left(k\right)}{{\mathrm{tf}}_Q\left(k\right)\&CenterDot;{\mathrm{tf}}_{d_t}\left(k\right)},$

其中，tf_Q(k)表示待识别人脸图像特征集F_Q中被分配到第k个聚类的特征点的数量；表示某个匹配人脸图像d_t所有特征点中存在于第k个聚类的特征点的个数；f_i为匹配人脸图像d_t的特征点，g_j表示待识别人脸图像Q的特征点，(f_i,g_j)表示两个特征点匹配，e(f_i)＝e(g_j)表示两个特征点属于相同的聚类；函数L(f_i)和L(g_j)分别表示特征点f_i和g_j的类别信息，||L(f_i)-L(g_j)||<ε表示特征点在空间位置上具有连续性；

S33对匹配人脸图像子集D_t中所有匹配人脸图像d_t按照相似度S(Q,d_t)降序排列，取前R个人脸图像组成相似人脸图像子集D_s；

步骤四：在线特征点权重学习：

S41用步骤一中S13所述的方法提取相似人脸图像子集D_s特征点，生成相似人脸图像特征集F_s，将特征集F_s中每个特征点对应的权重初始化为一个统一的数值ω₀；

S42对特征集F_s中的每一个特征点f_i作最近邻查找，找到f_i的最近邻特征点f_j，如果f_j和f_i的类别标签一致，那么f_j的权重增大，否则减小；如果某个特征点f_j被n个特征点查找为最近邻特征点，则它的权重需被修改n次；将特征点f_j原始权重表示为ω¹(f_j)＝ω₀，则特征点f_j经过n次修改后的权重ωⁿ⁺¹(f_j)通过如下迭代公式实现：

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(ω₀+Δω),L(f_j)＝L(f_i),

ωⁿ⁺¹(f_j)＝ωⁿ(f_j)(ω₀-Δω),L(f_j)≠L(f_i),

S43对所有修改后的特征点权重作l₁范数归一化，得到带权重特征库；

步骤五：在线特征对权重学习：

S51将带权重特征库中的特征点按权重值降序排列，取前2m个特征点，随机组合成m组特征对P＝{p₁,p₂,...p_m}，将每个特征对对应的权重初始化为一个统一的数值w₀；

S52对m组特征对P＝{p₁,p₂,...p_m}中的每一对特征对p_u作最近邻查找，找到p_u的最近邻特征对p_v，如果p_v和p_u的类别标签一致，那么p_v的权重增大，否则减小；如果某个特征对p_v被n个特征对查找为最近邻特征对，则它的权重需被修改n次；将特征对p_v原始权重表示为w¹(p_v)＝w₀，则特征点p_v经过n次修改后的权重wⁿ⁺¹(p_v)通过如下迭代公式实现：

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(w₀+Δw),L(p_v)＝L(p_u),

wⁿ⁺¹(p_v)＝λwⁿ(p_v)(w₀-Δw),L(p_v)≠L(p_u),

其中，λ是用来进一步调整特征对权重的参数；

S53对所有修改后的特征对权重作l₁范数归一化，得到带权重特征对库；

步骤六：人脸识别：

S61从带权重特征库中寻找待识别人脸图像Q的特征点g_j的最近邻特征点，将该最近邻特征点的权重投给特征点g_j所属的类别，进而得到每个类别的特征点投票得分S_single；

S62对待识别人脸图像Q的所有特征点随机选择出特征对G_J，从带权重特征对库中寻找特征对G_J的最近邻特征对，并将该最邻近特征对的权重投给特征对G_J所属的类别，得到每个类别的特征对投票得分S_pair；

S63将每个类别的特征点投票得分S_single和特征对投票得分S_pair分别相加，得到每个类别的最终得分，将最终得分最高的那个类别标签赋予待识别人脸图像Q。

2.根据权利要求1所述的一种基于图像检索和特征权重学习的人脸识别方法，其特征在于，所述R等于匹配人脸图像子集D_t中人脸图像数量的十分之一。

3.根据权利要求1或2所述的一种基于图像检索和特征权重学习的人脸识别方法其特征在于，所述m等于相似人脸图像特征集F_s中特征点数量的十分之一。