CN102880852B - 一种基于仿射尺度不变特征变换和结构相似的人脸识别方法 - Google Patents

Abstract

一种基于仿射尺度不变特征变换和结构相似的人脸识别方法涉及人脸识别技术领域。本发明是先利用图像局部特征描述算子AISFT得到图像间的匹配点，再基于“网漏”方法实现冗余匹配点的筛除,然后根据结构相似度算法计算得到基于关键点的相似度,最终实现人脸识别。本发明具有简单易行且正确识别率较高的优点。

Description

一种基于仿射尺度不变特征变换和结构相似的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，具体涉及一种基于仿射尺度不变特征变换和结构相似的人脸识别方法研究及实现。

背景技术

随着社会发展，越来越多的场合需要进行身份的识别和验证。传统的身份验证的方式越来越无法满足社会发展的需求。人脸识别具有简单方便的特点被应用于诸多领域。人脸识别是利用人脸信息来进行身份判断的技术，是最具使用价值的一种生物特征识别。

人脸识别研究经过多年的研究发展，近年来取得了较大进步。一般来说，目前人脸识别方法的主要流程包括人脸检测和定位,人脸标准化、人脸特征提取和选择、特征判别。目前人脸识别中主要问题在于：1、人脸特征的选择。人脸特征受干扰影响较大，随着年龄、表情、光照、姿态等变化，人脸特征会有较大的变化。太过复杂的人脸特征会使计算非常繁琐。2、正确识别相似的人脸有较大的难度。

我们发明一种基于仿射尺度不变特征变换和结构相似的人脸识别方法。先基于图像局部特征描述算子AISFT得到图像间的匹配点，再进行匹配点的筛选，然后基于匹配点一定邻域计算相似度，最后进行阈值的比较最终实现人脸识别。具有简单易行且正确识别率较高的优点。

发明内容

本发明的目的在于基于仿射尺度不变特征变换和结构相似度进行人脸识别。本发明的创新点在于基于匹配点邻域的结构相似度计算实现人脸识别，具有简单易行且正确识别率较高的优点。通过仿射尺度不变特征变换算法ASIFT找到待识别人脸图像与人脸图像之间的匹配点，再基于“网漏”方法实现冗余匹配点的筛除,然后根据结构相似度算法计算得到基于关键点的相似度,最终实现人脸识别。

本发明是采用以下技术手段实现的：

1、一种基于仿射尺度不变特征变换和结构相似的人脸识别方法，包括匹配点计算、匹配点筛选、相似度计算并判决三个步骤：

A、匹配点计算阶段，利用仿射尺度不变特征变换算法ASIFT(Affinescale-invariant feature transform,)计算待识别人脸图像与人脸图像的匹配点；

步骤A具体包括：

A1、对待识别人脸图像u与人脸图像v基于仿射尺度不变特征变换算法ASIFT计算匹配点，计算得出图像u和v的匹配点对的坐标。

B、匹配点筛选阶段，根据待识别人脸图像u与人脸图像v，采用“网漏”方法实现图像的匹配点对的筛选。经过筛选后的匹配点即为图像的关键点；

步骤B具体包括：

B1、对输入的待识别人脸图像进行网格大小为M*N的矩形网格划分，其中M的取值范围是小于图像长度的一半的自然数，N的取值范围是小于图像宽度的一半的自然数。优选地，取M＝N＝8。

B2、根据步骤B1中划分出的网格，计算每一个网格对应匹配点坐标的质心；质心按照下列公式进行计算：

num是图像所划分出的网格数量,acount_i是第i个网格内匹配点数量。

B3、找到每一个网格中离质心最近的匹配点并作为关键点。具体步骤如下：

对于一个网格，计算该网格内匹配点与质心点之间的距离。计算公式如下：

$d_{i,j}=\sqrt{{(x_{i,j}-x_{{\mathrm{centro}}_i})}^2+{(y_{i,j}-y_{{\mathrm{centro}}_i})}^2}(j\∈(1,{\mathrm{acount}}_i))$

其中d_i,j表示第i个网格中第j个匹配点与该网格内质心的距离。acount_i是第i个网格内匹配点数量，x_i,j是第i个网格中第j个匹配点的坐标x值,y_i,j是第i个网格中第j个匹配点的坐标y值。是第i个网格质心点的坐标x值，是第i个网格质心点的的坐标y值。

筛选出网格内距离最小值d_i,min＝min(d_i,j),j∈(1,acount_i)对应的匹配点作为对应网格的关键点。以此方法，计算图像内每一个网格内的匹配点与质心点的距离，并筛选出每一个网格内距离质心点最小距离的匹配点作为关键点。

C、相似度计算并判决，运用结构相似度算法SSIM（Structural Similarity）进行相似度的计算并判决，实现待识别人脸与人脸图像的匹配；

步骤C具体包括：

C1、采用结构相似度算法SSIM计算每一个网格中基于关键点一定邻域值F_i的相似度值。计算公式如下。

${\mathrm{SSIM}}_i=({2u}_{u_i}{u}_{v_i}+c_2)({2\mathrm{\σ}}_{u_i{v}_i}+c_1)/({u^2}_{u_i}+{u^2}_{v_i}+c_1)({{\mathrm{\σ}}^2}_{u_i}+{{\mathrm{\σ}}^2}_{v_i}+c_2)$

SSIM_i表示待识别人脸图像u中第i个网格的关键点与人脸图像v中第i个网格的关键点基于一定邻域值F_i的相似度值。分别表示图像u、v第i个网格的关键点基于一定邻域值F_i的均值。表示图像u、v第i个网格的关键点基于一定邻域值F_i的方差、协方差。c₁、c₂是常数，取c₁＝6.5025，c₂＝58.5225。F_i∈(1,img_size),i∈(1,num)，其中img_size是图像的长度值和宽度值中较小的值，num是图像中网格的数量。优选地,邻域值F_i取值为8。如果某些网格中没有关键点，该网格SSIM_i的值设为0。

C2、计算所有网格的相似度值并得到最终相似度值,计算公式如下:

$\mathrm{img}\_\mathrm{SSIM}=(1/{\mathrm{num}}^{\′})\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\Σ}}}{\mathrm{SSIM}}_i$

img_SSIM表示待识别人脸图像u与人脸图像v之间的最终相似度值。num′为图像中的匹配点总数。

C3、比较最终相似度值与阀值，当最终相似度值大于阀值时，认定待识别的人脸与识别人脸是同一个人，否则不是同一个人。阀值是通过实验训练得到。不同的图像集阀值取值可能不一样，是通过相关图像集的实验得到，在人脸库FERET进行实验，阀值取0.14，在人脸库CMUPIE中进行实验，阀值取0.13，而在人脸库AR中进行实验，阀值取0.26。优选地，阀值的取值范围在0.1到0.5之间。

本发明与现有技术相比，具有以下明显的优势和有益效果：

本发明是基于匹配点一定邻域的相似度计算并判别实现人脸识别，本方法不需要复杂的人脸特征，具有简单易行且识别率较高的优点。结合精度很高的局部特征描述算法和结构相似度算法，能有效的实现人脸识别，具有广泛的应用前景。

附图说明

图1为实施例一中基于仿射尺度不变特征变换和结构相似的人脸识别方法的流程图；

图2为实施例一中识别人脸图像；

图3为实施例一中待识别人脸图像;

图4为实施例一中方法的关键点筛选阶段流程图

图5为实施例一中方法的匹配点筛选示意图

图6为图5的局部放大图

图7为实施例一中方法的匹配点筛选操作步骤

图8为基于仿射尺度不变特征变换和结构相似的人脸识别方法在三个人脸数据库中的ROC曲线图

具体实施方式

下面将结合附图及实施例对本发明的技术方案进行更详细的说明。

技术方案详细流程如说明书附图1所示，本实施例是针对人脸图像进行的，根据两张大小为640*480像素的BMP位图详细描述本发明技术方案。最后描述本发明的技术方案在三个人脸数据库（FERET人脸库，CMU-PIE人脸库和AR人脸库）中分别进行实验的结果。

匹配点计算阶段，先输入图像是两幅大小为640*480像素的BMP位图，分别是识别人脸图像与待识别人脸图像,见说明书附图2和说明书附图3。对输入的两幅图像基于ASIFT算法计算对应匹配点对，将匹配点对的坐标值存放在Asift.txt文件中。Asift.txt其格式是：第一行是计算得到的ASIFT点的总数值，其余各行是两对坐标点值，分别是第一副位图和第二副位图中对应ASIFT点的坐标值，即x₁y₁x₂y₂，中间以空格隔开。

匹配点筛选阶段流程图如说明书附图4所示。先对待识别图像进行网格大小为M*N的矩形网格划分，如图5和图6所示。其中，M的取值范围是小于图像长度的一半的自然数，N的取值范围是小于图像宽度的一半的自然数，具体根据实验进行设定。在一个实施方式中，为了方便计算，我们取M＝N＝8。图5和图6中的红色点表示匹配点计算阶段得到的匹配点。根据匹配点计算阶段得到的匹配点坐标值，分别对每一个网格中匹配点进行筛除。匹配点的筛除是先求每一个网格中匹配点的坐标质心，再求离质心最近的匹配点，并将该匹配点作为对应网格的关键点,如图7所示。计算每一个网格中匹配点的坐标质心按照下列公式进行计算：

$(x_{{\mathrm{Centro}}_i},y_{{\mathrm{Centro}}_i})=(\left(\underset{j}{\mathrm{\Σ}}{x}_{i,j}\right)/j,\left(\underset{j}{\mathrm{\Σ}}{y}_{i,j}\right)/j)$

表示第i个网格的质心点坐标值。(j∈(1,acount_i)),i∈(1,num),num是图像所划分出的网格数量,acount_i是第i个网格内匹配点数量。计算每一个网格内匹配点与质心点之间的距离，计算公式如下：

$d_{i,j}=\sqrt{{(x_{i,j}-x_{{\mathrm{centro}}_i})}^2+{(y_{i,j}-y_{{\mathrm{centro}}_i})}^2},(j\∈(1,{\mathrm{acount}}_i))$

其中d_i,j表示第i个网格中第j个匹配点与该网格内质心的距离。acount_i是第i个网格内匹配点数量，x_i,j是第i个网格中第j个匹配点的坐标x值,y_i,j是第i个网格中第j个匹配点的坐标y值。是第i个网格质心点的坐标x值，是第i个网格质心点的的坐标y值。筛选出该网格内距离最小值d_t,min＝min(d_i,j),j∈(1,acount_i)对应的匹配点作为关键点。以此方法，计算图像内每一个网格内的匹配点与质心点的距离，并筛选出每一个网格内距离质心点最小距离的匹配点作为关键点。

相似度计算并判决阶段，采用结构相似度算法SSIM计算每一个网格中基于关键点一定邻域值F_i的相似度值。计算公式如下。

${\mathrm{SSIM}}_i=({2u}_{u_i}{u}_{v_i}+c_2)({2\mathrm{\σ}}_{u_i{v}_i}+c_1)/({u^2}_{u_i}+{u^2}_{v_i}+c_1)({{\mathrm{\σ}}^2}_{u_i}+{{\mathrm{\σ}}^2}_{v_i}+c_2)$

SSIM_i表示待识别人脸图像u中第i个网格的关键点与人脸图像v中第i个网格的关键点基于一定邻域值F_i的相似度值。分别表示图像u、v第i个网格的关键点基于一定邻域值F_i的均值。表示图像u、v第i个网格的关键点基于一定邻域值F_i的方差、协方差。c₁、c₂是常数，取c₁＝6.5025，c₂＝58.5225。F_i∈(1,img_size),i∈(1,num)，其中img_size是图像的长度值和宽度值中较小的值,邻域值F_i可以超过关键点所在网格区域的大小。在一个实施方式中，邻域值F_i取值为8。num是图像中网格的数量,如果某些网格中没有关键点，该网格SSIM_i的值设为0。

计算所有网格的相似度值并得到最终相似度值,计算公式如下:

$\mathrm{img}\_\mathrm{SSIM}=(1/{\mathrm{num}}^{\′})\underset{i=1}{\overset{\mathrm{num}}{\mathrm{\Σ}}}{\mathrm{SSIM}}_i$

img_SSIM表示待识别人脸图像u与人脸图像v之间的最终相似度值。num′为图像中的匹配点总数。当在一个测试图像集（待识别人脸图像数量超过或等于2幅）中进行人脸识别时，num′为待识别人脸图像集中的最大匹配点总数值。

比较最终相似度值与阀值，当最终相似度值大于阀值时，我们认定待识别的人脸与识别人脸是同一个人，否则不是同一个人。阀值是通过实验训练得到。不同的图像集阀值取值可能不一样，是通过相关图像集的实验得到，在人脸库FERET进行实验，阀值取0.14，在人脸库CMUPIE中进行实验，阀值取0.13，而在人脸库AR中进行实验，阀值取0.26。一般地，阀值的取值范围在0.1到0.5之间。

我们在三个人脸数据库中分别进行实验，这三个人脸数据库分别是FERET人脸库，CMU-PIE人脸库和AR人脸库。这些数据库中的人脸图像包括光照，姿态和表情的变化。AR数据库还包括有遮挡物的人脸图像。在实验中，我们选取正面人脸作为训练集，测试集人脸包括表情变化，姿态变化和有遮挡物三种情况。

FERET人脸数据库包含许多数据库（FA，FB，BA-BK）。在我们实验中，选取BA数据库中的200个人的正面人脸照片作为训练集，选取其它五个数据库（BD，BG，BF和BJ）中相应个体的人脸图像作为测试集。

CMU-PIE人脸数据库包括68个人。每个人的人脸图像都有姿态，光照或表情的变化。我们选择有表情和姿态变化的7幅人脸图像进行实验。N_W_27（正面和中性），N_W_05和N_W_29（约水平±22.5度，中性），N_W_09和N_W_07（约垂直±20度和中性），B_W_27（正面和眨眼），S_W_27（正面和微笑）。N_W_27作为训练集，其它的作为测试集。

AR人脸数据库中有120个人，我们选择每个人的5幅人脸进行实验，分别是：01（表情正常）、04（惊吓表情）、05（光照）、08（戴墨镜）、11（戴围巾）。其中01作为训练集，其他人脸作为测试集。

三个人脸数据库的ROC曲线如图8所示。从图8我们可以看出，我们提出的算法当FAR（错误接受率）为0时，GAR（正确接受率）为95%。

最后应说明的是：以上实例仅用以说明本发明而并非限制本发明所描述的技术方案；因此，尽管本说明书参照上述的各个实例对本发明已进行了详细的说明，但是，本领域的普通技术人员应当理解，仍然可以对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于仿射尺度不变特征变换和结构相似的人脸识别方法，包括匹配点计算、匹配点筛选、相似度计算并判决三个步骤：

A、匹配点计算阶段，利用仿射尺度不变特征变换算法ASIFT(Affinescale-invariant feature transform,)计算待识别人脸图像与人脸图像的匹配点；

步骤A具体包括：

A1、对待识别人脸图像u与人脸图像v基于仿射尺度不变特征变换算法ASIFT进行匹配点计算，计算得出图像u和v的匹配点对；

B、匹配点筛选阶段，根据待识别人脸图像u与人脸图像v，采用“网漏”方法实现图像的匹配点对的筛选，经过筛选后的匹配点即为图像的关键点；

步骤B具体包括：

B1、对输入的待识别人脸图像进行网格大小为M*N的矩形网格划分，其中M的取值范围是小于图像长度的一半的自然数，N的取值范围是小于图像宽度的一半的自然数；

B2、根据步骤B1中划分出的网格，计算每一个网格对应匹配点坐标的质心，质心按照下列公式进行计算：

$(x_{{\mathrm{Centro}}_i},y_{{\mathrm{Centro}}_i})=(\left(\underset{j}{\mathrm{\Σ}}{x}_{i,j}\right)/j,\left(\underset{j}{\mathrm{\Σ}}{y}_{i,j}\right)/j)$

表示第i个网格的质心点坐标值，x_i,j是第i个网格中第j个匹配点的坐标x值,y_i,j是第i个网格中第j个匹配点的坐标y值，其中j∈(1，acount_i),i∈(1,num),num是图像所划分出的网格数量,acount_i是第i个网格内匹配点数量；

B3、找到每一个网格中离质心最近的匹配点并作为关键点，具体步骤如下：

对于一个网格，计算该网格内匹配点与质心点之间的距离，计算公式如下：

$d_{i,j}=\sqrt{{(x_{i,j}-x_{{\mathrm{centro}}_i})}^2+{(y_{i,j}-y_{{\mathrm{centro}}_i})}^2}(j\∈(1,{\mathrm{acount}}_i)),$ 其中d_i,j表示第i个网格中第j个匹配点与该网格内质心的距离，acount_i是第i个网格内匹配点数量，x_i,j是第i个网格中第j个匹配点的坐标x值,y_i,j是第i个网格中第j个匹配点的坐标y值，是第i个网格质心点的坐标x值，是第i个网格质心点的坐标y值；

筛选出网格内距离最小值d_i,min＝min(d_i,j),j∈(1,acount_i)对应的匹配点作为对应网格的关键点，以此方法，计算图像内每一个网格内的匹配点与质心点的距离，并筛选出每一个网格内距离质心点最小距离的匹配点作为关键点；

C、相似度计算并判决，运用结构相似度算法SSIM(Structural Similarity)进行相似度的计算并判决，实现待识别人脸与人脸图像的匹配；

步骤C具体包括：

C1、采用结构相似度算法SSIM计算每一个网格中基于关键点一定邻域值F_i的相似度值， ${\mathrm{SSIM}}_i=({2u}_{u_i}{u}_{u_i}+c_2)(2{\mathrm{\σ}}_{u_i{v}_i}+c_1)/({u^2}_{u_i}+{u^2}_{v_i}+c_1)({{\mathrm{\σ}}^2}_{u_i}+{{\mathrm{\σ}}^2}_{v_i}+c_2),$ SSIM_i表示待识别人脸图像u中第i个网格的关键点与人脸图像v中第i个网格的关键点基于一定邻域值F_i的相似度值，分别表示图像u、v第i个网格的关键点基于一定邻域值F_i的均值，分别表示图像u、v第i个网格的关键点基于一定邻域值F_i的方差、表示图像u、v第i个网格的关键点基于一定邻域值F_i的协方差，c₁、c₂是常数，取c₁＝6.5025，c₂＝58.5225，F_i∈(1,img_size),i∈(1,num)，其中img_size是图像的长度值和宽度值中较小的值，num是图像中网格的数量,如果某些网格中没有关键点，该网格SSIM_i的值设为0；

C2、计算所有网格的相似度值并得到最终相似度值,计算公式如下:img_SSIM表示待识别人脸图像u与人脸图像v之间的最终相似度值，num′为图像中的匹配点总数；

C3、比较最终相似度值与阈值，当最终相似度值大于阈值时，认定待识别的人脸与识别人脸是同一个人，否则不是同一个人。

2.如权利要求1所述的方法，在步骤B1中，设置M＝N＝8。

3.如权利要求1所述的方法，在步骤C1中，邻域值F_i取值为8。

4.如前述任一项权利要求所述的方法，在步骤C3中，阈值的取值范围在0.1到0.5之间。

5.如权利要求4所述的方法，在步骤C3中，阈值为0.14。

6.如权利要求4所述的方法，在步骤C3中，阈值为0.26。