CN104680154A - 一种基于人脸特征和掌纹特征融合的身份识别方法 - Google Patents

Abstract

本发明公开了一种基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法；其特征是按如下步骤进行：1、在一幅图像中采集同一个人的人脸和掌纹，并建库；2、分别对图像中人脸和掌纹区域进行检测、分割，获取ROI区域；3、通过人脸识别算法和掌纹识别算法，分别计算认证图像和数据库中每一副图像的人脸特征、掌纹特征的卡方距离；4、采用多模态特征融合算法对两种特征距离进行融合，实现人的身份识别。本发明通过对人脸特征和掌纹特征进行融合，从而提高身份识别正确率。

Description

一种基于人脸特征和掌纹特征融合的身份识别方法

技术领域

本发明属于模式识别中的生物特征识别领域，主要涉及一种基于单幅图像的人脸特征和掌纹特征融合的身份识别方法。

背景技术

生物特征识别技术是利用人体本身所固有的物理特征或者行为特征，通过图像处理和模式识别等方法来鉴别个人身份的技术。用于生物特征识别的生物特征必须满足以下四个条件：普遍性，即每个人自身都具有该特征；唯一性，也称作可辨别性，即任何一个人所具有的该特征跟其他人都不相同；可测量性，即该特征在一定技术条件下可具体测量；稳定性，即该特征至少在一段时间内能够保持不变。同时，实际的生物特征识别系统一般还需要具有较高的辨别能力，即可以实现很高的识别率，较高的用户接受度等以及较强的防欺骗性特点。目前，生物特征识别技术主要有指纹、人脸、虹膜、掌纹、手形以及静脉等。

人脸识别是最为常见的一种生物特征识别技术，是一种直接、友好、方便、对使用者无任何心理障碍的识别方法，有着普遍性强，稳定性一般，可采集行强，分辨能力弱，易接受性强，防止欺骗性弱的特点。目前主流的人脸识别方法如下：

(1)、基于几何特征的方法：检测脸部器官如眼睛、眉毛、鼻子、嘴巴和下巴等，利用各个器官的位置、大小及相互之间的空间分布关系来识别人脸；

(2)、基于子空间的方法：将人脸图像经过投影变换投射至子空间中，由于投影变换具有非正交、非线性的特性，因此子空间中的人脸表示更具分辨力；

(3)、基于局部特征的方法：利用各类局部算子计算出相应的人脸图像，通过统计其直方图，利用直方图信息进行识别。

掌纹识别技术是由中国学者首先提出来的并在研究方面一直保持领先水平的一种主流生物特征识别技术，具有分辨能力强，易接受性强，防止欺骗性较强的特点。经过多年的研究和开发，掌纹识别技术已日臻成熟，已具备了规模产业化的条件。

掌纹的识别过程中可以利用的特征信息包括三大主线特征、几何特征、褶皱特征及掌纹中心三角区域等；识别的算法也有基于掌线、基于纹理、基于相关、基于表征、基于方向特征等几大类。识别的整体过程也相类似的包含了掌纹ROI区域(即掌纹图像感兴趣区域)分割、归一化、特征提取和匹配识别几个阶段。

和其他生物特征识别技术相比，人脸特征的社会性、直观性，使其在同时具有既可以被计算机识别，也可以被人眼识别的特点，具有其他生物特征识别技术不可替代的特性。但是单模态的人脸识别技术在光照不足、面貌修饰等情况下，识别准确率不够高，难以满足应用的精度要求。目前，单模态的掌纹认证技术的识别准确率很高，但是掌纹比较难以采集，特征的公开性、社会性不足，人眼难以分辨出掌纹对应人的身份。

发明内容

本发明是针对现有的单模态识别技术存在的不足，提出一种基于人脸特征和掌纹特征融合的身份识别方法，以期能对人脸特征和掌纹特征进行融合，从而提高身份识别正确率和适用性的同时，保证安全性。

本发明为解决技术问题采用如下技术方案：

本发明一种基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法的特点是按如下步骤进行：

步骤1、假设存在由N幅训练图像组成的图像数据库C＝{c₁,c₂,…,c_n,…,c_N}，c_n表示第n幅训练图像；1≤n≤N；所述第n幅训练图像c_n中包括同一个人的互不重叠的人脸图像f_n和手掌图像p_n；

步骤2、对所述第n幅训练图像c_n中的人脸图像f_n采用Haar特征和Adaboost分类器进行检测和分割，获得第n幅人脸区域

步骤3、对所述第n幅人脸区域进行归一化处理，获得第n幅人脸归一化区域

步骤4、对所述第n幅训练图像c_n中的手掌图像p_n利用肤色分割方法进行检测，获得第n幅手掌区域

步骤5、对所述第n幅手掌区域进行归一化处理，获得第n幅手掌归一化区域

步骤6、对所述第n幅人脸归一化区域利用LBP特征算子进行人脸LBP特征的提取，获得第n幅人脸特征直方图

步骤7、对所述第n幅手掌归一化区域进行MWLD掌纹特征的提取，获得第n幅掌纹特征直方图

步骤8、重复步骤2-步骤7，从而获得N幅训练图像库C的人脸特征直方图集合 $F^f=\{F_1^f,F_2^f,...,F_n^f,...F_N^f\}$ 和掌纹特征直方图 $F^p=\{F_1^p,F_2^p,...,F_n^p,...F_N^p\};$

步骤9、采集检测图像E；所述检测图像E中包括同一个人的互不重叠的人脸图像f_E和手掌图像p_E；

步骤10、对所述检测图像E按照步骤2-步骤7进行处理，获得检测图像E的人脸特征直方图F_E和掌纹特征直方图F_p；

步骤11、利用卡方距离分别计算所述检测图像E的人脸特征直方图F_E与所述人脸特征直方图集合中每个人脸特征直方图的距离，并进行归一化处理获得人脸特征距离集合 ${\mathrm{DIS}}^f=\{{\mathrm{dis}}_1^f,{\mathrm{dis}}_2^f,...,{\mathrm{dis}}_n^f,...{\mathrm{dis}}_N^f\};$ 表示所述检测图像E的人脸特征直方图F_E与所述第n幅人脸特征直方图的人脸特征距离；

步骤12、利用卡方距离分别计算所述检测图像E的掌纹特征直方图F_p与所述掌纹特征直方图中每个掌纹特征直方图的距离，并进行归一化处理获得掌纹特征距离集合 ${\mathrm{DIS}}^p=\{{\mathrm{dis}}_1^p,{\mathrm{dis}}_2^p,...,{\mathrm{dis}}_n^p,...{\mathrm{dis}}_N^p\};$ 表示所述检测图像E的掌纹特征直方图F_p与所述第n幅掌纹特征直方图的掌纹特征距离；

步骤13、对所述人脸特征距离集合和掌纹特征距离集合进行自适应加权融合处理，将融合后的特征距离按升序排列，获得最优特征距离集合DIS_opt；

步骤14、若所述最优特征距离集合DIS_opt中的任一元素都大于所设定的阈值，则表示身份识别失败，否则，识别成功，返回所述最优特征距离集合DIS_opt中最小距离所对应人的身份信息。

本发明所述的基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法的特点也在于，所述步骤7是按如下步骤进行：

步骤7.1、利用MFRAT算法获得所述第n幅训练图像c_n的手掌纹归一化区域的能量图和方向图

步骤7.2、定义映射范围为(-π/2,π/2)；将所述映射范围等分划分为l个区间；

步骤7.3、定义一个像素为s×s的矩形窗口W₁，,s＞1，且s为奇数；用所述窗口W₁对所述第n幅训练图像c_n的能量图由左上角按照从左到右，从上到下的顺序扫描；在扫描过程中，对任意个s×s的矩形区域，s＞1，且s为奇数，按步骤7.4和步骤7.5进行处理：

步骤7.4、将所述矩形区域的中心点像素值分别与所述矩形区域内的其他点的像素值进行求差计算，获得的差值进行累加后得到累积差异值；将所述累加差异值除以所述矩形区域的中心点像素值后获得差值比率；对所述差值比率进行反正切函数计算，获得优化后的中心点像素值；

步骤7.5、将所述优化后的中心点像素值映射到所述l个区间中，获得所述优化后的中心点像素值所在的区间；

步骤7.6、从而获得所述第n幅训练图像c_n的能量图中每个像素点在所述l个区间中所在的区间；

步骤7.7、定义方向范围为(0,2π)；将所述方向范围等分划分为m个区间；

步骤7.8、将所述第n幅训练图像c_n的方向图中的每个像素点映射到所述m个区间中，获得每个像素点所在的区间；

步骤7.9、将所述第n幅训练图像c_n的能量图中每个像素点在所述l个区间中所在的区间与所述方向图中的每个像素点在所述m个区间中所在的区间进行融合，从而获得二维掌纹特征直方图

所述步骤13是按如下步骤进行：

步骤13.1、初始化所述人脸特征距离的权重w_f＝0，所述掌纹特征距离的权重w_p＝1；

步骤13.2、利用式(1)对所述第n幅人脸特征距离与所述第n幅掌纹特征距离进行加权融合计算，获得第n幅特征距离从而获得初始特征距离集合 $\{{\mathrm{dis}}_1^{w_f,w_p},{\mathrm{dis}}_2^{w_f,w_p},...,{\mathrm{dis}}_n^{w_f,w_p},...,{\mathrm{dis}}_N^{w_f,w_p}\}:$

${\mathrm{dis}}_n^{w_f,w_p}=w_f{\mathrm{dis}}_n^f+w_p{\mathrm{dis}}_n^f---\left(1\right)$

步骤13.3、对所述初始特征距离集合进行升序排序，并计算前Y个特征距离的平均值Mean(Y)以及第Y+1个特征距离到第N个特征距离的平均值Mean(N-Y)；1≤Y≤N；

步骤13.4、利用式(2)进行自适应可靠判断，获得可靠判断值δ：

δ＝Mean(N)-Mean(N-Y)   (2)

步骤13.5、将所述人脸特征距离的权重w_f从0到1并以Δτ为步长进行逐步递增；同时，所述掌纹特征距离的权重w_p从1到0并以Δτ为步长进行逐步递减；从而分别获得人脸特征距离的权重变化集合{a₀,a₁,…,a_i,…a_1Δτ}和掌纹特征距离的权重变化集合{1-a₀,1-a₁,…1-a_i,…1-a_1/Δτ}；a_i表示递增第i次人脸特征距离的权重变化值；1-a_i表示递减第i次掌纹特征距离的权重变化值；

步骤13.6、将所述迭代第i次人脸特征距离的权重变化值a_i作为所述人脸特征距离的权重w_f；所述迭代第i次掌纹特征距离的权重变化值1-a_i作为所述掌纹特征距离的权重w_p；并按照步骤13.2-步骤13.4进行处理，获得可靠判断值δⁱ；从而获得可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}；

步骤13.7、选取所述可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}中的最大值所对应的人脸特征距离的权重变化值和掌纹特征距离的权重变化值分别作为人脸特征距离的最优权重w'_f和掌纹特征距离的最优权重w'_p；

步骤13.8、将所述人脸特征距离的最优权重w'_f和掌纹特征距离的最优权重w'_p所对应的特征距离集合进行升序排列作为最优特征距离集合DIS_opt。

与已有技术相比，本发明有益效果体现在：

1、本发明使用了一种人脸特征和掌纹特征融合的身份识别方法，充分利用了掌纹识别的准确率高，人脸特征的不易被伪造，安全性高的特点，将人脸特征和掌纹特征进行融合，集成在一副图像中进行采集和识别，有效地解决了现有的单模态识别准确率较低，信息单调的问题，提高了识别准确性和可靠性。

2、本发明是在单幅图像中对人脸和掌纹进行识别，无需将人脸和掌纹分开进行图像采集，方便了用户的检测过程；同时在提取人脸图像时，用比较成熟的人脸检测技术，提取分割人脸部分，有着较高的准确率，而在提取手掌区域时，本发明提出一种基于肤色的分割方法，通过矩形滑动窗口扫描能准确、快速地进行提取手掌区域，从而提高了识别速度。

3、本发明提出一种改进的WLD算子提取掌纹特征；利用MFRAT算法对手掌图像进行处理，获得手掌图像的能量图和方向图，从而在获得的能量图和方向图中提取手掌特征；进而通过MWLD算子大大提高了掌纹识别的准确率；克服了传统的WLD算子是在图像的差分激励图和梯度方向图像中进行特征提取而导致的准确率低的问题。

4、本发明在将掌纹识别和人脸识别进行融合时，提出自适应可靠判断和加权融合方法，通过定义一个自适应可靠判断函数，并选取全局最优值作为融合权重，解决了以往根据经验设置融合权重可能带来识别准确率不高的问题。

附图说明

图1为本发明人脸归一化区域示意图；

图2为本发明方法流程图。

具体实施方式

本实施例中，针对非接触式身份识别，提出了一种基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法，是利用检测图像E对存储在训练图像数据库中的训练图像进行特征距离的比较，并返回与检测图像E的特征距离最小的训练图像所对应人的身份信息，具体是按如下步骤进行：

步骤1、假设存在由N幅训练图像组成的图像数据库C＝{c₁,c₂,…,c_n,…,c_N}，c_n表示第n幅训练图像；1≤n≤N；本实施例中，通过征集100位志愿者，每位志愿者采集5幅训练图像，共500张训练图像，构成图像数据库C；第n幅训练图像c_n中包括同一个人的互不重叠的人脸图像f_n和手掌图像p_n；

步骤2、对第n幅训练图像c_n中的人脸图像f_n采用Haar特征和Adaboost分类器进行检测和分割，获得第n幅人脸区域

步骤2.1、将训练图像c_n转换为灰度图像G，对灰度图像G进行直方图均衡化操作；

步骤2.2、调用人脸检测分类器C₁，以p×p像素大小的矩形为检测窗口W₂，以x个像素为步长，将检测窗口W₂自灰度图像G左上角从左往右，从上往下进行滑动，若待识别灰度图像G在检测窗口W₂范围内的矩形区域R通过人脸检测分类器C₁，则认定区域R为人脸区域，并记录矩形区域R的左上角坐标；

步骤2.3、以1.1倍逐级放大矩形检测窗口W₂，重复步骤2.2，在不同分辨率尺度下检测人脸区域，直至矩形检索窗口W₂的大小超过待识别图像G大小的一半，则停止循环遍历，记录所有被分类器C₁认定为人脸区域集合R_face；

步骤2.4、统计人脸区域集合R_face，记录认定次数超过3次的区域为最终包含人脸的区域

步骤3、对第n幅人脸区域进行归一化处理，获得第n幅人脸归一化区域本实施例中，具体人脸归一化的方法参考《基于眼定位的人脸图像归一化方法》这一论文；

步骤4、对第n幅训练图像c_n中的手掌图像p_n利用肤色分割方法进行检测，将第n幅训练图像c_n转化为灰度图像将灰度图像中的人脸区域部分以黑色像素进行填充；利用OTSU算法将灰度图像转化为二值对二值化图像设置高为h_b，宽为w_b的矩形滑动窗口W₃，将矩形滑动窗口W₃在二值化图像B由左上角上从左往右，从上往下进行滑动，直到二值图像当前矩形滑动窗口W₃范围内黑色像素点的个数占滑动窗口W₃内总像素个数的比例超过90％，以该矩形滑动窗口W₃上边缘中点为中心，取高为2h，宽为1.5w的矩形区域，获得第n幅手掌区域

步骤5、对第n幅手掌区域进行归一化处理，归一化处理包括旋转归一化和大小归一化，保证了角度和尺度的一致性，获得第n幅手掌归一化区域

步骤6、对第n幅人脸归一化区域利用LBP特征算子进行人脸LBP特征的提取，获得第n幅人脸特征直方图

步骤6.1、将人脸归一化区域划分为Z×Z个矩形区域，在归一化人脸区域R_f的每一个k×k的矩形区域内，以矩形区域中心点灰度值为阈值，将相邻像素点的灰度值与其进行比较。若大于，则将邻域内的像素点标记为0，否则标记为1，从而获得由邻域内的像素点标记值构成的一组二进制序列；

步骤6.2、将二进制序列转换为十进制值并作为当前矩形区域中心点的像素值；

步骤6.3、统计Z×Z个矩形区域内各个点像素值出现的频率，构建直方图F；

步骤6.4、将Z×Z个直方图F进行串联，构建对第n幅人脸归一化区域人脸特征直方图

步骤7、对第n幅手掌归一化区域进行MWLD掌纹特征的提取，获得第n幅掌纹特征直方图

步骤7.1、利用MFRAT算法获得第n幅训练图像c_n的手掌纹归一化区域的能量图和方向图

步骤7.2、定义映射范围为(-π/2,π/2)；将映射范围等分划分为l个区间；

步骤7.3、定义一个像素为s×s的矩形窗口W，,s＞1，且s为奇数；用窗口W对第n幅训练图像c_n的能量图由左上角按照从左到右，从上到下的顺序扫描；在扫描过程中，对任意个s×s的矩形区域，s＞1，且s为奇数，按步骤7.4和步骤7.5进行处理：

步骤7.4、将矩形区域的中心点像素值分别与矩形区域内的其他点的像素值进行求差计算，获得的差值进行累加后得到累积差异值；将累加差异值除以矩形区域的中心点像素值后获得差值比率；对差值比率进行反正切函数计算，获得优化后的中心点像素值；

步骤7.5、将优化后的中心点像素值映射到l个区间中，获得优化后的中心点像素值所在的区间；

步骤7.6、从而获得第n幅训练图像c_n的能量图中每个像素点在l个区间中所在的区间；

步骤7.7、定义方向范围为(0,2π)；将方向范围等分划分为m个区间；

步骤7.8、将第n幅训练图像c_n的方向图中的每个像素点映射到m个区间中，获得每个像素点所在的区间；

步骤7.9、将第n幅训练图像c_n的能量图中每个像素点在l个区间中所在的区间与方向图中的每个像素点在m个区间中所在的区间进行融合，从而获得二维掌纹特征直方图

步骤8、重复步骤2-步骤7，从而获得N幅训练图像库C的人脸特征直方图集合 $F^f=\{F_1^f,F_2^f,...,F_n^f,...F_N^f\}$ 和掌纹特征直方图 $F^p=\{F_1^p,F_2^p,...,F_n^p,...F_N^p\};$

步骤9、采集检测图像E；检测图像E中包括同一个人的互不重叠的人脸图像f_E和手掌图像p_E；

步骤10、对检测图像E按照步骤2-步骤7进行处理，获得检测图像E的人脸特征直方图F_E和掌纹特征直方图F_p；

步骤11、利用式(1)所示的卡方距离分别计算检测图像E的人脸特征直方图F_E与人脸特征直方图集合中每个人脸特征直方图的距离，并进行归一化处理获得人脸特征距离集合 ${\mathrm{DIS}}^f=\{{\mathrm{dis}}_1^f,{\mathrm{dis}}_2^f,...,{\mathrm{dis}}_n^f,...{\mathrm{dis}}_N^f\};$ 表示检测图像E的人脸特征直方图F_E与第n幅人脸特征直方图的人脸特征距离；

${\mathrm{dis}}_n^f=\underset{i=1}{\overset{\mathrm{fb}}{\mathrm{\Σ}}}\frac{{(F_E^f\left(q\right)-F_n^f\left(q\right))}^2}{F_E^f\left(q\right)+F_n^f\left(q\right)}---\left(1\right)$

式(1)中，表示库图像中第n个图像的人脸直方图的第q维数据，fb表示人脸直方图的维数；

步骤12、利用式(2)所示的卡方距离分别计算检测图像E的掌纹特征直方图F_p与掌纹特征直方图中每个掌纹特征直方图的距离，并进行归一化处理获得掌纹特征距离集合 ${\mathrm{DIS}}^p=\{{\mathrm{dis}}_1^p,{\mathrm{dis}}_2^p,...,{\mathrm{dis}}_n^p,...{\mathrm{dis}}_N^p\};$ 表示检测图像E的掌纹特征直方图F_p与第n幅掌纹特征直方图的掌纹特征距离；

${\mathrm{dis}}_n^p=\underset{i=1}{\overset{\mathrm{pb}}{\mathrm{\Σ}}}\frac{{(F_E^p\left(k\right)-F_n^p\left(k\right))}^2}{F_E^p\left(k\right)+F_n^p\left(k\right)}---\left(2\right)$

式(2)中，表示库图像中第n个图像的掌纹直方图的第k维数据,pb表示掌纹直方图的维数；

步骤13、对人脸特征距离集合和掌纹特征距离集合进行自适应加权融合处理，将融合后的特征距离按升序排列，获得最优特征距离集合DIS_opt；

步骤13.1、初始化人脸特征距离的权重w_f＝0，掌纹特征距离的权重w_p＝1；

步骤13.2、利用式(3)对第n幅人脸特征距离与第n幅掌纹特征距离进行加权融合计算，获得第n幅特征距离从而获得初始特征距离集合 $\{{\mathrm{dis}}_1^{w_f,w_p},{\mathrm{dis}}_2^{w_f,w_p},...,{\mathrm{dis}}_n^{w_f,w_p},...,{\mathrm{dis}}_N^{w_f,w_p}\}:$

${\mathrm{dis}}_n^{w_f,w_p}=w_f{\mathrm{dis}}_n^f+w_p{\mathrm{dis}}_n^f---\left(3\right)$

步骤13.3、对初始特征距离集合进行升序排序，并计算前Y个特征距离的平均值Mean(Y)以及第Y+1个特征距离到第N个特征距离的平均值Mean(N-Y)；1≤Y≤N；

步骤13.4、利用式(4)进行自适应可靠判断，获得可靠判断值δ：

δ＝Mean(N)-Mean(N-Y)    (4)

步骤13.5、将人脸特征距离的权重w_f从0到1并以Δτ为步长进行逐步递增；同时，掌纹特征距离的权重w_p从1到0并以Δτ为步长进行逐步递减；从而分别获得人脸特征距离的权重变化集合{a₀,a₁,…,a_i,…a_1/Δτ}和掌纹特征距离的权重变化集合{1-a₀,1-a₁,…1-a_i,…1-a_1/Δτ}；a_i表示递增第i次人脸特征距离的权重变化值；1-a_i表示递减第i次掌纹特征距离的权重变化值；

步骤13.6、将迭代第i次人脸特征距离的权重变化值a_i作为人脸特征距离的权重w_f；迭代第i次掌纹特征距离的权重变化值1-a_i作为掌纹特征距离的权重w_p；并按照步骤13.2-步骤13.4进行处理，获得可靠判断值δⁱ；从而获得可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}；

步骤13.7、选取可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}中的最大值所对应的人脸特征距离的权重变化值和掌纹特征距离的权重变化值分别作为人脸特征距离的最优权重w'_f和掌纹特征距离的最优权重w'_p；

步骤13.8、将人脸特征距离的最优权重w'_f和掌纹特征距离的最优权重w'_p所对应的特征距离集合进行升序排列作为最优特征距离集合DIS_opt；

步骤14、若最优特征距离集合DIS_opt中的任一元素都大于所设定的阈值，则表示身份识别失败，否则，识别成功，返回最优特征距离集合DIS_opt中最小距离所对应人的身份信息，即集合DIS_opt中第一个距离值所对应的训练图像的识别标记。

Claims (3)

1.一种基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法，其特征是按如下步骤进行：

步骤1、假设存在由N幅训练图像组成的图像数据库C＝{c₁,c₂,…,c_n,…,c_N}，c_n表示第n幅训练图像；1≤n≤N；所述第n幅训练图像c_n中包括同一个人的互不重叠的人脸图像f_n和手掌图像p_n；

步骤2、对所述第n幅训练图像c_n中的人脸图像f_n采用Haar特征和Adaboost分类器进行检测和分割，获得第n幅人脸区域

步骤3、对所述第n幅人脸区域进行归一化处理，获得第n幅人脸归一化区域

步骤4、对所述第n幅训练图像c_n中的手掌图像p_n利用肤色分割方法进行检测，获得第n幅手掌区域

步骤5、对所述第n幅手掌区域进行归一化处理，获得第n幅手掌归一化区域

步骤6、对所述第n幅人脸归一化区域利用LBP特征算子进行人脸LBP特征的提取，获得第n幅人脸特征直方图

步骤7、对所述第n幅手掌归一化区域进行MWLD掌纹特征的提取，获得第n幅掌纹特征直方图

步骤8、重复步骤2-步骤7，从而获得N幅训练图像库C的人脸特征直方图集合 $F^f=\{{F_1}^f,F_2^f,...,F_n^f,...F_N^f\}$ 和掌纹特征直方图 $F^p=\{{F_1}^p,F_2^p,...,F_n^p,...F_N^p\};$

步骤9、采集检测图像E；所述检测图像E中包括同一个人的互不重叠的人脸图像f_E和手掌图像p_E；

步骤10、对所述检测图像E按照步骤2-步骤7进行处理，获得检测图像E的人脸特征直方图F_E和掌纹特征直方图F_p；

步骤11、利用卡方距离分别计算所述检测图像E的人脸特征直方图F_E与所述人脸特征直方图集合中每个人脸特征直方图的距离，并进行归一化处理获得人脸特征距离集合 表示所述检测图像E的人脸特征直方图F_E与所述第n幅人脸特征直方图的人脸特征距离；

步骤12、利用卡方距离分别计算所述检测图像E的掌纹特征直方图F_p与所述掌纹特征直方图中每个掌纹特征直方图的距离，并进行归一化处理获得掌纹特征距离集合 表示所述检测图像E的掌纹特征直方图F_p与所述第n幅掌纹特征直方图的掌纹特征距离；

步骤13、对所述人脸特征距离集合和掌纹特征距离集合进行自适应加权融合处理，将融合后的特征距离按升序排列，获得最优特征距离集合DIS_opt；

步骤14、若所述最优特征距离集合DIS_opt中的任一元素都大于所设定的阈值，则表示身份识别失败，否则，识别成功，返回所述最优特征距离集合DIS_opt中最小距离所对应人的身份信息。

2.根据权利要求1所述的基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法，其特征是，所述步骤7是按如下步骤进行：

步骤7.1、利用MFRAT算法获得所述第n幅训练图像c_n的手掌纹归一化区域的能量图和方向图

步骤7.2、定义映射范围为(-π/2,π/2)；将所述映射范围等分划分为l个区间；

步骤7.3、定义一个像素为s×s的矩形窗口W₁，,s＞1，且s为奇数；用所述窗口W₁对所述第n幅训练图像c_n的能量图由左上角按照从左到右，从上到下的顺序扫描；在扫描过程中，对任意个s×s的矩形区域，s＞1，且s为奇数，按步骤7.4和步骤7.5进行处理：

步骤7.4、将所述矩形区域的中心点像素值分别与所述矩形区域内的其他点的像素值进行求差计算，获得的差值进行累加后得到累积差异值；将所述累加差异值除以所述矩形区域的中心点像素值后获得差值比率；对所述差值比率进行反正切函数计算，获得优化后的中心点像素值；

步骤7.5、将所述优化后的中心点像素值映射到所述l个区间中，获得所述优化后的中心点像素值所在的区间；

步骤7.6、从而获得所述第n幅训练图像c_n的能量图中每个像素点在所述l个区间中所在的区间；

步骤7.7、定义方向范围为(0,2π)；将所述方向范围等分划分为m个区间；

步骤7.8、将所述第n幅训练图像c_n的方向图中的每个像素点映射到所述m个区间中，获得每个像素点所在的区间；

步骤7.9、将所述第n幅训练图像c_n的能量图中每个像素点在所述l个区间中所在的区间与所述方向图中的每个像素点在所述m个区间中所在的区间进行融合，从而获得二维掌纹特征直方图

3.根据权利要求1所述的基于单幅图像的人脸和掌纹多模态特征融合的身份识别方法，其特征是，所述步骤13是按如下步骤进行：

步骤13.1、初始化所述人脸特征距离的权重w_f＝0，所述掌纹特征距离的权重w_p＝1；

步骤13.2、利用式(1)对所述第n幅人脸特征距离与所述第n幅掌纹特征距离进行加权融合计算，获得第n幅特征距离从而获得初始特征距离集合 $\{{\mathrm{dis}}_1^{w_f,w_p},{\mathrm{dis}}_2^{w_f,w_p},...,{\mathrm{dis}}_n^{w_f,w_p},...,{\mathrm{dis}}_N^{w_f,w_p}\}:$

${\mathrm{dis}}_n^{w_f,w_p}=w_f{\mathrm{dis}}_n^f+w_p{\mathrm{dis}}_n^f---\left(1\right)$

步骤13.3、对所述初始特征距离集合进行升序排序，并计算前Y个特征距离的平均值Mean(Y)以及第Y+1个特征距离到第N个特征距离的平均值Mean(N-Y)；1≤Y≤N；

步骤13.4、利用式(2)进行自适应可靠判断，获得可靠判断值δ：

δ＝Mean(N)-Mean(N-Y) (2)

步骤13.5、将所述人脸特征距离的权重w_f从0到1并以Δτ为步长进行逐步递增；同时，所述掌纹特征距离的权重w_p从1到0并以Δτ为步长进行逐步递减；从而分别获得人脸特征距离的权重变化集合{a₀,a₁,…,a_i,…a_1/Δτ}和掌纹特征距离的权重变化集合{1-a₀,1-a₁,…1-a_i,…1-a_1/Δτ}；a_i表示递增第i次人脸特征距离的权重变化值；1-a_i表示递减第i次掌纹特征距离的权重变化值；

步骤13.6、将所述迭代第i次人脸特征距离的权重变化值a_i作为所述人脸特征距离的权重w_f；所述迭代第i次掌纹特征距离的权重变化值1-a_i作为所述掌纹特征距离的权重w_p；并按照步骤13.2-步骤13.4进行处理，获得可靠判断值δⁱ；从而获得可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}；

步骤13.7、选取所述可靠判断值集合{δ⁰,δ¹,…,δⁱ,…δ^1/Δτ}中的最大值所对应的人脸特征距离的权重变化值和掌纹特征距离的权重变化值分别作为人脸特征距离的最优权重w′_f和掌纹特征距离的最优权重w′_p；

步骤13.8、将所述人脸特征距离的最优权重w′_f和掌纹特征距离的最优权重w′_p所对应的特征距离集合进行升序排列作为最优特征距离集合DIS_opt。