CN108921191A - 基于图像质量评估的多生物特征融合识别方法 - Google Patents

Abstract

本发明是一种基于图像质量评估的多生物特征融合识别方法，首先通过图像采集子系统采集用户的人脸和虹膜图像并对其进行相应预处理，其次对经过预处理的图像分别送入相应的识别认证子系统进行质量评估、特征提取和模板匹配等步骤，输出各自匹配分数以及相应匹配质量置信度分数，最后将这些分数归一化后送入识别融合子系统，采用动态加权融合算法得到识别认证结果。本发明的有益效果之处在于：所述方法较单一人脸或虹膜识别算法具有更高的识别准确率，能实现高精度的个人身份识别；同时，所述方法在现有主流融合识别算法基础上，提取出图像质量有用信息应用于融合识别认证过程，进一步提升系统识别性能。

Description

基于图像质量评估的多生物特征融合识别方法

技术领域

本发明的实施例涉及一种基于图像质量评估的多生物特征融合识别方法，更具体地，涉及一种基于图像质量评估的包含人脸识别、虹膜识别的多生物特征融合识别方法。

背景技术

随着信息化建设的飞速发展，人类日益增大的物理与虚拟活动空间面临越来越多的身份认证识别问题,传统的基于身份证或口令的认证识别方式存在易遗忘和被窃取的风险。尤为严重的是这些传统方式无法区分真正的拥有者和取得身份标识物的冒充者，而利用一个人固有的生理或行为特征实现身份认证识别，生物特征的一些固有属性(如不易伪造和窃取等)使得它比使用身份证或口令等传统方法更为可靠。近年来，生物特征识别在可靠性、准确性方面取得了相当大的改进，但实际应用中存在一些不利因素如环境、样本采集和欺骗攻击等，影响了系统的识别准确性，使其仍无法满足一些高安全性场合的要求。

生物特征融合识别为这些情况提供了一个有效对策，它通过融合多种生物特征的特征信息，消除一些单一生物特征识别具有的弊端，以改进整个系统的识别性能，实现高精度的个体身份识别。现有多生物特征识别系统的成功实例证明了生物特征融合的可行性和有效性。随着实际应用中对信息安全要求的不断提高，生物特征融合识别依靠它能够提高准确率、可靠性和安全性等识别性能，成为当今国际生物特征识别技术的发展新方向。

由于分数层融合能够对不同特征中的信息量以及处理这些信息的难易程度之间做到很好的平衡，所以基于匹配分数加权的融合方法成为主流融合算法之一，该方法首先是将身份识别系统输出的待识别特征与训练的数据库特征进行匹配，得出的匹配程度，以＂候选人＂等级的模式输出结果，最后用加权等方式得出最后判断。然而该类算法未充分利用图像的有用信息，限制了融合识别性能提升。

发明内容

本发明的实施例提供一种基于图像质量评估的多生物特征融合识别算法，所述方法包括步骤：

步骤1：图像数据采集：利用摄像装置，对未知用户X的人脸和虹膜进行图像采集。

步骤2：图像预处理：主要由定位、归一化和图像增强三部分组成。人脸图像定位采用的是基于Haar特征与Adaboost相结合的算法，归一化采用平移、旋转和缩放等措施，图像增强采用直方图均衡化。虹膜图像定位采用霍夫变换(Hough)和边缘检测相结合的算法，归一化采用的是极坐标变换，图像增强采用直方图均衡化。

步骤3：图像质量评估：利用光照和清晰度作为质量影响因子来进行人脸和虹膜图像质量评估，得出人脸和虹膜图像的质量评估分数Q_face和Q_iris。

步骤4：特征提取和模板匹配：对人脸图像采用分块LBP(Local Binary Pattern)提取图像纹理特征，采用卡方距离(chi-square distance)与人脸特征库进行模板匹配得出匹配分数S_face，采用下方公式计算出所述次模板匹配的匹配质量置信度分数G_face；对虹膜图像利用多通道2D Log-Gabor提取虹膜纹理特征，采用海明距离(Hamming Distance)与虹膜特征库进行模板匹配得出匹配分数S_iris，采用下方公式计算出所述次模板匹配的匹配质量置信度分数G_iris。

步骤5：归一化处理：采用TANH方法对所有模板匹配分数进行归一化处理，采用MAX-MIN方法对所有匹配质量置信度分数进行归一化处理，处理后的每一个分数都在[0,1]之间。

步骤6：融合识别：用归一化后的匹配分数和匹配质量置信度分数进行融合识别，其具体步骤如下：步骤61：初始权重分配：用于根据预设的权值分配标准为每个归一化后的所述模板匹配分数对应分配一个初始权重值,且所有所述权值之和等于1。步骤62：权重调整：用于在保证所有所述权值之和等于1的前提下,根据所述匹配质量置信度分数调整每个对应的所述模板匹配分数的对应权值。步骤63：加权融合识别：用于根据归一化后的所述模板匹配分数和调整后的对应权值进行加权融合,得出最终的识别结果。

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述步骤4中计算匹配质量置信度分数G的公式为：

G＝min{Q₁,Q₂}

其中Q₁和Q₂为进行模板匹配的两幅图像各自的质量评估分数。

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述步骤61中的所有所述初始权重权值之和等于1，即：

所述步骤62中权重调整的具体方法为：

若G_face>＝T_face且G_iris<T_iris时

若G_face<T_face且G_iris>＝T_iris时

若G_face<T_face且G_iris<T_iris时

若G_face>＝T_face且G_iris>＝T_iris时

其中，E_face与E_iris为单一人脸与虹膜识别算法的等错误率(EER)，T_face和T_iris为人脸和虹膜匹配质量置信度阈值。

所述步骤63的加权融合识别方法为：

S_fusion＝w_face*S_face+w_iris*S_iris

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，对图像进行质量评估的处理方法具体为：

步骤1.对人脸图像进行质量评估的具体处理步骤为：

步骤11：将人脸图像划分为左右两半部分人脸I_L和I_R，然后将右半部分人脸水平翻转得到I_RL；

步骤12:计算出光照对称值Q_S，其方法为：

其中：和表示图像I_L和I_RL像素灰度均值，和表示图像I_L和I_RL像素灰度方差，表示图像I_L和I_RL像素灰度协方差，N＝m*n，m和n表示图像I_L的宽高。

步骤13：根据人眼对灰度的敏感性，确定对人眼产生有效激励的像素灰度值范围为：62～242。统计整幅图像中像素灰度值在所述范围的数目M，确定图像光照强度m和n表示图像的宽高。

步骤14：将Q_S和Q_I结合起来，即融合光照对称度和强度，采用Q＝Q_S*Q_I计算出人脸图像质量评估分数。

步骤2：对虹膜图像进行质量评估的具体处理步骤为：

步骤21：采用Haar小波变换将虹膜图像分解为一个低频子带LL和三个高频子带LH，HL，HH。

步骤22：计算出三个高频子带HH，HL，HL的能量总和E_H，计算出低频子带LL的能量E_L。通过计算出虹膜图像质量评估分数。

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述的E_face、E_iris、T_face和T_iris的具体获取方法为：

根据所述方法中的步骤1-5创建一个足够大的训练集库A，所述训练库A包含人脸和虹膜特征类内和类外模板匹配获取的匹配分数以及相应的匹配质量置信度分数。

根据步骤1获取的类内和类外模板匹配分数统计出单一的人脸识别和单一虹膜识别算法的ROC曲线(如附图3)，进而计算出单一人脸识别与单一虹膜识别算法的等错误率E_face与E_iris。

根据步骤1获取的匹配分数和匹配质量置信度分数，计算出人脸特征的类外和类内匹配分数回归曲线f_{face_out}(x)，f_{face_in}(x)(如附图2)。进而根据下列公式求出人脸匹配质量置信度阈值T_face。

求解虹膜匹配质量置信度阈值T_iris与求解人脸匹配质量置信度阈值T_face的方法一致。

本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法，将人脸识别算法、虹膜识别算法以及图像质量评估算法结合起来，根据最后的融合算法做出识别决策，提高识别准确率，从而提升系统识别性能。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。

图1为本发明实施例提供的多特征融合识别系统的系统框架图；

图2为本发明实施例提供的图像匹配质量置信度与匹配分数关系图；以及

图3为本发明实施例提供的单样本下的各种算法ROC曲线图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前生物特征融合识别算法未充分利用图像的有用信息，限制了融合识别性能提升。

本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法，将人脸识别算法、虹膜识别算法以及图像质量评估算法结合起来，根据最后的融合算法做出识别决策，提高识别准确率，从而提升系统识别性能。

如图1所述，本发明的实施例提供一种基于图像质量评估的多生物特征融合识别算法，所述方法包括步骤：

步骤1：图像数据采集：利用摄像装置，对未知用户X的人脸和虹膜进行图像采集。所述人脸图像采集可在虹膜图像采集之前进行，具体地，利用摄像装置，对未知用户X的人脸进行定位并采集人脸图像；然后通过聚焦方式对所未知用户X的眼睛进行定位并采集虹膜图像。

步骤2：图像预处理：主要由定位、归一化和图像增强三部分组成。人脸图像定位采用的是基于Haar特征与Adaboost相结合的算法，归一化采用平移、旋转和缩放等措施，图像增强采用直方图均衡化。虹膜图像定位采用霍夫变换(Hough)和边缘检测相结合的算法，归一化采用的是极坐标变换，图像增强采用直方图均衡化。

步骤3：图像质量评估：利用光照和清晰度作为质量影响因子来进行人脸和虹膜图像质量评估，得出人脸和虹膜图像的质量评估分数Q_face和Q_iris。所述图像质量评估方法可采用基于概率模型的方法，这类方法首先建立图像特征与图像质量之间的统计概率模型,大多采用多变量高斯分布描述概率分布。对待评价图像,提取特征后根据概率模型计算最大后验概率的图像质量,或根据与概率模型的匹配程度(如特征间的距离)估计图像质量。

步骤4：特征提取和模板匹配：对人脸图像采用分块LBP(Local Binary Pattern)提取图像纹理特征，采用卡方距离(chi-square distance)与人脸特征库进行模板匹配得出匹配分数S_face，采用下方公式计算出所述次模板匹配的匹配质量置信度分数G_face；对虹膜图像利用多通道2D Log-Gabor提取虹膜纹理特征，采用海明距离(Hamming Distance)与虹膜特征库进行模板匹配得出匹配分数S_iris，采用下方公式计算出所述次模板匹配的匹配质量置信度分数G_iris。

步骤5：归一化处理：采用TANH方法对所有模板匹配分数进行归一化处理，采用MAX-MIN方法对所有匹配质量置信度分数进行归一化处理，处理后的每一个分数都在[0,1]之间。

步骤6：融合识别：用归一化后的匹配分数和匹配质量置信度分数进行融合识别，其具体步骤如下：步骤61：初始权重分配：用于根据预设的权值分配标准为每个归一化后的所述模板匹配分数对应分配一个初始权重值,且所有所述权值之和等于1。步骤62：权重调整：用于在保证所有所述权值之和等于1的前提下,根据所述匹配质量置信度分数调整每个对应的所述模板匹配分数的对应权值。步骤63：加权融合识别：用于根据归一化后的所述模板匹配分数和调整后的对应权值进行加权融合,得出最终的识别结果。

例如，如图2所示，本发明一实施例提供的图像匹配质量置信度与匹配分数关系图，其中，匹配分数随着图像匹配质量置信度升高而降低。在本发明实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述步骤4中计算匹配质量置信度分数G的公式为：

G＝min{Q₁,Q₂}

其中Q₁和Q₂为进行模板匹配的两幅图像各自的质量评估分数。

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述步骤61中的所有所述初始权重权值之和等于1，即：

所述步骤62中权重调整的具体方法为：

若G_face>＝T_face且G_iris<T_iris时

若G_face<T_face且G_iris>＝T_iris时

若G_face<T_face且G_iris<T_iris时

若G_face>＝T_face且G_iris>＝T_iris时

其中，E_face与E_iris为单一人脸与虹膜识别算法的等错误率(EER)，T_face和T_iris为人脸和虹膜匹配质量置信度阈值。

所述步骤63的加权融合识别方法为：

S_fusion＝w_face*S_face+w_iris*S_iris

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，对图像进行质量评估的处理方法具体为：

步骤1.对人脸图像进行质量评估的具体处理步骤为：

步骤11：将人脸图像划分为左右两半部分人脸I_L和I_R，然后将右半部分人脸水平翻转得到I_RL；

步骤12:计算出光照对称值Q_S，其方法为：

其中：和表示图像I_L和I_RL像素灰度均值，和表示图像I_L和I_RL像素灰度方差，表示图像I_L和I_RL像素灰度协方差，N＝m*n，m和n表示图像I_L的宽高。

步骤13：根据人眼对灰度的敏感性，确定对人眼产生有效激励的像素灰度值范围为：62～242。统计整幅图像中像素灰度值在所述范围的数目M，确定图像光照强度m和n表示图像的宽高。

步骤14：将Q_S和Q_I结合起来，即融合光照对称度和强度，采用Q＝Q_S*Q_I计算出人脸图像质量评估分数。

步骤2：对虹膜图像进行质量评估的具体处理步骤为：

步骤21：采用Haar小波变换将虹膜图像分解为一个低频子带LL和三个高频子带LH，HL，HH。

步骤22：计算出三个高频子带HH，HL，HL的能量总和E_H，计算出低频子带LL的能量E_L。通过计算出虹膜图像质量评估分数。

例如，在本发明的实施例提供的基于图像质量评估的多生物特征融合识别方法中，所述的E_face、E_iris、T_face和T_iris的具体获取方法为：

根据所述方法中的步骤1-5创建一个足够大的训练集库A，所述训练库A包含人脸和虹膜特征类内和类外模板匹配获取的匹配分数以及相应的匹配质量置信度分数。

根据步骤1获取的类内和类外模板匹配分数统计出单一的人脸识别和单一虹膜识别方法的ROC曲线(如附图3)，进而计算出单一人脸识别与单一虹膜识别算法的等错误率E_face与E_iris。

根据步骤1获取的匹配分数和匹配质量置信度分数，计算出人脸特征的类外和类内匹配分数回归曲线f_{face_out}(x)，f_{face_in}(x)(如附图2)。进而根据下列公式求出人脸匹配质量置信度阈值T_face。

求解虹膜匹配质量置信度阈值T_iris与求解人脸匹配质量置信度阈值T_face的方法一致。

应用本发明的实施例提供基于图像质量评估的多生物特征融合识别方法，结果在图3中给出。本发明的方法比单一人脸识别算法和单一虹膜识别算法有较低的误识率和较低的拒真率，而且比传统的加权融合方法的误识率和拒真率要低，从而提升系统识别性能。

本发明的实施例的基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (5)

1.一种基于图像质量评估的多生物特征融合识别方法，所述方法包括如下步骤：

步骤1：图像数据采集：利用摄像装置，对未知用户X的人脸和虹膜进行图像采集；

步骤2：图像预处理：主要由定位、归一化和图像增强三部分组成；人脸图像定位采用的是基于Haar特征与Adaboost相结合的算法，归一化采用平移、旋转和缩放措施，图像增强采用直方图均衡化，虹膜图像定位采用霍夫变换和边缘检测相结合的算法，归一化采用的是极坐标变换，图像增强采用直方图均衡化；

步骤3：图像质量评估：利用光照和清晰度作为质量影响因子来进行人脸和虹膜图像质量评估，得出人脸和虹膜图像的质量评估分数Q_face和Q_iris；

步骤4：特征提取和模板匹配：对人脸图像采用分块LBP提取图像纹理特征，采用卡方距离与人脸特征库进行模板匹配得出匹配分数S_face，采用下方公式计算出次模板匹配的匹配质量置信度分数G_face；对虹膜图像利用多通道2DLog-Gabor提取虹膜纹理特征，采用海明距离与虹膜特征库进行模板匹配得出匹配分数S_iris，采用下方公式计算出所述次模板匹配的匹配质量置信度分数G_iris；

步骤5：归一化处理：采用TANH方法对所有模板匹配分数进行归一化处理，采用MAX-MIN方法对所有匹配质量置信度分数进行归一化处理，处理后的每一个分数都在[0,1]之间；

步骤6：融合识别：用归一化后的匹配分数和匹配质量置信度分数进行融合识别，其具体步骤如下：

步骤61：初始权重分配：用于根据预设的权值分配标准为每个归一化后的所述模板匹配分数对应分配一个初始权重值,且所有所述权值之和等于1；

步骤62：权重调整：用于在保证所有所述权值之和等于1的前提下,根据所述匹配质量置信度分数调整每个对应的所述模板匹配分数的对应权值；

步骤63：加权融合识别：用于根据归一化后的所述模板匹配分数和调整后的对应权值进行加权融合,得出最终的识别结果。

2.根据权利要求1所述的识别方法，所述步骤4中计算匹配质量置信度分数G的公式为：

G＝min{Q₁,Q₂}

其中Q₁和Q₂为进行模板匹配的两幅图像各自的质量评估分数。

3.根据权利要求1所述的识别方法，所述步骤61中的所有所述初始权重权值之和等于1，即：

所述步骤62中权重调整的具体方法为：

若G_face>＝T_face且G_iris<T_iris时

若G_face<T_face且G_iris>＝T_iris时

若G_face<T_face且G_iris<T_iris时

若G_face>＝T_face且G_iris>＝T_iris时

其中，E_face与E_iris为单一人脸与虹膜识别算法的等错误率，T_face和T_iris为人脸和虹膜匹配质量置信度阈值；

所述步骤63的加权融合识别方法为：

S_fusion＝w_face*S_face+w_iris*S_iris。

4.根据权利要求1所述的识别方法，对图像进行质量评估的处理方法具体为：

步骤1.对人脸图像进行质量评估的具体处理步骤为：

步骤11：将人脸图像划分为左右两半部分人脸I_L和I_R，然后将右半部分人脸水平翻转得到I_RL；

步骤12:计算出光照对称值Q_S，其方法为：

其中：和表示图像I_L和I_RL像素灰度均值，和表示图像I_L和I_RL像素灰度方差，表示图像I_L和I_RL像素灰度协方差，N＝m*n，m和n表示图像I_L的宽高；

步骤13：根据人眼对灰度的敏感性，确定对人眼产生有效激励的像素灰度值范围为：62～242；统计整幅图像中像素灰度值在所述范围的数目M，确定图像光照强度m和n表示图像的宽高；

步骤14：将Q_S和Q_I结合起来，即融合光照对称度和强度，采用Q＝Q_S*Q_I计算出人脸图像质量评估分数；

步骤2：对虹膜图像进行质量评估的具体处理步骤为：

步骤21：采用Haar小波变换将虹膜图像分解为一个低频子带LL和三个高频子带LH，HL，HH；

步骤22：计算出三个高频子带HH，HL，HL的能量总和E_H，计算出低频子带LL的能量E_L；通过计算出虹膜图像质量评估分数。

5.根据权利要求1所述的识别方法，所述的E_face、E_iris、T_face和T_iris的具体获取方法为：

根据所述方法中的步骤1～5创建一个足够大的训练集库A，所述训练库A包含人脸和虹膜特征类内和类外模板匹配获取的匹配分数以及相应的匹配质量置信度分数；

根据步骤1获取的类内和类外模板匹配分数统计出单一的人脸识别和单一虹膜识别算法的ROC曲线；进而计算出单一人脸识别与单一虹膜识别算法的等错误率E_face与E_iris；

根据步骤1获取的匹配分数和匹配质量置信度分数，计算出人脸特征的类外和类内匹配分数回归曲线f_{face_out}(x)，f_{face_in}(x)；进而根据下列公式求出人脸匹配质量置信度阈值T_face；

求解虹膜匹配质量置信度阈值T_iris与求解人脸匹配质量置信度阈值T_face的方法一致。