CN110991258B - 一种人脸融合特征提取方法及系统 - Google Patents

Abstract

本发明公开了一种人脸融合特征提取方法及系统，该方法包括下述步骤：采集人脸图像样本数据，进行图像预处理，构建人脸图像数据库；提取人脸图像数据库中的人脸图像中主动形状模型全局特征和局部二元模式局部特征的人脸融合特征；确定主动形状模型的关键点位置，提取主动形状模型的全局特征；通过关键点位置划分子区域，提取局部二元模式的局部特征；根据主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。本发明采用主动形状模型全局特征描述人脸图像整体差异，采用局部二元模式局部特征描述细节差异，通过融合两组特征提高最终融合特征的区分度和稳定性，提高人脸识别的准确率。

Description

一种人脸融合特征提取方法及系统

技术领域

本发明涉及人脸识别技术领域，具体涉及一种人脸融合特征提取方法及系统。

背景技术

在人脸识别过程中，最关键的步骤，也是最困难的步骤是提取合适维度且区分度高的人脸特征，人脸特征提取就是将人脸数据从原始输入空间映射到新的特征空间的过程，采取合适的方式对人脸进行描述，提取人脸特征的大小、位置和轮廓等信息。早期的人脸识别主要利用的是基于几何特征的方法和模板匹配法，90年代以后提出了很多新的方法，比如主成分分析法、独立分量分析法、Fisher线性判别法、弹性图匹配法、Gabor小波表示法以及小波降维法等。

人脸识别过程中使用一些经典的特征提取方法提取的特征往往存在维度高，噪声大，区分度不高等问题，导致最终的人脸识别准确率不能满足实际要求，因此，如何获得较合适的人脸特征成为人脸识别中的关键环节。

发明内容

为了克服现有技术存在的缺陷与不足，为了解决现有人脸识别特征提取方法存在的复杂度高、计算需求较高、速度较慢的问题，本发明提供一种人脸融合特征提取方法及系统，采用主动形状模型的全局特征来描述人脸图像的整体差异，采用局部二元模式的局部特征来描述眼睛、眉毛、鼻子、嘴巴区域的细节差异，通过融合两组特征来提高最终融合特征的区分度和稳定性，提高人脸识别的准确率。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种人脸融合特征提取方法，包括下述步骤：

采集人脸图像样本数据，进行图像预处理，构建人脸图像数据库；

提取所述人脸图像数据库中的人脸图像的人脸融合特征，所述人脸融合特征包括主动形状模型的全局特征和局部二元模式的局部特征；

确定主动形状模型的关键点位置，提取主动形状模型的全局特征；

通过所述关键点位置划分子区域，提取局部二元模式的局部特征；

根据所述主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。

作为优选的技术方案，所述进行图像预处理的步骤包括图像灰度化、人脸姿态校正、脸部裁剪以及尺寸统一，具体步骤为：

图像灰度化：将RGB格式图片转换成灰度图像；

人脸姿态校正：构建主动形状模型获取人脸关键点位置，对人脸图像进行标注后得到左、右眼的中心关键点的坐标，通过左眼与右眼中心关键点的坐标计算得到人脸图像的偏差角度，将人脸图像进行顺时针旋转偏差角度，并对所有人脸关键点位置进行顺时针旋转偏差角度；

脸部裁剪：设置人脸矩形框对所述人脸姿态校正后的人脸图像进行脸部裁剪；

尺寸统一：采用双线性插值方法将人脸图像统一尺寸。

作为优选的技术方案，所述提取主动形状模型的全局特征的具体步骤为：

对已经进行过图像预处理的人脸图像获得主动形状模型的关键点位置，以人脸鼻梁上部关键点为参考点，计算人脸图像剩余关键点到参考点的相对距离和角度，采用矢量拼接的方法将所述人脸图像剩余关键点到参考点的相对距离和角度整合得到多维的全局特征向量。

作为优选的技术方案，所述计算人脸图像剩余关键点到参考点的相对距离和角度的具体计算方式为：

所述全局特征向量的具体计算方式为：

以矢量拼接的方式将其整合得到104维的全局特征向量FV_ASM：

FV_ASM＝{d₁，θ₁，d₂，θ₂，...，d₅₃，θ₅₃}

其中，d_i表示剩余关键点到参考点的相对距离，θ_i表示剩余关键点到参考点的角度，i＝1，2，3...，53，并且i≠38。

作为优选的技术方案，所述提取局部二元模式的局部特征的具体步骤为：

通过所述关键点位置划分子区域，所述关键点位置包括左眼、右眼、左眉、右眉、嘴巴、鼻六个位置，将人脸图像划分为六个子区域；

以设定模板中心点的灰度值作为阈值，对相邻的点进行二值处理，得到六个子区域的局部二元模式特征值；

对局部二元模式特征值进行旋转不变形转化，得到旋转不变形转化后的局部二元模式特征值；

分别统计六个子区域经旋转不变形转化后局部二元模式特征值的十进制结果，并按左眼、右眼、左眉、右眉、嘴巴和鼻子的顺序进行矢量拼接，组成多维度的子区域局部二元模式的局部特征。

作为优选的技术方案，所述通过所述关键点位置划分子区域，具体划分方式为：

左、右眼区域表示为：

/>

其中，x_{left eye}、y_{left eye}分别表示左眼矩形框的左上角坐标信息，w_{left eye}表示左眼矩形框的矩形宽度，h_{left eye}表示左眼矩形框的矩形高度；

x_{right eye}、y_{right eye}分别表示右眼矩形框的左上角坐标信息，w_{right eye}表示右眼矩形框的矩形宽度，h_{right eye}表示右眼矩形框的矩形高度；

左、右眉区域表示为：

其中，x_{left brow}、y_{left brow}分别表示左眉矩形框的左上角坐标信息，w_{left brow}表示左眉矩形框的矩形宽度，h_{left brow}表示左眉矩形框的矩形高度；

x_{right brow}、y_{right brow}分别表示右眉矩形框的左上角坐标信息，w_{right brow}表示右眉矩形框的矩形宽度，h_{right brow}表示右眉矩形框的矩形高度；

鼻子区域表示为：

其中，x_nose、y_nose分别表示鼻子区域矩形框的左上角坐标信息，w_nose表示鼻子矩形框的矩形宽度，h_nose表示鼻子矩形框的矩形高度；

嘴巴区域表示为：

其中，x_mouth、y_mouth分别表示嘴巴区域矩形框的左上角坐标信息，w_mouth表示嘴巴矩形框的矩形宽度，h_mouth表示嘴巴矩形框的矩形高度。

作为优选的技术方案，所述进行标准化后进行串联融合，所述标准化的具体计算步骤为：

其中，FV_ASM表示主动形状模型的全局特征，μ_ASM和σ_ASM分别表示主动形状模型的全局特征在人脸图像数据库的均值和方差，FV_LBP表示局部二元模式的局部特征，μ_LBP和σ_LBP分别表示局部二元模式的局部特征在人脸图像数据库的均值和方差；

所述串联融合的具体计算步骤为：

其中，FV_fin表示人脸融合特征。

本发明还提供一种人脸融合特征提取系统，包括：图像预处理模块、主动形状模型全局特征提取模块、局部二元模式局部特征提取模块和特征融合模块；

所述图像预处理模块用于对人脸图像进行预处理，构建人脸图像数据库；

所述主动形状模型全局特征提取模块用于确定主动形状模型的关键点位置，提取主动形状模型的全局特征；

所述局部二元模式局部特征提取模块用于通过所述关键点位置划分子区域，提取局部二元模式的局部特征；

所述特征融合模块用于根据所述的主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。

作为优选的技术方案，所述图像预处理模块包括图像灰度化单元、人脸姿态校正单元、脸部裁剪单元以及尺寸统一单元；

所述图像灰度化单元用于将RGB格式图片转换成灰度图像；

所述人脸姿态校正单元用于构建主动形状模型获取人脸关键点位置，通过关键点坐标计算得到人脸图像的偏差角度，将人脸图像进行旋转校正；

所述脸部裁剪单元用于设置人脸矩形框对所述人脸姿态校正后的人脸图像进行脸部裁剪；

所述尺寸统一单元采用双线性插值方法将人脸图像统一尺寸。

本发明与现有技术相比，具有如下优点和有益效果：

(1)本发明采用了在提取融合特征前，对人脸图像进行人脸姿态校正以及脸部裁剪等图像预处理操作方案，减少对人脸采集数据的要求，解决了姿态差异情况影响后续融合特征提取一致性的问题，更能让融合特征反映不同人脸图像的差异。

(2)本发明采用主动形状模型全局特征描述人脸图像整体差异、局部二元模式局部特征描述眼睛、眉毛、鼻子、嘴巴区域细节差异，通过融合两组特征，解决了当前现有技术人脸特征区分度低、稳定性差的问题，提高了人脸识别的准确率。

附图说明

图1为本实施例的人脸融合特征提取方法的流程示意图；

图2为本实施例人脸图像的基于主动形状模型的关键点位置分布图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

如图1所示，本实施例提供一种人脸融合特征提取方法，包括如下步骤：

获取经过图像预处理的人脸图像数据库，假设人脸样本图组为S，样本图像中一共有a名不同人物对象，每人有b张样本图像，则人脸样本图组一共有m＝a×b张，每张样本图像的大小可以不相同，经过图像预处理获得人脸图像数据库；

本实施例的图像预处理步骤包括图像灰度化、人脸姿态校正、脸部裁剪以及尺寸统一等图像预处理，具体如下：

图像灰度化：由于本实施例后续的图像处理以及特征提取是基于灰度图像进行的，所有需要把人脸样本图组中所有RGB格式图片转换成灰度图像；

人脸姿态校正及脸部裁剪：由于采集人脸图像时会出现一定程度的人脸姿态角度偏差，为了保持特征提取一致性，具体通过主动形态模型获取人脸关键点位置；

如图2所示，在本实施例构建主动形状模型的关键点位置分布，其中序号1-15是人脸脸部轮廓关键点，序号16-21和序号22-27分别为右左眉部轮廓关键点，序号28-32和序号33-37为右左眼部轮廓关键点，序号38-45为鼻子轮廓关键点，序号46-53为嘴部轮廓关键点，采用主动形状模型对人脸图像进行标注后，左右眼的中心关键点的坐标分别为(x₃₇，y₃₇)和(x₃₂，y₃₂)，这样可以获得人脸图像的偏差角度α：

然后通过将人脸图像进行顺时针旋转偏差角度α，并也对所有关键点坐标进行顺时针偏差角度α旋转，最后对旋转后的图像进行脸部裁剪，具体获得人脸区域的外接矩形框的左上角坐标(x_r，y_r)和外接矩形框的宽度w_r和高度h_r；

x_r＝min(x₁，x₂，x₃)-λ_x

y_r＝min(y₁₇，y₁₈，y₂₃，y₂₄)-λ_y

w_r＝max(x₁₃，x₁₄，x₁₅)-x_r+λ_x

h_r＝max(y₇，y₈，y₉)-y_r+λ_y

其中，λ_x和λ_y分别为根据每张人脸图像的自适应水平和垂直方向的扩展值，具体为：

/>

尺寸统一：为了保证裁剪后人脸图像特征提取的一致性，需要对图像进行尺寸统一，具体是采用双线性插值方法，将图像尺寸调整至156×156；

提取人脸图像数据库中人脸图像的人脸融合特征，融合人脸特征基于主动形状模型和局部二元模式，并搭建人脸融合特征数据匹配库，具体步骤为：

提取主动形状模型的全局特征：通过对已经进行过图像预处理的人脸图像获得主动形状模型的关键点位置(即像素点坐标)，本实施例以人脸鼻梁上部关键点(x₃₈，y₃₈)为参考点，计算获得剩余关键点到参考点的相对距离d_i和角度θ_i：

其中i＝1，2，3...，53，(i≠38)，通过计算参考点与52个关键点的相对距离和角度，以矢量拼接的方式将其整合得到104维的全局特征向量FV_ASM：

FV_ASM＝{d₁，θ₁，d₂，θ₂，...，d₅₃，θ₅₃，}

本实施例提取左右眼、左右眉、嘴巴、鼻六块区域的局部二元模式的局部特征的具体步骤为：通过主动形状模型获得关键点坐标，通过坐标获得六块区域的外接矩形框进行区域裁剪，从人脸图像中划分六块以矩阵框为界的子区域分别为左右眼、左右眉、鼻子和嘴巴区域，其公式描述具体为：

左、右眼区域表示为：

其中，x_{left eye}、y_{left eye}分别表示左眼矩形框的左上角坐标信息，w_{left eye}表示左眼矩形框的矩形宽度，h_{left eye}表示左眼矩形框的矩形宽度；

x_{right eye}、y_{right eye}分别表示右眼矩形框的左上角坐标信息，w_{right eye}表示右眼矩形框的矩形宽度，h_{right eye}表示右眼矩形框的矩形宽度；

左、右眉区域表示为：

其中，x_{left brow}、y_{left brow}分别表示左眉矩形框的左上角坐标信息，w_{left brow}表示左眉矩形框的矩形宽度，h_{left brow}表示左眉矩形框的矩形宽度；

x_{right brow}、y_{right brow}分别表示右眉矩形框的左上角坐标信息，w_{right brow}表示右眉矩形框的矩形宽度，h_{right brow}表示右眉矩形框的矩形宽度；

鼻子区域表示为：

其中，x_nose、y_nose分别表示鼻子区域矩形框的左上角坐标信息，w_nose表示鼻子矩形框的矩形宽度，h_nose表示鼻子矩形框的矩形宽度；

嘴巴区域表示为：

其中，x_mouth、y_mouth分别表示嘴巴区域矩形框的左上角坐标信息，w_mouth表示嘴巴矩形框的矩形宽度，h_mouth表示嘴巴矩形框的矩形宽度；

然后对六块子区域提取局部二元模式(Local Binary Patten，LBP)特征，具体步骤是：首先以3×3的模板，以中心点g_c的灰度值作为阈值，对相邻的八个点进行二值处理，则局部二元模式特征值LBP可表示为：

其中，P表示该区域相邻像素的数量，R表示区域半径，在本实施例中P＝8，R＝1，而二值化公式为：

/>

为了提高LBP特征的鲁棒性，并且简化LBP特征种类，对LBP特征进行旋转不变形转化，即：

其中的

表示旋转状态下的LBP特征，ROR(x，i)则是旋转函数表达，表明将x进行循环右移i(i＜P)位，直到其数值最小，在本实施例并没有对如何对区域内的像素点进行编号给出具体规定，一般选择从中心点左上方的像素点开始，按照顺时针顺序依次编号。

本实施例的

特征将产生36种不同的输出，分别统计六块子区域的/>

特征的十进制结果，并按左右眼、左右眉、嘴巴、鼻子顺序进行矢量拼接组成维度为216的子区域局部二元模式的局部特征FV_LBP；

搭建人脸融合特征数据匹配库：其中对于一张人脸图像可获得两组特征，分别为FV_ASM和FV_LBP，对其分别做标准化得到

和/>

表示如下：

其中，μ_i和σ_i表示通过人脸图像数据库计算得到的两组特征均值和方差，在标准化后，将两组特征串联融合，得到融合特征FV_fin，表示为：

将人脸图像数据库中每张人脸图像进行上述融合特征提取，并用矢量拼接组成最终的人脸融合特征数据匹配库，得到了具有区分性的、用于各种分类算法进行人脸识别的特征库，如随机森林算法实现人脸识别，得到的人脸融合特征具有更高的区分性，能让分类模型更容易拟合。

本实施例还提供一种人脸融合特征提取系统，包括：图像预处理模块、主动形状模型全局特征提取模块、局部二元模式局部特征提取模块和特征融合模块；

在本实施例中，图像预处理模块用于对人脸图像进行预处理，构建人脸图像数据库；主动形状模型全局特征提取模块用于确定主动形状模型的关键点位置，提取主动形状模型的全局特征；局部二元模式局部特征提取模块用于通过所述关键点位置划分子区域，提取局部二元模式的局部特征；特征融合模块用于根据所述的主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。

在本实施例中，图像预处理模块包括图像灰度化单元、人脸姿态校正单元、脸部裁剪单元以及尺寸统一单元；

图像灰度化单元用于将RGB格式图片转换成灰度图像；人脸姿态校正单元用于构建主动形状模型获取人脸关键点位置，通过关键点坐标计算得到人脸图像的偏差角度，将人脸图像进行旋转校正；脸部裁剪单元用于设置人脸矩形框对所述人脸姿态校正后的人脸图像进行脸部裁剪；尺寸统一单元采用双线性插值方法将人脸图像统一尺寸。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种人脸融合特征提取方法，其特征在于，包括下述步骤：

采集人脸图像样本数据，进行图像预处理，构建人脸图像数据库；

提取所述人脸图像数据库中的人脸图像的人脸融合特征，所述人脸融合特征包括主动形状模型的全局特征和局部二元模式的局部特征；

确定主动形状模型的关键点位置，提取主动形状模型的全局特征；

通过所述关键点位置划分子区域，提取局部二元模式的局部特征；

所述提取局部二元模式的局部特征的具体步骤为：

通过所述关键点位置划分子区域，所述关键点位置包括左眼、右眼、左眉、右眉、嘴巴、鼻六个位置，将人脸图像划分为六个子区域；

以设定模板中心点的灰度值作为阈值，对相邻的点进行二值处理，得到六个子区域的局部二元模式特征值；

对局部二元模式特征值进行旋转不变形转化，得到旋转不变形转化后的局部二元模式特征值；

分别统计六个子区域经旋转不变形转化后局部二元模式特征值的十进制结果，并按左眼、右眼、左眉、右眉、嘴巴和鼻子的顺序进行矢量拼接，组成多维度的子区域局部二元模式的局部特征；

所述通过所述关键点位置划分子区域，具体划分方式为：

左、右眼区域表示为：

其中，x_lefteye、y_lefteye分别表示左眼矩形框的左上角坐标信息，w_lefteye表示左眼矩形框的矩形宽度，h_lefteye表示左眼矩形框的矩形高度；

x_righteye、y_righteye分别表示右眼矩形框的左上角坐标信息，w_righteye表示右眼矩形框的矩形宽度，h_righteye表示右眼矩形框的矩形高度；

左、右眉区域表示为：

/>

其中，x_leftbrow、y_leftbrow分别表示左眉矩形框的左上角坐标信息，w_leftbrow表示左眉矩形框的矩形宽度，h_leftbrow表示左眉矩形框的矩形高度；

x_rightbrow、y_rightbrow分别表示右眉矩形框的左上角坐标信息，w_rightbrow表示右眉矩形框的矩形宽度，h_rightbrow表示右眉矩形框的矩形高度；

鼻子区域表示为：

其中，x_nose、y_nose分别表示鼻子区域矩形框的左上角坐标信息，w_nose表示鼻子矩形框的矩形宽度，h_nose表示鼻子矩形框的矩形高度；

嘴巴区域表示为：

其中，x_mouth、y_mouth分别表示嘴巴区域矩形框的左上角坐标信息，w_mouth表示嘴巴矩形框的矩形宽度，h_mouth表示嘴巴矩形框的矩形高度；

根据所述主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。

2.根据权利要求1所述的人脸融合特征提取方法，其特征在于，所述进行图像预处理的步骤包括图像灰度化、人脸姿态校正、脸部裁剪以及尺寸统一，具体步骤为：

图像灰度化：将RGB格式图片转换成灰度图像；

人脸姿态校正：构建主动形状模型获取人脸关键点位置，对人脸图像进行标注后得到左、右眼的中心关键点的坐标，通过左眼与右眼中心关键点的坐标计算得到人脸图像的偏差角度，将人脸图像进行顺时针旋转所述偏差角度，并对所有人脸关键点位置进行顺时针旋转偏差角度；

脸部裁剪：设置人脸矩形框对所述人脸姿态校正后的人脸图像进行脸部裁剪；

尺寸统一：采用双线性插值方法将人脸图像统一尺寸。

3.根据权利要求1所述的人脸融合特征提取方法，其特征在于，所述提取主动形状模型的全局特征的具体步骤为：

对已经进行过图像预处理的人脸图像获得主动形状模型的关键点位置，以人脸鼻梁上部关键点为参考点，计算人脸图像剩余关键点到参考点的相对距离和角度，采用矢量拼接的方法将所述人脸图像剩余关键点到参考点的相对距离和角度整合得到多维的全局特征向量。

4.根据权利要求3所述的人脸融合特征提取方法，其特征在于，所述计算人脸图像剩余关键点到参考点的相对距离和角度的具体计算方式为：

所述全局特征向量的具体计算方式为：

以矢量拼接的方式将其整合得到104维的全局特征向量FV_ASM：

FV_ASM＝{d₁，θ₁，d₂，θ₂，...，d₅₃，θ₅₃}

其中，d_i表示剩余关键点到参考点的相对距离，θ_i表示剩余关键点到参考点的角度，i＝1，2，3...，53，并且i≠38。

5.根据权利要求1所述的人脸融合特征提取方法，其特征在于，所述进行标准化后进行串联融合，所述标准化的具体计算步骤为：

其中，FV_ASM表示主动形状模型的全局特征，μ_ASM和σ_ASM分别表示主动形状模型的全局特征在人脸图像数据库的均值和方差，FV_LBP表示局部二元模式的局部特征，μ_LBP和σ_LBP分别表示局部二元模式的局部特征在人脸图像数据库的均值和方差；

所述串联融合的具体计算步骤为：

其中，FV_fin表示人脸融合特征。

6.一种人脸融合特征提取系统，其特征在于，包括：图像预处理模块、主动形状模型全局特征提取模块、局部二元模式局部特征提取模块和特征融合模块；

所述图像预处理模块用于对人脸图像进行预处理，构建人脸图像数据库；

所述主动形状模型全局特征提取模块用于确定主动形状模型的关键点位置，提取主动形状模型的全局特征；

所述局部二元模式局部特征提取模块用于通过所述关键点位置划分子区域，提取局部二元模式的局部特征；

所述提取局部二元模式的局部特征的具体步骤为：

通过所述关键点位置划分子区域，所述关键点位置包括左眼、右眼、左眉、右眉、嘴巴、鼻六个位置，将人脸图像划分为六个子区域；

以设定模板中心点的灰度值作为阈值，对相邻的点进行二值处理，得到六个子区域的局部二元模式特征值；

对局部二元模式特征值进行旋转不变形转化，得到旋转不变形转化后的局部二元模式特征值；

分别统计六个子区域经旋转不变形转化后局部二元模式特征值的十进制结果，并按左眼、右眼、左眉、右眉、嘴巴和鼻子的顺序进行矢量拼接，组成多维度的子区域局部二元模式的局部特征；

所述通过所述关键点位置划分子区域，具体划分方式为：

左、右眼区域表示为：

其中，x_lefteye、y_lefteye分别表示左眼矩形框的左上角坐标信息，w_lefteye表示左眼矩形框的矩形宽度，h_le_fteye表示左眼矩形框的矩形高度；

x_righteye、y_righteye分别表示右眼矩形框的左上角坐标信息，w_righteye表示右眼矩形框的矩形宽度，h_righteye表示右眼矩形框的矩形高度；

左、右眉区域表示为：

其中，x_leftbrow、y_leftbrow分别表示左眉矩形框的左上角坐标信息，w_leftbrow表示左眉矩形框的矩形宽度，h_leftbrow表示左眉矩形框的矩形高度；

x_rightbrow、y_rightbrow分别表示右眉矩形框的左上角坐标信息，w_rightbrow表示右眉矩形框的矩形宽度，h_rightbrow表示右眉矩形框的矩形高度；

鼻子区域表示为：

其中，x_nose、y_nose分别表示鼻子区域矩形框的左上角坐标信息，w_nose表示鼻子矩形框的矩形宽度，h_nose表示鼻子矩形框的矩形高度；

嘴巴区域表示为：

其中，x_mouth、y_mouth分别表示嘴巴区域矩形框的左上角坐标信息，w_mouth表示嘴巴矩形框的矩形宽度，h_mouth表示嘴巴矩形框的矩形高度；

所述特征融合模块用于根据所述的主动形状模型的全局特征与局部二元模式的局部特征，进行标准化后进行串联融合，生成最终的人脸融合特征数据。

7.根据权利要求6所述的人脸融合特征提取系统，其特征在于，所述图像预处理模块包括图像灰度化单元、人脸姿态校正单元、脸部裁剪单元以及尺寸统一单元；

所述图像灰度化单元用于将RGB格式图片转换成灰度图像；

所述人脸姿态校正单元用于构建主动形状模型获取人脸关键点位置，通过关键点坐标计算得到人脸图像的偏差角度，将人脸图像进行旋转校正；

所述脸部裁剪单元用于设置人脸矩形框对所述人脸姿态校正后的人脸图像进行脸部裁剪；

所述尺寸统一单元采用双线性插值方法将人脸图像统一尺寸。

Images