CN115578778A - 基于迹变换与lbp的人脸图像特征提取方法 - Google Patents

Abstract

本发明公开了一种基于迹变换与LBP的人脸图像特征提取方法，涉及目标识别技术领域，方法基于迹变换原理和局部二值模式编码代替迹泛函的方式，对每个旋转角度下所有垂直于中心轴的迹线选取采样点并进行LBP编码，得到能够描述每条迹线纹理特征的信息，并对迹线纹理特征进行直方图归一化得到人脸特征向量，最后将人脸特征向量输入到支持向量机中进行训练识别，以得到人脸识别结果。本发明利用迹变换与LBP提取的人脸特征，具有旋转不变特性，通过支持向量机对这些特征向量进行人脸识别，其准确率更高，识别波动范围更小，具有更好的鲁棒性，对低质量图像的鉴别效果更优。

Description

基于迹变换与LBP的人脸图像特征提取方法

本发明是发明名称为“基于迹变换与LBP的人脸图像特征提取方法”的分案申请，其中，母案的申请号为201811601794.1，申请日为2018.12.26。

技术领域

本发明涉及目标识别技术领域，特别是涉及一种基于迹变换与LBP的人脸图像特征提取方法。

背景技术

生物识别技术直接使用人体自身的生理或行为特征进行身份鉴别，是一种更便捷可靠的辨识方法，由于人脸识别在实时性、友好度、成本低等方面的表现更为突出，因而是一种被广泛使用的生物识别技术，在公共安全、国防、金融等领域都有广泛的应用前景。人脸识别的关键步骤是提取人脸特征，然而人脸图像中存在各种难以预测的变化因素，如拍照角度、距离、光照、表情、形迹、分辨率等，这些因素容易导致训练样本与测试图像的严重数据偏差。因而，研究寻找人脸图像中的不变特征量具有重要意义，当图像有光照变化、拍摄视点变化或是有几何形变时，这些特征量具有不变性。

迹变换(TraceTransform，TT)在不变图像分析方面具有重要的不变特征提取理论意义，使用TT能提取图像的旋转、缩放和平移(Rotation，Scale and Translation，RST)不变特征，已有研究人员将迹变换应用于人脸特征提取中。Srisuk S等人提出了形状迹变换(Shape Trace Transform,STT)来表征人脸图像，通过一个新的Hausdorff上下文测度方法来估计两张人脸图像形状之间的相异性，其研究结果为人脸表示提供了一种新的具有较高鉴别性能的表征方法。施展等人针对平面内具有随机旋转角度的人脸图像难以识别问题，提出一种融合二维近邻保持投影(2DNPP)和Trace变换的方法，以实现图像旋转不变性特征提取和识别，其首先对图像做一重和二重Trace变换，然后对二重曲线进行匹配计算，得到既对平面内旋转变换具有鲁棒性、又能保存丰富图像信息的特征，最后通过2DNPP进行降维并分类，用该方法分别对正面的、旋转的、加噪声的人脸图像进行了识别实验，结果表明该方法识别率达到了96％，且对白噪声具有较强的鲁棒性。王景中等人为提高人脸特征的稳定性和区分度，提出了一种基于Trace变换的人脸特征提取方法，方法通过几种不同的泛函对预处理后的人脸图像进行组合作用，得到该图像的一个Trace特征向量，从而建立了一种新的人脸特征表达方式。

LBP(Local Binary Patterns)指局部二值模式，最初功能为辅助图像局部对比度，并不是一个完整的特征描述子，后提升为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。常规的LBP算子描述特征能力有限，且不具备旋转不变性，如果图片进行了旋转，则LBP值也会随之改变。而TT通过图像重建和泛函组合作用提取图像不变特征，对图像定义不同的泛函能映射出不同的迹变换结果，通过TT提取的特征具有优秀的纹理描述性能，但TT需要众多的泛函组合来表征图像，其计算代价较高，且数学函数没有实际物理意义，缺乏对图像视觉特性的表达，若能针对不同问题不同应用选取合适的特征与TT融合有利于降低计算代价，将利于TT的推广应用。

发明内容

本发明的目的是提供一种基于迹变换与LBP的人脸图像特征提取方法，实现有效、准确且稳定的人脸图像特征提取和表征。

为实现上述目的，本发明提供了如下方案：

一种基于迹变换与LBP的人脸图像特征提取方法，包括：

获取待检测人脸图像中任一条迹线；所述迹线的位置根据角度和步长确定；所述角度为所述迹线的法线与所述待检测人脸图像的水平轴的夹角；所述步长为所述迹线与所述待检测人脸图像的坐标原点的垂直距离；

将所述待检测人脸图像转为灰度图并扩充为正方形灰度图像；所述正方形灰度图像的边长为所述待检测人脸图像的对角线的长度；所述正方形灰度图像中的扩充部分为黑色；

旋转所述正方形灰度图像，以使得所述迹线处于垂直水平轴的状态，然后在所述迹线上等分选取奇数个采样点；

基于LBP编码方式，对选取的每个采样点进行编码，以得到对应的采样像素值；

将多个所述采样像素值转换为十进制采样值，并统计多个所述采样像素值的出现频率；所述十进制采样值用于表征所述待检测人脸图像中所述迹线的纹理特征信息；

基于多个所述出现频率绘制直方图，并进行归一化处理，然后将处理后的直方图连接，以得到人脸特征向量；

将所述人脸特征向量输入到支持向量机中进行训练识别，以得到人脸识别结果。

可选地，所述基于LBP编码方式，对选取的每个采样点进行编码，以得到对应的采样像素值，具体包括：

将任一采样点的像素值与中心采样点的像素值进行对比，以得到第一结果；所述任一采样点中不包括中心采样点；

若所述第一结果表示所述采样点的像素值大于中心采样点的像素值，则将所述采样点的采样像素值标记为1；

若所述第一结果表示所述采样点的像素值小于或等于中心采样点的像素值，则将所述采样点的采样像素值标记为0。

可选地，将多个所述采样像素值转换为十进制采样值，具体包括：

根据公式(D_ij)₁₀＝(d₁d₂d_k…d_C-1d_C)₂,d_k∈{0,1}，i∈[1,360]，j∈[1,n]确定十进制采样值；

其中，d_k表示除中心采样点外的任一采样点的采样像素值，为二进制数值表示，(D_ij)₁₀表示十进制采样值，C表示采样点的数量。

可选地，所述人脸图像特征提取方法还包括：

根据公式A_i＝[D_i1,…,D_ij,…,D_in]，i∈[1,360]，j∈[1,n]确定所有处于垂直水平轴的状态的迹线对应的纹理特征信息；

其中，A_i表示所有处于垂直水平轴的状态的迹线对应的纹理特征信息的集合，D_i1表示第1个处于垂直水平轴的状态的迹线对应的纹理特征信息，D_ij表示第j个处于垂直水平轴的状态的迹线对应的纹理特征信息，D_in表示第n个处于垂直水平轴的状态的迹线对应的纹理特征信息。

为达上述目的，本发明还提供了如下技术方案：

一种基于迹变换与LBP的人脸图像特征提取方法，包括：

输入待检测人脸图像，待检测图像中的任一条迹线t的位置由一组(φ，ρ)表示，将待检测人脸图像转为灰度图并扩充至正方形，扩充后的正方形图像记为I，边长为原图像对角线的长度，扩充部分为黑色，灰度值置为“0”，其中φ为迹线t的法线与水平轴的夹角，ρ为迹线t与坐标原点O的垂直距离，O为图像的中心像素点，水平轴为原点O向右水平方向的延伸；

对预处理理后的图像I以给定角度旋转，使迹线t转为垂直于水平轴的状态；

在某个旋转角度i下，对第j条迹线等分采样并进行LBP编码，并计算此旋转角度下所有垂直于水平轴的迹线的LBP纹理特征，获得的LBP值记为D_ij(i∈[1,360]，j∈[1,n])，D_ij是对迹线的纹理特征的二进制描述；

图像I以给定角度步长不断旋转，每旋转一个角度，获取对应每个角度的所有垂直于水平轴的迹线的LBP纹理特征，记为A_i＝[D_i1,…,D_ij,…,D_in](i∈[1,360]，j∈[1,n])；

统计A_i中每个LBP特征值D_ij转化为十进制后的数值出现的频率，计算每个A_i的直方图，并对直方图进行归一化处理；

将得到的所有A_i的统计直方图连接成一个特征向量，得到最终的一张人脸图像的特征向量。

可选地，所述等分采样中采样点的个数为奇数C，所述LBP值D_ij的编码公式为：

(D_ij)₁₀＝(d₁d₂d_k…d_C-1d_C)₂,d_k∈{0,1}，i∈[1,360]，j∈[1,n]

其中，d_k为除中心采样点外的像素与中心采样点像素比较结果的二进制数值表示，如果采样点的像素大于中心采样点的像素值，则标记为“1”，否则标记为“0”，(D_ij)₁₀为该串二进制数值转化的十进制数。

可选地，所述直方图进行归一化处理的公式为：

其中，n_i表示图像中特征值为i的像素个数，P_i表示特征值i出现的频率，N表示图像的全部像素数，统计直方图归一化所用的特征值采用二进制数D_ij转化为十进制后的数值。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种基于迹变换与LBP的人脸图像特征提取方法，基于旋转不变特性，即获得的人脸图像特征具有RST不变性(旋转、缩放和平移)，使得人脸识别的准确率更高，通过支持向量机对这些特征向量进行人脸识别，其准确率较单独采用迹变换或LBP更高，识别波动范围更小，具有更好的鲁棒性，对低质量图像的鉴别效果更优。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的结构示意图。

图1为本发明基于迹变换与LBP的人脸图像特征提取方法的流程图；

图2为本发明迹变换参数定义图和图像预处理中对原图扩充成正方形的示意图；

图3为本明的在迹线上等分选取采样点的示意图；

图4为本发明采样点LBP编码的原理示意图；

图5为采用本发明基于迹变换与LBP的人脸图像特征提取方法的特征效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于迹变换与LBP的人脸图像特征提取方法，包括以下步骤：

步骤1)、图像预处理：图2左部分为迹变换的参数定义，一条迹线t的位置由一组(φ，ρ)给出，φ为迹线t的法线与水平轴的夹角，ρ为迹线t与中心点O的垂直距离，将泛函T作用在图像的所有迹线上即能得到迹变换的结果；因穿过图像的迹线的位置是由角度和步长所决定的，为了提高采样精度及简化方法，迹线采样点φ的取值采用图片旋转的方法得到，由于图片旋转会导致部分边角图像信息超出原图范围，为防止图像信息缺失，遂将原图扩充为一个正方形图像记为I，大小为m×n，该正方形边长为原图的对角线长，扩充部分为黑色，即灰度值置为“0”，预处理后图像如图2右部分所示。

步骤2)、旋转图像I：对图像I以给定角度旋转，使迹线t转为垂直于水平轴的状态。

步骤3)：对迹线t采样并进行LBP编码：利用迹变换提取图像三重特征，迹变换的过程可用式(1)表示：

Π(I)＝Φ(P(T(I(φ,ρ,t)))) (1)

其中，I表示图像，I(φ,ρ,t)表示在图2左部分定义的参数系上图像的投影，T、P、Φ分别表示定义在参数t,ρ,φ上的数学泛函；对于迹变换来说，将迹变换结果进一步作用于不同泛函组合，可以得到图像不同的三重特征，进行归一化后，所得特征向量即可用于图像识别。若使用的泛函是不变泛函或敏感泛函，则得到的特征能具有旋转、缩放及平移不变的特性。在文献[1]The trace transform and its applications和文献[2]Thetracetransform as a tool to invariant feature construction中给出了不变泛函和敏感泛函的定义，构建不变特征的条件，同时给出参数的变化规则及泛函选取的方法。

本发明所作的并不是对迹变换泛函的重新组合优化，而是去掉Φ、P泛函，直接将T数学泛函换成LBP编码，即在迹线上等分选择奇数C个采样点，采样点选择的一种示例如图3所示，然后用LBP的方法对选择的采样点进行编码。即分别以除中心采样点外的每一个采样点像素值分别和中心采样点的像素值进行比较，如果大于中心采样点的像素值，则标记为“1”，否则标记为“0”，这样每条迹线上的C个采样点经比较可产生C-1位二进制数D_ij(如C＝9，通常转换为十进制数，共256种)，将D_ij转化为十进制数，这个十进制数用于描述图像中每条迹线的纹理特征信息；D_ij的编码公式为：

(D_ij)₁₀＝(d₁d₂d_k…d_C-1d_C)₂,d_k∈{0,1} (2)

其中，d_k为除中心采样点外的像素与中心采样点像素比较结果的二进制数值表示，D_ij为该串二进制数值转化的十进制数，图4为一种具体的LBP编码示例。

步骤4)：重复步骤2和步骤3，实现人脸图像的融合特征提取：图像以给定角度步长不断旋转，每旋转一个角度，依次执行步骤2)和步骤3)，对每条迹线进行一次编码，得到该角度下的所有迹线纹理特征，记为A_i＝[D_i1,…,D_ij,…,D_in](i∈[1,360]，j∈[1,n])。计算所有旋转角度则能提取到一个二维的融合特征，记为A。图5即为对一张人脸图像采用TLBP(Trace Local Binary Pattern，TLBP)纹理特征提取方法得到的特征A效果图。

步骤5)：直方图归一化：统计A_i中LBP特征值出现的频率，计算每个A_i的直方图，并对直方图进行归一化处理，归一化处理的公式为：

其中，n_i表示图像中特征值为i的像素个数，P_i表示特征值i出现的频率，N表示图像的全部像素数，此处统计直方图归一化所用的特征值为二进制数D_ij转化为十进制后的数值。

步骤6)：输出人脸特征向量：将步骤5)得到的所有A_i的统计直方图连接成一个特征向量，得到最终的一张人脸图像的特征向量，特征向量输入到支持向量机中进行训练识别，由支持向量识别机输出识别结果。本发明采用的支持向量机为常规的支持向量机，采用本发明的方法有利于降低计算代价，获得的融合特征更易于在支持向量机中进行识别，且其识别效果比单独的迹变换方法或LBP更好。

本发明实施例使用的图像库是英国剑桥Olivetti实验室拍摄的ORL人脸数据库。共有40个不同年龄、不同性别和不同种族的对象。每个人10幅图像共计400幅灰度图像组成，图像尺寸是92×112，图像背景为黑色。为了验证本发明得到的融合特征对人脸图像的表征效果，对ORL库图像做分类识别实验，使用的分类器是支持向量机，每类随机选取其中7张图片用于训练学习，剩余3张用于测试，经实验表明，在100次随机样本选取的分类识别中，本发明所采用的方法识别率明显比迹变换(616组泛函组合)的结果要更好，识别波动范围更小，识别率更稳定。实验结果如表1所示：

表1

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于迹变换与LBP的人脸图像特征提取方法，其特征在于，所述人脸图像特征提取方法包括：

获取待检测人脸图像中任一条迹线；所述迹线的位置根据角度和步长确定；所述角度为所述迹线的法线与所述待检测人脸图像的水平轴的夹角；所述步长为所述迹线与所述待检测人脸图像的坐标原点的垂直距离；

将所述待检测人脸图像转为灰度图并扩充为正方形灰度图像；所述正方形灰度图像的边长为所述待检测人脸图像的对角线的长度；所述正方形灰度图像中的扩充部分为黑色；

旋转所述正方形灰度图像，以使得所述迹线处于垂直水平轴的状态，然后在所述迹线上等分选取奇数个采样点；

基于LBP编码方式，对选取的每个采样点进行编码，以得到对应的采样像素值；

将多个所述采样像素值转换为十进制采样值，并统计多个所述采样像素值的出现频率；所述十进制采样值用于表征所述待检测人脸图像中所述迹线的纹理特征信息；

基于多个所述出现频率绘制直方图，并进行归一化处理，然后将处理后的直方图连接，以得到人脸特征向量；

将所述人脸特征向量输入到支持向量机中进行训练识别，以得到人脸识别结果。

2.根据权利要求1所述的基于迹变换与LBP的人脸图像特征提取方法，其特征在于，所述基于LBP编码方式，对选取的每个采样点进行编码，以得到对应的采样像素值，具体包括：

将任一采样点的像素值与中心采样点的像素值进行对比，以得到第一结果；所述任一采样点中不包括中心采样点；

若所述第一结果表示所述采样点的像素值大于中心采样点的像素值，则将所述采样点的采样像素值标记为1；

若所述第一结果表示所述采样点的像素值小于或等于中心采样点的像素值，则将所述采样点的采样像素值标记为0。

3.根据权利要求1所述的基于迹变换与LBP的人脸图像特征提取方法，其特征在于，将多个所述采样像素值转换为十进制采样值，具体包括：

根据公式(D_ij)₁₀＝(d₁d₂d_k…d_C-1d_C)₂,d_k∈{0,1}，i∈[1,360]，j∈[1,n]确定十进制采样值；

其中，d_k表示除中心采样点外的任一采样点的采样像素值，为二进制数值表示，(D_ij)₁₀表示十进制采样值，C表示采样点的数量。

4.根据权利要求1所述的基于迹变换与LBP的人脸图像特征提取方法，其特征在于，所述人脸图像特征提取方法还包括：

根据公式A_i＝[D_i1,…,D_ij,…,D_in]，i∈[1,360]，j∈[1,n]确定所有处于垂直水平轴的状态的迹线对应的纹理特征信息；

其中，A_i表示所有处于垂直水平轴的状态的迹线对应的纹理特征信息的集合，D_i1表示第1个处于垂直水平轴的状态的迹线对应的纹理特征信息，D_ij表示第j个处于垂直水平轴的状态的迹线对应的纹理特征信息，D_in表示第n个处于垂直水平轴的状态的迹线对应的纹理特征信息。

5.一种基于迹变换与LBP的人脸图像特征提取方法，其特征在于，包括：

输入待检测人脸图像，待检测图像中的任一条迹线t的位置由一组(φ，ρ)表示，将待检测人脸图像转为灰度图并扩充至正方形，扩充后的正方形图像记为I，边长为原图像对角线的长度，扩充部分为黑色，灰度值置为“0”，其中φ为迹线t的法线与水平轴的夹角，ρ为迹线t与坐标原点O的垂直距离，O为图像的中心像素点，水平轴为原点O向右水平方向的延伸；

对预处理理后的图像I以给定角度旋转，使迹线t转为垂直于水平轴的状态；

在某个旋转角度i下，对第j条迹线等分采样并进行LBP编码，并计算此旋转角度下所有垂直于水平轴的迹线的LBP纹理特征，获得的LBP值记为D_ij(i∈[1,360]，j∈[1,n])，D_ij是对迹线的纹理特征的二进制描述；

图像I以给定角度步长不断旋转，每旋转一个角度，获取对应每个角度的所有垂直于水平轴的迹线的LBP纹理特征，记为A_i＝[D_i1,…,D_ij,…,D_in](i∈[1,360]，j∈[1,n])；

统计A_i中每个LBP特征值D_ij转化为十进制后的数值出现的频率，计算每个A_i的直方图，并对直方图进行归一化处理；

将得到的所有A_i的统计直方图连接成一个特征向量，得到最终的一张人脸图像的特征向量。

6.根据权利要求5所述的基于迹变换与LBP的人脸图像特征提取方法，其特征在于：所述等分采样中采样点的个数为奇数C，所述LBP值D_ij的编码公式为：

(D_ij)₁₀＝(d₁d₂d_k…d_C-1d_C)₂,d_k∈{0,1}，i∈[1,360]，j∈[1,n]

其中，d_k为除中心采样点外的像素与中心采样点像素比较结果的二进制数值表示，如果采样点的像素大于中心采样点的像素值，则标记为“1”，否则标记为“0”，(D_ij)₁₀为该串二进制数值转化的十进制数。

7.根据权利要求5所述的基于迹变换与LBP的人脸图像特征提取方法，其特征在于：所述直方图进行归一化处理的公式为：

其中，n_i表示图像中特征值为i的像素个数，P_i表示特征值i出现的频率，N表示图像的全部像素数，统计直方图归一化所用的特征值采用二进制数D_ij转化为十进制后的数值。

Images