CN114241546A - 一种基于多方向局部二值模式的人脸识别方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体涉及一种基于多方向局部二值模式的人脸识别方法。本发明提出的一种基于多方向局部二值模式的人脸识别方法具有更高的识别精度，同时识别精度不会受到分块方式的影响，识别精度更稳定，在实际应用中具有更高的实用性。本发明结合多方向局部二值模式，提取人脸图像局部区域纹理变化特征，使识别过程中提取到的人脸图像纹理更加清晰、丰富。本发明将在传统小波变换图像纹理分析方法的基础上，充分利用人脸图像中各向异性的规律，提出一种全新的原始人脸图像变换模式，采用一种多尺度几何分析工具剪切波变换，对原始人脸图像进行二维图像最优逼近，从而方便后续获取人脸图像中包含的各类信息及特征。

Description

一种基于多方向局部二值模式的人脸识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于多方向局部二值模式的人脸识别方法。

背景技术

现如今，信息的安全性和隐蔽性越来越受到人们的重视，如何采用更加高效、方便的技术手段对身份进行验证和识别，已经成为目前该识别领域研究学者重点研究的问题。传统身份信息验证以及智能识别方法存在，容易丢失、携带不方便、密码不可读、使用过多损坏现象严重等问题。因此，由于各方面影响因素的限制，使得仅仅依靠证件、识别码、口令等传统身份验证的方式在实际应用中会造成很大的限制。人脸识别是目前人类视觉当中最普遍的模式，通过人脸反映的视觉信息在人与人之间的交流和交往过程中，起到辨别身份、传递情感的作用。人脸识别是目前最具理论和实践应用研究价值的话题之一，并逐渐受到人们的关注。人脸识别技术是指通过提取人脸的各项特征信息和参数，并融合当今领先的生物识别技术对人们的身份信息进行识别。人脸识别技术最早来自西方国家，通过用一组数字的形式表现人类不同侧脸特征。后随着技术的不断进步，人脸识别研究也逐渐深入，从非自动识别阶段逐渐转变为人机交互阶段，再到现在的自动识别阶段。

目前，常用的人脸识别算法主要包括基于模板匹配的人脸识别算法、基于小波变换的人脸识别算法等。现有技术中，采用基于局部二值模式算子在进行特征提取的过程中对图像纹理的方向信息提取容易产生误差问题。

发明内容

本发明针对现有技术中存在的不足，本发明一种基于多方向局部二值模式的人脸识别方法是基于局部二值模式算子在进行特征提取的过程中对图像纹理的方向信息提取容易产生误差问题的基础上提出的，利用多方向局部二值模式可以进一步完善人脸识别算法。

本发明为实现上述发明目的，采取的技术方案如下：

一种基于多方向局部二值模式的人脸识别方法，包括有如下步骤：

步骤1、结合层叠分类器对原始二维图像进行分类，在保留人脸窗口的条件下，过滤掉所有非人脸窗口，在保证漏检率低的基础上将大部分非人脸区域过滤，得到原始二维人脸图像；

步骤2、设在二维人脸图像当中，尺度参数为x，则x应满足大于0；根据剪切波变换函数的仿射变换规律得出如下公式：

δ_x,m,n＝x^-3/4δ(K_x,m ^-1n) (1)

公式(1)中，δ_x,m,n表示为人脸图像的基函数；m表示为剪切参数，m∈R；n表示为图像平移参数，n∈R²；K表示为二维人脸图像中某一位置坐标和，K＝[(x，-x^1/2)，(0，x^1/2)]；根据计算公式(1)得出，连续剪切波的变化定义为：H(x，m，n)＝<K,δ_x,m,n>，其中x>0,m∈R,n∈R²,根据连续剪切波变化定义，完成对原始二维人脸图像的变换；

步骤3、通过变换后得到不同大小、方向的人脸子图像；对变换后的人脸子图像进行平均融合处理，得到少量的剪切波变换人脸子图像；

步骤4、利用多方向局部二值模式，在变径为r的圆形区域内，得出含有Q个采样点的特征提取模式；根据多方向局部二值模式给出的算子得出：

公式(2)中，L_q表示为最终计算得出的多方向局部二值模式算子；i_q表示为图像中中心点的像素值大小；i_c表示为图像中相邻点的像素值大小；m表示为剪切参数，m的取值范围为(0,1)；

步骤5、利用多方向局部二值模式在对人脸特征进行提取时，对阈值化结果采用均匀模式进行编码处理后，计算得出人脸图像的特征表示；

步骤6、基于多方向局部二值模式的人脸图像的特征提取方式与协同表示算法相结合，完成对人脸图像的特征识别。

作为本发明的优选技术方案：步骤3中，所述对变换后的人脸子图像进行平均融合处理具体为：将处于统一尺度上的人脸子图像，经过剪切波变换后，对其所有方向上的赋值域图谱进行统一的增加或删减，再对平均融合后的赋值域图谱根据公式(1)计算，得到少量的剪切波变换人脸子图像。

作为本发明的优选技术方案：所述步骤5的具体步骤如下：步骤5.1、根据多方向局部二值模式计算二维人脸图像在各个方向上的局部二值模式纹理图像，再分别将不同方向上的局部二值模式纹理图像划分为多个4×4的矩形区域，并计算各二个区域的直方图；步骤5.2、将所有得到的直方图进行连接，得到一个在某一方向上所有直方图的联合直方图；步骤5.3、通过连接各个方向上的联合直方图绘制成一个完成的人脸特征量，利用可编程计数器阵列对人脸特征量进行降维处理，得出人脸图像的特征表示。

作为本发明的优选技术方案：所述步骤6的具体步骤如下：步骤6.1、根据多方向局部二值模式的人脸图像的特征提取方式，提取所有样本集中的扩展多方向局部二值模式特征；步骤6.2、对其中某一类训练样本提取的扩展变化特征进行标记，通过所有训练样本特征集对测试样本特征进行协同表示，将其简化为如下：

公式(3)中，e表示为测试样本特征；Z表示为提取的扩展多方向局部二值模式变化特征；β表示为协同表示系数；λ表示为正则化参数，λ≥0；

步骤6.3、分别提取训练样本集和测试样本集中的多方向局部二值模式变化特征，并将其分别标记为Z和e；利用训练样本特征集Z对测试样本特征e进行协同表示，从而得到编码对应的投影矩阵；

步骤6.4、利用规则化残差计算公式，判定测试样本所属的具体特征类别，完成对人脸图像的特征识别。

本发明所述的一种基于多方向局部二值模式的人脸识别方法，采用以上技术方案与现有技术相比，具有以下技术效果：

1、本发明结合多方向局部二值模式，提取人脸图像局部区域纹理变化特征，使识别过程中提取到的人脸图像纹理更加清晰、丰富。

2、本发明具有更高的识别精度，同时识别精度不会受到分块方式的影响，识别精度更稳定，在实际应用中具有更高的实用性。

附图说明

图1是本发明多方向局部二值模式采样点设置示意图；

图2是本发明多方向局部二值模式特征提取编码过程示意图；

图3是本发明的10幅人脸图像组成图像。

具体实施方式

下面结合附图详细的描述本发明的作进一步的解释说明,以使本领域的技术人员可以更深入地理解本发明并能够实施,但下面通过参考实例仅用于解释本发明,不作为本发明的限定。

一种基于多方向局部二值模式的人脸识别方法，包括有如下步骤：步骤1、结合层叠分类器对原始二维图像进行分类，在保留人脸窗口的条件下，过滤掉所有非人脸窗口，在保证漏检率低的基础上将大部分非人脸区域过滤，得到原始二维人脸图像；将层叠分类器看作是一颗不断蜕化的决策树，越靠近原始人脸图像的分类器检测正确率越低，漏检率越低，检测时间越短，能够有效保证过滤大量非人脸窗口的速度需要。越靠后的分类器漏检率越高、检测正确率越高、检测时间越长，能够保证人脸的正确检测。

步骤2、设在二维人脸图像当中，尺度参数为x，则x应满足大于0；根据剪切波变换函数的仿射变换规律得出如下公式：

δ_x,m,n＝x^-3/4δ(K_x,m ^-1n) (1)

公式(1)中，δ_x,m,n表示为人脸图像的基函数；m表示为剪切参数，m∈R；n表示为图像平移参数，n∈R²；K表示为二维人脸图像中某一位置坐标和，K＝[(x，-x^1/2)，(0，x^1/2)]；根据计算公式(1)得出，连续剪切波的变化定义为：H(x，m，n)＝<K,δ_x,m,n>，其中x>0,m∈R,n∈R²,根据连续剪切波变化定义，完成对原始二维人脸图像的变换；

步骤3、通过变换后得到不同大小、方向的人脸子图像；对变换后的人脸子图像进行平均融合处理，得到少量的剪切波变换人脸子图像；步骤3中，所述对变换后的人脸子图像进行平均融合处理具体为：将处于统一尺度上的人脸子图像，经过剪切波变换后，对其所有方向上的赋值域图谱进行统一的增加或删减，再对平均融合后的赋值域图谱根据公式(1)计算，得到少量的剪切波变换人脸子图像。

步骤4、利用多方向局部二值模式，在变径为r的圆形区域内，得出含有Q个采样点的特征提取模式；根据多方向局部二值模式给出的算子得出：

公式(2)中，L_q表示为最终计算得出的多方向局部二值模式算子；i_q表示为图像中中心点的像素值大小；i_c表示为图像中相邻点的像素值大小；m表示为剪切参数，m的取值范围为(0,1)；

多方向局部二值模式特征提取采样点设置方式如图1所示，图1中，A、C表示为8个采样点的多方向局部二值模式；B表示为16个采样点的多方向局部二值模式。根据上述特征提取模式得出，利用多方向局部二值模式在对人脸特征进行提取时的编码过程如图2所示。由图2可以看出，通过多方向局部二值模式特征提取编码的过程总位数为364维，具有更高的维数特征。但为了方便后续计算，本发明将其进行适当简化，对阈值化结果采用均匀模式进行编码处理。设定一个二进制序列从1到0和从0到1的过程总共不会超过两次。

步骤5、利用多方向局部二值模式在对人脸特征进行提取时，对阈值化结果采用均匀模式进行编码处理后，计算得出人脸图像的特征表示；步骤5的具体步骤如下：步骤5.1、根据多方向局部二值模式计算二维人脸图像在各个方向上的局部二值模式纹理图像，再分别将不同方向上的局部二值模式纹理图像划分为多个4×4的矩形区域，并计算各二个区域的直方图；步骤5.2、将所有得到的直方图进行连接，得到一个在某一方向上所有直方图的联合直方图；步骤5.3、通过连接各个方向上的联合直方图绘制成一个完成的人脸特征量，利用可编程计数器阵列对人脸特征量进行降维处理，得出人脸图像的特征表示。

本发明选用0°、45°、90°和135°，四个方向。在提取特征之后，共可获取到四个不同的特征图像，对各特征图像进行划分，将其分解为16个矩形的区域，在每个区域中共有四个灰度级，最终得到的特征量维数应为256维。表1为通过降维处理后的维数与保留原始图像信息百分比的关系对比表。

表1降维处理后维数与保留信息百分比关系对比表

根据表1中的数据可以得出，在对人脸图像特征提取时，将维数降低到47维可以基本保留图像中的原始信息，降低识别训练时间。

步骤6、基于多方向局部二值模式的人脸图像的特征提取方式与协同表示算法相结合，完成对人脸图像的特征识别。步骤6的具体步骤如下：步骤6.1、根据多方向局部二值模式的人脸图像的特征提取方式，提取所有样本集中的扩展多方向局部二值模式特征；

步骤6.2、对其中某一类训练样本提取的扩展变化特征进行标记，通过所有训练样本特征集对测试样本特征进行协同表示，将其简化为如下：

公式(3)中，e表示为测试样本特征；Z表示为提取的扩展多方向局部二值模式变化特征；β表示为协同表示系数；λ表示为正则化参数，λ≥0；

步骤6.3、分别提取训练样本集和测试样本集中的多方向局部二值模式变化特征，并将其分别标记为Z和e；利用训练样本特征集Z对测试样本特征e进行协同表示，从而得到编码对应的投影矩阵；

步骤6.4、利用规则化残差计算公式，判定测试样本所属的具体特征类别，完成对人脸图像的特征识别。

具体实施时，本发明选用主频为4.8GHz，内存为8G的CPU为NBC K36C 6400K作为实验硬件平台，软件平台为Windows 2020。人脸图像数据库是由常见的ORL人脸数据库、AR人脸数据库中获取的人脸图像组成。在人脸数据库当中随机选择20个人的200幅人脸图像，每个人的人脸图像包括10幅正脸图像，发生改变的主要包括其姿态、光照以及表情等，每幅正脸图像的大小为115×95。将所有人脸图像进行标准化处理，再从中随机抽取10幅图像，在实验平台中添加这10幅人脸图像组成完全相同的人脸图像集，如图3所示。

由于本发明提出的基于多方向局部二值模式的人脸识别方法能够对多尺度、多方向的人脸图像进行分解，因此，本发明选择人脸图像集中的数据分别为数据集上0°、45°、90°和135°，四个方向人脸图像，并分别对应多方向局部二值模式的三层分析同时分别对不同方向人脸图像设置滤波器，滤波器的规格为45×45×45和90×90×90，利用离散剪切波变换的代码，加之人脸图像变化后的低频系数作为本发明特征提取的实验对象。分别利用本发明提出的基于多方向局部二值模式的人脸识别方法和传统人脸识别算法对实验对象进行识别，并设置本发明方法为实验组，传统算法为对照组。对于实验组涉及的正则化参数，在其变化过程较小的情况下对于人脸图像的识别结果影响不大，因此在进行实验组识别过程中，设置其正则化参数的取值为0.007。

根据上述实验准备完成对比实验，根据不同分块方式，对比实验组与对照组对人脸图像的识别率，并将实验结果绘制成如表2所示。

表2不同分块方式下两组识别算法识别率比较

根据表2中的不同分块方式下两组识别算法识别率比较结果可以看出，实验组的识别率在5种不同分块方式中均明显高于对照组。并且，随着分块方式不断细化，对照组的识别率会出现明显的下降趋势，而实验组的识别率并未出现明显下降趋势。因此，通过对比实验证明，本发明提出的一种基于多方向局部二值模式的人脸识别方法具有更高的识别精度，同时识别精度不会受到分块方式的影响，识别精度更稳定，在实际应用中具有更高的实用性。本发明结合多方向局部二值模式，提取人脸图像局部区域纹理变化特征，使识别过程中提取到的人脸图像纹理更加清晰、丰富。

本发明将在传统小波变换图像纹理分析方法的基础上，充分利用人脸图像中各向异性的规律，提出一种全新的原始人脸图像变换模式。采用一种多尺度几何分析工具剪切波变换，对原始人脸图像进行二维图像最优逼近，从而方便后续获取人脸图像中包含的各类信息及特征。

以上所述的具体实施方案，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施方案而已，并非用以限定本发明的范围，任何本领域的技术人员，在不脱离本发明的构思和原则的前提下所做出的等同变化与修改，均应属于本发明保护的范围。

Claims (4)

1.一种基于多方向局部二值模式的人脸识别方法，其特征在于，包括有如下步骤：

步骤1、结合层叠分类器对原始二维图像进行分类，在保留人脸窗口的条件下，过滤掉所有非人脸窗口，在保证漏检率低的基础上将大部分非人脸区域过滤，得到原始二维人脸图像；

步骤2、设在二维人脸图像当中，尺度参数为x，则x应满足大于0；根据剪切波变换函数的仿射变换规律得出如下公式：

δ_x,m,n＝x^-3/4δ(K_x,m ^-1n) (1)

公式(1)中，δ_x,m,n表示为人脸图像的基函数；m表示为剪切参数，m∈R；n表示为图像平移参数，n∈R²；K表示为二维人脸图像中某一位置坐标和，K＝[(x，-x^1/2)，(0，x^1/2)]；根据计算公式(1)得出，连续剪切波的变化定义为：H(x，m，n)＝<K,δ_x,m,n>，其中x>0,m∈R,n∈R²,根据连续剪切波变化定义，完成对原始二维人脸图像的变换；

步骤3、通过变换后得到不同大小、方向的人脸子图像；对变换后的人脸子图像进行平均融合处理，得到少量的剪切波变换人脸子图像；

步骤4、利用多方向局部二值模式，在变径为r的圆形区域内，得出含有Q个采样点的特征提取模式；根据多方向局部二值模式给出的算子得出：

公式(2)中，L_q表示为最终计算得出的多方向局部二值模式算子；i_q表示为图像中中心点的像素值大小；i_c表示为图像中相邻点的像素值大小；m表示为剪切参数，m的取值范围为(0,1)；

步骤5、利用多方向局部二值模式在对人脸特征进行提取时，对阈值化结果采用均匀模式进行编码处理后，计算得出人脸图像的特征表示；

步骤6、基于多方向局部二值模式的人脸图像的特征提取方式与协同表示算法相结合，完成对人脸图像的特征识别。

2.根据权利要求1所述的一种基于多方向局部二值模式的人脸识别方法，其特征在于，步骤3中，所述对变换后的人脸子图像进行平均融合处理具体为：将处于统一尺度上的人脸子图像，经过剪切波变换后，对其所有方向上的赋值域图谱进行统一的增加或删减，再对平均融合后的赋值域图谱根据公式(1)计算，得到少量的剪切波变换人脸子图像。

3.根据权利要求1所述的一种基于多方向局部二值模式的人脸识别方法，其特征在于，所述步骤5的具体步骤如下：

步骤5.1、根据多方向局部二值模式计算二维人脸图像在各个方向上的局部二值模式纹理图像，再分别将不同方向上的局部二值模式纹理图像划分为多个4×4的矩形区域，并计算各二个区域的直方图；

步骤5.2、将所有得到的直方图进行连接，得到一个在某一方向上所有直方图的联合直方图；

步骤5.3、通过连接各个方向上的联合直方图绘制成一个完成的人脸特征量，利用可编程计数器阵列对人脸特征量进行降维处理，得出人脸图像的特征表示。

4.根据权利要求1所述的一种基于多方向局部二值模式的人脸识别方法，其特征在于，所述步骤6的具体步骤如下：

步骤6.1、根据多方向局部二值模式的人脸图像的特征提取方式，提取所有样本集中的扩展多方向局部二值模式特征；

步骤6.2、对其中某一类训练样本提取的扩展变化特征进行标记，通过所有训练样本特征集对测试样本特征进行协同表示，将其简化为如下：

公式(3)中，e表示为测试样本特征；Z表示为提取的扩展多方向局部二值模式变化特征；β表示为协同表示系数；λ表示为正则化参数，λ≥0；

步骤6.3、分别提取训练样本集和测试样本集中的多方向局部二值模式变化特征，并将其分别标记为Z和e；利用训练样本特征集Z对测试样本特征e进行协同表示，从而得到编码对应的投影矩阵；

步骤6.4、利用规则化残差计算公式，判定测试样本所属的具体特征类别，完成对人脸图像的特征识别。

Images