CN109344758B - 基于改进局部二值模式的人脸识别方法 - Google Patents

Abstract

本发明涉及一种基于改进局部二值模式的人脸识别方法，拍摄人脸图片，采用人脸检测算法进行人脸检测，并进行裁剪；对得到的人脸图像，获取特征点的坐标，根据坐标对人脸图像进行处理，得到人脸的正脸图片，并分成训练集和测试集；采用基于4进制的近邻LBP算法计算对应参数；采用基于4进制的近邻LBP算法计算测试集与训练集中图片的特征值，在测试集中任意选取一张图片，并计算其特征向量与训练集中所有图片特征向量的欧氏距离，选取欧氏距离最小的训练样本作为此待测样本的识别结果，并与其标签进行比较，计算识别率，输出识别结果。本发明提出的方法能更好地反映图形的纹理特征，提高人脸识别的准确率。

Description

基于改进局部二值模式的人脸识别方法

技术领域

本发明涉及人脸识别技术领域，特别是一种基于改进局部二值模式(LBP)的人脸识别方法。

背景技术

人脸识别，是生物特征识别技术中的一种以较低的成本获得较高的准确率的技术。由于人脸识别技术相比于声音，虹膜等其它的识别技术，具有数据容易获取，成本低，采集过程方便，体验舒适等优点，因此受到学术界和工业界的广泛研究。

传统的人脸识别算法有基于人脸特征点的识别算法，基于神经网络的人脸识别算法，基于LBP的人脸识别算法等。其中，在实际环境中，由于光照条件限制，人脸姿态不稳定等主客观因素的影响，很多人脸识别技术识别成功率不高，并且识别时间较长，并不能满足于大众群体的需求。相较之下，基于LBP的人脸识别方法运用到了LBP算子对图像纹理特征的描述，它对光照的强弱具有较好的鲁棒性，并且它的计算效率也相对较高，是一个对精度和速度都能充分折中的方法。

LBP是一种用于描述图像局部纹理特征的算子，其最早是被芬兰Oulu大学的T.Ojala,M.

和D.Harwood等人员在1994年提出。因为其对于光照的干扰具有较好的鲁棒性，所以它被广泛地应用于图像的纹理分析等相关领域。在2000年前后被用到人脸识别的研究中来。

传统的LBP算法是在一个大小为3×3的窗口范围进行周围像素值(称为邻域像素值)与中心像素值的比较，得到差值向量，并把所得结果进行统计分析，得到LBP像素特征值。

此特征值是在特征图中邻域像素点与中心像素点相比较然后进行统计计算所得到的纹理特征。对于人脸识别，可以将LBP特征图进行分块处理，做出每一个模块的直方图。并由直方图来求得LBP特征向量，通过比对两张图片的LBP特征向量的相似程度来进行识别。并将这个模型称作为LBP模型。

对于LBP模型的改进主要分为两方面，一是加大邻域数据点的采集；二是引入邻域数据点之间的比较。对于第一种改进方法，由于传统的LBP模型局限于3×3的正方形邻域之内，在有些情况下这种数据采集量并不能满足需求，所以Harwood等人将这种邻域像素点的采集扩展到任意邻域，并提出了用圆形邻域取代正方形邻域的方法。此种改进方法克服了邻域数据量不足的局限性，打破了传统方法和思想的限制，对于识别的精确度有一定程度的提高。但是，大量研究认为，中心点像素LBP的值不仅取决于中心点与邻域点的比较，还取决于相邻邻域点之间的比较。此LBP算法的思路只是考虑到了中心点与邻域点之间的关系并进行比较而得到中心点LBP的值，进而获取到一个范围内的局部纹理特征。但是这种算法忽略了邻域点之间的关系，如此一来，这个中心点LBP值的计算便显得不够精确。也即，传统的LBP算法是在一个大小为3×3的窗口范围内进行周围像素值与中心像素值的比较与统计，比较中心点像素值与邻域点像素值的关系。但是，这种算法忽略了邻域像素点之间的关系，不能充分地反映图像的纹理特征。

发明内容

本发明的目的在于提供一种基于改进局部二值模式的人脸识别方法，以克服现有技术中存在的缺陷。

为实现上述目的，本发明的技术方案是：一种基于改进局部二值模式的人脸识别方法，包括如下步骤：

步骤S1：拍摄人脸图片，采用人脸检测算法进行人脸检测；检测到人脸后对该区域进行裁剪，将裁剪后的图片保存下来，作为人脸图像传入下一步进行处理；

步骤S2：对第一步得到的人脸图像，进行特征点的检测，获取特征点的坐标，根据坐标对人脸图像进行平移、缩放以及旋转处理，得到一组人脸的正脸图片，并分成训练集和测试集；

步骤S3：对于训练集和测试集中的任意一张人脸图片，采用基于4进制的近邻LBP算法进行计算，包括：计算邻域点的像素值、邻域像素点与中心像素点的比较、相邻邻域像素点之间的比较以及计算中心点LBP特征值；

步骤S4：分别采用基于4进制的近邻LBP算法计算测试集与训练集中图片的特征值，同时计算训练集图片和测试集图片的特征向量；在测试集中任意选取一张图片，并计算其特征向量与训练集中所有图片特征向量的欧氏距离，选取欧氏距离最小的训练样本作为此待测样本的识别结果，并与其标签进行比较，计算识别率，输出识别结果。

在本发明一实施例中，在所述步骤S1中，所述人脸检测算法为一种基于轻量级卷积神经网络的人脸检测算法。

在本发明一实施例中，在所述步骤S3中，所述计算邻域点的像素值还包括如下步骤：

步骤S301：在圆形邻域的背景下进行基于4进制的近邻LBP算法的计算；建立一个6×6的像素点阵区域，采用格点来表示像素点的位置，记P和R为基于4进制的近邻LBP算法的圆形邻域采样点的个数和采样半径；对于像素点阵区域内任意一点K，计算K点处半径R的水平分量rx和竖直分量ry，水平分量rx为：

同理，竖直分量ry为：

步骤S02：依据K处周围最近的四个像素点A，B，C，D距离K处的相对位置来计算四个权值w_a，w_b，w_c，w_d；

步骤S3021：记上限函数Ceil(x)与下限函数Floor(x)为：

步骤S3022：根据上限函数Ceil(x)与下限函数Floor(x)获取K处水平分量rx和垂直分量ry的上限rx_u，ry_u和下限rx_d，ry_d，通过如下方式获取：

步骤S3023：通过如下偏移量计算获取K处水平偏移量tx和垂直偏移量ty；其中，竖直偏移量为tx＝rx-rx_d；竖直偏移量为ty＝ry-ry_d；

步骤S3024：根据偏移量通过如下获取四个像素点A，B，C，D处的权值：

步骤S303：将A，B，C，D处的像素值与对应的权值相乘，然后进行归一化处理，获取K处中间邻域点的像素值，通过如下方式获取：

cg_k＝w_a·A+w_b·B+w_c·C+w_d·D,(k＝0,1,…,P-1)。

在本发明一实施例中，在所述步骤S3中，所述邻域像素点与中心像素点的比较按照如下步骤实现：

步骤S304：分别取各邻域点像素值g_x(x＝0,1…,P-1)与中心点像素值g_o做比较，把比较结果作为该邻域点对比结果

的第一位b1_x(x＝0,1…,P-1)；若邻域像素值大于中心点像素值时为记为1，若邻域像素值小于中心点像素值时记为0，其计算公式为；b1_x＝S(g_x-g_o)(x＝0,1,…,P-1)。

在本发明一实施例中，在所述步骤S3中，所述相邻邻域像素点之间的比较按照如下步骤实现：

步骤S305：依次取各邻域点g_x与其前驱点g_x-1和后继点g_x+1进行对比，把结对比果作为该邻域点对比结果

的第二位b2_x(x＝0,1…,P-1)；若当前邻域点像素值g_x大于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid(g_mid＝(g_x-1+g_x+1)/2)，则取1；若当前邻域点像素值g_x小于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid，则取0。

在本发明一实施例中，在所述步骤S3中，所述计算中心点LBP特征值按照如下步骤实现：

步骤S306：获取所有的邻域点对比结果，包括P个两位的二进制数，将其转化为四进制数并按照顺序排列起来得到：

然后再将这个四进制数转化为十进制数，其转换方式如下：

且该十进制数即为中心点的LBP像素特征值；

步骤S307：将圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，计算每个区域内的LBP特征值获取原始图像的LBP特征图；将原始图像中的边缘部分的LBP像素特征值记为0，得到整张图像的LBP像素特征值。

在本发明一实施例中，在所述步骤S4中，还包括如下步骤：

分别采用基于4进制的近邻LBP算法计算训练集和测试集中整张图像的LBP像素特征值，组成LBP特征图；将LBP特征图进行分块处理，获取每一个模块的直方图；通过直方图，分别计算训练集图片的特征向量Δg_train和测试集图片的特征向量Δg_test，且采用如下方式获取对应的特征向量：

在测试集中任意选取一张图片，并根据如下方式计算其特征向量与训练集中所有图片特征向量的欧氏距离：ΔΩ＝|Δg_train-Δg_test|；取与其具有最小欧氏距离的人脸作为识别结果；若识别结果与测试集的标签相符，则识别正确，否则为识别错误；用ts表示总共测试次数，tr表示其中正确识别的次数，则识别率ar为：

相较于现有技术，本发明具有以下有益效果：本发明的优点在于充分地考虑到了中心点像素LBP值的影响因素，加入了邻域点像素值之间的比较过程，克服了原有模型和算法的局限性。同时，为了更具有一般性，本发明在圆形邻域进行了实现，并且通过计算权值来调节各影响因素的比例。从而最大程度地提高识别准确率。

附图说明

图1为本发明一实施例中LBP邻域点与中心点对比关系示意图。

图2为本发明一实施例中前驱点与后继点示意图。

图3为本发明一实施例中圆形NLBP_4计算示意图。

图4为本发明一实施例中原始人脸图像与经过NLBP_4算法处理过后的人脸图像示意图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明提出的一种基于改进局部二值模式的人脸识别方法，包括四个部分，第一个部分为人脸检测单元，第二部分为人脸对齐单元，第三部分为LBP特征值的计算单元。第四部分为人脸识别单元。人脸检测单元主要包括拍摄人物图片，检测人脸，获取基本的图片数据。人脸对齐单元主要包括对图像进行一些基本的处理，以期得到一组人脸正脸图片。计算单元对于任意一张人脸图片，用NLBP_4算法进行计算，得到整张图像的NLBP_4像素特征值。人脸识别单元通过分块做出直方图来计算特征向量，然后通过比较欧氏距离，进行识别。

进一步的，按照如下步骤实现：

步骤S1：拍摄人脸图片，利用一些业界成熟的算法(如MTCNN算法)进行人脸检测，检测到人脸后对该区域进行裁剪，将这些裁剪的图片保存下来，传入下一步进行处理。

步骤S2：对第一步得到的人脸图像，进行特征点的检测，获取特征点的坐标，依据这些坐标对图像进行平移，缩放，旋转处理，进而得到一组人脸的正脸图片。

步骤S3：对于任意一张人脸图片，利用NLBP_4算法进行计算，其主要包括三个阶段。第一阶段为计算邻域点的像素值(对应步骤301-303)，第二阶段为邻域像素点与中心像素点的比较(步骤304)，第三阶段为相邻邻域像素点之间的比较(步骤305)，第四个阶段为计算中心点LBP特征值的过程(步骤306-307)。

步骤S4：在测试集与训练集中分别用NLBP_4算法计算特征值，同时计算训练集图片和测试集图片的特征向量。在某个待测样本的测试集中任意选取一张图片，并计算其特征向量与训练集中所有图片特征向量的欧氏距离，选取欧氏距离最小的那个训练样本作为此待测样本的识别结果，并与其标签进行比较，计算识别率。

进一步的，在本实施例中，如附图2所示，为了描述相邻像素点之间的计算关系，定义前驱点与后继点如下：

定义前驱点为g_x-1：当前邻域点g_x逆时针方向相邻的邻域点；

定义后继点为g_x+1：当前邻域点g_x顺时针方向相邻的邻域点；

在本实施例中，将该LBP算法记为NLBP_4算法。

在本实施例中，对于圆形的邻域范围说明：为了使这种方法在任意邻域范围内适用，设定在圆形邻域的背景下进行

算子的计算。如图3所示，此图为一个6×6的像素点阵区域，用格点来表示像素点的位置，把P和R作为

算子的邻域采样点的个数和采样半径。由于某一个位置K处可能没有邻域点，所以首先需要设置权值，根据K处周围最近的四个像素点A,B,C,D的像素值来计算K处邻域点的像素值，进而来进行O点处LBP像素特征值的计算。

进一步的，在步骤S1中，还包括如下步骤：

步骤S101：对某一待测人群中的每个人分别拍摄多张人脸图片，利用一些业界成熟的算法(如MTCNN算法)进行人脸检测，检测到人脸后对该区域进行裁剪，将这些裁剪的图片保存下来，传入下一步进行处理。

进一步的，在步骤S2中，还包括如下步骤：

步骤S201：对第一步得到的人脸图像，进行特征点的检测，获取特征点的坐标，依据这些坐标对图像进行平移，缩放，旋转处理，进而得到一组人脸的正脸图片。并将的图片分成训练集和测试集。

进一步的，在步骤S3中，还包括如下步骤：

对于任意一张人脸图片，用NLBP_4算法进行LBP特征值的计算。

步骤S301：对于任意一点K，计算K点处半径R的水平分量rx和竖直分量ry，其中水平分量rx为：

同理，竖直分量ry的计算公式为：

步骤S302：依据四个像素点A，B，C，D距离K处的相对位置来计算四个权值w_a，w_b，w_c，w_d。

步骤S3021：引入上限函数Ceil(x)与下限函数Floor(x)，并将其其定义为：

步骤S3022：依据上限函数Ceil(x)与下限函数Floor(x)来求出K处水平分量rx和垂直分量ry的上限rx_u，ry_u和下限rx_d，ry_d，其依据的计算公式为：

步骤S3023：将所得到的结果带入偏移量公式求出K处水平偏移量tx和垂直偏移量ty。其中，竖直偏移量tx＝rx-rx_d；竖直偏移量ty＝ry-ry_d。

步骤S3024：由偏移量来确定四个像素点A，B，C，D处的权值，其计算公式为：

步骤S303：将A，B，C，D处的像素值与对应的权值相乘，然后进行归一化处理，即可得到K处中间邻域点的像素值。其具体计算公式为：

cg_k＝w_a·A+w_b·B+w_c·C+w_d·D,(k＝0,1,…,P-1)。

步骤S304：如图1所示，在一个圆形邻域范围内，如附图3，分别取各邻域点像素值g_x(x＝0,1…,P-1)与中心点像素值g_o做比较，把结果作为该邻域点对比结果

的第一位b1_x(x＝0,1…,P-1)。若邻域像素值大于中心点像素值时为记为1，若邻域像素值小于中心点像素值时记为0，其计算公式为；b1_x＝S(g_x-g_o)(x＝0,1,…,P-1)。

步骤S305：依次取各邻域点g_x与其前驱点g_x-1和后继点g_x+1进行对比，并把这个结果作为该邻域点对比结果

的第二位b2_x(x＝0,1…,P-1)。其对比方法为：若当前邻域点像素值g_x大于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid(g_mid＝(g_x-1+g_x+1)/2)，则取1；若当前邻域点像素值g_x小于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid，则取0。

进一步的，可以用数学公式来描述上述过程，定义函数C(x,y,z)如为：

则邻域点对比结果

的第二位b2_x的取值可由右式计算：

步骤S306：计算所有的邻域点对比结果，此结果P个两位的二进制数，我们首先将其转化为四进制数并按照顺序排列起来得到

然后再将这个四进制数转化为十进制数，其转换公式如下：

此十进制数即为中心点的LBP像素特征值。

步骤S307：将这个圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，计算每个区域内的LBP特征值就能得到原始图像的LBP特征图。对于原始图像中的边缘部分，LBP像素特征值直接记为0，由此得到整张图象的LBP像素特征值。其图像示例如附图4。

进一步的，在步骤S4中，还包括如下步骤：

将所有人的人脸图像分为训练集和测试集，分别用NLBP_4算法计算整张图像的LBP像素特征值，组成LBP特征图。然后将LBP特征图进行分块处理，做出每一个模块的直方图。接着通过直方图，分别计算训练集图片的特征向量Δg_train和测试集图片的特征向量Δg_test，其特征向量计算公式为：

在某个待测样本的测试集中任意选取一张图片，并计算其特征向量与训练集中所有图片特征向量的欧氏距离，其计算公式为：ΔΩ＝|Δg_train-Δg_test|。取与其具有最小欧氏距离的人脸作为识别结果，若识别结果与测试集的标签相符，则识别正确，否则为识别错误。用ts表示总共测试次数，tr表示其中正确识别的次数，则识别率ar为：

本发明实施例所提供的环境场景为复杂的光照环境场景，但本发明场景不仅仅局限于复杂的光照场景，还适用于其他外界因素干扰的环境场景，此处仅起到示例作用。本发明实施例所提供的方法为基于改进局部二值模式的人脸识别方法，其相应的改进的类似方法也适用，在此仅起到示例作用。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (3)

1.一种基于改进局部二值模式的人脸识别方法，其特征在于，包括如下步骤：

步骤S1：拍摄人脸图片，采用人脸检测算法进行人脸检测；检测到人脸后对该人脸区域进行裁剪，将裁剪后的图片保存下来，作为人脸图像传入下一步进行处理；

步骤S2：对第一步得到的人脸图像，进行特征点的检测，获取特征点的坐标，根据坐标对人脸图像进行平移、缩放以及旋转处理，得到一组人脸的正脸图片，并分成训练集和测试集；

步骤S3：对于训练集和测试集中的任意一张人脸图片，采用基于4进制的近邻LBP算法进行计算，包括：计算邻域点的像素值、邻域像素点与中心像素点的比较、相邻邻域像素点之间的比较以及计算中心点LBP特征值；

在所述步骤S3中，所述计算邻域点的像素值还包括如下步骤：

步骤S301：在圆形邻域的背景下进行基于4进制的近邻LBP算法的计算；建立一个6×6的像素点阵区域，采用格点来表示像素点的位置，记P和R为基于4进制的近邻LBP算法的圆形邻域采样点的个数和采样半径；对于像素点阵区域内任意一点K，计算K点处半径R的水平分量rx和竖直分量ry，水平分量rx为：

同理，竖直分量ry为：

步骤S02：依据K处周围最近的四个像素点A，B，C，D距离K处的相对位置来计算四个权值w_a，w_b，w_c，w_d；

步骤S3021：记上限函数Ceil(x)与下限函数Floor(x)为：

Floor(x)＝[x]

步骤S3022：根据上限函数Ceil(x)与下限函数Floor(x)获取K处水平分量rx和垂直分量ry的上限rx_u，ry_u和下限rx_d，ry_d，通过如下方式获取：

步骤S3023：通过如下偏移量计算获取K处水平偏移量tx和垂直偏移量ty；其中，竖直偏移量为tx＝rx-rx_d；竖直偏移量为ty＝ry-ry_d；

步骤S3024：根据偏移量通过如下获取四个像素点A，B，C，D处的权值：

步骤S303：将A，B，C，D处的像素值与对应的权值相乘，然后进行归一化处理，获取K处中间邻域点的像素值，通过如下方式获取：

cg_k＝w_a·A+w_b·B+w_c·C+w_d·D,(k＝0,1,…,P-1)；

步骤S4：分别采用基于4进制的近邻LBP算法计算测试集与训练集中图片的特征值，同时计算训练集图片和测试集图片的特征向量；在测试集中任意选取一张图片，并计算其特征向量与训练集中所有图片特征向量的欧氏距离，选取欧氏距离最小的训练样本作为此待测样本的识别结果，并与其标签进行比较，计算识别率，输出识别结果；

在所述步骤S3中，所述邻域像素点与中心像素点的比较按照如下步骤实现：

步骤S304：分别取各邻域点像素值g_x，x＝0,1…,P-1与中心点像素值g_o做比较，把比较结果作为该邻域点对比结果

的第一位b1_x；若邻域像素值大于中心点像素值时为记为1，若邻域像素值小于中心点像素值时记为0，其计算公式为；b1_x＝S(g_x-g_o)；

在所述步骤S3中，所述相邻邻域像素点之间的比较按照如下步骤实现：

步骤S305：依次取各邻域点g_x与其前驱点g_x-1和后继点g_x+1进行对比，把结对比果作为该邻域点对比结果

的第二位b2_x；若当前邻域点像素值g_x大于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid，g_mid＝(g_x-1+g_x+1)/2，则取1；若当前邻域点像素值g_x小于它的前驱点像素值g_x-1与后继点像素值g_x+1的加权平均数g_mid，则取0；

在所述步骤S3中，所述计算中心点LBP特征值按照如下步骤实现：

步骤S306：获取所有的邻域点对比结果，包括P个两位的二进制数，将其转化为四进制数并按照顺序排列起来得到：

然后再将这个四进制数转化为十进制数，其转换方式如下：

且该十进制数即为中心点的LBP像素特征值；

步骤S307：将圆形邻域以圆心为中心点，以步长为一个像素单位进行滑动，计算每个区域内的LBP特征值获取原始图像的LBP特征图；将原始图像中的边缘部分的LBP像素特征值记为0，得到整张图像的LBP像素特征值。

2.根据权利要求1所述的一种基于改进局部二值模式的人脸识别方法，其特征在于，在所述步骤S1中，所述人脸检测算法为一种基于轻量级卷积神经网络的人脸检测算法。

3.根据权利要求1所述的一种基于改进局部二值模式的人脸识别方法，其特征在于，在所述步骤S4中，还包括如下步骤：

分别采用基于4进制的近邻LBP算法计算训练集和测试集中整张图像的LBP像素特征值，组成LBP特征图；将LBP特征图进行分块处理，获取每一个模块的直方图；通过直方图，分别计算训练集图片的特征向量Δg_train和测试集图片的特征向量Δg_test，且采用如下方式获取对应的特征向量：

在测试集中任意选取一张图片，并根据如下方式计算其特征向量与训练集中所有图片特征向量的欧氏距离：ΔΩ＝|Δg_train-Δg_test|；取与其具有最小欧氏距离的人脸作为识别结果；若识别结果与测试集的标签相符，则识别正确，否则为识别错误；用ts表示总共测试次数，tr表示其中正确识别的次数，则识别率ar为：

Images