CN109670412B - 改进lbp的3d人脸识别方法 - Google Patents

Abstract

本发明涉及模式识别领域，尤其涉及在三维人脸识别应用领域，为提出一种改进LBP的3D人脸识别方法，在传统二维环境下的LBP拓展到三维环境，减弱随机噪声对算法的影响，尤其适用于对于人脸半刚性区域的检验和特征描述。为此，本发明采取的技术方案是，改进LBP的3D人脸识别方法，输入3D人脸图像，首先进行面部刚性区域的划分，在半刚性区域内选择采样点，求解每一个采样点的3D‑LBP特征矩阵，随后将获得的矩阵与预先建立的目标矩阵进行对比，判断当前人脸是否为目标人脸。本发明主要应用于三维人脸识别场合。

Description

改进LBP的3D人脸识别方法

技术领域

本发明涉及模式识别领域，尤其涉及在三维人脸识别应用领域，基于LBP原理，采取三维LBP结合矩阵计算，提高3D人脸识别的准确度和计算速度。具体讲,涉及改进LBP的3D人脸识别方法。

背景技术

神经网络和人工智能的飞速发展，为模式识别领域带来了大量的机遇。目前，人脸识别作为模式识别中非常重要的领域，正在飞速发展。与传统2D人脸识别相比，3D人脸识别在准确率和鲁棒性方面都有很大竞争力，特别在表情识别方面有很大优势。

LBP(Local Binary Pattern,局部二值模式)是一种理论简单，计算量小的局部特征描述算子，最早在1996年由芬兰Oulu实验组提出，经历了20多年的发展，目前已经较为成熟地运用在纹理识别和人脸识别方面。但是由于其结构简单，在实际计算中存在旋转对称性差，抗噪声能力差等问题。同时在三维领域，数据维度较高，数据处理量大的问题也很突出。LBP算子能够在很大程度上保留了原始图像的局部特征，并且具备计算简便，易于表述的优点。但选取中心像素的方式对于噪声的抵抗力较差，且当图像存在一定的失真情况的时候，对于特征表述的稳定性会受到非常严重影响，并且该方式在纹理单一的区域上缺少相对参考，真实应用上效果欠佳。在众多学者的研究的基础上，本专利着重改进了LBP算法，使之能更好地适用于立体人脸识别，并能增强算法的鲁棒性。

发明内容

为克服现有技术的不足，本发明旨在提出一种改进LBP的3D人脸识别方法，在传统二维环境下的LBP拓展到三维环境，减弱随机噪声对算法的影响，尤其适用于对于人脸半刚性区域的检验和特征描述。为此，本发明采取的技术方案是，改进LBP的3D人脸识别方法，输入3D人脸图像，首先进行面部刚性区域的划分，在半刚性区域内选择采样点，求解每一个采样点的3D-LBP特征矩阵，随后将获得的矩阵与预先建立的目标矩阵进行对比，判断当前人脸是否为目标人脸。

具体地，嘴巴以上部分，随表情情绪等的变化相对不明显，视作半刚性区域，对于输入的人脸图像，选取半刚性区域，采取外眼角和鼻尖定位，以平均划分网格的方式选取采样点，抓取采样点周围三维区域内的相邻点，对其进行二值化，构成特征矩阵，同时在二值化过程中结合人脸的像素特性设定松弛范围，得到含有不定态的特征矩阵用于人脸识别。

抓取采样点周围三维区域内的相邻点，对其进行二值化，构成特征矩阵，具体是采用局部二值模式LBP，即在3*3区域内，选取中心像素点为阈值，将大于等于阈值的取1，小于阈值的取0，从X轴正方向开始，按照逆时针的方向由二进制赋权值，得到该点的一个二进制表示，转换为10进制数值，公式表达为：

式中x为采样点周围的像素值，x_λ为采样中心点的像素值，又称中心像素值；

3DLBP步骤是，选取采样点所在的层以及立体图像的上下两层，将三层中心点的像素平均值为核心阈值，再沿用LBP计算方式，分别计算采样点周围除去每层中心之外和采样点相邻的24个点的LBP值，获得一个三行八列的矩阵形成所述特征矩阵。

在核心阈值周围设定松弛范围，通过公式(3),(4)表达为：

式中x为当前像素值，x_λ′为中心像素值,k为设定的松弛范围。

在松弛量选取上，根据具体情况选取松范围，具体从三个中心像素的差值绝对值来选取，具体采用下述公式(5)：

c₁，c₂，c₃分别为第一、第二、第三层中心像素的灰度值。

本发明的特点及有益效果是：

1.本算法在基础BP上进行拓展，将局部二元模式推广至三维图像处理。相比于前人提出的多维LBP，本算法在数据处理上设计了稀疏矩阵，相比于传统的特征向量处理方式，更方便于MATLAB等数学工具的处理，能够有效提升处理速度。

2.在3D-LBP算法中，本设计引入了松弛范围这一概念，将原有二值模式进行拓展。对于克服光照影响等噪声问题，提出了解决方案，提升系统的鲁棒性。松弛范围的引入在实际计算中更有助于保持所得特征矩阵的稀疏性。

附图说明：

图1典型LBP的计算流程。

图2本发明改进的3D-LBP的计算示意图。

图3算法流程图。

具体实施方式

本发明提出了一种改进LBP的3D人脸识别算法，将应用在传统二维环境下的LBP拓展到三维环境，抓取目标点周围三维区域内的24个相邻点，对其进行二值化，构成特征矩阵，同时为了增强算法的鲁棒性，在二值化过程中结合人脸的像素特性设定松弛范围，从而减弱了随机噪声对算法的影响。本算法在3D人脸识别领域，尤其适用于对于人脸半刚性区域的检验和特征描述。

(1)LBP算法及改进的3D-LBP算法

LBP算法是一种局部非参数的变换算法，用以描述某一特定像素点与周围相邻的像素之间的关系，能够在局部有效地反馈该点的局部特征。图1给出了本发明所依据的基本原理，LBP算法的核心示意图。即在3*3区域内，选取中心像素点为阈值，将大于等于阈值的取1，小于阈值的取0，从X轴正方向开始，按照逆时针的方向由二进制赋权值，即可得到该点的一个二进制表示，为了便于直观理解，也可转换为10进制数值。具体公式可表达为：

式中x为当前像素值，x_λ为中心像素值。

改进的3D-LBP算法由LBP算法为基础，因为面向的是三维数据，不同层之间数据的相关信息也是图像的一个重要指标。取待采样像素点当前层以及上下两层，实际上相当于对一个3*3*3的立体环境进行分析，采样点即为最中心点，在该立体区域内，选取三层中心点的像素平均值为核心阈值，沿用LBP计算方式，对剩余的24个像素值，以上一步所得的中心像素平均值作为阈值，求解每个像素的LBP值，按层数展开，即可获得一个三行八列的矩阵，一般来说，由于人脸数据的特殊性，这个矩阵多为稀疏矩阵。能够较好地减少计算量，方便后续计算。具体形式参考附图2。

(2)面部刚性区域划分

与二维人脸识别相似，三维人脸识别中人的面部区域也可以分为两个区域，包括嘴巴在内的下部分，随人的表情变化较大，可以理解为不具备刚性；而嘴巴以上部分，随表情情绪等的变化相对不明显，可以视作半刚性区域。显然在进行人脸识别时，本发明提出的3D-LBP算法，在半刚性区域内更容易提取有价值的特征值，从而会获得更好的识别效果。但对于表情识别来说，人类复杂的感情往往是五官协调表达，相对而言在无刚性(即柔性)区域内，所表达的感情信息更多。

鉴于此，在实际计算中，面部采样时，半刚性区域采取外眼角和鼻尖定位，获得区域后平均划分网格的方式选取100个采样点，这样计算可以充分利用人脸特性，保障识别率的前提下，有效减少计算量。

(3)引入松弛范围

对于三维人脸数据来说，不同人之间肤色虽然各异，但对于一个特定的人，他的肤色灰度变化并不是很明显。在实际拍照中因为光照、曝光等会造成一定的随机误差。这些误差往往导致的灰度变化不大，但在局部二元模式中会得到放大，进而造成系统鲁棒性较差。针对这一问题，引入松弛范围这样一个模糊区域。

松弛范围能为数据提供一个缓冲的区域，实际上对于人脸纹理来说，有文献证明灰度值相差7以内基本上不会表现的出明显的特征变化，受此启发，可以在核心阈值周围设定松弛范围，如图2所示，核心阈值为125，可设定松弛范围为3，即数值在122-128之间的像素值可认为是不定状态，从而实现了对于随机小噪声的控制。通过公式(3),(4)可表达为：

式中x为当前像素值，x_λ′为中心像素值,k为设定的松弛范围。上式可输出当前层的LBP值，也可表示为一个1*8的向量，计算中心像素上中下三层即可将三个1*8向量组合成3*8矩阵。

通过上述计算，可以得到含有不定态的矩阵。在具体应用中，不定态可以作为独立的信息处理，也可以根据计算需要简化为0或者1，提升了该算法系统的灵活性。

采用本发明中的3D-LBP算法，在计算上选取三个中心点像素平均值，同时将剩余的3*8个像素以二值的形式保存在矩阵之中，很大程度上保全了信息量。在松弛量选取上，可以根据具体情况选取松弛量，而不采用固定模式。具体可以从三个中心像素的差值绝对值来选取，具体可采用下述公式(5)：

c₁，c₂，c₃分别为第一、第二、第三层中心像素的灰度值。

同时综合(1)(2)内容，该算法流程图如图3所示。具体表述为，输入3D人脸图像，首先进行面部刚性区域的划分，在半刚性区域内选择100个采样点，按照上述标准求解每一个采样点的3D-LBP特征矩阵，随后将获得的矩阵与预先建立的目标矩阵进行对比，判断当前人脸是否为目标人脸。

Claims (2)

1.一种改进LBP的3D人脸识别方法，其特征是，输入3D人脸图像，首先进行面部刚性区域的划分，在半刚性区域内选择采样点，求解每一个采样点的3D-LBP特征矩阵，随后将获得的矩阵与预先建立的目标矩阵进行对比，判断当前人脸是否为目标人脸；具体地，嘴巴以上区域，随表情情绪等的变化相对不明显，视作半刚性区域，对于输入的人脸图像，选取半刚性区域，采取外眼角和鼻尖定位，以平均划分网格的方式选取采样点，抓取采样点周围三维区域内的相邻点，对其进行二值化，构成特征矩阵，同时在二值化过程中结合人脸的像素特性设定松弛范围，得到含有不定态的特征矩阵用于人脸识别；

抓取采样点周围三维区域内的相邻点，对其进行二值化，构成特征矩阵，具体是采用局部二值模式LBP，即在3*3区域内，选取中心像素点为阈值，将大于等于阈值的取1，小于阈值的取0，从X轴正方向开始，按照逆时针的方向由二进制赋权值，得到该点的一个二进制表示，转换为10进制数值，公式表达为：

式中x为采样点周围的像素值，x_λ为采样中心点的像素值，又称中心像素值；

3DLBP步骤是，选取采样点所在的层以及立体图像的上下两层，将三层中心点的像素平均值为核心阈值，再沿用LBP计算方式，分别计算采样点周围除去每层中心之外和采样点相邻的24个点的LBP值，获得一个三行八列的矩阵形成所述特征矩阵；

在核心阈值周围设定松弛范围，通过公式(3),(4)表达为：

式中x为当前像素值，x_λ′为中心像素值,k为设定的松弛范围。

2.如权利要求1所述的改进LBP的3D人脸识别方法，其特征是，在松弛量选取上，根据具体情况选取松弛范围，具体从三个中心像素的差值绝对值来选取，具体采用下述公式(5)：

c₁，c₂，c₃分别为第一、第二、第三层中心像素的灰度值。

Images