CN109815926B - 一种基于欧式距离-差分编码的改进lbp算法 - Google Patents

Abstract

本发明提出一种基于欧式距离‑差分编码的改进LBP算法，包括：步骤1，在对邻域像素点进行编码时，利用邻域像素点与之前一个像素点和中间像素点分别作比较；步骤2，对两种依据不同欧式距离编出的码字，采用不同的权重重新组合成新的编码。采用上述算法编码后，本发明主要有以下性能的提升：（1）在具光照多样性和纹理旋转变化的OuTex、UIUC和KTH‑TIPS数据库中，EDLBP算法与LBP、MBP、LTP、ELBP算法对比识别度均有不同程度的提升；（2）使用CUReT数据库通过对比在不同训练样本数量的条件下的识别率变化，得出EDLBP算法最高识别率比LBP、MBP、LTP算法识别率分别提高了55.49%、23.36%、2.46%；（3）通过距离来衡量两幅人脸图像的相似度，EDLBP算法较最新的ELBP算法提升了1.04%、2.94%、4.69%、5.56%。

Description

一种基于欧式距离-差分编码的改进LBP算法

技术领域

本发明属于改进局部特征二值化(Local Binary Patterns，LBP)算法技术领域，具体涉及适用于人脸表情特征提取的一种基于欧氏距离-差分编码(Euclidean distance-differential coding，ED)的改进LBP算法。

背景技术

人脸特征提取算法需要对人脸的器官特征、纹理区域和预定义的特征点进行定位和提取。人脸表情识别分为三个核心环节：人脸检测、人脸表情特征提取、人脸表情的情感分类。人脸被检测定位后，根据人脸描绘方法不同采用不同的特征提取方法进行面部表情信息的提取，然后根据提取的表情信息进行表情分类。人脸特征提取是人脸表情识别中的核心步骤，是识别技术的关键，它决定着最终的识别结果，直接影响识别率的高低。国内外在人脸检测方面已做了大量的研究，且已有相关的有效方法及成果报道，而对于表情特征提取算法的研究还处于探索之中。虽然国内外研究人员已经提出了一些特征提取的方法，但由于影响人脸表情识别性能的因素很多，如环境、光照、年龄、姿态、图像分辨率和成像噪声等因素，因此特征提取的方法亟待改进。

目前，人脸表情特征提取的主要方法之一就是为LBP算法，现有的LBP及其改进算法主要有：局部二值模型(LBP)、中值二值模型(MBP)、局部三值模型(ELBP)、增强二值模型(ELBP)等等。

局部二值模型(LBP)：图像局部邻域内中心像素点灰度值作为二值量化阈值，将邻域像素点和中心像素点的灰度值大小进行比较，当邻域像素点的灰度值大于中心像素点，编码为1，小于中心像素点的灰度值则编码为0；

中值二值模型(MBP)：采用局部邻域像素点和中心像素点的灰度中值作为邻域的二值量化阈值，将邻域像素点的灰度值与阈值进行比较，当邻域像素点的灰度值大于阈值，编码为1，小于中心像素点的灰度值则编码为0；

局部三值模型(LTP)：通过设定正、负量化阈值波动区间，将邻域灰度差异量化为三值模式，即分解为+1、-1和0；

增强二值模型(ELBP)：首先根据LBP中不同特征模式在纹理库中出现的频率对二进制序列中0/1(或1/0)变换次数为4的模式进行再分类，其次在传统LBP特征基础上融入中心像素点和邻域像素点间灰度值的差异幅值信息及中心像素点灰度值信息，并通过均值降采样的方式提取不同尺度图像纹理特征。

以上各种改进的LBP模式的算法尽管有很大的识别率，但是上述的算法均没有考虑如下的问题：

(1)图像的局部纹理特征仅仅依赖于中心像素点，以上算法忽视了人脸图像的各个相邻邻域点之间的灰度变化规律，导致在一些特殊的邻域里存在着完全不一样的邻域像素灰度值，但是它们的LBP编码值却是一样的；

(2)上述的所有算法没有考虑8邻域的各个像素点与中心点的欧氏距离是不一样的，即存在欧氏距离为1和

两种，而这两种欧氏距离对于中心点特征的编码权重应该是不一样的。

发明内容

本发明所要解决的问题是针对人脸表情特征提取的LBP算法，提出一种基于欧氏距离及差分编码方式的改进LBP算法。该算法结合像素点之间的欧氏距离以及一种数字通信中的差分编码方式，要求对距离中心像素点欧氏距离不同的邻域像素点设置不同的权重，此外，针对于欧氏距离相同的像素点，采用一种新型的差分编码方式，依据前一个像素点及中心像素点的灰度值进行编码。

一种基于欧式距离-差分编码的改进LBP算法，其特征在于：包括如下步骤：

步骤1，在对邻域像素点进行编码时，利用邻域像素点与之前一个像素点和中间像素点分别作比较；

主要包含两个分步骤：

步骤1-1，规定中心像素点周边拥有八个领域像素点，即上、下、左、右、左上、左下、右上、右下共八个方向上均有一个领域像素点，将邻域像素点按照距离中心像素点的欧式距离的不同分为两组，一组的距离中心像素点的欧式距离为1，共四个领域像素点，另一组距离中心像素点的欧式距离为

共四个领域像素点；

步骤1-2，依据差分编码方式，分别对两组不同欧氏距离的像素点进行编码；

步骤2，对两种依据不同欧式距离编出的码字，采用不同的权重重新组合成新的编码；

主要包含两个分步骤：

步骤2-1，依据图像邻域像素点欧氏距离的不同，确定不同欧式距离编出的码字所占的权重；

步骤2-2，依据不同的权重对两种码字重新组合形成新的码字。

进一步地，所述步骤1-2，具体的，所述差分编码方式中，(x_c,y_c)表示中心像素点，i_c表示中心像素点的灰度值，i_k(k＝1,2,3,4)表示邻域像素点的灰度值，将邻域像素点与中间像素点的灰度值遵循一定规则进行编码，规则如下：

对于初始像素点i₁，编码规则如下：

其中：

为4个邻域像素点的均值；

对于其余像素点，编码规则如下：

由于欧氏距离存在两种，均按照上述编码法则编出对应两种欧氏距离的各自的8位二进制码c₁c₂c₃c₄c₅c₆c₇c₈和c₁'c'₂c'₃c'₄c'₅c'₆c'₇c'₈，将这两种二进制序列转化成十进制，就得到了中心像素点的LBP值，并用这个数值表示该区域周边的灰度情况：

由于欧氏距离不同，分别经过计算后得到的中心像素点的LBP值标记为m、m'，其中m对应于欧氏距离为1的邻域编码，m'对应于欧氏距离为

的邻域编码。

进一步地，所述步骤2-1中，具体的，对于由于欧氏距离不同得到的m、m'，需要确定其对应的比重，由于邻域与中心像素点的欧式距离分别为1和

由图像处理的基本知识可知，距离中心像素点越近的邻域像素点编码对中心像素点相关系数较大，故对两种不同的邻域像素点的权重进行重新分配，m、m'对应的l和l'具体分配如下：

其中l和l'满足如下关系式：l²+l'²＝1。

进一步地，所述步骤2-2中，具体的，完成步骤2-1中两种灰度值权重的确定之后，对中心像素点灰度值重新加权求和计算，具体满足如下：

其中

表示最终中心像素点的灰度值，[]表示四舍五入取整。

本发明结合像素点之间的欧氏距离以及一种数字通信中的差分编码方式，要求对距离中心像素点欧氏距离不同的邻域像素点设置不同的权重，提高表情特征提取的识别率，此外，针对于欧氏距离相同的像素点，采用一种新型的差分编码方式，依据前一个像素点及中心像素点的灰度值进行编码，以改善LBP算法容易受到光线干扰、窗口单一的缺点。

采用上述算法编码后，本发明主要有以下性能的提升：

(1)在具光照多样性和纹理旋转变化的OuTex、UIUC和KTH-TIPS数据库中，EDLBP算法与LBP、MBP、LTP、ELBP算法对比识别度均有不同程度的提升；

(2)使用CUReT数据库通过对比在不同训练样本数量的条件下的识别率变化，得出EDLBP算法最高识别率比LBP、MBP、LTP算法识别率分别提高了55.49％、23.36％、2.46％；

(3)通过χ²距离来衡量两幅人脸图像的相似度，EDLBP算法较最新的ELBP算法提升了1.04％、2.94％、4.69％、5.56％。

附图说明

图1为本发明的流程图

图2为本发明所述两种不同欧氏距离的邻域像素点构成图。

图3为本发明所述算法根据图3(a)提取特征后的灰度特征图3(b)及相应的直方图3(c)。

图4为不同改进LBP算法识别率随训练样本数变化图。

图5为不同算法在Brodatz、TC14、UIUC、KTH-TIPS纹理库中识别率。

图6为基于各种改进LBP算法区域特征提取识别率对比。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

一种基于欧式距离-差分编码的改进LBP算法，其特征在于：包括如下步骤：

步骤1，在对邻域像素点进行编码时，利用邻域像素点与之前一个像素点和中间像素点分别作比较。

主要包含两个分步骤：

步骤1-1，规定中心像素点周边拥有八个领域像素点，即上、下、左、右、左上、左下、右上、右下共八个方向上均有一个领域像素点，将邻域像素点按照距离中心像素点的欧式距离的不同分为两组，一组的距离中心像素点的欧式距离为1，共四个领域像素点，另一组距离中心像素点的欧式距离为

共四个领域像素点，如图2所示。

步骤1-2，依据差分编码方式，分别对两组不同欧氏距离的像素点进行编码。

具体的，所述差分编码方式中，(x_c,y_c)表示中心像素点，i_c表示中心像素点的灰度值，i_k(k＝1,2,3,4)表示邻域像素点的灰度值，将邻域像素点与中间像素点的灰度值遵循一定规则进行编码，规则如下：

对于初始像素点i₁，编码规则如下：

其中：

为4个邻域像素点的均值；

对于其余像素点，编码规则如下：

由于欧氏距离存在两种，均按照上述编码法则编出对应两种欧氏距离的各自的8位二进制码c₁c₂c₃c₄c₅c₆c₇c₈和c₁'c'₂c'₃c'₄c'₅c'₆c'₇c'₈，将这两种二进制序列转化成十进制，就得到了中心像素点的LBP值，并用这个数值表示该区域周边的灰度情况：

由于欧氏距离不同，分别经过计算后得到的中心像素点的LBP值标记为m、m'，其中m对应于欧氏距离为1的邻域编码，m'对应于欧氏距离为

的邻域编码。

步骤2，对两种依据不同欧式距离编出的码字，采用不同的权重重新组合成新的编码。

主要包含两个分步骤：

步骤2-1，依据图像邻域像素点欧氏距离的不同，确定不同欧式距离编出的码字所占的权重。

具体的，对于由于欧氏距离不同得到的m、m'，需要确定其对应的比重，由于邻域与中心像素点的欧式距离分别为1和

由图像处理的基本知识可知，距离中心像素点越近的邻域像素点编码对中心像素点相关系数较大，故对两种不同的邻域像素点的权重进行重新分配，m、m'对应的l和l'具体分配如下：

其中l和l'满足如下关系式：l²+l'²＝1。

步骤2-2，依据不同的权重对两种码字重新组合形成新的码字。

所述步骤2-2中，具体的，完成步骤2-1中两种灰度值权重的确定之后，对中心像素点灰度值重新加权求和计算，具体满足如下：

其中

表示最终中心像素点的灰度值，[]表示四舍五入取整。

具体采用本发明所述的算法编码后提取的特征图样及直方图如图3所示。

为了比较基于LBP各种改进算法对人脸表情特征提取性能的影响，证明本发明提出的基于欧氏距离-差分编码改进LBP算法对表情特征提取性能的提升，需要一些合理的人脸表情特征提取性能指标进行评估。我们主要采用改进算法对光照以及旋转变化的识别率变化、在不同训练样本数量的条件下的识别率变化、χ²距离来衡量两幅人脸图像的相似度三个指标作为衡量标准。

1.改进算法对光照以及旋转变化的识别率变化

在具光照多样性和纹理旋转变化的OuTex、UIUC和KTH-TIPS数据库上，将改进的EDLBP算法与各种LBP改进算法进行比较，对于纹理样本均成像于相同光照、拍摄角度和尺度条件下的Brodatz数据库分类，可以看出可以看出本文提出的EDLBP算法分类识别率比LBP、MBP、LTP、ELBP算法分别提高了25.02％、18.66％、0.94％、0.63％，说明本文的EDLBP算法可有效增强算法的区分性能；对于纹理样本仅仅存在光照条件变化的TC14纹理库分类可以，可以看出本文提出的EDLBP算法分类识别率比LBP、MBP、LTP、ELBP算法分别提高了38.01％、29.22％、10.20％、2.59％，说明本文提出的EDLBP算法对光照变化的鲁棒性较强；对于存在尺度、视角变化的UIUC纹理库，EDLBP算法识别率比LBP、MBP、LTP、ELBP算法分别高出了21.78％、19.68％、3.17％、0.64％，说明本文EDLBP算法对图像旋转变化具有较高的鲁棒性能；特别是对于样本同时存在光照多样性、纹理旋转和尺度变化的KTH-TIPS数据库的分类实验，EDLBP算法识别率比LBP、MBP、LTP、ELBP算法分别高出了26.21％、19.72％、2.82％、1.45％，说明本文提出的EDLBP算法可有效提升原始算法对光照、旋转变化的鲁棒性。

2.在不同训练样本数量的条件下的识别率变化

图4是不同改进LBP算法识别率在CUReT数据库上随训练样本数变化图，图4主要对比了本发明所提算法与各类LBP变体对外界复杂环境变化的抵抗性能高低。从图4中可以看出，样本的光照多样性和纹理旋转变化并没影响到本文算法的分类性能，在不同训练样本数量的条件下，算法分类识别率随着训练样本数目的增加而显著提高，其中本文所提的EDLBP算法相较于LBP及其各类改进算法均取得了较好分类效果，除了低训练样本数时较LTP算法识别率低之外，其最高识别率比LBP、MBP、LTP算法识别率分别提高了55.49％、23.36％、2.46％，说明了EDLBP算法可有效用于具有复杂环境变化的纹理分类。

3.χ²距离来衡量两幅人脸图像的相似度

其中，H和H'表示两幅图像对应的直方图统计结果，ω_k表示每一个区域的权值。采用FERET数据库测试实验采用fa库的全集作为模板集(1196张图片)，分别采用fb库的全集(1195张图片)、fc库(194张图片)、dup1库(722张图片)和dup2(234张图片)作为测试集，识别率测试结果如图6所示，从图中可以看出，EDLBP算法识别率较其余的四种算法均有不同程度的提升，较传统LBP算法而言分别提升了2.11％、12.90％、15.52％、14.00％，较最新的ELBP算法也提升了1.04％、2.94％、4.69％、5.56％，说明了用χ²距离来衡量两幅人脸图像的相似度时，EDLBP算法具有很大的优势。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (3)

1.一种基于欧式距离-差分编码的改进LBP算法，其特征在于：包括如下步骤：

步骤1，在对邻域像素点进行编码时，利用邻域像素点与之前一个像素点和中间像素点分别作比较；

主要包含两个分步骤：

步骤1-1，规定中心像素点周边拥有八个领域像素点，即上、下、左、右、左上、左下、右上、右下共八个方向上均有一个领域像素点，将邻域像素点按照距离中心像素点的欧式距离的不同分为两组，一组的距离中心像素点的欧式距离为1，共四个领域像素点，另一组距离中心像素点的欧式距离为

共四个领域像素点；

步骤1-2，依据差分编码方式，分别对两组不同欧式 距离的像素点进行编码；

所述步骤1-2，具体的，所述差分编码方式中，(x_c,y_c)表示中心像素点，i_c表示中心像素点的灰度值，i_k表示邻域像素点的灰度值，k＝1,2,3,4，将邻域像素点与中间像素点的灰度值进行编码，规则如下：

对于初始像素点i₁，编码规则如下：

其中：

为4个邻域像素点的均值；

对于其余像素点，编码规则如下：

由于欧式 距离存在两种，均按照上述编码法则编出对应两种欧式 距离的各自的8位二进制码c₁c₂c₃c₄c₅c₆c₇c₈和c′₁c′₂c′₃c′₄c′₅c′₆c′₇c′₈，将这两种二进制序列转化成十进制，就得到了中心像素点的LBP值，并用这个数值表示区域周边的灰度情况：

由于欧式 距离不同，分别经过计算后得到的中心像素点的LBP值标记为m、m'，其中m对应于欧式 距离为1的邻域编码，m'对应于欧式 距离为

的邻域编码；

步骤2，对两种依据不同欧式距离编出的码字，采用不同的权重重新组合成新的编码；

主要包含两个分步骤：

步骤2-1，依据图像邻域像素点欧式 距离的不同，确定不同欧式距离编出的码字所占的权重；

步骤2-2，依据不同的权重对两种码字重新组合形成新的码字。

2.根据权利要求1所述的一种基于欧式距离-差分编码的改进LBP算法，其特征在于：所述步骤2-1中，具体的，对于由于欧式 距离不同得到的m、m'，需要确定其对应的比重，由于邻域与中心像素点的欧式距离分别为1和

故对两种不同的邻域像素点的权重进行重新分配，m、m'对应的l和l'具体分配如下：

其中l和l'满足如下关系式：l²+l'²＝1。

3.根据权利要求1所述的一种基于欧式距离-差分编码的改进LBP算法，其特征在于：所述步骤2-2中，具体的，完成步骤2-1中两种灰度值权重的确定之后，对中心像素点灰度值重新加权求和计算，具体满足如下：

其中

表示最终中心像素点的灰度值，[]表示四舍五入取整。

Images