CN112070009B - 基于改进的lbp算子的卷积神经网络表情识别方法 - Google Patents

Abstract

本发明涉及一种基于改进的LBP算子的卷积神经网络表情识别方法，属于图像识别技术领域。包括以下步骤：输入人脸图像并进行灰度值转化和归一化尺寸的预处理；对图像进行LBP‑HF纹理特征的提取；将提取到的LBP‑HF纹理特征矩阵输入到卷积神经网络中进行样本训练；卷积神经网络利用多层卷积层对图像进行进一步的特征提取；通过分类器对表情进行识别。本发明在浅层的卷积神经网络下能有效提高表情识别的识别率，加快神经网络的训练速度，在识别准确性、训练收敛速度上都具有较大优势。

Description

基于改进的LBP算子的卷积神经网络表情识别方法

技术领域

本发明涉及一种识别方法，特别是一种基于改进的LBP算子的卷积神经网络表情识别方法，属于图像识别技术领域。

背景技术

人类情感体系中最重要的表现形式就是面部表情，它是一个人情感状态的真实反映，更是人与人之间重要交流方式。在人际交往活动中，最为自然的表达方式则是人脸表情，它是情感信息传播媒介，能够补充语言或文字无法表达的内容，识别人脸表情不仅能够促进人际关系，同时还能推动社会的和谐发展。近年来随着人工智能技术的飞速发展，人脸识别方法越发成熟，如：模式识别、情感计算等，它已经成为了重要研究方向。

人脸表情识别主要由人脸获取、人脸特征提取以及对人脸表情识别三部分构成。随着信息技术提升，计算机可以通过人脸表情识别区分出6种基本情感，促进了人机交互的发展。近几年来，人脸识别在人们的生活中得到了广泛应用，如：人类与高级机器人交互、人类行为分析、疾病预防诊断、学习教育、交通安全等方面都发挥了重要的作用。随着计算机性能不断提高，人工智能快速发展，深度学习的趋势已在全球蔓延，卷积神经网络以其出色的学习和表现能力，在计算机领域发挥更高价值，特别是在人脸识别、追踪目标等方面具有很大应用潜力。

发明内容

基于现有技术的上述分析，本发明提出了一种基于改进的LBP算子的卷积神经网络表情识别方法，用以解决在浅层卷积神经网络下增加表情识别率，加快卷积神经网络训练的问题。

为实现上述目的，本发明采用的技术方案为：

一种基于改进的LBP算子的卷积神经网络表情识别方法，该方法包括以下步骤:

步骤1：输入人脸图像并进行灰度值转化和归一化尺寸的预处理；

步骤2：对图像进行LBP-HF纹理特征的提取，包括：

计算圆形邻域上的图像全局的原始模式LBP值；

在原始模式LBP值基础上，融合旋转不变LBP模式

和等价Uniform LBP模式

获取得到旋转不变等价/>

模式算子；

对旋转不变等价

做直方图，统计直方图并进行离散傅里叶变换；计算得到多尺度局部二值模式傅立叶直方图特征，即LBP-HF纹理特征；

步骤3：将提取到的LBP-HF纹理特征矩阵输入到卷积神经网络中进行样本训练；

步骤4：卷积神经网络利用多层卷积层对图像进行进一步的特征提取；

步骤5：通过分类器对表情进行识别。

进一步地，所述步骤2中，计算圆形邻域上的图像全局的原始LBP值包括：

设图像核心像素点周围为不同规格圆形邻域系统，计算过程如下：

g_p,r＝[g_p,r,0,g_p,r,1,…g_p,r,p-2,g_p,r,p-1]^T

其中，(i,j)表示像素点；g_c表示像素灰度值；r表示圆形邻区半径；p表示区域中分布的像素数量；s(x)是符号函数；n是像素点对应的位置；g_p,r,n是圆区第n个像素的灰度值；g_p,r是圆区像素的灰度值；LBP_p,r为原始LBP算子模式。

进一步地，所述步骤2中，融合时采用的等价Uniform LBP模式

用U来度量，即

U值代表在LBP模式中圆周相邻的二元值变化次数，变化界定在0与1之间；

旋转不变LBP模式

的计算公式如下：

因此，融合后的所述旋转不变等价

模式表示为：

进一步地，所述步骤2中，对旋转不变等价

做直方图，统计直方图并进行离散傅里叶变换，具体包括：

图像I^α(x,y)中心点位置设定为(x,y)，旋转角度是α角，当点(x,y)旋转了α角度之后，就会形成对应点，设定为(x',y')；

假设旋转的范围在两个采样点的整数倍数之间，即

k＝0,1,2,…,p-2,p-1，故此在(x,y)点上设立均匀模式U_p(n,r)，并被(x',y')点上设立的均匀模式U_p(n,r+kmodp)取代；

h_I(Up(n,r))能够反映出旋转不变等价模式直方图；

旋转图像设定旋转角为

进一步计算，设定输入图像旋转与直方图旋转是一致的，则可以表达为：

h_Iα(U_p(n,r+kmodp))＝h_I(U_p(n,r))

对旋转不变等价模式直方图的循环位移h_I(U_p(n,r))第n行进行离散傅立叶变换得到向量 H(n,u)，具体计算公式如下：

H(n,u)＝∑h_I(U_p(n,r))e^-i2πur/p

在离散傅立叶变换中，输入数据发生了循环位移变化，从而形成了离散傅立叶变换系数改变，若存在

h'(U_p(n,r))＝h(U_p(n,r-k)),那么：

H'(n,u)＝H(n,u)e^-i2πuk/p

因此，任意1≤n₁，n₂≤p-1有：

其中，k＝0,1,2,…,p-2,p-1；

上述演算中：

为H(n₂,u)复共轭变量；从中，对于任意的1≤n₁，n₂≤p-1以及0≤u≤p-1有如下特征：/>

进一步地，所述步骤2中，原始模式LBP值计算时，设定图像尺寸为M×N，设定直方图为h，导入下面公式可以计算出：

0≤k＜d(d＝2^p)，表示在p邻域点LBP模式中共计有2^p种，则纹理图像原始模式LBP直方图矢量维数为2^p。

进一步地，所述步骤3中，所述卷积神经网络主要分三个部分：输入层、隐层和输出层，其中隐层包括卷积层、池化层、全连接层、损失函数层；每一层都可以得到多个特征图，不同的特征图是通过不同卷积核提取。

进一步地，所述卷积处理过程就是对通过卷积核对图像实时加权处理，卷积的表达式如下：

s[x]＝∫f(u)g(x-u)du

上面的计算公式，表达了函数经过旋转处理和平移处理之后，g的重叠部分面积；在二维图像结构中每一个像素点都是互相离散的，所以当处理这些离散信号的时候，可以将整个二维图像矩阵当成函数f，在将另一个二维矩阵g作为卷积核，表示如下公式：

s[x]＝∑f[k]g[x-k]

其中的g相当于是一个滤波器，即对图像f的卷积，就是在计算机视觉中常常成为g对f 的滤波。

进一步地，池化是卷积网络中另一个很重要的概念，它实际上是一个降采样的过程；图像通过第一层卷积层提取了特征后，往往获得的特征向量的维数都是很高的，这样就非常容易导致过拟合的产生，所以第二层池化就是在保证图像具有旋转不变性的前提下依旧能够有效地降低特征图的维数；现在的池化被分为最大池化和均值池化这两种池化方法，最大池化就是选取池化区域内的最大特征值作为代表点进入特征图，均值池化即是选取平均值作为特征点进入特征图。

进一步地，全连接层运用了Softmax实现了层层连接，激活函数对于卷积神经网络可以实现较好的分类处理，而连Softmax就是通过逻辑回归分析，实现的二分类推广，通过Softmax 激活函数完成连接，具体计算公式如下：

上述公式中：θ表示训练参数；x表示输入数据，对样本进行逻辑回归计算，其函数公式如下表示：

Softmax函数与逻辑回归有一定关联，该函数能够解决关于分类漏掉的问题，在样本计算中能够将m 个样本进行分类，并对k个分类问题进行分析，通过训练形成了集合，可以用{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，其中y⁽ⁱ⁾∈{1,2,…,k}表示，每一个输入样本，需要对其分类概率进行评估，用p(y＝j/x)表示，其中在第k个概率上需要设定k维向量，设定函数公式如下：

上述公式中，

表示经过归一化处理的概率，通过这样处理之后所有的概率相加结果就是 1，在Softmax回归演算中，设定x分类，其第j分类问题的概率计算如下：

通过代价函数的逻辑回归分析得出：

其中：

相对于现有技术，本发明具有如下技术效果：

本发明在浅层的卷积神经网络下提高了表情识别的识别率，加快了神经网络的训练速度。改进的LBP算子LBP-HF有很好的纹理特征提取效果和旋转不变性，大幅度降低了维数，减少了计算量，能够在保持卷积神经网络结构不变的条件下，提高表情识别的准确率，优化卷积神经网络的训练过程。通过实验和直接卷积神经网络训练分类对比分析，在识别准确性、训练收敛速度上都具有较大优势，验证了结合LBP-HF的CNN(卷积神经网络)表情识别方法法具有可行性和科学性。

附图说明

图1是本发明的算法流程图；

图2是人脸表情原图和提取的LBP-HF特征图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细地说明。

如图1-2所示，本发明的一种基于改进的LBP算子的卷积神经网络表情识别方法，包括以下步骤:

步骤1：输入人脸图像并进行灰度值转化和归一化尺寸的预处理；

步骤2：对图像进行LBP-HF纹理特征的提取，包括：

计算圆形邻域上的图像全局的原始模式LBP值。

原始模式LBP值计算时，设定图像尺寸为M×N，设定直方图为h，导入下面公式可以计算出：

0≤k＜d(d＝2^p)，表示在p邻域点LBP模式中共计有2^p种，则纹理图像原始模式 LBP直方图矢量维数为2^p。

设图像核心像素点周围为不同规格圆形邻域系统，计算过程如下：

g_p,r＝[g_p,r,0,g_p,r,1,…g_p,r,p-2,g_p,r,p-1]^T

其中，(i,j)表示像素点；g_c表示像素灰度值；r表示圆形邻区半径；p表示区域中分布的像素数量；s(x)是符号函数；n是像素点对应的位置；g_p,r,n是圆区第n个像素的灰度值；g_p,r是圆区像素的灰度值；LBP_p,r为原始LBP算子模式。

在原始模式LBP值基础上，融合旋转不变LBP模式

和等价Uniform LBP模式

获取得到旋转不变等价/>

模式算子。融合时采用的等价Uniform LBP模式

用U来度量，即

U值代表在LBP模式中圆周相邻的二元值变化次数，变化界定在0与1之间；

旋转不变LBP模式

的计算公式如下：

因此，融合后的所述旋转不变等价

模式表示为：

对旋转不变等价

做直方图，统计直方图并进行离散傅里叶变换，计算得到多尺度局部二值模式傅立叶直方图特征，即LBP-HF纹理特征。具体包括：

图像I^α(x,y)中心点位置设定为(x,y)，旋转角度是α角，当点(x,y)旋转了α角度之后，就会形成对应点，设定为(x',y')；

假设旋转的范围在两个采样点的整数倍数之间，即

k＝0,1,2,…,p-2,p-1，故此在(x,y)点上设立均匀模式U_p(n,r)，并被(x',y')点上设立的均匀模式U_p(n,r+kmodp)取代；

h_I(Up(n,r))能够反映出旋转不变等价模式直方图；

旋转图像设定旋转角为

进一步计算，设定输入图像旋转与直方图旋转是一致的，则可以表达为：

h_Iα(U_p(n,r+kmodp))＝h_I(U_p(n,r))

对旋转不变等价模式直方图的循环位移h_I(U_p(n,r))第n行进行离散傅立叶变换得到向量 H(n,u)，具体计算公式如下：

H(n,u)＝∑h_I(U_p(n,r))e^-i2πur/p

在离散傅立叶变换中，输入数据发生了循环位移变化，从而形成了离散傅立叶变换系数改变，若存在

h'(U_p(n,r))＝h(U_p(n,r-k)),那么：

H'(n,u)＝H(n,u)e^-i2πuk/p

因此，任意1≤n₁，n₂≤p-1有：

其中，k＝0,1,2,…,p-2,p-1；

上述演算中：

为H(n₂,u)复共轭变量；从中，对于任意的1≤n₁，n₂≤p-1以及0≤u≤p-1有如下特征：/>

步骤3：将提取到的LBP-HF纹理特征矩阵输入到卷积神经网络中进行样本训练。卷积神经网络主要分三个部分：输入层、隐层和输出层，其中隐层包括卷积层、池化层、全连接层、损失函数层；每一层都可以得到多个特征图，不同的特征图是通过不同卷积核提取。

步骤4：卷积神经网络利用多层卷积层对图像进行进一步的特征提取。

卷积处理过程就是对通过卷积核对图像实时加权处理，卷积的表达式如下：

s[x]＝∫f(u)g(x-u)du

上面的计算公式，表达了函数经过旋转处理和平移处理之后，g的重叠部分面积；在二维图像结构中每一个像素点都是互相离散的，所以当处理这些离散信号的时候，可以将整个二维图像矩阵当成函数f，在将另一个二维矩阵g作为卷积核，表示如下公式：

s[x]＝∑f[k]g[x-k]

其中的g相当于是一个滤波器，即对图像f的卷积，就是在计算机视觉中常常成为g对f 的滤波。

池化是卷积网络中一个降采样的过程；池化分为最大池化和均值池化这两种，最大池化就是选取池化区域内的最大特征值作为代表点进入特征图，均值池化即是选取平均值作为特征点进入特征图。

全连接层运用了Softmax实现了层层连接，激活函数对于卷积神经网络可以实现较好的分类处理，而连Softmax就是通过逻辑回归分析，实现的二分类推广，通过Softmax激活函数完成连接，具体计算公式如下：

上述公式中：θ表示训练参数；x表示输入数据，对样本进行逻辑回归计算，其函数公式如下表示：

Softmax函数与逻辑回归有一定关联，该函数能够解决关于分类漏掉的问题，在样本计算中能够将m 个样本进行分类，并对k个分类问题进行分析，通过训练形成了集合，可以用{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，其中y⁽ⁱ⁾∈{1,2,…,k}表示，每一个输入样本，需要对其分类概率进行评估，用p(y＝j/x)表示，其中在第k个概率上需要设定k维向量，设定函数公式如下：

上述公式中，

表示经过归一化处理的概率，通过这样处理之后所有的概率相加结果就是 1，在Softmax回归演算中，设定x分类，其第j分类问题的概率计算如下：

通过代价函数的逻辑回归分析得出：

其中：

步骤5：通过分类器对表情进行识别。

本实施例中，LBP-HF特征具有较好的纹理特征提取效果和旋转不变性，将其输入到卷积神经网络中进行样本训练，让卷积神经网络自动再次进一步提取图像特征。当经过多层卷积层的特征提取后，结合LBP-HF的卷积神经网络表情识别方法相比于单纯的基于卷积神经网络的表情识别提取到的特征，在相同的卷积层下，表情特征更为丰富，表情轮廓和边缘特征更为明显。经过LBP-HF算子提取到的特征矩阵相较于原始图片的灰度矩阵大小降低了很多，所以它在卷积神经网络的训练过程中所需的时间、计算机的存储等都是减少的。

上述实施例只是为了更清楚说明本发明的技术方案做出的列举，并非对本发明的限定，本领域的普通技术人员根据本领域的公知常识对本申请技术方案的变通亦均在本申请保护范围之内，总之，上述实施例仅为列举，本申请的保护范围以所附权利要求书范围为准。

Claims (7)

1.一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于，该方法包括以下步骤:

步骤1：输入人脸图像并进行灰度值转化和归一化尺寸的预处理；

步骤2：对图像进行LBP-HF纹理特征的提取，包括：

计算圆形邻域上的图像全局的原始模式LBP值；

在原始模式LBP值基础上，融合旋转不变LBP模式

和等价Uniform LBP模式

获取得到旋转不变等价/>

模式算子；

对旋转不变等价

做直方图，统计直方图并进行离散傅里叶变换；计算得到多尺度局部二值模式傅立叶直方图特征，即LBP-HF纹理特征；

步骤3：将提取到的LBP-HF纹理特征矩阵输入到卷积神经网络中进行样本训练；

步骤4：卷积神经网络利用多层卷积层对图像进行进一步的特征提取；

步骤5：通过分类器对表情进行识别，

所述步骤2中，融合时采用的等价Uniform LBP模式

用U来度量，即

U值代表在LBP模式中圆周相邻的二元值变化次数，变化界定在0与1之间，g_c表示像素灰度值，g_p,r,n是圆区第n个像素的灰度值；r表示圆形邻区半径，p表示区域中分布的像素数量，n是像素点对应的位置；

旋转不变LBP模式

的计算公式如下：

因此，融合后的所述旋转不变等价

模式表示为：

所述步骤2中，对旋转不变等价

做直方图，统计直方图并进行离散傅里叶变换，具体包括：

图像I^α(x,y)中心点位置设定为(x,y)，旋转角度是α角，当点(x,y)旋转了α角度之后，就会形成对应点，设定为(x',y')；

假设旋转的范围在两个采样点的整数倍数之间，即

故此在(x,y)点上设立均匀模式U_p(n,r)，并被(x',y')点上设立的均匀模式U_p(n,r+k mod p)取代；

h_I(Up(n,r))能够反映出旋转不变等价模式直方图；

旋转图像设定旋转角为

进一步计算，设定输入图像旋转与直方图旋转是一致的，则可以表达为：

h_Iα(U_p(n,r+k mod p))＝h_I(U_p(n,r))

对旋转不变等价模式直方图的循环位移h_I(U_p(n,r))第n行进行离散傅立叶变换得到向量H(n,u)，具体计算公式如下：

H(n,u)＝∑h_I(U_p(n,r))e^-i2πur/p

在离散傅立叶变换中，输入数据发生了循环位移变化，从而形成了离散傅立叶变换系数改变，若存在

h'(U_p(n,r))＝h(U_p(n,r-k)),那么：

H'(n,u)＝H(n,u)e^-i2πuk/p

因此，任意1≤n₁，n₂≤p-1有：

其中，k＝0,1,2,…,p-2,p-1；

上述演算中：

为H(n₂,u)复共轭变量；从中，对于任意的1≤n₁，n₂≤p-1以及0≤u≤p-1有如下特征：/>

2.根据权利要求1所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于，所述步骤2中，计算圆形邻域上的图像全局的原始LBP值包括：

设图像核心像素点周围为不同规格圆形邻域系统，计算过程如下：

g_p,r＝[g_p,r,0,g_p,r,1,…g_p,r,p-2,g_p,r,p-1]^T

其中，(i,j)表示像素点；s(x)是符号函数；g_p,r是圆区像素的灰度值；LBP_p,r为原始LBP算子模式。

3.根据权利要求1所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于：所述步骤2中，原始模式LBP值计算时，设定图像尺寸为M×N，设定直方图为h，导入下面公式可以计算出：

0≤k＜d(d＝2^p)，表示在p邻域点LBP模式中共计有2^p种，则纹理图像原始模式LBP直方图矢量维数为2^p。

4.根据权利要求1所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于：所述步骤3中，所述卷积神经网络主要分三个部分：输入层、隐层和输出层，其中隐层包括卷积层、池化层、全连接层、损失函数层；每一层都可以得到多个特征图，不同的特征图是通过不同卷积核提取。

5.根据权利要求4所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于：所述卷积处理过程就是对通过卷积核对图像实时加权处理，卷积的表达式如下：

s[x]＝∫f(u)g(x-u)du

上面的计算公式，表达了函数经过旋转处理和平移处理之后，g的重叠部分面积；在二维图像结构中每一个像素点都是互相离散的，所以当处理这些离散信号的时候，可以将整个二维图像矩阵当成函数f，在将另一个二维矩阵g作为卷积核，表示如下公式：

s[x]＝∑f[k]g[x-k]

其中的g相当于是一个滤波器，即对图像f的卷积。

6.根据权利要求5所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于：池化是卷积网络中一个降采样的过程；池化分为最大池化和均值池化这两种，最大池化就是选取池化区域内的最大特征值作为代表点进入特征图，均值池化即是选取平均值作为特征点进入特征图。

7.根据权利要求6所述的一种基于改进的LBP算子的卷积神经网络表情识别方法，其特征在于：全连接层运用了Softmax实现了层层连接，激活函数对于卷积神经网络可以实现的分类处理，而连Softmax就是通过逻辑回归分析，实现的二分类推广，通过Softmax激活函数完成连接，具体计算公式如下：

上述公式中：θ表示训练参数；x表示输入数据，对样本进行逻辑回归计算，其函数公式如下表示：

Softmax函数与逻辑回归有一定关联，该函数能够解决关于分类漏掉的问题，在样本计算中能够将m个样本进行分类，并对k个分类问题进行分析，通过训练形成了集合，可以用{(x⁽¹⁾,y⁽¹⁾),…(x^(m),y^(m))}，其中y⁽ⁱ⁾∈{1,2,…,k}表示，每一个输入样本，需要对其分类概率进行评估，用p(y＝j/x)表示，其中在第k个概率上需要设定k维向量，设定函数公式如下：

上述公式中，

表示经过归一化处理的概率，通过这样处理之后所有的概率相加结果就是1，在Softmax回归演算中，设定x分类，其第j分类问题的概率计算如下：

通过代价函数的逻辑回归分析得出：

其中：

Images