CN113128369B - 一种融合均衡损失的轻量级网络人脸表情识别方法 - Google Patents

Abstract

本发明请求保护一种融合均衡损失的轻量级网络人脸表情识别方法，属于模式识别技术领域。包括以下步骤：首先，提出了样本类别损失函数，利用class_weight设置权重，将样本类别损失融入网络训练之中；其次，提出了样本质量损失函数，利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，并通过权重影响的方式融入损失函数之中；然后，利用网络注意力机制，设计了多维注意力损失函数，将两种网络注意力机制形成的特征作为鉴别标签与预测值的度量指标，从而提高网络模型分类准确度；最后，将上述所提三种损失在基于Keras框架的网络模型中进行级联融合形成EQ‑loss，并将其添加到轻量级网络框架中，实现端到端的人脸表情识别。

Description

一种融合均衡损失的轻量级网络人脸表情识别方法

技术领域

本发明属于计算机模式识别技术领域，具体地说，是一种人脸表情识别方法。

背景技术

人脸表情识别技术作为人脸识别的一个重要分支，兼顾了多种学科知识在其中，已然成为了较新颖、有前景的研究方向。人脸表情识别技术具有无干扰、操作成本低和交互性强的特点，使其可应用于人机交互、精神病患者的治疗、情感计算以及远程教育等领域。以往的人脸表情识研究主要集中在静态正面人脸上，但随着科技的发展和应用的普及，对非可控条件下变化的人脸表情识别的需求日益增加。由于摄像机角度、机位方向的变化，所成像的人脸表情会存在拉伸、压缩以及遮挡等问题，这对人脸表情识别带来了极大挑战；并且，当今的大数据时代，以传统的识别技术很难满足市场应用的需求。基于深度学习的方法，通过大数据学习的模式，将成千上万张图像进行拟合，因此可以学习到各种状态下的面部表情特征(包含上述说的发生变化的图像)，增强了模型的泛化性和鲁棒性。

要实现精准高效地人脸表情识别，除了需要有深度网络模型作为网络框架外，还需要充足、高质量和面部纹理特征丰富的表情数据作为支撑。然而，在目前的研究中，表情库都是小样本数据，很难达到大数据表达多特征的效果。进一步的说，由于表情库中样本图像的质量参差不一(存在遮挡、姿态和光照等环境因素)、样本类别间的数量差距各异(某一类样本的数量远远低于其它类样本的数量)，这些因素往往会导致网络学习到某一类的特征信息较少或学习到的特征干扰信息增多，造成网络的识别精度下降。因此，如何均衡表情库中样本的质量和样本的数量成为了提高网络模型识别性能的重要研究思路。

卷积神经网络作为深度学习中解决人脸表情识别任务的经典网络框架之一，在拥有充足的、高质量的图像数据的前提下，卷积神经网络可以从海量数据中提取丰富的、多维的深度特征，从而实现更加精准的分类任务。目前用于人脸表情识别任务的卷积神经网络主要有表情峰值监督网络PPDN、通过Island损失函数扩大类间差异度的IL-CNN、通过人脸认证到表情识别两阶段的网络FaceNet2ExpNet和利用人脸局部区域注意力来提升任务精度的DAM-CNN等，这些网络通过设计深层的网络结构、优化损失函数等方法取得了较好的精度，但同时也因网络层数、模型复杂度和参数量不断增加，使得计算条件受限，无法应用于便携式设备。如何设计“又快又好”的轻量型网络，成为了基于深度的人脸表情识别研究的重点。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种融合均衡损失的轻量级网络人脸表情识别方法。本发明的技术方案如下：

一种融合均衡损失的轻量级网络人脸表情识别方法，其包括以下步骤：

101、利用Keras框架中的sklearn库函数进行网络的训练和调参，并通过自定义的划分样本数量权重的方法，使得每个类别都对应一个权重，将类别与权重一一对应，形成字典索引，再调用sklearn函数库中的class_weight方法，将权重字典融入网络模型之中；①sklearn方法指的是Keras框架中的一种库函数，其数学方法用于深度学习的训练和调参、②class_weight指的是sklearn方法里的一种可调用的函数，用于网络训练中调整损失函数的值；

102、利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，以关键点缺失程度定义了一种样本质量损失函数，并将该质量损失函数融入网络末端的softmax层中，通过softmax+损失函数的方式来影响样本的特征学习；

103、基于网络注意力机制设计了多维注意力损失函数，在网络末端的分类层前添加通道域注意力机制和空间域注意力机制，将两种注意力机制形成的特征提取出来作为损失函数鉴别标签与预测值的度量指标；

104、将样本类别损失、样本质量损失和多维注意力损失在基于Keras框架的网络模型中进行级联融合，形成了新的损失函数—融合均衡损失；

105、利用ResNet网络层的残差特性和Inception网络层的通道退耦合特性，构建了一套轻量深层的网络框架——深度可分离残差卷积网络框架SRNet，利用1x1的通道分离卷积和残差结构实现减少网络参数的优化，将步骤104得到的EQ-loss融入SRNet网络末端，实现损失的优化；然后，将得到的特征信息输入特征分类卷积层后，得到网络输出的分类概率，求最大概率值对应的分类结果，得到最终的识别结果；

106、为了验证SRNet网络对人脸表情识别的有效性，将SRNet网络模型导入到自建的人脸表情识别平台中(为了验证网络模型的有效性，自行构建的一个人脸表情识别平台)，实现在线和离线的人脸表情识别。

进一步的，所述步骤101自定义的样本权重划分流程为：

A1、计算表情库样本总数，并设置一个超参数

为权重力度因子，其与各个类的样本数量与权重值设定有关，由公式(1)得到：

式中n为表情库的类别数量，i＝[1,2,…,n]，Sample_i/j为第i/j类样本的数量，通过公式(1)的if语句判定，如果第i类的样本数量小于平均样本量，就参与

的计算，m为小于平均样本量的类的总数，通过计算少样本类与表情库平均样本之间的差异度，得到权重力度因子

并由公式(2)得到每个类的样本权重：

B1、根据公式(2)，每个类得到对应的权重weight_i，可以计算出少样本类的log值反而大，多样本类的log值基本保持不变，为使得样本损失在注意少样本类时保持多样本类的平衡，weight_i值小于1的都取1平衡处理：

式(3)中class_weight_i表示第i类表情的weight_i权重，因此，可以组成长度为n的权重矩阵；

C1、将得到的权重矩阵作为参数，带入到Keras框架中的class_weight权重损失度量函数中，将参数以类别字典的方法融入网络训练的损失之中，当网络损失为交叉熵损失时，融合公式为：

式中β为超参数因子，yⁱ为标签值，h_θ(xⁱ)为预测值，通过对交叉熵损失叠加一个class_weight权重，使得损失值变大，网络对该类的训练收敛时，就会分更多的“精力”，从而达到权重注意的目的。

进一步的，步骤102中自定义样本质量损失函数来影响样本的特征学习，其方法为：

A2、让网络通过损失去均衡其他类的分布，同时从图像质量方面考虑该样本损失的价值，则将loss改为：

式中ε为人为设计的超参数，γ为样本质量权重，由人脸标定点表情区域的回归所决定，z_i为第i个样本的网络输出，总样本数量为n，则样本的所有输出为Z＝[z₁,z₂,...,z_n]；

B2、通过定义损失函数，在损失中加上了γ权重，γ表示为：

γ＝1/m·∑length(mark_fer) (6)

将样本图像经过MTCNN方法进行人脸标定后，关键点数小于5的都标记为质量缺失的表情图像，总个数为m；mark_fer为缺失度，缺失一个关键点记为缺失度0.2，两个记为0.4，以此类推；length(mark_fer)表示m个人脸表情图像质量缺失程度的总和，由此计算出的平均质量即为样本的质量权重。

进一步的，步骤103中在网络末端的分类层前添加通道域和空间域注意力机制的流程表示如下：

A3、利用注意力机制形成的特征+softmax loss+center loss的方式学习特征的描述，使之拉近了类内距离又离远了类间距离，其中center loss的定义如下：

式中c为类中心，x_i为另一个样本的特征向量，N为batchsize批处理样本的数量；

B3、先随机初始化，再在每次网络批处理时更新c，其更新方法如公式(8)所示，在每个批样本里计算当前样本与的距离，然后将偏导更新的距离添加到c上：

公式(8)可以看做网络参数权重的更新，类似于BP算法的反向传播过程；

C3、将网络末端分类卷积层分别上下两部分操作，得到基于通道域的注意力机制特征1和基于空间域的注意力机制特征2，将两个特征通过中心损失的设计方法融合centerloss之中。

进一步的，所述步骤C3将两个特征通过中心损失的设计方法融合center loss之中，实现方式由公式(9)得到：

式中

为超参数，其目的是控制注意力机制特征的影响范围，F1和F2分别为通道域注意力特征1和空间域注意力特征2，Z由公式(5)而来，b为一个batchsize批处理样本的大小，网络通过对每个batchsize内的特征进行注意力机制特征+softmax loss+centerloss的训练学习，使得网络特征的描述在类内联系更紧，在类间联系更加稀疏。

进一步的，步骤104中融合均衡损失函数定义如下：

式中参数由上述公式(5)～(9)而来，通过softmax loss+center loss+注意力机制特征+样本质量损失形式进行级联融合，其中，样本类别损失以字典权重的形式传参到Keras框架的class_weight中。

进一步的，所述步骤105中SRNet网络框架的设计和表情识别流程表示如下：

A4、利用ResNet网络的恒等映射方式，将Inception网络中的深度可分离卷积融入其中，实现深度可分离残差卷积层的搭建；

B4、在残差结构层的内部，使用Inception网络的深度可分离卷积DSC替代标准卷积，使得网络层中特征在通道和空间层面可分离，其中，在SRNet的深度可分离残差卷积层中使用了两次恒等映射得到输出

C4、将得到的

作为下个深度可分离残差卷积层的输入x，实现残差结构的循环嵌套，其每层的循环次数由超参数epoch决定，记第一层的输出特征为

经过n层后，输出为

D4、通过n层网络后，在网络末端加入标准3x3的卷积层作为表情特征分类层，输出为F_fer-class，F_fer-class的通道数为表情类别的总数，即每个通道代表一类表情的特征；

E4、将F_fer-class特征输入到通道注意力机制和空间注意力机制中，得到步骤104中的F1和F2特征，并将其融入到EQ-loss；同时，将F_fer-class特征通过Softmax函数得到分类目标的概率值矩阵S，其中S＝{S₁,S₂,...,S_c}，表情类别总个数为c，通过one-hot编码的最大值求解，得到该输出的最大概率类：

Out_b＝(max(S,c))_one-hot,(b∈g) (11)

其中g为输入图像的数量，求得S概率矩阵中的最大概率值，将该值对应的序列位置用one-hot编码表示；

F4、将Out_b与真实标签类别label_b进行比对，如果一样则记录为识别正确；记录对比正确的次数acc_true和对比的总次数acc_total，利用正确次数除总次数，即可得到分类结果的识别率。

进一步的，所述步骤B4在SRNet的深度可分离残差卷积层中使用了两次恒等映射得到输出

具体包括：

将输入x经过两层3x3的DSC后，得到特征矩阵DSC(x)，将输入x与DSC(x)做空间的特征恒等映射，得到x-＞F_DSC(x)，将DSC(x)与F_DSC(x)进行特征融合得到输出

然后，再将输入x与

做通道间的特征恒等映射，得到输出

进一步的，步骤106中将SRNet网络模型导入到人脸表情识别系统实现人脸表情识别的流程如下：

A5、首先，利用python语言和js框架搭建一个人脸表情识别系统界面，然后在系统界面中创建“加载模型”、“打开摄像头”、“选择图像”和“退出”在内的界面控件；

B5、在控件对应的响应函数中添加相应的方法，使系统能正常运作；

C5、首先选择加载模型选项，然后将保存好的SRNet模型加入其中，然后可以选择打开摄像头进行实时的人脸表情识别，或者选择打开图片选项，加载本地的人脸表情图像；识别人脸表情图像时，显示出人脸框，并对一幅图像的多张人脸进行检测和表情识别；在人脸检测框的上方会显示该人脸对应的最大概率的表情。

本发明的优点及有益效果如下：

本发明主要针对目前主流的基于卷积神经网络的人脸表情识别视觉任务中，训练样本类别数量不平衡、样本质量参差不齐、网络训练收敛速度慢、计算资源占用高和人脸表情纹理特征表达不充分的问题；设计了一种网络结构轻量、融合样本数量、质量均衡损失的人脸表情别方法。均衡损失由三种自定义的损失函数融合而成，分别为：

样本类别损失，根据表情库各类样本数量的差异，定义了一种类别均衡损失函数，并通过sklearn中的class_weight方式，融入网络训练之中，使得网络能根据损失权重的大小给予数量差异的类别样本不同的“关注”。

样本质量损失，由于表情库中样本图像的质量参差不一(存在遮挡、姿态和光照等环境因素)，根据人脸表情关键区域(例如：眼睛、嘴角等)进行判定，关键区域完整则为优质表情图像，缺失则为缺损表情图像，通过对每张样本图像进行缺损判定，可以得到整个表情库的缺损因子，将缺损因子通过权值损失的方式融入交叉熵损失中，利用损失函数反向优化网络特征的提取。

多维注意力损失，不同于手工设计的特征，深层网络特征中有更丰富的、多维的局部语义特征信息，利用其特征信息能更好地鉴别出类内与类间的距离；而网络的注意力机制能将这些特征进行加权“筛选”，留下更具鉴别力的特征。因此，设计多维注意力损失函数，将两种注意力机制形成的特征作为损失函数鉴别标签与预测值的度量指标，提高了网络模型分类的准确性。

同时，本发明设计了一个轻量高效的卷积网络来执行均衡损失的效果。利用ResNet网络的恒等映射方法解决深层网络退化问题；利用Inception网络的深度可分离特性实现网络的退耦合；利用1x1卷积、3x3卷积和深度可分离卷积细化网络通道特征、空间特征，并在一定程度是节省了网络参数，达到了轻量的模型效果。

附图说明

图1是常用的几种表情库中每个类的样本数量；

图2是各种损失函数学习到的特征描述示例；

图3是多维注意力损失函数的设计流程示例；

图4是深度可分离残差卷积网络SRNet的框架结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

下面结合附图，对本发明实施例中的方法作进一步说明，其中所述与附图仅为本发明的一部分实施例。

如附图1所示，是人脸表情识别常用的训练数据集，不难发现，图中用矩形框标记的类样本数量相对较少。这使得网络学习到该类的特征相对较少，在分类时对于该类特征的聚类就变的模糊，进而降低了分类精准度。本发明利用Keras框架中的sklearn方法，通过自定义的划分样本数量权重的方法，使得每个类别都对应一个权重并形成字典索引，通过sklearn中的class_weight方式，融入网络模型之中，其样本权重划分方式步骤如下：

1)、计算表情库样本总数，并设置一个超参数

为权重力度因子，其与各个类的样本数量与权重值设定有关，由公式(1)得到：

式中n为表情库的类别数量，i＝[1,2,…,n]，Sample_i/j为第i/j类样本的数量，通过公式(1)的if语句判定，如果第i类的样本数量小于平均样本量，就参与

的计算，m为小于平均样本量的类的总数，通过计算少样本类与表情库平均样本之间的差异度，得到权重力度因子

并由公式(2)得到每个类的样本权重：

2)、根据公式(3)，每个类可以得到对应的权重，可以看出少样本类的log值反而大，多样本类的权重值基本保持不变，为使得样本损失在注意少样本类时保持多样本类的平衡，weight_i值小于1的都取1平衡处理：

3)、利用Keras框架中的class_weight权重损失度量函数，将得到的权重值以类别字典的方法融入训练的损失之中。以交叉熵损失为例，其融合公式为：

式中β为超参数因子，yⁱ为标签值，h_θ(xⁱ)为预测值，通过对交叉熵损失叠加一个class_weight权重，使得损失值变大，网络对该类的训练收敛时，就会分更多的“精力”，从而达到权重注意的目的。

进一步的，对于人脸表情识别任务来说，除了需要均衡充足的训练样本作为大数据驱动外，还需要优秀的训练图像。如果人脸表情图像的质量不高，存在遮挡、旋转、姿态和模糊等问题，那么将这些质量不高的图像输入到网络中去，网络会学习到许多非表情相关的特征信息。当此模型进行测试时，这部分特征就会干扰网络的正常识别，使得识别精度降低。针对这一问题，本发明自定义了样本质量损失函数(Quality loss)，并将其通过网络末端的softmax层融入到交叉熵损失之中，利用损失函数来影响该样本的特征学习：

1)、Quality loss的目标是融入交叉熵损失之中，则常规的交叉熵损失函数可表示为：

其中z_i为第i个样本的网络输出，总样本数量为n，则样本的所有输出为Z＝[z₁,z₂,...,z_n]。若z_i是Z中的最大值，那么通过增大训练参数，使得z_i增加足够大的比例，从而

足够接近1，那么loss就可以逼近于零，这就是常说的过拟合现象。为了使得分类不因为某一类样本导致过拟合，让网络通过损失去均衡其他类的分布，同时从图像质量方面考虑该样本损失的价值，则可将loss改为：

这样，盲目地增大比例使得

接近于最大概率值1，就不再是最优解了，从而可以缓解过拟合的情况，还可以增加测试准确率。式(6)中ε为超参数，γ为样本质量权重，由人脸标定点表情区域的回归所决定；

2)、一个质量高的正脸表情图像可以用MTCNN标定出五个关键点，若存在姿态、旋转和遮挡等挑战的人脸则无法将五官关键点标定完全。因此，可以通过定义损失函数，使得网络在学习过程中减弱对某类的质量较差的人脸表情图像的学习。由公式(6)可知，在损失中加上了γ权重，实则是减小了损失与零之间的差距，使得网络在训练时不会花更多的“精力”去优化这些图像提取的特征信息，通过这样的方式减弱质量较差的图像对网络的影响。其中，γ可表示为：

γ＝1/m·∑length(mark_fer) (7)

式中length(mark_fer)表示人脸表情图像质量缺失程度，将样本图像经过MTCNN方法进行人脸标定后，关键点数小于5的都标记为质量缺失的表情图像，总个数为m，mark_fer为缺失度，缺失一个关键点记为缺失度0.2，两个记为0.4，以此类推，计算出每种缺失度的个数进行求和取平均即为样本的质量权重；

3)、如果该类样本全是高质量表情图像，那么γ为0，否则低质量样本越多，γ值越大，对于公式(6)中的loss影响就越大，从而减小低质量图像对网络的影响。

进一步的，本发明设计了多维注意力损失。通过网络注意力机制产生的特征具有丰富的、关注力强的局部信息，可以将这种特征作为区分类内与类间的鉴别手段；若在网络末端的分类层前添加通道域和空间域注意力机制，将两种注意力机制形成的特征提取出来作为损失函数鉴别标签与预测值的度量指标，可以有效地提升网络模型的分类精度，该损失函数设计如下：

1)、如附图2所示，图中2(a)展示了网络模型采用了softmax损失产生的分类效果，图中2(b)展示了网络模型使用softmax loss与center loss联合的损失函数产生的分类效果，图中2(c)展示了网络模型使用softmax loss与islandloss联合的损失函数产生的分类效果。可利用注意力机制形成的特征+softmax loss+center loss的方式学习特征的描述，使之具有图中2(b)和图中2(c)的共同优势，既拉近了类内距离又离远了类间距离；

2)、利用注意力机制特征+softmax loss+center loss形成多维注意力损失，其设计流程如图附3所示，将网络末端分类卷积层分别上下两部分操作，得到基于通道域的注意力机制特征1和基于空间域的注意力机制特征2，将两个特征通过中心损失的设计方法融合center loss之中，实现方式由公式(8)得到：

式中c为类中心，x_i为另一个样本的特征向量，N为该batch中的样本数量，

为超参数，其目的是控制注意力机制特征的影响范围。F1和F2分别为通道域注意力特征1和空间域注意力特征2，Z由公式(5)而来。网络通过对每个batch内的特征进行注意力机制特征+softmax loss+center loss的训练学习，使得网络特征的描述在类内联系更紧，在类间联系更加稀疏，如附图2(c)所示。

进一步的，将上述所提的样本类别损失、样本质量损失和多维注意力损失在基于Keras框架的网络模型中进行级联融合，形成了新的损失函数—融合均衡损失(Equalization loss，EQ-loss)，其定义如下：

式中n为一个batchsize的大小，其余参数由上述公式(6)～(8)而来。通过softmaxloss+center loss+注意力机制特征+样本质量损失形式进行级联融合，其中，样本类别损失以字典权重的形式传参到Keras框架的class_weight中。

进一步的，将本发明所提的融合均衡损失EQ-loss融入到本发明构建的一套轻量深层网络框架中，该网络框架利用ResNet网络层的残差特性和Inception网络层的通道退耦合特性，构建深度可分离残差卷积网络框架(Deep Separable ResidualsConvolutional Network，SRNet)，框架结构如附图4所示：

1)、首先，在网络输入端设置一个循环增长因子，值为12通道数，然后将图像输入进网络，经过两层3x3的标准卷积层，其通道数变为增长因子的两倍；

2)、其次，将池化后的特征输入本发明构建的残差循环结构中，在循环中，使用了2次深度可分离卷积层作退耦合处理，在循环末端利用残差结构基于1x1的卷积进行通道间的恒等映射，实现特征的融合和通道的级联，并在每次循环结束后使用可分离卷积层和池化层进行特征降采样；

3)、然后，将此循环结构分别执行6次、12次和16次得到特征输出，将最后次循环得到的特征设为

在该特征末端加入标准3x3的卷积层作为表情特征分类层，输出为F_fer-class，F_fer-class的通道数为表情类别的总数，即每个通道代表一类表情的特征；

4)、最后，将F_fer-class特征输入到通道注意力机制和空间注意力机制中，得到公式(8)中的F1和F2特征，并将其融入到EQ-loss；同时，将F_fer-class特征通过Softmax函数得到分类目标的概率值矩阵S，其中S＝{S₁,S₂,...,S_c}，表情类别总个数为c，通过one-hot编码的最大值求解，得到该输出的最大概率类：

Out_b＝(max(S,c))_one-hot,(b∈g) (10)

其中g为输入图像的数量，求得S概率矩阵中的最大概率值，将该值对应的序列位置用one-hot编码表示；

5)、原始输入图像对应的类别标签集合为label_all，其中label_all＝{l₁,l₂,...,l_g}，通过将标签l_b(b∈g)与对应的网络输出Out_b之间的one-hot编码对比，即可确认预测分类是否正确；记录对比正确的次数acc_true和对比的总次数acc_total，利用正确次数除总次数，即可得到分类结果的识别率。

进一步的，为验证模型的有效性，将在Fer2013表情库上训练好的网络模型植入人脸表情识别系统中，实现基于静态图像和视频的人脸表情识别任务：

1)、主界面主要包含了网络模型选择与加载、开启摄像头实时监测和选择人脸表情图像三个功能。通过选择模型按钮，选择本章所保存的网络模型，网络模型加载完成后，选择开启实时摄像或者打开图片功能，使系统获取人脸表情图像。

2)、首先选择加载模型选项，然后将保存好的模型加入其中；然后可以选择打开摄像头进行实时的人脸表情识别；也可以选择打开图片选项，加载本地的人脸表情图像。识别人脸表情图像时，可以显示出人脸框，并可以对一幅图像的多张人脸进行检测和表情识别，在人脸检测框的上方会显示该人脸对应的最大概率的表情。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (5)

1.一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，包括以下步骤：

101、利用Keras框架中的sklearn库函数进行网络的训练和调参，并通过自定义的划分样本数量权重的方法，使得每个类别都对应一个权重，将类别与权重一一对应，形成字典索引，再调用sklearn函数库中的class_weight方法，将权重字典融入网络模型之中；①sklearn方法指的是Keras框架中的一种库函数，其数学方法用于深度学习的训练和调参、②class_weight指的是sklearn方法里的一种可调用的函数，用于网络训练中调整损失函数的值；

102、利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，以关键点缺失程度定义了一种样本质量损失函数，并将该质量损失函数融入网络末端的softmax层中，通过softmax+损失函数的方式来影响样本的特征学习；

103、基于网络注意力机制设计了多维注意力损失函数，在网络末端的分类层前添加通道域注意力机制和空间域注意力机制，将两种注意力机制形成的特征提取出来作为损失函数鉴别标签与预测值的度量指标；

104、将样本类别损失、样本质量损失和多维注意力损失在基于Keras框架的网络模型中进行级联融合，形成了新的损失函数—融合均衡损失；

105、利用ResNet网络层的残差特性和Inception网络层的通道退耦合特性，构建了一套轻量深层的网络框架——深度可分离残差卷积网络框架SRNet，利用1x1的通道分离卷积和残差结构实现减少网络参数的优化，将步骤104得到的EQ-loss融入SRNet网络末端，实现损失的优化；然后，将得到的特征信息输入特征分类卷积层后，得到网络输出的分类概率，求最大概率值对应的分类结果，得到最终的识别结果；

106、为了验证SRNet网络对人脸表情识别的有效性，将SRNet网络模型导入到自建的人脸表情识别平台中，实现在线和离线的人脸表情识别；

所述步骤101自定义的样本权重划分流程为：

A1、计算表情库样本总数，并设置一个超参数

为权重力度因子，其与各个类的样本数量与权重值设定有关，由公式(1)得到：

式中n为表情库的类别数量，i＝[1,2,…,n]，Sample_i/j为第i/j类样本的数量，通过公式(1)的if语句判定，如果第i类的样本数量小于平均样本量，就参与

的计算，m为小于平均样本量的类的总数，通过计算少样本类与表情库平均样本之间的差异度，得到权重力度因子

并由公式(2)得到每个类的样本权重：

B1、根据公式(2)，每个类得到对应的权重weight_i，可以计算出少样本类的log值反而大，多样本类的log值基本保持不变，为使得样本损失在注意少样本类时保持多样本类的平衡，weight_i值小于1的都取1平衡处理：

式(3)中class_weight_i表示第i类表情的weight_i权重，因此，可以组成长度为n的权重矩阵；

C1、将得到的权重矩阵作为参数，带入到Keras框架中的class_weight权重损失度量函数中，将参数以类别字典的方法融入网络训练的损失之中，当网络损失为交叉熵损失时，融合公式为：

式中β为超参数因子，yⁱ为标签值，h_θ(xⁱ)为预测值，通过对交叉熵损失叠加一个class_weight权重，使得损失值变大，网络对该类的训练收敛时，就会分更多的“精力”，从而达到权重注意的目的；

步骤102中自定义样本质量损失函数来影响样本的特征学习，其方法为：

A2、让网络通过损失去均衡其他类的分布，同时从图像质量方面考虑该样本损失的价值，则将loss改为：

式中ε为人为设计的超参数，γ为样本质量权重，由人脸标定点表情区域的回归所决定，z_i为第i个样本的网络输出，总样本数量为n，则样本的所有输出为Z＝[z₁,z₂,…,z_n]；

B2、通过定义损失函数，在损失中加上了γ权重，γ表示为：

γ＝1/m·∑length(mark_fer) (6)

将样本图像经过MTCNN方法进行人脸标定后，关键点数小于5的都标记为质量缺失的表情图像，总个数为m；mark_fer为缺失度，缺失一个关键点记为缺失度0.2，两个记为0.4，以此类推；length(mark_fer)表示m个人脸表情图像质量缺失程度的总和，由此计算出的平均质量即为样本的质量权重；

步骤103中在网络末端的分类层前添加通道域和空间域注意力机制的流程表示如下：

A3、利用注意力机制形成的特征+softmax loss+center loss的方式学习特征的描述，使之拉近了类内距离又离远了类间距离，其中center loss的定义如下：

式中c为类中心，x_i为另一个样本的特征向量，N为batchsize批处理样本的数量；

B3、先随机初始化，再在每次网络批处理时更新c，其更新方法如公式(8)所示，在每个批样本里计算当前样本与的距离，然后将偏导更新的距离添加到c上：

公式(8)可以看做网络参数权重的更新，类似于BP算法的反向传播过程；

C3、将网络末端分类卷积层分别上下两部分操作，得到基于通道域的注意力机制特征1和基于空间域的注意力机制特征2，将两个特征通过中心损失的设计方法融合center loss之中；

所述步骤C3将两个特征通过中心损失的设计方法融合center loss之中，实现方式由公式(9)得到：

式中

为超参数，其目的是控制注意力机制特征的影响范围，F1和F2分别为通道域注意力特征1和空间域注意力特征2，Z由公式(5)而来，b为一个batchsize批处理样本的大小，网络通过对每个batchsize内的特征进行注意力机制特征+softmaxloss+centerloss的训练学习，使得网络特征的描述在类内联系更紧，在类间联系更加稀疏。

2.根据权利要求1所述的一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，步骤104中融合均衡损失函数定义如下：

式中参数由上述公式(5)～(9)而来，通过softmax loss+center loss+注意力机制特征+样本质量损失形式进行级联融合，其中，样本类别损失以字典权重的形式传参到Keras框架的class_weight中。

3.根据权利要求1所述的一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，所述步骤105中SRNet网络框架的设计和表情识别流程表示如下：

A4、利用ResNet网络的恒等映射方式，将Inception网络中的深度可分离卷积融入其中，实现深度可分离残差卷积层的搭建；

B4、在残差结构层的内部，使用Inception网络的深度可分离卷积DSC替代标准卷积，使得网络层中特征在通道和空间层面可分离，其中，在SRNet的深度可分离残差卷积层中使用了两次恒等映射得到输出

C4、将得到的

作为下个深度可分离残差卷积层的输入x，实现残差结构的循环嵌套，其每层的循环次数由超参数epoch决定，记第一层的输出特征为

经过n层后，输出为

D4、通过n层网络后，在网络末端加入标准3x3的卷积层作为表情特征分类层，输出为F_fer-class，F_fer-class的通道数为表情类别的总数，即每个通道代表一类表情的特征；

E4、将F_fer-class特征输入到通道注意力机制和空间注意力机制中，得到步骤104中的F1和F2特征，并将其融入到EQ-loss；同时，将F_fer-class特征通过Softmax函数得到分类目标的概率值矩阵S，其中S＝{S₁,S₂,...,S_c}，表情类别总个数为c，通过one-hot编码的最大值求解，得到该输出的最大概率类：

Out_b＝(max(S,c))_one-hot,(b∈g) (11)

其中g为输入图像的数量，求得S概率矩阵中的最大概率值，将该值对应的序列位置用one-hot编码表示；

F4、将Out_b与真实标签类别label_b进行比对，如果一样则记录为识别正确；记录对比正确的次数acc_true和对比的总次数acc_total，利用正确次数除总次数，即可得到分类结果的识别率。

4.根据权利要求3所述的一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，所述步骤B4在SRNet的深度可分离残差卷积层中使用了两次恒等映射得到输出

具体包括：

将输入x经过两层3x3的DSC后，得到特征矩阵DSC(x)，将输入x与DSC(x)做空间的特征恒等映射，得到x-＞F_DSC(x)，将DSC(x)与F_DSC(x)进行特征融合得到输出

然后，再将输入x与

做通道间的特征恒等映射，得到输出

5.根据权利要求3所述的一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，步骤106中将SRNet网络模型导入到人脸表情识别系统实现人脸表情识别的流程如下：

A5、首先，利用python语言和js框架搭建一个人脸表情识别系统界面，然后在系统界面中创建“加载模型”、“打开摄像头”、“选择图像”和“退出”在内的界面控件；

B5、在控件对应的响应函数中添加相应的方法，使系统能正常运作；

C5、首先选择加载模型选项，然后将保存好的SRNet模型加入其中，然后可以选择打开摄像头进行实时的人脸表情识别，或者选择打开图片选项，加载本地的人脸表情图像；识别人脸表情图像时，显示出人脸框，并对一幅图像的多张人脸进行检测和表情识别；在人脸检测框的上方会显示该人脸对应的最大概率的表情。

Images