CN115761868A - 不确定环境下人脸表情分类的鲁棒自适应更新方法 - Google Patents
不确定环境下人脸表情分类的鲁棒自适应更新方法 Download PDFInfo
- Publication number
- CN115761868A CN115761868A CN202211650180.9A CN202211650180A CN115761868A CN 115761868 A CN115761868 A CN 115761868A CN 202211650180 A CN202211650180 A CN 202211650180A CN 115761868 A CN115761868 A CN 115761868A
- Authority
- CN
- China
- Prior art keywords
- network
- parameters
- partial derivative
- facial expression
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000008921 facial expression Effects 0.000 title claims abstract description 12
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 14
- 230000014509 gene expression Effects 0.000 claims abstract description 7
- 238000012216 screening Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000007704 transition Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000026676 system process Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010063659 Aversion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了不确定环境下人脸表情分类的鲁棒自适应更新方法，所述方法包括先引入平均影响值算法，联合多维泰网分类层和偏导加权算法，通过非线性拟合函数对特征变量的偏导运算，筛选出重要特征节点，并以此分配权重系数；然后，利用卡尔曼滤波方法以已有的参数为初始值，对网络模型中的特征参数进行自适应更新，在不需要反复训练网络权重参数的基础上，实现差异更新网络权重参数；最后，利用更新后的网络对信息缺失表情图像进行分类。
Description
技术领域
本发明涉及图像分类的技术领域，具体涉及不确定环境下人脸表情分类的鲁棒自适应更新方法。
背景技术
卷积神经网络以独特的优势应用于图像分类中，通过学习训练样本与参考样本之间的特征组合关系，并不断更新权重参数，完成分类工作。但当待测试对象发生变化，输入图像出现信息丢失，原有网络模型参数不能自适应更新，原有网络权重参数在发生改变后的数据集上应用效果差，此时网络需要重新训练，这使得网络模型的参数确定成为非常耗时的任务。为了达到更好的分类效果，Cheng等人提出，通过RPCA增加变量的权重来提取图像深层特征。到2016年，Jiang提出信息熵的方法，YiJ提出的变换算子方法，来进行特征加权和改变协方差矩阵空间变化。2017年，XuX提出模块主元分析算法，通过类内加权平均值提升图像分类性能。
但是系统模态发生改变时，原有的网络模型参数直接对新样本操作，将导致表情图像分类性能降低，导致网络权重参数将需要反复训练，因此，我们应该针对该问题进一步研究。
发明内容
鉴于现有技术的不足，本发明旨在于不确定环境下人脸表情分类的鲁棒自适应更新方法。
为了实现上述目的，本发明采用的技术方案如下：
不确定环境下人脸表情分类的鲁棒自适应更新方法，所述方法包括：先引入平均影响值算法，联合多维泰网分类层和偏导加权算法，通过非线性拟合函数对特征变量的偏导运算，筛选出重要特征节点，并以此分配权重系数；然后，利用卡尔曼滤波方法以已有的参数为初始值，对网络模型中的特征参数进行自适应更新，在不需要反复训练网络权重参数的基础上，实现差异更新网络权重参数；最后，利用更新后的网络对信息缺失表情图像进行分类。
需要说明的是，基于偏导加权的参数筛选方法中，对非线性拟合函数的某变量求偏导表示如下：
令δ·xi(w)＝Δxi，则有
其中，δ表示关于第i个分量的扰动比率。
当Δxi→0时，则平均影响值算法的最优权值为变量求偏导算法的结果，如下式所示：
Δxi表示第i个分量围绕它xi(w)自身的正负扰动量；IVi第i个分量受xi(w)自身的正负扰动量后的输出增量；
需要说明的是，提取以多维泰勒网络为分类器系统的权重参数W和偏置参数b；网络输出的卡尔曼滤波形式如下式：
其中，xi是输入层第i个神经元的输入；确定网络更新参数的状态模型与观测模型，如下式，以此实现对分类器参数的更新。
y(k)＝H(k)x(k)+r(k)
x(k)＝F(k-1)x(k-1)+q(k-1)
其中，α表示各特征对输出的影响值，x(k)∈Rn×1是系统的n个状态，状态转移矩阵为F(k-1)∈Rn×n，系统过程噪声为q(k-1)；传感器矩阵为H(k)∈Rm×n，传感器向量为y(k)∈Rm ×1，系统的测量噪声用r(k)表示；Q(k)和R(k)是q(k-1)与r(k)分别其对应均值差的平方和。
然后，假设滤波初始估计值为
k表示新批次索引，设初始误差协方差为P(k-1|k-1)。
需要说明的是，对新样本而言，通过下面计算步骤完成卡尔曼滤波递推过程：
S1利用初始估计值和状态转移矩阵计算出下一步预测值
S2计算出预测误差协方差矩阵
P(kk-1)＝F(k-1)P(k-1k-1)FT(k-1)+Q(k-1)
S3计算卡尔曼增益矩阵
K(k)＝P(k|k-1)HT(k)[H(k)P(kk-1)HT(k)+R(k)]-1
S4计算状态估计值
S5计算出误差协方差矩阵
P(k|k)＝(I-K(k)H(k))P(k|k-1)(I-K(k)H(k))T+K(k)R(k)KT(k)
重复S1-S5，实现待估参数的迭代更新。
本发明有益效果在于：
针对传统的网络优化算法不能在系统改变时，自适应更新网络模型参数的问题，本发明引入卡尔曼滤波器进行参数更新，同时，由于表情图像在不同噪声干扰下丢失信息的程度不同，以及丢失信息的重要性不一致，考虑到不同的特征点对分类结果的影响程度不同。直接利用MIV加权算法，会由于增量系数的人为选取，导致权重因子最优值的选取出现偏差。本发明提出联合多维泰勒网分类层和偏导加权算法，通过对非线性拟合函数对特征变量的偏导运算，筛选重要特征节点，并以此给每个特征节点赋予影响权重，然后，更新带有影响权重的特征数据，有差异的对权重参数进行在线更新。最后在新模型参数下实现对噪声样本的分类。本发明可在不改变网络模型其他参数的情况下，避免网络模型全部参数的重复训练，在不影响分类性能的同时，实现分类器参数的差异更新，并减少计算机存储空间。
附图说明
图1为本发明经过卡尔曼滤波参数更新的示意图；
图2为本发明仿真试验中图像信息丢失比例分别为5％的示意图；
图3为本发明仿真试验中图像信息丢失比例分别为10％的示意图
图4为本发明仿真试验中图像信息丢失比例分别为15％的示意图；
图5为本发明仿真试验中图像信息丢失比例分别为20％的示意图。
具体实施方式
下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
需要指出的是，本发明的平均影响值算法(MeanImpactValue，MIV)是通过判断对输出的平均影响程度，来筛选重要特征。MIV值的符号表示影响的相关方向，数值表示影响的程度大小，IV表示影响值，MIV表示多次实验并对影响值取平均。
本发明为不确定环境下人脸表情分类的鲁棒自适应更新方法，所述方法包括：先引入平均影响值算法，联合多维泰网分类层和偏导加权算法，通过非线性拟合函数对特征变量的偏导运算，筛选出重要特征节点，并以此分配权重系数；然后，利用卡尔曼滤波方法以已有的参数为初始值，对网络模型中的特征参数进行自适应更新，在不需要反复训练网络权重参数的基础上，实现差异更新网络权重参数；最后，利用更新后的网络对信息缺失表情图像进行分类。
需要说明的是，基于偏导加权的参数筛选方法中，对非线性拟合函数的某变量求偏导表示如下：
令δ·xi(w)＝Δxi，则有
其中，δ表示关于第i个分量的扰动比率。
当Δxi→0时，则平均影响值算法的最优权值为变量求偏导算法的结果，如下式所示：
Δxi表示第i个分量围绕它xi(w)自身的正负扰动量；IVi第i个分量受xi(w)自身的正负扰动量后的输出增量；
需要说明的是，提取以多维泰勒网络为分类器系统的权重参数W和偏置参数b；网络输出的卡尔曼滤波形式如下式：
其中，xi是输入层第i个神经元的输入；确定网络更新参数的状态模型与观测模型，如下式，以此实现对分类器参数的更新。
y(k)＝H(k)x(k)+r(k)
x(k)＝F(k-1)x(k-1)+q(k-1)
其中，α表示各特征对输出的影响值，x(k)∈Rn×1是系统的n个状态，状态转移矩阵为F(k-1)∈Rn×n，系统过程噪声为q(k-1)；传感器矩阵为H(k)∈Rm×n，传感器向量为y(k)∈Rm ×1，系统的测量噪声用r(k)表示；Q(k)和R(k)是q(k-1)与r(k)分别其对应均值差的平方和。
然后，假设滤波初始估计值为
k表示新批次索引，设初始误差协方差为P(k-1|k-1)。
需要说明的是，对新样本而言，通过下面计算步骤完成卡尔曼滤波递推过程：
S1利用初始估计值和状态转移矩阵计算出下一步预测值
S2计算出预测误差协方差矩阵
P(k|k-1)＝F(k-1)P(k-1|k-1)FT(k-1)+Q(k-1)
S3计算卡尔曼增益矩阵
K(k)＝P(k|k-1)HT(k)[H(k)P(kk-1)HT(k)+R(k)]-1
S4计算状态估计值
S5计算出误差协方差矩阵
P(kk)＝(I-K(k)H(k))P(kk-1)(I-K(k)H(k))T+K(k)R(k)KT(k)
重复S1-S5，实现待估参数的迭代更新。
实施例
通过以下仿真实验为了验证本发明的方法的性能。
Fer2013数据集中，生气标签在训练集中有3196张样本，在测试集中有799张样本；厌恶标签在训练集中有348张样本，在测试集中有88张样本；恐惧标签在训练集中有3277张样本，在测试集中有820张样本；高兴标签在训练集中有5772张样本，在测试集中有1443张样本；悲伤标签在训练集中有3864张样本，在测试集中有966张样本；惊讶标签在训练集中有2536张样本，在测试集中有635张样本；中性标签在训练集中有3972张样本，在测试集中有993张样本。以此数据集为基础，训练深度残差卷积自编码模型，以及以多维泰勒网为基础的分类器。然后，提取多维泰勒网分类器中对应的权重和偏置，通过卡尔曼滤波方法对分类器参数更新，使用更新后的网络参数，对噪声面部表情图像数据集进行分类。混淆矩阵实验结果如图2-图5所示。
由混淆矩阵可得，在Fer2013数据集中，高兴与惊讶类别的识别率比其他高。而由于悲伤与害怕两种表情相似，这导致两种类别识别率最低。对于高兴与惊讶类别，经参数更新后比未经参数更新的识别率，在信息丢失5％时可以提高5％和8％。在信息丢失10％时可以提高6％和7％。在信息丢失15％时可以提高9％和7％。在信息丢失20％时可以提高4％和5％。因此可以得出，经过本章提出的参数更新方法，可以明显提高信息丢失时分类精度。运行20次，取多次实验结果平均数并保留两位有效数字，汇总实验数据如下表所示：
由上表的数据可知，使用卡尔曼滤波算法差异更新多维泰勒网络层的权重参数，可以有效解决由于像素信息丢失造成分类效率低的问题。使用卡尔曼滤波方法更新参数权重，丢失5％像素信息时，分类准确率可以提高10.88％。丢失10％像素信息时，分类准确率可以提高9.44％。丢失15％像素信息时，分类准确率可以提高10.45％。丢失20％像素信息时，分类准确率可以提高17.84％。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及变形，而所有的这些改变以及变形都应该属于本发明权利要求的保护范围之内。
Claims (4)
1.不确定环境下人脸表情分类的鲁棒自适应更新方法，其特征在于，所述方法包括：先引入平均影响值算法，联合多维泰网分类层和偏导加权算法，通过非线性拟合函数对特征变量的偏导运算，筛选出重要特征节点，并以此分配权重系数；然后，利用卡尔曼滤波方法以已有的参数为初始值，对网络模型中的特征参数进行自适应更新，在不需要反复训练网络权重参数的基础上，实现差异更新网络权重参数；最后，利用更新后的网络对信息缺失表情图像进行分类。
2.根据权利要求1所述的不确定环境下人脸表情分类的鲁棒自适应更新方法，其特征在于，基于偏导加权的参数筛选方法中，对非线性拟合函数的某变量求偏导表示如下：
令δ·xi(w)＝Δxi，则有
其中，δ表示关于第i个分量的扰动比率；
当Δxi→0时，则平均影响值算法的最优权值为变量求偏导算法的结果，如下式所示：
Δxi表示第i个分量围绕它xi(w)自身的正负扰动量；IVi第i个分量受xi(w)自身的正负扰动量后的输出增量；
3.根据权利要求1所述的不确定环境下人脸表情分类的鲁棒自适应更新方法，其特征在于，提取以多维泰勒网络为分类器系统的权重参数W和偏置参数b；网络输出的卡尔曼滤波形式如下式：
其中，xi是输入层第i个神经元的输入；确定网络更新参数的状态模型与观测模型，如下式，以此实现对分类器参数的更新。
y(k)＝H(k)x(k)+r(k)
x(k)＝F(k-1)x(k-1)+q(k-1)
其中，α表示各特征对输出的影响值，x(k)∈Rn×1是系统的n个状态，状态转移矩阵为F(k-1)∈Rn×n，系统过程噪声为q(k-1)；传感器矩阵为H(k)∈Rm×n，传感器向量为y(k)∈Rm×1，系统的测量噪声用r(k)表示；Q(k)和R(k)是q(k-1)与r(k)分别其对应均值差的平方和。
然后，假设滤波初始估计值为
k表示新批次索引，设初始误差协方差为P(k-1|k-1)。
4.根据权利要求3所述的不确定环境下人脸表情分类的鲁棒自适应更新方法，其特征在于，对新样本而言，通过下面计算步骤完成卡尔曼滤波递推过程：
S1利用初始估计值和状态转移矩阵计算出下一步预测值
S2计算出预测误差协方差矩阵
P(k|k-1)＝F(k-1)P(k-1|k-1)FT(k-1)+Q(k-1)
S3计算卡尔曼增益矩阵
K(k)＝P(k|k-1)HT(k)[H(k)P(k|k-1)HT(k)+R(k)]-1
S4计算状态估计值
S5计算出误差协方差矩阵
P(k|k)＝(I-K(k)H(k))P(k|k-1)(I-K(k)H(k))T+K(k)R(k)KT(k)
重复S1-S5，实现待估参数的迭代更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211650180.9A CN115761868A (zh) | 2022-12-21 | 2022-12-21 | 不确定环境下人脸表情分类的鲁棒自适应更新方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211650180.9A CN115761868A (zh) | 2022-12-21 | 2022-12-21 | 不确定环境下人脸表情分类的鲁棒自适应更新方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761868A true CN115761868A (zh) | 2023-03-07 |
Family
ID=85347082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211650180.9A Pending CN115761868A (zh) | 2022-12-21 | 2022-12-21 | 不确定环境下人脸表情分类的鲁棒自适应更新方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761868A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117077084A (zh) * | 2023-10-16 | 2023-11-17 | 南京栢拓视觉科技有限公司 | 一种基于时空异构双流卷积网络的舞蹈评分方法 |
-
2022
- 2022-12-21 CN CN202211650180.9A patent/CN115761868A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 郭金金: "基于卷积神经网络的人脸低照度表情增强与分类方法", 万方, pages 44 - 51 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117077084A (zh) * | 2023-10-16 | 2023-11-17 | 南京栢拓视觉科技有限公司 | 一种基于时空异构双流卷积网络的舞蹈评分方法 |
| CN117077084B (zh) * | 2023-10-16 | 2024-01-26 | 南京栢拓视觉科技有限公司 | 一种基于时空异构双流卷积网络的舞蹈评分方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108334936B (zh) | 基于迁移卷积神经网络的故障预测方法 | |
| CN111241952B (zh) | 一种离散制造场景中的强化学习奖励自学习方法 | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN110414788B (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
| CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
| CN107491793B (zh) | 一种基于稀疏散射全卷积的极化sar图像分类方法 | |
| CN112819096B (zh) | 一种基于复合卷积神经网络的化石图像分类模型的构建方法 | |
| CN110119588B (zh) | 基于扩展卡尔曼滤波状态估计值的在线优化设计方法 | |
| CN110728694B (zh) | 一种基于持续学习的长时视觉目标跟踪方法 | |
| CN110110794B (zh) | 基于特征函数滤波的神经网络参数更新的图像分类方法 | |
| CN112101364B (zh) | 基于参数重要性增量学习的语义分割方法 | |
| CN115545350B (zh) | 综合深度神经网络与强化学习的车辆路径问题求解方法 | |
| CN114155397B (zh) | 一种小样本图像分类方法及系统 | |
| CN115761868A (zh) | 不确定环境下人脸表情分类的鲁棒自适应更新方法 | |
| CN112596031A (zh) | 一种基于知识图谱的目标雷达威胁度评估方法 | |
| CN116592883A (zh) | 一种基于注意力和循环ppo实现的导航决策方法 | |
| CN114494489A (zh) | 一种基于深度孪生网络的自监督属性可控图像生成方法 | |
| CN116681945A (zh) | 一种基于强化学习的小样本类增量识别方法 | |
| CN111325259A (zh) | 一种基于深度学习和二进制编码的遥感图像分类方法 | |
| CN109345497B (zh) | 基于模糊算子的图像融合处理方法及系统、计算机程序 | |
| CN112101482B (zh) | 一种对有缺失卫星数据进行参数异常模式检测的方法 | |
| CN112001115A (zh) | 一种半监督动态软测量网络的软测量建模方法 | |
| CN115206455B (zh) | 基于深度神经网络的稀土元素组分含量预测方法及系统 | |
| CN114896228B (zh) | 基于过滤规则多级组合优化的工业数据流清洗模型和方法 | |
| CN116434045A (zh) | 一种烟叶烘烤阶段智能识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230307 |
|
| RJ01 | Rejection of invention patent application after publication |