CN111507224B - 一种基于网络剪枝的cnn人脸表情识别显著性分析方法 - Google Patents

一种基于网络剪枝的cnn人脸表情识别显著性分析方法 Download PDF

Info

Publication number
CN111507224B
CN111507224B CN202010273344.5A CN202010273344A CN111507224B CN 111507224 B CN111507224 B CN 111507224B CN 202010273344 A CN202010273344 A CN 202010273344A CN 111507224 B CN111507224 B CN 111507224B
Authority
CN
China
Prior art keywords
network
pruning
recognition
expression recognition
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010273344.5A
Other languages
English (en)
Other versions
CN111507224A (zh
Inventor
龚聿枫
姚潇
刘小峰
徐宁
霍冠英
夏岭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN202010273344.5A priority Critical patent/CN111507224B/zh
Publication of CN111507224A publication Critical patent/CN111507224A/zh
Application granted granted Critical
Publication of CN111507224B publication Critical patent/CN111507224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于网络剪枝的CNN人脸表情识别显著性分析方法，包括：S1将人脸数据按表情归类并分别训练识别网络；S2利用剪枝算法分别处理每个训练好的识别网络，得到选定卷积层各滤波器的重要性分数；S3根据选定卷积层剪枝之后计算出的各滤波器的重要性分数，计算该层的特征图权重。本发明在特定表情训练网络的基础上，利用剪枝算法找到对表情识别贡献大的特征并赋上对应权重，解决基于注意力机制的表情识别中重要特征的显著性分析问题，提高识别准确率、完成表情识别的相关操作。

Description

一种基于网络剪枝的CNN人脸表情识别显著性分析方法
技术领域
本发明涉及一种基于网络剪枝的CNN人脸表情识别显著性分析方法，属于计算机视觉技术领域。
背景技术
表情识别是计算机视觉以及人机交互的一个重要方面，在实现智能化生活中有着举足轻重的地位。近年来深度学习和卷积神经网络快速发展，基于CNN的分类方法也因其较高的准确率在人脸表情识别领域中代替了传统的特征提取，赢得更多的青睐。但是随着应用场景的扩大，识别过程中的各种问题开始出现：大型网络模型难以搭载到移动设备上，而相似表情(如惊讶和害怕)的识别准确率也不尽如人意。
发明内容
为了克服现有技术的缺陷，本发明提出一种基于网络剪枝的CNN人脸表情识别显著性分析方法，在特定表情训练网络的基础上，利用剪枝算法找到对表情识别贡献大的特征并赋上对应权重，解决基于注意力机制的表情识别中重要特征的显著性分析问题，提高识别准确率、完成表情识别的相关操作。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于网络剪枝的CNN人脸表情识别显著性分析方法，其特征在于，具体包括以下步骤：
S1将人脸数据按表情归类并分别训练识别网络；
S2利用剪枝算法分别处理每个训练好的识别网络，得到选定卷积层各滤波器的重要性分数；
S3根据选定卷积层剪枝之后计算出的各滤波器的重要性分数，计算该层的特征图权重。
优选地，所述步骤S1的具体步骤如下：
S11构建人脸的图像数据集并按表情分类；
S12使用同一种类的表情数据分别训练一个表情识别卷积神经网络，从而得到训练好的不同参数的识别网络。
优选地，所述步骤S12中所述的表情识别卷积神经网络基于VGG19网络结构，每一个小块包括一个卷积层，一个BatchNorm层，一个relu层和一个平均池化层。
优选地，所述步骤S12中，所述的表情识别卷积神经网络在VGG19网络结构基础上，仅采用一个全连接层，且在全连接层之前加入dropout策略，并直接在一个全连接层后分为7类输出表情识别结果，同时采用交叉熵作为损失函数对输出的表情识别结果进行训练得到更高的识别准确率。
优选地，所述步骤S2的具体步骤如下：
分别将步骤S12每个训练好的识别网络作为输入，运行剪枝算法，在基本维持识别准确率的条件下，完成网络的滤波器修剪，得到选定卷积层各滤波器的重要性分数。
优选地，所述步骤S3的具体步骤如下：
S31对于选定卷积层，在剪枝之后保留的各滤波器的重要性分数中找到最大值与最小值；
S32对各滤波器的重要性分数进行归一化处理，将各滤波器重要性分数转化为特征图权重。
优选地，所述步骤S32中，对各滤波器的重要性分数进行归一化处理的步骤如下：首先假设某卷积层i+1的特征图矩阵大小为H×B×C，其中H、B分别代表特征图的高、宽，C为卷积层i经过剪枝之后的滤波器个数，则卷积层i的滤波器重要性分数向量集合为：
I＝{I1,I2,…,IC}；
将I中元素按下式分别进行归一化，得到各自的权重：
Figure BDA0002443918380000021
最终得到该层的特征图权重矩阵W＝{W1,W2,…,WC}，大小为1×1×C，其中，一个元素Wj对应着卷积层i+1特征图的一个通道。
有益效果：本发明提供一种基于网络剪枝的CNN人脸表情识别显著性分析方法，具有如下优点：
1、本发明所使用的表情识别卷积神经网络基于VGG19卷积神经网络，并在此基础上增加了dropout，用以降低网络的过拟合，同时使用softmax分类提高了识别准确率。
2、本发明所使用的滤波器剪枝算法将一个特定滤波器的Importance定义为从网络中移除它时引起的损失的差值平方，并使用泰勒展开式来估计重要性、生成由参数梯度计算得来的判断依据，简单高效地实现滤波器的贡献值估算。
3、本发明分别使用不同表情的人脸数据训练网络，再通过后续的计算处理得到各种表情识别中对应的特征图权重；可以在初步分类后在特征图上乘上此权重进行进一步分析，结合两次分类结果做出决策，提高一些易混淆的表情识别准确率。
附图说明
图1为本发明的流程图；
图2为剪枝后选定卷积层的特征图通道维度权重计算过程。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1所示，一种基于网络剪枝的CNN人脸表情识别显著性分析方法，具体包括以下步骤：
S1从现有的人脸表情数据库中获取人脸表情图像数据集，并完成识别网络的训练，具体操作步骤如下：
S11构建人脸表情图像数据集，按表情分类：
获取kaggle网站提供的FER2013人脸表情图像数据集，并按表情标签分为7类；
S12使用同一种类的人脸表情图像数据分别训练一个表情识别卷积神经网络，从而得到训练好的不同参数的识别网络；
本发明中选择的卷积神经网络基于VGG19网络结构：每一个小块包括一个卷积层，一个BatchNorm层，一个relu层和一个平均池化层，且卷积神经网络去掉了其中的多个全连接层，直接在一个全连接层后分为7类输出表情识别结果，并在该全连接层之前加入dropout策略，增加模型鲁棒性，同时采用交叉熵作为损失函数对输出的表情识别结果进行训练得到更高的识别准确率。
其中交叉熵损失函数具体为：模型在全连接层之后，得到了每一类表情的输出概率，而通过一个softmax层将概率归一化到1，更加易于数据处理，单种表情的损失函数计算公式如下：
Figure BDA0002443918380000041
其中，m代表训练样本的总数；yi为其中一个训练样本，xi是对应的目标输出；hθ(xi)为目标输出的概率。
S2利用剪枝算法分别处理每个识别网络，使用一种剪枝算法处理网络，实现滤波器的修剪、网络轻量化，具体包括以下步骤：
分别将每个训练好的识别网络作为输入，运行剪枝算法，得到选定卷积层(选定层由操作者根据经验确定)各滤波器的重要性分数；
选择的剪枝算法定义个别参数E的贡献值为：
Im(E)＝(gmwm)2， (1)；
其中，m为神经网络参数的个数，wm是识别网络中的权重参数，
Figure BDA0002443918380000042
是梯度g的元素，可从后向传播中得到；
滤波器，即一组结构参数c的联合重要性分数定义为个别结构参数贡献值的总和，其中，C为结构参数个数：
Figure BDA0002443918380000043
在基本维持识别准确率的条件下，完成识别网络的滤波器修剪。
剪枝算法以一个训练好的网络作为输入，并在一个小学习率的迭代调试过程中对其修剪。在每一次迭代中，下面的步骤不断重复：
1、对每一个minibatch计算参数梯度并通过梯度下降更新网络权重，使用minibatch里的平均梯度计算了每一个滤波器的重要性，如公式(2)所示，minibatch数量和规模依据数据集大小而定；
2、在提前定义一定数量的minibatch之后，平均每个滤波器的重要性分数，并且将分数最小的N个滤波器移除。(其中每次迭代N的大小不同，通常为初始数量的2％；调试和剪枝将持续到最大可容忍损失无法再实现，即识别准确率开始下降。
上述迭代过程属于现有技术，故而未加详述。
S3根据选定卷积层剪枝之后计算出的各滤波器的重要性分数，计算该层的特征图权重，具体步骤如下：
S31对于选定卷积层，在剪枝之后保留的各滤波器的重要性分数中找到最大值与最小值；
S32归一化处理保留滤波器的重要性分数，将各滤波器重要性分数转化为特征图权重。
首先假设某卷积层i+1的特征图矩阵大小为H×B×C，其中H、B分别代表特征图的高、宽，C为卷积层i经过剪枝之后的滤波器个数，则卷积层i的滤波器重要性分数向量集合为：
I＝{I1,I2,…,IC}，即S2中得到的I(Ec)；
将I归一化，得到:
Figure BDA0002443918380000051
W＝{W1,W2,…,WC}；
其中，最终得到该层的特征图权重矩阵W＝{W1,W2,…,WC}，大小为1×1×C，其中，一个元素Wj对应着卷积层i+1特征图的一个通道。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的两种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (4)

1.一种基于网络剪枝的CNN人脸表情识别显著性分析方法，其特征在于，具体包括以下步骤：
S1将人脸数据按表情归类并分别训练识别网络，具体步骤如下：
S11构建人脸的图像数据集并按表情分类；
S12使用同一种类的表情数据分别训练一个表情识别卷积神经网络，从而得到训练好的不同参数的识别网络，其中，所述的表情识别卷积神经网络基于VGG19网络结构，每一个小块包括一个卷积层，一个BatchNorm层，一个relu层和一个平均池化层，所述的表情识别卷积神经网络在VGG19网络结构基础上，仅采用一个全连接层，且在全连接层之前加入dropout策略，并直接在一个全连接层后分为7类输出表情识别结果，同时采用交叉熵作为损失函数对输出的表情识别结果进行训练得到更高的识别准确率；
S2利用剪枝算法分别处理每个训练好的识别网络，得到选定卷积层各滤波器的重要性分数；
S3根据选定卷积层剪枝之后计算出的各滤波器的重要性分数，计算该层的特征图权重。
2.根据权利要求1所述的一种基于网络剪枝的CNN人脸表情识别显著性分析方法，其特征在于，所述步骤S2的具体步骤如下：
分别将步骤S12每个训练好的识别网络作为输入，运行剪枝算法，在维持识别准确率的条件下，完成网络的滤波器修剪，得到选定卷积层各滤波器的重要性分数。
3.根据权利要求1所述的一种基于网络剪枝的CNN人脸表情识别显著性分析方法，其特征在于，所述步骤S3的具体步骤如下：
S31对于选定卷积层，在剪枝之后保留的各滤波器的重要性分数中找到最大值与最小值；
S32对各滤波器的重要性分数进行归一化处理，将各滤波器重要性分数转化为特征图权重。
4.根据权利要求3所述的一种基于网络剪枝的CNN人脸表情识别显著性分析方法，其特征在于，所述步骤S32中，对各滤波器的重要性分数进行归一化处理的步骤如下：首先假设某卷积层i+1的特征图矩阵大小为H×B×C，其中H、B分别代表特征图的高、宽，C为卷积层i经过剪枝之后的滤波器个数，则卷积层i的滤波器重要性分数向量集合为：
I＝{I1,I2,…,IC}；
将I中元素按下式分别进行归一化，得到各自的权重:
Figure FDA0003746142730000021
最终得到该层的特征图权重矩阵W＝{W1,W2,…,WC}，大小为1×1×C，其中，一个元素Wj对应着卷积层i+1特征图的一个通道。
CN202010273344.5A 2020-04-09 2020-04-09 一种基于网络剪枝的cnn人脸表情识别显著性分析方法 Active CN111507224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010273344.5A CN111507224B (zh) 2020-04-09 2020-04-09 一种基于网络剪枝的cnn人脸表情识别显著性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010273344.5A CN111507224B (zh) 2020-04-09 2020-04-09 一种基于网络剪枝的cnn人脸表情识别显著性分析方法

Publications (2)

Publication Number Publication Date
CN111507224A CN111507224A (zh) 2020-08-07
CN111507224B true CN111507224B (zh) 2022-08-30

Family

ID=71874329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010273344.5A Active CN111507224B (zh) 2020-04-09 2020-04-09 一种基于网络剪枝的cnn人脸表情识别显著性分析方法

Country Status (1)

Country Link
CN (1) CN111507224B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633400B (zh) * 2020-12-29 2022-08-12 山东省海洋生物研究院 基于计算机视觉的贝类分类识别方法及装置
CN112613479B (zh) * 2021-01-04 2022-07-08 福州大学 基于轻量流式网络和注意力机制的表情识别方法
CN113869229B (zh) * 2021-09-29 2023-05-09 电子科技大学 基于先验注意力机制引导的深度学习表情识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846380A (zh) * 2018-04-09 2018-11-20 北京理工大学 一种基于代价敏感卷积神经网络的人脸表情识别方法
CN109993100A (zh) * 2019-03-27 2019-07-09 南京邮电大学 基于深层特征聚类的人脸表情识别的实现方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN110619385A (zh) * 2019-08-31 2019-12-27 电子科技大学 基于多级剪枝的结构化网络模型压缩加速方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846380A (zh) * 2018-04-09 2018-11-20 北京理工大学 一种基于代价敏感卷积神经网络的人脸表情识别方法
CN109993100A (zh) * 2019-03-27 2019-07-09 南京邮电大学 基于深层特征聚类的人脸表情识别的实现方法
CN110532900A (zh) * 2019-08-09 2019-12-03 西安电子科技大学 基于U-Net和LS-CNN的人脸表情识别方法
CN110619385A (zh) * 2019-08-31 2019-12-27 电子科技大学 基于多级剪枝的结构化网络模型压缩加速方法

Also Published As

Publication number Publication date
CN111507224A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111507224B (zh) 一种基于网络剪枝的cnn人脸表情识别显著性分析方法
CN108764471B (zh) 基于特征冗余分析的神经网络跨层剪枝方法
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
CN108681752B (zh) 一种基于深度学习的图像场景标注方法
CN109740679B (zh) 一种基于卷积神经网络和朴素贝叶斯的目标识别方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN109214298B (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
CN109828251A (zh) 基于特征金字塔轻量卷积神经网络的雷达目标识别方法
CN110097060B (zh) 一种面向树干图像的开集识别方法
CN109344731A (zh) 基于神经网络的轻量级的人脸识别方法
CN104992191A (zh) 基于深度学习的特征和最大置信路径的图像分类方法
CN110135460B (zh) 基于vlad卷积模块的图像信息强化方法
CN110008853B (zh) 行人检测网络及模型训练方法、检测方法、介质、设备
CN110263236B (zh) 基于动态多视图学习模型的社交网络用户多标签分类方法
CN107301382B (zh) 基于时间依赖约束下深度非负矩阵分解的行为识别方法
CN111178319A (zh) 基于压缩奖惩机制的视频行为识别方法
CN109902564A (zh) 一种基于结构相似性稀疏自编码网络的异常事件检测方法
CN111353545A (zh) 一种基于稀疏网络迁移的植株病虫害识别方法
CN113488060B (zh) 一种基于变分信息瓶颈的声纹识别方法及系统
CN107679501A (zh) 一种基于标签自提纯的深度学习方法
CN109740672B (zh) 多流特征距离融合系统与融合方法
CN113033345B (zh) 基于公共特征子空间的v2v视频人脸识别方法
CN112263224B (zh) 一种基于fpga边缘计算的医学信息处理方法
CN116883746A (zh) 一种基于分区池化超图神经网络的图节点分类方法
CN116827666A (zh) 一种基于图注意力网络的恶意网络流量检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant