CN111914600A - 一种基于空间注意力模型的群组情绪识别方法 - Google Patents
一种基于空间注意力模型的群组情绪识别方法 Download PDFInfo
- Publication number
- CN111914600A CN111914600A CN201910386847.0A CN201910386847A CN111914600A CN 111914600 A CN111914600 A CN 111914600A CN 201910386847 A CN201910386847 A CN 201910386847A CN 111914600 A CN111914600 A CN 111914600A
- Authority
- CN
- China
- Prior art keywords
- channel
- group
- images
- network
- emotion recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000008451 emotion Effects 0.000 claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 10
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000295 complement effect Effects 0.000 abstract description 2
- 238000011160 research Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007230 neural mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于空间注意力模型的群组情绪识别方法，主要涉及利用双通道群组情绪识别网络对群组情绪图像进行学习分类。该方法包括：构建双通道群组情绪识别网络，其中一通道通过以特征图的方式加入人脸掩膜引入空间注意力模型进行局部特征提取，另外一通道则将重点放在全局图像之上，提取群组情绪图像的全局特征，再将两通道模型进行融合，测试得到群组情绪的分类效果。本发明充分发挥深度学习的优势，有效避免手动提取特征的偏差和耗时长等问题，使得本发明方法的适应能力更强。此外，利用双通道网络的结构特征，并行训练及预测，形成一种互补的架构，再融合两个子网络的训练模型，提高群组情绪识别的准确率。
Description
技术领域
本发明涉及深度学习领域中的群组情绪识别问题，尤其是涉及一种基于空间注意力模型的群组情绪识别方法。
背景技术
群组情绪是指对至少有两张可见人脸图像中的群体进行情绪分析，群组情绪作为人类情绪状态最直接、最有效的表达方式之一，一直具有重要的研究意义。群组情绪识别是指从给定的静态图像中分离出特定的局部以及全局特征信息，继而确定研究对象的情绪状态，实现计算机对群组情绪的识别与理解，达到人机交互的过程。目前，群组情绪识别技术在人机交互领域的应用主要包括异常检测、移动终端最佳拍摄时机检测以及社交机器人等等。
情绪识别作为计算机视觉领域的重要研究内容，受到了国内外研究者的广泛关注，而群组情绪作为情绪识别的重要组成部分，有极大的研究价值。目前，对群组情绪的识别主要是基于静态群组情绪图片。基于静态图片的群组情绪分析的重点在于提取单张群组图像中的静态群组特征，目前利用这种方式进行群组情绪识别已经取得了不错的识别率和泛化能力。因此本专利利用群组情绪数据集的静态图片进行群组情绪识别。
深度学习(Deep Learning)是近年来备受关注的研究领域，它将多个抽象的数据处理层组合构成计算模型代替传统的人工选择特征的方法，让机器自主地学习数据样本的特征，有效避免人工选择特征的缺陷。并且与人工选择特征相比，深度学习方法利用大量的数据来学习特征，能够描述数据的特征信息进行更为丰富的描述。简言之，深度学习不管在识别时间还是准确度上，与传统方法相比都有了很大的提高。
发明内容
本发明的目的是提供一种基于空间注意力模型的群组情绪识别方法，引入深度学习中的双流网络结构以及空间注意力模型，充分学习群组情绪特征，进行群组情绪识别。有效解决目前浅层学习的参数调整困难、准确率不高等问题。
为了方便说明，首先引入如下概念：
卷积神经网络(Convolutional Neural Network,CNN)：受视觉神经机制的启发而设计，是一种多层前馈神经网络，每层由多个二维平面组成，平面上的每个神经元独立工作，卷积神经网络主要包括特征提取层和特征映射层。
空间注意力模型(Spatial Attention Model,SAM)：深度学习中的空间注意力模型从本质上讲和人类的选择性视觉注意力机制类似，核心目标是从众多信息中选择出对当前任务目标更关键的信息，并加强该信息对最终结果的影响。
人脸掩膜(Face Mask)：利用人脸检测工具检测人脸，将检测到的人脸区域像素值设为128，非人脸区域像素值设为0，得到的图像称为人脸掩膜。
双通道群组情绪识别网络：利用两个并行且互不相同的子神经网络分别提取图像局部以及全局情绪特征，再将这两个子神经网络进行加权融合形成双通道神经网络模型。
本发明具体采用如下技术方案：
提出了基于空间注意力模型的群组情绪识别方法，该方法的主要特征在于：
a.将静态群组图像分别输入双通道卷积神经网络进行训练；
b.上述a中双通道网络的输入均为原始图像，其中在第一通道网络中以特征图的方式将人脸掩膜加入到每个池化层之后，即引入空间注意力模型提取群组图像的局部特征，第二通道提取群组图像的全局特征；
c.对上述b中的双通道网络进行加权融合，得到群组情绪识别网络模型；
该方法主要包括以下步骤：
(1)对群组图像进行预处理，其中通过人脸检测跟踪等技术获取所有图像的人脸区域，再将人脸区域像素值设为128，非人脸区域的像素值设为0，得到所有群组图像对应的人脸掩膜图像；
(2)引入基于卷积神经网络(CNN)的双通道群组情绪识别网络(Channel1通道，Channel 2通道)，其中Channel1通道(C1)引入人脸掩膜提取群组图像的局部特征，Channel2通道(C2)提取群组图像的全局特征；
(3)上述(2)引入人脸掩膜是将人脸掩膜以池化层输出特征图相同的尺寸加入到C1通道的每一个池化层之后，构建空间注意力模型，提取群组情绪图像的局部特征，C2通道则是将原始群组情绪图像作为输入提取图像的全局特征；
(4)先将训练、验证集及其对应的人脸掩膜输入到C1通道网络进行训练，再将训练、验证集输入C2通道网络进行训练，然后将两个通道的模型进行融合，再利用融合后的模型对测试集进行测试，得到测试集上的准确度ACC(Accuracy)。
本发明的有益效果是：
(1)充分发扬深度学习中自我学习的优势，让机器自动学习图像特征，有效避免人工选择特征的偏差和低效问题，具有更强的适应能力。
(2)利用其中一通道结合人脸掩膜提取群组图像的局部特征，另一通道直接提取图像的全局特征，有效结合局部和全局特征的互补优势，提升训练效果的准确性。
(3)利用双通道网络结构将群组情绪图像的局部特征与全局特征相结合，再将两个通道的网络进行加权融合，提升最终的分类效果。
(4)将深度学习与群组情绪识别相结合，解决传统方法准确率不高的问题，提高研究价值。
附图说明
图1为本发明中通过原始群组图像所提取的人脸掩膜示例。
图2为基于空间注意力模型的群组情绪识别网络的组成图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
图2中，基于空间注意力模型的群组情绪识别方法，具体包括以下步骤：
(1)对原始群组图像进行人脸检测，将检测到的人脸区域的像素值设为128，非人脸区域的像素值设为0，得到人脸掩膜。
(2)利用不同的网络通道分别提取群组图像的局部特征和全局特征，本方法具体使用C1通道将人脸掩膜以特征图的方式加入到每一个池化层之后，即引入空间注意力模型提取群组图像的局部特征，C2通道提取群组图像的全局特征，最后采用3:7的权重融合两个通道得到本方法的群组情绪识别网络。
(3)训练：其中采用VGG19作为C1通道的基础网络提取群组图像的局部特征，采用Inception-Resnet-v2作为C2通道的基础网络提取群组图像的全局特征，对两个通道的网络进行加权融合得到群组情绪识别网络。接着利用步骤(1)中训练集和验证集对群组情绪识别网络进行训练。在C1通道的训练过程中，将人脸掩膜信息以特征图的方式加入到最大池化层之后，将特征提取的重点放在人脸上面；C2通道则直接提取图像的全局特征，最后得到训练完成的网络的参数模型，用于预测网络。
(4)将两个通道得到的参数模型采用3:7的权重融合后，利用测试集验证网络模型的性能。
Claims (4)
1.一种基于空间注意力模型的群组情绪识别方法，其特征在于：
a.将静态群组图像分别输入双通道卷积神经网络进行训练；
b.上述a中双通道网络的输入均为原始图像，其中在第一通道网络中以特征图的方式将人脸掩膜加入到每个池化层之后，即引入空间注意力模型提取群组图像的局部特征，第二通道提取群组图像的全局特征；
c.对上述b中的双通道网络进行加权融合，得到群组情绪识别网络模型；
该方法主要包括以下步骤：
(1)对群组图像进行预处理，其中通过人脸检测跟踪等技术获取所有图像的人脸区域，再将人脸区域像素值设为128，非人脸区域的像素值设为0，得到所有群组图像对应的人脸掩膜图像；
(2)引入基于卷积神经网络(CNN)的双通道群组情绪识别网络(Channel1通道，Channel2通道)，其中Channel1通道(C1)引入人脸掩膜提取群组图像的局部特征，Channel2通道(C2)提取群组图像的全局特征；
(3)上述(2)引入人脸掩膜是将人脸掩膜以池化层输出特征图相同的尺寸加入到C1通道的每一个池化层之后，构建空间注意力模型，提取群组情绪图像的局部特征，C2通道则是将原始群组情绪图像作为输入提取图像的全局特征；
(4)先将训练、验证集及其对应的人脸掩膜输入到C1通道网络进行训练，再将训练、验证集输入C2通道网络进行训练，然后将两个通道的模型进行融合，再利用融合后的模型对测试集进行测试，得到测试集上的准确度ACC(Accuracy)。
2.如权利要求1所述的基于空间注意力模型的群组情绪识别方法，其特征在于在步骤(2)中采用VGG19作为C1通道的基础网络提取群组图像的局部特征，Inception-Resnet-v2作为C2通道的基础网络提取群组图像的全局特征。
3.如权利要求1所述的基于空间注意力模型的群组情绪识别方法，其特征在于在步骤(3)中C1通道将人脸掩膜以特征图的方式加入到每一个池化层之后，即引入空间注意力模型提取群组图像的全局特征。
4.如权利要求1所述的基于空间注意力模型的群组情绪识别方法，其特征在于在步骤(4)中对C1和C2这两个通道的网络采用3:7的权重融合得到群组情绪识别网络，利用融合后的模型进行群组情绪识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910386847.0A CN111914600A (zh) | 2019-05-08 | 2019-05-08 | 一种基于空间注意力模型的群组情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910386847.0A CN111914600A (zh) | 2019-05-08 | 2019-05-08 | 一种基于空间注意力模型的群组情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111914600A true CN111914600A (zh) | 2020-11-10 |
Family
ID=73242726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910386847.0A Pending CN111914600A (zh) | 2019-05-08 | 2019-05-08 | 一种基于空间注意力模型的群组情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111914600A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114332649A (zh) * | 2022-03-07 | 2022-04-12 | 湖北大学 | 基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法 |
| CN114511895A (zh) * | 2020-11-16 | 2022-05-17 | 四川大学 | 一种基于注意力机制多尺度网络的自然场景情绪识别方法 |
| CN116523840A (zh) * | 2023-03-30 | 2023-08-01 | 苏州大学 | 一种基于深度学习的肺部ct图像检测系统以及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809089A (zh) * | 2014-12-29 | 2016-07-27 | 中国科学院深圳先进技术研究院 | 复杂背景下的多人脸检测方法及装置 |
| CN107463917A (zh) * | 2017-08-16 | 2017-12-12 | 重庆邮电大学 | 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 |
| CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
| CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
| CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN109271883A (zh) * | 2018-08-28 | 2019-01-25 | 武汉科技大学 | 一种融合学习机制的目标跟踪方法 |
| CN109271878A (zh) * | 2018-08-24 | 2019-01-25 | 北京地平线机器人技术研发有限公司 | 图像识别方法、图像识别装置和电子设备 |
| CN109598225A (zh) * | 2018-11-29 | 2019-04-09 | 浙江大学 | 尖锐注意力网络、神经网络及行人再识别方法 |
-
2019
- 2019-05-08 CN CN201910386847.0A patent/CN111914600A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809089A (zh) * | 2014-12-29 | 2016-07-27 | 中国科学院深圳先进技术研究院 | 复杂背景下的多人脸检测方法及装置 |
| CN107463917A (zh) * | 2017-08-16 | 2017-12-12 | 重庆邮电大学 | 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 |
| CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
| CN108491835A (zh) * | 2018-06-12 | 2018-09-04 | 常州大学 | 面向面部表情识别的双通道卷积神经网络 |
| CN109271878A (zh) * | 2018-08-24 | 2019-01-25 | 北京地平线机器人技术研发有限公司 | 图像识别方法、图像识别装置和电子设备 |
| CN109271883A (zh) * | 2018-08-28 | 2019-01-25 | 武汉科技大学 | 一种融合学习机制的目标跟踪方法 |
| CN109255352A (zh) * | 2018-09-07 | 2019-01-22 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
| CN109598225A (zh) * | 2018-11-29 | 2019-04-09 | 浙江大学 | 尖锐注意力网络、神经网络及行人再识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 袁嘉杰，张灵，陈云华: "基于注意力卷积模块的深度神经网络图像识别", 《计算机工程与应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114511895A (zh) * | 2020-11-16 | 2022-05-17 | 四川大学 | 一种基于注意力机制多尺度网络的自然场景情绪识别方法 |
| CN114511895B (zh) * | 2020-11-16 | 2024-02-02 | 四川大学 | 一种基于注意力机制多尺度网络的自然场景情绪识别方法 |
| CN114332649A (zh) * | 2022-03-07 | 2022-04-12 | 湖北大学 | 基于双通道注意力机制的跨场景遥感图像深度对抗迁移学习方法 |
| CN116523840A (zh) * | 2023-03-30 | 2023-08-01 | 苏州大学 | 一种基于深度学习的肺部ct图像检测系统以及方法 |
| CN116523840B (zh) * | 2023-03-30 | 2024-01-16 | 苏州大学 | 一种基于深度学习的肺部ct图像检测系统以及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010600B2 (en) | Face emotion recognition method based on dual-stream convolutional neural network | |
| CN107679522B (zh) | 基于多流lstm的动作识别方法 | |
| CN109146944B (zh) | 一种基于深度可分卷积神经网络的视觉深度估计方法 | |
| CN108090472B (zh) | 基于多通道一致性特征的行人重识别方法及其系统 | |
| CN109874053A (zh) | 基于视频内容理解和用户动态兴趣的短视频推荐方法 | |
| CN114419449B (zh) | 一种自注意力多尺度特征融合的遥感图像语义分割方法 | |
| CN111914600A (zh) | 一种基于空间注意力模型的群组情绪识别方法 | |
| CN110659573B (zh) | 一种人脸识别方法、装置、电子设备及存储介质 | |
| CN108256482A (zh) | 一种基于卷积神经网络进行分布学习的人脸年龄估计方法 | |
| CN105590099A (zh) | 一种基于改进卷积神经网络的多人行为识别方法 | |
| CN111401149B (zh) | 基于长短期时域建模算法的轻量级视频行为识别方法 | |
| CN109558805A (zh) | 基于多层深度特征的人体行为识别方法 | |
| CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
| CN116883393A (zh) | 一种基于无锚框目标检测算法的金属表面缺陷检测方法 | |
| CN115908793A (zh) | 一种基于位置注意力机制的编解码结构语义分割模型 | |
| Song et al. | A potential vision-based measurements technology: Information flow fusion detection method using RGB-thermal infrared images | |
| CN111079645A (zh) | 一种基于AlexNet网络的绝缘子自爆识别方法 | |
| CN111401116A (zh) | 基于增强卷积和空时lstm网络的双模态情感识别方法 | |
| CN113343760A (zh) | 一种基于多尺度特征神经网络的人体行为识别方法 | |
| CN113095479A (zh) | 一种基于多尺度注意力机制的冰下层结构提取方法 | |
| CN110136098B (zh) | 一种基于深度学习的线缆顺序检测方法 | |
| CN116342542A (zh) | 一种基于轻量级神经网络的钢铁产品表面缺陷检测方法 | |
| CN116167015A (zh) | 一种基于联合交叉注意力机制的维度情感分析方法 | |
| CN116189054A (zh) | 基于神经网络的人机协作方法及人机协作系统 | |
| CN115147432A (zh) | 一种基于深度残差语义分割网络的初至拾取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |