CN112819133A - 一种深度混合神经网络情感识别模型的构建方法 - Google Patents

一种深度混合神经网络情感识别模型的构建方法 Download PDF

Info

Publication number
CN112819133A
CN112819133A CN201911116641.2A CN201911116641A CN112819133A CN 112819133 A CN112819133 A CN 112819133A CN 201911116641 A CN201911116641 A CN 201911116641A CN 112819133 A CN112819133 A CN 112819133A
Authority
CN
China
Prior art keywords
neural network
layer
emotion
lstm
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911116641.2A
Other languages
English (en)
Inventor
李幼军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
North China University of Technology
Original Assignee
North China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by North China University of Technology filed Critical North China University of Technology
Priority to CN201911116641.2A priority Critical patent/CN112819133A/zh
Publication of CN112819133A publication Critical patent/CN112819133A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种深度混合神经网络情感识别模型的构建方法，包括如下步骤：S1、通过深度卷积神经网络层对原始图像进行特征提取；S2、将提取的图像特种进行扁平化处理，并进行输出；S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；S4、通过混合网络对四种情感分类的预测百分比向量进行输出；S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；S6、将一维特征向量以全连接的形式输入LSTM循环网络；S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，通过混合网络进行分类输出，对情感状态的识别分析具有重要意义。

Description

一种深度混合神经网络情感识别模型的构建方法
技术领域
本发明涉及情感识别模型术领域，尤其涉及一种深度混合神经网络情感识别模型的构建方法。
背景技术
在情感是人类智能的一个重要标志，因此作为人工智能的重要标志之一就是机器能够理解人类的情感。
通过人类的行为、面部表情或者生理信号进行的情感识别逐渐成为研究的热点。然而在对情感进行识别分析时，需要对情感分类器进行构件，这就需要提出一种新的模型构件方法。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的一种深度混合神经网络情感识别模型的构建方法。
为了实现上述目的，本发明采用了如下技术方案：
一种深度混合神经网络情感识别模型的构建方法，该构建方法包括如下步骤：
S1、通过深度卷积神经网络层对原始图像进行特征提取；
S2、将提取的图像特种进行扁平化处理，并进行输出；
S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；
S4、通过混合网络对四种情感分类的预测百分比向量进行输出；
S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；
S6、将一维特征向量以全连接的形式输入LSTM循环网络；
S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。
优选的，所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。
优选的，所述卷积层定位为：
Figure 148678DEST_PATH_IMAGE001
式中，Fi为第i层卷积操作的输出特征，
Figure 3502DEST_PATH_IMAGE002
，
Figure 783239DEST_PATH_IMAGE003
为第i层卷积网络的权值矩阵，bi为 偏移量，
Figure 365399DEST_PATH_IMAGE004
符号为第i层卷积网络。
优选的，所述池化层标识形式为：
Figure 117454DEST_PATH_IMAGE005
其中，Kpool 函数为池化函数。
优选的，所述全连接层表达为：
Figure 939916DEST_PATH_IMAGE006
式中，
Figure 393900DEST_PATH_IMAGE007
为输入数据为第i类分类结果的概率，
Figure 592801DEST_PATH_IMAGE008
为概率计算函数，
Figure 199362DEST_PATH_IMAGE009
为第i类标签，
Figure 379677DEST_PATH_IMAGE010
为具体的神经网络权重矩阵和偏置向量。
优选的，所述S2步骤的LSTM 循环神经网络表达为：
Figure 134006DEST_PATH_IMAGE011
Figure 808701DEST_PATH_IMAGE012
Figure 332087DEST_PATH_IMAGE013
式中，
Figure 945952DEST_PATH_IMAGE014
为对应每个门的输入权重矩阵，
Figure 187577DEST_PATH_IMAGE015
为对应每个门的反馈权 重矩阵，
Figure 400384DEST_PATH_IMAGE016
为每个门对应的偏置向量。
优选的，所述LSTM 循环神经网络还包括对LSTM单元进行更新，表达为：
Figure 43855DEST_PATH_IMAGE017
Figure 565972DEST_PATH_IMAGE018
。
优选的，所述S7步骤还包括通过LSTM循环神经网络能够捕捉到脑电多维度特征帧序列中情绪变化的关键特征，提高情绪识别准确度。
本发明提供的一种深度混合神经网络情感识别模型的构建方法通过采用深度卷积神经网络提取图像特征，结合LSTM循环神经网络进行输出处理，进而通过混合网络进行分类输出，利于构建情感分类模型，提高情绪设备准确度，对情感状态的识别分析具有重要意义。
附图说明
图1为本发明的混合神经网络示意图；
图2为本发明的普通循环神经网络结构示意图；
图3为本发明的LSTM单元示意图；
图4为本发明的深度混合神经网络各网络层的设置表。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
一种深度混合神经网络情感识别模型的构建方法，该构建方法包括如下步骤：
S1、通过深度卷积神经网络层对原始图像进行特征提取；
S2、将提取的图像特种进行扁平化处理，并进行输出；
S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；
S4、通过混合网络对四种情感分类的预测百分比向量进行输出；
S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；
S6、将一维特征向量以全连接的形式输入LSTM循环网络；
S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。
优选的，所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。
优选的，所述卷积层定位为：
Figure 294894DEST_PATH_IMAGE019
式中，Fi为第i层卷积操作的输出特征，
Figure 311391DEST_PATH_IMAGE002
，
Figure 809369DEST_PATH_IMAGE003
为第i层卷积网络的权值矩阵，bi为 偏移量，
Figure 767966DEST_PATH_IMAGE004
符号为第i层卷积网络。
优选的，所述池化层标识形式为：
Figure 718605DEST_PATH_IMAGE005
其中，Kpool 函数为池化函数。
优选的，所述全连接层表达为：
Figure 538793DEST_PATH_IMAGE006
式中，
Figure 78228DEST_PATH_IMAGE007
为输入数据为第i类分类结果的概率，
Figure 20776DEST_PATH_IMAGE008
为概率计算函数，
Figure 396394DEST_PATH_IMAGE009
为第i类标签，
Figure 817011DEST_PATH_IMAGE010
为具体的神经网络权重矩阵和偏置向量。
优选的，所述S2步骤的LSTM 循环神经网络表达为：
Figure 479461DEST_PATH_IMAGE011
Figure 592910DEST_PATH_IMAGE012
Figure 455824DEST_PATH_IMAGE013
式中，
Figure 680132DEST_PATH_IMAGE014
为对应每个门的输入权重矩阵，
Figure 928580DEST_PATH_IMAGE015
为对应每个门的反馈权 重矩阵，
Figure 212930DEST_PATH_IMAGE016
为每个门对应的偏置向量。
优选的，所述LSTM 循环神经网络还包括对LSTM单元进行更新，表达为：
Figure 563140DEST_PATH_IMAGE017
Figure 591139DEST_PATH_IMAGE018
。
优选的，所述S7步骤还包括通过LSTM循环神经网络能够捕捉到脑电多维度特征帧序列中情绪变化的关键特征，提高情绪识别准确度。
本发明提供的一种深度混合神经网络情感识别模型的构建方法通过采用深度卷积神经网络提取图像特征，结合LSTM循环神经网络进行输出处理，进而通过混合网络进行分类输出，利于构建情感分类模型，提高情绪设备准确度，对情感状态的识别分析具有重要意义。
实施例
根据图4中，本文的卷积神经网络包含两个卷积层，两个最大池化层，最终通过一个全连接层与LSTM循环神经网络连接，卷积神经网络层的最终输出是一个扁平化的特征向量。输入数据脑电特征帧为200×200的三通道彩色图片，对应于这个图片我们将开始的卷积神经网络设计为30个卷积滤镜，通过这30个滤镜我们能从一幅脑电特征帧中得到30个特征值，同时为了从不同的粒度学习图片，设置三种尺度的授视野进行学习，分别是2×2像素大小，5×5像素大小和10×10像素大小，这三种授视野对应的移动步长分别为2，5和10像素，授视野之间互不重叠。激活函数用的是ReLU，紧接着第一个卷积层的是最大池化层，池化的尺寸是2×2像素，步长为2像素。第二个卷积层设置10个卷积滤镜授视野的尺寸为2×2像素，步长为2像素，步长之间没有重叠，通过卷积网络提取的脑电信号特征在进入LSTM循环神经网络之前，需要将之前提取的图像特征进行扁平化，具体的做法是将卷积神经网络的输出特征向量通过压缩变为一个一维特征向量，这个功能通过压缩层实现，在这个层中，我们将压缩比例设置为1/10。随后，输出的一维特征向量以全连接的形式输入LSTM循环网络，LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应了之前的4种情感分类类别。

Claims (8)

1.一种深度混合神经网络情感识别模型的构建方法，其特征在于：该构建方法包括如下步骤：
S1、通过深度卷积神经网络层对原始图像进行特征提取；
S2、将提取的图像特种进行扁平化处理，并进行输出；
S3、卷积神经网络的输出作为LSTM循环神经网络的输入数据，进入循环神经网络进行情感分类识别；
S4、通过混合网络对四种情感分类的预测百分比向量进行输出；
S5、设置压缩比例为1/10，通过压缩层对输出向量进行压缩，变为一个一维特征向量；
S6、将一维特征向量以全连接的形式输入LSTM循环网络；
S7、LSTM循环网络的输出层以“softmax”函数为激活函数，最终的输出类别设置为4，对应之前的4种情感分类类别。
2.根据所述权利要求1的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述S1步骤的卷积神经网络包括输入层、卷积层、池化层、全连接层和输出层。
3.根据所述权利要求2的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述卷积层定位为：
Figure DEST_PATH_IMAGE001
式中，Fi为第i层卷积操作的输出特征，
Figure 764970DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
为第i层卷积网络的权值矩阵，bi为偏 移量，
Figure 201637DEST_PATH_IMAGE004
符号为第i层卷积网络。
4.根据所述权利要求2的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述池化层标识形式为：
Figure DEST_PATH_IMAGE005
其中，Kpool 函数为池化函数。
5.根据所述权利要求2的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述全连接层表达为：
Figure 311544DEST_PATH_IMAGE006
式中，
Figure DEST_PATH_IMAGE007
为输入数据为第i类分类结果的概率，
Figure 558986DEST_PATH_IMAGE008
为概率计算函数，
Figure DEST_PATH_IMAGE009
为第i类标签，
Figure 816661DEST_PATH_IMAGE010
为具体的神经网络权重矩阵和偏置向量。
6.根据所述权利要求1的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述S2步骤的LSTM 循环神经网络表达为：
Figure DEST_PATH_IMAGE011
Figure 807750DEST_PATH_IMAGE012
Figure DEST_PATH_IMAGE013
式中，
Figure 831551DEST_PATH_IMAGE014
为对应每个门的输入权重矩阵，
Figure DEST_PATH_IMAGE015
为对应每个门的反馈权重 矩阵，
Figure 249894DEST_PATH_IMAGE016
为每个门对应的偏置向量。
7.根据所述权利要求1的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述LSTM 循环神经网络还包括对LSTM单元进行更新，表达为：
Figure DEST_PATH_IMAGE017
Figure 729286DEST_PATH_IMAGE018
。
8.根据所述权利要求1的一种深度混合神经网络情感识别模型的构建方法，其特征在于：所述S7步骤还包括通过LSTM循环神经网络能够捕捉到脑电多维度特征帧序列中情绪变化的关键特征，提高情绪识别准确度。
CN201911116641.2A 2019-11-15 2019-11-15 一种深度混合神经网络情感识别模型的构建方法 Pending CN112819133A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911116641.2A CN112819133A (zh) 2019-11-15 2019-11-15 一种深度混合神经网络情感识别模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911116641.2A CN112819133A (zh) 2019-11-15 2019-11-15 一种深度混合神经网络情感识别模型的构建方法

Publications (1)

Publication Number Publication Date
CN112819133A true CN112819133A (zh) 2021-05-18

Family

ID=75851466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911116641.2A Pending CN112819133A (zh) 2019-11-15 2019-11-15 一种深度混合神经网络情感识别模型的构建方法

Country Status (1)

Country Link
CN (1) CN112819133A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470787A (zh) * 2021-07-09 2021-10-01 福州大学 基于神经网络的情绪识别与脱敏训练效果评估方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN109146066A (zh) * 2018-11-01 2019-01-04 重庆邮电大学 一种基于语音情感识别的虚拟学习环境自然交互方法
CN109597891A (zh) * 2018-11-26 2019-04-09 重庆邮电大学 基于双向长短时记忆神经网络的文本情感分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180204111A1 (en) * 2013-02-28 2018-07-19 Z Advanced Computing, Inc. System and Method for Extremely Efficient Image and Pattern Recognition and Artificial Intelligence Platform
CN106782602A (zh) * 2016-12-01 2017-05-31 南京邮电大学 基于长短时间记忆网络和卷积神经网络的语音情感识别方法
CN109146066A (zh) * 2018-11-01 2019-01-04 重庆邮电大学 一种基于语音情感识别的虚拟学习环境自然交互方法
CN109597891A (zh) * 2018-11-26 2019-04-09 重庆邮电大学 基于双向长短时记忆神经网络的文本情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
缪裕青;邹巍;刘同来;周明;蔡国永;: "基于参数迁移和卷积循环神经网络的语音情感识别", 计算机工程与应用 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113470787A (zh) * 2021-07-09 2021-10-01 福州大学 基于神经网络的情绪识别与脱敏训练效果评估方法
CN113470787B (zh) * 2021-07-09 2024-01-30 福州大学 基于神经网络的情绪识别与脱敏训练效果评估方法

Similar Documents

Publication Publication Date Title
CN111639544B (zh) 基于多分支跨连接卷积神经网络的表情识别方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN112307995B (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN112801015B (zh) 一种基于注意力机制的多模态人脸识别方法
CN110399821B (zh) 基于人脸表情识别的顾客满意度获取方法
CN110222718B (zh) 图像处理的方法及装置
CN110222634A (zh) 一种基于卷积神经网络的人体姿态识别方法
CN110991349B (zh) 一种基于度量学习的轻量级车辆属性识别方法
CN113749657B (zh) 一种基于多任务胶囊的脑电情绪识别方法
CN113627376B (zh) 基于多尺度密集连接深度可分离网络的人脸表情识别方法
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN113505719A (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法
CN111401116B (zh) 基于增强卷积和空时lstm网络的双模态情感识别方法
CN114170659A (zh) 一种基于注意力机制的面部情感识别方法
CN111160327B (zh) 一种基于轻量化卷积神经网络的表情识别方法
CN112819133A (zh) 一种深度混合神经网络情感识别模型的构建方法
CN103235943A (zh) 基于pca的3d人脸识别系统
CN113159002A (zh) 一种基于自注意力权重辅助模块的人脸表情识别方法
CN112508121A (zh) 一种工业机器人感知外界的方法和系统
Guo et al. Facial expression recognition: a review
CN110569889A (zh) 一种基于l2归一化的卷积神经网络图象分类方法
Rahimpour et al. Attention-based few-shot person re-identification using meta learning
CN111881794B (zh) 一种视频行为识别方法及系统
CN108960275A (zh) 一种基于深度玻尔兹曼机的图像识别方法及系统
CN113870241A (zh) 一种基于胶囊神经网络的药片缺陷识别方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210518