CN109508651A - 基于卷积神经网络的脑电情感分类方法 - Google Patents
基于卷积神经网络的脑电情感分类方法 Download PDFInfo
- Publication number
- CN109508651A CN109508651A CN201811240970.3A CN201811240970A CN109508651A CN 109508651 A CN109508651 A CN 109508651A CN 201811240970 A CN201811240970 A CN 201811240970A CN 109508651 A CN109508651 A CN 109508651A
- Authority
- CN
- China
- Prior art keywords
- dimension
- data set
- refers
- data
- experience
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000004556 brain Anatomy 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 15
- 230000005611 electricity Effects 0.000 title claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 230000037007 arousal Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008451 emotion Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 238000001228 spectrum Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000009434 installation Methods 0.000 abstract 1
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开一种基于卷积神经网络的脑电情感分类方法，首先从数据集中取出全部脑电通道的数据和A维度、V维度对应的标签作为原始数据集和标签集；然后将数据集中每一行作为一个样本，使用经验小波变换（EWT）对其进行处理，取出所有行返回的前4个经验模态数据组成新的数据集D'；将D'输入到已经经过初始化设置的卷积神经网络模型中，输出节点即对应的LA/HA,LV/HV类别。本发明分类准确率高，A维度的分类准确率达到75.25%，V维度的分类准确率达到83.30%。
Description
技术领域
本发明涉及一种情感分类方法，尤其是一种根据人的脑电信号客观判定人类情感类别的基于卷积神经网络的脑电情感分类方法。
背景技术
人类情感是一种心理-生理过程，通常由对象或情境的有意识或无意识的感知而触发，往往与情绪、气质、个性、性格以及动机有关。人的情感在其进行决策处理、互相交往和认知过程中扮演着非常重要的角色，它可以通过情感词汇、声音腔调、面部表情和手势等非语言线索表达出来。
近年来，随着信息技术的不断提升和对情感理解的不断深入，情感识别已在文本、言语、面部表情方面取得了较大进展。此外，由于脑电信号的获取不容易被侵入，而且价格也更实惠，并能广泛应用于医疗领域中，因此基于脑电的自动情感识别技术也越来越受到人们的关注。
现有的基于脑电的情感分类方法主要是基于传统的机器学习方法，比如贝叶斯网络，神经网络，支持向量机（SVM）等。以广泛使用的SVM为例，它是一种有监督的机器学习方法。当类之间为线性可分时，它估计一个最佳的超平面，最好的分离两个类；当这些类不是线性可分时，SVM使用将原始数据映射到新的特征空间的方法，使得数据变得线性可分。尽管SVM受到广泛关注，但也有以下不足：第一，它在对原始脑电数据直接分类上表现不佳，需要通过专家进行结构设计与特征提取来减少冗余的信息，才能得到较好分类效果，前期步骤相对繁琐。第二，由于需要进行特征提取过程，其结果缺少一定的客观性，对大量数据内部存在的复杂、分散、微妙模式的发现能力有限。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种根据人的脑电信号客观判定人类情感类别的基于卷积神经网络的脑电情感分类方法。
本发明的技术解决方案是：一种基于卷积神经网络的脑电情感分类方法，其特征在于按如下步骤进行：
约定：D指所处理的数据集；L指标签集；A维度指情感维度中的Arousal维，即唤醒度；V维度指情感维度中的Valence维，即效价；LA指唤醒度评价值小于5的一类；HA指唤醒度评价值大于5的一类；LV指效价评价值小于5的一类；HV指效价评价值大于5的一类；
a.初始数据获取
分别选用数据集中所有脑电通道的数据及A维度和V维度情感标签作为初始数据集D和标签集L1，L2；
b. 经验小波变换处理数据
对脑电通道的每个脑电情感数据原始信号f(t)进行经验小波变换，分解成N+1个经验模态之和，式中是第k个经验模态：
b.1 对原始信号f(t)的傅立叶频谱进行自适应地分割，将频率范围分割成N个连续的部分，其中是傅立叶频谱相邻的两个极大值点之间的中点；
b.2 确定分割区间后，对其加小波窗，并分别确定经验尺度函数和经验小波函数如下：
，
，
式中：，，；
b.3 经验小波构造完成后，根据下式
，
将数据进行经验小波变换，取其得到的前4个经验模态数据，构成新的数据集D'，D'的行数为D的4倍；
c. 用卷积神经网络模型进行特征选择和学习
c.1 对卷积神经网络模型进行初始化，设定批大小batch-size=128，时期数epoch=9，类别数classes=2；
c.2 加载D'进行第一次卷积，设定局部感受野大小为12*3，特征映射个数为100，取Rectilinear units 为A维度分类时的激活函数，取TanHyperbolic为V维度分类时的激活函数，得到新的数据集D''；
c.3 将D''作为输入进行第二次卷积，设定局部感受野大小为12*3，特征映射个数为100，取TanHyperbolic为激活函数，得到新的数据集；
c.4 将c.3中得到的数据集输入到混合层中，简化卷积后的特征映射，使用最大值混合的方法，取混合单元大小为2*2；
c.5 最后一层为全连接层，使用TanHyperbolic为激活函数，将最大值混合后的所有特征映射与输出节点进行全连接，输出节点即对应的LA/HA, LV/HV类别。
与现有技术相比，本发明具有以下有益效果：
第一，本发明直接对原始数据进行处理，与传统机器学习方法相比不需要进行特征提取选择这一步骤，简化了数据处理过程，更完全的保留了数据中包含的信息。
第二，本发明对数据中存在的复杂的，散乱的和微妙的模式的发现能力更强，可以将数据进行更高维度的抽象处理，得到更好分类精度。A维度的分类准确率为75.25%，V维度的分类准确率为83.30%。
第三，深度学习方法对数据处理能得到更高层次的特征，对原始数据中存在的噪声具有更好的鲁棒性。
具体实施方式
本发明的一种基于卷积神经网络的脑电情感分类方法，按照如下步骤进行：
约定：D指所处理的数据集；L指标签集；A维度指情感维度中的Arousal维，即唤醒度；V维度指情感维度中的Valence维，即效价；LA指唤醒度评价值小于5的一类；HA指唤醒度评价值大于5的一类；LV指效价评价值小于5的一类；HV指效价评价值大于5的一类；
b.初始数据获取
分别选用DEAP数据集中所有脑电通道的数据及A维度和V维度情感标签作为初始数据集D和标签集L1，L2；
DEAP数据集是由Koelstra等人构建的一个多模态情感数据库，它包含了32个受试者观看40个时长为1分钟的音乐视频，记录了32个通道的脑电信号，以及8个通道的外围生理信号，采样频率为128Hz。每个受试者观看完一个视频后，都会对视频从唤醒度、效价、喜爱度、熟悉度等四个维度进行评分。
本发明实施例是在python环境下执行的，所涉及到的标准数据库可从：http://www.eecs.qmul.ac.uk/mmv/datasets/deap 下载。
本发明实施例仅对DEAP数据集中的脑电信号进行处理，数据集中包含32×40=1280个数据样本。
b. 经验小波变换（EWT）处理数据
对脑电通道的每个脑电情感数据原始信号f(t)进行经验小波变换，分解成N+1个经验模态之和，式中是第k个经验模态：
b.1 对原始信号f(t)的傅立叶频谱进行自适应地分割，将频率范围分割成N个连续的部分，其中是傅立叶频谱相邻的两个极大值点之间的中点；
b.2 确定分割区间后，对其加小波窗，并分别确定经验尺度函数和经验小波函数如下：
，
，
式中：，，；
b.3 经验小波构造完成后，根据下式
，
将数据进行经验小波变换，取其得到的前4个经验模态数据，构成新的数据集D'，D'的行数为D的4倍；
c. 用卷积神经网络模型进行特征选择和学习
c.1 对卷积神经网络模型进行初始化，设定批大小batch-size=128，时期数epoch=9，类别数classes=2；
c.2 加载D'进行第一次卷积，设定局部感受野大小为12*3，特征映射个数为100，取Rectilinear units 为A维度分类时的激活函数，取TanHyperbolic为V维度分类时的激活函数，得到新的数据集D''；
c.3 将D''作为输入进行第二次卷积，设定局部感受野大小为12*3，特征映射个数为100，取TanHyperbolic为激活函数，得到新的数据集；
c.4 将c.3中得到的数据集输入到混合层中，简化卷积后的特征映射，使用最大值混合（Max Pooling）的方法，取混合单元大小为2*2；
c.5 最后一层为全连接层，使用TanHyperbolic为激活函数，本层即将最大值混合后的所有特征映射与输出节点进行全连接，输出节点即对应的LA/HA, LV/HV类别。
本发明实施例与其他同样使用DEAP数据库的方法进行了比较。具体结果如表1所示。
表1 分类对比结果
| 2类情感分类模型 | V维度分类精度 | A维度分类精度 |
| DEAP bias | 57.6% | 62.0% |
| Chung and Yoon | 66.6% | 66.4% |
| 本发明方法 | 75.25% | 83.30% |
从表1中可以发现，本发明实施例比DEAP bias 方法在V维度和A维度上的分类精度要高约20%。相对于Chung and Yoon的方法，也分别提高了约9%和7%的分类精度，本发明能够有效的提高脑电情感数据的分类精度。
Claims (1)
1.一种基于卷积神经网络的脑电情感分类方法，其特征在于按如下步骤进行：
约定：D指所处理的数据集；L指标签集；A维度指情感维度中的Arousal维，即唤醒度；V维度指情感维度中的Valence维，即效价；LA指唤醒度评价值小于5的一类；HA指唤醒度评价值大于5的一类；LV指效价评价值小于5的一类；HV指效价评价值大于5的一类；
初始数据获取
分别选用数据集中所有脑电通道的数据及A维度和V维度情感标签作为初始数据集D和标签集L1，L2；
b. 经验小波变换处理数据
对脑电通道的每个脑电情感数据原始信号f(t)进行经验小波变换，分解成N+1个经验模态之和，式中是第k个经验模态：
b.1 对原始信号f(t)的傅立叶频谱进行自适应地分割，将频率范围分割成N个连续的部分，其中是傅立叶频谱相邻的两个极大值点之间的中点；
b.2 确定分割区间后，对其加小波窗，并分别确定经验尺度函数和经验小波函数如下：
，
，
式中：，，；
b.3 经验小波构造完成后，根据下式
，
将数据进行经验小波变换，取其得到的前4个经验模态数据，构成新的数据集D'，D'的行数为D的4倍；
c. 用卷积神经网络模型进行特征选择和学习
c.1 对卷积神经网络模型进行初始化，设定批大小batch-size=128，时期数epoch=9，类别数classes=2；
c.2 加载D'进行第一次卷积，设定局部感受野大小为12*3，特征映射个数为100，取Rectilinear units 为A维度分类时的激活函数，取TanHyperbolic为V维度分类时的激活函数，得到新的数据集D''；
c.3 将D''作为输入进行第二次卷积，设定局部感受野大小为12*3，特征映射个数为100，取TanHyperbolic为激活函数，得到新的数据集；
c.4 将c.3中得到的数据集输入到混合层中，简化卷积后的特征映射，使用最大值混合的方法，取混合单元大小为2*2；
c.5 最后一层为全连接层，使用TanHyperbolic为激活函数，将最大值混合后的所有特征映射与输出节点进行全连接，输出节点即对应的LA/HA, LV/HV类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811240970.3A CN109508651A (zh) | 2018-10-24 | 2018-10-24 | 基于卷积神经网络的脑电情感分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811240970.3A CN109508651A (zh) | 2018-10-24 | 2018-10-24 | 基于卷积神经网络的脑电情感分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109508651A true CN109508651A (zh) | 2019-03-22 |
Family
ID=65745844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811240970.3A Pending CN109508651A (zh) | 2018-10-24 | 2018-10-24 | 基于卷积神经网络的脑电情感分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109508651A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110025322A (zh) * | 2019-04-11 | 2019-07-19 | 辽宁师范大学 | 基于滤波与集成分类器的多模态生理信号情感分类方法 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220971A (zh) * | 2017-06-02 | 2017-09-29 | 太原理工大学 | 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法 |
| CN107832709A (zh) * | 2017-11-10 | 2018-03-23 | 辽宁师范大学 | 基于经验小波变换进行特征提取的脑电情感识别方法 |
| CN108427958A (zh) * | 2018-02-02 | 2018-08-21 | 哈尔滨工程大学 | 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法 |
| CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
-
2018
- 2018-10-24 CN CN201811240970.3A patent/CN109508651A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107220971A (zh) * | 2017-06-02 | 2017-09-29 | 太原理工大学 | 一种基于卷积神经网络和主成分分析法的肺结节特征提取方法 |
| CN107832709A (zh) * | 2017-11-10 | 2018-03-23 | 辽宁师范大学 | 基于经验小波变换进行特征提取的脑电情感识别方法 |
| CN108427958A (zh) * | 2018-02-02 | 2018-08-21 | 哈尔滨工程大学 | 基于深度学习的自适应权值卷积神经网络水下声纳图像分类方法 |
| CN108595632A (zh) * | 2018-04-24 | 2018-09-28 | 福州大学 | 一种融合摘要与主体特征的混合神经网络文本分类方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110025322A (zh) * | 2019-04-11 | 2019-07-19 | 辽宁师范大学 | 基于滤波与集成分类器的多模态生理信号情感分类方法 |
| CN110353702A (zh) * | 2019-07-02 | 2019-10-22 | 华南理工大学 | 一种基于浅层卷积神经网络的情感识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Moon et al. | Convolutional neural network approach for EEG-based emotion recognition using brain connectivity and its spatial information | |
| Ackermann et al. | EEG-based automatic emotion recognition: Feature extraction, selection and classification methods | |
| George et al. | Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier. | |
| Yoon et al. | EEG-based emotion estimation using Bayesian weighted-log-posterior function and perceptron convergence algorithm | |
| CN109165692B (zh) | 一种基于弱监督学习的用户性格预测装置及方法 | |
| Wang et al. | Detection of epilepsy with Electroencephalogram using rule-based classifiers | |
| Asghar et al. | AI inspired EEG-based spatial feature selection method using multivariate empirical mode decomposition for emotion classification | |
| CN106803095A (zh) | 基于组合特征提取的脑电情感识别方法 | |
| Olesen et al. | Deep residual networks for automatic sleep stage classification of raw polysomnographic waveforms | |
| CN109009098B (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| CN107273841A (zh) | 一种基于emd及高斯核函数svm的脑电情感分类方法 | |
| Akhundov et al. | Development of a deep neural network for automated electromyographic pattern classification | |
| CN109508651A (zh) | 基于卷积神经网络的脑电情感分类方法 | |
| Hariharan et al. | A new feature constituting approach to detection of vocal fold pathology | |
| Othmani et al. | A multimodal computer-aided diagnostic system for depression relapse prediction using audiovisual cues: A proof of concept | |
| Puri et al. | Alzheimer’s disease detection from optimal electroencephalogram channels and tunable Q-wavelet transform | |
| Xie et al. | WT feature based emotion recognition from multi-channel physiological signals with decision fusion | |
| Saha et al. | Olfaction recognition by EEG analysis using differential evolution induced Hopfield neural net | |
| CN112380959A (zh) | 一种基于图神经网络的单变量时间序列分类方法 | |
| CN114662524B (zh) | 基于脑电信号的即插即用式域适应方法 | |
| Khan et al. | Automated eye movement classification based on EMG of EOM signals using FBSE-EWT technique | |
| Stuchi et al. | A frequency-domain approach with learnable filters for image classification | |
| Agarwal et al. | EEG-based imagined words classification using Hilbert transform and deep networks | |
| Salimi et al. | Mental workload classification using short duration EEG data: an ensemble approach based on individual channels | |
| Kashtiban et al. | Combined LVQ neural network and multivariate statistical method employing wavelet coefficient for EEG signal classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190322 |