CN113705398B - 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 - Google Patents

基于卷积-长短期记忆网络音乐脑电时空特征分类方法 Download PDF

Info

Publication number
CN113705398B
CN113705398B CN202110940695.1A CN202110940695A CN113705398B CN 113705398 B CN113705398 B CN 113705398B CN 202110940695 A CN202110940695 A CN 202110940695A CN 113705398 B CN113705398 B CN 113705398B
Authority
CN
China
Prior art keywords
data
long
layer
term memory
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110940695.1A
Other languages
English (en)
Other versions
CN113705398A (zh
Inventor
张玉梅
廖胜利
吴晓军
杨红红
杨小蕊
李丽娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202110940695.1A priority Critical patent/CN113705398B/zh
Publication of CN113705398A publication Critical patent/CN113705398A/zh
Application granted granted Critical
Publication of CN113705398B publication Critical patent/CN113705398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于卷积‑长短期记忆网络音乐脑电时空特征分类方法，由获取脑电数据数据集、脑电数据预处理、选取脑电样本、增强脑电数据、脑电数据标准化、划分训练集和验证集及测试集、构建卷积‑长短期记忆网络、训练卷积‑长短期记忆网络、分类预测与模型性能评估步骤组成。由于本发明采用将卷积神经网络与长短期记忆网络组合构建成卷积‑长短期记忆网络，将该网络应用到音乐脑电情绪分类任务中，有效地筛选了脑电信号的特征，同时对去噪后的脑电信号进行了数据标准化，使得数据更加规范便于卷积‑长短期记忆网络模型进行分类，分类结果准确。本发明具有分类准确、泛化能力强等优点，可对不同场景的音乐脑电情绪进行分类。

Description

基于卷积-长短期记忆网络音乐脑电时空特征分类方法
技术领域
本发明属音乐脑电技术领域，具体涉及到脑电情绪分类方法。
背景技术
近年来，情绪识别已经成为一个非常活跃的话题和研究热点，经济社会高速发展，几乎每个人都处在或多或少的压力、焦虑之下，极大地影响了人们的情绪、心情；在这种环境下，理解、检测人们的情绪，及时地调整心态、调整情绪、调整心情是极其重要的。脑电波是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成，记录了大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映，脑电信号能够反应人的生理机能和身体状态是否正常，同时也能反应人的情绪、心情、心理活动，因此脑电可以作为情绪识别的一种有效方法。基于脑电波的音乐情感识别可以产生很多有趣的、有用的应用，例如音乐治疗、音乐推荐系统等。因此，进行基于脑电波的分类工作具有非常深远的意义。
脑电信号分类有很多种方法，常用的方法有逻辑回归方法、支持向量机方法、朴素贝叶斯方法、决策树、K近邻方法等等，传统的方法具有分类精确度不高、需要手动提取特征、成本较高、效果不佳等缺点。在人工智能、大数据快速发展时代，深度学习方法发展迅速，可以自动学习大样本数据的内在规律和表示层次、自动提取数据特征而无需手动提取特征、能够自动提取数据的特征并进行分类，能达到较高的准确率。
深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习方法包括人工神经网络、卷积神经网络、循环神经网络，深度学习在大数据中能自动学习特征，得到更有效的特征表示。目前，深度学习在模式识别领域中，能够有效地进行分类预测，适用于计算机视觉、自然语言处理、医学信号分析等各个领域。
近年来由于硬件计算能力的提升，深度学习受到相关研究人员的广泛关注，从大量数据中提取特征和拟合非线性函数，从而更新神经元的权重值，让神经网络的参数得以充分的优化，达到解决相关问题的目的。在深度学习的发展过程中，也出现了许多的深度学习网络模型，不同的网络适用于不同的场景，卷积神经网络能够很好地提取信息中的空间特征，循环神经网络更适合于处理时序数据和前后有关联的数据，常见的循环神经网络有双向循环神经网络和长短期记忆网络，单一的神经网络往往分类的准确度、模型的泛化能力不够大。
在脑点信号分类技术领域，当前需迫切解决的一个技术问题是提供一种准确率更高、泛化能力更强的音乐脑电时空特征分类方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术问题的缺点，提供一种分类精确度高、泛化能力强的基于卷积-长短期记忆网络音乐脑电时空特征分类方法。
解决上述技术问题采用的技术方案是由下述步骤组成：
(1)获取脑电数据集
从多模态情感数据集DEAP中选取脑电数据，网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html；脑电采集电极系统采用10-20国际标准的128导联电极帽，电极帽上的一个物理电极代表一个电极通道。
(2)脑电数据预处理
1)对采集的脑电数据以128Hz的采样率进行下采样。
2)使用独立成分分析方法去除脑电信号中的眼电。
3)对所有电极通道进行排序如下：
Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、O2，其中每个电极通道的具体含义在10-20国际标准导联系统中公开。
4)将脑电数据分段成60秒的小段，将试验前的3秒准备时间的脑电数据去除。
(3)选取脑电样本
从数据集DEAP中选取m个被试的脑电样本SC×Ni，其中i的取值为[1,m]，m取值为[1,32]，脑电样本SC×Ni的数据维度为C×N，C为通道数，C取值范围为[1,40]，N为采样点个数，N取值为采样率的1～8倍，将脑电数据中每个电极通道的数据处理成长度为512的一维数组，处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量，k取值范围为[1,40]。
(4)增强脑电数据
将每一个电极通道的脑电数据按照长度为采样点个数N进行最多数据片段分段。
(5)脑电数据标准化
将所有脑电数据按下式进行数据标准化s′：
Figure GDA0003893994800000031
其中s为原始数据，
Figure GDA0003893994800000032
为数据的平均值，v为数据的方差。
按下式确定均值
Figure GDA0003893994800000033
Figure GDA0003893994800000034
按下式确定方差v:
Figure GDA0003893994800000035
其中，x1,x2,...,xn为n个有限正整数，n为数据总个数。
(6)划分训练集和验证集及测试集
将数据标准化后的脑电数据划分成训练集、验证集、测试集，训练集为脑电数据的70％，验证集为脑电数据的20％，测试集为脑电数据的10％，训练集与验证集、测试集无交叉。
(7)构建卷积-长短期记忆网络
卷积-长短期记忆网络由卷积神经网络、长短期记忆网络、全连接层构成，卷积神经网络的输出与长短期记忆网络的输入相连，长短期记忆网络的输出与全连接层的输入相连。
所述的卷积神经网络由一维卷积层a1、一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5、批归一化层b、Dropout层c构成，一维卷积层a1依次与一维卷积层a2、一维卷积层a3、批归一化层b、Dropout层c、一维卷积层a4、一维卷积层a5串联构成。
所述的长短期记忆网络由批归一化层b、长短期记忆层d1、长短期记忆层d2、长短期记忆层d3、Dropout层c构成，批归一化层b依次与长短期记忆层d1、长短期记忆层d2、长短期记忆层d3、Dropout层c串联构成。
(8)训练卷积-长短期记忆网络
将训练集的脑电数据输入到卷积-长短期记忆网络，采用Adam优化方法动态调整卷积神经-长短期记忆网络的学习率，损失函数使用下式交叉熵损失函数L(y,a)：
L(y,a)＝ylna+(1-y)ln(1-a)
其中，y为数据的真实值，a为数据的预测值,y取值为0或1，a取值为0或1；训练时数据的批次大小为采样率的1～8倍，迭代至卷积神经-长短期记忆网络收敛，使用训练好的网络模型对愉悦度、唤醒度两个情绪维度进行自动分类。
按下式确定分类的准确度P：
Figure GDA0003893994800000041
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FP即实际类别不是A,但被预测为A的数据条数。
(9)分类预测与模型性能评估
使用(8)中在验证集上准确率最高的模型对测试集数据进行分类预测并使用准确率、召回率分类模型评判指标对模型的整体性能进行评估，按下式确定召回率R：
Figure GDA0003893994800000042
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FN即实际类别是A,但被预测为其他类的数据条数。
在本发明的(7)构建卷积-长短期记忆网络步骤中，所述的一维卷积层为：一维卷积层a1的卷积核大小最佳为1×15，一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5的卷积核大小最佳为1×3，一维卷积层a1、一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5的输出分别与一个线性整流单元层的输入相连。
在本发明的(7)构建卷积-长短期记忆网络步骤中，所述的Dropout层c的丢弃率最佳为0.5。
在本发明的(7)构建卷积-长短期记忆网络步骤中，所述的长短期记忆层d1输出空间维数最佳为64，丢弃率最佳为0.5，长短期记忆层d2输出空间维数为64，丢弃率最佳为0.5，长短期记忆层d3输出空间维数最佳为32。
在本发明的(7)构建卷积-长短期记忆网络步骤中，所述的全连接层为：全连接层的输出空间维度最佳为2，全连接层的激活函数S(x)如下：
Figure GDA0003893994800000051
其中，x表示全连接层的输出，x取值为有限整数。
本发明与现有技术相对具有以下优点：
由于本发明采用将卷积神经网络与长短期记忆网络组合构建成卷积-长短期记忆网络，将该网络应用到音乐脑电情绪分类任务中，有效地筛选了脑电信号的特征，同时对去噪后的脑电信号进行了数据标准化，使得数据更加规范便于卷积-长短期记忆网络模型进行分类，分类结果准确；本发明具有分类准确、泛化能力强等优点，可对不同场景的音乐脑电情绪进行分类。
附图说明
图1是本发明实施例1的流程图。
图2是卷积-长短期记忆网络的结构示意图。
图3是图2中卷积神经网络1的结构示意图。
图4是图2中长短期记忆网络2的结构示意图。
图5是实施例1方法按愉悦度进行音乐脑电信号分类的模型准确率曲线。
图6是实施例1方法按愉悦度进行音乐脑电信号分类的模型损失曲线。
图7是实施例1方法按唤醒度进行音乐脑电信号分类的模型准确率曲线。
图8是实施例1方法按唤醒度进行音乐脑电信号分类的模型损失曲线。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。
实施例1
以DEAP脑电集选取16个被试者脑电数据为例，其中男性8个，女性8个，采样频率为512Hz，采用单通道信号作为输入。本实施例的基于卷积-长短期记忆网络音乐脑电时空特征分类方法由以下步骤组成(如图1所示)：
(1)获取脑电数据数据集
从多模态情感数据集DEAP中选取脑电数据，网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html；选取16个被试者脑电数据，其中男性8个，女性8个，被试在观看完1分钟的刺激视频后，被试按照从1～9的大小，标记所看的视频的愉悦度、唤醒度程度的大小，愉悦度表示人的心情愉悦程度，变化范围由消极状态逐渐过渡到积极状态，对应的是由数字1～9的打分尺度来衡量；唤醒度表示人的状态兴奋程度，变化范围由平静状态逐渐过渡到兴奋状态，对应的也是由数字1～9的打分尺度来衡量；通常采用128Hz降采样、4-45Hz带通滤波、去除眼电预处理后脑电数据；采样频率为512Hz，脑电采集电极系统采用10-20国际标准的128导联电极帽，电极帽上的一个物理电极代表一个电极通道。
(2)脑电数据预处理
1)对采集的脑电数据以128Hz的采样率进行下采样。
2)使用独立成分分析方法去除脑电信号中的眼电。
3)对所有电极通道进行排序如下：
Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、O2，其中每个电极通道的具体含义在10-20国际标准导联系统中公开。
4)将脑电数据分段成60秒的小段，将试验前的3秒准备时间的脑电数据去除。
(3)选取脑电样本
从数据集DEAP中选取m个被试的脑电样本SC×Ni，其中i的取值为[1,m]，m取值为[1,32]，本实施例的m取值为16，脑电样本SC×Ni的数据维度为C×N，C为通道数，C取值范围为[1,40]，本实施例的C取值为20，N为采样点个数，N取值为采样率的1～8倍，本实施例的N取值为采样率的4倍，将脑电数据中每个电极通道的数据处理成长度为512的一维数组，处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量，k取值范围为[1,40]，本实施例的k取值为20。
(4)增强脑电数据
将每一个电极通道的脑电数据按照长度为采样点个数N进行最多数据片段分段。
(5)脑电数据标准化
将所有脑电数据按下式进行数据标准化s′：
Figure GDA0003893994800000071
其中s为原始数据，
Figure GDA0003893994800000072
为数据的平均值，v为数据的方差；
按下式确定均值
Figure GDA0003893994800000073
Figure GDA0003893994800000074
按下式确定方差v:
Figure GDA0003893994800000075
其中，x1,x2,...,xn为n个有限正整数，n为数据总个数。
(6)划分训练集和验证集及测试集
将数据标准化后的脑电数据划分成训练集、验证集、测试集，训练集为脑电数据的70％，验证集为脑电数据的20％，测试集为脑电数据的10％，训练集与验证集、测试集无交叉。
(7)构建卷积-长短期记忆网络
在图2中，本实施例的卷积-长短期记忆网络由卷积神经网络1、长短期记忆网络2、全连接层3构成，卷积神经网络1的输出与长短期记忆网络2的输入相连，长短期记忆网络2的输出与全连接层3的输入相连。
在图3中，本实施例的卷积神经网络1由一维卷积层a1、一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5、批归一化层b、Dropout层c构成，一维卷积层a1依次与一维卷积层a2、一维卷积层a3、批归一化层b、Dropout层c、一维卷积层a4、一维卷积层a5串联构成。
本实施例的一维卷积层为：一维卷积层a1的卷积核大小为1×15，一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5的卷积核大小都为1×3，一维卷积层a1、一维卷积层a2、一维卷积层a3、一维卷积层a4、一维卷积层a5的输出分别与一个线性整流单元层的输入相连。
在图4中，本实施例的长短期记忆网络2由批归一化层b、长短期记忆层d1、长短期记忆层d2、长短期记忆层d3、Dropout层c构成，批归一化层b依次与长短期记忆层d1、长短期记忆层d2、长短期记忆层d3、Dropout层c串联构成。本实施例的长短期记忆层d1输出空间维数为64，丢弃率为0.5，长短期记忆层d2输出空间维数为64，丢弃率为0.5，长短期记忆层d3输出空间维数为32。本实施例的Dropout层c的丢弃率为0.5。
本实施例的全连接层3为：全连接层3的输出空间维度为2，全连接层3的激活函数S(x)如下：
Figure GDA0003893994800000081
其中x表示全连接层3的输出，x取值为有限整数。
本实施例采用将卷积神经网络与长短期记忆网络组合构建成卷积-长短期记忆网络，用该网络对音乐脑电情绪进行分类，筛选了脑电信号的有效特征，进行分类，分类结果准确；对去噪后的脑电信号进行了数据标准化，使得数据更加规范便于卷积-长短期记忆网络模型进行分类。
(8)训练卷积-长短期记忆网络
将训练集的脑电数据输入到卷积-长短期记忆网络，采用Adam优化方法动态调整卷积-长短期记忆网络的学习率，损失函数使用下式交叉熵损失函数L(y,a)：
L(y,a)＝ylna+(1-y)ln(1-a)
其中，y为数据的真实值，a为数据的预测值,y取值为0或1，a取值为0或1；训练时数据的批次大小为采样率的1～4倍，迭代至卷积-长短期记忆网络收敛，使用训练好的网络模型对愉悦度、唤醒度两个情绪维度进行自动分类。
按下式确定分类的准确度P：
Figure GDA0003893994800000091
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FP即实际类别不是A,但被预测为A的数据条数；
(9)分类预测与模型性能评估
使用(8)中在验证集上准确率最高的模型对测试集数据进行分类预测并使用准确率、召回率分类模型评判指标对模型的整体性能进行评估，按下式确定召回率R：
Figure GDA0003893994800000092
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FN即实际类别是A,但被预测为其他类的数据条数；
完成基于卷积-长短期记忆网络音乐脑电时空特征分类方法。
实施例2
以DEAP脑电集选取1个被试者脑电数据为例，采样频率为512Hz，采用单通道信号作为输入。本实施例的基于卷积-长短期记忆网络音乐脑电时空特征分类方法由以下步骤组成：
(1)获取脑电数据数据集
从多模态情感数据集DEAP中选取脑电数据，网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html；选取1个被试者脑电数据，采样频率为512Hz，脑电采集电极系统采用10-20国际标准的128导联电极帽，电极帽上的一个物理电极代表一个电极通道。
(2)脑电数据预处理
该步骤与实施例1相同。
(3)选取脑电样本
从数据集DEAP中选取m个被试的脑电样本SC×Ni，其中i的取值为[1,m]，m取值为[1,32]，本实施例的m取值为1，脑电样本SC×Ni的数据维度为C×N，C为通道数，C取值范围为[1,40]，本实施例的C取值为1，N为采样点个数，N取值为采样率的1～8倍，本实施例的N取值为采样率的1倍，将脑电数据中每个电极通道的数据处理成长度为512的一维数组，处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量，k取值范围为[1,40]，本实施例的k取值为1。
其它步骤与实施例1相同。
完成基于卷积-长短期记忆网络音乐脑电时空特征分类方法。
实施例3
以DEAP脑电集选取32个被试者脑电数据为例，采样频率为512Hz，采用单通道信号作为输入。本实施例的基于卷积-长短期记忆网络音乐脑电时空特征分类方法由以下步骤组成：
(1)获取脑电数据数据集
从多模态情感数据集DEAP中选取脑电数据，网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html；选取32个被试者脑电数据，其中男性16个，女性16个，被试在观看完1分钟的刺激视频后，被试按照从1～9的大小，标记所看的视频的愉悦度-情绪的正负，唤醒度-情绪的程度的大小；通常采用128Hz降采样、4-45Hz带通滤波、去除眼电预处理后脑电数据；采样频率为512Hz，脑电采集电极系统采用10-20国际标准的128导联电极帽，电极帽上的一个物理电极代表一个电极通道。
(2)脑电数据预处理
该步骤与实施例1相同。
(3)选取脑电样本
从数据集DEAP中选取m个被试的脑电样本SC×Ni，其中i的取值为[1,m]，m取值为[1,32]，本实施例的m取值为32，脑电样本SC×Ni的数据维度为C×N，C为通道数，C取值范围为[1,40]，本实施例的C取值为40，N为采样点个数，N取值为采样率的1～8倍，本实施例的N取值为采样率的8倍，将脑电数据中每个电极通道的数据处理成长度为512的一维数组，处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量，k取值范围为[1,40]，本实施例的k取值为40。
其它步骤与实施例1相同。
完成基于卷积-长短期记忆网络音乐脑电时空特征分类方法。
为了验证本发明的有益效果，发明人采用本发明实施例1的方法进行了仿真实验，实验情况如下：
1、仿真条件
软件环境：PyCharm 2019.3.1x64
硬件条件为：1台个人电脑、1块Nvidia3060Ti显卡
电脑配置：
1)处理器：Intel(R)Core(TM)i7-10700 CPU@2.90GHz 2.90GHz。
2)内存：32.0GB。
软件平台为：tensorflow2.4.1框架。
其他第三库：numpy1.19.5、os、pickle、matplotlib、glob。
2、仿真内容与结果
在上述仿真条件下进行实验，结果见图5、图6、图7、图8。在图5和图7中，横坐标表示模型的迭代次数，纵坐标表示模型的准确率；在图5中，上面一条曲线表示模型在训练集上对愉悦度标签进行分类的准确率，下面一条曲线表示模型在测试集上对愉悦度标签进行分类的准确率。在图7中，上面一条曲线表示模型在训练集上对唤醒度标签进行分类的准确率，下面一条曲线表示模型在测试集上对唤醒度标签进行分类的准确率。由图5和图7可见，随着迭代次数的增加，模型的准确率逐渐增加，当迭代次数达到50次时模型开始收敛，准确率趋于稳定，模型在测试集上的准确率小于等于模型在训练集上的准确率。
在图6和图8中，横坐标表示模型的迭代次数，纵坐标表示模型的损失；在图6中，上面一条曲线表示模型在测试集上对愉悦度标签进行分类的损失，下面一条曲线表示模型在训练集上对愉悦度标签进行分类的损失。在图8中，上面一条曲线表示模型在测试集上对唤醒度标签进行分类的损失，下面一条曲线表示模型在训练集上对唤醒度标签进行分类的损失。由图6和图8可见，随着迭代次数的增加，模型的损失逐渐下降，当迭代次数达到50次是模型开始收敛，损失值趋于稳定，模型在测试集上的损失大于等于模型在训练集上的损失。
与现有技术相比，本发明具有以下优点：
由于本发明将卷积神经和长短期记忆神经网络组合应用于音乐脑电情绪分类中，用卷积神经网络自动提取脑电数据特征，处理时序数据的长短期记忆网络模型和全连接层对音乐脑电情绪数据进行分类，提高了该网络模型分类的准确率和泛化能力。

Claims (5)

1.一种基于卷积-长短期记忆网络音乐脑电时空特征分类方法，其特征在于由以下步骤组成：
(1)获取脑电数据集
从多模态情感数据集DEAP中选取脑电数据，网址为http://www.eecs.qmul.ac.uk/mmv/datasets/deap/index.html；脑电采集电极系统采用10-20国际标准的128导联电极帽，电极帽上的一个物理电极代表一个电极通道；
(2)脑电数据预处理
1)对采集的脑电数据以128Hz的采样率进行下采样；
2)使用独立成分分析方法去除脑电信号中的眼电；
3)对所有电极通道进行排序如下：
Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、O2；
4)将脑电数据分段成60秒的小段，将试验前的3秒准备时间的脑电数据去除；
(3)选取脑电样本
从数据集DEAP中选取m个被试的脑电样本SC×Ni，其中i的取值为[1,m]，m取值为[1,32]，脑电样本SC×Ni的数据维度为C×N，C为通道数，C取值范围为[1,40]，N为采样点个数，N取值为采样率的1～8倍，将脑电数据中每个电极通道的数据处理成长度为512的一维数组，处理后的数据样本集合为{S1,S2,...,Sm×C×k},其中k为1次试验中播放音乐的数量，k取值范围为[1,40]；
(4)增强脑电数据
将每一个电极通道的脑电数据按照长度为采样点个数N进行最多数据片段分段；
(5)脑电数据标准化
将所有脑电数据按下式进行数据标准化s′：
Figure FDA0003893994790000011
其中s为原始数据，
Figure FDA0003893994790000021
为数据的平均值，v为数据的方差；
按下式确定均值
Figure FDA0003893994790000022
Figure FDA0003893994790000023
按下式确定方差v：
Figure FDA0003893994790000024
其中，x1,x2,...,xn为n个有限正整数，n为数据总个数；
(6)划分训练集和验证集及测试集
将数据标准化后的脑电数据划分成训练集、验证集、测试集，训练集为脑电数据的70％，验证集为脑电数据的20％，测试集为脑电数据的10％，训练集与验证集、测试集无交叉；
(7)构建卷积-长短期记忆网络
卷积-长短期记忆网络由卷积神经网络(1)、长短期记忆网络(2)、全连接层(3)构成，卷积神经网络(1)的输出与长短期记忆网络(2)的输入相连，长短期记忆网络(2)的输出与全连接层(3)的输入相连；
所述的卷积神经网络(1)由一维卷积层(a1)、一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)、批归一化层(b)、Dropout层(c)构成，一维卷积层(a1)依次与一维卷积层(a2)、一维卷积层(a3)、批归一化层(b)、Dropout层(c)、一维卷积层(a4)、一维卷积层(a5)串联构成；
所述的长短期记忆网络(2)由批归一化层(b)、长短期记忆层(d1)、长短期记忆层(d2)、长短期记忆层(d3)、Dropout层(c)构成，批归一化层(b)依次与长短期记忆层(d1)、长短期记忆层(d2)、长短期记忆层(d3)、Dropout层(c)串联构成；
(8)训练卷积-长短期记忆网络
将训练集的脑电数据输入到卷积-长短期记忆网络，采用Adam优化方法动态调整卷积神经-长短期记忆网络的学习率，损失函数使用下式交叉熵损失函数L(y,a)：
L(y,a)＝ylna+(1-y)ln(1-a)
其中，y为数据的真实值，a为数据的预测值,y取值为0或1，a取值为0或1；训练时数据的批次大小为采样率的1～8倍，迭代至卷积神经-长短期记忆网络收敛，使用训练好的网络模型对愉悦度、唤醒度两个情绪维度进行自动分类；
按下式确定分类的准确度P：
Figure FDA0003893994790000031
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FP即实际类别不是A,但被预测为A的数据条数；
(9)分类预测与模型性能评估
使用(8)中在验证集上准确率最高的模型对测试集数据进行分类预测并使用准确率、召回率分类模型评判指标对模型的整体性能进行评估，按下式确定召回率R：
Figure FDA0003893994790000032
其中，假设数据被模型预测的类别是A，TP即实际类别为A,也被正确预测的数据条数，FN即实际类别是A,但被预测为其他类的数据条数。
2.根据权利要求1所述的基于卷积-长短期记忆网络音乐脑电时空特征分类方法，其特征在于在(7)构建卷积-长短期记忆网络步骤中，所述的一维卷积层为：一维卷积层(a1)的卷积核大小为1×15，一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)的卷积核大小都为1×3，一维卷积层(a1)、一维卷积层(a2)、一维卷积层(a3)、一维卷积层(a4)、一维卷积层(a5)的输出分别与一个线性整流单元层的输入相连。
3.根据权利要求1所述的基于卷积-长短期记忆网络音乐脑电时空特征分类方法，其特征在于：在(7)构建卷积-长短期记忆网络步骤中，所述的Dropout层(c)的丢弃率为0.5。
4.根据权利要求1所述的基于卷积-长短期记忆网络音乐脑电时空特征分类方法，其特征在于：在(7)构建卷积-长短期记忆网络步骤中，所述的长短期记忆层(d1)输出空间维数为64，丢弃率为0.5，长短期记忆层(d2)输出空间维数为64，丢弃率为0.5，长短期记忆层(d3)输出空间维数为32。
5.根据权利要求1所述的基于卷积-长短期记忆网络音乐脑电时空特征分类方法，其特征在于在(7)构建卷积-长短期记忆网络步骤中，所述的全连接层(3)为：全连接层(3)的输出空间维度为2，全连接层(3)的激活函数S(x)如下：
Figure FDA0003893994790000041
其中x表示全连接层(3)的输出，x取值为有限整数。
CN202110940695.1A 2021-08-17 2021-08-17 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 Active CN113705398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110940695.1A CN113705398B (zh) 2021-08-17 2021-08-17 基于卷积-长短期记忆网络音乐脑电时空特征分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110940695.1A CN113705398B (zh) 2021-08-17 2021-08-17 基于卷积-长短期记忆网络音乐脑电时空特征分类方法

Publications (2)

Publication Number Publication Date
CN113705398A CN113705398A (zh) 2021-11-26
CN113705398B true CN113705398B (zh) 2022-12-27

Family

ID=78652918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110940695.1A Active CN113705398B (zh) 2021-08-17 2021-08-17 基于卷积-长短期记忆网络音乐脑电时空特征分类方法

Country Status (1)

Country Link
CN (1) CN113705398B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113786205A (zh) * 2021-11-17 2021-12-14 华南理工大学 基于卷积网络和长短期记忆网络的二便预警系统及方法
CN114424940A (zh) * 2022-01-27 2022-05-03 山东师范大学 基于多模态时空特征融合的情绪识别方法及系统
CN115099311B (zh) * 2022-06-06 2024-03-19 陕西师范大学 基于脑电时空频特征和眼动特征的多模态情绪分类方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216504A1 (ko) * 2018-05-09 2019-11-14 한국과학기술원 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN109271964B (zh) * 2018-10-11 2021-04-23 刘仕琪 基于深度学习模型与长短记忆网络的情绪识别方法及系统
CN112244873A (zh) * 2020-09-29 2021-01-22 陕西科技大学 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN112364697B (zh) * 2020-10-14 2021-11-30 陕西师范大学 基于r-lstm模型的脑电信号情绪识别方法
CN112932502B (zh) * 2021-02-02 2022-05-03 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法

Also Published As

Publication number Publication date
CN113705398A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113705398B (zh) 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
Wang et al. Channel selection method for EEG emotion recognition using normalized mutual information
CN109389059B (zh) 一种基于cnn-lstm网络的p300检测方法
Wen et al. Deep convolution neural network and autoencoders-based unsupervised feature learning of EEG signals
CN108304917B (zh) 一种基于lstm网络的p300信号检测方法
Kumar et al. Envisioned speech recognition using EEG sensors
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN109645989B (zh) 一种麻醉深度估计系统
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN113729707A (zh) 一种基于fecnn-lstm的眼动和ppg多模态融合的情感识别方法
CN109871831B (zh) 一种情感识别方法及系统
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
Yu et al. Epileptic seizure prediction using deep neural networks via transfer learning and multi-feature fusion
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
CN113017645B (zh) 一种基于空洞卷积神经网络的p300信号检测方法
CN111000556A (zh) 一种基于深度模糊森林的情绪识别方法
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN107918487A (zh) 一种基于皮肤电信号识别中文情感词的方法
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
CN115281685A (zh) 基于异常检测的睡眠分期识别方法、装置以及计算机可读存储介质
CN108143412A (zh) 一种儿童脑电情绪分析的控制方法、装置及系统
Cao et al. Emotion recognition of single-electrode EEG based on multi-feature combination in time-frequency domain
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN113128384A (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant