CN114384998A - 一种基于脑电信号的智能化情绪状态识别与调节方法 - Google Patents
一种基于脑电信号的智能化情绪状态识别与调节方法 Download PDFInfo
- Publication number
- CN114384998A CN114384998A CN202111339456.7A CN202111339456A CN114384998A CN 114384998 A CN114384998 A CN 114384998A CN 202111339456 A CN202111339456 A CN 202111339456A CN 114384998 A CN114384998 A CN 114384998A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram
- emotion
- user
- song
- feature matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000011159 matrix material Substances 0.000 claims abstract description 41
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000008909 emotion recognition Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 11
- 230000002996 emotional effect Effects 0.000 claims description 11
- 230000008901 benefit Effects 0.000 claims description 10
- 210000004556 brain Anatomy 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000036651 mood Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000005611 electricity Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 241000282376 Panthera tigris Species 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 230000002787 reinforcement Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 8
- 230000010482 emotional regulation Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于脑电信号的智能化情绪状态识别与调节方法，融合音乐和脑电信号，关注客观真实的情绪状态来进行情绪识别和调节，利用CNN和Transformer以一种自适应参数加权方式融合的情绪状态识别模型，对脑电数据处理，获取当下真实情绪状态，利用强化学习的上下文老虎机的特点，将脑电情绪、音乐选取形成闭环调节过程，上下文特征信息为用户脑电情绪—歌曲特征矩阵，以实时脑电情绪状态作为调节的反馈，音乐选择引擎将根据反馈选取音乐，上下文特征信息也根据反馈进行更新，由此参与到下一个循环过程。
Description
技术领域
本发明属于脑机接口与人工智能技术领域，具体涉及一种基于脑电信号的智能化情绪状态识别与调节方法。
背景技术
脑电波是表现人类大脑状态最直接的方式，也是最能客观体现人当下真实情绪的信息。许多心理或精神疾病与人的情绪密切相关，大多数案例由于无法进行有效的情绪调节导致病情加重，而基于脑电信号的智能化情绪状态识别与调节方法能够对人当下的真实情绪进行识别，并通过识别结果进行调节，达到一种良性循环的效果。
传统的EEG的情绪识别研究通过脑电信号的特征处理和分类器构建来对模型性能进行调整，主要方法有机器学习和深度学习。机器学习相关算法虽简单易操作，但面对较大的数据集，特别是脑电数据，其会导致计算复杂度增大，以及性能不佳的问题。深度学习可以充分提取特征，实现了良好的识别效果，但仍然存在网络复杂度的问题。
情绪调节一般采用音乐、电影、冥想等方式进行，利用EEG作为调节因素的现有研究较少。有研究说明脑电状态活动与情绪调节过程具有明显相关意义，但对于调节来说，往往只关注一次调节变化过程，而情绪调节是通过多次的调节才能起到显著效果，因此还是缺乏实际意义。
随着计算机技术的发展，深度学习与自然语言的Transformer模型在某种意义上可以进行互补操作，对于脑电情绪识别，可以利用卷积计算的提取局部特征的优势，利用注意力机制的提取相关性特征的优势，从高维数据提取出有用的特征图，在性能上结合两种模型进行自适应加权，可以通过网络自己训练得出一个合适的权重来达到较好的性能，由此模型可以不用通过加大网络深度来提高精度。
根据情绪状态的研究，情绪调节更关注于人当下的真实情绪。由此，强化学习中上下文多臂老虎机可以将脑电融合到情绪调节的循环中。在以音乐作为调节方式下，此方法用上下文特征矩阵来记录用户对每次听音乐后的效果，以脑电情绪和听歌时长作为调节后的反馈，调节系统将针对新的反馈选取音乐做出下一次的调节，以此循环达到一个正向调节的作用。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种基于脑电信号的智能化情绪状态识别与调节方法，融合音乐和脑电信号，能够充分对脑电数据进行特征提取并进行准确识别，关注客观真实的情绪状态来进行情绪识别和调节。
本发明提供一种基于脑电信号的智能化情绪状态识别与调节方法，包括如下步骤，
步骤S1.构建基于脑电信号的情绪状态识别模型；
步骤S2.获取用户的实时脑电数据；
步骤S3.对所采集到的脑电数据进行预处理，获取脑电DE特征；
步骤S4.通过情绪状态识别模型对处理好的DE数据进行情绪识别，获取用户当下的情绪标签；
步骤S5.在调节的初始状态下，构建用户脑电情绪—歌曲特征矩阵，若不是初始状态，则根据情绪标签和听歌时长更新用户脑电情绪—歌曲特征矩阵；
步骤S6.根据用户脑电情绪—歌曲特征矩阵选取音乐并反馈至用户，循环步骤S2-S6，直至脑电情绪平静。
作为本发明的进一步技术方案，步骤S1中构建基于脑电信号的情绪状态识别模型具体为，
将脑电样本划分训练集和测试集，构建情绪识别模型，情绪识别包括CNN模型和Transformer模型，CNN模型包含4个Block，每个Block包括2D-CNN，BatchNormalization，LeakyReLU和AvgPooling，在最后两个Block加入Dropout层，模型优化器为Adam；Transformer模型包括编码器和解码器，解码器为线性层和softmax层，编码器包括8头自注意力层和一个前馈层；
将训练数据同时输入两个模型，分别对脑电信号进行识别分类，通过两个模型的自适应加权融合获取最终的分类结果；
利用测试集对模型进行验证，获得准确率、F1值、精度和召回率效果最好的情绪状态识别模型。
更进一步的，自适应加权融合的具体过程为，在分类之前进行自适应加权融合，加权参数σ由网络训练得出；脑电数据通过CNN模型获取out1＝[a1，a2，a3]，通过Transformer模型获取out2＝[b1，b2，b3]，其中，ai(i＝1，2，3)和bi(i＝1，2，3)是通过模型计算之后获取3种情绪类别的分数；两个输出将通过公式Output＝σ×out1+(1-σ)×out2进行计算获取最终的情绪标签Output。
进一步的，步骤S3中预处理是利用频域分析和线性动态系统LDS对脑电信号进行处理，获取平滑的脑电DE特征，具体步骤为，
步骤S31.获取一段脑电数据；
步骤S32.利用1-75Hz带通滤波器将脑电信号降采样至200Hz；
步骤S33.利用短时傅里叶变换和汉宁窗对脑电进行频域变换，提取频域特征：
其中，x(m)为时序信号，ω(m)为窗函数，它在时间上反转并且有n个样本的偏移量；k＝0，1，2，3……N，k为样本点序号，N为时序采样点个数，ωk＝2πk/N为角频率；
步骤S34.对信号进行时频分析，获取各频段相应的频段能量谱密度E(n，ω)＝|X(n，ωk)|2；
步骤S35.根据频段能量谱密度，估算该频段的微分熵特征
步骤S36.对特征提取后的脑电序列进行LDS处理，获取更平滑的脑电DE特征。
进一步的，步骤S5中，构建用户脑电情绪-歌曲特征矩阵和根据情绪标签和听歌时长进行更新用户脑电情绪-歌曲特征矩阵的具体步骤为，
步骤S51.以用户脑电情绪一歌曲特征矩阵作为上下文特征矩阵，构建上下文特征矩阵ut＝[s1，s2，s3，......sf]，sf为用户对歌曲f的偏好度，初始状态为0；
步骤S52.为了使得选取的歌曲在一定时间后可以再次被选取，上下文特征矩阵
变为
其中，t_sf为这首歌的上一次被选取的回合数，B为间隔超参数，若歌曲f的间隔超过B，则下一次被选取的可能性将会变大；
步骤S53.在每次调节后，用户脑电情绪-歌曲特征矩阵更新函数
其中，Ut'为调节前的矩阵，rt为此次调节后的反馈；通过所更新的用户脑电情绪-歌曲特征矩阵，来选取下一次调节需要的歌曲。
进一步的，步骤S6中，根据用户脑电情绪-歌曲特征矩阵来选取音乐的具体过程为，
步骤S61.利用上下文多臂老虎机来学习用户对音乐的情绪状态，并选取用户所需歌曲，当获取到上下文特征信息ut后，将通过动作集At选择动作进行音乐选取；动作集At表示为At＝[at，1，at，2，...，at，f]；
步骤S62.采用线性函数通过之前所有回合所收到的收益来计算本回合的期望收益
步骤S63.利用ε-greedy算法作为选择动作的策略，在T个推荐回合中，智能体将以1-ε的概率选择最大期望的手臂a* t，以ε的概率随机选择一个手臂，最终根据用户的真实情绪反馈更新用户脑电情绪-歌曲特征矩阵；通过ε对探索力度进行调节，当推荐回合t＞k时，ε为一个定值l来保持探索；ε的表示为
步骤S64.在每个回合内，最优的动作策略为
利益rt由脑电情绪e_tag和用户听歌时长s-time共同决定；当脑电情绪为高兴和平静时，e_tag＝1，当脑电情绪为悲伤时，e_tag＝-1；其中脑电情绪对情绪调节的影响将随着回合t增大而增大，rt为
步骤S65.将选取期望利益最大的音乐返回给用户，再次获取用户对音乐的情绪反馈，以此循环，直至脑电情绪稳定平静。
本发明的优点在于，
1、将脑电情绪融合到情绪调节中，以音乐作为调节方式，关注用户当下状态，选取用户所需的音乐进行调节，达到了有效的情绪缓解作用。
2、利用卷积神经网络和自然语言处理中的Transformer模型的互补性进行脑电情绪识别，充分提取脑电时空特征，通过自适应调节权重的方式进行模型融合，其中权重调节过程是在训练中进行的，相对于人工调参的，更加快速准确，同时模型在保证性能的情况下更加轻量化。
3、利用上下文多臂老虎机将实时脑电情绪与音乐进行完美融合，两者相互影响，共同促进情绪正向调节。
4、在公开脑电数据集和本地情绪实验数据上都取得优异的效果，与其他方法对比，脑电识别的准确率及情绪调节的有效性都体现出明显优势，该方法在现实中更具有实际意义。
附图说明
图1为本发明方法的流程示意图；
图2为本发明的情绪状态识别模型的架构图。
具体实施方式
请参阅图1，本实施例提供本发明一种面向智能问答系统的自然语言推理方法，具体步骤如下：
步骤1：构建情绪状态识别模型；
将脑电数据分为训练集和测试集，搭建CNN模型和Transformer模型如图2所示，两个模型同时对数据进行训练，每隔n次训练进行性能测试，同时训练出最好的自适应权重σ，最终情绪状态识别模型为：
Output＝σ×out1+(1-σ)×out2
步骤2：获取用户的实时脑电数据；
脑电信号是中枢神经自发性的电位活动，包含丰富的大脑活动信息，本发明利用现有的脑电记录设备来实时采集用户的脑电信号。脑电信号形式如下：
[-11.62290573 -16.21246338 -17.13633537 ... -46.10419273 -51.05137825-43.6604023]
步骤3：对所采集到的脑电数据进行预处理，得到脑电DE特征；
本发明利用利用短时傅里叶变换和汉宁窗对脑电进行频域变换，提取频域特征；并进一步对脑电时频分析，得到各频段相应的频段能量谱密度；
根据频段能量谱密度，估计该频段的微分熵特征DE；
[[28.23224513 27.06461679 23.22665201 18.84287386 18.05756243][29.34750519 25.39820461 21.42098819 18.75340012 17.50319028][29.7454774920.98537702 20.0344921 17.60777294 17.48946017]...[28.0975926925.0344653120.42639499 17.98869508 16.22530561][27.85209882 24.86370014 20.4503821817.63034986 16.13263936][28.11149815 24.15378672 20.25027853 17.5838106716.17474008]]
对特征提取后的脑电序列进行LDS处理，得到平滑的脑电DE特征。
[[28.2134122 23.35981044 20.51525207 18.16684024 17.0527004][28.21729617 23.35570993 20.5130418 18.1666351 17.05314969][28.2200499223.34956694 20.50992358 18.16584321 17.05314894]...[27.92576178 23.7023815420.52143686 18.05485202 16.78921765][27.92746766 23.70042617 20.5213285518.05366244 16.78769799][27.93035621 23.69962645 20.52057729 18.0531825216.78688855]]
步骤4：利用情绪状态识别模型对处理好的DE数据进行情绪识别，得到用户当下的情绪标签；
脑电数据通过CNN模型得到out1＝[a1，a2，a3]，ai(i＝1，2，3)表示3种情绪类别的分数；如：out1＝[0.7，0.2，0.1]。
脑电数据通过Transformer模型得到out2＝[b1，b2，b3]，bi(i＝1，2，3)表示3种情绪类别的分数；如：out2＝[0.2，0.6，0.2]。
out1和out2通过计算公式：
Output＝0.6×out1+(1-0.6)×out2
得出最终的情绪标签Output＝[0.5，0.36，0.14]，得到情绪为积极、平静、消极的分数分别是0.5、0.36、0.14，则进行下一步的情绪标签为积极。
步骤5：在调节的初始状态下，构建用户脑电情绪-歌曲特征矩阵，若不是初始状态，根据情绪标签和听歌时长更新用户脑电情绪-歌曲特征矩阵；
歌曲集为：[歌曲1，歌曲2，歌曲3，……，歌曲f]
初始状态下，构建用户脑电情绪-歌曲特征矩阵如下：
设实例不是初始状态，上一次的用户脑电情绪-歌曲特征矩阵为：
由步骤三获取到的情绪标签为积极，e_tag＝1；
获取到用户听歌时长stime＝15s
计算回合t＝10的利益rt：
利益rt取决于脑电情绪e_tag和用户听歌时长s_time。当脑电情绪为高兴和平静时，e_tag＝1，当脑电情绪为悲伤时，e_tag＝-1。其中脑电情绪对情绪调节的影响将随着回合t增大而增大，rt表示如下：
根据用户脑电情绪-歌曲特征矩阵更新公式：
update[Ut|Ut'，rt]＝Ut'+rt
Ut'表示调节前的矩阵，rt表示这次调节后的反馈。用户脑电情绪-歌曲特征矩阵更新为：
采用线性函数通过之前所有回合所收到的收益
来计算每首歌下一次调节回合的期望收益：
其中θt，a表示选择手臂(歌曲)a的一个策略系数，通过θt，a＝(UT t，aUt，a+I)Ut，aRt，a，得到θt，a＝[0.00362，0.046，......，0.0477]。得到每首歌的期望利益如下，
利用ε-greedy算法作为选择动作(音乐)的策略，在T个推荐回合中，智能体将以1-ε的概率选择最大期望的手臂(音乐)a* t，以ε的概率随机选择一个手臂(音乐)，最终根据用户的真实情绪反馈更新用户脑电情绪-歌曲特征矩阵。通过ε对探索力度进行调节，当推荐回合t＞k(假设k＝5)时，ε为一个定值l(假设1＝0.2)来保持探索。ε的表示如下：
根据
将期望收益最高的歌曲11作为下一次调节所选取的歌曲。
步骤6：将选取音乐并返回给用户，循环步骤2-6，直至脑电情绪平静。
用户听完音乐将再次获取用户的脑电情绪，以此循环，学习用户的情绪习惯，在消极状态下，哪种歌曲对用户情绪调节更有益。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的技术人员应该了解，本发明不受上述具体实施例的限制，上述具体实施例和说明书中的描述只是为了进一步说明本发明的原理，在不脱离本发明精神范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由权利要求书及其等效物界定。
Claims (6)
1.一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，包括如下步骤，
步骤S1.构建基于脑电信号的情绪状态识别模型；
步骤S2.获取用户的实时脑电数据；
步骤S3.对所采集到的脑电数据进行预处理，获取脑电DE特征；
步骤S4.通过情绪状态识别模型对处理好的DE数据进行情绪识别，获取用户当下的情绪标签；
步骤S5.在调节的初始状态下，构建用户脑电情绪-歌曲特征矩阵，若不是初始状态，则根据情绪标签和听歌时长更新用户脑电情绪-歌曲特征矩阵；
步骤S6.根据用户脑电情绪-歌曲特征矩阵选取音乐并反馈至用户，循环步骤S2-S6，直至脑电情绪平静。
2.根据权利要求1所述的一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，所述步骤S1中构建基于脑电信号的情绪状态识别模型具体为，将脑电样本划分训练集和测试集，构建情绪识别模型，情绪识别包括CNN模型和Transformer模型，CNN模型包含4个Block，每个Block包括2D-CNN，BatchNormalization，LeakyReLU和AvgPooling，在最后两个Block加入Dropout层，模型优化器为Adam；Transfbrmer模型包括编码器和解码器，解码器为线性层和softmax层，编码器包括8头自注意力层和一个前馈层；
将训练数据同时输入两个模型，分别对脑电信号进行识别分类，通过两个模型的自适应加权融合获取最终的分类结果；
利用测试集对模型进行验证，获得准确率、F1值、精度和召回率效果最好的情绪状态识别模型。
3.根据权利要求2所述的一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，所述自适应加权融合的具体过程为，
在分类之前进行自适应加权融合，加权参数σ由网络训练得出；脑电数据通过CNN模型获取out1＝[a1，a2，a3]，通过Transformer模型获取out2＝[b1，b2，b3]，其中，ai(i＝1，2，3)和bi(i＝1，2，3)是通过模型计算之后获取3种情绪类别的分数；两个输出将通过公式Output＝σ×out1+(1-σ)×out2进行计算获取最终的情绪标签Output。
4.根据权利要求1所述的一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，所述步骤S3中预处理是利用频域分析和线性动态系统LDS对脑电信号进行处理，获取平滑的脑电DE特征，具体步骤为，
步骤S31.获取一段实时脑电数据；
步骤S32.利用1-75Hz带通滤波器将脑电信号降采样至200Hz；
步骤S33.利用短时傅里叶变换和汉宁窗对脑电进行频域变换，提取频域特征；
其中，x(m)为时序信号，ω(m)为窗函数，它在时间上反转并且有n个样本的偏移量；k＝0，1，2，3......N，k为样本点序号，N为时序采样点个数，ωk＝2πk/N为角频率；
步骤S34.对信号进行时频分析，获取各频段相应的频段能量谱密度E(n，ω)＝|X(n，ωk)|2；
步骤S35.根据频段能量谱密度，估算该频段的微分熵特征
步骤S36.对特征提取后的脑电序列进行LDS处理，获取更平滑的脑电DE特征。
5.根据权利要求1所述的一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，所述步骤S5中，构建用户脑电情绪-歌曲特征矩阵和根据情绪标签和听歌时长进行更新用户脑电情绪-歌曲特征矩阵的具体步骤为，
步骤S51.以用户脑电情绪-歌曲特征矩阵作为上下文特征矩阵，构建上下文特征矩阵ut＝[s1，s2，s3，......sf]，sf为用户对歌曲f的偏好度，初始状态为0；
步骤S52.为了使得选取的歌曲在一定时间后可以再次被选取，上下文特征矩阵
变为
其中，t_sf为这首歌的上一次被选取的回合数，B为间隔超参数，若歌曲f的间隔超过B，则下一次被选取的可能性将会变大；
步骤S53.在每次调节后，用户脑电情绪-歌曲特征矩阵更新函数update[Ut|Ut′，rt]＝Ut′+rt，其中，Ut′为调节前的矩阵，rt为此次调节后的反馈；通过所更新的用户脑电情绪-歌曲特征矩阵，来选取下一次调节需要的歌曲。
6.根据权利要求1所述的一种基于脑电信号的智能化情绪状态识别与调节方法，其特征在于，所述步骤S6中，根据用户脑电情绪-歌曲特征矩阵来选取音乐的具体过程为，
步骤S61.利用上下文多臂老虎机来学习用户对音乐的情绪状态，并选取用户所需歌曲，当获取到上下文特征信息ut后，将通过动作集At选择动作进行音乐选取；动作集At表示为At＝[at，1，at，2，...，at，f]；
步骤S62.采用线性函数通过之前所有回合所收到的收益来计算本回合的期望收益
步骤S63.利用ε-greedy算法作为选择动作的策略，在T个推荐回合中，智能体将以1-ε的概率选择最大期望的手臂a* t，以ε的概率随机选择一个手臂，最终根据用户的真实情绪反馈更新用户脑电情绪-歌曲特征矩阵；通过ε对探索力度进行调节，当推荐回合t＞k时，ε为一个定值l来保持探索；ε的表示为
步骤S64.在每个回合内，最优的动作策略为
利益rt由脑电情绪e_tag和用户听歌时长s_time共同决定；当脑电情绪为高兴和平静时，e_tag＝1，当脑电情绪为悲伤时，e_tag＝-1；其中脑电情绪对情绪调节的影响将随着回合t增大而增大，rt为
步骤S65.将选取期望利益最大的音乐返回给用户，再次获取用户对音乐的情绪反馈，以此循环，直至脑电情绪稳定平静。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111339456.7A CN114384998A (zh) | 2021-11-12 | 2021-11-12 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111339456.7A CN114384998A (zh) | 2021-11-12 | 2021-11-12 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114384998A true CN114384998A (zh) | 2022-04-22 |
Family
ID=81195797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111339456.7A Pending CN114384998A (zh) | 2021-11-12 | 2021-11-12 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114384998A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422983A (zh) * | 2022-11-04 | 2022-12-02 | 智慧眼科技股份有限公司 | 基于脑电波信号的情绪分类方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104548309A (zh) * | 2015-01-05 | 2015-04-29 | 浙江工业大学 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
| US20150297109A1 (en) * | 2014-04-22 | 2015-10-22 | Interaxon Inc. | System and method for associating music with brain-state data |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
| CN112754502A (zh) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | 一种基于脑电信号的音乐自动切换方法 |
-
2021
- 2021-11-12 CN CN202111339456.7A patent/CN114384998A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150297109A1 (en) * | 2014-04-22 | 2015-10-22 | Interaxon Inc. | System and method for associating music with brain-state data |
| CN104548309A (zh) * | 2015-01-05 | 2015-04-29 | 浙江工业大学 | 利用不同情感特征音乐调整驾驶员情绪状态的装置及方法 |
| CN112754502A (zh) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | 一种基于脑电信号的音乐自动切换方法 |
| CN112734946A (zh) * | 2021-03-31 | 2021-04-30 | 南京航空航天大学 | 一种声乐表演教学方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| XU, HY 等: "Megrez: MOOC-Oriented EEG-Based Arousal of Brain Detection and Adjustment Scheme", IEEE, 2 August 2019 (2019-08-02) * |
| YAN, RUI等: "Dance to Music Expressively: A Brain-Inspired System Based on Audio-Semantic Model for Cognitive Development of Robots", SPRINGERLINK, 1 January 2019 (2019-01-01) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115422983A (zh) * | 2022-11-04 | 2022-12-02 | 智慧眼科技股份有限公司 | 基于脑电波信号的情绪分类方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Farsi et al. | Classification of alcoholic EEG signals using a deep learning method | |
| CN108304917A (zh) | 一种基于lstm网络的p300信号检测方法 | |
| CN108388348A (zh) | 一种基于深度学习和注意力机制的肌电信号手势识别方法 | |
| CN109583346A (zh) | 基于lstm-fc的脑电信号特征提取与分类识别方法 | |
| CN107256393A (zh) | 基于深度学习的一维生理信号的特征提取与状态识别 | |
| CN106886792A (zh) | 一种基于分层机制构建多分类器融合模型的脑电情感识别方法 | |
| CN108899049A (zh) | 一种基于卷积神经网络的语音情感识别方法及系统 | |
| CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| CN109645989A (zh) | 一种麻醉深度估计方法及系统 | |
| Mansouri-Benssassi et al. | Speech emotion recognition with early visual cross-modal enhancement using spiking neural networks | |
| CN110575141A (zh) | 一种基于生成对抗网络的癫痫检测方法 | |
| CN107918487A (zh) | 一种基于皮肤电信号识别中文情感词的方法 | |
| CN109948427A (zh) | 一种基于长短时记忆模型的意念识别方法 | |
| Huang et al. | An intelligent EEG classification methodology based on sparse representation enhanced deep learning networks | |
| CN112908341A (zh) | 基于多任务自注意力机制的语言学习者声纹识别方法 | |
| CN114384998A (zh) | 一种基于脑电信号的智能化情绪状态识别与调节方法 | |
| Hagiwara | Aves: Animal vocalization encoder based on self-supervision | |
| Anjos et al. | Detection of voicing and place of articulation of fricatives with deep learning in a virtual speech and language therapy tutor | |
| Wang et al. | A shallow convolutional neural network for classifying MI-EEG | |
| CN116763324A (zh) | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 | |
| CN112735478A (zh) | 一种基于加性角惩罚焦点损失的语音情感识别方法 | |
| CN112329819A (zh) | 基于多网络融合的水下目标识别方法 | |
| CN115251909B (zh) | 基于时空卷积神经网络的脑电信号评估听力的方法及装置 | |
| CN116628420A (zh) | 一种基于lstm神经网络元学习的脑电波信号处理方法 | |
| Li et al. | Audio recognition of Chinese traditional instruments based on machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |