CN112799505A - 一种基于脑电信号的音乐音调想象区分方法 - Google Patents

一种基于脑电信号的音乐音调想象区分方法 Download PDF

Info

Publication number
CN112799505A
CN112799505A CN202011519400.5A CN202011519400A CN112799505A CN 112799505 A CN112799505 A CN 112799505A CN 202011519400 A CN202011519400 A CN 202011519400A CN 112799505 A CN112799505 A CN 112799505A
Authority
CN
China
Prior art keywords
layer
imagination
classifier
tone
electroencephalogram signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011519400.5A
Other languages
English (en)
Other versions
CN112799505B (zh
Inventor
张建海
黄卫涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011519400.5A priority Critical patent/CN112799505B/zh
Publication of CN112799505A publication Critical patent/CN112799505A/zh
Application granted granted Critical
Publication of CN112799505B publication Critical patent/CN112799505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于脑电信号的音乐音调想象区分方法。受试者依次进行听觉刺激部分、短暂空白部分、想象音调部分、休息部分和基线校正部分五阶段的视听刺激，并获取对应阶段的脑电信号；将上述脑电信号预处理，然后将对应音调编号作为标签，构建训练样本。深度可分离卷积网络包括第一卷积层、第二卷积层、第三卷积层、Flatten层、标签分类器、域分类器；其中第一卷积层、第二卷积层、第三卷积层依次串联，Flatten层的输入为第三卷积层的输出，标签分类器、域分类器的输入均为Flatten层的输出。

Description

一种基于脑电信号的音乐音调想象区分方法
技术领域
本发明属于脑电变化分析技术领域中基于脑电信号的音乐音调想象评估研究领域，具体涉及一种基于脑电信号的分析从而对想象的音乐音调进行判定的方法。
背景技术
人们总是能在某个时刻想起先前听到的一首歌或一段旋律，但是对于没有接受过音乐训练的人来说描述出想象到的音乐是一件非常困难的事情。随着脑电(EEG)技术及脑机接口 (BCI)技术的发展，使得通过对脑电信号的分析并从中提取出相应的信息从而来分析人类相关的生理活动成为可能。在之前的研究中，简单英语音节的想象二分类存在着可区分的情况。但是目前的研究仅限于语音音节的想象且没有很好的区分效果，并没有对音乐音调的想象有较好的研究。简谱中拥有八个基础音，分别为1、2、3、4、5、6、7、i，前七个音分别唱作do、re、mi、fa、sol、la、si，第八个音仍唱do，但是比第一个音高八度，而频率则为第一个音的二倍，两者频率的相差一个倍频程。由此可见，音高八度即是差一个倍频程，频率则相差一倍。而这八个音的频率关系则分别为2^(1/6)、2^(1/6)、2^(1/12)、2^(1/6)、2^(1/6)、 2^(1/6)、2^(1/12)。钢琴音中存在7个八度，其中最低音音频为27.5Hz，最高音频为4186Hz。
对想象声音这种自发生成的脑电信号的分析和处理是脑机接口技术的重要组成部分。脑电信号存在着成分复杂，信噪比低，不稳定等特点，所以对相应生理活动下的脑电信号的特征提取和分析是存在着一定难度但是却是非常有意义的。
对人脑的研究从未停止，人脑可看作是自然界中最复杂的天然系统之一，大脑中的信号传输通过大量的突触来完成，以此构成一个系统化的脑神经网络。在深度学习中，各层网络通过反向传播来修改各层的权值，这点类似于大脑中的突触的信息传输。因此，我们选择深度学习来对我们的脑电信号进行一个分类处理。
通过研究运动想象下的脑电信号可以实现无声编码指令，但是通过现阶段的运动想象的脑电信号来编写无声编码指令则存在着可编写指令少的缺点。音乐的音调种类繁多，若是能证明可以通过脑电信号将音乐音调的想象进行区分，则这将为脑电信号的无声编码指令做出巨大的贡献。因此，基于脑电信号的音乐音调想象的研究是有着巨大意义但也是非常困难的。
音乐音调的本质区别在于其频率的不同，而在先前的研究中已经证明对低频打击节奏的想象可以产生类间可分的脑电信号。但是针对全频段以及频率较接近的音调如何进行区分却未有人提出。
发明内容
本发明的目的是针对现有的针对全频段以及频率较接近的音调区分研究的不足，提出了一种基于脑电信号的新型音乐音调想象的区分方法。本发明可以在只需要被试较短的预训练数据的情况下训练出相对较好的深度可分离卷积网络来对被试的想象音乐音调进行较好的区分。
本发明具体实施方案系统流程图如图1，所采用的技术方案包括如下步骤：
步骤(1)、获取脑电信号；
受试者依次进行听觉刺激部分、短暂空白部分、想象音调部分、休息部分和基线校正部分五阶段的视听刺激，并获取对应阶段的脑电信号；
所述的听觉刺激部分要求在t1时间内受试者目光盯着注视点，并听取不同等级音域的钢琴音调；钢琴音域有7个八度，将其分为中低高三个等级，第一至第三个八度定义为低音调，第四至第五个八度定义为中音调，第六至第七个八度定义为高音调；
所述的空白部分要求在t2时间内受试者置于安静环境，并保持目光不动。
所述的想象音调部分要求在t3时间内受试者目光不动，并进行听觉刺激部分听取不同频率音调时的想象。
所述的休息部分要求在t4时间内受试者进行眨眼休息，并不宜有过大的肢体动作。
所述的基线校正部分要求在t5时间内受试者处于平静无任务状态，即不进行想象和听觉刺激。
t1-t5均为人为设定的时间参数。
步骤(2)、将上述脑电信号预处理，然后将对应音调编号作为标签，构建训练样本所述的脑电信号预处理包括降采样、基线校正、去除眼电伪迹、滤波；具体是：
2.1将脑电信号进行降采样到250Hz。
2.2基线校正：以刺激音调阶段前0.5秒作为基线校正的基线。
2.3利用独立成分分析方法在脑电信号去除水平眼电和垂直眼电等眼电伪迹。
2.4滤波：将脑电信号分为0.1-49Hz，0.1-3Hz(delta)，3-8Hz(theta)，8-13Hz(alpha)， 13-30(beta)来进行分析。
步骤(3)、深度可分离卷积网络包括第一卷积层、第二卷积层、第三卷积层、Flatten层、标签分类器、域分类器；其中第一卷积层、第二卷积层、第三卷积层依次串联，Flatten层的输入为第三卷积层的输出，标签分类器、域分类器的输入均为Flatten层的输出。
每块卷积层依次由深度可分离卷积层、BN(BatchNormalization)层和最大池化(MaxPooling)层组成；
Flatten层用于展平第三卷积层输出的多维数据，将数据展平成一维。
标签分类器依次由第一全连接(Dense)层、Dropout层、第二全连接(Dense)层、第三全连接(Dense)层组成；用于区分想象的脑电类型；
域分类器依次由第四全连接(Dense)层、第五全连接(Dense)层组成；用于迁移学习；
域分类器在训练模型反向传播中在梯度值前乘一个负数，使得其往得到差的分类结果的方向进行训练。
因为脑电信号的特殊性，网络层不能设计过深，所以残差网络等深层的网络并不适合脑电信号的分类任务，本实验选择了适合脑电信号的深度可分离卷积层。因为已有迁移学习相关研究表明，不同的被试的个体差异性在于域的偏移，其中目标特征分布类似，但是存在一定偏差，所以直接套用训练好的模型来检测一个新的被试并不能得到好的分类结果。本发明在全连接层中分出另一个全连接层用于迁移学习，使得在新的被试加入时可以更快更好的适应之前的模型。
卷积层部分是以深度可分离卷积、BN(BatchNormalization)层和最大池化(MaxPooling) 层组成的块状网络组成，本发明中的卷积层一共有3块卷积层部分。BN层的作用主要是加快训练速度和增大学习率。三个卷积层以串联的方式组合。在卷积层后跟着的是Flatten层用于展平多维的数据，将数据展平成一维，Flatten层用于连接卷积层和全连接层。在全连接层中用到了Dropout层和全连接(Dense)层，其中一个全连接层是为了区分想象的脑电类型，也叫做标签分类器，另一个是为了迁移学习，叫做域分类器。域分类器和标签分类器以并联的方式连接自Flatten层。标签分类器的目标是有更好的标签分类结果。域分类器的目的是为了区分不出被试的域信息，所以在反向传播中在梯度值前乘一个负数，使得其往得到差的分类结果的方向进行训练。最终两个分类器的训练要求是训练出能很好区分想象的类别但是不能区分出被试信息的分类器。在使用时，我们只关心标签分类器的结果，域分类器则是为了训练新的被试进行调参而存在，并不用于最后的预测标签。
本发明的有益效果是：
1)本发明提供了一种可行的基于脑电信号的音乐音调想象区分的范式，并通过深度可分离卷积和脑电信号的特点设计了一个合理的区分方法来对音乐音调想象进行区分，最终证明音乐音调想象是可以通过脑电信号进行区分的。
2)本发明尝试区分想象出的不同的音乐音调，发现音调间频率差异越大，音乐音调的差异越明显，想象音调的区分效果越好，若是想象的音调的频率差异越小则分类的效果则越差。
3)本发明采用了适合于区分音调想象自发生成的脑电信号的网络结构，并使其较之于普通卷积网络有着更好的迁移学习能力，从而减少了新被试的预训练时间并有了更好的分类效果。
附图说明
图1为本发明具体实施方案系统流程图；
图2为本发明视听刺激实验流程图；
图3为实验视觉辅助动画截图；
图4网络结构图。
具体实施方式
下面结合附图，对本发明一种基于脑电信号的音调想象区分方法，做详细描述。
图1为本发明具体实施方案系统流程图，其具体包括以下步骤：
步骤1、被试被要求在安静的环境下，根据提示完成接受刺激和想象音调的任务，本实例使用62通道的脑电采集系统进行数据采集，头皮的阻抗控制在5kΩ以内，数据采样率1000Hz，参考电极是REF。
图2展示了本发明视听刺激实验流程图。
整个刺激和想象音调任务过程主要有五个部分：听觉刺激部分、空白部分、想象音调部分、休息部分和基线校正部分。实验主要记录听觉刺激部分和音调想象部分这两个实验部分的脑电数据并进行有效分析。具体各个部分的要求如下：
听觉刺激部分要求被试目光盯着十字架处固定的小球，并在1.5秒的时间内注意力集中地听取音调的变化，并记住刚刚的声音以便于在想象部分能清楚的想象对应的音调。
空白部分是为了分隔听觉刺激部分和音调想象部分，要求被试继续注视注视点。
想象音调部分依旧要求被试目光锁定在十字架处固定的小球，并用余光留意十字架尾端，若小球出现则开始对上一部分刺激的声音想象，想象的速率要求和刺激时一致，视觉刺激中的两个小球重合则进入下一个休息部分。想象音调部分要求被试注意力集中。
休息部分在想象音调部分之后，想象音调随着实验的进行可能会出现无法集中注意力的情况，因此，若出现注意力不集中导致无法完成想象任务的情况，被试可以在休息部分在对应记录表中做出记号，在分析数据时即可剔除对应的无效数据。在休息部分被试可以适当眨眼休息但受限于采集设备仍不宜有过大的肢体动作。
最后的基线校正部分是为了在数据预处理阶段进行基线校正使用，在这个实验部分被试被要求处于平静无任务状态。
被试将在听觉刺激部分中对随机抽取的钢琴音调进行被动接受刺激任务，即对刺激的声音的音调和音色等客观信息进行一个被动接受和记忆功能。音调想象部分则主要是被试对本次类别的音调的音调信息进行一个主动想象任务，并用设备记录当前的脑电信号进行后续分析。
实验的音调刺激部分和音调想象部分都包含视觉刺激，而音调刺激部分额外会有随机音调刺激，这些试听模式由E-Prime编排呈现。实验的视觉刺激主要是作为注意力集中和明确想象范围的作用，其结构如图3所示，会有圆球固定在在十字架的中心，以此作为被试的注视点，随着实验部分的开始在十字架的右端远处会有小球出现并移动向中心固定的小球，直到两个小球重合代表着一个实验部分的结束，在音调刺激部分和音调想象部分都会出现这种动画视觉刺激。声音刺激则是只有在音调刺激部分出现，音调会从音源库中随机等概率抽取，音源库中包含各个音调的钢琴音。
整个实验的流程是通过音频进行指示，音频将为被试介绍实验的流程和总计时间并在每轮次的实验结束后都会有提示音提前告知轮次情况，整个实验流程如图2。每类实验都会从音源库中抽取3种钢琴音音调作为刺激对象和想象对象，每类实验总计15轮次，前14轮次都将包括3分钟的实验时间和1分钟的自由休息时间，每个轮次的实验时间由30次实验组成，每次实验包括了持续1.5秒的音调刺激部分、持续0.5秒的空白部分、持续1.5秒的想象音调部分、持续2秒的休息阶段和0.5秒的基线校正阶段组成。单次实验共计6秒，每个轮次共计4分钟。
除了实验时间中的休息阶段可以眨眼休息外，实验时间的其他时间都要求被试注视十字架中心的小球。最后一个轮次要求被试全程处于无任务状态并只接受视觉刺激，以此作为视觉刺激的基线在后续预处理中使用。自由休息时间持续1分钟，被试可以进行相应的休息，休息即将结束会出现提示音来要求被试做好下一轮实验的准备。
步骤2：将上述脑电信号预处理，然后将对应音调编号作为标签，构建训练样本
脑电信号预处理具体是初始脑电信号的信噪比低，且成分复杂，初始的脑电信号直接进行分析则会导致结果不可区分，不能直接用来进行研究，所以必须经过严格的预处理，由此才能去除脑电信号中的噪声和伪迹并对有用的信息进行筛选，以此来提升脑电信号的信噪比。除去剔除被试勾选的注意力不集中的部分数据这一操作，主要还包括四个步骤：
1)降采样：脑电信号初始的采样频率如果较高，则即使分析的时间较短，其脑电信号的数据量也将变的非常大，这将不利于后续的处理和分析。为了解决这个问题，通常在其他操作之前都会将脑电信号进行降采样的操作，本次实验中，脑电信号被降采样到250Hz。
2)基线校正：脑电信号采集过程中可能会产生信号的整体漂移，因此我们每次多取刺激音调阶段前0.5秒作为基线校正的基线，此0.5秒即是基线校正阶段。
3)独立成分分析方法(ICA)：独立成分分析方法在脑电信号去除水平眼电和垂直眼电中起着重要作用，通过此方法能快速有效的去除脑电信号中的眼电伪迹。
4)滤波：考虑到不同频段中包含的不同的信息，且为了去除50Hz的工频干扰现象，我们将脑电信号分为了0.1-49Hz，0.1-3Hz(delta)，3-8Hz(theta)， 8-13Hz(alpha)，13-30(beta)来进行分析。
步骤3：深度可分离卷积网络包括第一卷积层、第二卷积层、第三卷积层、Flatten层、标签分类器、域分类器；其中第一卷积层、第二卷积层、第三卷积层依次串联，第一卷积层的输入为预处理后脑电信号，Flatten层的输入为第三卷积层的输出，标签分类器、域分类器的输入均为Flatten层的输出。
每块卷积层依次由深度可分离卷积层、BN(BatchNormalization)层和最大池化(MaxPooling)层组成；深度可分离卷积层的卷积核大小为3*3，且步长设置为1的无补零模式；
Flatten层用于展平第三卷积层输出的多维数据，将数据展平成一维。
标签分类器依次由第一全连接(Dense)层、Dropout层、第二全连接(Dense)层、第三全连接(Dense)层组成；用于区分想象的脑电类型；
域分类器依次由第四全连接(Dense)层、第五全连接(Dense)层组成；用于迁移学习；
域分类器在训练模型反向传播中在梯度值前乘一个负数，使得其往得到差的分类结果的方向进行训练。
标签分类器激活函数为Softmax，以此来适应标签分类器多分类问题，而域分类器激活函数则是选择Leaky ReLU以便于在保证性能的同时提示训练速度。
标签分类器和域分类器在训练时满足以下公式：
Figure RE-GDA0003015188950000071
其中δf,δy,δd分别为特征参数，标签参数和域参数，
Figure RE-GDA0003015188950000072
和
Figure RE-GDA0003015188950000073
分别表示第i个样本的标签分类器和域分类器的损失值，θ为域分类器的权值。整个网络参数δf,δy,δd选择的目标是E的值足够大，即是标签分类器分类性能足够高，域分类器性能足够低。
本发明中尝试深度可分离卷积网络来进行分类任务，深度可分离卷积网络，深度可分离卷积的一大优势在于计算量相对于普通卷积要小很多，并且实现了区域和通道的分离，且优先考虑了区域的信息。在图像中一般都是三通道的图像，但是脑电信号的通道数正常情况下为一，所以相比于传统的卷积网络，深度可分离卷积更加适合于脑电信号。总体的设计还是以卷积层和全连接层组成，在卷积层部分是以深度可分离卷积、BN(BatchNormalization)层和最大池化(MaxPooling)层组成的块状网络组成，本发明中的卷积层一共有3块卷积层部分。BN层的作用主要是加快训练速度和增大学习率。在全连接层中用到了Dropout层和全连接(Dense)层。Dropout层的作用是防止过拟合，它被加在全连接层，不放在卷积层中是因为卷积层相对全连接层参数较少不易过拟合。具体的网络模型如图4。
步骤4：将通过步骤2预处理完后的数据放入步骤3中设计的网络模型进行训练，并调整学习率、卷积核大小和数量、batchsize等超参。不断调整和测试验证其分类性能，最终将初始的模型进行保存。
步骤5：一位新的被试只需消耗几分钟时间进行预训练，预训练的脑电信号在通过上述设计并训练好的网络模型并经过多轮迭代后可将之前训练好的模型调整为适应新被试的网络模型。后续想象音调的脑电信号通过调参后的网络模型即可评估出对应被试想象的音调类别。
网络预测出的结果将会以文字的形式输出于屏幕上提示给被试，被试可借此将想象的音乐音调进行表述。
上面脑电音调想象区分方法说明书和附图详细介绍了本发明的具体实施方式，但应注意的是，以上只是本发明的最优实施方案，但本发明不限于上述实施方案，凡在本发明精神和原则之内，所作的任何修改、等同置换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于脑电信号的音乐音调想象区分方法，其特征在于该方法具体是：
步骤(1)、获取脑电信号；
受试者依次进行听觉刺激部分、短暂空白部分、想象音调部分、休息部分和基线校正部分五阶段的视听刺激，并获取对应阶段的脑电信号；
所述的听觉刺激部分要求在t1时间内受试者目光盯着注视点，并听取不同等级音域的钢琴音调；
所述的空白部分要求在t2时间内受试者置于安静环境，并保持目光不动；
所述的想象音调部分要求在t3时间内受试者目光不动，并进行听觉刺激部分听取不同频率音调时的想象；
所述的休息部分要求在t4时间内受试者进行眨眼休息；
所述的基线校正部分要求在t5时间内受试者处于平静无任务状态，即不进行想象和听觉刺激；
步骤(2)、将上述脑电信号预处理，然后将对应音调编号作为标签，构建训练样本；
步骤(3)、深度可分离卷积网络包括第一卷积层、第二卷积层、第三卷积层、Flatten层、标签分类器、域分类器；其中第一卷积层、第二卷积层、第三卷积层依次串联，Flatten层的输入为第三卷积层的输出，标签分类器、域分类器的输入均为Flatten层的输出；
每块卷积层依次由深度可分离卷积层、BN(BatchNormalization)层和最大池化(MaxPooling)层组成，深度可分离卷积层的卷积核大小为3*3，且步长设置为1的无补零模式；
Flatten层用于展平第三卷积层输出的多维数据，将数据展平成一维；
标签分类器依次由第一全连接(Dense)层、Dropout层、第二全连接(Dense)层、第三全连接(Dense)层组成；用于区分想象的脑电类型；
域分类器依次由第四全连接(Dense)层、第五全连接(Dense)层组成；用于迁移学习。
2.如权利要求1所述的一种基于脑电信号的音乐音调想象区分方法，其特征在于：钢琴音域有7个八度，将其分为中低高三个等级，第一至第三个八度定义为低音调，第四至第五个八度定义为中音调，第六至第七个八度定义为高音调。
3.如权利要求1所述的一种基于脑电信号的音乐音调想象区分方法，其特征在于：所述的脑电信号预处理包括降采样、基线校正、去除眼电伪迹、滤波。
4.如权利要求1所述的一种基于脑电信号的音乐音调想象区分方法，其特征在于：域分类器在训练模型反向传播中在梯度值前乘一个负数，使得其往得到差的分类结果的方向进行训练。
5.如权利要求4所述的一种基于脑电信号的音乐音调想象区分方法，其特征在于：标签分类器的激活函数为Softmax，域分类器的激活函数则是选择Leaky ReLU。
6.如权利要求5所述的一种基于脑电信号的音乐音调想象区分方法，其特征在于：标签分类器和域分类器在训练时满足以下公式：
Figure FDA0002849010980000021
其中δf，δy，δd分别为特征参数，标签参数和域参数，
Figure FDA0002849010980000022
和
Figure FDA0002849010980000023
分别表示第i个样本的标签分类器和域分类器的损失值，θ为域分类器的权值。
CN202011519400.5A 2020-12-21 2020-12-21 一种基于脑电信号的音乐音调想象区分方法 Active CN112799505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519400.5A CN112799505B (zh) 2020-12-21 2020-12-21 一种基于脑电信号的音乐音调想象区分方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519400.5A CN112799505B (zh) 2020-12-21 2020-12-21 一种基于脑电信号的音乐音调想象区分方法

Publications (2)

Publication Number Publication Date
CN112799505A true CN112799505A (zh) 2021-05-14
CN112799505B CN112799505B (zh) 2022-08-26

Family

ID=75807094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519400.5A Active CN112799505B (zh) 2020-12-21 2020-12-21 一种基于脑电信号的音乐音调想象区分方法

Country Status (1)

Country Link
CN (1) CN112799505B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
US20150235134A1 (en) * 2012-09-17 2015-08-20 Agency For Science, Technology And Research System and method for developing a model indicative of a subject's emotional state when listening to musical pieces
CN108628450A (zh) * 2018-04-25 2018-10-09 北京科技大学 一种脑电波编曲方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法
CN109743656A (zh) * 2019-03-15 2019-05-10 南京邮电大学 基于脑电意念的智能运动耳机及其实现方法与系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102200833A (zh) * 2011-05-13 2011-09-28 天津大学 一种Speller BCI系统及其控制方法
US20150235134A1 (en) * 2012-09-17 2015-08-20 Agency For Science, Technology And Research System and method for developing a model indicative of a subject's emotional state when listening to musical pieces
CN108628450A (zh) * 2018-04-25 2018-10-09 北京科技大学 一种脑电波编曲方法
CN109711383A (zh) * 2019-01-07 2019-05-03 重庆邮电大学 基于时频域的卷积神经网络运动想象脑电信号识别方法
CN109743656A (zh) * 2019-03-15 2019-05-10 南京邮电大学 基于脑电意念的智能运动耳机及其实现方法与系统

Also Published As

Publication number Publication date
CN112799505B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
Burgess et al. Memory for serial order: A network model of the phonological loop and its timing.
Strain et al. Theories of word naming interact with spelling--sound consistency.
Agus et al. Fast recognition of musical sounds based on timbre
CN110826527A (zh) 一种基于攻击性行为预测的脑电负性情绪识别方法及系统
Kamińska et al. Recognition of human emotion from a speech signal based on Plutchik's model
CN109727608A (zh) 一种基于中文语音的病态嗓音评估方法
CN110085263A (zh) 一种音乐情感分类和机器作曲方法
Khalighinejad et al. Functional characterization of human Heschl's gyrus in response to natural speech
Regev et al. Mapping specific mental content during musical imagery
Dash et al. Towards a Speaker Independent Speech-BCI Using Speaker Adaptation.
CN110575141A (zh) 一种基于生成对抗网络的癫痫检测方法
CN109272986A (zh) 一种基于人工神经网络的狗声音情感分类方法
Zhu et al. Contribution of modulation spectral features on the perception of vocal-emotion using noise-vocoded speech
Anjos et al. Detection of voicing and place of articulation of fricatives with deep learning in a virtual speech and language therapy tutor
Varshney et al. Imagined speech classification using six phonetically distributed words
Angrick et al. Online speech synthesis using a chronically implanted brain–computer interface in an individual with ALS
CN112799505B (zh) 一种基于脑电信号的音乐音调想象区分方法
CN116364096A (zh) 一种基于生成对抗网络的脑电信号语音解码方法
CN113178195B (zh) 一种基于声音诱发脑电信号的说话人识别方法
CN115376560A (zh) 轻度认知障碍早期筛查的语音特征编码模型及其训练方法
Huynh A Survey of Machine Learning algorithms in EEG
Llanos et al. The emergence of idiosyncratic patterns in the frequency-following response during the first year of life
Mijić et al. Classification of cognitive load using voice features: A preliminary investigation
Sakthi et al. Keyword-spotting and speech onset detection in EEG-based Brain Computer Interfaces
FR3119990A1 (fr) Dispositif et procédé de modification d’un état émotionnel d’un utilisateur

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant