CN110515456A - 基于注意力机制的脑电信号情感判别方法及装置 - Google Patents

基于注意力机制的脑电信号情感判别方法及装置 Download PDF

Info

Publication number
CN110515456A
CN110515456A CN201910747644.XA CN201910747644A CN110515456A CN 110515456 A CN110515456 A CN 110515456A CN 201910747644 A CN201910747644 A CN 201910747644A CN 110515456 A CN110515456 A CN 110515456A
Authority
CN
China
Prior art keywords
eeg signals
attention
indicate
global characteristics
column vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910747644.XA
Other languages
English (en)
Other versions
CN110515456B (zh
Inventor
郑文明
刘素媛
宋腾飞
宗源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201910747644.XA priority Critical patent/CN110515456B/zh
Publication of CN110515456A publication Critical patent/CN110515456A/zh
Application granted granted Critical
Publication of CN110515456B publication Critical patent/CN110515456B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于注意力机制的脑电信号情感判别方法及装置，该方法包括：(1)获取通过脑电采集设备的多个信号电极采集的脑电信号；(2)提取每个频段信号上的过零计数特征作为脑电特征；(3)构建全局特征提取模型，所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元；(4)构建带有全连接层的长短时记忆网络LSTM，采用全局特征作为网络输入进行训练，(5)按照步骤(1)‑(3)提取待识别脑电信号的全局特征，并输入训练好的带有全连接层的长短时记忆网络，输出即为识别的情感类别。本发明识别结果更精确。

Description

基于注意力机制的脑电信号情感判别方法及装置
技术领域
本发明涉及情感判别方法，尤其涉及一种基于注意力机制的脑电信号情感判别方法及装置。
背景技术
随着人机交互以及计算机技术的发展，识别人类情感因其潜在的应用发展而得到广泛关注。当前在识别人类情感中应用比较多的是面部表情、语音和行为动作等外部的信号，近年来生理信号因其对情感表达的真实性以及无法伪装性而得到关注。随着干电极技术的发展，脑电信号的采集越来越容易，脑电信号也因此应用广泛。
研究表明人类情感与一些脑区是紧密联系的，也就是说在情感分类任务中，不是所有的电极都对情感分类有帮助。当前虽然有研究如何做电极选择，但是因为脑区之间复杂的联系，而没有考虑电极之间的相关性，无法达到理想的情感判别效果。
发明内容
发明目的：本发明针对现有技术存在的问题，提供一种基于注意力机制的脑电信号情感判别方法及装置，判别结果更精确。
技术方案：本发明所述的基于注意力机制的脑电信号情感判别方法包括：
(1)获取用户处于不同情感时的原始脑电信号，所述原始脑电信号通过脑电采集设备的多个信号采集电极分布于用户的脑部不同位置进行采集得到；
(2)将原始脑电信号去噪后通过带通滤波获取多个频段信号，并提取每个频段信号上的过零计数(higher order crossings，HOC)特征作为脑电特征；
(3)构建全局特征提取模型，所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元，所述特征提取分支用于采用两层图卷积对所述脑电特征进行图滤波，得到初级特征，所述注意力向量生成分支用于采用一层图卷积对所述脑电特征处理后再转换为一维注意力列向量，所述全局特征生成单元用于将所述注意力列向量扩充为以向量中元素为对角元素的对角矩阵，并与初级特征点乘得到全局特征；其中，所述图卷积根据脑电采集设备的信号采集电极的邻接关联图生成；
(4)构建带有全连接层的长短时记忆网络LSTM，采用全局特征作为网络输入进行训练，训练时采用的损失函数为：全局特征对应的实际情感类别和网络输出的情感类别的交叉熵，加上注意力向量正则项的函数；
(5)按照步骤(1)-(3)提取待识别脑电信号的全局特征，并输入到训练好的带有全连接层的长短时记忆网络，输出为每个情感类别对应的概率值，选取概率最大的情感类别作为预测的情感类型。
进一步的，步骤(3)中所述图卷积具体构建方法为：
根据脑电采集设备的信号采集电极的邻接关系生成邻接关联图G＝{V,A}，其中，V表示脑电采集设备的信号采集电极的集合，A表示信号采集电极的邻接矩阵，其元素aij表示信号采集电极i与信号采集电极j的联系紧密程度，取值区间为[0,n]，值越大表示联系程度越紧密，值为0表示无联系，n为大于等于1的整数；
计算矩阵A的拉普拉斯矩阵L：L＝D-A，其中D是以dii＝∑aij为对角元素的对角矩阵；
构建图卷积，具体为：采用以L为参数的滤波器g(L)，对输入信号x提取频域特征，之后再采用Relu激活函数进行输出，得到图卷积输出结果y＝Relu(g(L)x)。所述采用以L为参数的滤波器函数g(L)，对输入信号x提取频域特征时，使用切比雪夫多项式对g(L)做近似计算，具体为：g(L)＝∑ΘkTk(L)，式中Tk(L)＝2LTk-1(L)-Tk-2(L)，T0(L)＝I,T1(L)＝L，I表示单位矩阵，Θk表示切比雪夫多项式系数，为可训练参数。
进一步的，所述注意力向量生成分支在采用一层图卷积将所述脑电特征转换为一维注意力列向量后，还将一维注意力列向量中的元素采用softmax进行归一化，归一化后注意力列向量中的元素为
式中，表示归一化后注意力列向量中第i个元素，τi,τj表示归一化前注意力列向量中第i和第j个元素，N为注意力列向量元素总个数
进一步的，所述带有全连接层的长短时记忆网络包括输入门it、遗忘门gt、细胞状态ct、输出门ot和一层全连接层，并分别按照以下公式迭代：
it＝σ(Wxifat+Whiht-1+Wcict-1+bi)
gt＝σ(Wxgfat+Whght-1+Wcgct-1+bg)
ct＝gtct-1+ittanh(Wxcfat+Whcht-1+bc)
ot＝σ(Wxofat+Whoht-1+Wcoct-1+bo)
ht＝ottanh(ct)
式中，Wxi、Whi、Wci、Wxg、Whg、Wcg、Wxo、Who、Wco分别表示对应项的权重系数，bi、bg、bo分别为对应的偏差项，均通过训练得到，下标t表示t时刻的对应值，fat表示输入的全局特征fGA的第t行元素组成的向量，即ct表示第t个时刻的细胞状态，ht、ht-1分别表示t时刻、t-1时刻的长短时记忆网络隐藏层输出值，m表示输入的全局特征fGA的行数，即对应m个时刻；
所述全连接层将m个时刻得到的隐藏层输出值h1,...,hm串接起来，拼成向量H＝{ht|t＝1,...,m}作为输入，用全连接层将输入信息做融合，并做维度转换，将维度降到与情感类别数一致，之后采用softmax函数对全连接层的输出做概率归一化，得到每个情感类别对应的概率，选择概率最高的元素对应的情感类别作为识别结果进行输出。
进一步的，所述带有全连接层的长短时记忆网络训练时的损失函数为：
Loss＝CrossEntropy+λ||Θ||2+μ||T||1
式中，CrossEntropy表示预测值与真实值的交叉熵函数，λ、μ均表示正则项系数，Θ表示模型所有待训练参数，T表示注意力列向量。
本发明所述的基于注意力机制的脑电信号情感判别装置包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述方法。
有益效果：本发明利用图卷积充分对电极之间的关系进行建模，利用网络自主学习脑区之间复杂的关系，同时利用图卷积自主选择有效电极通道。本发明与其他的方法相比，能充分利用电极信息，从而提高系统判别准确率。
附图说明
图1是本发明的一个实施例的流程示意图。
具体实施方式
本实施例提供了一种基于注意力机制的脑电信号情感判别方法，如图1所示，包括：
(1)获取用户处于不同情感时的原始脑电信号，所述原始脑电信号通过脑电采集设备的多个信号采集电极分布于用户的脑部不同位置进行采集得到。
其中，采集过程中，用户集中在某一情感上，采用信号采集电极采集此时脑电信号，并通过蓝牙或者USB设备传送。
(2)将原始脑电信号去噪后通过带通滤波获取多个频段信号，并提取每个频段信号上的过零计数(higher order crossings，HOC)特征作为脑电特征。
本实施例对获取的原始脑电信号，进行简单的滤波，去除眼电、肌电等噪声。使用带通滤波器进行频段提取，本实施例分别获得5个频段信号：delta(δ，1-3Hz)、theta(θ，4-7Hz)、alpha(α，8-13Hz)、beta(β，14-30Hz)、gamma(γ，>30Hz)。对每个频段信号，分别提取过零计数(higher order crossings，HOC)特征，作为脑电特征。
(3)构建全局特征提取模型，所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元，所述特征提取分支用于采用两层图卷积对所述脑电特征进行图滤波，得到初级特征，所述注意力向量生成分支用于采用一层图卷积对所述脑电特征处理后再转换为一维注意力列向量，所述全局特征生成单元用于将所述注意力列向量扩充为以向量中元素为对角元素的对角矩阵，并与初级特征点乘得到全局特征；其中，所述图卷积根据脑电采集设备的信号采集电极的邻接关联图生成。
其中，所述图卷积具体构建方法为：
I、根据脑电采集设备的信号采集电极的邻接关系生成邻接关联图G＝{V,A}，其中，V表示脑电采集设备的信号采集电极的集合，A表示信号采集电极的邻接矩阵，其元素aij表示信号采集电极i与信号采集电极j的联系紧密程度，取值区间为[0,n]，值越大表示联系程度越紧密，值为0表示无联系，n为大于等于1的整数；A大小为N*N，N是电极个数；联系程度紧密是指在某种特定情感状况下，特定部分的电极起作用，说明这些电极之间具有某种关系，联系比较紧密。
II、计算矩阵A的拉普拉斯矩阵L：L＝D-A，其中D是以dii＝∑aij为对角元素的对角矩阵；
III、构建图卷积，具体为：采用以L为参数的滤波器g(L)，对输入信号x提取频域特征，之后再采用Relu激活函数进行输出，得到图卷积输出结果y＝Relu(g(L)x)。采用以L为参数的滤波器函数g(L)，对输入信号x提取频域特征时，使用切比雪夫多项式对g(L)做近似计算，具体为：g(L)＝∑ΘkTk(L)，式中Tk(L)＝2LTk-1(L)-Tk-2(L)，T0(L)＝I,T1(L)＝L，I表示单位矩阵，Θk表示切比雪夫多项式系数，为可训练参数。
具体的，特征提取分支是采用两层图卷积进行图滤波，即第一层图卷积输入为脑电特征，第二层图卷积的输入为第一层图卷积的输出，通过两层图卷积实现图滤波和特征提取，得到初级特征fGCN。注意力向量生成分支采用一层图卷积对所述脑电特征进行处理，再将卷积结果转换为N*1的一维注意力列向量，之后还将一维注意力列向量中的元素采用softmax进行归一化，归一化后注意力列向量T中的元素为：
式中，表示归一化后注意力列向量中第i个元素，作为电极i对分类任务的贡献，τi,τj表示归一化前注意力列向量中第i和第j个元素，N为注意力列向量元素总个数。全局特征生成单元用于将所述注意力列向量扩充为以向量中元素为对角元素的对角矩阵，并与初级特征点乘得到全局特征fGA，即fGA＝diag(T)·fGCN。
(4)构建带有全连接层的长短时记忆网络LSTM，采用全局特征作为网络输入进行训练，训练时采用的损失函数为：全局特征对应的实际情感类别和网络输出的情感类别的交叉熵，加上注意力向量正则项的函数。
其中，所述带有全连接层的长短时记忆网络包括输入门it、遗忘门gt、细胞状态ct、输出门ot和一层全连接层，并分别按照以下公式迭代：
it＝σ(Wxifat+Whiht-1+Wcict-1+bi)
gt＝σ(Wxgfat+Whght-1+Wcgct-1+bg)
ct＝gtct-1+ittanh(Wxcfat+Whcht-1+bc)
ot＝σ(Wxofat+Whoht-1+Wcoct-1+bo)
ht＝ottanh(ct)
式中，Wxi、Whi、Wci、Wxg、Whg、Wcg、Wxo、Who、Wco分别表示对应项的权重系数，bi、bg、bo分别为对应的偏差项；均为模型可训练参数。下标t表示t时刻的对应值，fat表示输入的全局特征fGA的第t行元素组成的向量，即ct表示第t个时刻的细胞状态，ht、ht-1分别表示t时刻、t-1时刻的长短时记忆网络输出值，m表示输入的全局特征fGA的行数，即对应m个时刻；
将m个时刻得到的隐藏层输出值h1,...,hm串接起来，拼成向量H＝{ht|t＝1,...,m}，作为全连接层的输入，用全连接层将输入信息做融合，并做维度转换，将维度降到与情感类别数一致，之后采用softmax函数对全连接层的输出做概率归一化，得到每个情感类别对应的概率，选择概率最高的元素对应的情感类别作为识别结果进行输出。
在损失函数的设计中，使用基于真实标注的脑电信号与网络预测结果的交叉熵作为损失函数。同时为增强模型鲁棒性，加入对各训练参数的L2正则约束。为使得注意力特征向量稀疏化，对注意力向量引入L1正则项，因此所述混合损失函数为：
Loss＝CrossEntropy+λ||Θ||2+μ||T||1
式中，CrossEntropy表示预测值与真实值的交叉熵函数，λ、μ均表示正则项系数，Θ表示模型所有待训练参数，T表示注意力列向量。
(5)按照步骤(1)-(3)提取待识别脑电信号的全局特征，并输入训练好的带有全连接层的长短时记忆网络，输出为每个情感类别对应的概率值，选取概率最大的情感类别作为预测的情感类型。
本实施例还提供了一种基于注意力机制的脑电信号情感判别装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现上述方法。
以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种基于注意力机制的脑电信号情感判别方法，其特征在于该方法包括：
(1)获取用户处于不同情感时的原始脑电信号，所述原始脑电信号通过脑电采集设备的多个信号采集电极分布于用户的脑部不同位置进行采集得到；
(2)将原始脑电信号去噪后通过带通滤波获取多个频段信号，并提取每个频段信号上的过零计数特征作为脑电特征；
(3)构建全局特征提取模型，所述模型包括特征提取分支和注意力向量生成分支和全局特征生成单元，所述特征提取分支用于采用两层图卷积对所述脑电特征进行图滤波，得到初级特征，所述注意力向量生成分支用于采用一层图卷积对所述脑电特征处理后再转换为一维注意力列向量，所述全局特征生成单元用于将所述注意力列向量扩充为以向量中元素为对角元素的对角矩阵，并与初级特征点乘得到全局特征；其中，所述图卷积根据脑电采集设备的信号采集电极的邻接关联图生成；
(4)构建带有全连接层的长短时记忆网络LSTM，采用全局特征作为网络输入进行训练，训练时采用的损失函数为：全局特征对应的实际情感类别和网络输出的情感类别的交叉熵，加上注意力向量正则项的函数；
(5)按照步骤(1)-(3)提取待识别脑电信号的全局特征，并输入到训练好的带有全连接层的长短时记忆网络，输出为每个情感类别对应的概率值，选取概率最大的情感类别作为预测的情感类型。
2.根据权利要求1所述的基于注意力机制的脑电信号情感判别方法，其特征在于：步骤(3)中所述图卷积具体构建方法为：
根据脑电采集设备的信号采集电极的邻接关系生成邻接关联图G＝{V,A}，其中，V表示脑电采集设备的信号采集电极的集合，A表示信号采集电极的邻接矩阵，其元素aij表示信号采集电极i与信号采集电极j的联系紧密程度，取值区间为[0,n]，值越大表示联系程度越紧密，值为0表示无联系，n为大于等于1的整数；
计算矩阵A的拉普拉斯矩阵L：L＝D-A，其中D是以dii＝∑aij为对角元素的对角矩阵；
构建图卷积，具体为：采用以L为参数的滤波器g(L)，对输入信号x提取频域特征，之后再采用Relu激活函数进行输出，得到图卷积输出结果y＝Relu(g(L)x)。
3.根据权利要求2所述的基于注意力机制的脑电信号情感判别方法，其特征在于：所述采用以L为参数的滤波器函数g(L)，对输入信号x提取频域特征时，使用切比雪夫多项式对g(L)做近似计算，具体为：g(L)＝∑ΘkTk(L)，式中Tk(L)＝2LTk-1(L)-Tk-2(L)，T0(L)＝I,T1(L)＝L，I表示单位矩阵，Θk表示切比雪夫多项式系数，为可训练参数。
4.根据权利要求1所述的基于注意力机制的脑电信号情感判别方法，其特征在于：所述注意力向量生成分支在采用一层图卷积将所述脑电特征转换为一维注意力列向量后，还将一维注意力列向量中的元素采用softmax进行归一化，归一化后注意力列向量中的元素为
式中，表示归一化后注意力列向量中第i个元素，τi,τj表示归一化前注意力列向量中第i和第j个元素，N为注意力列向量元素总个数。
5.根据权利要求1所述的基于注意力机制的脑电信号情感判别方法，其特征在于：所述带有全连接层的长短时记忆网络包括输入门it、遗忘门gt、细胞状态ct、输出门ot和一层全连接层，并分别按照以下公式迭代：
it＝σ(Wxifat+Whiht-1+Wcict-1+bi)
gt＝σ(Wxgfat+Whght-1+Wcgct-1+bg)
ct＝gtct-1+ittanh(Wxcfat+Whcht-1+bc)
ot＝σ(Wxofat+Whoht-1+Wcoct-1+bo)
ht＝ottanh(ct)
式中，Wxi、Whi、Wci、Wxg、Whg、Wcg、Wxo、Who、Wco分别表示对应项的权重系数，bi、bg、bo分别为对应的偏差项，均通过训练得到，下标t表示t时刻的对应值，fat表示输入的全局特征fGA的第t行元素组成的向量，即ct表示第t个时刻的细胞状态，ht、ht-1分别表示t时刻、t-1时刻的长短时记忆网络隐藏层输出值，m表示输入的全局特征fGA的行数，即对应m个时刻；
所述全连接层将m个时刻得到的隐藏层输出值h1,...,hm串接起来，拼成向量H＝{ht|t＝1,...,m}作为输入，用全连接层将输入信息做融合，并做维度转换，将维度降到与情感类别数一致,之后采用softmax函数对全连接层的输出做概率归一化，得到每个情感类别对应的概率，选择概率最高的元素对应的情感类别作为识别结果进行输出。
6.根据权利要求1所述的基于注意力机制的脑电信号情感判别方法，其特征在于：所述带有全连接层的长短时记忆网络训练时的损失函数为：
Loss＝CrossEntropy+λ||Θ||2+μ||T||1
式中，CrossEntropy表示预测值与真实值的交叉熵函数，λ、μ均表示正则项系数，Θ表示模型所有待训练参数，T表示注意力列向量。
7.一种基于注意力机制的脑电信号情感判别装置，其特征在于：包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序时实现权利要求1-6中任意一项所述的方法。
CN201910747644.XA 2019-08-14 2019-08-14 基于注意力机制的脑电信号情感判别方法及装置 Active CN110515456B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910747644.XA CN110515456B (zh) 2019-08-14 2019-08-14 基于注意力机制的脑电信号情感判别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910747644.XA CN110515456B (zh) 2019-08-14 2019-08-14 基于注意力机制的脑电信号情感判别方法及装置

Publications (2)

Publication Number Publication Date
CN110515456A true CN110515456A (zh) 2019-11-29
CN110515456B CN110515456B (zh) 2022-09-23

Family

ID=68624939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910747644.XA Active CN110515456B (zh) 2019-08-14 2019-08-14 基于注意力机制的脑电信号情感判别方法及装置

Country Status (1)

Country Link
CN (1) CN110515456B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126263A (zh) * 2019-12-24 2020-05-08 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111152796A (zh) * 2020-04-07 2020-05-15 北京三快在线科技有限公司 一种车辆运动状态预测方法及装置
CN111317468A (zh) * 2020-02-27 2020-06-23 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111553295A (zh) * 2020-05-01 2020-08-18 北京邮电大学 基于自注意力机制的多模态情感识别方法
CN112132266A (zh) * 2020-09-23 2020-12-25 中国人民解放军陆军工程大学 基于卷积循环网络的信号调制识别系统及调制识别方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN112957014A (zh) * 2021-02-07 2021-06-15 广州大学 一种基于脑电波与神经网络的疼痛检测定位方法及系统
CN113095428A (zh) * 2021-04-23 2021-07-09 西安交通大学 一种融合脑电和刺激源信息的视频情感分类方法及系统
CN113180692A (zh) * 2021-02-11 2021-07-30 北京工业大学 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN113180659A (zh) * 2021-01-11 2021-07-30 华东理工大学 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN113288172A (zh) * 2021-05-24 2021-08-24 山东师范大学 癫痫脑电信号识别方法及系统
CN113485102A (zh) * 2021-06-22 2021-10-08 西安法士特汽车传动有限公司 一种基于长短期记忆神经网络识别车辆行驶工况的方法
US11179089B1 (en) 2021-05-19 2021-11-23 King Abdulaziz University Real-time intelligent mental stress assessment system and method using LSTM for wearable devices
CN114721514A (zh) * 2022-03-22 2022-07-08 北京理工大学 一种基于脑电信号的几何模型选择意图判别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN109243494A (zh) * 2018-10-30 2019-01-18 南京工程学院 基于多重注意力机制长短时记忆网络的儿童情感识别方法
CN109585021A (zh) * 2018-11-28 2019-04-05 华南理工大学 基于全息投影技术的精神状态评估系统及其工作方法
CN110119703A (zh) * 2019-05-07 2019-08-13 福州大学 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN109243494A (zh) * 2018-10-30 2019-01-18 南京工程学院 基于多重注意力机制长短时记忆网络的儿童情感识别方法
CN109585021A (zh) * 2018-11-28 2019-04-05 华南理工大学 基于全息投影技术的精神状态评估系统及其工作方法
CN110119703A (zh) * 2019-05-07 2019-08-13 福州大学 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126263B (zh) * 2019-12-24 2022-11-25 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111126263A (zh) * 2019-12-24 2020-05-08 东南大学 一种基于双半球差异性模型的脑电情感识别方法及装置
CN111134666A (zh) * 2020-01-09 2020-05-12 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111317468A (zh) * 2020-02-27 2020-06-23 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111152796A (zh) * 2020-04-07 2020-05-15 北京三快在线科技有限公司 一种车辆运动状态预测方法及装置
CN111553295A (zh) * 2020-05-01 2020-08-18 北京邮电大学 基于自注意力机制的多模态情感识别方法
CN111553295B (zh) * 2020-05-01 2023-05-09 北京邮电大学 基于自注意力机制的多模态情感识别方法
CN112132266A (zh) * 2020-09-23 2020-12-25 中国人民解放军陆军工程大学 基于卷积循环网络的信号调制识别系统及调制识别方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN112667080B (zh) * 2020-12-28 2023-05-23 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN113180659B (zh) * 2021-01-11 2024-03-08 华东理工大学 一种基于三维特征和空洞全卷积网络的脑电情感识别方法
CN113180659A (zh) * 2021-01-11 2021-07-30 华东理工大学 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN112957014A (zh) * 2021-02-07 2021-06-15 广州大学 一种基于脑电波与神经网络的疼痛检测定位方法及系统
CN113180692A (zh) * 2021-02-11 2021-07-30 北京工业大学 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN113095428B (zh) * 2021-04-23 2023-09-19 西安交通大学 一种融合脑电和刺激源信息的视频情感分类方法及系统
CN113095428A (zh) * 2021-04-23 2021-07-09 西安交通大学 一种融合脑电和刺激源信息的视频情感分类方法及系统
US11344248B1 (en) 2021-05-19 2022-05-31 King Abdulaziz University Wearable stress assessment system with EEG sensors
US11337639B1 (en) 2021-05-19 2022-05-24 King Abdulaziz University System for mental stress assessment
US11179089B1 (en) 2021-05-19 2021-11-23 King Abdulaziz University Real-time intelligent mental stress assessment system and method using LSTM for wearable devices
CN113288172A (zh) * 2021-05-24 2021-08-24 山东师范大学 癫痫脑电信号识别方法及系统
CN113297981B (zh) * 2021-05-27 2023-04-07 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN113297981A (zh) * 2021-05-27 2021-08-24 西北工业大学 一种基于注意力机制的端到端脑电情感识别方法
CN113485102A (zh) * 2021-06-22 2021-10-08 西安法士特汽车传动有限公司 一种基于长短期记忆神经网络识别车辆行驶工况的方法
CN114721514A (zh) * 2022-03-22 2022-07-08 北京理工大学 一种基于脑电信号的几何模型选择意图判别方法及系统
CN114721514B (zh) * 2022-03-22 2024-08-23 北京理工大学 一种基于脑电信号的几何模型选择意图判别方法及系统

Also Published As

Publication number Publication date
CN110515456B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN110515456A (zh) 基于注意力机制的脑电信号情感判别方法及装置
CN112308158B (zh) 一种基于部分特征对齐的多源领域自适应模型及方法
Ihianle et al. A deep learning approach for human activities recognition from multimodal sensing devices
CN110353675A (zh) 基于图片生成的脑电信号情感识别方法及装置
CN112667080B (zh) 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN106909784A (zh) 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法
CN107844755A (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN111950455B (zh) 一种基于lffcnn-gru算法模型的运动想象脑电信号特征识别方法
CN109497990B (zh) 一种基于典型相关分析的心电信号身份识别方法及系统
Poulose et al. Foreground extraction based facial emotion recognition using deep learning xception model
CN109255296A (zh) 一种基于深度卷积神经网络的日常人体行为识别方法
CN109934852B (zh) 一种基于对象属性关系图的视频描述方法
CN107122050A (zh) 基于csfl‑gdbn的稳态运动视觉诱发电位脑‑机接口方法
CN105212949A (zh) 一种使用皮肤电信号进行文化体验情感识别的方法
CN110074779A (zh) 一种脑电信号识别方法及装置
CN112800882A (zh) 一种基于加权双流残差网络的口罩人脸姿态分类方法
CN105550705A (zh) 一种基于改进自训练学习的脑电信号识别方法
CN110929243B (zh) 一种基于手机惯性传感器的行人身份识别方法
CN113116361A (zh) 一种基于单导脑电的睡眠分期方法
CN116150670A (zh) 一种基于特征去相关解耦的任务无关脑纹识别方法
CN116304821A (zh) 一种基于特征融合的脑电信号识别方法
CN114863572A (zh) 一种多通道异构传感器的肌电手势识别方法
WO2022100187A1 (zh) 一种基于移动端对用户的情感进行识别与监测方法
Hou et al. A face detection algorithm based on two information flow block and retinal receptive field block

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant