CN115422983A - 基于脑电波信号的情绪分类方法及装置 - Google Patents
基于脑电波信号的情绪分类方法及装置 Download PDFInfo
- Publication number
- CN115422983A CN115422983A CN202211373413.5A CN202211373413A CN115422983A CN 115422983 A CN115422983 A CN 115422983A CN 202211373413 A CN202211373413 A CN 202211373413A CN 115422983 A CN115422983 A CN 115422983A
- Authority
- CN
- China
- Prior art keywords
- time sequence
- brain wave
- wave signals
- weight
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 316
- 230000008451 emotion Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 204
- 238000010586 diagram Methods 0.000 claims abstract description 62
- 238000013145 classification model Methods 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims abstract description 33
- 238000005070 sampling Methods 0.000 claims abstract description 30
- 238000003860 storage Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013519 translation Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- BQJCRHHNABKAKU-KBQPJGBKSA-N morphine Chemical compound O([C@H]1[C@H](C=C[C@H]23)O)C4=C5[C@@]12CCN(C)[C@@H]3CC5=CC=C4O BQJCRHHNABKAKU-KBQPJGBKSA-N 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 230000036626 alertness Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229960005181 morphine Drugs 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000004129 prosencephalon Anatomy 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 210000001202 rhombencephalon Anatomy 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请是关于一种基于脑电波信号的情绪分类方法、装置、计算机设备及存储介质，该方法包括：获取第一脑电波信号；对第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的时序特征图；利用注意力机制，基于时序特征图，确定由不同时序信息对应的第二脑电波信号的权重信息构建的时序权重特征图，该时序权重特征图用于表征时序特征图中各特征向量对应的权重；基于第二脑电波信号、时序权重特征图以及分类模型，确定第一脑电波信号对应的情绪分类标签。从而基于利用注意力机制得到的时序权重特征图，得到更为精确的情绪分类标签，进而提高分类模型对脑电波信号的情绪分类结果的准确性。
Description
技术领域
本申请涉及信号处理领域，尤其涉及一种基于脑电波信号的情绪分类方法、装置、计算机设备及存储介质。
背景技术
脑电波是一种使用生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
现有技术中能够将脑电波信号与情绪识别关联起来，通过神经网络系统对检测到脑电波信号进行情绪分类。但是由于脑电波信号是一种非平稳的，非线性的复杂信号，是不容易寻找到规律的一种信号，因此，如何通过脑电波信号准确地识别出情绪类别是一个需要持续研究的课题。
发明内容
根据本申请实施例的第一方面，提供一种基于脑电波信号的情绪分类方法，包括：
获取第一脑电波信号，其中，所述第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；
对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；
利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重；
基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
可选地，所述对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第1至N子时序特征图，其中，N为大于或等于2的正整数，不同的预设时间周期对应的时间周期长度不同；
基于N个子时序特征图，确定由N组离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
可选地，所述基于N个子时序特征图，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
基于N个子时序特征图，确定各个时序特征向量与相邻的时序特征向量之间的差分熵；
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
可选地，所述根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，对由离散的多个第二脑电波信号进行滤波处理，以确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
可选地，所述利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
确定所述时序特征图对应的各个时序特征向量在注意力机制中映射的查询向量、键向量和值向量；
根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图。
可选地，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，包括：
根据所述时序特征图中的第一时序特征向量对应的第一查询向量和各键向量，得到各时序特征向量与所述第一时序特征向量关联的各第一权重，以此类推，根据第M时序特征对应的第M查询向量和各键向量，得到各时序特征向量与所述第M时序特征向量关联的各第M权重；并对各时序特征向量上的权重进行加权处理，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，其中，M为时序特征图中时序特征向量的总数。
可选的，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，包括：
将各所述查询向量与所述键向量进行点乘运算，再除以所述键向量的维度平方根，得到查询向量的分数矩阵；
利用softmax函数，对所述查询向量的分数矩阵进行归一化，计算得到权重矩阵，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
所述根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
将所述权重矩阵与所述时序特征图中的各时序特征向量对应的值向量进行乘法运算，确定由不同时序信息对应的第二脑电波信号的权重信息构建的时序权重特征图。
可选的，所述基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，包括：
基于所述第二脑电波信号、所述时序权重特征图，确定第三脑电波信号；
基于所述第三脑电波信号以及分类模型，确定第一脑电波信号对应的情绪分类标签。根据本申请实施例的第二方面，提供一种基于脑电波信号的情绪分类装置，包括：
获取模块，用于获取第一脑电波信号，其中，所述第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；
采样模块，用于对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；
第一确定模块，用于利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重；
第二确定模块，用于基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
根据本申请实施例的第三方面，提供一种计算机设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意所述的基于脑电波的情绪分类方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理执行时实现上述任意所述的基于脑电波信号的情绪分类方法。
本申请实施例提供的一种基于脑电波信号的情绪分类方法、装置、计算机设备及存储介质，通过获取第一脑电波信号，其中，第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；然后对第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的时序特征图；之后再利用注意力机制，基于时序特征图，确定由不同时序特征信息对应的第二脑电波信号权重信息构建的时序权重特征图，该时序权重特征图用于表征时序特征图中各特征向量对象的权重；最后基于第二脑电波信号、时序权重特征图以及分类模型，确定第一脑电波信号对应的情绪分类标签。如此一来，本申请实施例通过引入注意力机制，对第一脑电波信号对应的时序特征图进行时序特征向量之间的关联，得到时序权重特征图，从而可以明确出第一脑电波信号中各个不同时序对应的波段在整个第一脑电波信号中的重要程度，进而通过时序权重特征图的介入能够更为准确地基于脑电波信号的情绪分类结果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为根据本申请实施例中基于脑电波信号的情绪分类方法的一应用环境示意图；
图2为本申请实施例提供的一种基于脑电波信号的情绪分类方法的流程示意图；
图3为本申请实施例示出的一种多路的第一脑电波信号示意图；
图4为根据本申请实施例示出的图3的第一脑电波信号对应的第二脑电波信号；
图5为根据本申请实施例示出的机器翻译模型的模型示意图；
图6为根据本申请实施例示出的分类模型的模型示意图；
图7为本申请实施例示出的一种基于脑电波信号的情绪分类方法的另一流程示意图；
图8为本申请实施例示出的一种基于脑电波信号的情绪分类方法的又一流程示意图；
图9为根据本申请实施例示出的情绪分类模型的模型示意图；
图10为根据本申请实施例示出的一种基于脑电波信号的情绪分类装置框图；
图11为根据本申请实施例示出的计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明实施例所述的方法可以应用于辅助进行情绪识别的设备或系统中。该情绪识别系统被配置在终端或者服务器中。终端或者服务器能够基于所接收到的脑电波信号进行情绪识别。
可知地，脑电波是神经自发的、有节奏的电活动，电波的频率从每秒1到30次甚至更多次不等。不同的频率的脑电波表示当前脑部活动状态的不同，从而可以映射出不同的情绪。现目前一般将脑电波依频率可分为四大类：β波、α波、θ波及δ波。这些意识的组合，形成了一个人的行为、思考，情绪表现。Delta（δ）：0.1-3 Hz，“无意识层面”的波。休息，睡眠时所需要；直觉性与第六感的来源；意识的雷达网。休息波：一般只有深度睡眠状态才会出现。Theta（θ）：4-7Hz，“潜意识层面”的波。存有记忆、知觉和情绪；影响态度、期望、信念、行为；创造力与灵感的来源；深睡做梦、深度冥想时；心灵觉知、个人见识较强、个性强。修复波：极度放松，又称佛陀脑波，修复力强。Alpha（α）：健康波：放松脑波，高免疫状态，分泌脑内吗啡，有自愈能力。慢速α波：8-9 Hz，临睡前头脑浑沌的状态；意识逐渐走向模糊。中间α波：9-12 Hz，灵感、直觉或点子活跃的状态；身心轻松而注意力集中；学习与思考的最佳脑波状态。快速α波：12-14 Hz，高度警觉，无暇他顾的状态。Beta（β）：生病波：紧张脑波，低免疫力，易生病。低频段：12.5-16 Hz，放松但精神集中。中频段：16.5-20 Hz，思考、处理接收到外界讯息（听到或想到）。高频段：20.5-28 Hz，激动、焦虑。Gamma（γ）：25-100 Hz (40Hz)，提高意识、幸福感、减轻压力。
相关技术中，常见的基于神经网络分析脑电波的方法是通过CNN-LSTM两阶段组合神经网络获取情绪相关的脑电波信号，采用CNN（Convolutional Neural Network，卷积神经网络）提取脑电波的波形特征，然后将波形特征进行降维处理后，将表征各波形特征的一维数据输入LSTM（Long Short-Term Memory，长短期记忆网络）中，最后融合波形特征与时间特征输入到分类器，得到最终的情绪分类结果。这样一来，基于CNN-LSTM神经网络使得对脑电波的时序特征与脑电波的时间特征之间脱节，无法准确地分析到脑电波的时序特征随时间变化的相关性。
基于此，本申请实施例提供一种基于脑电波信号的情绪分类方法，可应用于如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用于独立的服务器或者是多个服务器组成的服务器集群来实现。在一些可能的实施方式中，通过本实施例提供的脑电波信号的情绪分类方法训练出的脑电波情绪分类模型可以应用与对脑电波信号进行情绪分类，即对获取到的某个时段的脑电波信号进行数据处理，得到该时段的脑电波信号对应的情绪类型，进而得到分析对象准确的情绪，从而帮助进行基于情绪的其他辅助项目的开展，例如疾病的治疗或者商业的推荐等，当然也不限于此。
需要说明的是，本申请实施例所提供的基于脑电波信号的情绪分类方法可以由服务器执行，相应地，基于脑电波信号的情绪分类装置设置于服务器中。
请参阅图2，图2为本申请实施例提供的一种基于脑电波信号的情绪分类方法的流程示意图，以方法应用于在图1中的服务端为例进行说明书，包括以下步骤：
步骤101：获取第一脑电波信号，其中，第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号。
这里的第一脑电波信号可以是一路也可以是多路，根据检测设备的配置来确定具体的脑电波通道。常用的有32路脑电波检测仪或者64路脑电波检测仪。请参见图3，图3为本申请实施例示出的一种多路的第一脑电波信号示意图，如图3所示，第一脑电波信号包括多个同一时段的不同波形的脑电波信号。在一些可能的实施方式中，第一脑电波信号的通道数量应当与被测脑电波的通道数量一致，或者所检测的仪器型号等都一致，从而可以进一步减少因仪器差异或者脑电波的通道数量不一致的干扰信号。
需要说明的不同通道对应脑部的不同空间区域，例如，前脑和后脑的通道不同，左脑和右脑的通道也不同。不同的通道所得到的波形也有所差异。这里的第一脑电波信号则是多个通道的脑电波的集合，也可以称之为第一脑电波集。
步骤102：对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的时序特征图。
这里的预设时间周期可以是1秒或者2秒或者3秒等，可以所训练的情绪分类模型的精准度来确定预设时间周期的时间长度。需要说明的是，预设时间周期的时间长度越短，对应的精准度也就越高，但是数据处理量也就越大，对服务器的性能要求也就越高。例如，预设时间周期为1秒训练出的模型的精度要大于预设时间周期为2秒的模型的精度。
这里的第二脑电波信号可以理解为一种多通道的波形通过周期性采样后转换成的离散的点信号。请参阅图4，图4为根据本申请实施例示出的图3的第一脑电波信号对应的第二脑电波信号，如图4所示，第二脑电波信号为包括多个同一时段的不同波形的脑电波的离散信号。可以理解的是第二脑电波信号的时序信息，包括第二脑电波信号的时间轴指示的时间以及幅度轴指示的幅度等。而这里的时序特征图则表示如图3所示的各离散的点在上述构建的时间轴和幅度轴的坐标系中的各个时序特征的坐标分布。
步骤103：利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重。
需要说明的是，注意力机制（Attention Mechanism），也称为神经注意力机制，旨在使得神经网络具备专注于其输入（或特征）子集得到能力。注意力机制是解决信息超载问题的主要手段的一种资源分配方法，将计算资源分配给更重要的任务。现目前注意力机制最成功的应用是机器翻译，这里利用注意力机制的机器模型对第二脑电波进行训练，从而将第二脑电波信号中各个时序特征向量之间的关联起来，从而确定出各个时序特征向量在整个第二脑电波信号中的权重。这里的时序权重特征图主要是例如将图3中的时序特征图中的各个时序特征点进行权重标识，从而可以得到各个时序特征点的重要程度。
需要说明的是，机器翻译模型由编码器和解码器构成，其中加入注意力机制与残差连接层。示例性地，请参阅图5，图5为根据本申请实施例示出的机器翻译模型的模型示意图，如图5所示，编码器和解码器均包括：层内求和归一化层、多头自注意力机制层、层内求和归一化层和前反馈神经网络层。数据经由上述层进行逐步处理。在本实施例中，机器翻译模型会对时序特征图中的各个时序特征向量进行上述层的逐步处理。
步骤104：基于所述第二脑电波信号，所述时序权重特征图以及分类模型，确定所述第一脑电波信号的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
这里的第一样本对象可以相同也可以不同，也可以部分重叠。
这里的分类模型可以是现有的分类模型。例如可以是CNN模型。示例性地，请参阅图6，图6为根据本申请实施例示出的分类模型的模型示意图，如图6所示，该分类模型会数据经由多个卷积层和池化层后再进行分类运算，例如经由3*3卷积层、2*2池化层、3*3卷积层、2*2池化层、3*3卷积层、2*2池化层后，再进行softmax分类。可以理解的是，卷积层用于进行特征提取；池化层用于对输入的特征图进行压缩，一方便使得特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。当然CNN还具有全连接层，用于连接所有的特征，将输出值送给分类器，如softmax分类器。
可以理解的是，CNN网络中前几层的卷积层参数量占比小，计算量占比大；而后面的全连接层正好相反，大部分CNN网络都具有这个特点。因此我们在进行计算加速优化时，重点放在卷积层；进行参数优化、权值裁剪时，重点放在全连接层。本实施例中，旨在对改进输入到全连接层的数据。由于加入了注意力机制，可以使得在计算权值的时候能够将时序特征向量之间时间的关联性考虑进来，提高分类的准确性。基于此，基于上述的各个时序特征点的重要程度的分布出的时序权重特征图，可以在分类模型进行分类的数据处理时重点考虑权重更高的时序特征向量，从而准确地学习到该段第一脑电波对应的情绪分类标签，从而有利于情绪分类模型针对情绪分类的准确性的提高。
上述实施例中，通过获取第一脑电波信号，然后对第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的时序特征图；之后再利用注意力机制，基于时序特征图，确定由不同时序特征信息对应的第二脑电波信号权重信息构建的时序权重特征图，该时序权重特征图用于表征时序特征图中各特征向量对象的权重；最后基于第二脑电波信号、时序权重特征图以及分类模型，确定第一脑电波信号对应的情绪分类标签。如此一来，本申请实施例通过引入注意力机制，对第一脑电波信号对应的时序特征图进行时序特征向量之间的关联，得到时序权重特征图，从而可以明确出第一脑电波信号中各个不同时序对应的波段在整个第一脑电波信号中的重要程度，进而通过时序权重特征图的介入能够更为准确地基于脑电波信号的情绪分类结果。
需要说明的是，针对步骤102，由于步骤102中对第一脑电波信号按照预设实际按周期进行采样，由于是固定的一个周期采样，可能无法准确地基于离散的第二脑电波还原第一脑电波。换而言，固定的一个周期采样会造成部分重要数据无法被学习到。
基于此，请再参阅图7，图7为本申请实施例示出的一种基于脑电波信号的情绪分类方法的另一流程示意图，如图7所示，在一些实施例中，所述步骤102，即所述对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
步骤1021：分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第1至N子时序特征图，其中，N为大于或等于2的正整数，不同的预设时间周期对应的时间周期长度不同；
步骤1022：基于N个子时序特征图，确定由N组离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
在一些实施方式中，步骤1021中，分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的第1至N子时序特征图，包括：
对第一脑电波信号按照第一预设时间周期进行采样，得到离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的第一子时序特征图；对第一脑电波信号按照第二预设时间周期进行采样，得到离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的第二子时序特征图，以此类推，对所述第一脑电波信号按照第N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第N子时序特征图。
如此，本实施例中通过多个不同时间周期长度的采样，可以有利于多个时序特征都可以被学习训练到，从而可以提高所训练的情绪分类模型的分类准确性。
为了减少一些噪音信号的干扰，在一些实施例中，所述基于N个子时序特征图，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
基于N个子时序特征图，确定各个时序特征向量与相邻的时序特征向量之间的差分熵；
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
示例性地，基于N个子时序特征图，确定各个时序特征向量与相邻的时序特征向量之间的差分熵，包括：
基于N个子时序特征图，确定各个时序特征向量满足高斯分布的标准差；
根据该标准差，计算各个时序特征向量的差分熵。
具体地，通过以下公式（1）计算得到各个时序特征向量的差分熵。
其中，x为变量，用于指示不同的时序特征向量，h(x)表示不同的时序特征向量的差分熵；e和π是常量，log是对数运算，δ是满足高斯分布时序信号的标准差。
仍以第一脑电波信号为32路脑电波信号，以N为4，以第一预设时间周期的时间长度为1秒，以第二预设时间周期的时间长度为2秒，以第三预设时间周期的时间长度为4秒，以第四预设时间周期的时间长度为8秒为例。
上述对分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的第1至N子时序特征图，可以包括：将第一脑电波信号中的32路脑电波信号进行时间对齐，按照1秒、2秒、4秒和8秒的时间间隔进行采样并提取不同时序特征的差分熵。
在另一些实施例中，根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，对由离散的多个第二脑电波信号进行滤波处理，以确定由离散的多个第二脑电波信号以及第二脑电波信号对应的时序信息构建的时序特征图。
上述实施例中，通过引入差分熵，对时序特征图中可能是噪音的时序特征点进行去除，留下有效的时序特征点所构建的时序特征图，能够减少噪音数据学习后给模型的准确性带来的不利影响。
在一些实施例方式中，为了简化后续模型的数据运算，会利用差分熵提取到的时序特征数据进行降维，得到一维维度的固定长度的数组再输入到后续的模型中进行学习和训练。
在一些实施例中，请再参阅图8，图8为本申请实施例示出的一种基于脑电波信号的情绪分类方法的又一流程示意图，如图8所示，所述步骤103，即所述利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
步骤1031：确定时序特征图对应的各个时序特征向量在注意力机制中映射的查询向量、键向量和值向量；
步骤1032：根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
步骤1033：根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图。
这里的注意力机制，而可以是自注意力机制。需要说明的是，自注意力机制要解决的问题是：当神经网络的输入是多个大小不一样的变量，并且可能因不同的向量之间有一定的关系，而在训练时却无法充分发挥这些关系，导致模型训练结果较差的问题。而本申请实施例中的自注意力机制旨在得到不同时间间隔的脑电波信号之间特征，并计算各脑电波特征之间的权值，找出脑电波信号的在时间上的特征之间的依赖关系。也就是说，本实施例中，通过引入自注意力机制时序特征图中各个时序特征向量的权重，进而在后续分析各个时序特征时可以基于权重进行训练和学习，例如权重高的时序特征训练的次数可以更多等。
在一些可能的实施例中，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，包括：
将各所述查询向量与所述键向量进行点乘运算，再除以所述键向量的维度平方根，得到查询向量的分数矩阵；
利用softmax函数，对所述查询向量的分数矩阵进行归一化，计算得到权重矩阵，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
所述根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
将所述权重矩阵与所述时序特征图中的各时序特征向量对应的值向量进行乘法运算，确定由不同时序信息对应的第二脑电波信号的权重信息构建的时序权重特征图。
示例性地，根据各个时序特征向量与相邻的时序特征向量之间的差分熵，得到过滤了部分噪音的时序特征图后，提取时序特征图中的各个时序特征向量，对每个时序特征向量通过线性变换的方法，得到该时序特征向量对应的查询向量Q、键向量K和值向量V。
具体地，各个时序特征向量的注意力可以根据公式（2）计算得到：
这里，Attention（Q、K、V）表示对应的时序特征的注意力，所述K，V为对应时序特征向量的键向量和值向量，Q为对应时序特征向量的查询向量，d k 为K的维度大小，当d k 很大时，QK T 的乘法结果方差变大，进行两者的除法运算可以使方差变小，训练时梯度更新更稳定。
这里，通过对各个时序特征向量的注意力的计算，可以确定各个时序特征向量的权重。可以理解的是，注意力集中对应的时序特征向量对应的权重也较高。
在另一些可能的实施方式中，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，可以包括：
根据时序特征中的第一时序特征向量对应的第一查询向量和各键向量，得到各时序特征向量与所述第一时序特征向量关联的各第一权重，以此类图，根据第M时序特征对应的第M查询向量和各键向量，得到各时序特征向量与第M时序特征向量中不同的各第M权重；并对各时序特征向量上的权重进行加权处理，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，其中，M为时序特征图中时序特征向量的总数。
也就是说，每个时序特征向量会根据自身对应的查询向量和键向量计算出与其他时序特征向量之间的关联关系，即计算得到特征向量对应各个权重；然后在对这些权重进行加权处理，从而可以得到该特征向量在整个时序特征图中的权重，即该时序特征向量在整个时序特征图中的重要程度，从而将第一脑电波信号中各个不同时段的波段之间的关联关系考虑进来也进行了学习和训练，从而使得基于这一方式训练后的情绪分类模型能够更为精准地进行情绪分类。
在一些实施例中，所述步骤103，即所述基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，可以包括：
基于所述第二脑电波信号、所述时序权重特征图，确定第三脑电波信号；
基于所述第三脑电波信号以及分类模型，确定第一脑电波信号对应的情绪分类标签。
可以理解的是，这里通过时序权重特征图，对第二脑电波信号进行修正，例如将权重较高的时序特征向量进行加重等处理，得到第三脑电波信号。基于此，第三脑电波信号是考虑了各个时序特征向量的脑电波信号。这里的分类模型可以是现有技术的分类模型，即基于大数据的第二样本对象的脑电波信号训练得到的机器模型。这样一来，不需要再对分类模型进行训练，只需要在分类模型的输入端加入一个引入有注意力机制的例如机器翻译模型对第一脑电波训练即可，数据量可大大减小。
示例性地，请参阅图9，图9为根据本申请实施例示出的情绪分类模型的模型示意图，如图9所示，脑电波数据，经过差分熵提取特征后，分别输入到机器翻译模型和卷积模型中，再将两者处理后的数据输入到CNN分类器中，最后由CNN分类器输出了分类结果。
图10为根据本申请实施例示出的一种基于脑电波信号的情绪分类装置框图。参照图10，该装置包括：获取模块1001、采样模块1002、第一确定模块1003和第二确定模块1004；
其中，所述获取模块1001，用于获取第一脑电波信号，其中，所述第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；
所述采样模块1002，用于对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；
所述第一确定模块1003，用于利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重；
所述第二确定模块1004，用于基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
在一个可选的实施例中，所述采样模块1002，还包括：
处理子模块，用于分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第1至N子时序特征图，其中，N为大于或等于2的正整数，不同的预设时间周期对应的时间周期长度不同；
第一确定子模块，用于基于N个子时序特征图，确定由N组离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
在一个可选的实施例中，所述第一确定子模块，还用于：
基于N个子时序特征图，确定各个时序特征向量与相邻的时序特征向量之间的差分熵；
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
在一个可选的实施例中，所述第一确定子模块，还用于：
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，对由离散的多个第二脑电波信号进行滤波处理，以确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
在一个可选的实施例中，所述第一确定模块1003，还用于：
第二确定子模块，用于确定所述时序特征图对应的各个时序特征向量在注意力机制中映射的查询向量、键向量和值向量；
第三确定子模块，用于根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
第四确定子模块，用于根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图。
在一个可选的实施例中，所述第三确定子模块，还用于：
根据所述时序特征图中的第一时序特征向量对应的第一查询向量和各键向量，得到各时序特征向量与所述第一时序特征向量关联的各第一权重，以此类推，根据第M时序特征对应的第M查询向量和各键向量，得到各时序特征向量与所述第M时序特征向量关联的各第M权重；并对各时序特征向量上的权重进行加权处理，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，其中，M为时序特征图中时序特征向量的总数。
在一个可选的实施例中，所述第三确定子模块，还用于：
将各所述查询向量与所述键向量进行点乘运算，再除以所述键向量的维度平方根，得到查询向量的分数矩阵；
利用softmax函数，对所述查询向量的分数矩阵进行归一化，计算得到权重矩阵，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
所述第四确定子模块，还用于将所述权重矩阵与所述时序特征图中的各时序特征向量对应的值向量进行乘法运算，确定由不同时序信息对应的第二脑电波信号的权重信息构建的时序权重特征图。
在一个可选的实施例中，所述第二确定模块1004，还用于：
基于所述第二脑电波信号、所述时序权重特征图，确定第三脑电波信号；
基于所述第三脑电波信号以及分类模型，确定第一脑电波信号对应的情绪分类标签。
关于基于脑电波信号的情绪分类装置的具体限定可参见上文中基于脑电波信号的情绪分类方法的限定，在此不再赘述。上述基于脑电波信号的情绪分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供一种计算机设备，该计算即设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络结构和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的触怒出器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于脑电波信号的情绪分类方法中涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于脑电波信号的情绪分类方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于视觉
图像的模型训练优化方法的步骤，例如图2所示的步骤S101至步骤S105及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中基于脑电波信号的情绪分类装置的各模块/单元的功能，例如图10所示模块1001至模块1004的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP) 、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、视频数据等）等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中基于视觉图像的模型训练优化方法的步骤，例如图2所示的步骤101至步骤104及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中基于脑电波信号的情绪分类装置的各模块/单元的功能，例如图10所示模块1001至模块1004的功能。为避免重复，这里不再赘述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于脑电波信号的情绪分类方法，其特征在于，包括：
获取第一脑电波信号，其中，所述第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；
对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；其中，所述对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第1至N子时序特征图，其中，N为大于或等于2的正整数，不同的预设时间周期对应的时间周期长度不同；基于N个子时序特征图，确定由N组离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；
利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重；
基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
2.根据权利要求1所述的方法，其特征在于，所述基于N个子时序特征图，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
基于N个子时序特征图，确定各个时序特征向量与相邻的时序特征向量之间的差分熵；
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
3.根据权利要求2所述的方法，其特征在于，所述根据各个时序特征向量与相邻的时序特征向量之间的差分熵，确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：
根据各个时序特征向量与相邻的时序特征向量之间的差分熵，对由离散的多个第二脑电波信号进行滤波处理，以确定由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
确定所述时序特征图对应的各个时序特征向量在注意力机制中映射的查询向量、键向量和值向量；
根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图。
5.根据权利要求4所述的方法，其特征在于，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，包括：
根据所述时序特征图中的第一时序特征向量对应的第一查询向量和各键向量，得到各时序特征向量与所述第一时序特征向量关联的各第一权重，以此类推，根据第M时序特征对应的第M查询向量和各键向量，得到各时序特征向量与所述第M时序特征向量关联的各第M权重；并对各时序特征向量上的权重进行加权处理，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，其中，M为时序特征图中时序特征向量的总数。
6.根据权利要求4所述的方法，其特征在于，所述根据各查询向量和各键向量，确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息，包括：
将各所述查询向量与所述键向量进行点乘运算，再除以所述键向量的维度平方根，得到查询向量的分数矩阵；
利用softmax函数，对所述查询向量的分数矩阵进行归一化，计算得到权重矩阵，以确定时序特征图中不同时序信息对应的第二脑电波信号的权重信息；
所述根据所述权重信息以及所述权重信息对应的时序特征向量的值向量，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，包括：
将所述权重矩阵与所述时序特征图中的各时序特征向量对应的值向量进行乘法运算，确定由不同时序信息对应的第二脑电波信号的权重信息构建的时序权重特征图。
7.根据权利要求1所述的方法，其特征在于，所述基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，包括：
基于所述第二脑电波信号、所述时序权重特征图，确定第三脑电波信号；
基于所述第三脑电波信号以及分类模型，确定第一脑电波信号对应的情绪分类标签。
8.一种基于脑电波信号的情绪分类装置，其特征在于，包括：
获取模块，用于获取第一脑电波信号，其中，所述第一脑电波信号包括至少一路用于监测第一样本对象的脑部的电极信号；
采样模块，用于对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；其中，所述对所述第一脑电波信号按照预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图，包括：分别对所述第一脑电波信号按照第1至N预设时间周期进行采样，得到由离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的第1至N子时序特征图，其中，N为大于或等于2的正整数，不同的预设时间周期对应的时间周期长度不同；基于N个子时序特征图，确定由N组离散的多个第二脑电波信号以及所述第二脑电波信号对应的时序信息构建的时序特征图；
第一确定模块，用于利用注意力机制，基于所述时序特征图，确定由不同时序信息对应的所述第二脑电波信号的权重信息构建的时序权重特征图，所述时序权重特征图用于表征时序特征图中各特征向量对应的权重；
第二确定模块，用于基于所述第二脑电波信号、所述时序权重特征图以及分类模型，确定所述第一脑电波信号对应的情绪分类标签，其中，所述分类模型为基于第二样本对象的脑电波信号训练得到的机器学习模型。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于脑电波信号的情绪分类方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现如权利要求1至7任一项的所述基于脑电波信号的情绪分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211373413.5A CN115422983A (zh) | 2022-11-04 | 2022-11-04 | 基于脑电波信号的情绪分类方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211373413.5A CN115422983A (zh) | 2022-11-04 | 2022-11-04 | 基于脑电波信号的情绪分类方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115422983A true CN115422983A (zh) | 2022-12-02 |
Family
ID=84207632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211373413.5A Pending CN115422983A (zh) | 2022-11-04 | 2022-11-04 | 基于脑电波信号的情绪分类方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115422983A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN110946575A (zh) * | 2019-08-23 | 2020-04-03 | 中山国佳物联网科技有限公司 | 一种基于差分熵和的l1/2脑电波情感分类识别方法 |
| CN113576478A (zh) * | 2021-04-23 | 2021-11-02 | 西安交通大学 | 一种基于脑电信号的图像情感分类方法及系统及装置 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
| CN114176607A (zh) * | 2021-12-27 | 2022-03-15 | 杭州电子科技大学 | 一种基于视觉Transformer的脑电信号分类方法 |
| CN114190944A (zh) * | 2021-12-23 | 2022-03-18 | 上海交通大学 | 基于脑电信号的鲁棒情绪识别方法 |
| CN114224342A (zh) * | 2021-12-06 | 2022-03-25 | 南京航空航天大学 | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 |
| CN114384998A (zh) * | 2021-11-12 | 2022-04-22 | 南京邮电大学 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
| CN114662524A (zh) * | 2020-12-22 | 2022-06-24 | 上海交通大学 | 基于脑电信号的即插即用式域适应方法 |
| CN114795178A (zh) * | 2022-04-28 | 2022-07-29 | 电子科技大学 | 一种基于多注意力神经网络的大脑状态解码方法 |
| CN114841192A (zh) * | 2022-03-23 | 2022-08-02 | 西安电子科技大学 | 一种基于强化学习联合去噪与时空关系建模的脑电信号特征增强方法 |
-
2022
- 2022-11-04 CN CN202211373413.5A patent/CN115422983A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110946575A (zh) * | 2019-08-23 | 2020-04-03 | 中山国佳物联网科技有限公司 | 一种基于差分熵和的l1/2脑电波情感分类识别方法 |
| CN110610168A (zh) * | 2019-09-20 | 2019-12-24 | 合肥工业大学 | 一种基于注意力机制的脑电情绪识别方法 |
| CN114662524A (zh) * | 2020-12-22 | 2022-06-24 | 上海交通大学 | 基于脑电信号的即插即用式域适应方法 |
| CN113576478A (zh) * | 2021-04-23 | 2021-11-02 | 西安交通大学 | 一种基于脑电信号的图像情感分类方法及系统及装置 |
| CN113598774A (zh) * | 2021-07-16 | 2021-11-05 | 中国科学院软件研究所 | 基于多通道脑电数据的积极情绪多标签分类方法及装置 |
| CN114384998A (zh) * | 2021-11-12 | 2022-04-22 | 南京邮电大学 | 一种基于脑电信号的智能化情绪状态识别与调节方法 |
| CN114224342A (zh) * | 2021-12-06 | 2022-03-25 | 南京航空航天大学 | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 |
| CN114190944A (zh) * | 2021-12-23 | 2022-03-18 | 上海交通大学 | 基于脑电信号的鲁棒情绪识别方法 |
| CN114176607A (zh) * | 2021-12-27 | 2022-03-15 | 杭州电子科技大学 | 一种基于视觉Transformer的脑电信号分类方法 |
| CN114841192A (zh) * | 2022-03-23 | 2022-08-02 | 西安电子科技大学 | 一种基于强化学习联合去噪与时空关系建模的脑电信号特征增强方法 |
| CN114795178A (zh) * | 2022-04-28 | 2022-07-29 | 电子科技大学 | 一种基于多注意力神经网络的大脑状态解码方法 |
Non-Patent Citations (3)
| Title |
|---|
| JIE SUN 等: "Multi-Channel EEG Emotion Recognition Based on Parallel Transformer and 3D-Convolutional Neural Network", 《MATHEMATICS》 * |
| 唐子惠: "《医学人工智能导论》", 30 April 2020, 上海世纪出版社（集团）有限公司，上海科学技术出版社 * |
| 焦义 等: "融合多尺度特征的脑电情感识别研究", 《计算机工程》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Channel selection method for EEG emotion recognition using normalized mutual information | |
| Zahra et al. | Seizure detection from EEG signals using multivariate empirical mode decomposition | |
| Kumar et al. | Envisioned speech recognition using EEG sensors | |
| Iyer et al. | CNN and LSTM based ensemble learning for human emotion recognition using EEG recordings | |
| Candra et al. | EEG emotion recognition using reduced channel wavelet entropy and average wavelet coefficient features with normal mutual information method | |
| Aljalal et al. | Detection of Parkinson’s disease from EEG signals using discrete wavelet transform, different entropy measures, and machine learning techniques | |
| Jia et al. | A model combining multi branch spectral-temporal CNN, Efficient Channel attention, and LightGBM for MI-BCI classification | |
| Szczuko | Real and imaginary motion classification based on rough set analysis of EEG signals for multimedia applications | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| CN111797747A (zh) | 一种基于eeg、bvp和微表情的潜在情绪识别方法 | |
| Abdulrahman et al. | A Comprehensive Review for Emotion Detection Based on EEG Signals: Challenges, Applications, and Open Issues. | |
| CN113133769A (zh) | 基于运动想象脑电信号的设备控制方法、装置及终端 | |
| CN114662547A (zh) | 基于脑电信号的mscrnn情绪识别方法及装置 | |
| Liu et al. | Criminal psychological emotion recognition based on deep learning and EEG signals | |
| Tigga et al. | Efficacy of novel attention-based gated recurrent units transformer for depression detection using electroencephalogram signals | |
| Farokhah et al. | Simplified 2D CNN architecture with channel selection for emotion recognition using EEG spectrogram | |
| Immanuel et al. | Recognition of emotion with deep learning using EEG signals-the next big wave for stress management in this covid-19 outbreak | |
| CN110638472B (zh) | 情感识别方法、装置、电子设备及计算机可读存储介质 | |
| Chen et al. | DEEMD-SPP: a novel framework for emotion recognition based on EEG signals | |
| Khan et al. | EEG based aptitude detection system for stress regulation in health care workers | |
| CN115422983A (zh) | 基于脑电波信号的情绪分类方法及装置 | |
| CN114742107A (zh) | 信息服务中的感知信号的识别方法及相关设备 | |
| CN115169384A (zh) | 脑电信号分类模型训练方法、意图识别方法、设备及介质 | |
| Xu et al. | Eeg signal classification and feature extraction methods based on deep learning: A review | |
| Wirawan et al. | Continuous Capsule Network Method for Improving Electroencephalogram-Based Emotion Recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221202 |
|
| RJ01 | Rejection of invention patent application after publication |