CN114139572A - 一种基于增强对称正定矩阵的脑电情绪识别方法 - Google Patents
一种基于增强对称正定矩阵的脑电情绪识别方法 Download PDFInfo
- Publication number
- CN114139572A CN114139572A CN202111271233.1A CN202111271233A CN114139572A CN 114139572 A CN114139572 A CN 114139572A CN 202111271233 A CN202111271233 A CN 202111271233A CN 114139572 A CN114139572 A CN 114139572A
- Authority
- CN
- China
- Prior art keywords
- positive definite
- enhanced
- definite matrix
- samples
- symmetric positive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 20
- 238000012706 support-vector machine Methods 0.000 claims abstract description 7
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 230000009467 reduction Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 2
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 abstract description 5
- 230000037007 arousal Effects 0.000 abstract description 4
- 230000009466 transformation Effects 0.000 abstract description 4
- 238000013459 approach Methods 0.000 abstract 1
- 238000000354 decomposition reaction Methods 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于增强对称正定矩阵的脑电情绪识别方法。本发明首先采用小波包变换提取脑电信号的时频域信息；然后通过协方差方法将时频域信息嵌入到对称正定矩阵中得到增强的对称正定矩阵；最后将增强的对称正定矩阵在黎曼流形空间进行降维并映射到切空间中，并在切空间中使用支持向量机进行分类。本发明通过对脑电信号进行效价、唤醒度二分类以及四分类，来评估情绪识别的准确性。本发明在公开数据集DEAP上得到了验证，并与几种最新的方法进行了比较。实验结果表明，本发明取得了较好的分类效果。
Description
技术领域
本发明属于信号处理领域，涉及一种基于增强对称正定矩阵的脑电情绪识别方法。
背景技术
情绪是一种复杂的心理和生理状态，在日常生活中，尤其是人际交往中起着重要作用。近年来，随着人机交流需求的不断提高，情感识别受到越来越多的关注。情感识别的目的是建立一个能够识别人类情感并给出正确反馈的自动化系统，使人机交互过程更加友好。
在过去的几十年中，人们提出了许多基于不同模式的情感识别方法，如面部表情、手势、声音和生理信号。与其他信号相比，脑电信号(Electroencephalography,EEG)存在于人的中枢神经系统，不易伪装，能反映个体真实的情绪状态。因此，基于脑电信号的情感识别越来越受到人们的重视。
近年来，许多研究人员提出了许多利用EEG进行情绪识别的方法。这些方法通常从脑电信号的时域或频域中提取相应的特征，如事件相关电位(ERP)、统计特征(均值、标准差、分形维数和一阶差)、功率谱密度、自回归系数等。Linet等人提取了五个频带的功率谱密度和不对称特征，并使用两个分类器，多层感知器和支持向量机，对四种情绪状态进行分类。J.Atkinson等人从统计特征、带宽功率和分形维数三个方面提取了EEG信号的特征，并使用支持向量机对情绪进行分类。
上述研究大多基于提取时域和频域特征或两者结合，而空域特征往往被忽略。近年来，基于黎曼几何的分类算法在脑机接口领域得到了广泛的应用。黎曼几何提供了一些黎曼度量，可以直接应用协方差矩阵中的空域信息，而无需源分离步骤。然而情绪状态的变化涉及复杂的大脑活动，其EEG信号的特征同时分布在时域-频域-空间域，若能有效地结合这些特征将会提高情绪识别的准确性。
发明内容
为了能够准确识别出不同的情绪状态，本发明提出了一种基于增强对称正定矩阵的脑电情绪识别方法。
本发明首先采用小波包变换(Wavelet Packet Transform)提取脑电信号的时频域信息；然后通过协方差方法将时频域信息嵌入到对称正定(Symmetric PositiveDefinite,SPD)矩阵中得到增强的对称正定矩阵；最后将增强的SPD矩阵在黎曼流形空间进行降维并映射到切空间中，并在切空间中使用支持向量机进行分类。通过对脑电信号进行分类，来评估情绪识别的准确性。
本发明具有以下有益效果：
提取脑电信号的特征用来情绪识别时，传统的方法主要提取其时域、频域或者二者结合的信息，忽略了大量空域信息；而基于黎曼几何的分类方法可以提供空域信息，但忽略了其他信息，并且随着通道数的增加，其矩阵维度也将大幅增加导致维度灾难问题。因此本发明通过小波包变换提取信号的时频域信息并将其嵌入到对称正定矩阵中，然后设计了在黎曼流形空间中的降维算法对增强的对称正定矩阵进行降维，最后将这些矩阵映射到切平面中对多种情绪进行分类识别。本发明一方面将时频域信息嵌入到对称正定矩阵中，利用时频域以及空域的特征信息来提高情绪识别的准确率，另一方面通过黎曼流形空间的降维算法，避免了维度灾难问题，降低了计算的复杂度。
附图说明
图1为本发明的实施流程图；
图2为增强对称正定矩阵样本；
图3为降维后的对称正定矩阵维度。
具体实施方式
本发明方法主要包括以下步骤：
步骤1：对脑电信号进行预处理，包括通道筛选，用时间窗分割时间段等；
步骤2：采用小波包变换提取脑电信号的时频域信息，得到θ,α,β,θ四个频带相应的重构信号；
步骤3：根据步骤2得到的重构信号，计算样本的协方差得到增强的对称正定矩阵样本；
步骤4：设计在黎曼流形空间的降维算法，对增强的对称正定矩阵进行降维；
步骤5：根据步骤4得到的降维后的样本，计算其黎曼均值并以该均值点为切点建立切平面，将这些样本映射到该切平面中，使用支持向量机进行分类。
作为优选，步骤2具体如下：
小波包分解(Wavelet Packet Decomposition)，又称为最优子带树结构,是对小波变换的进一步优化。其主要的算法思想是：在小波变换的基础上，在每一级信号分解时，除了对低频子带进行进一步分解，也对高频子带进行进一步分解。最后通过最小化一个代价函数，计算出最优的信号分解路径，并以此分解路径对原始信号进行分解。
对于小波包变换，一个重要的环节是选择合适的小波函数基进行信号分解。Daubechies小波，通常简称为dbN小波，其中N为小波分解的级数。该小波的尺度函数和小波函数的支撑区间长度为2N-1，小波函数的消失矩为N。dbN小波具有较好的正则性(本身的函数较为光滑，其拟合出的信号也较为光滑)，且随着小波分解级数N的增加，其小波函数的消失矩也增大，小波更加光滑，在时域的紧支撑性降低(支撑区间变大)，在频域的局部性增加(频域可分性更强)。本发明通过采用db4小波作为小波函数基，对脑电信号应用小波包变换提取出4个频带θ,α,β,θ，并重构出相应的信号Xθ,Xa,Xβ,Xθ。
作为优选，步骤3具体如下：
脑电信号通常为由多个通道进行测量的时间序列。假设
为第i次脑电信号样本，其中N为通道数，T为样本点数。该样本的样本协方差矩阵(sample covariancematrix，SCM)为
样本协方差矩阵是一个对称正定矩阵，它位于黎曼流形空间中，因此可以用黎曼几何的工具来处理它，SPD矩阵包含了通道间的空域信息，不包含信号的时域和频域信息。
对于步骤2中重构出来的4个频带的信号Xθ,Xα,Xβ,Xγ，将其排列组合为新的样本
新的样本Xi *的通道数目将变为4N。通过对新的样本Xi *进行式(1)的计算便得到了增强的SPD矩阵Pi *：
作为优选，步骤4具体如下：
传统的降维方法不能对矩阵样本进行降维，因此设计了在黎流形空间中降维算法对SPD矩阵进行降维。该方法在降低样本的维度的同时，增加样本的可分性。对于SPD矩阵P*，为了保持它的几何结构使降维后的矩阵仍然位于黎曼流形空间中，定义了一个双线性映射算子W，降维后的SPD矩阵Pm为：
Pm＝WTP*W (4)
其中m为降维后的样本维度。
为了增加样本的可分性，利用样本的类标签信息进行有监督降维。类中心通常表示该类的特征，因此在降维的同时，通过将样本靠近其类中心而远离其他类中心来增加样本的可分性。
定义Pi *为其中一个增强SPD矩阵样本，yi为该样本的类标签。根据类标签的不同，将SPD矩阵样本划分为不同的集合Cj，其中j代表类别个数，sj为由式(5)计算出来的j个类中心：
其中δR为黎曼度量。
定义一个权重函数u(·,·)来表示样本和类中心的关系：
该函数将会赋予样本与同类类中心之间一个正值权重，赋予与不同类类中心之间一个负值权重。
基于以上描述，提出下列目标函数：
为了保持降维后的矩阵对称正定结构，添加了约束条件WTW＝In。
式(7)没有闭式解，其优化求解方法如下：
在黎曼流形空间中存在着不同的黎曼度量，采用仿射不变黎曼度量(AffineInvariant Riemannian Metric,AIRM)来进行求解，该度量准则为：
因此式(7)可以重写为：
由于logMk≈Mk-I因此：
式(9)可以重写为：
其中
式(11)是一个迹优化问题，通过不断分解其特征值来进行迭代求解。
下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程：
如图1所示，本实施例步骤如下：
步骤1，对情绪脑电信号进行通道筛选，选取与情绪相关的关键通道(O2、P8、T8、FC6、F4、F8、AF4、AF3、F7、F3、FC5、T7、P7、O1)；去除3s基线信号，并用4s时间窗对最后30s脑电信号数据进行分割。
步骤2，利用小波包提取每段脑电信号的四个频带θ,a,β,γ，并进行信号重构。
步骤3，对重构出来的脑电信号Xθ,Xα,Xβ,Xγ，按照频带组合为新的信号X*＝[[Xθ,Xα,Xγ,Xβ]T，计算X*的协方差矩阵得到增强的SPD矩阵样本，如图2所示。
步骤4，对得到的增强SPD矩阵在黎曼流形空间进行有监督降维。根据信号样本以及标签计算出每类的黎曼均值点，赋予样本到同类均值点较高的权重，以及到不同类均值点较低的权重，得到样本和类均值点之间的权重矩阵，然后根据优化算法来迭代更新得到降维后的SPD矩阵，每个受试者的降维后的维度如图3所示。
步骤5，计算降维后的SPD矩阵的黎曼均值点，并以此点为切点建立切平面，将SPD矩阵映射到该切平面中。该切平面处于欧式空间中，在此空间中使用支持向量机训练模型并分类。本发明采用DEAP数据集，对情绪分别进行了效价、唤醒度的二分类以及在这两个维度上进行的四分类实验，实验结果如表1、2所示。
表1.DEAP数据集在效价和唤醒度维度的二分类结果(％)
表2.DEAP数据集四分类结果(％)
本实施例通过提取脑电信号的时频域信息，并将此嵌入到SPD矩阵中来提高EEG情绪识别的准确性。针对SPD矩阵的高维问题，在黎曼空间中设计了一种监督降维方法对SPD矩阵进行降维。在降低维数的同时，还可以减少类内距离，增加样本之间的类间距离。为了验证该方法的有效性，使用开源数据集(DEAP)进行了效价和唤醒度的二元分类实验和四类分类实验。实验结果表明，该方法在情绪脑电信号的二类以及多类分类识别中具有较好的性能。
Claims (4)
1.一种基于增强对称正定矩阵的脑电情绪识别方法，该方法包括如下步骤：
步骤1：对脑电信号进行预处理，包括降噪和用时间窗分割时间段；
步骤2：采用小波包变换提取脑电信号的时频域信息，得到θ,α,β,γ四个频带相应的重构信号；
步骤3：根据步骤2得到的重构信号，计算样本的协方差得到增强的对称正定矩阵；
步骤4：设计在黎曼流形空间的降维算法，对增强的对称正定矩阵进行降维；
步骤5：根据步骤4得到的降维后的样本，计算其黎曼均值并以该均值点为切点建立切平面，将这些样本映射到该切平面中，使用支持向量机进行分类。
2.根据权利要求1所述的一种基于增强对称正定矩阵的脑电情绪识别方法，其特征在于：步骤2中采用db4小波作为小波函数基。
3.根据权利要求1所述的一种基于增强对称正定矩阵的脑电情绪识别方法，其特征在于：步骤3是将步骤2中四个重构信号Xθ,Xα,Xβ,Xθ排列组合为新的样本Xi *：
新的样本Xi *的通道数目为4N，N为脑电信号通道数,i表示第i次脑电信号样本；
对新的样本Xi *进行计算得到增强的对称正定矩阵Pi *：
其中T为样本点数。
4.根据权利要求1所述的一种基于增强对称正定矩阵的脑电情绪识别方法，其特征在于：步骤4具体是：
对于增强的对称正定矩阵P*，为了保持它的几何结构使降维后的矩阵仍然位于黎曼流形空间中，定义一个双线性映射算子W，降维后的对称正定矩阵矩阵Pm为：
Pm＝WTP*W
其中m为降维后的样本维度；
为了增加样本的可分性，利用样本的类标签信息进行有监督降维；类中心表示该类的特征，因此在降维的同时，通过将样本靠近其类中心而远离其他类中心来增加样本的可分性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111271233.1A CN114139572A (zh) | 2021-10-29 | 2021-10-29 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111271233.1A CN114139572A (zh) | 2021-10-29 | 2021-10-29 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114139572A true CN114139572A (zh) | 2022-03-04 |
Family
ID=80394947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111271233.1A Pending CN114139572A (zh) | 2021-10-29 | 2021-10-29 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114139572A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116664950A (zh) * | 2023-06-20 | 2023-08-29 | 中国人民解放军国防科技大学 | 极光图像自动分类方法、装置、计算机设备和存储介质 |
| CN116687406A (zh) * | 2023-05-06 | 2023-09-05 | 粤港澳大湾区精准医学研究院(广州) | 情绪识别方法、装置、电子设备及存储介质 |
| CN117204856A (zh) * | 2023-10-07 | 2023-12-12 | 清华大学 | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106580319A (zh) * | 2016-12-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | 一种基于小波变换的脑电放松度识别方法及装置 |
| CN112754502A (zh) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | 一种基于脑电信号的音乐自动切换方法 |
-
2021
- 2021-10-29 CN CN202111271233.1A patent/CN114139572A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106580319A (zh) * | 2016-12-20 | 2017-04-26 | 广州视源电子科技股份有限公司 | 一种基于小波变换的脑电放松度识别方法及装置 |
| CN112754502A (zh) * | 2021-01-12 | 2021-05-07 | 曲阜师范大学 | 一种基于脑电信号的音乐自动切换方法 |
Non-Patent Citations (1)
| Title |
|---|
| ALEXANDRE BARACHANT等: ""Multiclass Brain–Computer Interface Classification by Riemannian Geometry"", IEEE, 30 April 2012 (2012-04-30), pages 920 - 928, XP011434140, DOI: 10.1109/TBME.2011.2172210 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116687406A (zh) * | 2023-05-06 | 2023-09-05 | 粤港澳大湾区精准医学研究院(广州) | 情绪识别方法、装置、电子设备及存储介质 |
| CN116687406B (zh) * | 2023-05-06 | 2024-01-02 | 粤港澳大湾区精准医学研究院(广州) | 情绪识别方法、装置、电子设备及存储介质 |
| CN116664950A (zh) * | 2023-06-20 | 2023-08-29 | 中国人民解放军国防科技大学 | 极光图像自动分类方法、装置、计算机设备和存储介质 |
| CN116664950B (zh) * | 2023-06-20 | 2024-03-22 | 中国人民解放军国防科技大学 | 极光图像自动分类方法、装置、计算机设备和存储介质 |
| CN117204856A (zh) * | 2023-10-07 | 2023-12-12 | 清华大学 | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934089B (zh) | 基于监督梯度提升器的多级癫痫脑电信号自动识别方法 | |
| Li et al. | Epileptic seizure detection in EEG signals using a unified temporal-spectral squeeze-and-excitation network | |
| CN114139572A (zh) | 一种基于增强对称正定矩阵的脑电情绪识别方法 | |
| Seifpour et al. | A new automatic sleep staging system based on statistical behavior of local extrema using single channel EEG signal | |
| CN107361766B (zh) | 一种基于emd域多维信息的情绪脑电信号识别方法 | |
| Shaker | EEG waves classifier using wavelet transform and Fourier transform | |
| CN111832438B (zh) | 一种面向情感识别的脑电信号通道选择方法、系统及应用 | |
| CN111444747B (zh) | 一种基于迁移学习和空洞卷积的癫痫状态识别方法 | |
| CN103886323B (zh) | 基于移动终端的行为识别方法及移动终端 | |
| CN112949533B (zh) | 一种基于相对小波包熵脑网络和改进版lasso的运动想象脑电识别方法 | |
| CN112603335B (zh) | 脑电情感识别方法、系统、设备及存储介质 | |
| Yuan et al. | Wave2vec: Learning deep representations for biosignals | |
| CN108567418A (zh) | 一种基于PCANet的脉搏信号亚健康检测方法及检测系统 | |
| CN107273841A (zh) | 一种基于emd及高斯核函数svm的脑电情感分类方法 | |
| CN112754502A (zh) | 一种基于脑电信号的音乐自动切换方法 | |
| Ma et al. | Silent speech recognition based on surface electromyography | |
| CN115770044A (zh) | 基于脑电相位幅值耦合网络的情绪识别方法及装置 | |
| CN110403602A (zh) | 用于脑电信号情感分析的改进公共空间模式特征提取方法 | |
| Zhou et al. | Deep learning-based classification of massive electrocardiography data | |
| CN114781441A (zh) | Eeg运动想象分类方法及多空间卷积神经网络模型 | |
| CN110141211A (zh) | 一种基于经验模态分解的稳态视觉诱发电位的分类方法 | |
| CN114358057A (zh) | 一种跨个体脑电情感识别方法、系统、装置及介质 | |
| CN113569924A (zh) | 一种基于支持向量机多核协作的情绪辨识分类方法 | |
| CN112932497A (zh) | 一种不平衡单导联心电数据分类方法及系统 | |
| CN117860266A (zh) | 基于实时脑电监测技术的智能失眠治疗方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |