CN111310570A - 一种基于vmd和wpd的脑电信号情感识别方法及系统 - Google Patents
一种基于vmd和wpd的脑电信号情感识别方法及系统 Download PDFInfo
- Publication number
- CN111310570A CN111310570A CN202010047429.1A CN202010047429A CN111310570A CN 111310570 A CN111310570 A CN 111310570A CN 202010047429 A CN202010047429 A CN 202010047429A CN 111310570 A CN111310570 A CN 111310570A
- Authority
- CN
- China
- Prior art keywords
- electroencephalogram signal
- wavelet packet
- emotion recognition
- wpd
- vmd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 48
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 47
- 239000013598 vector Substances 0.000 claims abstract description 23
- 230000008451 emotion Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims description 18
- 230000002996 emotional effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 210000004556 brain Anatomy 0.000 claims description 11
- 238000007637 random forest analysis Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 description 14
- 238000011160 research Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005312 nonlinear dynamic Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000007177 brain activity Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000006996 mental state Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 101100257981 Arabidopsis thaliana S-ACP-DES3 gene Proteins 0.000 description 1
- 101150057677 DAD3 gene Proteins 0.000 description 1
- 102100034004 Gamma-adducin Human genes 0.000 description 1
- 101000799011 Homo sapiens Gamma-adducin Proteins 0.000 description 1
- 101001080624 Homo sapiens Proline/serine-rich coiled-coil protein 1 Proteins 0.000 description 1
- 101000652684 Homo sapiens Transcriptional adapter 3 Proteins 0.000 description 1
- 102100027427 Proline/serine-rich coiled-coil protein 1 Human genes 0.000 description 1
- 101100433696 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) AAD3 gene Proteins 0.000 description 1
- 102100030836 Transcriptional adapter 3 Human genes 0.000 description 1
- 230000003935 attention Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000036995 brain health Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000036552 dowling-degos disease 3 Diseases 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007636 ensemble learning method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 208000002153 familial abdominal 3 aortic aneurysm Diseases 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003557 neuropsychological effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/259—Fusion by voting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/22—Source localisation; Inverse modelling
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Developmental Disabilities (AREA)
- General Engineering & Computer Science (AREA)
- Psychology (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本公开公开了一种基于VMD和WPD的脑电信号情感识别方法，包括对获取的脑电信号数据进行变分模态分解，得到变分模态分量；对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；将特征向量送入分类器中进行情感状态的分类识别。获得更好的时频分辨率，更能捕捉EEG信号的非线性特征，同时能够得到与情感更为相关的EEG频带，为情感识别提供良好的EEG特征基础，进而取得更好的情感识别效果。
Description
技术领域
本公开涉及情感识别技术领域，特别是涉及一种基于VMD和WPD的脑电信号情感识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
近年来，基于脑电(Electroencephalogram，EEG)信号的情感识别的研究已经颇具规模，人们对基于EEG的情感识别的发展热度不断提升，利用先进的特征提取方法，能够实现人机之间的情感互动，逐步达到信息化。因此，基于EEG的情感识别应运而生，即利用EEG进行情感识别进而实现在线疲劳监测，远程教育和辅助医生进行医疗诊断等。中国脑计划启动在即，主要研究内容为深化脑健康相关的基础研究，建立标准统一的脑科学研究数据平台，开展脑科学新技术、新方法研究。
情感识别的研究目标之一是通过各种不同的方法来找到适合EEG情感识别的特征，然后优化模型以提高分类方法的准确率；另一目标就是找出与情感活动最相关的EEG频段和脑区，为基于EEG的研究提供良好的EEG特征。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
近年来，经验模态分解(Empirical Mode Decomposition，EMD)被广泛地应用到了脑电信号的特征提取中，但EMD存在很多的局限性，如容易出现模态混叠、对噪声的鲁棒性差以及存在未知的震荡等，从而影响分解的效果。在认知神经科学的研究中发现，并非所有收集到的频率都对情感识别问题是有效的，脑电信号的不同频带和不同的大脑活动密切相关。对于脑电频带的选择，研究者们大多都是基于前人的经验。在频带提取阶段，离散小波变换(Discrete Wavelet Transform，DWT)对高频信号的分解不够精细，容易丢失情感信息。
研究发现时频分析能够同时表示信号在时域和频域的瞬时变化，混合的时频分析方法可以获得更好的情感识别效果。Kabir和Bhuiyan的研究表明，EMD-DWT等混合分解方法可以有效的分析诸如心电(Electrocardiogram，ECG)、EEG等非线性、非平稳的生理信号。Rahman等人发现VMD-DWT比只使用变分模态分解(Variational Mode Decomposition，VMD)和DWT方法可以获得更大的时频分辨率，更有可能能够捕捉到反映EEG信号的非线性特征。这些混合方法虽然都应用到了EEG信号的处理上，但没有应用到情感识别领域的特征提取中，因此，非常必要提出一种新的基于混合时频分析的特征提取方法具有重要意义。
发明内容
为了解决上述问题，本公开提出了一种基于VMD和WPD的脑电信号情感识别方法及系统，变分模态分解VMD和小波包分解(Wavelet Packet Decomposition，WPD)的多维特征提取方法能够获得更好的时频分辨率，更能捕捉EEG信号的非线性特征，同时能够得到与情感更为相关的EEG频带，为情感识别提供良好的EEG特征基础，进而取得更好的情感识别效果。
为了实现上述目的，本公开采用如下技术方案：
第一方面，本公开提供一种基于VMD和WPD的脑电信号情感识别方法，包括：
对获取的脑电信号数据进行变分模态分解，得到变分模态分量；
对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；
分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；
将特征向量送入分类器中进行情感状态的分类识别。
作为可能的一些实现方式，所述小波包分解与重构包括：
初始化分解层数i和平移参数m，计算变分模态分量的小波包函数，根据小波包函数计算其在第i层第m个位置的小波包系数；
根据小波包系数对变分模态分量进行重构，得到在脑电信号频段中β和γ频带下的重构信号。
作为可能的一些实现方式，所述小波包熵的计算过程包括：
对脑电信号进行i层小波包分解，得到2i个小波节点；
对第i层节点小波包系数进行重构，得到各节点的重构信号Si,m，其中m＝1,2,…,2i，
计算Si,m对应的能量Ei,m和总能量E，
其中，Si,m(t)是Si,m的第t个数据点，t＝1,2,…,T，T为变分模态分量的个数；
对Ei,m进行归一化，即：
Pi,m＝Ei,m/E，
计算Si,m对应的小波熵Hi,m,即：
Hi,m＝-Pi,mlogPi,m。
作为可能的一些实现方式，所述改进的多尺度样本熵的计算过程包括：
计算以延迟时间τ为尺度因子的移动平均时间序列zτ的样本熵，即：
MMSE＝SampleEn(zτ,m,δ＝τ,r)，
其中，SampleEn为样本熵的计算函数，m＝1,2,…,2i，δ是延迟时间。
作为可能的一些实现方式，所述分形维数计算过程包括：
将脑电信号S构造为一个新的脑电信号
的定义为：
计算l集合的值，即：
计算分形维数，即：
其中，n为初始时间点，n＝1,2,…,T，T为变分模态分量的个数，l是时间间隔，[·]代表向下取整；i为分解的层数；<L(l)>为Ln(l)的均值。
作为可能的一些实现方式，所述一阶差分值计算过程包括：
含有T个数据点的脑电信号，一阶差分定义为：
其中，T1表示脑电信号的采样点数。
第二方面，本公开提供一种基于VMD和WPD的脑电信号情感识别系统，包括：
变分模态分解模块，被配置为对获取的脑电信号数据进行变分模态分解，得到变分模态分量；
重构模块，被配置为对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；
特征向量组成模块，被配置为分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；
分类识别模块，被配置为将特征向量送入分类器中进行情感状态的分类识别。
第三方面，本公开提供一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于VMD和WPD的脑电信号情感识别方法所述的步骤。
第四方面，本公开提供一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于VMD和WPD的脑电信号情感识别方法所述的步骤。
与现有技术相比，本公开的有益效果为：
本公开方法由五部分组成：数据预处理部分、变分模态分解部分、小波包分解与重构部分、特征向量的计算部分和分类器分类与预测部分。通过分析发现，并不是所有的EEG频带都适合情感识别的研究，本公开提取与情感最为相关的EEG频带，并将其重构为一个新的情感频带。针对单独的时频分析方法的情感识别效果不如集成的时频分析方法的效果好，集成的时频分析方法可以获得更大的时频分辨率和更能捕捉EEG信号的非线性特征，本公开将VMD和WPD方法进行集成用于EEG的情感识别。
VMD和WPD的分解与重构部分是将所选择的数据进行VMD分解，再将分解得到的向量VMF进行小波包分解与重构，得到重构频带VMFβ+γ；特征向量的计算部分由计算WPE、计算MMSE、计算FD、计算1ST组成，主要计算了基于非线性动力学的特征值和基于时域的特征值，将计算的特征值组成情感特征向量x；最后将情感特征向量送入分类器中进行分类与预测，进而进行情感状态的识别。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例中的基于VMD和WPD的多维特征提取方法流程图；
图2为本公开实施例中的WPD分解与重构的过程图；
图3为本公开实施例中的WPD二叉树示意图；
图4为本公开实施例中的MMSE的移动平均粗粒度过程图；
图5为本公开实施例中的随机森林分类器的体系结构图。
具体实施方式：
下面结合附图与实施例对本公开做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开首先提供了一种基于VMD和WPD的多维特征提取方法，如图1所示主要包括以下几个过程：
步骤S1：从情感EEG数据集中获取数据，对数据进行预处理；
步骤S2：对预处理的EEG信号进行VMD分解，分解得到VMF；
步骤S3：对VMF进行WPD，得到VMFβ+γ；
步骤S4：提取VMFβ+γ的WPE、MMSE、FD和1ST组成情感特征向量x；
步骤S5：将特征向量x送入随机森林分类器中进行情感状态的识别。
本公开提出的基于VMD和WPD的多维特征提取算法可描述为：
在本实施例的步骤S1中，本公开使用国际上公开的多模态情感数据集DEAP，使用的是经过降采样和去眼电处理的MATLAB版本的数据，每个被试有一个.mat文件。
DEAP数据集提供的是经过降采样和去眼电的EEG数据，本公开对数据进行了进一步的预处理，数据预处理部分由数据选择、数据分段和基线校正。根据人类的注意力机制，人类情绪的产生需要一定的时间，因此提取24s-43s的数据作为分析数据，即删除前23s和后20s的数据。由于太长的数据可能会影响运行速度和分类性能，所以数据被划分为具有4s时间窗口的数据段，采用没有重叠的方式。因此，每个通道可以提取5段的EEG数据，它们共享一个标签，一个被试可以提取6400段数据。为了获得更纯净的情感数据，对提取的20s数据进行基线校正，即以第三秒的基线数据作为基线，从20s的情绪数据中减去基线，得到与刺激最相关的EEG数据。
在本实施例的步骤S2中，对预处理的EEG信号进行VMD分解，分解得到VMF。
假设每个VMF是围绕中心频率的有限带宽，将VMF重新定义为一个调幅-调频(AM-FM)信号，用uk(t)表示分解得到的第k个模态分量，1≤k≤K。
其中，K为预设的分解尺度，Ak(t)和
分别为uk(t)的瞬时幅值和瞬时相位，
是一个非递减函数，uk(t)的瞬时频率为ωk(t)。
(1)对各个模态函数uk(t)进行Hilbert变换得到相应的解析信号vk(t)。
vk(t)＝[(δ(t)+j/πt)×uk(t)] (3)
其中，δ(t)为Dirac分布，j为虚数单位，×表示卷积运算。
(2)对各解析信号估计一个中心频率ωk，利用指数项
进行修正，将每个模态的频谱变换到相应的基带得到yk(t)。
(3)通过高斯平滑指标即L2范数梯度的平方根解调信号，以此估计各模态分量的带宽，最终得到约束变分问题为：
s.t.∑kuk＝s (6)
其中,{uk}＝{u1,u2,…,uK}表示分解得到的K个VMF分量，{ωk}＝{ω1,ω2,…,ωK}代表各VMF的频率中心，
表示对t求偏导，s为原始信号。
对变分问题进行求解，利用二次惩罚因子α和Lagrange乘子λ(t)将其转化为无约束问题，即
其中，
是二次惩罚项，<·>表示内积运算，α用来保证重构的精度，利用λ(t)来保证约束条件的严格性；然后，根据乘子交替方向算法(Alternatedirection method of multipliers，ADMM)求取约束变分问题的最优解。
VMD算法如下：
在算法2中，
表示第n+1次迭代时，第k个分量
所对应的Fourier变换，其中n为迭代的次数。s(ω)是信号s(t)对应的Fourier变换。
表示第n+1次迭代时，第k个分量
所对应中心频率。λn(ω)表示第n次迭代时，拉格朗日乘法算子λ(t)对应的傅里叶变换，τ为拉格朗日乘法算子的更新步长。i为假定的分量个数且i≠k，ε为判别精度且ε>0。
在本实施例的步骤S3中，情感识别的目标之一就是寻找与情感识别活动最相关的EEG频段，为基于脑电的研究提供良好的EEG特征。通过分析发现，并非所有收集到的频带都对情感识别问题是有效的，脑电信号的不同频带和不同的大脑活动密切相关。各频带的分类、相应的心理状态如下所述：
δ频带一般出现在成人无梦的深度睡眠中，属于无意识的精神状态；
θ频带出现在成人睡眠和做梦的过程中，也属于无意识的精神状态；
α频带在人处于放松和闭眼时出现，此时的状态称为潜意识状态；
β频带在人进行逻辑分析和运动的时候出现，与活跃的精神状态有关，主要出现在大脑额叶，反应了大脑皮层的兴奋度；
γ频带与人的多模态感觉有关，如视觉、听觉、触觉等，与超级大脑活动有关，γ频带也被心理学家认为是与人的注意力，认知，情绪等密切相关。
已有的研究表明，对情感识别效果最好的EEG频带是β和γ频带，这与神经心理学关于情感频带的研究相一致。所以，接下来使用β和γ频带重构的新的情感频带。
小波包分解与重构的过程如图2所示。从理论上来讲，WPD本质上还是一种小波变换(WT)，但从情感识别的效果来看，WPD的性能是优于WT的。
在WPD的过程中，输入信号被分解为低频部分和高频部分，其中低频部分和高频部分又分别被进一步的分解为低频部分和高频部分，重复此过程可以得到一棵完整的小波包二叉树。
本公开使用的是三层小波包分解，小波包二叉树的示意图如图3，其中A代表低频部分，D代表高频部分，A和D末尾的数字表示小波包分解的层数，即尺度。
WPD分解的大致过程可描述为：首先脑电信号被分解为A1和D1，然后再分别对A1和D1进行分解，分解为AA2、DA2、AD2、和DD2，最后再对AA2、DA2 AD2、和DD2进行分解就可得到一棵完整小波包二叉树。分解完毕后，可以得到：
S＝AAA3+DAA3+ADA3+DDA3+AAD3+DAD3+ADD3+DDD3 (8)
此前研究表明WPD是一种常见的用来分析非平稳信号的时频分析方法。通过WPD，EEG信号可以被分解为一系列的低频信号和高频信号，对EEG信号S(t)进行处理，可以得到一系列的窄带信号，以便更好地将信号的时频局部化，小波包分解的二尺度方程定义如下：
其中，h(j)和g(j)分别为低通和高通滤波器系数，Z表示整数集，
为小波包树的第m个节点的信号，
和
分别
是分解后对应的低频和高频信号。
小波包函数
的定义如下：
在式(10)中，i，j分别代表尺度因子和时间因子，m为震荡因子。
将S(t)与小波包函数做内积可以得到相应的小波包系数：
其中，φi,m表示第i层的第m个小波包系数，m为平移参数。
WPD算法可以描述如下：
在进行WPD时，选择db4小波基，原因是该小波基与正常的EEG信号比较接近，能够产生更加精确的分解结果。
在本实施例的步骤S4中，由于集成的时频分析方法可以更好的捕捉EEG信号的非线性特征，进一步提取信号的非线性特征。非线性理论具有非周期性、非线性、随机性和对初始条件敏感等特点。在基于EEG信号的情感识别领域，常见的非线性动力学方法有熵、FD、Lyapunov指数等。大脑是一个非常复杂的动力学系统，所以脑电信号本身具有非线性和随机性等特点，相对于传统的线性分析方法，非线性的分析方法更能描述EEG信号所要表达的真实信息。随着非线性动力学分析方法的发展，提出了更多描述EEG特性的非线性方法，也得到了应用与验证，其中WPE、SE和FD被证明是非常适合情感识别领域的EEG信号特征提取。
1)小波包熵(WPE)
WPE是基于小波包分解方法建立起来的类似于信息熵的非线性动力学方法，反映了信号在时频域的能量分布情况，不同信号在时频分布上的差异表现为能量分布的差异，而且WPE能够对时频域上的能量分布特性进行定量的描述。WPE可以准确的反映脑电信号的复杂程度和不确定性，特别适合非平稳信号的分析。WPE的计算过程如下：
(1)定义EEG信号为S，对S进行i层小波包分解，得到2i个小波节点；
(2)对第i层节点小波包系数进行重构，得到各节点的重构信号Si,m，其中m＝1,2,…,2i。
(3)计算Si,m对应的能量Ei,m和总能量E，Ei,m和E的定义如下：
其中，Si,m(t)是Si,m的第t个数据点，t＝1,2,…,T。
(4)对Ei,m进行归一化：
Pi,m＝Ei,m/E (14)
(5)计算Si,m对应的小波熵Hi,m,即
Hi,m＝-Pi,mlogPi,m (15)
EEG信号的WPE表示脑电信号的无序程度，熵值越大，说明信号的无序程度更高，熵值越低，越有序。
2)改进的多尺度样本熵(MMSE)
样本熵(SE)理论提出后，又发展为多尺度样本熵(MSE)。MSE是多尺度和样本熵的组合，即在计算SE之前先对信号进行粗粒度处理。但随着尺度因子的增大，粗粒度的过程会大大减少时间序列的长度，很可能会造成大量信息的丢失，会产生不精确的熵值。为了改善MSE存在的问题，提出了改进的MMSE。MMSE通过移动平均的方式得到不同尺度下的时间序列，计算在延迟时间τ下的SE，移动平均的粗粒度原理如图4所示。
MMSE的计算原理可描述为：
(1)让zτ表示以τ为尺度因子的移动平均时间序列，zτ的定义如下：
(2)计算移动时间序列zτ的在延迟时间δ＝τ下的SE，命名为MMSE。计算公式如下：
MMSE＝SampleEn(zτ,m,δ＝τ,r) (17)
其中，SampleEn为样本熵的计算函数，m表示嵌入维数，r表示相似容限。
3)分形维数(FD)
FD是一个用来衡量脑电信号复杂度和非线性程度的非线性特征，可以很好的识别不同的情绪状态。本专利使用Higuchi算法计算FD，计算过程如下：
(1)将EEG信号S构造为一个新的EEG信号
的定义如下：
其中，n为初始时间点，n＝1,2,…,T，l是时间间隔，[·]代表向下取整。
(2)计算l集合的值，即
(3)计算分形维数，
其中<L(l)>为Ln(l)的均值。
4)一阶差分(1ST)
时域特征一般是指直接从EEG信号时间域上计算得到的一类特征，在情感识别领域通常把统计特征作为时域特征。在基于EEG信号的情感识别领域，时间序列的1ST表现出优异的性能,可以很好的识别不同的情感脑电，1ST描述时间序列在时域的信号改变的强度。对于一个含有T个数据点的EEG信号，一阶差分可以定义为：
其中T表示脑电信号的采样点数。
在本实施例的步骤S5中，将计算的特征向量送入随机森林分类器中进行情感状态的识别。由于传统的分类器容易出现过拟合，这会导致分类精度的下降，许多的研究者就通过组合分类器的方法来提高分类精度。在这种背景下，随机森林分类器应运而生，它是最为重要的基于Bagging的集成学习方法之一。
随机森林分类器的体系结构如图5所示。随机森林分类器是通过随机的构造多棵相互无关的决策树来实现样本的训练、分类和预测。在随机森林分类器中，每棵决策树都可以看做一个独立的分类器，随机森林分类器所输出的类别是由所有的决策树投票而定。随机森林不仅在处理高维、连续和离散数据方面具有明显的优势，在避免过拟合方面的表现也很出色。大量的研究表明，随机森林是情感识别领域比较受欢迎的分类器之一。
实施例3
本公开提供一种基于VMD和WPD的脑电信号情感识别系统，包括：
变分模态分解模块，被配置为对获取的脑电信号数据进行变分模态分解，得到变分模态分量；
重构模块，被配置为对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；
特征向量组成模块，被配置为分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；
分类识别模块，被配置为将特征向量送入分类器中进行情感状态的分类识别。
实施例3
本公开提供一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种基于VMD和WPD的脑电信号情感识别方法所述的步骤。
实施例4
本公开提供一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种基于VMD和WPD的脑电信号情感识别方法所述的步骤。
以上仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，包括：
对获取的脑电信号数据进行变分模态分解，得到变分模态分量；
对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；
分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；
将特征向量送入分类器中进行情感状态的分类识别。
2.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述小波包分解与重构包括：
初始化分解层数i和平移参数m，计算变分模态分量的小波包函数，根据小波包函数计算其在第i层第m个位置的小波包系数；
根据小波包系数对变分模态分量进行重构，得到在脑电信号频段中β和γ频带下的重构信号。
3.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述小波包熵的计算过程包括：
对脑电信号进行i层小波包分解，得到2i个小波节点；
对第i层节点小波包系数进行重构，得到各节点的重构信号Si,m，其中m＝1,2,…,2i，
计算Si,m对应的能量Ei,m和总能量E，
其中，Si,m(t)是Si,m的第t个数据点，t＝1,2,…,T，T为变分模态分量的个数；
对Ei,m进行归一化，即：
Pi,m＝Ei,m/E，
计算Si,m对应的小波熵Hi,m,即：
Hi,m＝-Pi,mlog Pi,m。
4.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述改进的多尺度样本熵的计算过程包括：
计算以延迟时间τ为尺度因子的移动平均时间序列zτ的样本熵，即：
MMSE＝SampleEn(zτ,m,δ＝τ,r)，
其中，SampleEn为样本熵的计算函数，m＝1,2,…,2i，δ是延迟时间。
5.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述分形维数计算过程包括：
将脑电信号S构造为一个新的脑电信号
的定义为：
计算l集合的值，即：
计算分形维数，即：
其中，n为初始时间点，n＝1,2,…,T，T为变分模态分量的个数，l是时间间隔，[·]代表向下取整；i为分解的层数；<L(l)>为Ln(l)的均值。
6.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述一阶差分值计算过程包括：
含有T个数据点的脑电信号一阶差分定义为：
其中，T1表示脑电信号的采样点数。
7.如权利要求1所述的一种基于VMD和WPD的脑电信号情感识别方法，其特征在于，所述分类器采用随机森林分类器。
8.一种基于VMD和WPD的脑电信号情感识别系统，其特征在于，包括：
变分模态分解模块，被配置为对获取的脑电信号数据进行变分模态分解，得到变分模态分量；
重构模块，被配置为对变分模态分量进行小波包分解与重构，得到在脑电信号频段中β和γ频带下的重构信号；
特征向量组成模块，被配置为分别计算重构信号的小波包熵、改进的多尺度样本熵、分形维数和一阶差分值，组成对脑电信号情感识别的特征向量；
分类识别模块，被配置为将特征向量送入分类器中进行情感状态的分类识别。
9.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010047429.1A CN111310570B (zh) | 2020-01-16 | 2020-01-16 | 一种基于vmd和wpd的脑电信号情感识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010047429.1A CN111310570B (zh) | 2020-01-16 | 2020-01-16 | 一种基于vmd和wpd的脑电信号情感识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111310570A true CN111310570A (zh) | 2020-06-19 |
| CN111310570B CN111310570B (zh) | 2022-06-10 |
Family
ID=71146774
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010047429.1A Expired - Fee Related CN111310570B (zh) | 2020-01-16 | 2020-01-16 | 一种基于vmd和wpd的脑电信号情感识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111310570B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113017628A (zh) * | 2021-02-04 | 2021-06-25 | 山东师范大学 | 融合erp成分与非线性特征的意识情绪识别方法及系统 |
| CN113919387A (zh) * | 2021-08-18 | 2022-01-11 | 东北林业大学 | 基于gbdt-lr模型的脑电信号情感识别 |
| CN114027840A (zh) * | 2021-11-12 | 2022-02-11 | 江苏科技大学 | 基于变分模态分解的情绪脑电识别方法 |
| CN114081494A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大学 | 一种基于大脑外侧缰核信号的抑郁状态检测系统 |
| CN114343635A (zh) * | 2021-12-06 | 2022-04-15 | 北京理工大学 | 一种基于变分相幅耦合的情绪识别方法及装置 |
| CN114994517A (zh) * | 2022-07-04 | 2022-09-02 | 哈尔滨理工大学 | 一种用于模拟电路的软故障诊断方法 |
| CN115192040A (zh) * | 2022-07-18 | 2022-10-18 | 天津大学 | 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置 |
| CN115500829A (zh) * | 2022-11-24 | 2022-12-23 | 广东美赛尔细胞生物科技有限公司 | 一种应用于神经内科的抑郁症检测分析系统 |
| CN117158999A (zh) * | 2023-08-22 | 2023-12-05 | 广东工业大学 | 一种基于ppmcc和自适应vmd的脑电信号去噪方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107361766A (zh) * | 2017-07-17 | 2017-11-21 | 中国人民解放军信息工程大学 | 一种基于emd域多维信息的情绪脑电信号识别方法 |
| CN107411739A (zh) * | 2017-05-31 | 2017-12-01 | 南京邮电大学 | 基于双树复小波的脑电信号情绪识别特征提取方法 |
| CN107832709A (zh) * | 2017-11-10 | 2018-03-23 | 辽宁师范大学 | 基于经验小波变换进行特征提取的脑电情感识别方法 |
| CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
| CN110367974A (zh) * | 2019-07-10 | 2019-10-25 | 南京邮电大学 | 基于变分模态分解-传递熵的脑肌电耦合的研究方法 |
| CN110367980A (zh) * | 2019-07-10 | 2019-10-25 | 南京邮电大学 | 基于多元经验模态分解的脑电信号情绪识别方法 |
| CN110472649A (zh) * | 2019-06-21 | 2019-11-19 | 中国地质大学（武汉） | 基于多尺度分析和集成树模型的脑电情感分类方法及系统 |
-
2020
- 2020-01-16 CN CN202010047429.1A patent/CN111310570B/zh not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107411739A (zh) * | 2017-05-31 | 2017-12-01 | 南京邮电大学 | 基于双树复小波的脑电信号情绪识别特征提取方法 |
| CN107361766A (zh) * | 2017-07-17 | 2017-11-21 | 中国人民解放军信息工程大学 | 一种基于emd域多维信息的情绪脑电信号识别方法 |
| CN107832709A (zh) * | 2017-11-10 | 2018-03-23 | 辽宁师范大学 | 基于经验小波变换进行特征提取的脑电情感识别方法 |
| CN109190570A (zh) * | 2018-09-11 | 2019-01-11 | 河南工业大学 | 一种基于离散小波变换和多尺度熵的脑电情感识别方法 |
| CN110472649A (zh) * | 2019-06-21 | 2019-11-19 | 中国地质大学（武汉） | 基于多尺度分析和集成树模型的脑电情感分类方法及系统 |
| CN110367974A (zh) * | 2019-07-10 | 2019-10-25 | 南京邮电大学 | 基于变分模态分解-传递熵的脑肌电耦合的研究方法 |
| CN110367980A (zh) * | 2019-07-10 | 2019-10-25 | 南京邮电大学 | 基于多元经验模态分解的脑电信号情绪识别方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113017628A (zh) * | 2021-02-04 | 2021-06-25 | 山东师范大学 | 融合erp成分与非线性特征的意识情绪识别方法及系统 |
| CN113017628B (zh) * | 2021-02-04 | 2022-06-10 | 山东师范大学 | 融合erp成分与非线性特征的意识情绪识别方法及系统 |
| CN113919387A (zh) * | 2021-08-18 | 2022-01-11 | 东北林业大学 | 基于gbdt-lr模型的脑电信号情感识别 |
| CN114027840A (zh) * | 2021-11-12 | 2022-02-11 | 江苏科技大学 | 基于变分模态分解的情绪脑电识别方法 |
| CN114343635A (zh) * | 2021-12-06 | 2022-04-15 | 北京理工大学 | 一种基于变分相幅耦合的情绪识别方法及装置 |
| CN114081494A (zh) * | 2022-01-21 | 2022-02-25 | 浙江大学 | 一种基于大脑外侧缰核信号的抑郁状态检测系统 |
| CN114081494B (zh) * | 2022-01-21 | 2022-05-06 | 浙江大学 | 一种基于大脑外侧缰核信号的抑郁状态检测系统 |
| CN114994517A (zh) * | 2022-07-04 | 2022-09-02 | 哈尔滨理工大学 | 一种用于模拟电路的软故障诊断方法 |
| CN115192040A (zh) * | 2022-07-18 | 2022-10-18 | 天津大学 | 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置 |
| CN115192040B (zh) * | 2022-07-18 | 2023-08-11 | 天津大学 | 基于庞加莱图和二阶差分图的脑电情绪识别方法及装置 |
| CN115500829A (zh) * | 2022-11-24 | 2022-12-23 | 广东美赛尔细胞生物科技有限公司 | 一种应用于神经内科的抑郁症检测分析系统 |
| CN117158999A (zh) * | 2023-08-22 | 2023-12-05 | 广东工业大学 | 一种基于ppmcc和自适应vmd的脑电信号去噪方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111310570B (zh) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310570B (zh) | 一种基于vmd和wpd的脑电信号情感识别方法及系统 | |
| Sangaiah et al. | An intelligent learning approach for improving ECG signal classification and arrhythmia analysis | |
| Chen et al. | Atrial fibrillation detection using a feedforward neural network | |
| US8315970B2 (en) | Method and rhythm extractor for detecting and isolating rhythmic signal features from an input signal using the wavelet packet transform | |
| Upadhyay et al. | A comparative study of feature ranking techniques for epileptic seizure detection using wavelet transform | |
| Malviya et al. | A novel technique for stress detection from EEG signal using hybrid deep learning model | |
| Yang et al. | Improved time-frequency features and electrode placement for EEG-based biometric person recognition | |
| CN114533086A (zh) | 一种基于空域特征时频变换的运动想象脑电解码方法 | |
| Lee et al. | Automated epileptic seizure waveform detection method based on the feature of the mean slope of wavelet coefficient counts using a hidden Markov model and EEG signals | |
| Mahmoudi et al. | Multi-class EEG classification of motor imagery signal by finding optimal time segments and features using SNR-based mutual information | |
| Mishra et al. | Noise removal in EEG signals using SWT–ICA combinational approach | |
| Cleatus et al. | Epileptic seizure detection using spectral transformation and convolutional neural networks | |
| CN115414051A (zh) | 一种脑电信号自适应窗口的情绪分类识别方法 | |
| Hou et al. | An ECG denoising method based on adversarial denoising convolutional neural network | |
| CN116602676A (zh) | 一种基于多特征融合和clstn的脑电情绪识别方法和系统 | |
| Pan et al. | Recognition of human inner emotion based on two-stage FCA-ReliefF feature optimization | |
| Saini et al. | Variational mode decomposition based mental task classification from electroencephalogram | |
| Liu et al. | Multiscale sample entropy analysis of wrist pulse blood flow signal for disease diagnosis | |
| Hassan et al. | Review of EEG Signals Classification Using Machine Learning and Deep-Learning Techniques | |
| Jaffino et al. | Expectation-maximization extreme machine learning classifier for epileptic seizure detection | |
| Wang et al. | A novel model based on a 1D-ResCNN and transfer learning for processing EEG attenuation | |
| Subasi et al. | Signal Acquisition Preprocessing and Feature Extraction Techniques for Biomedical Signals | |
| Zhang et al. | A novel multidimensional feature extraction method based on vmd and wpd for emotion recognition | |
| Torabi et al. | Semantic category-based classification using nonlinear features and wavelet coefficients of brain signals | |
| Boostani et al. | ECG-based personal identification using empirical mode decomposition and Hilbert transform |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220610 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |