CN115905837B - 异常自动检测的半监督自适应标记回归脑电情感识别方法 - Google Patents

异常自动检测的半监督自适应标记回归脑电情感识别方法 Download PDF

Info

Publication number
CN115905837B
CN115905837B CN202211440751.6A CN202211440751A CN115905837B CN 115905837 B CN115905837 B CN 115905837B CN 202211440751 A CN202211440751 A CN 202211440751A CN 115905837 B CN115905837 B CN 115905837B
Authority
CN
China
Prior art keywords
matrix
label
sample
semi
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211440751.6A
Other languages
English (en)
Other versions
CN115905837A (zh
Inventor
陈子源
宣欣祎
段舒哲
薛苏琪
彭勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202211440751.6A priority Critical patent/CN115905837B/zh
Publication of CN115905837A publication Critical patent/CN115905837A/zh
Application granted granted Critical
Publication of CN115905837B publication Critical patent/CN115905837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了异常自动检测的半监督自适应标记回归脑电情感识别方法。该方法的具体步骤包括:脑电数据采集,数据与处理与特征提取,建立异常自动检测的半监督自适应标记回归脑电情感识别模型,对模型进行迭代优化,获取预测标签,分析模型参数。相比于传统最小二乘方法,本发明具有以下技术效果:1)本发明提出了异常判定因子的概念,能够在模型优化过程中动态发现并删除异常样本点。2)本发明提出了半监督标签重标定回归方法,增大了不同类别间样本的距离,显著提高了分类准确率。3)利用特征权重因子,本发明可以观测在目标任务下的脑电的关键频段与关键导联。

Description

异常自动检测的半监督自适应标记回归脑电情感识别方法
技术领域
本发明属于脑电信号处理技术领域,具体涉及一种异常自动检测的半监督自适应标记回归脑电情感识别方法。
背景技术
情绪能够显著影响人的生理和心理状态,在人的生活中起着重要的作用。其通常是指一种自发而不是通过有意识地努力产生的心理状态,并且往往伴随着与人体器官相关的生理变化。传统的情感识别方法大多基于人的外在表现进行情感识别,如语音语调,面部表情,语言内容等等。然而这些信息在实际场景中很容易被伪装,从而导致情感无法被有效识别。脑电(EEG)作为一种来自中枢神经系统的生理信号,具有蕴含信息量大,采集方便,不易伪装等优势,已经成为情感识别的优质数据源。
虽然脑电在情感识别领域有诸多优势,但其固有的信号微弱,易被干扰,随机性强等特性在一定程度上制约了脑电情感识别的发展。在脑电信号采集过程中,眼球运动,肌肉收缩,环境中的电磁波,采集设备电极的导电性等诸多因素都会对最终采集到的数据产生影响。长期以来,虽然有很多学者在脑电信号伪迹的去除上做了大量研究,但这一情况至今还未得到充分地解决。在另一方面,由于脑电信号随机性较强,同一被试者的同种情感在不同测试时间会有明显差异。因此,如何提高跨时段脑电情感识别任务的准确率也是当前研究的热点之一。
传统的最小二乘方法(LSR)通常是在训练集学习一个系数矩阵W与一个偏置b,再将学习到的模型对测试集中的数据进行分类。然而,直接将LSR模型用于脑电情感识别存在一定的问题。1)某些噪声较大的样本会使得模型发生较大偏移。2)如果需要进行跨时段的脑电情感识别,来自训练集与测试集的数据差异较大,模型准确率难以得到保证。3)在脑电情感识别任务中,带标记数据样本通常较少,直接使用监督学习的LSR方法完成情感识别任务可能很难取得好的效果。
发明内容
本发明的目的在于针对现有技术的不足,提出了一种异常自动检测的半监督自适应标记回归脑电情感识别方法。
一种异常自动检测的半监督自适应标记回归脑电情感识别方法方法,包括以下步骤:
步骤1、在时间段1采集多个当前情感类别已知的被试者的情感脑电数据;对采集的脑电数据进行预处理与特征提取,得到带标记样本矩阵Xl和对应的带标记样本标签矩阵Yl;带标记样本标签矩阵Yl采用one-hot形式的表示。
步骤2、在在与步骤1的采集时间不同的时间段2采集当前情感类别未知的被试者的情感脑电数据;对采集的脑电数据进行预处理与特征提取,得到无标记样本矩阵Xu;并设定无标记样本标签矩阵Yu的初始值;带标记样本矩阵Xl和无标记样本矩阵Xu组成样本矩阵X;带标记样本标签矩阵Yl与无标记样本标签矩阵Yu组成标签矩阵Y。无标记样本标签矩阵Yu会在算法优化过程中会被逐步更新。
步骤3、将异常判定因子向量t,方向矩阵D,标签重标定矩阵R,特征权重矩阵Θ嵌入最小二乘模型,并将模型拓展至半监督框架,得到目标函数。
3-1.构建目标函数如下:
Figure BDA0003948117500000021
s.t.tT1=k,0≤ti≤1,Y=[Yl;Yu],Yu≥0,
Figure BDA0003948117500000022
ri≥0
其中,ti为第i个样本的异常判定因子,是异常判定因子向量t中第i个元素,矩阵W=ΘV;矩阵V为最小二乘的系数矩阵;矩阵Θ为特征权重矩阵,向量xi为样本矩阵X中的第i列,表示第i个样本。向量b为最小二乘中的偏置项。向量yi为标签矩阵Y的第i列,为第i个样本对应标签的one-hot编码。ri为标签重标定矩阵R的第i列。λ为正则系数;n表示样本总数;约束条件中,k为预设的正常样本数量;||·||2表示向量的l2范数计算;||·||2,1表示矩阵的l2,1范数计算,对于一个n行m列的矩阵M,
Figure BDA0003948117500000023
符号⊙表示哈达玛积运算。
3-2.固定Yu,t,R,更新矩阵W和向量b。
3-3.固定Yu,W,b,R,更新异常判定因子向量t。
3-4.固定Yu,W,b,t,更新标签重标定矩阵R。
3-5固定t,W,b,R,更新无标记样本标签矩阵Yu
步骤4、设定正则系数λ和正常样本数量k的值以及目标函数阈值,并将样本矩阵X代入目标函数,对目标函数中的变量W,V,Θ,b,Yu,D,R,t进行联合迭代优化,得到更新后的无标记样本标签矩阵Yu以及各个变量的数值。
步骤5、根据步骤4得到的无标记样本的标签Yu确定被试者在步骤2的脑电采集过程中的情感类别。
作为优选,所述正则系数λ的取值为[2-10,210]。
作为优选,所述正常样本数量k的取值为样本总数的80%-95%。
作为优选,在优化过程中,异常判定因子ti的取值是二值化的。当ti为0时,说明当前样本为异常样本,其样本损失在计算中被舍弃,即在当次优化过程中动态删除该样本;反之,ti为1时,样本则被判定为正常。
作为优选,步骤3-2中,向量b的更新公式为:
Figure BDA0003948117500000031
矩阵W的更新公式为:
W=(XKXT+λQ)-1XKZT
作为优选,步骤3-3中异常判定因子向量t的获取过程如下:
定义eri为第i个样本的损失,其计算公式如下:
Figure BDA0003948117500000032
对所有样本按照各自的eri进行升序排序,设置eri最小的k个样本对应的异常判定因子ti为1,其余为0。
作为优选,步骤3-4中标签重标定矩阵R的获取过程如下:
当Yu,W,b,t固定时,目标函数简化为:
Figure BDA0003948117500000033
其中,P=WTX+b1T-Y,D=2Y-11T
标签重标定矩阵R的优化方式为:
R=max(P./B,0)
其中./表示两个同型矩阵逐个元素相除。
作为优选,针对步骤四得到的联合迭代优化结果,进行脑电异常数据分布分析。脑电异常数据分布分析具体为:根据学习得到的异常判定因子向量t,在时间维度上构建异常样本分布图。通过异常样本分布图发现异常点分布特征后,根据异常点分布特征确定异常产生的原因,并优化数据采集方式。
作为优选,针对步骤四得到的联合迭代优化模型,进行脑电情感激活模式分析。脑电情感激活模式分析具体为:
(1)对权重矩阵W进行“行归一化二范数”处理,获取各个特征权重,其计算公式为:
Figure BDA0003948117500000041
其中,θi表示样本第i个特征的重要性。
通过特征与脑电频段、导联的对应关系,获取各个频段,各个导联的重要性度量。频段pi的重要性水平为:
Figure BDA0003948117500000042
导联qi的重要性水平为:
Figure BDA0003948117500000043
其中,pn为频段数量,qn为导联数量。
通过频段、导联的重要性水平结果,选择重要性水平较高的若干个频段和导联对被试者的脑电采集,从而在计算速度要求较高的场景,降低样本矩阵维度,减少计算时间;同时,在需要设计情感识别的可穿戴设备时,可以只选取较为重要的几个导联采集被试者脑电信息,从而提高用户体验,降低成本。
本发明具有以下有益效果:
1、本发明通过引入异常判定因子t,使得模型在优化过程中能够自适应发现样本中的异常点,并将其动态删除,从而防止模型向异常数据偏移。保证了模型在噪声数据较多的样本中仍能保持良好的性能。
2、本发明构建了一种半监督标签重标定回归的方法,使得模型能够充分利用无标记样本数据。同时,该方法在目标函数中引入了方向矩阵D与标签重标定矩阵R,使得模型可以在优化过程中通过样本类别的估计获取样本标签的重标定位置,从而增大不同类别间样本的距离。
3、本发明借助异常判定因子t,在时域上构建异常样本分布图,可以直观观测异常样本的分布,进而推测在数据采集等过程中存在的问题。
附图说明
图1为本发明的流程示意图。
图2为本发明所得的异常样本分布图。
具体实施方式
以下结合附图对本发明作进一步的解释说明。
本实施例中,为方便说明,空心字母
Figure BDA0003948117500000051
表示实数域,上标表示矩阵或向量的维度。粗体大写字母V,Θ,D等表示矩阵,粗体小写字母d,t,r等表示向量,小写字母与希腊字母ti,λ,k等表示数字。
如图1所示,一种异常自动检测的半监督自适应标记回归脑电情感识别方法,包括以下步骤:
步骤1、脑电情感数据采集
选取c种带有明显情感倾向的视频片段在多个时间段让同一批被试者观看,在被试者观看视频过程中采集脑电数据作为原始数据集。在一个时间段内,一个被试者观看了多个视频片段,在这里,我们称一个视频片段对应的数据为一个试次。在本实施例中,情感类别共包括4种,分别为开心,害怕,悲伤,平静。取其中一个时间段采集到的脑电数据打上情感标签作为原始带标记样本,再选取另一个时间段中采集到的情感数据作为原始无标记样本,进行跨时段的脑电情感识别任务。
步骤2、预处理与特征提取
具体的,本实施例中,对步骤1中的原始脑电数据进行采样,采样率为200Hz,然后通过1Hz-75z的带通滤波器滤除噪声,并分别在5个频段(Delta(1-4Hz),Theta(4-8Hz),Alpha(8-14Hz),Beta(14-31Hz)和Gamma(31-50Hz))计算其微分熵(DE)特征,获取样本矩阵X。
其中,一个被试者的脑电数据对应一个样本矩阵
Figure BDA0003948117500000052
由带标记样本
Figure BDA0003948117500000053
与无标记样本/>
Figure BDA0003948117500000054
组成,nl,nu分别为带标记样本与无标记样本的数量。其对应的情感标记矩阵为/>
Figure BDA0003948117500000061
包括带标记样本标签矩阵/>
Figure BDA0003948117500000062
与无标记样本标签矩阵/>
Figure BDA0003948117500000063
无标记样本矩阵中的每个元素在初始时被设置为0.25;
通过数据的预处理,可以在一定程度上提高样本质量,为实现高准确度情感识别任务奠定基础。
步骤3.1:将异常判定因子t,方向矩阵D,标签重标定矩阵R,特征重要性因子Θ嵌入最小二乘模型,并将其拓展至半监督框架。得到异常自动检测的半监督自适应标记回归脑电情感识别模型。其目标函数如下:
Figure BDA0003948117500000064
其中,ti表示向量
Figure BDA0003948117500000065
中第i个元素;矩阵/>
Figure BDA0003948117500000066
为最小二乘中的系数矩阵;矩阵/>
Figure BDA0003948117500000067
为特征权重矩阵,向量/>
Figure BDA0003948117500000068
为特征权重向量;向量/>
Figure BDA0003948117500000069
为样本矩阵
Figure BDA00039481175000000610
中的第i列,表示第i个样本;向量/>
Figure BDA00039481175000000611
为最小二乘中的偏置项;向量/>
Figure BDA00039481175000000612
为标签矩阵/>
Figure BDA00039481175000000613
的第i列,为第i个样本对应标签的one-hot编码;/>
Figure BDA00039481175000000614
为方向矩阵
Figure BDA00039481175000000615
的第i列;/>
Figure BDA00039481175000000616
为重标定矩阵/>
Figure BDA00039481175000000617
的第i列。λ为正则系数,为人工设定的超参数,用于防止模型发生过拟合;k为预先设定的正常样本的数量。符号||·||F表示矩阵的Frobenius范数计算,||·||2表示向量的l2范数计算,符号⊙表示哈达玛积运算。上标中,字母n表示样本数量,d表示脑电特征数量,c表示情感类别数量。
式(1)中,di⊙ri一项为标签重标定回归方法的核心,
Figure BDA00039481175000000618
为方向矩阵/>
Figure BDA00039481175000000619
的第i列。/>
Figure BDA00039481175000000620
为标签重标定矩阵/>
Figure BDA00039481175000000621
的第i列。在带标记样本中,di通过样本的实际类别计算得到;无标记样本中,di通过对样本类别的估计得到。ri在优化过程被自适应确定。通过此方法,可以有效增加属于不同类别样本的距离,提高模型识别准确度。
对上述公式的形式做出简单变换,令W=ΘV,则有V=Θ-1W,式(1)可以写成如下形式:
Figure BDA0003948117500000071
当式(2)中的变量t,W,b,y,d,r确定时,通过如下目标函数获取θ:
Figure BDA0003948117500000072
通过拉格朗日乘子法,最优的θ为:
Figure BDA0003948117500000073
则如式(3)所示的目标函数被重写为:
Figure BDA0003948117500000074
其中,
Figure BDA0003948117500000075
因此,如式(2)所示的目标函数可被重写为:
Figure BDA0003948117500000076
在半监督标签重标定回归的方法中,方向矩阵D用于控制标签重标定的方向,对于带标记样本,其对应方向矩阵的列di可以由标签直接计算得到;对于无标记样本,其对应方向矩阵的列di通过对标签的估计得到,但二者的计算方式是统一的。其计算方式为:
D=2Y-11T (7)
因此,di=2yi-1。如式(6)所示的目标函数转化为:
Figure BDA0003948117500000077
步骤3.2:固定Yu,t,R,更新W,b。
为了方便进一步计算,令Z=Y+(2Y-11T)⊙R,zi定义为矩阵Z的第i列。将式(8)写为如下矩阵形式:
Figure BDA0003948117500000081
其中,J1为关于W的函数。T=diag(t),函数diag(·)为将向量构造为对角阵。Tr(·)为矩阵的迹运算。考虑到上述优化过程为无约束优化,将J1对b求导,得到:
Figure BDA0003948117500000082
令导数为0,得到b的更新公式为:
Figure BDA0003948117500000083
将式(11)带入式(9),并进一步化简,得到:
Figure BDA0003948117500000084
其中,J2为关于b的函数。
Figure BDA0003948117500000085
矩阵I为单位阵,∈为一个微小的正数常量,用于保证||wj||+∈的值为正数。令式(12)对W求导,得到:
Figure BDA0003948117500000086
其中,矩阵Q为对角阵,其对角线上第i个元素为:
Figure BDA0003948117500000087
置导数为0,得到W的更新公式为:
W=(XKXT+λQ)-1XKZT (15)
步骤3.3固定Yu,W,b,R,更新t。
观察目标函数(8),可以发现在本步骤中,每个样本的损失已经被确定,若想最小化目标函数,则最优解一定为将损失最小的k个样本前的异常判定因子ti设置为1,其余样本前ti设置为0。在本步骤中,异常判定因子在优化过程中拥有了较为明确的物理意义,即当ti为1时,表明当前样本为正常点;当ti为0时,表明当前样本为异常点。显然,在优化过程中,异常点所产生的损失不会被计入损失函数中,因此,异常判定因子t的引入能够减弱噪声对模型的影响。
步骤3.4固定Yu,W,b,t,更新R。
当Yu,W,b,t固定时,目标函数(8)重写为:
Figure BDA0003948117500000091
其中,P=WTX+b1T-Y,D=(2Y-11T),容易发现,各个元素的优化是一个相互独立的过程,关于R的优化方式为:
R=max(P./D,0) (17)
其中./表示两个同型矩阵逐个元素相除。
步骤3.5固定t,W,b,R,更新Yu
对于无标记样本,在本步骤中,其各个样本间的优化是相对独立的,因此,我们可以逐列对其优化。目标函数(8)可以转化为如下形式:
Figure BDA0003948117500000092
其中mi=(WTxi+b+ri)./(1+2ri),为方便计算,我们在式(18)前乘以系数
Figure BDA0003948117500000093
得到:
Figure BDA0003948117500000094
其中,对其中一个样本的优化可以写成如下形式:
Figure BDA0003948117500000095
式(20)可以采用经典的拉格朗日乘子法与KKT条件进行求解,构建拉格朗日函数:
Figure BDA0003948117500000096
其中,λ,η为拉格朗日乘子。设y*为最优解,其对应的最优参数分别为λ**根据kkt条件可以获得以下不等式:
Figure BDA0003948117500000101
其中,式(22)中的第一个不等式的向量形式如下:
y*-m-γ*1-η*=0 (23)
考虑到yT1=1,(23)可转化为:
Figure BDA0003948117500000102
将式(24)带入式(23)后,得到:
Figure BDA0003948117500000103
Figure BDA0003948117500000104
上述公式被化简为:
Figure BDA0003948117500000105
因此,对于j∈[1,c],(26)可被转化为:
Figure BDA0003948117500000106
根据(27)与(22),我们可以推导出
Figure BDA0003948117500000107
其中(f(·))=max(f(·),0)。因此,我们可以推导出:
Figure BDA0003948117500000108
如果最优
Figure BDA0003948117500000109
可以被确定,则最优的y*可以通过(28)式确定。相似地,(27)可以被重写为/>
Figure BDA00039481175000001010
即/>
Figure BDA00039481175000001011
因此,/>
Figure BDA00039481175000001012
可按如下方式进行求解:
Figure BDA00039481175000001013
考虑到约束条件yT1=1与(28)式,我们定义如下函数:
Figure BDA0003948117500000111
最优的
Figure BDA0003948117500000112
应满足/>
Figure BDA0003948117500000113
当(30)式为0时,最优的/>
Figure BDA0003948117500000114
可通过牛顿法进行求解,其迭代公式为:
Figure BDA0003948117500000115
Figure BDA0003948117500000116
是一个分段单调线性函数,当/>
Figure BDA0003948117500000117
时,/>
Figure BDA0003948117500000118
其导数
Figure BDA0003948117500000119
当/>
Figure BDA00039481175000001110
时,/>
Figure BDA00039481175000001111
其导数/>
Figure BDA00039481175000001112
因此,我们可以通过对/>
Figure BDA00039481175000001113
中正数个数的计数得到/>
Figure BDA00039481175000001115
步骤4设定正则系数λ和正常样本数量k的值以及目标函数阈值,并将已完成预处理与特征提取后的脑电数据带入目标函数中,对目标函数中的变量W,V,Θ,b,Yu,D,R,t进行联合迭代优化,得到无标记样本标签矩阵Yu的值以及各个变量的数值。
步骤5根据获得的无标记样本的标签,获取最终情感识别的分类结果。
获取步骤3中已完成优化的无标记样本标签矩阵Yu,并将该矩阵按列分块,即
Figure BDA00039481175000001114
再逐列求取最大值对应的序号,例如:yt=[0.77,0.11,0.03,0.09]T,此时第一个元素数值最大,因此,被试者在t时刻对应的情感状态为第一种情感状态。
步骤6分析脑电异常数据的分布及脑电情感激活模式。
步骤6.1脑电异常数据分布分析
根据学习得到的异常判定因子t,在时间维度上构建异常样本分布图。
在一个时间段中,被试者观看了多个情感片段,在这里,我们称在一次实验中,一个视频片段对应的样本为一个试次。
如图2所示,图片底色的灰度代表每个试次理论上诱发出的情感。在当第i个样本被判定为正常样本时,其样本点位于图片上方;当第i个样本被判定为异常样本时,其样本点位于图片下方。通过分布图,我们可以直观的观察异常发生的时间以及分布。在我们使用的数据集中,我们发现异常数据点大多集中在每个情感片段的前半部分。因此,我们推测在实验过程中,可能由于被试者在每次观看完视频后的休息时间不足,导致在后序的试次被试者还未完全前一个试次中恢复。即后续试次存在一定的对应于前面刺激素材诱发的背景情感信息。因此,在后序的实验中,可以适当延长在两个试次间被试者的休息时间,以提高获取到的脑电数据的质量。步骤6.2脑电情感激活模式分析
对权重矩阵W进行“行归一化二范数”处理,获取各个特征权重,其计算公式为:
Figure BDA0003948117500000121
其中,θi表示第i个样本的重要性,其数值越大,则说明该特征对情绪识别越重要。同时,我们通过特征与频段导联的对应关系,获取各个特征,各个频段的重要性度量。在本实例中,频段数量pn取5,包括:Delta,Theta,Alpha,Beta,Gamma。导联数量qn取62。
第pi个频段的重要性水平为:
Figure BDA0003948117500000122
第qi个导联的重要性水平为:
Figure BDA0003948117500000123
步骤7利用步骤6中的分析方法对步骤4中获取的参数进行分析,当发现异常点分布特征后,根据实际情况对数据采集过程进行优化,并重新执行步骤1-步骤5。同时,如果需要减少计算时间,可以根据步骤6.2中获得的关键频段与关键导联选取这些数据进行采集,并重新优化目标函数,更新目标函数中的变量。
本发明与监督模式的二乘方法(LSR),半监督模式下最小二乘方法(sLSR),引入特征权重因子Θ的半监督最小二乘方法(FLSR),引入特征权重因子Θ与异常判定因子t的最小二乘方法(AFLSR)在SEED-IV数据集上进行的跨时段任务精度如表1,2,3所示,其中表1所示精度为以时间段1采集到的脑电数据作为带标记样本,时间段2采集到的脑电数据作为无标记样本,进行跨时段脑电情感识别;其简写为s1→s2。相似地,表2所示实验结果为s1→s3,表3所示实验结果为s2→s3。每个表对应一组实验,包含15个实验对象,实验对象命名为subject1,subject2,…,subject15。通过比较,我们可以发现,在绝大多数试次中,本发明优于其他方法。表格中,最高准确率以粗体形式展示。
表1 s1→s2识别准确率(%)
试次 LSR sLSR FLSR AFLSR 本发明
subject1 52.88 57.09 75.60 77.04 77.20
subject2 80.11 80.53 83.53 83.53 86.78
subject3 61.73 63.34 77.88 77.88 78.00
subject4 66.51 67.43 68.51 68.51 80.65
subject5 61.23 63.82 64.33 66.85 73.44
subject6 68.75 61.90 53.25 58.29 75.36
subject7 76.78 77.64 80.89 82.33 89.90
subject8 67.55 78.85 74.76 74.76 88.70
subject9 54.93 59.86 62.38 74.76 74.91
subject10 57.81 58.41 59.32 59.74 66.83
subject11 50.11 51.92 59.74 61.30 68.15
subject12 63.28 64.90 56.49 62.14 75.00
subject13 57.57 61.90 58.77 60.58 73.80
subject14 74.40 84.62 85.22 85.22 90.26
subject15 88.74 89.66 98.56 98.56 98.56
平均值 65.49 68.12 70.62 72.77 79.84
表2 s1→s3识别准确率(%)
试次 LSR sLSR FLSR AFLSR 本发明
subject1 73.44 74.45 80.78 83.09 92.58
subject2 60.51 80.17 91.00 92.21 92.34
subject3 50.19 51.82 57.06 61.68 63.38
subject4 76.16 75.43 80.29 80.29 74.21
subject5 58.76 75.18 72.51 74.33 82.73
subject6 68.15 69.71 77.13 79.93 83.45
subject7 82.12 73.60 80.66 87.23 92.34
subject8 81.70 82.97 83.91 84.91 92.46
subject9 45.50 64.23 66.77 69.91 66.79
subject10 58.15 47.93 41.85 64.48 66.55
subject11 63.99 67.72 71.65 73.72 80.54
subject12 51.46 58.27 67.64 70.92 76.28
subject13 51.58 59.39 60.95 63.99 71.41
subject14 77.86 78.82 79.44 86.88 87.23
subject15 78.95 79.37 93.07 95.01 96.47
平均值 65.23 69.27 73.65 77.91 81.25
表3 s2→s3识别准确率(%)
试次 LSR sLSR FLSR AFLSR 本发明
subject1 59.73 62.09 71.41 73.92 80.24
subject2 45.86 80.22 86.73 86.01 91.50
subject3 60.27 61.39 70.81 71.78 78.59
subject4 74.79 79.39 77.65 78.76 87.71
subject5 70.92 71.22 71.90 78.95 88.70
subject6 75.73 79.71 87.43 89.10 91.73
subject7 77.14 78.24 88.59 88.93 93.80
subject8 74.93 74.94 77.11 81.37 91.85
subject9 51.82 55.87 59.78 81.37 69.95
subject10 61.56 64.13 71.27 72.87 76.28
subject11 69.83 54.51 49.36 52.31 60.71
subject12 70.80 72.21 72.74 79.57 81.27
subject13 51.26 52.66 53.01 67.03 79.44
subject14 84.23 85.84 90.69 94.04 95.86
subject15 80.59 81.27 92.88 94.89 98.91
平均值 67.30 70.25 74.76 79.39 84.44

Claims (7)

1.具有异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:包括以下步骤:
步骤1、采集多个被测者的情感脑电数据;对采集的脑电数据进行预处理与特征提取,得到带标记样本矩阵Xl及其对应的带标记样本标签矩阵Yl
步骤2、在与步骤1的采集时间不同的时间段,采集被测者的情感脑电数据;并进行预处理和特征提取,得到无标记样本矩阵Xu;并设定无标记样本标签矩阵Yu的初始值;
步骤3、将异常判定因子向量t,方向矩阵D,标签重标定矩阵R,特征权重矩阵Θ嵌入最小二乘模型,并将模型拓展至半监督框架,得到目标函数;异常判定因子t,使得模型在优化过程中能够自适应发现样本中的异常点,并将其动态删除,从而防止模型向异常数据偏移;
方向矩阵D与标签重标定矩阵R,使得模型可以在优化过程中通过样本类别的估计获取样本标签的重标定位置;方向矩阵D用于控制标签重标定的方向,对于带标记样本,其对应方向矩阵的列di可以由标签直接计算得到;对于无标记样本,其对应方向矩阵的列di通过对标签的估计得到;
3-1.构建目标函数如下:
Figure FDA0004252182450000011
Figure FDA0004252182450000012
其中,ti为异常判定因子向量t中第i个元素,矩阵W=ΘV;矩阵V为最小二乘的系数矩阵;矩阵Θ为特征权重矩阵,向量xi为样本矩阵X中的第i列,表示第i个样本;向量b为最小二乘中的偏置项;向量yi为标签矩阵Y的第i列,为第i个样本对应标签的one-hot编码;ri为标签重标定矩阵R的第i列;λ为正则系数;n表示样本总数;约束条件中,k为预设的正常样本数量;
3-2.固定Yu,t,R,更新矩阵W和向量b;
3-3.固定Yu,W,b,R,更新异常判定因子向量t;
3-4.固定Yu,W,b,t,更新标签重标定矩阵R;
3-5固定t,W,b,R,更新无标记样本标签矩阵Yu
步骤4、设定正则系数λ和正常样本数量k的值以及目标函数阈值,并将样本矩阵X代入目标函数,对目标函数中的变量W,V,Θ,b,Yu,D,R,t进行联合迭代优化,得到更新后的无标记样本标签矩阵Yu
步骤5、根据步骤4得到的无标记样本的标签Yu确定被测者在步骤2的脑电采集过程中的情感类别。
2.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:所述正则系数λ的取值为[2-10,210]。
3.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:所述正常样本数量k的取值为样本总数的80%-95%。
4.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:在优化过程中,异常判定因子ti的取值是二值化的;当ti为0时,说明当前样本为异常样本,其损失在计算中被舍弃;反之,ti为1时,样本则被判定为正常。
5.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:步骤3-2中,向量b的更新公式为:
Figure FDA0004252182450000021
其中,Z=Y+(2Y-11T)⊙R;T=diag(t);
矩阵W的更新公式为:
W=(XKXT+λQ)-1XKZT
其中,函数diag(·)为将向量构造为对角阵;
Figure FDA0004252182450000022
矩阵I为单位阵;矩阵Q为对角阵,其对角线上第i个元素/>
Figure FDA0004252182450000023
d表示脑电特征数量。
6.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:步骤3-3中异常判定因子向量t的获取过程如下:
定义eri为第i个样本的损失,其计算公式如下:
Figure FDA0004252182450000031
对所有样本的按照各自的eri进行升序排序,设置eri最小的k个样本对应的异常判定因子ti为1,其余为0。
7.根据权利要求1所述的异常自动检测的半监督自适应标记回归脑电情感识别方法,其特征在于:步骤3-4中标签重标定矩阵R的获取过程如下:
当Yu,W,b,t固定时,目标函数简化为:
Figure FDA0004252182450000032
其中,P=WTX+b1T-Y,D=2Y-11T
标签重标定矩阵R的优化方式为:
R=max(P./B,0)
其中./表示两个同型矩阵逐个元素相除。
CN202211440751.6A 2022-11-17 2022-11-17 异常自动检测的半监督自适应标记回归脑电情感识别方法 Active CN115905837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211440751.6A CN115905837B (zh) 2022-11-17 2022-11-17 异常自动检测的半监督自适应标记回归脑电情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211440751.6A CN115905837B (zh) 2022-11-17 2022-11-17 异常自动检测的半监督自适应标记回归脑电情感识别方法

Publications (2)

Publication Number Publication Date
CN115905837A CN115905837A (zh) 2023-04-04
CN115905837B true CN115905837B (zh) 2023-06-30

Family

ID=86476146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211440751.6A Active CN115905837B (zh) 2022-11-17 2022-11-17 异常自动检测的半监督自适应标记回归脑电情感识别方法

Country Status (1)

Country Link
CN (1) CN115905837B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140058987A1 (en) * 2012-08-27 2014-02-27 Almon David Ing MoRPE: a machine learning method for probabilistic classification based on monotonic regression of a polynomial expansion
EP3232368A1 (en) * 2016-04-14 2017-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Determining facial parameters
US10740383B2 (en) * 2017-06-04 2020-08-11 Apple Inc. Mood determination of a collection of media content items
US11017902B2 (en) * 2019-10-25 2021-05-25 Wise IOT Solutions System and method for processing human related data including physiological signals to make context aware decisions with distributed machine learning at edge and cloud
CN111063442B (zh) * 2019-11-28 2022-07-15 南京邮电大学 基于弱监督多任务矩阵补全的脑疾病进程预测方法及系统
CN111407269A (zh) * 2020-03-30 2020-07-14 华南理工大学 一种基于增强学习的eeg信号情感识别方法
CN111950592B (zh) * 2020-07-10 2022-09-23 南京邮电大学 一种基于监督最小二乘多类核典型相关分析的多模态情感特征融合方法
CN112699785B (zh) * 2020-12-29 2022-06-07 中国民用航空飞行学院 基于维度情感模型的群体情感识别与异常情感检测方法
CN112773378B (zh) * 2021-01-20 2022-05-17 杭州电子科技大学 一种特征权重自适应学习的脑电情绪识别方法
CN113705645B (zh) * 2021-08-18 2024-02-13 杭州电子科技大学 一种针对脑电信号的自适应联合模型半监督学习分类方法
CN113869382A (zh) * 2021-09-16 2021-12-31 常州大学 基于领域嵌入概率的半监督学习癫痫脑电信号识别方法
CN114757310B (zh) * 2022-06-16 2022-11-11 山东海量信息技术研究院 情感识别模型及其训练方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN115905837A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
CN110222643B (zh) 一种基于卷积神经网络的稳态视觉诱发电位信号分类方法
Aslan et al. Automatic Detection of Schizophrenia by Applying Deep Learning over Spectrogram Images of EEG Signals.
CN109389059B (zh) 一种基于cnn-lstm网络的p300检测方法
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
Parra et al. Spatiotemporal linear decoding of brain state
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN109299751B (zh) 基于emd数据增强的卷积神经模型的ssvep脑电分类方法
CN109614885A (zh) 一种基于lstm的脑电信号快速分类识别方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN111461201B (zh) 基于相空间重构的传感器数据分类方法
CN113017645B (zh) 一种基于空洞卷积神经网络的p300信号检测方法
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
Zhang et al. Removal of EEG artifacts for BCI applications using fully Bayesian tensor completion
CN109009098B (zh) 一种运动想象状态下的脑电信号特征识别方法
CN115414051A (zh) 一种脑电信号自适应窗口的情绪分类识别方法
CN114578963B (zh) 一种基于特征可视化和多模态融合的脑电身份识别方法
CN115905837B (zh) 异常自动检测的半监督自适应标记回归脑电情感识别方法
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN116628420A (zh) 一种基于lstm神经网络元学习的脑电波信号处理方法
CN116035577A (zh) 一种结合注意力机制与crnn的脑电情感识别方法
CN113255789B (zh) 基于对抗网络和多被试脑电信号的视频质量评价方法
CN113261980B (zh) 一种基于脑电联合特征学习的大规模视觉分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant