CN112488081A - 基于ddadsm跨被试迁移学习脑电精神状态检测方法 - Google Patents
基于ddadsm跨被试迁移学习脑电精神状态检测方法 Download PDFInfo
- Publication number
- CN112488081A CN112488081A CN202011541187.8A CN202011541187A CN112488081A CN 112488081 A CN112488081 A CN 112488081A CN 202011541187 A CN202011541187 A CN 202011541187A CN 112488081 A CN112488081 A CN 112488081A
- Authority
- CN
- China
- Prior art keywords
- data
- source domain
- matrix
- domain
- target domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 238000013526 transfer learning Methods 0.000 title claims abstract description 19
- 230000006996 mental state Effects 0.000 title claims abstract description 13
- 238000012360 testing method Methods 0.000 title claims abstract description 12
- 238000009826 distribution Methods 0.000 claims abstract description 80
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 74
- 230000003044 adaptive effect Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000002087 whitening effect Effects 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008929 regeneration Effects 0.000 claims description 2
- 238000011069 regeneration method Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 13
- 238000013508 migration Methods 0.000 abstract description 13
- 230000005012 migration Effects 0.000 abstract description 13
- 238000011160 research Methods 0.000 abstract description 2
- 210000004556 brain Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 230000036624 brainpower Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/245—Classification techniques relating to the decision surface
- G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开基于DDADSM跨被试迁移学习脑电精神状态检测方法。本发明采用先进行双子空间特征空间映射再动态分布对齐的迁移学习方法对脑电数据进行分类检测的方法。是脑电迁移学习检测方法的重大创新与尝试,能够减少传统单一子空间迁移学习方法的空间漂移问题以及忽略条件分布和边缘分布重要性定量计算造成的精确性不足、迁移能力有限等问题。该方法在疲劳驾驶脑电数据的分类问题上能够取得很好的效果,能够为复杂脑电数据的处理提高新的研究手段。
Description
技术领域
本发明属于生物特征识别领域中的脑电信号识别领域,具体用到了一种基于双子空间映射的动态分布对齐(DDADSM,Dynamic Distribution Alignment with Dual-SpaceMapping)跨被试迁移学习脑电精神状态检测方法。
背景技术
疲劳驾驶是指驾驶人连续行车时间过长,产生的生理机能和心理机能的失调现象,由于疲劳驾驶所引起的交通事故越来越频繁给世界经济与社会发展带来严重损失,而有效的疲劳检测分类方法的提出将对这一严重的社会问题的缓解十分有利。
脑电波是一种自发的有节律的神经电活动,脑电信号是人脑活动的直接体现,可以快速的反映人的生理及心理变化过程,当前被认为是最便捷和有效的疲劳分析方法。随着脑电采集设备的不断更新,脑电作为生物信号特征用于疲劳检测的尝试被越来越多的研究学者采用。
当前基于脑电信号的疲劳检测方法主要有传统机器学习方法和基于深度学习的方法。传统的机器学习方法主要是通过提取不同频率范围内的脑电特征再使用分类器进行分类。由于脑电信号的独特性,跨被试差异即个体间的脑电信号的差异性总是存在,手工的提取特征与浅层的机器学习方法难以避免地存在特征提取依赖专家知识,操作繁杂,跨被试识别率不足等问题。深度学习方法通过采用大量的数据在已有的模型下训练自动提取信号的特征,从而实现对于脑电信号的分类工作,近几年已有很多学者将深度学习的技术应用到基于脑电的疲劳检测中去,并取得了较好的效果。但是基于深度神经网络的学习过程比较复杂,需要大量的标注数据、脑电信号的获取有时序性的特点,与图像、文本的获取相比大量数据的获取更加困难。
显然,采用少样本的脑电数据并且能够克服传统的机器学习方法的局限性将是脑电信号疲劳检测的重要突破。迁移学习技术可以通过相对少量样本,利用个体数据分布的相似性,将已经学习过的知识应用在新的领域上,目前已经被很多学者应用在脑电处理中。领域自适应学习是迁移学习的代表方法,能够利用信息丰富的源域样本来提升目标域模型的性能,目前主要的方法有:概率分布适配法、特征选择法和子空间学习法。领域自适应学习的方法已被很多学者引用,对于解决源域和目标域属于同一类任务但分布不同的情况效果显著。本发明所采用的基于双子空间映射动态分布对齐迁移学习的脑电疲劳检测方法,在迁移学习中属于领域自适应的方法。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是:1、单一生物信号的脑电疲劳检测中识别率低并且依赖大量标签数据,跨被试检测效果差;2、传统的迁移学习的子空间投影方法将数据投影到一个公共的子空间或流形空间中,不能克服投影空间偏移带来的损失;3、由于脑电信号是非稳定的高维信号并且自身具有特殊性和复杂性的特点,源域和目标域数据并不服从相同分布,因此无论采取直接利用数据分布相同的计算方法还是将数据的条件分布和边缘分布采用相同权重的计算方法,均不能反映数据分布的真实状态。本发明所采用的基于双子空间映射动态分布对齐迁移学习的脑电疲劳检测方法能够较好的解决以上问题。通过实验发现,该方法在疲劳驾驶脑电数据的分类问题上能够取得很好的效果,能够为复杂脑电数据的处理提高新的研究手段。
(二)技术方案
为了解决上述技术问题,本发明提出了一种基于DDADSM的跨被试迁移学习脑电疲劳检测方法。
本发明的特点是:本发明与现有技术相比,主要有以下两方面的特点:1、本方法能够将预处理后的原始脑电源域数据和目标域数据进行统计学方法特征映射,映射到两个具有更好迁移能力的子空间中,能减少映射偏差,使跨被试迁移学习能力得到显著提升;2、现有的领域学习的方法中多采用非动态的数据分布对齐,忽略了数据统计特征分布的差异性,用动态分布对齐的方法能解决高维非稳定脑电信号数据分布复杂导致的迁移效果差的问题。以上两个特点能够使本方法在不依赖大量标签的情况下采用非深度学习的迁移学习方法取得显著的实验效果。
按照本发明提供的技术方案,以下是基于双子空间映射动态分布对齐的迁移学习的脑电疲劳检测方法的具体步骤:
步骤(1)、对原始脑电数据进行预处理,然后对其划分后获取源域和目标域数据;
所述预处理主要是数据合并、脑电预览、基线校正、带通滤波和独立成分分析。以上预处理手段用现有工具均能实现,属于现有成熟技术,故不详解。
本预处理工作能够有效去除噪声和干扰杂质因素,按照实验范式得到以被试为单位的数据,该数据将作为输入进行以下步骤的操作。
在步骤(2)之前需要人为划分源域和目标域。根据迁移学习的概念,定义带有标签的源域数据为没有标签的目标域数据为其中xs,xt分别为源域和目标域的样本数据,ys为源域的类别数据,源域的样本数量为n,目标域的样本数量为m,源域的类别数为C。
源域数据和目标域的边缘概率分别定义为Ps(Xs)和Pt(Xt),源域数据和目标域的条件概率分别定义为Qs(ys|Xs)和Qt(yt|Xt),yt为目标域的类别数据,ys是源域的类别标签。
由于本方法涉及到跨被试分类故将同一被试的脑电数据作为一个领域,包含特征信息和类别信息,并将所有被试依次作为目标域测试算法效果得到最终检测分类准确率。由于数据采集中已经获取了所有被试的类别信息,而在实际应用中目标域数据标签信息未知,故本方法中目标域的标记信息不作为实验输入使用,仅用作真实值用于验证数据分类准确率。
步骤(2)、脑电信号的特征提取
采用常规技术公共空间模式(CSP,Common Spatial Pattern)算法进行共空间特征提取,将步骤(1)原始源域和目标域高维时域信号数据,通过共空间滤波器将其投影到低维空间。
2.1将源域数据归一化并分别计算两类(多类则任取两类)源域样本的协方差矩阵,并进行2.2-2.5步骤;
2.2根据步骤2.1得到的协方差矩阵累加并取平均,得到源域数据的混合空间协方差矩阵;
2.3计算步骤2.2得到的混合空间协方差矩阵的特征向量和特征值;
2.4对步骤2.3得到的特征值进行排序,选取最大值,求出白化特征值矩阵Q;
2.5将步骤2.1不同类别源域样本的协方差矩阵与步骤2.4得到的白化特征值矩阵Q进行变换,并做主分量分解得到共同特征向量N;共同特征向量N与白化特征值矩阵Q进行公式(1)运算可得到共空间滤波器G:
G=NTQ (1)
其中T表示转置。
2.6若待分类任务具有多类,则重复步骤2.1-2.5得到所有共空间滤波器,并相加求平均得到最终的共空间滤波器G’,经过特征提取之后得到的共空间特征为:
Xs'=G’×Xs
Xt'=G’×Xt (2)
其中X′t,X′s分别表示经过共空间特征提取之后的源域和目标域共空间特征。
步骤(2)提取共空间特征为常规技术,此处仅给出关键步骤,不做详细解释。
步骤(3)、源域数据目标域数据双子空间映射
所述源域数据和目标域数据双子空间模型表示如下:
其中α、θ、μ是平衡参数,为人为设定;
目标域特征方差采用公式(4)目标域数据的散度矩阵进行优化:
其中St表示目标域数据的散度矩阵,运算Tr()表示矩阵的迹。
源域类间方差采用公式(5)源域数据的最大化类间散度矩阵进行优化:
其中Sb是源域数据的类间散度矩阵;
源域类内方差采用公式(6)源域数据的最小化类内散度矩阵进行优化:
其中Sw是源域数据的类内散度矩阵;
上述A、B分别表示源域的投影子空间、目标域的投影子空间;是利用步骤(2)处理得到的源域和目标域共空间特征学习两个耦合的投影变换,即将源域和目标域的共空间特征投影到相应的两个低维投影子空间A、B内,利用matlab编程工具的计算特征值和特征向量的函数eigs()能够求解出子空间映射A和子空间映射B,其矩阵表示为:
其中,I是单位矩阵。
步骤(4)、动态数据分布适应对齐
对进行步骤(3)的源域和目标域子空间数据进行动态的边缘分布对齐和条件分布对齐,估算动态自适应系数η,并采用计算MMD(Maximum Mean Discrepancy)距离的方式来分别计算源域和目标域数据的边缘概率和条件概率的分布距离。
4.1生成目标域伪标签。由于目标域的标签是未知的,所以目标域的条件分布的具体类别c不能够直接求出,采用低时间复杂度的KNN分类器的方法通过少量次(10次以内)迭代生成较为可靠的伪标签的方式得到类别标签。
4.2用MMD距离来度量源域数据和目标域数据的边缘分布和条件分布在再生核希尔伯特空间(RKHS,Reproducing Kernel Hilbert spaces)的距离。
源域与目标域数据的边缘分布距离表示为:
Df(Ps(Xs),Pt(Xt))=||E(f(A))-E(f(B))||RK 2 (5)
其中,E(f(A))表示源域子空间在RKHS投影之后的样本,E(f(B))表示目标域子空间在RKHS投影之后的样本。RK表示RKHS。
类似地,源域与目标域条件分布表示为:
其中,E(f(A(c)))表示使用带有类别信息的源域子空间样本在RKHS上投影,E(f(B(c))表示使用带有伪标签信息的目标域样本在RKHS上投影。
4.3 A-distance方法估计动态自适应系数η。采用A-distance的计算方法估计不同分布之间的距离,建立一个线性分类器区分两个数据领域的hinge损失。
本发明的自适应系数η采用的是交叉验证的方法利用步骤4.1生成的伪标签不断迭代生成,其中A-distance定义为:
dA(Ds,Dt)=2(1-2ε(g)) (7)
其中,ε(g)表示利用简单的线性分类器区分源域和目标域数据分布的误差。可以计算边缘分布和条件分布的适配量分别表示为:
dM=dA(Ds,Dt),dO(c)=dA(Ds (c),Dt (c)) (8)
其中,dM表示边缘分布的A-distance,dO(c)表示第c类源域数据条件分布的A-distance,Dt (c)和Ds (c)分别第c类的源域数据和目标域数据。
用这种方法可以通过不断迭代更新的方式可以估计出η:
4.4根据步骤4.2-4.3源域和目标域的动态分布对齐可以表示为:
引用核矩阵具体可以化简为:
其中,K为核矩阵,是源域和目标域数据使用径向基核函数得到的矩阵,并且K∈R(n +m)×(n+m);β是所求的系数矩阵,M为MMD矩阵,表示为:
步骤(5)、基于SRM原则构建全局学习分类器。
通过SRM(structural risk minimizatin)原则增加L2范数项和拉普拉斯正则化项,将子空间数据转化至再生希尔伯特空间内学习一个域不变的分类器f。
拉普拉斯正则化表示如下:
总模型表示为:
通过核技巧代入并整合公式可以得到分类器如下表示:
本发明的另一个目的是提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行上述的方法。
本发明的又一个目的是提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现上述的方法。
本发明的有效效果:
1.已有的基于脑电的疲劳检测方法中,多采用浅层机器学习或基于大量样本的深度学习的方法,此二种方法均具有局限性,跨被试精神状态的检测能力有限。本发明结合对脑电数据的统计量特征的分析,能够在样本数据相对较少的情况下快速学习分类器进行分类,通过10次以内的迭代能够取得较好的跨被试实验效果。
2.过去使用的领域适应迁移学习方法多采用单子空间映射以及特定子空间映射的方法,容易忽略数据自身的统计特征,这种统计特征对于迁移准确率的提升以及减少映射子空间偏移具有很重要的作用,特别是针对跨被试的精神状态迁移,迁移效果突出。
3.传统的分布对齐方式往往并没有采用动态计算特征空间和标记空间数据边缘分布和条件分布的权重。但是脑电数据是非线性高维数据,其自身具有复杂性、个体化差异非常大的特点。本发明采用了一种基于先生成目标域伪标签再计算源域和目标域数据的条件分布和边缘分布的权重,将该权重代入全局优化中,能够显著提升迁移学习分类的准确率。
附图说明
图1为本方法总体处理流程图。
图2为本发明选取的检测脑电62通道位置。
图3为共空间特征提取过程脑电数据处理变化流程图。
图4为双子空间映射与动态分布对齐示意图。
具体实施方式
下面结合具体实施例对本发明做进一步的实施分析。
本方法的目标是从源域Ds的特征与标签的对应关系中学习一个分类器f来预测Dt的标签。以由19名被试组成的驾驶员脑电数据“疲劳”“清醒”和“中性”三分类精神状态为例,实验所用数据为64通道脑电数据,在实际使用中除去两个参考电极,得到了62通道的脑电数据。图1为该方法的总体流程图,按照上述总体流程,在本发明设计的实验范式下采集多名疲劳驾驶实验被试的原始脑电数据,按照步骤(1)进行原始脑电数据预处理。图2为本发明采集的疲劳驾驶被试的62通道脑电位置。数据利用EEGLAB工具对原始脑电信号进行预处理,去除脑电原始信号中的干扰信号并进行带通滤波和独立成分分析。最终结果得到多名被试原始脑电数据特征空间的分类存储数据。
步骤(2)、脑电信号的特征提取
采用公共空间模式CSP算法进行特征提取,将原始数据预处理得到的高维时域信号,通过设计出的CSP滤波器,将其投影到低维空间。
2.1将源域数据归一化并分别计算两类(多类则任取两类)源域样本的协方差矩阵,并进行2.2-2.5步骤;
2.2根据步骤2.1得到的协方差矩阵累加并取平均,得到源域数据的混合空间协方差矩阵;
2.3计算步骤2.2得到的混合空间协方差矩阵的特征向量和特征值;
2.4对步骤2.3得到的特征值进行排序,选取最大值,求出白化特征值矩阵Q;
2.5将步骤2.1不同类别源域样本的协方差矩阵与步骤2.4得到的白化特征值矩阵Q进行变换,并做主分量分解得到共同特征向量N;共同特征向量N与白化特征值矩阵Q进行公式(1)运算可得到共空间滤波器G:
G=NTQ
(1)
其中T表示转置。
2.6重复2.1得到其他两两分类组合的共空间滤波器,并相加求平均的方式获取最终共空间滤波器G’,
经过特征提取之后得到的共空间特征为:
Xs'=G’×Xs
Xt'=G’×Xt (2)
图3所示为特征提取过程脑电数据处理变化的数据流程图,以三分类为例,原始脑电数据的清醒类数据大小为62*400*4012,表示采集的原始数据的组织结构为通道数*采样点*试验数,疲劳类脑电数据大小为62*400*6628,正常类脑电数据大小为62*400*3879,上述过程得到的CSP滤波器大小为62*62,投影之后的数据经过降采样与逆置与叠加之后得到新目标域与源域数据量分别为源域数据特征空间为:4812*62,标记空间为4812*1,记录的是源域的类别信息,目标域数据的特征空间为:531*62,将类别信息另外存储。本发明的降采样的特征是采用的是按照清醒类:正常类:疲劳类为2.5:2.5:4的比例进行随机缩小的。
步骤(3)、源域数据目标域数据双子空间映射
所述源域数据和目标域数据双子空间模型表示如下:
其中α、θ、μ是平衡参数,为人为设定;
目标域特征方差采用公式(4)目标域数据的散度矩阵进行优化:
其中St表示目标域数据的散度矩阵,运算Tr()表示矩阵的迹。
源域类间方差采用公式(5)源域数据的最大化类间散度矩阵进行优化:
其中Sb是源域数据的类间散度矩阵;
源域类内方差采用公式(6)源域数据的最小化类内散度矩阵进行优化:
其中Sw是源域数据的类内散度矩阵;
上述A、B分别表示源域的投影子空间、目标域的投影子空间;是利用步骤(2)处理得到的源域和目标域共空间特征学习两个耦合的投影变换,即将源域和目标域的共空间特征投影到相应的两个低维投影子空间A、B内,利用matlab编程工具的计算特征值和特征向量的函数eigs()能够求解出子空间映射A和子空间映射B,其矩阵表示为:
其中,I是单位矩阵。
步骤(4)、动态数据分布适应对齐
对进行步骤(3)的源域和目标域子空间数据进行动态的边缘分布对齐和条件分布对齐,估算动态自适应系数η,并采用计算MMD距离的方式来分别计算源域和目标域数据的边缘概率和条件概率的分布距离。
4.1生成目标域伪标签。由于疲劳驾驶脑电数据中选择的目标域标签是未知的,采用KNN分类器的方法通过迭代生成伪标签的方式得到分类标签。
4.2用MMD距离来度量源域数据和目标域数据的边缘分布和条件分布在RKHS的距离。
源域与目标域数据的边缘分布距离表示为:
Df(P(Xs),P(Xt))=||E(f(A))-E(f(B))||RK 2 (5)
其中,E(f(A))表示源域子空间在RKHS投影之后的样本,E(f(B))表示目标域子空间在RKHS投影之后的样本。RK表示RKHS。
源域与目标域条件分布表示为:
其中,E(f(A(c)))表示使用带有类别信息的源域子空间样本在RKHS上投影,E(f(B(c))表示使用带有伪标签信息的目标域样本在RKHS上投影。
4.3 A-distance方法估计动态自适应系数η。采用A-distance的计算方法估计不同分布之间的距离,建立一个线性分类器区分两个数据领域的hinge损失。本发明的自适应系数η采用的是交叉验证的方法利用步骤4.1生成的伪标签不断迭代生成,其中A-distance定义为:
dA(Ds,Dt)=2(1-2ε(g)) (7)
其中,ε(g)表示利用简单的线性分类器区分源域和目标域数据分布的误差。可以计算边缘分布和条件分布的适配量分别表示为:
dM=dA(Ds,Dt),dO(c)=dA(Ds (c),Dt (c)) (8)
其中,dM表示边缘分布的A-distance,dO(c)表示第c类源域数据条件分布的A-distance,Dt (c)和Ds (c)分别第c类的源域数据和目标域数据。
用这种方法可以通过不断迭代更新的方式可以粗略估计出η:
4.4根据4.2和4.3源域和目标域的动态分布对齐可以表示为:
引用核矩阵具体可以化简为:
其中,K为核矩阵是源域和目标域数据使用径向基核函数得到的矩阵,并且K∈R(n +m)×(n+m);β是所求的系数矩阵,M为MMD矩阵,表示为:
步骤(5)、基于SRM原则构建全局学习分类器。
通过SRM原则增加L2范数项和拉普拉斯正则化项,将子空间数据转化至RKHS内学习一个域不变的分类器f。
拉普拉斯正则化表示如下:
总模型表示为:
通过核矩阵代入并整合公式可以得到如下表示:
图4为步骤(3)和步骤(4)主方法的简要示意图,用三种不同形状的图形表示三分类脑电数据,最左部分为源域和目标域原始脑电数据,其中源域由若干名被试组成,目标域由一名被试的脑电数据组成,其原始分布杂乱无序。经过双子空间映射其数据分布能够有效改善,通过动态分布对齐在RKHS空间下得到动态自适应系数η并学习到最终分类器f,完成分类任务。
Claims (8)
1.基于DDADSM跨被试迁移学习脑电精神状态检测方法,其特征在于包括以下步骤:
步骤(1)、对原始脑电数据进行预处理,然后对其划分后获取源域和目标域数据;
源域数据和目标域的边缘概率分别定义为Ps(Xs)和Pt(Xt),源域数据和目标域的条件概率分别定义为Qs(ys|Xs)和Qt(yt|Xt),yt为目标域的类别数据;
步骤(2)、脑电信号的特征提取
采用公共空间模式算法进行共空间特征提取,将步骤(1)原始源域和目标域高维时域信号数据,通过共空间滤波器将其投影到低维空间;
步骤(3)、源域数据目标域数据双子空间映射
步骤(4)、动态数据分布适应对齐
对进行步骤(3)的源域和目标域子空间数据进行动态的边缘分布对齐和条件分布对齐,估算动态自适应系数η,并采用计算MMD距离的方式来分别计算源域和目标域数据的边缘概率和条件概率的分布距离;
步骤(5)、基于SRM原则构建全局学习分类器f,求解分类器系数矩阵β,进而求出目标域的标签。
2.如权利要求1所述的基于DDADSM跨被试迁移学习脑电精神状态检测方法,其特征在于步骤(2)具体是:
2.1将源域数据归一化并分别计算两类源域样本的协方差矩阵;
2.2根据步骤2.1得到的协方差矩阵累加并取平均,得到源域数据的混合空间协方差矩阵;
2.3计算步骤2.2得到的混合空间协方差矩阵的特征向量和特征值;
2.4对步骤2.3得到的特征值进行排序,选取最大值,求出白化特征值矩阵Q;
2.5将步骤2.1不同类别源域样本的协方差矩阵与步骤2.4得到的白化特征值矩阵Q进行变换,并做主分量分解得到共同特征向量N;共同特征向量N与白化特征值矩阵Q进行公式(1)运算可得到共空间滤波器G:
G=NTQ (1)
其中T表示转置;
2.6若待分类任务具有多类,则重复步骤2.1-2.5得到所有共空间滤波器,并相加求平均得到最终的共空间滤波器G’,经过特征提取之后得到的共空间特征为:
Xs'=G’×Xs
Xt'=G’×Xt (2)
其中X′t,X′s分别表示经过共空间特征提取之后的源域和目标域共空间特征。
3.如权利要求1或2所述的基于DDADSM跨被试迁移学习脑电精神状态检测方法,其特征在于步骤(3)具体是:
所述源域数据和目标域数据双子空间模型表示如下:
其中α、θ、μ是平衡参数;
目标域特征方差采用公式(4)目标域数据的散度矩阵进行优化:
其中St表示目标域数据的散度矩阵,运算Tr()表示矩阵的迹;
源域类间方差采用公式(5)源域数据的最大化类间散度矩阵进行优化:
其中Sb是源域数据的类间散度矩阵;
源域类内方差采用公式(6)源域数据的最小化类内散度矩阵进行优化:
其中Sw是源域数据的类内散度矩阵;
上述A、B分别表示源域的投影子空间、目标域的投影子空间;是利用步骤(2)处理得到的源域和目标域共空间特征学习两个耦合的投影变换,即将源域和目标域的共空间特征投影到相应的两个低维投影子空间A、B内,利用matlab编程工具的计算特征值和特征向量的函数eigs()能够求解出子空间映射A和子空间映射B,其矩阵表示为:
其中,I是单位矩阵。
4.如权利要求3所述的基于DDADSM跨被试迁移学习脑电精神状态检测方法,其特征在于步骤(4)具体是:
4.1生成目标域伪标签;
4.2用MMD距离来度量源域数据和目标域数据的边缘分布和条件分布在再生核希尔伯特空间RKHS的距离;
源域与目标域数据的边缘分布距离表示为:
Df(Ps(Xs),Pt(Xt))=||E(f(A))-E(f(B))||RK 2 (5)
其中,E(f(A))表示源域子空间在RKHS投影之后的样本,E(f(B))表示目标域子空间在RKHS投影之后的样本;RK表示RKHS;
类似地,源域与目标域条件分布表示为:
其中,E(f(A(c)))表示使用带有类别信息的源域子空间样本在RKHS上投影,E(f(B(c))表示使用带有伪标签信息的目标域样本在RKHS上投影;
4.3A-distance方法估计动态自适应系数η;采用A-distance的计算方法估计不同分布之间的距离,建立一个线性分类器区分两个数据领域的hinge损失;
自适应系数η采用的是交叉验证的方法利用步骤4.1生成的伪标签不断迭代生成,其中A-distance定义为:
dA(Ds,Dt)=2(1-2ε(g)) (7)
其中,ε(g)表示利用简单的线性分类器区分源域和目标域数据分布的误差;可以计算边缘分布和条件分布的适配量分别表示为:
dM=dA(Ds,Dt),dO(c)=dA(Ds (c),Dt (c)) (8)
其中,dM表示边缘分布的A-distance,dO(c)表示第c类源域数据条件分布的A-distance,Dt (c)和Ds (c)分别第c类的源域数据和目标域数据;
通过不断迭代更新的方式可以粗略估计出η:
4.4根据步骤4.2-4.3源域和目标域的动态分布对齐可以表示为:
引用核矩阵具体可以化简为:
其中,K为核矩阵,是源域和目标域数据使用径向基核函数得到的矩阵,并且K∈R(n +m)×(n+m);β是所求的系数矩阵,M为MMD矩阵,表示为:
5.如权利要求4所述的基于DDADSM跨被试迁移学习脑电精神状态检测方法,其特征在于步骤4.1使用KNN分类器通过10次以内迭代生成伪标签。
7.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-6中任一项所述的方法。
8.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011541187.8A CN112488081B (zh) | 2020-12-23 | 2020-12-23 | 基于ddadsm跨被试迁移学习脑电精神状态检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011541187.8A CN112488081B (zh) | 2020-12-23 | 2020-12-23 | 基于ddadsm跨被试迁移学习脑电精神状态检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112488081A true CN112488081A (zh) | 2021-03-12 |
CN112488081B CN112488081B (zh) | 2024-08-09 |
Family
ID=74915378
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011541187.8A Active CN112488081B (zh) | 2020-12-23 | 2020-12-23 | 基于ddadsm跨被试迁移学习脑电精神状态检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488081B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111845A (zh) * | 2021-04-29 | 2021-07-13 | 中山大学 | 一种基于正则的rkhs子空间学习的bci脑肌电信号识别 |
CN113157096A (zh) * | 2021-04-26 | 2021-07-23 | 杭州电子科技大学 | 基于深度子域关联适应网络的脑电情感迁移方法 |
CN113157094A (zh) * | 2021-04-21 | 2021-07-23 | 杭州电子科技大学 | 联合特征迁移与图半监督标记传播的脑电情感识别方法 |
CN113392733A (zh) * | 2021-05-31 | 2021-09-14 | 杭州电子科技大学 | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 |
CN113791688A (zh) * | 2021-09-15 | 2021-12-14 | 山东建筑大学 | 基于脑机接口的多源域自适应想象语音生成方法及系统 |
CN113842151A (zh) * | 2021-09-30 | 2021-12-28 | 杭州电子科技大学 | 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 |
CN114330422A (zh) * | 2021-12-08 | 2022-04-12 | 杭州电子科技大学 | 一种实时估计脑电情感特征的跨被试迁移学习方法 |
CN114343673A (zh) * | 2021-11-29 | 2022-04-15 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107045640A (zh) * | 2017-03-31 | 2017-08-15 | 南京邮电大学 | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 |
CN108898181A (zh) * | 2018-06-29 | 2018-11-27 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
CN109902393A (zh) * | 2019-03-01 | 2019-06-18 | 哈尔滨理工大学 | 一种基于深层特征和迁移学习的变工况下滚动轴承故障诊断方法 |
CN110705591A (zh) * | 2019-03-09 | 2020-01-17 | 华南理工大学 | 一种基于最优子空间学习的异构迁移学习方法 |
WO2020151144A1 (zh) * | 2019-01-24 | 2020-07-30 | 五邑大学 | 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法 |
CN111931815A (zh) * | 2020-07-08 | 2020-11-13 | 西南大学 | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 |
-
2020
- 2020-12-23 CN CN202011541187.8A patent/CN112488081B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107045640A (zh) * | 2017-03-31 | 2017-08-15 | 南京邮电大学 | 一种用于图像识别的基于邻域保持和核子空间对齐的方法 |
CN108898181A (zh) * | 2018-06-29 | 2018-11-27 | 咪咕文化科技有限公司 | 一种图像分类模型的处理方法、装置及存储介质 |
WO2020151144A1 (zh) * | 2019-01-24 | 2020-07-30 | 五邑大学 | 一种基于广义一致性构建脑功能网络与相关向量机的疲劳分类方法 |
CN109902393A (zh) * | 2019-03-01 | 2019-06-18 | 哈尔滨理工大学 | 一种基于深层特征和迁移学习的变工况下滚动轴承故障诊断方法 |
CN110705591A (zh) * | 2019-03-09 | 2020-01-17 | 华南理工大学 | 一种基于最优子空间学习的异构迁移学习方法 |
CN111931815A (zh) * | 2020-07-08 | 2020-11-13 | 西南大学 | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113157094A (zh) * | 2021-04-21 | 2021-07-23 | 杭州电子科技大学 | 联合特征迁移与图半监督标记传播的脑电情感识别方法 |
CN113157096A (zh) * | 2021-04-26 | 2021-07-23 | 杭州电子科技大学 | 基于深度子域关联适应网络的脑电情感迁移方法 |
CN113111845A (zh) * | 2021-04-29 | 2021-07-13 | 中山大学 | 一种基于正则的rkhs子空间学习的bci脑肌电信号识别 |
CN113392733B (zh) * | 2021-05-31 | 2022-06-21 | 杭州电子科技大学 | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 |
CN113392733A (zh) * | 2021-05-31 | 2021-09-14 | 杭州电子科技大学 | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 |
CN113791688B (zh) * | 2021-09-15 | 2023-09-26 | 山东建筑大学 | 基于脑机接口的多源域自适应想象语音生成方法及系统 |
CN113791688A (zh) * | 2021-09-15 | 2021-12-14 | 山东建筑大学 | 基于脑机接口的多源域自适应想象语音生成方法及系统 |
CN113842151A (zh) * | 2021-09-30 | 2021-12-28 | 杭州电子科技大学 | 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 |
CN113842151B (zh) * | 2021-09-30 | 2024-01-05 | 杭州电子科技大学 | 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 |
CN114343673A (zh) * | 2021-11-29 | 2022-04-15 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
CN114343673B (zh) * | 2021-11-29 | 2024-03-29 | 北京机械设备研究所 | 跨被试的运动想象脑电信号处理方法、介质、设备 |
CN114330422A (zh) * | 2021-12-08 | 2022-04-12 | 杭州电子科技大学 | 一种实时估计脑电情感特征的跨被试迁移学习方法 |
CN114330422B (zh) * | 2021-12-08 | 2024-04-12 | 杭州电子科技大学 | 一种实时估计脑电情感特征的跨被试迁移学习方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112488081B (zh) | 2024-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112488081B (zh) | 基于ddadsm跨被试迁移学习脑电精神状态检测方法 | |
CN109165556B (zh) | 一种基于grnn身份识别方法 | |
CN104318219A (zh) | 基于局部特征及全局特征结合的人脸识别方法 | |
CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
CN106169073A (zh) | 一种表情识别方法及系统 | |
CN103839033A (zh) | 一种基于模糊规则的人脸识别方法 | |
CN111931815A (zh) | 基于迁移样本的跨域迁移电子鼻漂移抑制方法 | |
CN106096517A (zh) | 一种基于低秩矩阵与特征脸的人脸识别方法 | |
CN103164689A (zh) | 人脸识别方法及系统 | |
CN113392733A (zh) | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 | |
CN110781828A (zh) | 一种基于微表情的疲劳状态检测方法 | |
CN116150670A (zh) | 一种基于特征去相关解耦的任务无关脑纹识别方法 | |
CN114841214A (zh) | 基于半监督判别投影的脉搏数据分类方法及装置 | |
CN103942545A (zh) | 一种基于双向压缩数据空间维度缩减的人脸识别方法和装置 | |
CN116982993B (zh) | 一种基于高维随机矩阵理论的脑电信号分类方法及系统 | |
CN110432899B (zh) | 基于深度堆叠支持矩阵机的脑电信号识别方法 | |
CN116010783B (zh) | 一种rsvp弱隐目标诱发脑电识别方法、装置及存储介质 | |
CN112966735A (zh) | 一种基于谱重建的监督多集相关特征融合方法 | |
CN116821764A (zh) | 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法 | |
CN114564743B (zh) | 应用于运动想象脑机接口系统的隐私保护迁移学习方法 | |
CN113705437B (zh) | 一种基于多流形嵌入式分布对齐的领域自适应方法 | |
Wang et al. | RoDLSR: Robust discriminative least squares regression model for multi-category classification | |
CN113177482A (zh) | 一种基于最小类别混淆的跨个体脑电信号分类方法 | |
CN111832427B (zh) | 基于欧氏对齐和Procrustes分析的EEG分类的迁移学习方法和系统 | |
AU2021102810A4 (en) | A system for human cognitive states classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |