CN114239652A - 基于聚类的对抗部分域适应跨被试eeg情绪识别方法 - Google Patents

基于聚类的对抗部分域适应跨被试eeg情绪识别方法 Download PDF

Info

Publication number
CN114239652A
CN114239652A CN202111539147.4A CN202111539147A CN114239652A CN 114239652 A CN114239652 A CN 114239652A CN 202111539147 A CN202111539147 A CN 202111539147A CN 114239652 A CN114239652 A CN 114239652A
Authority
CN
China
Prior art keywords
domain
cluster
clustering
target
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111539147.4A
Other languages
English (en)
Inventor
张桦
吴政轩
赵月
戴国骏
曾虹
方欣
刘洋
吴琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111539147.4A priority Critical patent/CN114239652A/zh
Publication of CN114239652A publication Critical patent/CN114239652A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于聚类的对抗部分域适应跨被试EEG情绪识别方法，利用源域样本的特征计算类簇中心，并将源域真实标签作为类簇标签，并引入一致性匹配算法和跨域聚类共识指标，利用Kmeans聚类得到无标签目标域样本相应的类簇标签和类簇中心，将源域类簇中心与目标域类簇中心进行一致性匹配，对于匹配成功的两个类簇，将源域标签分配给共同语义的目标域类簇，同时计算跨域聚类共识指标实现最优目标域类簇个数的搜索，最终实现源域和目标域的共有类别的关联和私有类别的分离，该方法充分考虑无标签数据的特征空间分布结构，具有较高的普适性，能够大大提高模型训练效率，并为临床应用提供技术支持。

Description

基于聚类的对抗部分域适应跨被试EEG情绪识别方法
技术领域
本发明涉及脑电(EEG)情绪识别领域，提出一种基于聚类的对抗部分域适应算法，适用于目标样本类别是源样本类别子集的场景，解决跨被试EEG个体差异问题及跨域类别不平衡的部分域适应问题。
背景技术
如何有效地解决深度神经网络在跨被试上进行脑电情绪识别时模型泛化性能差的问题是目前机器学习和脑机接口领域广泛关注的热点。传统方法是通过手工设计提取有效脑电情感特征，并使用机器学习模型，如支持向量机进行情绪分类，需要依赖专家知识，且费时费力。随着深度学习的发展，以其无需进行手工特征提取，能自动学习特征，且具有强大的数据表征能力的优点被广泛应用在各个领域。在脑电情绪识别领域，目前使用最多的深度神经网络有卷积神经网络和长短期记忆网络。但是由于脑电情感信号具有低信噪比，非平稳性的特点，且每个被试表达情绪的方式不同，其不同人之间，单个人采集的脑电的情感特征都存在差异，容易导致跨被试脑电情绪数据集的样本特征分布不均，泛化性能差，使得脑电情绪识别的实际应用存在局限性。因此需要一种能适用于跨被试，能自适应调整样本特征分布以提高脑电情绪识别模型泛化性能的脑电情绪识别方法。
迁移学习中的领域自适应是一种针对解决源域和目标域分布偏移的机器学习算法。目前域适应方法主要的重点是如何最小化分布差异，旨在通过学习源域和目标域的域不变特征，从而在目标域没有或少量标签的情况下，将从源域学到的分类器直接应用于目标域。同时，在认知神经领域，也有学者开始将迁移学习应用于神经生理信号的分析，但其准确率及普适应还有很大的提升空间。目前，EEG情绪识别的最大难题就是如何避免个体差异性的影响，也就是说相同的认知状态下每个被试个体的脑电信号是存在巨大差异的。
从跨域条件类别分布角度看，现有的无监督域适应方法都是针对源域和目标域共享类别的任务，也就是说，源样本和目标样本类别信息是一致的。然而在更加真实、具有挑战的场景下，样本数据可能存在样本分布不均匀、类别不平衡的多种挑战，如何进一步在类别不平衡场景下的知识迁移是目前域适应更有挑战的问题。目前已有学者开始研究计算机视觉中的跨域类别不平衡的情况，比如部分域适应。而在进行EEG情绪识别时，如果想要学习已有源域被试的情绪认知模式，并将其迁移至新的目标域中，并且目标域情绪认知状态与源域不完全一致的情况，则将其称为情绪识别的部分域适应。在真实场景下，我们往往存在想从类别不平衡的数据集中学习到共有知识的情况，因此本发明将构建一个部分域适应模型适用于个体差异性较大及跨域类别不平衡情况下的情绪识别算法，以便在实际临床适用。
发明内容
现有方法大多直接使用基于源域数据训练出的分类器为目标域未标记数据提供伪标签，对于决策边界较为模糊的目标任务，并且在部分域适应的情境下，不能保证伪标签的可靠性，易给模型带来较大的负面影响。目前相关研究成果大多应用在图像识别、目标检测等方面，在神经生理学方面还未展开相关研究。因此本发明提供一种基于聚类的对抗部分域适应跨被试EEG情绪识别方法，提出基于聚类的对抗部分域适应算法适用于跨被试情绪识别的部分域适应问题，针对EEG数据可能存在个体差异性、以及数据集之间类别不平衡，目标样本类别是源样本类别子集的场景，充分学习带标签样本的结构特征，将目标域和源域的特征分布对齐，以实现域间特征的正向迁移。所提出的方法主要有两个方面：
一方面基于域对抗方法的特征分布对齐：首先，我们利用域对抗方法对齐源域和目标域之间的分布，构建了EEG情绪识别模型，该模型包含了判别器、特征提取器和分类器，其中域判别器来判断特征提取器的输出特征来自于源域或是目标域，而特征提取器的任务是提取两个域之间相似的特征以至于判别器无法进行区分，通过这样一个博弈的过程达到一个源域和目标域特征边缘分布对齐的目的。
另一方面基于无监督Kmeans聚类的部分域迁移：本文利用基于Kmeans的聚类算法，对目标域进行无监督聚类，并利用源域特定类别特征中心与目标域的类簇中心对齐，实现跨域的共有类别与私有类别的分离。首先，通过特征提取器得到源域特征，并对源域特征进行L2正则化，计算源域每个特定类别样本的特征中心，并用源域真实标签为其分配类簇标签。然后以源域样本的特征中心作为目标域聚类的初始化类簇中心，采用无监督Kmeans聚类的方法对目标域数据的特征进行初始化聚类；然而，由于目标域的标签未知且为源域标签的子集，无法确定目标域的实际类簇个数，因此我们对最优类簇个数进行搜索，对目标域数据进行多次不同类簇个数的聚类，并使用一种跨域聚类共识评估指标，用于评估跨域聚类效果的优劣，最后选择最优的类簇中心，并使用一致性匹配方法来关联源域与目标域中相同语义类别的公共类簇，自然的将私有类别与之分离，最后使用与目标域类簇语义相匹配的源域真实标签作为目标域的伪标签，具有更高的可信度。从本质上看，该算法从结构特征角度出发能够解决目标域与源域标签空间不一致的情况，实现源域与目标域共有类别的关联以及私有类别的分离。
综上所述，本发明针对基于跨被试EEG的情绪识别，以个体差异性为关键出发点，对被试的情绪状态进行识别，其核心技术主要是基于Kmeans的聚类算法构建对抗部分域适应方法，在一定程度上解决了脑电数据个体差异问题以及源样本与目标样本标签类别不平衡的问题，实现跨域的共有类别关联和私有类别的分离。本发明将已有训练被试数据组成为一个源域，新的测试被试数据作为目标域，利用源域样本通过神经网络得到的高维域不变特征计算类簇中心，并将源域真实标签作为类簇标签，并引入一致性匹配算法和跨域聚类共识指标，利用Kmeans聚类得到无标签目标域样本相应的类簇标签和类簇中心，将源域类簇中心与目标域类簇中心进行一致性匹配，将匹配成功的两个类簇视为语义一致的共有类别的类簇，并将源域标签分配给共同语义的目标域类簇，同时计算跨域聚类共识指标实现最优目标域类簇个数的搜索，最终实现源域和目标域的共有类别的关联和私有类别的分离，该方法充分考虑无标签数据的特征空间分布结构，具有较高的普适性，能够大大提高模型训练效率，并为临床应用提供技术支持。
本文为克服现有方法的不足所采用的技术方案如下：
本发明提出的一种基于聚类的对抗部分域适应跨被试EEG情绪识别方法，普适于部分域适应的场景。通过对EEG情绪数据进行特征分析，对被试的情绪认知状态进行分类。
本发明以SEED情绪数据集为前提：
步骤1：数据预处理；
采用公开的SEED数据集作为训练数据集；脑电图信号数据输入模型前需要进行预处理。每秒从SEED数据集的5个频带中提取微分熵(DE)特征：δ：1-3Hz，θ：4-7Hz，α：8-13Hz，β：14-30Hz，γ：31-50Hz。特征维度为310个(62个通道×5个频带)。
步骤2：数据定义
给定N个存在个体差异的EEG数据，将所有被试个体作为源域并且已知其认知状态标签，该源域表示为Xs，源域标签表示为Ys，类别数C，而无标签的新被试个体作为目标域Xt，类别数K未知。
步骤3：构建并训练EEG情绪识别模型；
所述的EEG情绪识别模型包括共享特征提取器G、分类器F和判别器D。
进一步的，步骤3具体方法如下：
输入：带有标签的源域数据{Xs,Ys}，该源域表示为Xs，源域标签表示为Ys，类别数C，不带标签的目标域数据Xt(类别数K未知)，和最大迭代次数T；
3-1.利用共享特征提取器G提取源域和目标域样本数据潜在的公共特征，将提取的公共特征映射到一个公共的特征空间；
3-2.以源域样本数据Xs特有的类别标签为约束优化分类器F，目标函数为有监督的分类损失Lce；
3-3.利用域对抗方法，使特征提取器G能学习到来自源域和目标域两个领域的不变特征，以混淆判别器D，使其认为特征来自相同域，使得两个域在特征空间的边缘分布对齐，对抗目标函数为Ld；
3-4.源域数据Xs和目标域数据Xt通过特征提取器G能提取到领域不变的特征向量Vs和Vt，将真实标签为c的特定类源域数据表示为
Figure BDA0003413395500000061
从
Figure BDA0003413395500000062
中提取到的特征向量为
Figure BDA0003413395500000063
最后通过特定类特征向量
Figure BDA0003413395500000064
计算源域中类别为c的样本的类簇中心
Figure BDA0003413395500000065
而源域样本的类簇标签是基于真实标签分配的，最后得到所有类别的源域类簇中心
Figure BDA0003413395500000066
和类簇标签{1，...，C}；
3-5.采用Kmeans聚类方法对目标域样本特征Vt进行聚类，得到对应的目标域样本类簇中心
Figure BDA0003413395500000067
和类簇标签{1，...，K}；
3-6.由于通过Kmeans聚类得到的类簇标签与源域的真实标签不成立对应关系，使用一致性匹配来关联语义一致的共有类别的源域类簇中心
Figure BDA0003413395500000068
与目标域类簇中心
Figure BDA0003413395500000069
给定一对源域和目标域的类簇特征为
Figure BDA00034133955000000610
和
Figure BDA00034133955000000611
其中来自一个域的类簇在另一个域中搜索距离该类簇最近的类簇中心μ，然后确定是否两者同时为彼此最近的类簇中心，如果两者同时为彼此最近的类簇中心则这样的一对匹配类簇就被认为是公共类簇，该对类簇的类簇标签为{c，k}，然后将对应的第k个类簇目标域样本的伪标签
Figure BDA0003413395500000071
分配为匹配的源域标签c；
3-7.使用余弦相似度来计算来自某一个域的样本到另一个域的所有类簇中心的距离。对于一对类簇中源域的第i个样本，计算其与所有目标域类簇中心
Figure BDA0003413395500000072
的余弦相似度
Figure BDA0003413395500000073
同理计算目标域第i个样本与所有源域类簇中心
Figure BDA0003413395500000074
的余弦相似度
Figure BDA0003413395500000075
3-8.利用3-7得到的结果计算源域聚类共识得分
Figure BDA0003413395500000076
以及目标域聚类共识得分
Figure BDA0003413395500000077
3-9.然后对由3-8得到的源域聚类共识得分
Figure BDA0003413395500000078
与目标域聚类共识得分
Figure BDA0003413395500000079
取平均值，得到这对类簇的跨域聚类共识得分S(c，k)，最后计算所有类簇对的共识得分的平均值Stotal；
3-10.为了确定目标域聚类的类簇数量K，对Kmeans算法设置不同的K，重复步骤3-4至3-9进行多次聚类，根据跨域聚类共识得分Stotal确定最优类簇数量，最后以最优类簇数进行聚类，得到最优的目标域类簇中心；
3.11.为了提高目标聚类的可判别性，重新构建带伪标签的目标域数据集
Figure BDA00034133955000000710
并利用带伪标签目标数据为神经网络施加了一个原型正则化项
Figure BDA00034133955000000711
促进聚类的优化，使得特征在类别层面对齐。
3-12.总的目标优化函数为：
Figure BDA00034133955000000712
其中，λ1，λ2为模型的超参数。
3-13.在对神经网络进行优化之前先进行一次初始化聚类得到带伪标签的目标域数据集
Figure BDA0003413395500000081
为了避免不准确标签的积累，在优化模型的同时交替更新聚类。每对神经网络进行五次优化，就重新执行一次聚类，重构伪标签数据，直至迭代T次。
输出：目标域样本对应于类簇原型中心距离最近的类簇标签。
本发明有益效果如下：
首先，发现并解决了该领域的一个新问题，即无监督域适应中部分域适应问题，本发明能够普适于跨域特征分布不一致的域适应问题，并在一定程度上大大降低了模型复杂度，时间效率上有明显提升。其次，本发明提出基于聚类的对抗部分域适应适应算法适用于源域与目标域类别不平衡的状态；研究表明，大量模型直接使用源域分类器为无标签目标域样本提供伪标签，但在标签类别不平衡的状态下，不能保证伪标签的可靠性，易给模型带来较大的负面影响；因此，本发明从样本本身的结构特征角度出发，提出聚类算法充分考虑类间样本结构分布特征，通过跨域类簇一致性匹配和跨域聚类共识评估实现公共类别与私有类别的分离。最后，本发明有效解决了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，具有较强的泛化能力，能够很好的适用于临床诊断和实际应用。
附图说明
图1为本发明实施模型结构图。
具体实施方式
下面结合附图对本发明作进一步说明。
如图1所示，是基于聚类的对抗部分域适应跨被试EEG情绪识别方法模型结构图，主要包括如下步骤：
步骤1：数据预处理
数据集的脑电图信号在输入到框架前都进行了预处理。每秒从SEED数据集的5个频带中提取微分熵(DE)特征：δ：1-3Hz，θ：4-7Hz，α：8-13Hz，β：14-30Hz，γ：31-50Hz。特征维度为310个(62个通道×5个频带)。
对于一段特定长度的近似服从高斯分布
Figure BDA0003413395500000091
的EEG信号，其微分熵为：
Figure BDA0003413395500000092
等于其在特定频段上的能量谱的对数。
SEED数据集是来自上海交通大学BCMI实验室的公开数据集，由15名参与者组成。每个人都被要求观看15个情感电影剪辑，以引出三种情绪：积极(positive)、消极(negative)和中性(neutral)。采用62导的ESI神经扫描系统以1000Hz的采样率记录脑电图信号。
步骤2：数据定义
给定N个存在个体差异的EEG数据，将所有被试个体作为源域并且已知其认知状态标签，该源域表示为Xs，源域标签表示为Ys，类别数C，而无标签的新被试个体作为目标域Xt，类别数K未知。
步骤3：基于聚类的对抗部分域适应跨被试EEG情绪识别方法
输入：带有情绪分类标签的源域样本数据{Xs,Ys}，类别数C，不带情绪状态标签的目标域样本数据Xt(类别数K未知)，和最大迭代次数T；
3-1.利用共享特征提取器G提取源域和目标域样本数据潜在的公共特征，将提取的公共特征映射到一个公共的特征空间，公共特征提取器采用3层隐藏层的神经网络，且网络的每个隐藏层都有512个节点，并使用ReLU激活函数，网络的输出与输入数据具有相同的310维度；
3-2.以源域样本数据Xs特有的类别标签为约束优化分类器F，分类器F的网络层数设为3层。网络的每个隐藏层都有64个节点，并都使用了ReLU激活函数，网络的输入为310维度，输出为3维度，目标函数为有监督的分类损失loss：
Figure BDA0003413395500000101
3-3.利用域对抗方法，使特征提取器G能学习到来自源域和目标域两个领域的不变特征，以混淆判别器D，使其认为特征来自相同域。判别器采用与分类器相同的网络结构，最终令特征提取器G能够从源域和目标域数据中提取出领域不变的特征，促进特征在特征空间的边缘分布对齐使得两个域在特征空间的边缘分布对齐，对抗目标函数为Ld如下：
Figure BDA0003413395500000111
Figure BDA0003413395500000112
Ld＝Ladv_g(Xs，Xt，G)+Ladv_d(Xs，Xt，D)
3-4.源域数据Xs和目标域数据Xt通过特征提取器G能提取到领域不变的特征向量Vs和Vt，将真实标签为C的特定类源域数据表示为
Figure BDA0003413395500000113
从
Figure BDA0003413395500000114
中提取到的特征向量为
Figure BDA0003413395500000115
最后我们通过特定类特征向量
Figure BDA0003413395500000116
计算源域中类别为C的样本的类簇中心
Figure BDA0003413395500000117
而源域样本的类簇标签是基于真实标签分配的，最后得到所有类别的源域类簇中心
Figure BDA0003413395500000118
和类簇标签{1，...，C}。
源域类簇中心计算如下所示：
G(Xs)＝Vs
Figure BDA0003413395500000119
其中
Figure BDA00034133955000001110
表示第c类源域样本的个数。
3-5.采用Kmeans聚类方法对目标域样本特征Vt进行聚类，得到对应的目标域样本类簇中心
Figure BDA00034133955000001111
和类簇标签{1，...，K}；
3-6.由于通过Kmeans聚类得到的类簇标签与源域的真实标签不成立对应关系，使用一致性匹配来关联语义一致的共有类别的源域类簇中心
Figure BDA0003413395500000121
与目标域类簇中心
Figure BDA0003413395500000122
给定一对源域和目标域的类簇特征为
Figure BDA0003413395500000123
和
Figure BDA0003413395500000124
其中来自一个域的类簇在另一个域中搜索距离该类簇最近的类簇中心μ，然后确定是否两者同时为彼此最近的类簇中心，如果两者同时为彼此最近的类簇中心则这样的一对匹配类簇就被认为是公共类簇，该对类簇的类簇标签为{c，k}，然后将对应的第k个类簇目标域样本的伪标签
Figure BDA0003413395500000125
分配为匹配的源域标签c；
3-7.使用余弦相似度来计算来自某一个域的样本到另一个域的所有类簇中心的距离。对于一对类簇中源域的第i个样本，计算其与所有目标域类簇中心
Figure BDA0003413395500000126
的余弦相似度
Figure BDA0003413395500000127
计算公式如下：
Figure BDA0003413395500000128
同理可以计算目标域第i个样本与所有源域类簇中心
Figure BDA0003413395500000129
的余弦相似度
Figure BDA00034133955000001210
公式如下：
Figure BDA00034133955000001211
3-8.利用3-7得到的结果计算源域聚类共识得分
Figure BDA00034133955000001212
以及目标域聚类共识得分
Figure BDA00034133955000001213
源域跨域聚类共识得分可以表示为达到共识的样本的比例：
Figure BDA00034133955000001214
其中
Figure BDA00034133955000001215
是一个判断第i个源域特征向量
Figure BDA00034133955000001216
是否持有相应的类簇索引k的指标，目标域同理得到
Figure BDA00034133955000001217
3-9.然后对由3-8得到的源域聚类共识得分
Figure BDA00034133955000001218
与目标域聚类共识得分
Figure BDA0003413395500000131
取平均值，得到这对类簇的跨域聚类共识得分S(c，k)，最后计算所有类簇对的共识得分的平均值Stotal，m表示为匹配的类簇对的数量，计算公式如下：
Figure BDA0003413395500000132
Figure BDA0003413395500000133
3-10.为了确定目标域聚类的类簇数量K，对Kmeans算法设置不同的K，重复步骤3-4至3-9进行多次聚类，根据跨域聚类共识得分Stotal确定最优类簇数量，最后以最优类簇数进行聚类，得到最优的目标域类簇中心；
3-11.为了提高目标聚类的可判别性，重新构建带伪标签的目标域数据集
Figure BDA0003413395500000134
并利用带伪标签目标数据为网络施加了一个原型正则化项
Figure BDA0003413395500000135
促进聚类的优化，使得特征在类别层面对齐。
Figure BDA0003413395500000136
这里的
Figure BDA0003413395500000137
是独热编码的目标域类簇标签，并且：
Figure BDA0003413395500000138
vi是第i个目标域样本特征向量，τ是一个控制该分布密度的温度参数，根据经验将其设为0.1。
3-12.总的目标优化函数为：
Figure BDA0003413395500000139
其中，λ1，λ2为模型的超参数。
3-13.在对神经网络进行优化之前先进行一次初始化聚类得到带伪标签的目标域数据集
Figure BDA0003413395500000141
为了避免不准确标签的积累，在优化模型的同时交替更新聚类。每对神经网络进行五次优化，就重新执行一次聚类，重构伪标签数据，直至神经网络迭代T次。
输出：目标域样本标签对应于类簇原型中心距离最近的类别域标签，形式上可以定义为：
Figure BDA0003413395500000142

Claims (9)

1.基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，步骤如下：
步骤1：数据预处理；
采用公开的SEED数据集作为训练数据集；脑电图信号数据输入模型前需要进行预处理；每秒从SEED数据集的5个频带中提取微分熵(DE)特征：δ：1-3Hz，θ：4-7Hz，α：8-13Hz，β：14-30Hz，γ：31-50Hz；特征维度为310个(62个通道×5个频带)；
步骤2：数据定义
给定N个存在个体差异的EEG数据，将所有被试个体作为源域并且已知其认知状态标签，该源域表示为Xs，源域标签表示为Ys，类别数C，而无标签的新被试个体作为目标域Xt，类别数K未知；
步骤3：构建并训练EEG情绪识别模型；
所述的EEG情绪识别模型包括共享特征提取器G、分类器F和判别器D。
2.根据权利要求1所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，步骤3具体方法如下：
输入：带有标签的源域数据{Xs,Ys}，该源域表示为Xs，源域标签表示为Ys，类别数C，不带标签的目标域数据Xt，类别数K未知，和最大迭代次数T；
3-1.利用共享特征提取器G提取源域和目标域样本数据潜在的公共特征，将提取的公共特征映射到一个公共的特征空间；
3-2.以源域样本数据Xs特有的类别标签为约束优化分类器F，目标函数为有监督的分类损失Lce；
3-3.利用域对抗方法，使特征提取器G能学习到来自源域和目标域两个领域的不变特征，以混淆判别器D，使其认为特征来自相同域，使得两个域在特征空间的边缘分布对齐，对抗目标函数为Ld；
3-4.源域数据Xs和目标域数据Xt通过特征提取器G能提取到领域不变的特征向量Vs和Vt，将真实标签为c的特定类源域数据表示为
Figure FDA0003413395490000011
从
Figure FDA0003413395490000021
中提取到的特征向量为
Figure FDA0003413395490000022
最后通过特定类特征向量
Figure FDA0003413395490000023
计算源域中类别为c的样本的类簇中心
Figure FDA0003413395490000024
而源域样本的类簇标签是基于真实标签分配的，最后得到所有类别的源域类簇中心
Figure FDA0003413395490000025
和类簇标签{1,…,C}；
3-5.采用Kmeans聚类方法对目标域样本特征Vt进行聚类，得到对应的目标域样本类簇中心
Figure FDA0003413395490000026
和类簇标签{1,…,K}；
3-6.由于通过Kmeans聚类得到的类簇标签与源域的真实标签不成立对应关系，使用一致性匹配来关联语义一致的共有类别的源域类簇中心
Figure FDA0003413395490000027
与目标域类簇中心
Figure FDA0003413395490000028
给定一对源域和目标域的类簇特征为
Figure FDA0003413395490000029
和
Figure FDA00034133954900000210
其中来自一个域的类簇在另一个域中搜索距离该类簇最近的类簇中心μ，然后确定是否两者同时为彼此最近的类簇中心，如果两者同时为彼此最近的类簇中心则这样的一对匹配类簇就被认为是公共类簇，该对类簇的类簇标签为{c,k}，然后将对应的第k个类簇目标域样本的伪标签
Figure FDA00034133954900000211
分配为匹配的源域标签c；
3-7.使用余弦相似度来计算来自某一个域的样本到另一个域的所有类簇中心的距离；对于一对类簇中源域的第i个样本，计算其与所有目标域类簇中心
Figure FDA00034133954900000212
的余弦相似度
Figure FDA00034133954900000213
同理计算目标域第i个样本与所有源域类簇中心
Figure FDA00034133954900000214
的余弦相似度
Figure FDA00034133954900000215
3-8.利用3-7得到的结果计算源域聚类共识得分
Figure FDA00034133954900000216
以及目标域聚类共识得分
Figure FDA00034133954900000217
3-9.然后对由3-8得到的源域聚类共识得分
Figure FDA00034133954900000218
与目标域聚类共识得分
Figure FDA0003413395490000031
取平均值，得到这对类簇的跨域聚类共识得分S(c,k)，最后计算所有类簇对的共识得分的平均值Stotal；
3-10.为了确定目标域聚类的类簇数量K，对Kmeans算法设置不同的K，重复步骤3-4至3-9进行多次聚类，根据跨域聚类共识得分Stotal确定最优类簇数量，最后以最优类簇数进行聚类，得到最优的目标域类簇中心；
3.11.为了提高目标聚类的可判别性，重新构建带伪标签的目标域数据集
Figure FDA0003413395490000032
并利用带伪标签目标数据为神经网络施加了一个原型正则化项
Figure FDA0003413395490000033
促进聚类的优化，使得特征在类别层面对齐；
3-12.总的目标优化函数为：
Figure FDA0003413395490000034
其中，λ1，λ2为模型的超参数；
3-13.在对神经网络进行优化之前先进行一次初始化聚类得到带伪标签的目标域数据集
Figure FDA0003413395490000035
为了避免不准确标签的积累，在优化模型的同时交替更新聚类；每对神经网络进行五次优化，就重新执行一次聚类，重构伪标签数据，直至迭代T次；
输出：目标域样本对应于类簇原型中心距离最近的类簇标签。
3.根据权利要求2所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，步骤3-1具体实现如下：
利用共享特征提取器G提取源域和目标域样本数据潜在的公共特征，将提取的公共特征映射到一个公共的特征空间，公共特征提取器采用3层隐藏层的神经网络，且网络的每个隐藏层都有512个节点，并使用ReLU激活函数，网络的输出与输入数据具有相同的310维度。
4.根据权利要求2所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，步骤3-2具体实现如下：
以源域样本数据Xs特有的类别标签为约束优化分类器F，分类器F的网络层数设为3层；网络的每个隐藏层都有64个节点，并都使用了ReLU激活函数，网络的输入为310维度，输出为3维度，目标函数为有监督的分类损失loss：
Figure FDA0003413395490000041
5.根据权利要求3所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，对抗目标函数为Ld如下：
Figure FDA0003413395490000042
Figure FDA0003413395490000043
Ld＝Ladv_g(Xs,Xt,G)+Ladv_d(Xs,Xt,D)。
6.根据权利要求2所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，源域类簇中心计算如下所示：
G(Xs)＝Vs
Figure FDA0003413395490000044
其中
Figure FDA0003413395490000045
表示第c类源域样本的个数。
7.根据权利要求2所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，3-7具体实现如下：
使用余弦相似度来计算来自某一个域的样本到另一个域的所有类簇中心的距离；对于一对类簇中源域的第i个样本，计算其与所有目标域类簇中心
Figure FDA0003413395490000051
的余弦相似度
Figure FDA0003413395490000052
计算公式如下：
Figure FDA0003413395490000053
同理可以计算目标域第i个样本与所有源域类簇中心
Figure FDA0003413395490000054
的余弦相似度
Figure FDA0003413395490000055
公式如下：
Figure FDA0003413395490000056
8.根据权利要求7所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，源域跨域聚类共识得分能够表示为达到共识的样本的比例：
Figure FDA0003413395490000057
其中
Figure FDA0003413395490000058
是一个判断第i个源域特征向量
Figure FDA0003413395490000059
是否持有相应的类簇索引k的指标，目标域同理得到
Figure FDA00034133954900000510
9.根据权利要求2所述的基于聚类的对抗部分域适应跨被试EEG情绪识别方法，其特征在于，原型正则化项
Figure FDA00034133954900000511
如下：
Figure FDA00034133954900000512
其中，
Figure FDA00034133954900000513
是独热编码的目标域类簇标签，并且：
Figure FDA00034133954900000514
vi是第i个目标域样本特征向量，τ是一个控制该分布密度的温度参数，根据经验将其设为0.1。
CN202111539147.4A 2021-12-15 2021-12-15 基于聚类的对抗部分域适应跨被试eeg情绪识别方法 Pending CN114239652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111539147.4A CN114239652A (zh) 2021-12-15 2021-12-15 基于聚类的对抗部分域适应跨被试eeg情绪识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111539147.4A CN114239652A (zh) 2021-12-15 2021-12-15 基于聚类的对抗部分域适应跨被试eeg情绪识别方法

Publications (1)

Publication Number Publication Date
CN114239652A true CN114239652A (zh) 2022-03-25

Family

ID=80756722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111539147.4A Pending CN114239652A (zh) 2021-12-15 2021-12-15 基于聚类的对抗部分域适应跨被试eeg情绪识别方法

Country Status (1)

Country Link
CN (1) CN114239652A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937165A (zh) * 2022-07-20 2022-08-23 浙江大华技术股份有限公司 一种类簇合并方法、装置、终端及计算机可读存储介质
CN115238835A (zh) * 2022-09-23 2022-10-25 华南理工大学 基于双空间自适应融合的脑电情感识别方法、介质及设备
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114937165A (zh) * 2022-07-20 2022-08-23 浙江大华技术股份有限公司 一种类簇合并方法、装置、终端及计算机可读存储介质
CN115238835A (zh) * 2022-09-23 2022-10-25 华南理工大学 基于双空间自适应融合的脑电情感识别方法、介质及设备
CN117932347A (zh) * 2024-03-22 2024-04-26 四川大学 基于对抗性迁移学习的小样本时序预测方法及系统
CN117932347B (zh) * 2024-03-22 2024-06-11 四川大学 基于对抗性迁移学习的pm2.5预测方法及系统

Similar Documents

Publication Publication Date Title
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Li et al. A novel neural network model based on cerebral hemispheric asymmetry for EEG emotion recognition.
CN111191660B (zh) 一种基于多通道协同胶囊网络的结肠癌病理学图像分类方法
CN114239652A (zh) 基于聚类的对抗部分域适应跨被试eeg情绪识别方法
CN111414461B (zh) 一种融合知识库与用户建模的智能问答方法及系统
CN110459225B (zh) 一种基于cnn融合特征的说话人辨认系统
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN112580518B (zh) 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
Hu et al. Detection and recognition for life state of cell cancer using two-stage cascade CNNs
CN112800998A (zh) 融合注意力机制和dmcca的多模态情感识别方法及系统
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN114118165A (zh) 基于脑电的多模态情绪数据预测方法、装置及相关介质
CN111931619B (zh) 一种基于优化聚类算法的跨域步态重识别方法
Rayatdoost et al. Subject-invariant EEG representation learning for emotion recognition
CN113010013A (zh) 一种基于Wasserstein距离的运动想象脑电迁移学习方法
Wu et al. Uncertainty-aware label rectification for domain adaptive mitochondria segmentation
CN110889335B (zh) 基于多通道时空融合网络人体骨架双人交互行为识别方法
CN115169386A (zh) 一种基于元注意力机制的弱监督增类活动识别方法
CN109858511B (zh) 基于协同表示的安全半监督超限学习机分类方法
CN110874576A (zh) 一种基于典型相关分析融合特征的行人再识别方法
Zhao Skin cancer classification based on convolutional neural networks and vision transformers
CN116821764A (zh) 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法
Wang et al. Structure-conditioned adversarial learning for unsupervised domain adaptation
CN117193537A (zh) 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法
CN114841216B (zh) 一种基于模型不确定性学习的脑电信号分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination