CN117034074A - 一种基于客户端间结构匹配的联邦脑电信号分类方法 - Google Patents

一种基于客户端间结构匹配的联邦脑电信号分类方法 Download PDF

Info

Publication number
CN117034074A
CN117034074A CN202310806812.4A CN202310806812A CN117034074A CN 117034074 A CN117034074 A CN 117034074A CN 202310806812 A CN202310806812 A CN 202310806812A CN 117034074 A CN117034074 A CN 117034074A
Authority
CN
China
Prior art keywords
client
virtual class
local
loss
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310806812.4A
Other languages
English (en)
Inventor
杭文龙
李佳兴
吴元
梁爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Tech University
Original Assignee
Nanjing Tech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Tech University filed Critical Nanjing Tech University
Priority to CN202310806812.4A priority Critical patent/CN117034074A/zh
Publication of CN117034074A publication Critical patent/CN117034074A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种基于客户端间结构匹配的联邦脑电信号分类方法，包括以下步骤：首先各客户端对私有的EEG信号进行预处理；各客户端接收服务器端的全局模型参数和虚拟类中心对本地模型进行初始化；各客户端用预处理后的EEG数据作为输入，利用深度网络学习EEG数据深度特征，计算EEG深度特征的虚拟类中心，然后计算距离损失和结构匹配损失，最后将所有损失加权求和成最终的损失函数来优化本地模型参数；服务器端利用本地模型参数进行更新。本发明提出距离损失和结构匹配损失提高本地模型性能和解决各客户端间数据异构的问题；由于各客户端与服务端之间只需要交互模型参数和虚拟类中心，能够防止数据泄露问题。

Description

一种基于客户端间结构匹配的联邦脑电信号分类方法
技术领域
本发明涉及一种基于客户端间结构匹配的联邦脑电信号分类方法，属于脑电信号识别领域。
背景技术
脑电信号(Electroencephalogram，EEG)是一种使用电生理指标记录大脑活动的方法，由于其在脑机接口(Brain Computer Interface，BCI)中的潜在应用而受到广泛关注。例如，基于运动想象(Motor Imagery，MI)的脑电信号可以用于辅助运动功能障碍患者控制外部康复设备，恢复肢体运动功能。尽管深度学习方法在脑电信号分类中取得了最优的识别效果，但其通常依赖于大量的训练数据。然而，收集充足的EEG数据是费时、费力的。针对这一问题，一种较为直接的解决方案是利用其他受试者或机构的EEG数据，将他们私有的EEG数据发送到一个集中的服务器形成一个大型训练数据集，用于训练深度学习模型。该方法虽然有效，但将个人或机构的EEG数据发送到服务器存在用户隐私泄露的风险。为了解决该问题，研究人员利用联邦学习将分布在不同客户端的EEG数据进行分布式训练，以构建全局深度学习模型。尽管在一定程度上实现了用户隐私保护，但现有的联邦脑电信号分类方法没有考虑到不同客户端EEG数据之间的分布差异，导致的全局深度学习模型的泛化性能较差，难以突破EEG识别模型的性能瓶颈。
针对上述问题，本发明依托于现有联邦学习框架，首先为每个客户端训练本地的深度模型，对每一个客户端特定类别的EEG深度特征平均得到多个虚拟中心，并建立判别特征学习机制使得本地模型学习的特征具有类内紧凑、类间松散的特性，提升本地模型对EEG数据的分类性能；随后，本发明提出了一种结构匹配策略，通过对齐局部客户端的虚拟类中心与对应的全局虚拟类中心来纠正局部客户端的学习，从而解决局部客户端漂移问题，提升全局模型的泛化性能。此外，由于客户端与服务器之间只交互虚拟类中心和模型参数，能够保护用户的隐私信息。
发明内容
本发明提供了一种基于客户端间结构匹配的联邦脑电信号分类方法，基于联邦学习范式，提出了一种新的基于客户端间结构匹配的联邦脑电分类框架，通过引入中心损失来学习虚拟类中心，促进局部客户端的判别性特征学习，同时保持多个客户端之间的结构信息的一致性来解决客户端漂移问题，在保护用户隐私信息的同时提升了EEG识别模型的性能。
本发明为解决上述问题采用以下技术方案：
一种基于客户端间结构匹配的联邦脑电信号分类方法，包括以下步骤：
步骤1：每个客户端采集各自私有EEG数据，共有L个客户端。
步骤2：客户端对各自的EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到各自的EEG数据其中/>表示第l个客户端的第i个EEG数据，c，d分别表示脑电信号的通道数和采样点数，/>表示/>的标签。
步骤3：服务器初始化全局网络参数和全局虚拟类中心，并将当前的全局网络参数和全局虚拟类中心分发给每个客户端。
步骤4：客户端接收步骤3中的全局网络参数和全局虚拟类中心，并将全局网络参数作为本地网络的初始化参数，利用网络输出的本地EEG特征计算每一个类别的虚拟类中心，并计算特征和对应本地虚拟类中心的中心距离损失。此外，计算本地虚拟类中心与全局虚拟类中心之间的结构匹配损失，以及网络预测输出与真实标签之间的分类损失。
步骤5：将客户端的分类损失、中心距离损失和结构匹配损失加权求和形成最终损失函数，利用反向传播算法优化整个本地网络。更新客户端的本地虚拟类中心以及网络模型参数。
步骤6：将步骤5中的客户端更新后的本地网络模型参数和虚拟类中心上传到服务器，服务器加权平均各个客户端的网络模型参数和虚拟类中心，更新全局网络模型参数和全局虚拟类中心。
步骤7：重复步骤3-步骤6直到全局网络稳定收敛。
优选的，所述客户端的判别特征学习包括两个部分，首先由各个客户端通过本地的网络模型提取到EEG数据深度特征后，通过对特定类的EEG深度特征进行平均来计算多个本地虚拟类中心，最小化EEG深度特征与其对应的虚拟类中心使得同类特征相互靠近，具体表示为：
此外，计算多个虚拟类中心的平均中心点，并使得多个虚拟类中心在学习过程中远离平均中心点使得不同类特征相互分散，具体表示为：
其中，C是客户端本地数据的总分类个数，为第l个客户端的第c类虚拟类中心点，/>表示为第l个客户端第c类的EEG数据个数，/>为第l个客户端的本地模型学习到的深度特征表示。/>表示第t次迭代的平均中心点，/>表示第t+1次迭代第l个客户端的第c类虚拟类中心点，β为平衡参数。
优选的，本发明提出的客户端间结构匹配策略为核心模块，具体的，服务器收集各客户端的虚拟类中心并进行加权平均得到全局的虚拟类中心。服务器在下一个通信轮将全局虚拟类中心发送给各个客户端，客户端将本地的虚拟类中心与全局虚拟类中心进行匹配，具体表示为：
其中，C表示全局第c类虚拟类中心。
有益效果：
1、本发明引入客户端虚拟类中心，通过最小化EEG深度特征到其对应虚拟类中心的距离，同时最大化各个虚拟类中心到平均类中心的距离，使得客户端的本地模型能够更好地学习判别性脑电深度特征，从而提升本地模型对EEG数据的分类性能。
2、本发明引入客户端间结构匹配方案，通过将多个客户端的虚拟类中心上传至服务器得到全局虚拟类中心，对齐全局与局部客户端之间的结构信息，能够有效地纠正局部客户端数据分布不一致的问题。此外，各个客户端与服务器之间只需传递模型参数和虚拟类中心，能够有效的防止用户隐私泄露。
附图说明
图1是本发明中一种基于客户端间结构匹配的联邦脑电信号分类方法框架图。
具体实施方式
下面结合实例对本发明做更进一步的解释。
本发明主要实施流程如下，相关网络框架见图1。
步骤1：每个客户端采集各自私有EEG数据，共有L个客户端。
步骤2：客户端对各自的EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到各自的EEG数据其中/>表示第l个客户端的第i个EEG数据，c，d分别表示脑电信号的通道数和采样点数，/>表示/>的标签。
步骤3：服务器初始化全局网络参数和全局虚拟类中心，并将当前的全局网络参数和全局虚拟类中心分发给每个客户端。
步骤4：客户端接收步骤3中的全局网络参数和全局虚拟类中心，并将全局网络参数作为本地网络的初始化参数，利用网络输出的本地EEG特征计算每一个类别的虚拟类中心，并计算特征和对应本地虚拟类中心的中心距离损失。此外，计算本地虚拟类中心与全局虚拟类中心之间的结构匹配损失，以及网络预测输出与真实标签之间的分类损失。其中，
1)客户端本地虚拟类中心点计算方式如下：
其中，为第l个客户端的第c类虚拟类中心点，/>表示为第l个客户端第c类的EEG数据个数，1[·]为指示函数，/>为第l个客户端的本地模型学习到的/>的深度脑电特征。
2)EEG特征和对应本地虚拟类中心的中心距离损失计算方式如下：
其中，C是客户端本地EEG数据的分类个数。本地虚拟类中心点更新方式如下：
其中，表示第t次迭代的平均中心点，/>表示第t+1次迭代第l个客户端的第c类虚拟类中心点，β为平衡参数，本发明取值0.002。
3)本地虚拟类中心与全局虚拟类中心之间的结构匹配损失计算方式如下：
其中，C表示全局第c类虚拟类中心。
4)网络预测输出与真实标签之间的分类损失计算方式如下：
其中，表示第l个客户端本地样本/>的真实标签，f表示网络模型。
步骤5：将客户端的分类损失、中心距离损失和结构匹配损失加权求和形成最终损失函数，利用反向传播算法优化整个本地网络。更新客户端的本地虚拟类中心以及网络模型参数。具体计算如下：
L＝Lce+λd·Ld+λs·Ls (11)
其中，λd，λs分别表示中心距离损失和结构匹配损失的系数，本发明取0.01和1。
步骤6：将步骤5中的客户端更新后的本地网络模型参数和虚拟类中心上传到服务器，服务器加权平均各个客户端的网络模型参数和虚拟类中心，更新全局网络模型参数和全局虚拟类中心。
步骤7：重复步骤3-步骤6直到全局网络稳定收敛。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所做的等效结构或等流程变换，或直接或间接运用在相关技术领域，均同理包括在本发明的专利保护范围。

Claims (6)

1.一种基于客户端间结构匹配的联邦脑电信号分类方法，步骤如下：
步骤1：每个客户端采集各自私有EEG数据，共有L个客户端。
步骤2：客户端对各自的EEG数据进行预处理，包括带通滤波和伪影去除、选取特定时间段和频段，得到各自的EEG数据其中/>表示第l个客户端的第i个EEG数据，c，d分别表示脑电信号的通道数和采样点数，/>表示/>的标签。
步骤3：服务器初始化全局网络参数和全局虚拟类中心，并将当前的全局网络参数和全局虚拟类中心分发给每个客户端。
步骤4：客户端接收步骤3中的全局网络参数和全局虚拟类中心，并将全局网络参数作为本地网络的初始化参数，利用网络输出的本地EEG特征计算每一个类别的虚拟类中心，并计算特征和对应本地虚拟类中心的中心距离损失。此外，计算本地虚拟类中心与全局虚拟类中心之间的结构匹配损失，以及网络预测输出与真实标签之间的分类损失。
步骤5：将客户端的分类损失、中心距离损失和结构匹配损失加权求和形成最终损失函数，利用反向传播算法优化整个本地网络。更新客户端的本地虚拟类中心以及网络模型参数。
步骤6：将步骤5中的客户端更新后的本地网络模型参数和虚拟类中心上传到服务器，服务器加权平均各个客户端的网络模型参数和虚拟类中心，更新全局网络模型参数和全局虚拟类中心。
步骤7：重复步骤3-步骤6直到全局网络稳定收敛。
2.根据权利要求1所述的一种基于客户端间结构匹配的联邦脑电信号分类方法，其特征在于，步骤4中，计算客户端本地虚拟类中心，具体的计算方式为：
其中，为第l个客户端的第c类虚拟类中心点，/>表示为第l个客户端第c类的EEG数据个数，1[·]为指示函数，/>为第l个客户端的本地模型学习到的/>的深度脑电特征。
3.根据权利要求1所述的一种基于客户端间结构匹配的联邦脑电信号分类方法，其特征在于，步骤4中，计算EEG特征和对应本地虚拟类中心的中心距离损失，具体的计算方式为：
其中，C是客户端本地EEG数据的分类个数。
4.根据权利要求1所述的一种基于客户端间结构匹配的联邦脑电信号分类方法，其特征在于，步骤4中，本地虚拟类中心点更新方式，具体的计算方式为：
其中，表示第t次迭代的平均中心点，/>表示第t+1次迭代第l个客户端的第c类虚拟类中心点，β为平衡参数，本发明取值0.002。
5.根据权利要求1所述的一种基于客户端间结构匹配的联邦脑电信号分类方法，其特征在于，步骤4中，本地虚拟类中心与全局虚拟类中心之间的结构匹配损失，具体的计算方式为：
其中，C表示全局第c类虚拟类中心。
6.根据权利要求1所述的一种基于客户端间结构匹配的联邦脑电信号分类方法，其特征在于，步骤5中，将客户端的分类损失、中心距离损失和结构匹配损失加权求和形成最终损失函数，利用反向传播算法优化整个本地网络，具体的计算方式为：
L＝Lce+λd·Ld+λs·Ls (6)
其中，为分类损失，/>表示第l个客户端本地样本/>的真实标签，f表示网络模型。λd，λs分别表示中心距离损失和结构匹配损失的系数，本发明取0.01和1。
CN202310806812.4A 2023-07-03 2023-07-03 一种基于客户端间结构匹配的联邦脑电信号分类方法 Pending CN117034074A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310806812.4A CN117034074A (zh) 2023-07-03 2023-07-03 一种基于客户端间结构匹配的联邦脑电信号分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310806812.4A CN117034074A (zh) 2023-07-03 2023-07-03 一种基于客户端间结构匹配的联邦脑电信号分类方法

Publications (1)

Publication Number Publication Date
CN117034074A true CN117034074A (zh) 2023-11-10

Family

ID=88623364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310806812.4A Pending CN117034074A (zh) 2023-07-03 2023-07-03 一种基于客户端间结构匹配的联邦脑电信号分类方法

Country Status (1)

Country Link
CN (1) CN117034074A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708681A (zh) * 2024-02-06 2024-03-15 南京邮电大学 基于结构图指导的个性化联邦脑电信号分类方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708681A (zh) * 2024-02-06 2024-03-15 南京邮电大学 基于结构图指导的个性化联邦脑电信号分类方法及系统
CN117708681B (zh) * 2024-02-06 2024-04-26 南京邮电大学 基于结构图指导的个性化联邦脑电信号分类方法及系统

Similar Documents

Publication Publication Date Title
Ya et al. Large-scale real-world radio signal recognition with deep learning
EP3933551A1 (en) Motor imagery electroencephalogram signal processing method, device, and storage medium
CN113705712B (zh) 一种基于联邦半监督学习的网络流量分类方法和系统
CN108960299B (zh) 一种多类运动想象脑电信号的识别方法
CN117034074A (zh) 一种基于客户端间结构匹配的联邦脑电信号分类方法
CN109299647B (zh) 一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法
CN111544855A (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN114521904B (zh) 一种基于耦合神经元群的脑电活动模拟方法及系统
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN111325288B (zh) 基于聚类思想的多视角动态脑网络特征维度约减方法
CN114897155A (zh) 一种用于卫星的集成模型无数据压缩方法
CN116029333A (zh) 一种面向分布式系统自适应的多目标肌电模式识别方法
CN112749633A (zh) 分离与重构的个体辐射源识别方法
Zhang et al. Transfer learning algorithm design for feature transfer problem in motor imagery brain-computer interface
CN117322890B (zh) 一种基于神经元群模型的生成式多通道脑电建模方法
CN114936583B (zh) 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
CN117198556A (zh) 基于主成分分析的自储层传染病预测方法及系统
CN116842361A (zh) 基于时频注意力混合深度网络的癫痫脑电信号识别方法
CN116958656A (zh) 一种基于结构对齐和伪标自纠正的联邦半监督医学图像诊断方法
CN116720106A (zh) 基于迁移学习领域自适应的运动想象脑电信号分类方法
CN115798709A (zh) 基于多任务图同构网络的阿尔兹海默病分类装置及方法
CN115171211A (zh) 信道状态信息的动作和位置的联合估计方法
CN114492560A (zh) 一种基于迁移学习的脑电情绪分类方法
CN113095238A (zh) 一种基于联邦学习的个性化心电信号监测方法
CN114209342A (zh) 一种基于时空特征的脑电信号运动想象分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination