CN114626408A - 脑电信号分类方法、装置、电子设备、介质及产品 - Google Patents

脑电信号分类方法、装置、电子设备、介质及产品 Download PDF

Info

Publication number
CN114626408A
CN114626408A CN202210152848.0A CN202210152848A CN114626408A CN 114626408 A CN114626408 A CN 114626408A CN 202210152848 A CN202210152848 A CN 202210152848A CN 114626408 A CN114626408 A CN 114626408A
Authority
CN
China
Prior art keywords
electroencephalogram signal
network model
training data
unlabeled
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210152848.0A
Other languages
English (en)
Inventor
王兴军
赵亮
冯阳
汤献文
李御智
苏杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202210152848.0A priority Critical patent/CN114626408A/zh
Publication of CN114626408A publication Critical patent/CN114626408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种脑电信号分类方法、装置、电子设备、介质及产品,包括:获取待处理的目标脑电信号;将待处理的目标脑电信号输入脑电信号分类模型,得到目标脑电信号所对应的脑电信号分类结果;其中,脑电信号分类模型是基于有标签的脑电信号训练数据、无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最终训练得到的学生网络模型所得到的。本发明能够获得分类准确度较高的脑电信号分类模型,进而获得更加准确的分类结果,还能大大降低深度学习模型对优质数据的依赖度,降低数据的标注成本。

Description

脑电信号分类方法、装置、电子设备、介质及产品
技术领域
本发明涉及信号处理技术领域,尤其涉及一种脑电信号分类方法、 装置、电子设备、介质及产品。
背景技术
脑电波是大脑皮层中大量神经元的突触后电位总和的结果。脑电 波同步节律的形成与皮层丘脑非特异性投射系统的活动有关,其可以 通过精密的电子仪器从头皮上将脑部的自发性生物电位加以放大记 录获得,所记录得到的图形即为脑电图(Electroencephalogram,EEG)。 EEG信号按频谱不同可划分为α波、β波、θ波以及δ波四种基本类 型,通过对EEG信号的分类,可以帮助脑卒中偏瘫等肢体不便的患 者康复训练或者控制轮椅出行,也可以用于普通用户的教育娱乐,其 与人类的生命健康息息相关。
现有的EEG信号分类算法主要有自适应分类器、矩阵和张量学 习分类器、迁移学习以及深度学习等。其中,深度学习算法是从EEG 信号数据中提取特征和训练分类器。理论上深度学习可以实现EEG 更有效的特征提取和精度更高的模式分类,但实际中由于EEG信号 样本较少,导致训练出的脑电信号分类模型精度较差,对脑电信号分 类的准确性较低。
目前,深度学习已在解决分类、聚类、智能决策等问题上取得了 优异表现,其最主要的模型训练方式为有监督学习,即依据提供的带 标签数据,系统地学习其中深层次的数据含义,挖掘数据规律,建立 数据关联性。并依据标签建立损失函数,利用反向传播原理自动化地 调整模型参数,建立一个收敛的深度学习模型。并且,随着计算力的 大幅度提升与数据资源的极大丰富,深度学习技术发展速度较快,并 与很多行业深度融合,实现了技术驱动,大幅度提高分类准确率,缩 短了时间,降低了生产及决策成本,深刻地改变了人类的生活方式。
但是,深度学习技术同时也存在着较明显的缺陷,模型训练过程 中对于高质量数据的严重依赖性是该技术的重大问题之一。高质量的 模型往往需要大量的带标签的数据,且需要保障标签的准确性与可用 性。同时,就算在数据充足的情况下,如果希望模型的准确率能够进 一步提升,则需要提供更加复杂、层数更多、参数更多的模型,而这 又会进一步增加带标签数据的需求量,导致成本进一步增加。
在很多情况下,数据本身并不缺乏,而带准确标签的数据却非常 缺乏。在自然语言处理、医疗诊断等领域,对数据进行准确的标注往 往是成本极高、极其耗时的过程。会大幅度提高模型的训练成本,减 少模型的可用性与普及性。因此,大量无标签数据与少量有标签数据 是我们在利用深度学习技术进行有监督分类时经常遇到的场景。如何 在这场景下,在不增加标注数据量的情况下,提高模型的分类准确率 和其他相关性能,变得非常必要。
发明内容
本发明提供一种脑电信号分类方法、装置、电子设备、介质及产 品,用以解决小数据集情况下有监督分类准确率不足,以及特征提取 分析过程中因模型训练不充分而导致的特征不明确的问题。
本发明提供一种脑电信号分类方法,包括:获取待处理的目标脑 电信号;
将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述 目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
根据本发明提供的一种脑电信号分类方法,在将所述待处理的目 标脑电信号输入脑电信号分类模型之前,方法还包括:
步骤1)、从待训练神经网络模型的集合中选取教师网络模型与 学生网络模型;其中,所述教师网络模型的复杂度低于所述学生网络 模型的复杂度;所述待训练神经网络模型的集合中的神经网络模型依 次按照复杂度排序;
步骤2)、通过有标签的脑电信号训练数据对所述教师网络模型 进行训练,直到所述教师网络模型收敛,得到训练好的教师网络模型;
步骤3)、将无标签的脑电信号训练数据输入所述训练好的教师 网络模型,根据所述训练好的教师网络模型的输出结果,将所述无标 签的脑电信号训练数据分为第一类无标签脑电信号训练数据与第二 类无标签脑电信号训练数据;其中,所述第一类无标签脑电信号训练 数据的置信度大于或等于预定的置信度阈值,所述第二类无标签脑电 信号训练数据的置信度小于所述预定的置信度阈值;
步骤4)、基于所述有标签的脑电信号训练数据、所述第一类无 标签脑电信号训练数据以及所述第二类无标签脑电信号训练数据,在 所述训练好的教师网络模型指导下,对所述学生网络模型进行训练, 直到所述学生网络模型收敛,得到训练好的学生网络模型;
步骤5)、将所述训练好的学生网络模型作为新的教师网络模型, 并从所述待训练神经网络模型的集合中选取下一个未经训练的、复杂 度更高的神经网络模型作为新的学生网络模型,然后重新执行步骤2) -步骤4),直至所述待训练神经网络模型的集合中的所有神经网络模 型均已经被训练;
步骤6)、基于所述待训练神经网络模型的集合中的最后一个被 训练好的学生网络模型,得到所述脑电信号分类模型。
根据本发明提供的一种脑电信号分类方法,所述将无标签的脑电 信号训练数据输入所述训练好的教师网络模型,根据所述训练好的教 师网络模型的输出结果,将所述无标签的脑电信号训练数据分为第一 类无标签脑电信号训练数据与第二类无标签脑电信号训练数据,包括:
将无标签的脑电信号训练数据输入所述训练好的教师网络模型, 得到标签预测结果;其中,所述标签预测结果用于描述所述无标签的 脑电信号训练数据被确定为所属类别的概率值;
判断所述无标签的脑电信号训练数据的标签预测结果是否大于 或等于预定的置信度阈值;
在所述无标签的脑电信号训练数据的标签预测结果大于或等于 预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定 为第一类无标签脑电信号训练数据;
在所述无标签的脑电信号训练数据的标签预测结果小于预定的 置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第二 类无标签脑电信号训练数据。
根据本发明提供的一种脑电信号分类方法,所述将无标签的脑电 信号训练数据输入所述训练好的教师网络模型,根据所述教师网络模 型的输出结果,将所述无标签的脑电信号训练数据分为第一类无标签 脑电信号训练数据与第二类无标签脑电信号训练数据,包括:
将有标签的脑电信号训练数据输入所述训练好的教师网络模型, 得到所述教师网络模型的第一映射层输出结果;
利用聚类算法对所有有标签的脑电信号训练数据所对应的第一 映射层输出结果进行聚类,得到多个类别,计算所述多个类别的聚类 中心;
将所述无标签的脑电信号训练数据输入所述训练好的教师网络 模型,得到所述教师网络模型的第二映射层输出结果;
计算所述无标签的脑电信号训练数据所对应的第二映射层输出 与所述聚类中心的欧式距离,判断所述欧式距离是否大于或等于预定 的置信度阈值,
在所述欧式距离小于或等于预定的置信度阈值的情况下,将所述 无标签的脑电信号训练数据确定为第一类无标签脑电信号训练数据;
在所述欧式距离大于预定的置信度阈值的情况下,将所述无标签 的脑电信号训练数据确定为第二类无标签脑电信号训练数据。
根据本发明提供的一种脑电信号分类方法,所述基于所述有标签 的脑电信号训练数据、所述第一类无标签脑电信号训练数据以及所述 第二类无标签脑电信号训练数据,对所述学生网络模型进行训练,直 到所述学生网络模型收敛,得到训练好的学生网络模型,包括:
基于学生网络模型,对所述第二类无标签脑电信号训练数据进行 对比学习,得到第二类无标签脑电信号训练数据的第一输出结果与第 二输出结果,计算所述第一输出结果与所述第二输出结果的KL散度, 得到第一损失函数;
将所述第一类无标签脑电信号训练数据分别输入训练好的教师 网络模型与学生网络模型,得到第一类无标签脑电信号训练数据的教 师网络模型输出结果与学生网络模型输出结果;计算所述教师网络模 型输出结果与学生网络模型输出结果的KL散度,得到第二损失函数;
将所述有标签的脑电信号训练数据输入所述学生网络模型,得到 有标签的脑电信号训练数据的学生网络模型输出结果,为有标签的脑 电信号训练数据的学生网络模型输出结果与有标签的脑电信号训练 数据所对应的标签计算交叉熵,得到第三损失函数;
根据所述第一损失函数、第二损失函数以及第三损失函数确定所 述学生网络模型的总损失函数;
基于所述总损失函数对所述学生网络模型进行训练,直到所述学 生网络模型收敛,得到训练好的学生网络模型。
根据本发明提供的一种脑电信号分类方法,所述基于学生网络模 型,对所述第二类无标签脑电信号训练数据进行对比学习,得到第二 类无标签脑电信号训练数据的第一输出结果与第二输出结果,包括:
对所述第二类无标签脑电信号训练数据执行两次数据增广操作, 得到第一数据增广结果与第二数据增广结果;
将所述第一数据增广结果与所述第二数据增广结果分别输入所 述学生网络模型,得到第二类无标签脑电信号训练数据的第一输出结 果与第二输出结果。
根据本发明提供的一种脑电信号分类方法,所述基于学生网络模 型,对所述第二类无标签脑电信号训练数据进行对比学习,得到第二 类无标签脑电信号训练数据的第一输出结果与第二输出结果,包括:
将所述第二类无标签脑电信号训练数据输入所述学生网络模型, 得到学生网络模型的输出结果;
对所述学生网络模型的输出结果分别做两次随机抛弃,得到第二 类无标签脑电信号训练数据的第一输出结果与第二输出结果。
根据本发明提供的一种脑电信号分类方法,所述基于所述待训练 神经网络模型的集合中的最后一个被训练好的学生网络模型,得到所 述脑电信号分类模型,包括:
从所述待训练神经网络模型的集合中的最后一个被训练好的学 生网络模型中选取特征提取网络;
在所述特征提取网络的末尾添加线性层,得到所述脑电信号分类 模型。
根据本发明提供的一种脑电信号分类方法,在所述通过有标签的 脑电信号训练数据对所述教师网络模型进行训练,直到所述教师网络 模型收敛,得到训练好的教师网络模型之前,方法还包括:
获取原始的有标签的脑电信号训练数据;
对所述有标签的脑电信号训练数据进行预处理,所述预处理包括 以下操作中的至少一项:数据脱敏、数据去噪、数据归一化以及数据 滤波;
对所述经过预处理的所述有标签的脑电信号训练数据进行数据 增广,得到数据增广后的有标签的脑电信号训练数据。
本发明还提供一种脑电信号分类装置,包括:信号获取模块,用 于获取待处理的目标脑电信号;
信号分类模块,用于将所述待处理的目标脑电信号输入脑电信号 分类模型,得到所述目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储 器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上 述任一种脑电信号分类方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算 机程序,计算机程序被处理器执行时实现如上述任一种脑电信号分类 方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,计算机程 序被处理器执行时实现如上述任一种脑电信号分类方法的步骤。
本发明提供的脑电信号分类方法、装置、电子设备、介质及产品, 通过利用脑电信号分类模型进行分类,该脑电信号分类模型是基于有 标签的脑电信号训练数据、无标签的脑电信号训练数据,从按照复杂 度排序的多个待训练神经网络模型中多次选取教师网络模型与学生 网络模型进行训练,并基于最终训练得到的学生网络模型所得到的, 因此,在少量的有标签的脑电信号训练数据与大量的无标签的脑电信 号训练数据的条件下,利用教师-学生网络方法对多个待训练神经网 络模型进行训练,最终得到分类准确度较高的脑电信号分类模型,进 而获得更加准确的分类结果,还能大大降低深度学习模型对优质数据的依赖度,降低数据的标注成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见 地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术 人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得 其他的附图。
图1是本发明实施例提供的脑电信号分类方法的流程示意图;
图2是本发明实施例提供的脑电信号分类模型训练过程的流程 示意图;
图3是本发明实施例提供的训练好的教师网络模型预测过程的 示意图;
图4是本发明实施例提供的根据标签预测结果筛选无标签的脑 电信号训练数据的示意图;
图5是本发明实施例提供的通过聚类方式筛选无标签的脑电信 号训练数据的示意图;
图6是本发明实施例提供的学生网络模型训练过程的示意图;
图7为本发明实施例提供的脑电信号分类装置结构示意图;
图8为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发 明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然, 所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例,都属于本发明保护的范围。
图1是本发明实施例提供的脑电信号分类方法的流程示意图;如 图1所示,该脑电信号分类方法可以包括以下步骤:
步骤101,获取待处理的目标脑电信号。
具体地,可以利用脑机接口的电极直接获取目标对象头部的脑电 信号作为待处理的目标脑电信号,也可以是从用于存储脑电信号的数 据存储设备中获取待处理的目标脑电信号,本实施例对此不作限定。
步骤102,将所述待处理的目标脑电信号输入脑电信号分类模型, 得到所述目标脑电信号所对应的脑电信号分类结果。
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
具体地,预先构建多个(至少2个)待训练神经网络模型,并按 照模型的复杂程度将待训练神经网络模型按照复杂度低到高的顺序 进行排列,随后从中依次选取一个复杂度低的待训练神经网络模型作 为教师网络模型,和一个复杂度高的待训练神经网络模型作为学生网 络模型,基于少量的有标签的脑电信号训练数据和大量的无标签的脑 电信号训练数据对教师网络模型与学生网络模型进行训练,并在最后 一次选取的教师网络模型与学生网络模型完成训练后,将收敛的学生 网络模型作为脑电信号分类模型。
为了更好地说明脑电信号分类模型训练过程,本实施例以预先构 建3个待训练神经网络模型为例进行说明:
首先,构建3个模型复杂度不同(参数不同)的待训练神经网络 模型,对这3个待训练神经网络模型按照复杂度升序排列得到复杂度 最低(参数最少)的待训练神经网络模型1、复杂度相对一般的待训 练神经网络模型2以及复杂度最高(参数最多)的待训练神经网络模 型3。
第一轮训练中,选取待训练神经网络模型1作为教师网络模型, 待训练神经网络模型2作为学生网络模型,利用少量的有标签的脑电 信号训练数据以及大量的无标签的脑电信号训练数据对教师网络模 型和学生网络模型进行训练,得到收敛的教师网络模型和收敛的学生 网络模型,此时将收敛的学生网络模型作为新的教师网络模型,并将 待训练神经网络模型3作为新的学生网络模型进行第二轮训练。
在第二轮训练过程中,还是利用少量的有标签的脑电信号训练数 据和大量的无标签的脑电信号训练数据对新的教师网络模型和新的 学生网络模型进行训练,从而得到新的收敛的教师网络模型和新的收 敛的学生网络模型。由于此时待训练神经网络模型全部收敛,所以第 二轮训练中得到的收敛的学生网络模型即为最终训练得到的学生网 络模型,将该学生网络模型作为脑电信号分类模型,将待处理的目标 脑电信号输入至该脑电信号分类模型,从而得到脑电信号分类结果。
需要说明的是,本实施例中,脑电信号分类结果共分为5类,分 别为清醒期(Wake,简称W)、三个非快速眼动期(Non-Rapid Eye movement,简称为N1,N2,N3)以及一个快速眼动期(Rapid Eye Movement,,简称REM)。且在脑电信号分类模型输出的脑电信号分 类结果中分别用数字1-5来表示对应的类别,例如脑电信号分类结果 输出为1,则表示当前待处理的目标脑电信号属于W(即清醒期的脑 电信号);以此类推,脑电信号分类结果输出为2,则表示当前待处 理的目标脑电信号属于N1(即第一非快速眼动期)。上述脑电信号 分类结果是按照AASM标准进行分类,在本发明的其他实施例中, 也可以按照R&K标准将脑电信号分类结果分为清醒期(Wake,W), 睡眠可以分为快速眼动睡眠相(Rapid Eye Movemrnt,REM)和非快速 眼动睡眠相(Non-Rapid Eye Movement,NREM)。其中,非快速眼动 期又可以分为睡眠一期(S1)到睡眠四期(S4)四个时期。其中S1和S2 为浅睡眠,S3和S4为深睡眠。
本发明实施例提供的脑电信号分类方法,通过利用脑电信号分类 模型进行分类,该脑电信号分类模型是基于有标签的脑电信号训练数 据、无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神 经网络模型中多次选取教师网络模型与学生网络模型进行训练,并基 于最终训练得到的学生网络模型所得到的,因此,在少量的有标签的 脑电信号训练数据与大量的无标签的脑电信号训练数据的条件下,利 用教师-学生网络方法对多个待训练神经网络模型进行训练,最终得 到分类准确度较高的脑电信号分类模型,进而获得更加准确的分类结 果,还能大大降低深度学习模型对优质数据的依赖度,降低数据的标注成本。
图2是本发明实施例提供的脑电信号分类模型训练过程的流程 示意图;如图2所示,在将所述待处理的目标脑电信号输入脑电信号 分类模型之前,方法还包括:
步骤1)、从待训练神经网络模型的集合中选取教师网络模型与 学生网络模型;其中,所述教师网络模型的复杂度低于所述学生网络 模型的复杂度;所述待训练神经网络模型的集合中的神经网络模型依 次按照复杂度排序;
步骤2)、通过有标签的脑电信号训练数据对所述教师网络模型 进行训练,直到所述教师网络模型收敛,得到训练好的教师网络模型;
步骤3)、将无标签的脑电信号训练数据输入所述训练好的教师 网络模型,根据所述训练好的教师网络模型的输出结果,将所述无标 签的脑电信号训练数据分为第一类无标签脑电信号训练数据与第二 类无标签脑电信号训练数据;其中,所述第一类无标签脑电信号训练 数据的置信度大于或等于预定的置信度阈值,所述第二类无标签脑电 信号训练数据的置信度小于所述预定的置信度阈值;
步骤4)、基于所述有标签的脑电信号训练数据、所述第一类无 标签脑电信号训练数据以及所述第二类无标签脑电信号训练数据,在 所述训练好的教师网络模型指导下,对所述学生网络模型进行训练, 直到所述学生网络模型收敛,得到训练好的学生网络模型;
步骤5)、将所述训练好的学生网络模型作为新的教师网络模型, 并从所述待训练神经网络模型的集合中选取下一个未经训练的、复杂 度更高的神经网络模型作为新的学生网络模型,然后重新执行步骤2) -步骤4),直至所述待训练神经网络模型的集合中的所有神经网络模 型均已经被训练;
步骤6)、基于所述待训练神经网络模型的集合中的最后一个被 训练好的学生网络模型,得到所述脑电信号分类模型。
具体地,步骤1):先构建三到十个待训练神经网络模型组成待 训练神经网络模型的集合,对集合中的模型按照复杂度由简单到复杂 排列。然后,选择第一个(即复杂度最低)待训练神经网络模型作为 教师网络模型,第二个(即复杂度第二低)待训练神经网络模型作为 学生网络模型,作为第一轮训练中的训练对象,集合中剩下的待训练 神经网络模型作为后续多轮训练过程中新的学生网络模型。
其中,每个待训练神经网络模型至少包括特征提取层、映射层和 分类层。且特征提取层均采用深度学习卷积神经网络方法,其通过卷 积层、池化层、激活层、批标准化层来提取数据的高维抽象信息,使 得数据输入网络后,能够提取出数据的深层次语义信息。每个待训练 神经网络模型的第二层为映射层,在前述第一层特征提取层之后设计 一个全连接神经网络的映射层,可以将脑电信号的深层次语义信息进 行再次信息提取。分类层则一般为全连接层,在分类层后面接一个 softmax激活函数,从而对脑电信号的高层特征进行分类。
步骤2):利用少量的有标签的脑电信号训练数据对教师网络模 型进行训练,直至收敛得到训练好的教师网络模型,在训练过程中确 保教师网络模型不出现过拟合和欠拟合状态。
具体地,将少量的有标签的脑电信号训练数据输入教师网络模型, 采用交叉熵作为损失函数优化教师网络模型,损失函数如公式(1)所示:
Figure BDA0003511278890000131
式中,
Figure BDA0003511278890000132
是有标签的脑电信号训练数据经过教师网路模型中 分类层后所计算得到的数据,ylabel是有标签的脑电信号训练数据所 对应的标签,ypred是对
Figure BDA0003511278890000133
做SoftMax后取概率最大值的列标,N 为样本数,C为分类类别数。
根据公式(1)所示的损失函数以及有标签的脑电信号训练数据 所对应的标签,利用反向传播算法对教师网络模型进行训练,直到教 师网络模型收敛得到训练好的教师网络模型。
步骤3):先利用训练好的教师网络模型对无标签的脑电信号训 练数据进行预测,得到标签预测结果(即为无标签的脑电信号训练数 据的伪标签)。然后,按照伪标签对无标签的脑电信号训练数据进行 筛选,得到第一类无标签脑电信号训练数据与第二类无标签脑电信号 训练数据。
其中,所述第一类无标签脑电信号训练数据的置信度大于或等于 预定的置信度阈值,所述第二类无标签脑电信号训练数据的置信度小 于所述预定的置信度阈值。
图3是本发明实施例提供的训练好的教师网络模型预测过程的 示意图;如图3所示,利用训练好的教师网络模型对无标签的脑电信 号训练数据进行预测得到标签预测结果,通过训练好的教师网络模型 中的特征提取层fθt、映射层gθt以及分类层hθt对无标签的脑电信号训 练数据x进行计算,每一层得到的计算结果分别为yθt、zθt、qθt(zθt)。
具体地筛选方式可以是选择训练好的教师网络模型中分类层所 计算到的
Figure BDA0003511278890000139
大于或等于某一阈值的无标签的脑电信号训练数据 作为第一类无标签脑电信号训练数据(即高置信度伪标签数据),小 于阈值的无标签的脑电信号训练数据作为第二类无标签脑电信号训 练数据(即其他无标注数据);也可以依据伪标签的特征分布进行聚 类选择,选择离聚类质心点距离小于或等于某一阈值(此处,与
Figure BDA0003511278890000141
Figure BDA0003511278890000142
是否大于或等于某一阈值”中的阈值并不相同,)的伪标签所 对应的无标签的脑电信号训练数据作为第一类无标签脑电信号训练 数据(即高置信度伪标签数据),大于阈值的无标签的脑电信号训练数据作为第二类无标签脑电信号训练数据(即其他无标注数据)。
步骤4):利用少量有标注数据以及第一类无标签脑电信号训练 数据(即高置信度伪标签数据),并在训练好的教师网络模型的指导 下对学生网络模型进行训练,还利用第二类无标签脑电信号训练数据 对学生网络模型中的参数进行调整,直到所述学生网络模型收敛,得 到训练好的学生网络模型。
步骤5):将训练好的学生网络模型作为新的教师网络模型,并 按照模型复杂度的高低从待训练神经网络模型的集合中选取下一个 未经训练的、复杂度更高的神经网络模型作为新的学生网络模型,然 后重新执行步骤2)-步骤4)开始下一轮训练,直到所述待训练神经 网络模型的集合中的所有神经网络模型均已经被训练。
步骤6):将步骤5)中最后一个被训练好的学生网络模型作为 所述脑电信号分类模型。
在完成脑电信号分类模型训练之后,还利用脑电信号测试集对脑 电信号分类模型进行测试验证,得到分类结果计算准确率、精确率、 召回率等指标,或是将模型用于特征提取、特征分析,从而来评估脑 电信号分类模型性能。
本发明实施例提供的脑电信号分类方法,在少量有标签的脑电信 号训练数据以及大量无标签的脑电信号训练数据的条件下,对多个模 型复杂度不同的待训练神经网络模型进行教师-学生网络的方式进行 训练,将最后一个被训练好的学生网络模型作为所述脑电信号分类模 型,从而减少对优质数据的依赖度,获得性能较好的分类模型,还能 降低数据的标注成本。
进一步地,所述将无标签的脑电信号训练数据输入所述训练好的 教师网络模型,根据所述训练好的教师网络模型的输出结果,将所述 无标签的脑电信号训练数据分为第一类无标签脑电信号训练数据与 第二类无标签脑电信号训练数据,包括:
将无标签的脑电信号训练数据输入所述训练好的教师网络模型, 得到标签预测结果;其中,所述标签预测结果用于描述所述无标签的 脑电信号训练数据被确定为所属类别的概率值;
判断所述无标签的脑电信号训练数据的标签预测结果是否大于 或等于预定的置信度阈值;
在所述无标签的脑电信号训练数据的标签预测结果大于或等于 预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定 为第一类无标签脑电信号训练数据;
在所述无标签的脑电信号训练数据的标签预测结果小于预定的 置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第二 类无标签脑电信号训练数据。
图4是本发明实施例提供的根据标签预测结果筛选无标签的脑 电信号训练数据的示意图;如图4所示,预先设定一个置信度阈值(例 如0.7),比较无标签数据经过训练好的教师网络模型中分类层所计 算得到的
Figure BDA0003511278890000151
值(即标签预测结果,用于描述所述无标签的脑电信 号训练数据被确定为所属类别的概率值,一般取最大值作为预测结果) 与置信度阈值之间的大小关系,若是
Figure BDA0003511278890000152
作为高置信度伪标签数据 集,记为Xunlabel1(即第一类无标签脑电信号训练数据),而无标注 数据集中除此之外的数据集记为Xunlabel2(即第二类无标签脑电信号 训练数据)。
需要说明的是,在本发明的其他实施例中,置信度阈值也可以是 一个区间,例如若
Figure BDA0003511278890000153
值位于置信度阈值[a1,a2],则为Xunlabel1, 小于a1或大于a2的则为Xunlabel2
此外,在本实施例中
Figure BDA0003511278890000161
值大于或等于置信度阈值即为高置信 度,小于置信度阈值即为低置信度,以此来筛选无标签数据,在本发 明的其他实施例中,也可以采用其他高置信度与低置信度的区分方法, 从而筛选出置信度高的第一类无标签脑电信号训练数据与置信度低 的第二类无标签脑电信号训练数据。
本发明实施例提供的脑电信号分类方法,通过训练好的教师网络 模型对无标签的脑电信号训练数据进行分类预测得到标签预测结果, 根据其所属类别的最大概率值以及预设的置信度阈值来对无标签的 脑电信号训练数据进行筛选,得到的第一类无标签脑电信号训练数据 与其对应的标签预测结果质量更好,在训练过程中,不会误导学生网 络模型,能够提升学生网络模型的性能。
进一步,所述将无标签的脑电信号训练数据输入所述训练好的教 师网络模型,根据所述教师网络模型的输出结果,将所述无标签的脑 电信号训练数据分为第一类无标签脑电信号训练数据与第二类无标 签脑电信号训练数据,包括:
将有标签的脑电信号训练数据输入所述训练好的教师网络模型, 得到所述教师网络模型的第一映射层输出结果;
利用聚类算法对所有有标签的脑电信号训练数据所对应的第一 映射层输出结果进行聚类,得到多个类别,计算所述多个类别的聚类 中心;
将所述无标签的脑电信号训练数据输入所述训练好的教师网络 模型,得到所述教师网络模型的第二映射层输出结果;
计算所述无标签的脑电信号训练数据所对应的第二映射层输出 与所述聚类中心的欧式距离,判断所述欧式距离是否大于或等于预定 的置信度阈值,
在所述欧式距离小于或等于预定的置信度阈值的情况下,将所述 无标签的脑电信号训练数据确定为第一类无标签脑电信号训练数据;
在所述欧式距离大于预定的置信度阈值的情况下,将所述无标签 的脑电信号训练数据确定为第二类无标签脑电信号训练数据。
图5是本发明实施例提供的通过聚类方式筛选无标签的脑电信 号训练数据的示意图;如图5所示,将有标注数据xlabel(即有标签的 脑电信号训练数据)输入训练好的教师网络模型,得到该教师网络模 型的映射层输出的计算结果
Figure BDA0003511278890000171
(即第一映射层输出结果),对
Figure BDA0003511278890000172
用K-means进行聚类,得到五个类别(与上述W、N1、N2、N3和 REM五个类别对应),计算出五类的聚类中心和平均类间距。可以 通过平均类间距离与平均类内距离来评估模型的分类效能。
再将无标注数据Xunlabel(即无标签的脑电信号训练数据)输入训 练好的教师网络后得到的映射层输出的特征向量
Figure RE-GDA0003602533990000173
(即第二映射层 输出结果),可以对特征向量
Figure RE-GDA0003602533990000174
进行可视化展示。然后,分别计算zθt2到五个聚类中心的欧式距离dij并确定一个置信度阈值di0,选择距离 五个聚类中心点在阈值范围内较近(即欧式距离dij小于等于预定的 置信度阈值di0)的无标注数据形成数据集Xunlabel1(即第一类无标签 脑电信号训练数据),而无标注数据集中除此之外的数据集记为 Xunlabel2(即第二类无标签脑电信号训练数据)。
本实施例中,置信度阈值di0为数据簇中数据点到质心点的平均 距离。
需要说明的是,本实施例中欧式距离dij小于或等于置信度阈值 di0即为数据的置信度高,大于置信度阈值di0即为数据的置信度低, 以此来筛选无标签数据,在本发明的其他实施例中,也可以采用其他 高置信度与低置信度的区分方法,来筛选出置信度高的第一类无标签 脑电信号训练数据与置信度低的第二类无标签脑电信号训练数据。
另外,聚类中心的类别数与脑电信号分类结果的类别数对应,若 脑电信号分类结果的类别按照R&K标准划分,则对应的聚类中心的 类别数也为6类。
本发明实施例提供的脑电信号分类方法,通过对有标签的脑电信 号训练数据在训练好的教师网络模型的映射层所输出的结果进行聚 类,根据聚类结果对无标签的脑电信号训练数据进行分析,从而筛选 得到第一类无标签脑电信号训练数据,该第一类无标签脑电信号训练 数据所属类别,与有标签的脑电信号训练数据所述类别更加相近,从 而提升了第一类无标签脑电信号训练数据的质量,在训练过程中,不 会误导学生网络模型,能够提升学生网络模型的性能。
进一步地,所述基于所述有标签的脑电信号训练数据、所述第一 类无标签脑电信号训练数据以及所述第二类无标签脑电信号训练数 据,对所述学生网络模型进行训练,直到所述学生网络模型收敛,得 到训练好的学生网络模型,包括:
基于学生网络模型,对所述第二类无标签脑电信号训练数据进行 对比学习,得到第二类无标签脑电信号训练数据的第一输出结果与第 二输出结果,计算所述第一输出结果与所述第二输出结果的KL散度, 得到第一损失函数;
将所述第一类无标签脑电信号训练数据分别输入训练好的教师 网络模型与学生网络模型,得到第一类无标签脑电信号训练数据的教 师网络模型输出结果与学生网络模型输出结果;计算所述教师网络模 型输出结果与学生网络模型输出结果的KL散度,得到第二损失函数;
将所述有标签的脑电信号训练数据输入所述学生网络模型,得到 有标签的脑电信号训练数据的学生网络模型输出结果,为有标签的脑 电信号训练数据的学生网络模型输出结果与有标签的脑电信号训练 数据所对应的标签计算交叉熵,得到第三损失函数;
根据所述第一损失函数、第二损失函数以及第三损失函数确定所 述学生网络模型的总损失函数;
基于所述总损失函数对所述学生网络模型进行训练,直到所述学 生网络模型收敛,得到训练好的学生网络模型。
图6是本发明实施例提供的学生网络模型训练过程的示意图。
如图6所示,首先,利用学生网络模型对第二类无标签脑电信号 训练数据Xunlabel2进行比对学习,分别得到由学生网络模型的分类层 输出的第一输出结果
Figure BDA0003511278890000191
与第二输出结果
Figure BDA0003511278890000192
计算
Figure BDA0003511278890000193
Figure BDA0003511278890000194
之间的KL散度,从而得到第一损失函数loss1:
Figure BDA0003511278890000195
式中,
Figure BDA0003511278890000196
Figure BDA0003511278890000197
Figure BDA0003511278890000198
两个向 量取SoftMax后对应维度的概率值,N为样本总数,C为分类总数。
然后,将第一类无标签脑电信号训练数据Xunlabel1分别输入训练 好的教师网络模型
Figure BDA0003511278890000199
和学生网络模型
Figure BDA00035112788900001910
经过
Figure BDA00035112788900001911
的分类层与
Figure BDA00035112788900001912
的分类层之后,分别得到教师网络模型输出结果
Figure BDA00035112788900001913
与学生网络 模型输出结果
Figure BDA00035112788900001914
计算
Figure BDA00035112788900001915
Figure BDA00035112788900001916
之间的KL散度得到第 二损失函数loss2:
Figure BDA00035112788900001917
式中,
Figure BDA00035112788900001918
Figure BDA00035112788900001919
两个向量取 SoftMax后对应维度的概率值,N为样本总数,C为分类总数。
接下来,将有标签的脑电信号训练数据Xlabel输入学生网络得到 分类层输出为
Figure BDA00035112788900001920
(即有标签的脑电信号训练数据的学生网络模 型输出结果),计算
Figure BDA00035112788900001921
与Xlabel所对应的标签ylabel之间的交叉熵 损失函数loss3(即第三损失函数):
Figure BDA00035112788900001922
式中,ypred是对
Figure BDA00035112788900001923
做SoftMax后取概率最大值的列标,N为 样本数,C为分类类别数。
随后,基于第一损失函数、第二损失函数以及第三损失函数确定 总损失函数Lloss
Lloss=a*loss1+b*loss2+c*loss3 (5)
式中,a、b、c为相应常数,代表加权平均数系数。
最后,根据总损失函数Lloss对所述学生网络模型进行训练,直到 所述学生网络模型收敛,得到训练好的学生网络模型。
需要说明的是,在上述学生网络模型训练过程中参数更新如公式 (6)所示,其中optimizer为优化器,θ为神经网络参数,η为学习 率。
Figure BDA0003511278890000201
另外,设置全部模型参数为梯度可变,同时设置合适的优化器、 学习率、训练片段量、训练轮次等超参数。
在测试数据集上计算全部模型的准确率、召回率、精确率等指标, 直至模型收敛且测试集准确率稳定,从而得到学生网络模型的计算准 确率、精确率、召回率等指标。也可以将训练好的学生网络模型用于 特征提取、特征分析,从而评估模型性能。
本发明实施例提供的脑电信号分类方法,通过对比学习方法以及 三个损失函数来提升学生网络模型的准确率。
进一步地,所述基于学生网络模型,对所述第二类无标签脑电信 号训练数据进行对比学习,得到第二类无标签脑电信号训练数据的第 一输出结果与第二输出结果,包括:
对所述第二类无标签脑电信号训练数据执行两次数据增广操作, 得到第一数据增广结果与第二数据增广结果;
将所述第一数据增广结果与所述第二数据增广结果分别输入所 述学生网络模型,得到第二类无标签脑电信号训练数据的第一输出结 果与第二输出结果。
具体地,对第二类无标签脑电信号训练数据Xunlabel2进行两次数 据增强后得到第一数据增广结果数据Xaug1与第二数据增广结果Xaug2。 将Xaug1与Xaug2分别输入到学生网络模型中,对应的得到两个分类层 的输出:第一输出结果
Figure BDA0003511278890000211
与第二输出结果
Figure BDA0003511278890000212
本发明实施例提供的脑电信号分类方法,通过数据增广的方式来 实现对比学习,从而提升模型的准确性。
进一步地,所述基于学生网络模型,对所述第二类无标签脑电信 号训练数据进行对比学习,得到第二类无标签脑电信号训练数据的第 一输出结果与第二输出结果,包括:
将所述第二类无标签脑电信号训练数据输入所述学生网络模型, 得到学生网络模型的输出结果;
对所述学生网络模型的输出结果分别做两次随机抛弃,得到第二 类无标签脑电信号训练数据的第一输出结果与第二输出结果。
具体地,将第二类无标签脑电信号训练数据Xunlabel2输入学生网 络模型中得到学生网络模型的输出结果,分别进行两次随机抛弃 Dropout(即随机对特征进行特征扔除),得到第一输出结果
Figure BDA0003511278890000213
与第二输出结果
Figure BDA0003511278890000214
需要说明的是,本实施例中的Dropout是将数据输入模型得到数 据特征之后,按照一定比例随机地保留一部分信息作为后续处理的信 息,这个操作分别做一次得到两组数据特征,由于他们都来自于同一 个数据,因此这里被保留的数据特征会具备相似性,从而方便进行后 续的对比学习loss计算。相比于传统通过数据增强进行对比的方法而 言,只有一个模型参与计算与调参,因此计算复杂度会小很多,而模 型效果却并不会有多少改变。
本发明实施例提供的脑电信号分类方法,通过Dropout方法对学 生网络模型的输出结果进行特征抛弃,从而得到降维之后的特征向量, 基于两个降维之后的特征向量实现对比学习,从而进一步提升学生网 络模型的准确性。
进一步地,所述基于所述待训练神经网络模型的集合中的最后一 个被训练好的学生网络模型,得到所述脑电信号分类模型,包括:
从所述待训练神经网络模型的集合中的最后一个被训练好的学 生网络模型中选取特征提取网络;
在所述特征提取网络的末尾添加线性层,得到所述脑电信号分类 模型。
具体地,在最后一个被训练好的学生网络模型中选取特征提取网 络,并在该特征提取网络的末尾添加线性层,获得脑电信号分类模型。
进一步地,在所述通过有标签的脑电信号训练数据对所述教师网 络模型进行训练,直到所述教师网络模型收敛,得到训练好的教师网 络模型之前,方法还包括:
获取原始的有标签的脑电信号训练数据;
对所述有标签的脑电信号训练数据进行预处理,所述预处理包括 以下操作中的至少一项:数据脱敏、数据去噪、数据归一化以及数据 滤波;
对所述经过预处理的所述有标签的脑电信号训练数据进行数据 增广,得到数据增广后的有标签的脑电信号训练数据。
具体地,先获取原始的有标签的脑电信号训练数据,然后检查有 标签的脑电信号训练数据的完整性和可用性,并通过如数据去噪、脱 敏、数据准入、数据修复、带通滤波器滤波、LMS自适应滤波、维 纳滤波、基于统计模型的滤波方法、基于神经网络的滤波方法、最大 最小归一化等、降维、小波变换等方式对有标签的脑电信号训练数据 进行预处理。
接着,对少量有标签的脑电信号训练数据进行如维度变化、时间 移位、加高斯噪声、加脉冲波形、裁剪、变速等数据增广,得到数据 增广后的有标签的脑电信号训练数据。
其中,有标签的脑电信号训练数据的完整性的检查可以是依据相 应的数据完整性检测规则进行判断,也可以是根据数据的分布规律性, 将数据分布不符合分布规律或者分布无序的数据作为不完整数据,其 余的作为完整数据。对两种检查方式所得到的不完整数据进行剔除以 保障数据质量。
预处理过程具体为:若涉及到信息安全或者用户隐私的敏感型数 据需要进行数据脱敏处理;若数据为信号数据则采用带通滤波、小波 变换、信号分帧等处理方式;若数据为图像数据则进行维度变化等处 理。
本发明实施例提供的脑电信号分类方法,通过预处理提升数据的 质量,通过数据增广来增加数据的泛化性,从而提升模型泛化性、鲁 棒性以及准确率。
图7为本发明实施例提供的脑电信号分类装置结构示意图,如图 7所示,一种脑电信号分类装置包括:
信号获取模块701,用于获取待处理的目标脑电信号。
具体地,信号获取模块701可以利用脑机接口的电极直接获取目 标对象头部的脑电信号作为待处理的目标脑电信号,也可以是从用于 存储脑电信号的数据存储设备中获取待处理的目标脑电信号,本实施 例对此不作限定。
信号分类模块702,用于将所述待处理的目标脑电信号输入脑电 信号分类模型,得到所述目标脑电信号所对应的脑电信号分类结果。
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
具体地,预先构建多个(至少2个)待训练神经网络模型,并按 照模型的复杂程度将待训练神经网络模型按照复杂度低到高的顺序 进行排列,随后从中依次选取一个复杂度低的待训练神经网络模型作 为教师网络模型,和一个复杂度高的待训练神经网络模型作为学生网 络模型,基于少量的有标签的脑电信号训练数据和大量的无标签的脑 电信号训练数据对教师网络模型与学生网络模型进行训练,并在最后 一次选取的教师网络模型与学生网络模型完成训练后,将收敛的学生 网络模型作为脑电信号分类模型。
本发明实施例提供的脑电信号分类装置,通过利用脑电信号分类 模型进行分类,该脑电信号分类模型是基于有标签的脑电信号训练数 据、无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神 经网络模型中多次选取教师网络模型与学生网络模型进行训练,并基 于最终训练得到的学生网络模型所得到的,因此,在少量的有标签的 脑电信号训练数据与大量的无标签的脑电信号训练数据的条件下,利 用教师-学生网络方法对多个待训练神经网络模型进行训练,最终得 到分类准确度较高的脑电信号分类模型,进而获得更加准确的分类结 果,还能大大降低深度学习模型对优质数据的依赖度,降低数据的标注成本。
进一步地,装置还包括:
教师与学生网络选取单元,用于从待训练神经网络模型的集合中 选取教师网络模型与学生网络模型;其中,所述教师网络模型的复杂 度低于所述学生网络模型的复杂度;所述待训练神经网络模型的集合 中的神经网络模型依次按照复杂度排序;
教师网络模型训练单元,用于通过有标签的脑电信号训练数据对 所述教师网络模型进行训练,直到所述教师网络模型收敛,得到训练 好的教师网络模型;
无标签数据分类单元,用于将无标签的脑电信号训练数据输入所 述训练好的教师网络模型,根据所述训练好的教师网络模型的输出结 果,将所述无标签的脑电信号训练数据分为第一类无标签脑电信号训 练数据与第二类无标签脑电信号训练数据;其中,所述第一类无标签 脑电信号训练数据的置信度大于或等于预定的置信度阈值,所述第二 类无标签脑电信号训练数据的置信度小于所述预定的置信度阈值;
学生网络模型训练单元,用于基于所述有标签的脑电信号训练数 据、所述第一类无标签脑电信号训练数据以及所述第二类无标签脑电 信号训练数据,在所述训练好的教师网络模型指导下,对所述学生网 络模型进行训练,直到所述学生网络模型收敛,得到训练好的学生网 络模型;
模型重复训练单元,用于将所述训练好的学生网络模型作为新的 教师网络模型,并从所述待训练神经网络模型的集合中选取下一个未 经训练的、复杂度更高的神经网络模型作为新的学生网络模型,然后 重新执行教师网络模型训练单元-学生网络模型训练单元,直至所述 待训练神经网络模型的集合中的所有神经网络模型均已经被训练;
脑电信号分类模型确定单元,用于基于所述待训练神经网络模型 的集合中的最后一个被训练好的学生网络模型,得到所述脑电信号分 类模型。
具体地,教师与学生网络选取单元:先构建三到十个待训练神经 网络模型组成待训练神经网络模型的集合,对集合中的模型按照复杂 度由简单到复杂排列。然后,选择第一个(即复杂度最低)待训练神 经网络模型作为教师网络模型,第二个(即复杂度第二低)待训练神 经网络模型作为学生网络模型,作为第一轮训练中的训练对象,集合 中剩下的待训练神经网络模型作为后续多轮训练过程中新的学生网 络模型。
其中,每个待训练神经网络模型至少包括特征提取层、映射层和 分类层。且特征提取层均采用深度学习卷积神经网络方法,其通过卷 积层、池化层、激活层、批标准化层来提取数据的高维抽象信息,使 得数据输入网络后,能够提取出数据的深层次语义信息。每个待训练 神经网络模型的第二层为映射层,在前述第一层特征提取层之后设计 一个全连接神经网络的映射层,可以将脑电信号的深层次语义信息进 行再次信息提取。分类层则一般为全连接层,在分类层后面接一个softmax激活函数,从而对脑电信号的高层特征进行分类。
教师网络模型训练单元:利用少量的有标签的脑电信号训练数据 对教师网络模型进行训练,直至收敛得到训练好的教师网络模型,在 训练过程中确保教师网络模型不出现过拟合和欠拟合状态。
具体地,将少量的有标签的脑电信号训练数据输入教师网络模型, 采用交叉熵作为损失函数优化教师网络模型,损失函数如公式(1)所示:
Figure BDA0003511278890000261
式中,
Figure BDA0003511278890000262
是有标签的脑电信号训练数据经过教师网路模型中 分类层后所计算得到的数据,ypred是对
Figure BDA0003511278890000263
做SoftMax后取概率 最大值的列标,N为样本数,C为分类类别数。
根据公式(1)所示的损失函数以及有标签的脑电信号训练数据 所对应的标签,利用反向传播算法对教师网络模型进行训练,直到教 师网络模型收敛得到训练好的教师网络模型。
无标签数据分类单元:先利用训练好的教师网络模型对无标签的 脑电信号训练数据进行预测,得到标签预测结果(即为无标签的脑电 信号训练数据的伪标签)。然后,按照伪标签对无标签的脑电信号训 练数据进行筛选,得到第一类无标签脑电信号训练数据与第二类无标 签脑电信号训练数据。
其中,所述第一类无标签脑电信号训练数据的置信度大于或等于 预定的置信度阈值,所述第二类无标签脑电信号训练数据的置信度小 于所述预定的置信度阈值。
具体地,利用训练好的教师网络模型对无标签的脑电信号训练数 据进行预测得到标签预测结果,通过训练好的教师网络模型中的特征 提取层
Figure BDA0003511278890000264
映射层
Figure BDA0003511278890000265
以及分类层
Figure BDA0003511278890000266
对无标签的脑电信号训练数据 x进行计算,每一层得到的计算结果分别为
Figure BDA0003511278890000267
具体地筛选方式可以是选择
Figure BDA0003511278890000268
大于或等于某一阈值的无标 签的脑电信号训练数据作为第一类无标签脑电信号训练数据(即高置 信度伪标签数据),小于阈值的无标签的脑电信号训练数据作为第二 类无标签脑电信号训练数据(即其他无标注数据);也可以依据伪标 签的特征分布进行聚类选择,选择离聚类质心点距离小于或等于某一 阈值(两个阈值不相同)的伪标签所对应的无标签的脑电信号训练数 据作为第一类无标签脑电信号训练数据(即高置信度伪标签数据), 大于阈值的无标签的脑电信号训练数据作为第二类无标签脑电信号 训练数据(即其他无标注数据)。
学生网络模型训练单元:利用少量有标注数据以及第一类无标签 脑电信号训练数据(即高置信度伪标签数据),并在训练好的教师网 络模型的指导下对学生网络模型进行训练,还利用第二类无标签脑电 信号训练数据对学生网络模型中的参数进行调整,直到所述学生网络 模型收敛,得到训练好的学生网络模型。
模型重复训练单元:将训练好的学生网络模型作为新的教师网络 模型,并按照模型复杂度的高低从待训练神经网络模型的集合中选取 下一个未经训练的、复杂度更高的神经网络模型作为新的学生网络模 型,然后重新执行教师网络模型训练单元-学生网络模型训练单元开 始下一轮训练,直到所述待训练神经网络模型的集合中的所有神经网 络模型均已经被训练。
脑电信号分类模型确定单元:将模型重复训练单元中最后一个被 训练好的学生网络模型作为所述脑电信号分类模型。
在完成脑电信号分类模型训练之后,还利用脑电信号测试集对脑 电信号分类模型进行测试验证,得到分类结果计算准确率、精确率、 召回率等指标,或是将模型用于特征提取、特征分析,从而来评估脑 电信号分类模型性能。
本发明实施例提供的脑电信号分类装置,在少量有标签的脑电信 号训练数据以及大量无标签的脑电信号训练数据的条件下,对多个模 型复杂度不同的待训练神经网络模型进行教师-学生网络的方式进行 训练,将最后一个被训练好的学生网络模型作为所述脑电信号分类模 型,从而减少对优质数据的依赖度,获得性能较好的分类模型,还能 降低数据的标注成本。
图8为本发明实施例提供的一种电子设备的实体结构示意图,如 图8所示,该电子设备可以包括:处理器(processor)810、通信接口 (Communications Interface)820、存储器(memory)830和通信总线840, 其中,处理器810,通信接口820,存储器830通过通信总线840完 成相互间的通信。处理器810可以调用存储器830中的逻辑指令,以 执行脑电信号分类方法,包括:获取待处理的目标脑电信号;
将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述 目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
此外,上述的存储器830中的逻辑指令可以通过软件功能单元的 形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可 读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品 的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若 干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者 网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述 的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁 碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,计算机程序产品 包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上, 计算机程序被处理器执行时,计算机能够执行上述各方法所提供的脑 电信号分类方法,包括:获取待处理的目标脑电信号;
将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述 目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上 存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各 方法提供的以执行脑电信号分类方法,包括:获取待处理的目标脑电 信号;
将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述 目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、 无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网 络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最 终训练得到的学生网络模型所得到的。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说 明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件 可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以 分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全 部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创 造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解 到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然 也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现 有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软 件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光 盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机, 服务器,或者网络设备等)执行各个实施例或者实施例的某些部分的 方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而 非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领 域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技 术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修 改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方 案的精神和范围。

Claims (13)

1.一种脑电信号分类方法,其特征在于,包括:
获取待处理的目标脑电信号;
将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最终训练得到的学生网络模型所得到的。
2.根据权利要求1所述的脑电信号分类方法,其特征在于,在将所述待处理的目标脑电信号输入脑电信号分类模型之前,方法还包括:
步骤1)、从待训练神经网络模型的集合中选取教师网络模型与学生网络模型;其中,所述教师网络模型的复杂度低于所述学生网络模型的复杂度;所述待训练神经网络模型的集合中的神经网络模型依次按照复杂度排序;
步骤2)、通过有标签的脑电信号训练数据对所述教师网络模型进行训练,直到所述教师网络模型收敛,得到训练好的教师网络模型;
步骤3)、将无标签的脑电信号训练数据输入所述训练好的教师网络模型,根据所述训练好的教师网络模型的输出结果,将所述无标签的脑电信号训练数据分为第一类无标签脑电信号训练数据与第二类无标签脑电信号训练数据;其中,所述第一类无标签脑电信号训练数据的置信度大于或等于预定的置信度阈值,所述第二类无标签脑电信号训练数据的置信度小于所述预定的置信度阈值;
步骤4)、基于所述有标签的脑电信号训练数据、所述第一类无标签脑电信号训练数据以及所述第二类无标签脑电信号训练数据,在所述训练好的教师网络模型指导下,对所述学生网络模型进行训练,直到所述学生网络模型收敛,得到训练好的学生网络模型;
步骤5)、将所述训练好的学生网络模型作为新的教师网络模型,并从所述待训练神经网络模型的集合中选取下一个未经训练的、复杂度更高的神经网络模型作为新的学生网络模型,然后重新执行步骤2)-步骤4),直至所述待训练神经网络模型的集合中的所有神经网络模型均已经被训练;
步骤6)、基于所述待训练神经网络模型的集合中的最后一个被训练好的学生网络模型,得到所述脑电信号分类模型。
3.根据权利要求2所述的脑电信号分类方法,其特征在于,所述将无标签的脑电信号训练数据输入所述训练好的教师网络模型,根据所述训练好的教师网络模型的输出结果,将所述无标签的脑电信号训练数据分为第一类无标签脑电信号训练数据与第二类无标签脑电信号训练数据,包括:
将无标签的脑电信号训练数据输入所述训练好的教师网络模型,得到标签预测结果;其中,所述标签预测结果用于描述所述无标签的脑电信号训练数据被确定为所属类别的概率值;
判断所述无标签的脑电信号训练数据的标签预测结果是否大于或等于预定的置信度阈值;
在所述无标签的脑电信号训练数据的标签预测结果大于或等于预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第一类无标签脑电信号训练数据;
在所述无标签的脑电信号训练数据的标签预测结果小于预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第二类无标签脑电信号训练数据。
4.根据权利要求2所述的脑电信号分类方法,其特征在于,所述将无标签的脑电信号训练数据输入所述训练好的教师网络模型,根据所述教师网络模型的输出结果,将所述无标签的脑电信号训练数据分为第一类无标签脑电信号训练数据与第二类无标签脑电信号训练数据,包括:
将有标签的脑电信号训练数据输入所述训练好的教师网络模型,得到所述教师网络模型的第一映射层输出结果;
利用聚类算法对所有有标签的脑电信号训练数据所对应的第一映射层输出结果进行聚类,得到多个类别,计算所述多个类别的聚类中心;
将所述无标签的脑电信号训练数据输入所述训练好的教师网络模型,得到所述教师网络模型的第二映射层输出结果;
计算所述无标签的脑电信号训练数据所对应的第二映射层输出与所述聚类中心的欧式距离,判断所述欧式距离是否大于或等于预定的置信度阈值,
在所述欧式距离小于或等于预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第一类无标签脑电信号训练数据;
在所述欧式距离大于预定的置信度阈值的情况下,将所述无标签的脑电信号训练数据确定为第二类无标签脑电信号训练数据。
5.根据权利要求2所述的脑电信号分类方法,其特征在于,所述基于所述有标签的脑电信号训练数据、所述第一类无标签脑电信号训练数据以及所述第二类无标签脑电信号训练数据,对所述学生网络模型进行训练,直到所述学生网络模型收敛,得到训练好的学生网络模型,包括:
基于学生网络模型,对所述第二类无标签脑电信号训练数据进行对比学习,得到第二类无标签脑电信号训练数据的第一输出结果与第二输出结果,计算所述第一输出结果与所述第二输出结果的KL散度,得到第一损失函数;
将所述第一类无标签脑电信号训练数据分别输入训练好的教师网络模型与学生网络模型,得到第一类无标签脑电信号训练数据的教师网络模型输出结果与学生网络模型输出结果;计算所述教师网络模型输出结果与学生网络模型输出结果的KL散度,得到第二损失函数;
将所述有标签的脑电信号训练数据输入所述学生网络模型,得到有标签的脑电信号训练数据的学生网络模型输出结果,为有标签的脑电信号训练数据的学生网络模型输出结果与有标签的脑电信号训练数据所对应的标签计算交叉熵,得到第三损失函数;
根据所述第一损失函数、第二损失函数以及第三损失函数确定所述学生网络模型的总损失函数;
基于所述总损失函数对所述学生网络模型进行训练,直到所述学生网络模型收敛,得到训练好的学生网络模型。
6.根据权利要求5所述的脑电信号分类方法,其特征在于,所述基于学生网络模型,对所述第二类无标签脑电信号训练数据进行对比学习,得到第二类无标签脑电信号训练数据的第一输出结果与第二输出结果,包括:
对所述第二类无标签脑电信号训练数据执行两次数据增广操作,得到第一数据增广结果与第二数据增广结果;
将所述第一数据增广结果与所述第二数据增广结果分别输入所述学生网络模型,得到第二类无标签脑电信号训练数据的第一输出结果与第二输出结果。
7.根据权利要求5所述的脑电信号分类方法,其特征在于,所述基于学生网络模型,对所述第二类无标签脑电信号训练数据进行对比学习,得到第二类无标签脑电信号训练数据的第一输出结果与第二输出结果,包括:
将所述第二类无标签脑电信号训练数据输入所述学生网络模型,得到学生网络模型的输出结果;
对所述学生网络模型的输出结果分别做两次随机抛弃,得到第二类无标签脑电信号训练数据的第一输出结果与第二输出结果。
8.根据权利要求2所述的脑电信号分类方法,其特征在于,所述基于所述待训练神经网络模型的集合中的最后一个被训练好的学生网络模型,得到所述脑电信号分类模型,包括:
从所述待训练神经网络模型的集合中的最后一个被训练好的学生网络模型中选取特征提取网络;
在所述特征提取网络的末尾添加线性层,得到所述脑电信号分类模型。
9.根据权利要求2所述的脑电信号分类方法,其特征在于,在所述通过有标签的脑电信号训练数据对所述教师网络模型进行训练,直到所述教师网络模型收敛,得到训练好的教师网络模型之前,方法还包括:
获取原始的有标签的脑电信号训练数据;
对所述有标签的脑电信号训练数据进行预处理,所述预处理包括以下操作中的至少一项:数据脱敏、数据去噪、数据归一化以及数据滤波;
对所述经过预处理的所述有标签的脑电信号训练数据进行数据增广,得到数据增广后的有标签的脑电信号训练数据。
10.一种脑电信号分类装置,其特征在于,包括:
信号获取模块,用于获取待处理的目标脑电信号;
信号分类模块,用于将所述待处理的目标脑电信号输入脑电信号分类模型,得到所述目标脑电信号所对应的脑电信号分类结果;
其中,所述脑电信号分类模型是基于有标签的脑电信号训练数据、无标签的脑电信号训练数据,从按照复杂度排序的多个待训练神经网络模型中多次选取教师网络模型与学生网络模型进行训练,并基于最终训练得到的学生网络模型所得到的。
11.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至9任一项所述脑电信号分类方法的步骤。
12.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述脑电信号分类方法的步骤。
13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9任一项所述脑电信号分类方法的步骤。
CN202210152848.0A 2022-02-18 2022-02-18 脑电信号分类方法、装置、电子设备、介质及产品 Pending CN114626408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210152848.0A CN114626408A (zh) 2022-02-18 2022-02-18 脑电信号分类方法、装置、电子设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210152848.0A CN114626408A (zh) 2022-02-18 2022-02-18 脑电信号分类方法、装置、电子设备、介质及产品

Publications (1)

Publication Number Publication Date
CN114626408A true CN114626408A (zh) 2022-06-14

Family

ID=81899869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210152848.0A Pending CN114626408A (zh) 2022-02-18 2022-02-18 脑电信号分类方法、装置、电子设备、介质及产品

Country Status (1)

Country Link
CN (1) CN114626408A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304676A (zh) * 2023-02-01 2023-06-23 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN112699960A (zh) * 2021-01-11 2021-04-23 华侨大学 基于深度学习的半监督分类方法、设备及存储介质
GB202116914D0 (en) * 2020-12-09 2022-01-05 Ibm Knowledge distillation using deep clustering

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111544855A (zh) * 2020-04-30 2020-08-18 天津大学 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
GB202116914D0 (en) * 2020-12-09 2022-01-05 Ibm Knowledge distillation using deep clustering
CN112699960A (zh) * 2021-01-11 2021-04-23 华侨大学 基于深度学习的半监督分类方法、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
葛仕明;赵胜伟;刘文瑜;李晨钰;: "基于深度特征蒸馏的人脸识别", 北京交通大学学报, no. 06, 15 December 2017 (2017-12-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304676A (zh) * 2023-02-01 2023-06-23 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备
CN116304676B (zh) * 2023-02-01 2023-11-17 瑞鞍星医疗科技(苏州)有限公司 脑活动状态分类模型训练方法、装置和设备

Similar Documents

Publication Publication Date Title
CN113627518B (zh) 利用迁移学习实现神经网络脑电情感识别模型的方法
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
Jiang et al. Recognition of epileptic EEG signals using a novel multiview TSK fuzzy system
CN114052735B (zh) 一种基于深度领域自适应的脑电情绪识别方法及系统
CN110472649B (zh) 基于多尺度分析和集成树模型的脑电情感分类方法及系统
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN112699960A (zh) 基于深度学习的半监督分类方法、设备及存储介质
CN112200016A (zh) 基于集成学习方法AdaBoost的脑电信号情感识别
Dong et al. Subject sensitive EEG discrimination with fast reconstructable CNN driven by reinforcement learning: A case study of ASD evaluation
Köster et al. A two-layer model of natural stimuli estimated with score matching
Jinliang et al. EEG emotion recognition based on granger causality and capsnet neural network
CN114027786B (zh) 基于自监督式记忆网络的睡眠呼吸障碍检测方法及系统
CN114118165A (zh) 基于脑电的多模态情绪数据预测方法、装置及相关介质
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
CN114676720B (zh) 基于图神经网络的心理状态识别方法及系统
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification
CN107045624B (zh) 一种基于最大加权团的脑电信号预处理与分类方法
Ohannesian et al. Epileptic seizures detection from EEG recordings based on a hybrid system of Gaussian mixture model and random forest classifier
Gómez-Tapia et al. On the minimal amount of EEG data required for learning distinctive human features for task-dependent biometric applications
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
CN116982993B (zh) 一种基于高维随机矩阵理论的脑电信号分类方法及系统
Akamatsu et al. Multi-view bayesian generative model for multi-subject fmri data on brain decoding of viewed image categories
CN117874570A (zh) 基于混合注意力机制的脑电信号多分类方法、设备及介质
CN114818814B (zh) 情感识别的处理方法、装置、电子设备和存储介质
Zhou [Retracted] Analysis of Psychological and Emotional Tendency Based on Brain Functional Imaging and Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination