CN113693613A - 脑电信号分类方法、装置、计算机设备及存储介质 - Google Patents

脑电信号分类方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113693613A
CN113693613A CN202110220638.6A CN202110220638A CN113693613A CN 113693613 A CN113693613 A CN 113693613A CN 202110220638 A CN202110220638 A CN 202110220638A CN 113693613 A CN113693613 A CN 113693613A
Authority
CN
China
Prior art keywords
sample
feature map
attention
electroencephalogram signal
electroencephalogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110220638.6A
Other languages
English (en)
Other versions
CN113693613B (zh
Inventor
柳露艳
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110220638.6A priority Critical patent/CN113693613B/zh
Publication of CN113693613A publication Critical patent/CN113693613A/zh
Priority to PCT/CN2022/077619 priority patent/WO2022179548A1/zh
Priority to EP22758912.4A priority patent/EP4212100A1/en
Priority to US17/977,519 priority patent/US20230075309A1/en
Application granted granted Critical
Publication of CN113693613B publication Critical patent/CN113693613B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请是脑电信号分类方法、装置、计算机设备及存储介质，涉及信号处理技术领域。所述方法包括：获取第一脑电信号；基于至少两个电极信号，获取至少两个电极信号分别对应的时频特征图；基于至少两个电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；对第一提取特征图，进行基于注意力机制的加权处理，获取注意力特征图；基于注意力特征图，获取第一脑电信号对应的运动想象类型。上述方案，通过融合脑电信号的时域、频域以及空间特征的第一提取特征图经过基于注意力机制的加权处理后得到注意力特征图，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。

Description

脑电信号分类方法、装置、计算机设备及存储介质
技术领域
本申请涉及信号处理领域，特别涉及一种脑电信号分类方法、装置、计算机设备及存储介质。
背景技术
脑电波(Electroencephalogram，EEG)是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的。它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
在相关技术中，MI-BCI(Motor Imagery-Brain Computer Interface，运动想象脑机接口)系统在诸多领域均有着广泛的应用前景，能在没有任何肢体运动的情况下，通过大脑想象肢体运动产生的脑电波信号来控制外部设备。它既可以帮助脑卒中偏瘫等肢体不便的患者康复训练或者控制轮椅出行，也可以用于普通用户的教育娱乐，例如脑控VR(Virtual Reality，虚拟现实)游戏等，MI(Motor Imagery，运动想象)信号分类识别是MI-BCI系统中的关键环节，其解码的准确性直接影响这个系统的性能和用户体验。
上述技术方案中，对MI信号进行分类识别时，分类的准确性较低。
发明内容
本申请实施例提供了一种脑电信号分类方法、装置、计算机设备及存储介质，可以提高对脑电信号对应的运动想象类型预测的准确性，该技术方案如下：
一方面，提供了一种脑电信号分类方法，所述方法包括：
获取第一脑电信号；所述第一脑电信号包含至少两个电极信号；所述电极信号用于指示目标对象在所述电极信号对应的空间区域产生的脑电波信号；
基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图；所述时频特征图用于指示所述电极信号对应的时域特征与频域特征；
基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；所述第一提取特征图融合有至少两个所述电极信号的空间特征；至少两个所述电极信号的空间特征与至少两个所述电极信号对应的空间区域相关；
对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图；
基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型。
又一方面，提供了一种脑电信号分类方法，所述方法包括：
获取第一样本脑电信号；所述第一样本脑电信号包含至少两个第一样本电极信号；所述第一样本电极信号用于指示目标对象运动想象时在所述第一样本电极信号对应的空间区域产生的脑电波信号；
基于至少两个所述第一样本电极信号，获取至少两个所述第一样本电极信号分别对应的第一样本时频特征图；所述样本时频特征图用于指示所述第一样本电极信号对应的时域特征与频域特征；
基于至少两个所述第一样本电极信号分别对应的第一样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图；所述第一样本提取特征图融合有至少两个所述第一样本电极信号的空间特征；至少两个所述第一样本电极信号的空间特征与至少两个所述第一样本电极信号对应的空间区域相关；
基于所述脑电信号分类模型中的注意力加权模块，对所述第一样本提取特征图，进行基于注意力机制的加权处理，获取所述第一样本脑电信号对应的注意力特征图；
基于所述第一样本脑电信号对应的注意力特征图，获取所述第一样本脑电信号对应的样本概率分布；所述样本概率分布用于指示所述第一样本脑电信号分别为各类运动想象类型的概率；
基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练；
其中，所述脑电信号分类模型，用于基于第一脑电信号，预测所述第一脑电信号对应的运动想象类型。
再一方面，提供了一种脑电信号分类装置，所述装置包括：
第一信号获取模块，用于获取第一脑电信号；所述第一脑电信号包含至少两个电极信号；所述电极信号用于指示目标对象在所述电极信号对应的空间区域产生的脑电波信号；
第一时频特征获取模块，用于基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图；所述时频特征图用于指示所述电极信号对应的时域特征与频域特征；
第一提取特征获取模块，用于基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；所述第一提取特征图融合有至少两个所述电极信号的空间特征；至少两个所述电极信号的空间特征与至少两个所述电极信号对应的空间区域相关；
第一注意力特征获取模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图；
想象类型获取模块，用于基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
在一种可能的实现方式中，所述第一提取特征获取模块，包括：
第一提取特征图获取单元，用于基于至少两个所述电极信号分别对应的时频特征图，通过脑电信号分类模型中的第一卷积层，进行特征提取，获得所述第一提取特征图；
所述第一注意力特征获取模块，包括：
注意力特征获取单元，用于基于所述脑电信号分类模型中的第一注意力加权模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获得所述第一脑电信号对应的注意力特征图；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
在一种可能的实现方式中，所述注意力机制包括空间注意力机制与通道注意力机制中的至少一者。
在一种可能的实现方式中，所述第一注意力加权模块中包含第一空间注意力加权模块、第二卷积层、第一通道注意力模块以及第三卷积层；
所述第一注意力特征图获取单元，包括：
第一空间加权子单元，用于基于所述第一空间注意力加权模块，对所述第一提取特征图进行基于空间注意力机制的加权处理，获得第一空间特征图；
第二特征获取子单元，用于基于所述第二卷积层，对所述第一空间特征图进行特征提取，获得第二提取特征图；
第一通道加权子单元，用于基于所述第一通道注意力加权模块，对所述第二提取特征图进行基于通道注意力机制的加权处理，获得第一通道特征图；
第三特征获取子单元，用于基于所述第三卷积层，对所述第一通道特征图进行特征提取，获得所述第三提取特征图；
注意力特征获取子单元，用于基于所述第一空间特征图、所述第一通道特征图以及所述第三提取特征图，获取所述注意力特征图。
在一种可能的实现方式中，所述第一注意力加权模块中还包括第二注意力加权模块；
所述注意力特征获取子单元，还包括：
第一融合子单元，用于将所述第一空间特征图，所述第一通道特征图以及所述第三提取特征图融合，获得第一融合特征图；
第一注意力加权子单元，用于基于所述第一融合特征图，通过所述第二注意力加权模块，进行基于注意力机制的加权处理，获得所述注意力特征图。
在一种可能的实现方式中，响应于所述第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块，所述第一注意力加权子单元，还包括：
第二通道注意力加权子单元，用于通过所述第二通道注意力加权模块，对所述第一融合特征图，进行基于通道注意力机制的加权处理，获得第二通道特征图；
第二空间注意力加权子单元，用于通过所述第二空间注意力加权模块，对所述第二通道特征图，进行基于空间注意力机制的加权处理，获得所述注意力特征图。
在一种可能的实现方式中，所述第一时频特征获取模块，包括：
电极时频信号获取单元，用于基于至少两个所述电极信号，进行连续小波变换，获取至少两个所述电极信号分别对应的时频特征图。
在一种可能的实现方式中，所述脑电信号分类模型还包括第一全连接层；
所述想象类型获取模块，还用于，
基于所述第一脑电信号对应的注意力特征图，通过所述第一全连接层进行数据处理，得到所述第一脑电信号对应的特征向量；
基于所述第一脑电信号对应的特征向量，获取所述第一脑电信号对应的概率分布；所述概率分布用于指示所述第一脑电信号分别为各类运动想象类型的概率；
基于所述第一脑电信号对应的所述概率分布，确定所述第一脑电信号对应的运动想象类型。
再一方面，提供了一种脑电信号分类装置，所述装置包括：
第一样本获取模块，用于获取第一样本脑电信号；所述第一样本脑电信号包含至少两个第一样本电极信号；所述第一样本电极信号用于指示目标对象运动想象时在所述第一样本电极信号对应的空间区域产生的脑电波信号；
第一样本时频获取模块，用于基于至少两个所述第一样本电极信号，获取至少两个所述第一样本电极信号分别对应的第一样本时频特征图；所述样本时频特征图用于指示所述第一样本电极信号对应的时域特征与频域特征；
第一样本提取获取模块，用于基于至少两个所述第一样本电极信号分别对应的第一样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图；所述第一样本提取特征图融合有至少两个所述第一样本电极信号的空间特征；至少两个所述第一样本电极信号的空间特征与至少两个所述第一样本电极信号对应的空间区域相关；
第一样本注意力获取模块，用于基于所述脑电信号分类模型中的注意力加权模块，对所述第一样本提取特征图，进行基于注意力机制的加权处理，获取所述第一样本脑电信号对应的注意力特征图；
第一样本概率获取模块，用于基于所述第一样本脑电信号对应的注意力特征图，获取所述第一样本脑电信号对应的样本概率分布；所述样本概率分布用于指示所述第一样本脑电信号分别为各类运动想象类型的概率；
第一训练模块，用于基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练；
其中，所述脑电信号分类模型，用于基于第一脑电信号，预测所述第一脑电信号对应的运动想象类型。
在一种可能的实现方式中，所述装置还包括：
第二脑电信号获取模块，用于获取第二样本脑电信号；所述第二样本脑电信号包含至少两个第二样本电极信号；所述第二样本电极信号用于指示目标对象运动想象时在所述第二样本电极信号对应的空间区域产生的脑电波信号；
第二样本时频特征图获取模块，用于基于至少两个所述第二样本电极信号，获取至少两个所述第二样本电极信号分别对应的第二样本时频特征图；所述第二样本时频特征图用于指示所述第二样本电极信号对应的时域特征与频域特征；
第二样本提取特征图获取模块，用于基于至少两个所述第二样本电极信号分别对应的第二样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第二样本提取特征图；所述第二样本提取特征图融合有至少两个所述第二样本电极信号的空间特征；至少两个所述第二样本电极信号的空间特征与至少两个所述第二样本电极信号对应的空间区域相关；
第二注意力特征获取模块，用于基于所述脑电信号分类模型中的注意力加权模块，对所述第二样本提取特征图，进行基于注意力机制的加权处理，获取所述第二样本脑电信号对应的注意力特征图；
所述第一模型训练模块，还用于，
基于所述样本概率分布与所述第一样本脑电信号对应的运动想象类型，以及所述第一样本脑电信号对应的注意力特征图和所述第二样本脑电信号对应的注意力特征图，对所述脑电信号分类模型进行训练。
在一种可能的实现方式中，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象在不同时刻产生的脑电波信号；
或者，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象之外的其他对象产生的脑电波信号。
又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述的脑电信号分类方法。
又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述脑电信号分类方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1示出了本申请一个示例性实施例提供的计算机系统的示意图；
图2是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图；
图3是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图；
图4是根据一示例性实施例示出的一种脑电信号分类方法的方法流程图；
图5示出了图4所示实施例涉及的一种时频特征图通道尺度拼接示意图；
图6示出了图4所示实施例涉及的一种特征层次示意图；
图7示出了图4所示实施例涉及的空间注意力机制示意图；
图8示出了图4所示实施例涉及的通道注意力机制示意图；
图9示出了图4所示实施例涉及的一种脑电信号分类模型原理示意图；
图10示出了图4所示实施例涉及的一种脑电信号分类模型应用示意图；
图11是根据一示例性实施例示出的模型训练以及模型应用流程框图；
图12是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图；
图13是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图；
图14是根据一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
首先，对本申请实施例涉及的名词进行介绍。
1)人工智能(Artificial Intelligence,AI)
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
2)机器学习(Machine Learning,ML)
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
3)迁移学习(Transfer learning)
迁移学习是一种机器学习方法，就是把为任务A开发的模型作为初始点，重新使用在为任务B开发模型的过程中。迁移学习是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。然而，迁移学习在某些深度学习问题中是非常受欢迎的，例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候，迁移学习才会起作用。深度学习中的这种迁移被称作归纳迁移。就是通过使用一个适用于不同但是相关的任务的模型，以一种有利的方式缩小可能模型的搜索范围。
4)连续小波变换(Continuous Wavelet Transform，CWT)
连续小波变换，是一种把信号分解成随时间变化的不同频率成分的运算。尽管傅里叶变换及其离散形式DFT(Discrete Fourier Transform，离散傅里叶变换)已经成为信号处理，尤其是时频分析中最常用的工具，但是，傅里叶变换存在信号的时域与频域信息不能同时局部化的问题。连续小波就是把一个可以称作小波的函数(从负无穷到正无穷积分为零)在某个尺度下与待处理信号卷积。改变小波函数的尺度，也就改变了滤波器的带通范围，相应每一尺度下的小波系数也就反映了对应通带的信息。本质上，连续小波也就是一组可控制通带范围的多尺度滤波器。
5)通道(channel)
在卷积神经网络中通道可以用于指示特征图(featuremap)，通道中某一点的强弱可以代表特征图在该点的数值大小，不同的通道用于指示不同维度的特征图，对于一个具有多个通道的特征图，其意义为该特征图具有多个维度的图像特征。卷积网络中主要有两个操作，一个卷积(Convolution)，一个池化(Pooling)。其中，池化层并不会对通道之间的交互有影响，只是在各个通道中进行操作；而卷积层则可以在通道与通道之间进行交互，之后再下一层生成新的通道。
本申请实施例提供的脑电信号分类方法可以应用于具有较强数据处理能力的计算机设备中。在一种可能的实现方式中，本申请是实施例提供的脑电信号分类方法可以应用于个人计算机、工作站或服务器中，即可以通过个人计算机、工作站或服务器进行脑电信号分类模型的训练。在一种可能的实现方式中，通过本申请实施例提供的脑电信号分类方法训练出的脑电信号分类模型可以应用于对脑电信号分类，即对获取到的人体运动想象时头部产生的脑电信号进行数据处理，得到脑电信号对应的运动想象类型。
请参考图1，其示出了本申请一个示例性实施例提供的计算机系统的示意图。该计算机系统200中包括终端110和服务器120，其中，终端110与服务器120之间通过通信网络进行数据通信，可选地，通信网络可以是有线网络也可以是无线网络，且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端110中安装有具有脑电信号处理功能的应用程序，该应用程序可以是虚拟现实应用程序、游戏应用程序、或者具有脑电信号处理功能的人工智能(ArtificialIntelligence，AI)应用程序，本申请实施例对此不作限定。
可选的，终端110可以是具有脑机接口的终端设备，该脑机接口可以通过电极获取目标对象头部的脑电信号；或者该计算机设备存在数据传输接口，该数据传输接口用于接收具有脑机接口的数据采集设备采集到的脑电信号。
可选的，终端110可以是智能手机、平板电脑、膝上便携式笔记本电脑等移动终端，也可以是台式电脑、投影式电脑等终端，或是具有数据处理组件的智能终端，本申请实施例对此不做限定。
服务器120可以实现为一台服务器，也可以实现为一组服务器构成的服务器集群，其可以是物理服务器，也可以实现为云服务器。在一种可能的实施方式中，服务器120是终端110中应用程序的后台服务器。
本实施例的一种可能实现方式中，服务器120通过预先设置的训练样本集(即样本脑电信号)对脑电信号分类模型进行训练，其中训练样本集中可以包含多种运动想象类型对应的样本脑电信号。当服务器120对该脑电信号分类模型的训练过程完成后，通过有线或无线连接，将该训练好的脑电信号分类模型发送至终端110中。终端110接收到该训练好的脑电信号分类模型，并将该脑电信号分类模型对应的数据信息输入具有脑电信号处理功能的应用程序中，以便用户使用该应用程序对脑电信号进行处理时，可以根据训练好的该脑电信号分类模型进行脑电信号的处理，以实现脑电信号分类方法的全部或部分步骤。
图2是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的终端120。如图2所示，该脑电信号分类方法的流程可以包括如下步骤：
步骤201，获取第一脑电信号；该第一脑电信号包含至少两个电极信号；该电极信号用于指示目标对象在该电极信号对应的空间区域产生的脑电波信号。
在一种可能的实现方式中，该第一脑电信号是通过具有脑机接口的设备采集到的目标对象的脑电波信号，该脑机接口具有至少两个电极，在通过该脑机接口对该目标对象进行信号采集的过程中，该两个电极位于目标对象头部的不同空间区域，以便采集到该目标对象不同空间区域产生的脑电波信号。
步骤202，基于至少两个该电极信号，获取至少两个该电极信号分别对应的时频特征图。
其中，该时频特征图用于指示该电极信号对应的时域特征与频域特征。
步骤203，基于至少两个该电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图。
其中，该第一提取特征图融合有至少两个该电极信号的空间特征；至少两个该电极信号的空间特征与至少两个该电极信号对应的空间区域相关。
由于该第一提取特征图是基于该至少两个电极信号分别对应的时频特征图进行特征提取获得的，且该至少两个电极信号分别对应的空间区域不同，因此该第一提取特征图在基于至少两个该电极信号分别对应的时频特征图进行特征提取的同时，考虑了该至少两个电极信号分别对应的空间区域。并且由于融合后的第一提取特征图是基于该至少两个电极信号分别对应的时频特征图获取的，即该第一提取特征图中融合有该至少两个电极信号中带有的与空间区域相关的信息，即融合有该至少两个该电极信号的空间特征。
步骤204，对该第一提取特征图，进行基于注意力机制的加权处理，获取该第一脑电信号对应的注意力特征图。
在一种可能的实现方式中，对该第一提取特征图中不同层次的特征，进行基于注意力机制的加权处理，获取该第一脑电信号对应的注意力特征图。
其中，第一提取特征图中不同层次的特征用于指示该第一提取特征图中通过不同的特征提取方式获得的特征。
例如，通过第一特征提取方式对该第一提取特征图进行特征提取，获得第一层次特征，该第一层次的特征中的信息与该第一特征提取方式相对应；通过第二特征提取方式对该第一层次特征再进行特征提取，可以得到第二层次特征，此时该第二层次特征是基于第一提取特征图，通过第一特征提取方式与该第二特征提取方式进行特征提取后得到的，因此该第二层次的特征中的信息同时包含了第一特征提取方式与该第二特征提取方式的特点。
步骤205，基于该第一脑电信号对应的注意力特征图，获取该第一脑电信号对应的运动想象类型。
在本申请实施例中，该第一脑电信号对应的注意力特征图，是基于该至少两个电极信号对应的时频特征图获取的，且该至少两个电极信号用于指示该目标对象不同空间区域产生的脑电波信号，因此该注意力特征图具有一定的空间特征，即提取出的该注意力特征图同时考虑了时域特征、频域特征以及空域特征。
综上所述，本申请实施例所示方案，获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
图3是根据一示例性实施例示出的一种脑电信号分类方法的流程示意图。该方法可以由计算机设备执行，其中，该计算机设备可以是上述图1所示的实施例中的服务器120。如图3所示，该脑电信号分类方法的流程可以包括如下步骤：
步骤301，获取第一样本脑电信号；该第一样本脑电信号包含至少两个第一样本电极信号；该第一样本电极信号用于指示目标对象运动想象时在该第一样本电极信号对应的空间区域产生的脑电波信号。
其中，该第一样本脑电信号用于训练该脑电信号分类模型，且该第一样本脑电信号用于指示该样本目标对象运动想象时在该样本电极信号对应的区域产生的脑电波信号，因此通过该第一样本脑电信号训练处的该脑电信号分类模型，可以用于对脑电信号的运动想象类型进行分析。
步骤302，基于至少两个该第一样本电极信号，获取至少两个该第一样本电极信号分别对应的第一样本时频特征图。
其中，该样本时频特征图用于指示该第一样本电极信号对应的时域特征与频域特征。
步骤303，基于至少两个该第一样本电极信号分别对应的第一样本时频特征图，通过该脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图。
其中，该第一样本提取特征图融合有至少两个该第一样本电极信号的空间特征；至少两个该第一样本电极信号的空间特征与至少两个该第一样本电极信号对应的空间区域相关。
步骤304，基于该脑电信号分类模型中的注意力加权模块，对该第一样本提取特征图，进行基于注意力机制的加权处理，获取该第一样本脑电信号对应的注意力特征图。
步骤305，基于该第一样本脑电信号对应的注意力特征图，获取该第一样本脑电信号对应的样本概率分布；该样本概率分布用于指示该第一样本脑电信号分别为各类运动想象类型的概率。
步骤306，基于该样本概率分布以及该第一样本脑电信号对应的运动想象类型，对该脑电信号分类模型进行训练。
其中，该脑电信号分类模型，用于基于第一脑电信号，预测该第一脑电信号对应的运动想象类型。
综上所述，本申请实施例所示方案，获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
图4是根据一示例性实施例示出的一种脑电信号分类方法的方法流程图。该方法可以由模型训练设备与信号处理设备共同执行，其中，该模型训练设备可以是上述图1所示的实施例中的服务器120，该信号处理设备可以是上述图1所示实施例中的终端120。如图4所示，该脑电信号分类方法的流程可以包括以下步骤：
步骤401，获取第一样本脑电信号。
其中，该第一样本脑电信号包含至少两个第一样本电极信号。
在一种可能的实现方式中，该第一样本脑电信号的至少两个第一样本电极信号可以是通过具有脑机接口的终端设备通过脑机接口的电极获取的样本目标对象在运动想象时头部产生的脑电波信号。其中，该第一样本电极信号的个数与该脑机接口对应的电极数相同，即该脑机接口可以通过不同的电极同时获取同一个样本目标对象在运动想象时，头部的不同空间区域产生的脑电信号。
在一种可能的实现方式中，该脑机接口通过各个连接至样本目标对象的电极获取该样本目标对象的头部的不同区域产生的脑电信号，且各个连接至样本目标对象的电极通过传输线路将各个电极对应的脑电信号传输至脑机接口对应的终端设备中。
在一种可能的实现方式中，基于该脑机接口的各个电极，获取该样本目标对象在运动想象时头部产生的原始样本脑电信号；基于该原始样本脑电信号，通过带通滤波器进行滤波处理，获取该第一样本脑电信号。
由于通过脑机接口的电极获取的原始样本脑电信号中，存在较多的噪声干扰，因此需要先通过带通滤波器对原始样本脑电信号进行滤波，降低无关噪声对脑电信号的影响。
在一种可能的实现方式中，对每个原始样本脑电信号进行3-38Hz的带通滤波处理去除由眼动等无关生理噪声和工频干扰(即由电力系统引起的一种干扰，通常为50HZ)对EEG信号带来的影响。
步骤402，基于至少两个该第一样本电极信号，获取至少两个该第一样本电极信号分别对应的第一样本时频特征图。
在一种可能的实现方式中，对该第一样本脑电信号的至少两个该第一样本电极信号分别进行标准化操作，获取至少两个样本标准信号；基于该至少两个样本标准信号，获取该第一样本时频特征图。
在对每个原始样本脑电信号进行3-38HZ的带通滤波处理后，滤去了无关的生理噪声和工频干扰得到了第一样本脑电信号，但该第一样本脑电信号仍然存在通过带通滤波无法除去的噪声，因此为了降低噪声引起的信号扰动，可以对该第一样本脑电信号的至少两个样本电极信号进行标准化操作。其中该标准化操作可以是指数加权滑动平均操作、均值方差标准化、共空间模式算法中的任意一者。
在一种可能的实现方式中，基于该至少两个第一样本电极信号进行连续小波变换，至少两个该第一样本电极信号分别对应的第一样本时频特征图。
由于通过连续小波变换对该第一样本脑电信号进行数据处理时，可以通过连续小波变换对应的基函数拟合该第一样本脑电信号，且与傅里叶变换不同的是，连续小波变换对应的小波基既受时间影响也受频率影响，因此基于该第一样本脑电信号的两个第一样本电极信号进行连续小波变换得出的第一样本时频特征图中，即包含了该第一样本脑电信号中第一样本电极信号的时域特征，也包含了该第一样本脑电信号中第一样本电极信号的频域特征。
在本申请实施例中，该连续小波变换对应的小波基函数可以为cmor3.0-3.0，该小波基函数还可以为haar小波、db小波、sym小波、coif系列小波中的任意一种。
在一种可能的实现方式中，基于该至少两个第一样本电极信号进行连续小波变换，获取该至少两个第一样本电极信号分别对应的时频特征图；该时频特征图用于指示该样本电极信号的时域特征与频域特征；基于该至少两个第一样本电极信号分别对应的第一样本时频特征图，获取该第一样本脑电信号对应的时频特征图。
当该第一样本脑电信号中包含至少两个样本电极信号，即该第一样本脑电信号包括脑机接口通过至少两个电极获取样本目标对象运动想象时头部的至少两个区域产生的脑电信号。此时分别对该至少两个样本电极信号进行连续小波变换，获取该至少两个样本电极信号分别对应的时频特征图，再将该至少两个样本电极信号分别对应的时频特征图，根据通道进行拼接，获取该第一样本脑电信号对应的时频特征图。
其中，该第一样本脑电信号对应的时频特征图中具有至少两个通道的图像特征，该至少两个通道的图像特征分别对应至少两个电极的第一样本时频特征图，也就是说，该第一样本脑电信号对应的时频特征图是基于至少两个电极对应的第一样本时频特征图构成的，该第一样本脑电信号对应的时频特征图中的各个通道分别对应各个电极对应的第一样本时频特征图。
在一种可能的实现方式中，该第一样本脑电信号对应的时频特征图中各个通道的图像特征是根据该至少两个电极的时频特征图的信号图像分别确定的。即当获取到该至少两个样本电极信号分别对应的时频特征图后，可以根据该至少两个样本电极信号分别对应的时频特征图，获取该至少两个样本电极信号对应的时频特征图，并将至少两个第一样本电极信号对应的时频特征图根据通道进行拼接，得到该第一样本脑电信号对应的时频特征图。此时该第一样本脑电信号对应的时频特征图中包含该样本目标对象在进行运动想象时头部的不同区域产生的脑电信号的时域特征与频域特征。
请参考图5，其示出了本申请实施例涉及的一种时频特征图通道尺度拼接示意图。如图5所示，以该第一脑电信号包含两个电极获取目标对象运动想象时头部的两个区域产生的脑电信号为例，该第一脑电信号对应的第一电极信号501进行连续小波变换，得到该第一电极信号对应的第一时频特征图503；该第一脑电信号对应的第二电极信号502进行连续小波变换，得到该第二电极信号502对应的第二时频特征图504。该第一时频特征图503与该第二时频特征图504再根据通道实现该通道尺度的拼接，得到同时具有两个通道以保存第一时频特征图503以及第二时频特征图504全部特征的第一脑电信号对应的时频特征图505。
步骤403，基于至少两个该第一样本电极信号分别对应的第一样本时频特征图，通过脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图。
该至少两个该第一样本电极信号分别对应的第一样本时频特征图，可以通过该脑电信号分类模型中的第一卷积层进行特征提取，获取第一样本提取特征图。
在一种可能的实现方式中，该第一样本提取特征图中的每个通道的图像特征，都包含该至少两个该第一样本电极信号分别对应的第一样本时频特征图的图像特征，即包含第一样本时频特征图中的各个通道的图像特征。
例如，当该第一卷积层包含3*3的卷积核，且卷积核数量为5时，该第一卷积层中每个卷积核分别与该第一样本时频特征图中的各个通道进行卷积操作后求和，得到该卷积核对应的图像特征，因此，当5个卷积核分别与该第一样本时频特征图进行卷积操作时，可以获得5个通道的图像特征，即通道为5的第一样本提取特征图，且由于该第一样本提取特征图中每个通道内的图像特征是根据各个通道卷积操作后求和得到的，因此该每个通道中的图像特征均包含该第一样本时频特征图中各个通道的图像特征，即通过该第一卷积层对该第一样本时频特征图进行特征提取，将第一样本时频特征图中各个通道的时频特征相融合，且该第一脑电信号对应的时频特征图中各个通道是不同位置的电极采集到的样本对象的脑电信号，因此融合后的第一样本提取特征图融合有至少两个电极信号的特征，且该至少两个样本电极信号的空间特征与该至少两个样本电极信号对应的空间区域相关，因此融合后的该第一样本提取特征图中是同时具有时域特征、频域特征与空间特征的特征图。
步骤404，基于该脑电信号分类模型中的注意力加权模块，对该第一样本提取特征图，进行基于注意力机制的加权处理，获得该第一样本脑电信号对应的注意力特征图。
在一种可能的实现方式中，基于该脑电信号分类模型中的注意力加权模块，对该第一样本提取特征图的不同层次的特征，进行基于注意力机制的加权处理，获得该第一样本脑电信号对应的注意力特征图。
该第一样本提取特征图中不同层次的特征，用于指示该第一样本提取特征图中通过不同卷积层进行特征提取后得到的特征。
请参考图6，其示出了本申请实施例涉及的一种特征层次示意图。如图6所示，对于特征图601，其通过第一卷积层602进行特征提取后，得到了第一层次特征图603，该第一层次特征图603可以用于指示该特征图601与该第一卷积层602对应的特征。对于该第一层次特征图603，通过第二卷积层604进行特征提取后，得到第二层次特征图605，该第二层次特征图605是该特征图601通过第一卷积层602以及第二卷积层604依次进行特征提取得到的，因此该第二层次特征图用于指示该特征图同时与该第一卷积层602以及第二卷积层604对应的特征，因此该第二层次特征图与该第一层次特征图是不同层次的特征。
在一种可能的实现方式中，该注意力机制包括空间注意力机制与通道注意力机制中的至少一者。
请参考图7，其示出了本申请实施例涉及的空间注意力机制示意图。如图7所示，针对一个通道为C，尺寸为W×H的特征图701，首先对所有通道的特征图进行平均得到平均特征图，该平均特征图通过一层可学习的卷积层进行变换形成通空间注意力值，最后将空间注意力值与所有的通道特征图进行相乘，形成空间注意力特征图702。
由于该空间注意力机制是根据所有通道的特征图，按照特征图中的每个区域进行平均，最后得到一个综合了所有通道的特征图的特征的平均特征图，该平均特征图用于指示对于相同尺寸的不同通道的特征图中，特征最多的区域，因此通过该平均特征图形成的空间注意力值，对该所有的通道特征图进行加权后，获得的空间注意力特征图，更加关注于各个特征图中特征最丰富的区域。
请参考图8，其示出了本申请实施例涉及的通道注意力机制示意图。如图8所示。针对一个通道为C，尺寸为W×H的特征图801，首先对每一个特征图进行均值池化得到C个通道各自对应的特征图均值，该各个通道各自对应的均值通过一层全连接层进行映射形成通道注意力值，全连接层的激活函数为sigmoid函数，最后将各个通道对应的通道注意力值与对应的通道特征图进行相乘(即加权)，形成通道注意力特征图802。
由于该通道注意力机制是根据该各个通道各自对应的均值通过全连接层映射成为通道注意力值，因此根据该通道注意力值加权后得到的注意力特征图，会更加注意平均值较大的通道(即平均值较大的通道的图像特征对应的权重更大)。
在一种可能的实现方式中，该第一注意力加权模块中包含第一空间注意力加权模块、第二卷积层、第一通道注意力模块、第三卷积层；基于该第一空间注意力加权模块，对该第一样本提取特征图进行基于空间注意力机制的加权处理，获得第一样本空间特征图；基于该第二卷积层，对该第一样本空间特征图进行特征提取，获得第二样本提取特征图；基于该第一通道注意力加权模块，对该第二样本提取特征图进行基于通道注意力机制的加权处理，获得第一样本通道特征图；基于该第三卷积层，对该第一样本通道特征图进行特征提取，获得该第三样本提取特征图；基于该第一样本空间特征图、该第一样本通道特征图以及该第三样本提取特征图，获取该第一样本脑电信号对应的注意力特征图。
其中，该第一样本空间特征图是对该第一样本提取特征图进行基于该空间注意力机制的加权处理得到的，因此该第一样本空间特征图中的特征更加注意于每个图像通道中图像特征最大的位置；而基于该第二卷积层，对该第一样本空间特征图进行特征提取得到的第二样本提取特征图是与该第一样本空间特征图不同层次的特征，因此通过通道注意力机制对该第二样本提取特征图进行加权处理后得到的该第一样本通道特征图，与该第一样本空间特征图同样为不同层次的特征；基于该第三卷积层，对该第一样本通道特征图进行特征提取得到的第三样本提取特征图，是与该第一样本通道特征图，以及该第一样本空间特征图的层次均不相同的特征图，即该第一样本空间特征图、该第一样本通道特征图以及该第三样本提取特征图，是基于该第一样本提取特征图通过不同特征提取方式得到的不同层次的图像特征。
因此，该注意力特征图，是基于该不同层次的图像特征，分别通过空间注意力加权机制以及通道注意力加权机制进行加权后获得的。即该第一样本脑电信号对应的注意力特征图，同时包含了不同层次的图像特征，且不同层次的图像特征通过注意力机制进行加权，使得该第一样本脑电信号对应的注意力特征图，在具有时域特征、频域特征以及空域特征的基础上，同时包含了通过注意力机制进行了加权处理的不同卷积核提取出的不同层次的特征，该注意力特征图具有更多层次的图像特征，并且在保证图像特征层次多样化的基础上，可以通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，提高了特征提取的效果。
在一种可能的实现方式中，该第一注意力加权模块中还包括第二注意力加权模块；将该第一样本空间特征图，该第一样本通道特征图以及该第三样本提取特征图融合，获得第一样本融合特征图；基于该第一样本融合特征图，通过该第二注意力加权模块，进行基于注意力机制的加权处理，获得该第一样本脑电信号对应的注意力特征图。
其中，该第一样本融合特征图是通过该第一样本空间特征图、该第一样本通道特征图以及该第三样本提取特征图融合得到的，因此该第一样本融合特征图同时具有了该三个不同层次的图像特征。基于该第一样本融合特征图，通过该第二注意力加权模块，对该第一样本融合特征图进行加权处理，得到的注意力特征图，在第一样本融合特征图的基础上，进一步通过注意力机制进行加权处理，使得融合后的第一样本融合特征图中重要的特征进一步被加强，提高了特征的提取效果。
在一种可能的实现方式中，该第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块中的至少一者。
在一种可能的实现方式中，响应于该第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块，通过该第二通道注意力加权模块，对该第一样本融合特征图，进行基于通道注意力机制的加权处理，获得第二样本通道特征图；通过该第二样本空间注意力加权模块，对该第二样本通道特征图，进行基于空间注意力机制的加权处理，获得该第一样本脑电信号对应的注意力特征图。
当该第二注意力加权模块包含第二空间注意力加权模块时，根据该空间注意力加权模块对该第第一样本提取特征图进行加权后得到的该注意力特征图，更加关注于每个特征图中特征最丰富的区域；当该注意力加权模块包含该第二通道注意力加权模块时，根据该通道注意力加权模块对该第一样本提取特征图进行加权后得到的该注意力特征图，更加关注于特征图中特征最丰富的通道，因此通过该第二注意力加权模块对该第一样本融合特征图进行处理，可以进一步通过通道注意力机制以及空间注意力机制对该第一样本融合特征图进行加权，以便该特征图可以在通道尺度以及空间尺度上更注意信息丰富的部分。
步骤405，基于该第一样本脑电信号对应的注意力特征图，获取该第一样本脑电信号对应的样本概率分布。
在一种可能的实现方式中，基于该第一样本脑电信号对应的注意力特征图，获取该第一样本脑电信号对应的特征向量；基于该第一样本脑电信号对应的特征向量，获取该第一样本脑电信号对应的样本概率分布。
在一种可能的实现方式中，该脑电信号分类模型还包括第一全连接层；基于该第一样本脑电信号对应的注意力特征图，通过该第一全连接层进行数据处理，获得该第一样本脑电信号对应的特征向量。
将该第一样本脑电信号对应的注意力特征图，输入该第一全连接层，可以获得该第一样本脑电信号对应的特征向量，其中，该特征向量中的不同维度的值的大小指示该第一样本脑电信号对应不同运动想象类型的可能性大小。
在一种可能的实现方式中，将该第一样本脑电信号对应的特征向量输入该脑电信号分类模型的softmax激活层，获取该第一样本脑电信号对应的样本概率分布。
步骤406，基于该样本概率分布以及该第一样本脑电信号对应的运动想象类型，对该脑电信号分类模型进行训练。
在一种可能的实现方式中，获取第二样本脑电信号；该第二样本脑电信号包含至少两个第二样本电极信号；该第二样本电极信号用于指示目标对象运动想象时在该第二样本电极信号对应的空间区域产生的脑电波信号；基于至少两个该第二样本电极信号，获取至少两个该第二样本电极信号分别对应的第二样本时频特征图；该第二样本时频特征图用于指示该第二样本电极信号对应的时域特征与频域特征；基于至少两个该第二样本电极信号分别对应的第二样本时频特征图，通过该脑电信号分类模型中的第一卷积层进行特征提取，获得第二样本提取特征图；该第二样本提取特征图融合有至少两个该第二样本电极信号的空间特征；至少两个该第二样本电极信号的空间特征与至少两个该第二样本电极信号对应的空间区域相关；基于该脑电信号分类模型中的注意力加权模块，对该第二样本提取特征图，进行基于注意力机制的加权处理，获取该第二样本脑电信号对应的注意力特征图；基于该样本概率分布以及该第一样本脑电信号对应的运动想象类型，对该脑电信号分类模型进行训练；其中，该脑电信号分类模型，用于基于第一脑电信号，预测该第一脑电信号对应的运动想象类型。
通过该脑电信号分类模型对该第二样本脑电信号进行特征提取，得到该第二样本脑电信号对应的特征向量的过程，与通过该脑电信号分类模型对该第一样本脑电信号进行特征提取得到该第一样本脑电信号对应的特征向量的过程类似，此处不再赘述。
在一种可能的实现方式中，基于该样本概率分布和该第一样本脑电信号对应的运动想象类型，获取第一损失函数值；基于该第一样本脑电信号对应的特征向量和该第二样本信号对应的特征向量，获取第二损失函数值；基于该第一损失函数值以及该第二损失函数值，对该脑电信号分类模型进行训练。
在一种可能的实现方式中，将该第一样本脑电信号对应的特征向量与该第二样本信号对应的特征向量，输入该脑电信号分类模型中的领域判别器中，获取第二损失函数值。
其中，该领域判别器是迁移学习中的一种卷积层结构，用于根据输入获得一个输出的矩阵，并根据该输出矩阵的均值确定样本的正负。在本申请实施例中，该领域判别器用于判定输入的第二样本脑电信号是否与该第一样本脑电信号是相同类型的脑电信号。
在本申请实施例的一种可能的实现方式中，该模型训练过程中包括三部分损失函数：分类器损失函数、领域判别器损失函数。
其中，分类器损失函数可以如下所示：
Figure BDA0002954702720000221
其中，
Figure BDA0002954702720000222
和
Figure BDA0002954702720000223
分别是源域数据(即第一样本脑电信号)的真实标签和预测概率，L表示交叉熵损失函数，θf和θc分别表示特征提取器参数和分类器参数。其中，E表示该源域数据
Figure BDA0002954702720000224
分别为各个类型的运动想象
Figure BDA0002954702720000225
的概率分布。
领域判别器损失函数如下所示：
Figure BDA0002954702720000231
其中，
Figure BDA0002954702720000232
和
Figure BDA0002954702720000233
分别是源域特征和目标域特征。该领域判别器损失函数是根据该判别器输出的值对该模型进行更新的，该领域判别器用于分别判定输入的第一样本脑电信号与第二样本脑电信号是源域以及目标域的概率，其中，
Figure BDA0002954702720000234
表示第一样本脑电信号是源域的概率分布，
Figure BDA0002954702720000235
表示第二样本脑电信号是目标域的概率分布，D为判别器的输出，通过该领域判别器，模型可以同时学习到源域与目标域的特征。
上述模型的整体损失函数为：
Ld(θf，θc，θd)＝Lc-αLd
其中，α为平衡分类损失Lc和判别器损失Ld的超参数。通过上述模型的整体损失函数，该模型在通过分类损失函数值，提高分类性能的同时，学习了源域与目标域二者的特征，因此该模型在目标域(即第二样本脑电信号)不存在标签的情况下，保证该模型对输入的第二样本脑电信号也可以具有一定的分类识别能力，提高了模型训练的泛化性。
在一种可能的实现方式中，该第二样本脑电信号用于指示该第一样本脑电信号对应的目标对象在不同时刻产生的脑电波信号；
或者，该第二样本脑电信号用于指示该第一样本脑电信号对应的目标对象之外的其他人体产生的脑电波信号。
当该第二样本脑电信号是该第一样本脑电信号的样本目标对象在不同时间执行运动想象时产生的脑电波信号时，该第一样本脑电信号作为对抗学习中的源域数据，该第二样本脑电信号作为对抗学习中的目标域数据，在通过第一样本脑电信号对应的运动想象类型以及第一样本脑电信号对应的样本概率分布对模型进行训练，可以提高该模型对运动想象类型的分类能力；而通过该第一样本脑电信号对应的特征向量以及第二样本脑电信号对应的特征向量输入领域判别器，并通过损失函数对模型进行训练时，由于第二样本脑电信号是目标对象在不同时间执行运动想象时产生的脑电波数据，因此训练后的模型对同一人体在不同时间触发的脑电信号都具有很好的识别度，提高了训练后模型对脑电波识别的时间不变性。
当该第二样本脑电信号与该第一样本脑电信号是不同的样本目标对象执行运动想象时产生的脑电波信号时，该第一样本脑电信号作为对抗学习中的源域数据，该第二样本脑电信号作为对抗学习中的目标域数据，在通过第一样本脑电信号对应的运动想象类型以及第一样本脑电信号对应的样本概率分布对模型进行训练，可以提高该模型对运动想象类型的分类能力；而通过该第一样本脑电信号对应的特征向量以及第二样本脑电信号对应的特征向量输入领域判别器，并通过损失函数对模型进行训练时，由于第二样本脑电信号是与第一样本脑电信号对应的不同的人体执行运动想象时产生的脑电波数据，因此训练后的模型对不同人体触发的脑电信号都具有很好的识别度，提高了训练后模型对脑电波识别的泛化能力。
在一种可能的实现方式中，该脑电分类模型在训练过程中，可以通过该领域判别器，对第一样本脑电信号对应的特征向量以及第二样本脑电信号对应的特征向量进行分析，并根据损失函数更新该脑电分类模型，该脑电分类模型在应用过程中，可以去除该领域判别器，只保留分类器(即第一全连接层)，以实现对输入的脑电信号进行分类。
在一种可能的实现方式中，该脑电分类模型中还包括丢弃层，该丢弃层用于丢弃指定比例的图像特征，该丢弃层可以位于该脑电分类模型中的各个位置，通过在该脑电分类模型中增加丢弃层，可以降低模型在训练过程中发生过拟合的概率。
步骤407，获取第一脑电信号。
在一种可能的实现方式中，该第一脑电信号的至少两个电极信号可以是通过具有脑机接口的终端设备通过脑机接口的电极获取的目标对象在头部产生的脑电波信号。其中，该电极信号的个数与该脑机接口对应的电极数相同，即该脑机接口可以通过不同的电极同时获取同一个目标对象在头部的不同空间区域产生的脑电信号。
其中，该第一脑电信号可以是目标对象在运动想象时，脑机接口通过电极获取的脑电波信号；或者该第一脑电信号也可以是目标对象处于运动想象之外的状态时，脑机接口通过电极获取的脑电波信号。
在一种可能的实现方式中，该脑机接口通过各个连接至目标对象的电极获取该目标对象的头部的不同区域产生的脑电信号，且该各个连接至目标对象的电极通过不同的脑电通道将该各个电极对应的脑电信号传输至脑机接口对应的终端设备中。
在一种可能的实现方式中，基于该脑机接口的各个电极，获取该目标对象产生的原始脑电信号；基于该原始脑电信号，通过带通滤波器进行滤波处理，获取该第一样本脑电信号。
与上述原始样本脑电信号的处理步骤类似，由于通过脑机接口的电极获取的原始脑电信号中，存在较多的噪声干扰，因此需要先通过带通滤波器对原始样本脑电信号进行滤波，降低无关噪声对脑电信号的影响。
步骤408，基于至少两个该电极信号，获取至少两个该电极信号分别对应的时频特征图。
在一种可能的实现方式中，对第一样本脑电信号的至少两个电极信号分别进行标准化操作，获取至少两个标准信号；基于该至少两个标准信号，获取该至少两个电极信号分别对应的时频特征图。
在对每个原始脑电信号进行3-38HZ的带通滤波处理后，滤去了无关的生理噪声和工频干扰得到了第一脑电信号，但该第一脑电信号仍然存在通过带通滤波无法除去的噪声，因此为了降低噪声引起的信号扰动，可以对该第一脑电信号的至少两个电极信号进行标准化操作。其中该标准化操作可以是指数加权滑动平均操作、均值方差标准化、共空间模式算法中的任意一者。
在一种可能的实现方式中，基于至少两个该电极信号，进行连续小波变换，获取至少两个该电极信号分别对应的时频特征图。
由于通过连续小波变换对该第一脑电信号的至少两个电极信号进行数据处理时，可以通过连续小波变换对应的基函数拟合该第一脑电信号中的至少两个电极信号，且与傅里叶变换不同的是，通过连续小波变换的基既受时间影响也受频率影响，因此基于该第一脑电信号的至少两个电极信号进行连续小波变换得出的该至少两个电极信号分别对应的时频特征图中，即包含了该电极信号的时域特征，也包含了该电极信号的频域特征。
在一种可能的实现方式中，基于该至少两个电极信号分别对应的时频特征图，获取该第一脑电信号对应的时频特征图。
当该第一脑电信号中包含至少两个电极信号，即该第一脑电信号包括脑机接口通过至少两个电极获取目标对象运动想象时头部的至少两个区域产生的脑电信号。此时分别对该至少两个电极信号进行连续小波变换，获取该至少两个电极信号分别对应的时频特征图，再将该至少两个电极信号分别对应的时频特征图，根据通道进行拼接，获取该第一脑电信号对应的时频特征图。
其中，该第一脑电信号对应的时频特征图中具有至少两个通道的图像特征，该至少两个通道的图像特征分别对应至少两个电极信号对应的时频特征图。
在一种可能的实现方式中，该第一脑电信号对应的时频特征图中各个通道的图像特征是根据该至少两个电极的时频特征图的信号图像分别确定的。即当获取到该至少两个电极信号分别对应的时频特征图后，可以将至少两个电极信号对应的时频特征图根据通道进行拼接，得到该第一脑电信号对应的时频特征图。此时该第一脑电信号对应的时频特征图中包含该目标对象头部的不同空间区域产生的脑电信号的时域特征与频域特征。
步骤409，基于至少两个该电极信号分别对应的时频特征图，通过脑电信号分类模型中的第一卷积层，进行特征提取，获得该第一提取特征图。
该第一脑电信号对应的时频特征图，可以通过该脑电信号分类模型中的第一卷积层进行特征提取，获取该第一提取特征图。
在一种可能的实现方式中，该第一提取特征图中的每个通道的图像特征，都包含该第一脑电信号对应的时频特征图中的各个通道的图像特征。
例如，当该第一卷积层为3*3的卷积核，且卷积核数量为5时，该第一卷积层中每个卷积核分别与该第一脑电信号对应的时频特征图中的各个通道进行卷积操作后求和，得到该卷积核对应的图像特征，因此，当5个卷积核分别与该第一脑电信号对应的时频特征图中各个电极信号对应的时频特征图进行卷积操作时，可以获得5个通道的图像特征，即通道为5的第一提取特征图，且由于该第一提取特征图中每个通道内的图像特征是根据各个通道卷积操作后求和得到的，因此该每个通道中的图像特征均包含该第一脑电信号对应的时频特征图中各个通道(即各个电极信号)的图像特征，即通过该第一卷积层对该第一脑电信号对应的时频特征图进行特征提取，将第一脑电信号对应的时频特征图中各个通道的时频特征相融合，且该第一本时频特征图中各个通道是不同空间位置的电极采集到的对象的脑电信号，因此融合后的该第一提取特征图中是同时具有时域特征、频域特征与空域特征的特征图。
步骤410，基于该脑电信号分类模型中的注意力加权模块，对该第一提取特征图的不同层次的特征，进行基于注意力机制的加权处理，获得该第一脑电信号对应的注意力特征图。
在一种可能的实现方式中，该第一提取特征图中不同层次的特征，用于指示该第一提取特征图中通过不同卷积层进行特征提取后得到的特征。
在一种可能的实现方式中，该第一注意力加权模块中包含第一空间注意力加权模块、第二卷积层、第一通道注意力模块、第三卷积层；基于该第一空间注意力加权模块，对该第一提取特征图进行基于空间注意力机制的加权处理，获得第一空间特征图；基于该第二卷积层，对该第一空间特征图进行特征提取，获得第二提取特征图；基于该第一通道注意力加权模块，对该第二提取特征图进行基于通道注意力机制的加权处理，获得第一通道特征图；基于该第三卷积层，对该第一通道特征图进行特征提取，获得该第三提取特征图；基于该第一空间特征图、该第一通道特征图以及该第三提取特征图，获取该第一脑电信号对应的注意力特征图。
其中，该第一空间特征图是对该第一提取特征图进行基于该空间注意力机制的加权处理得到的，因此该第一空间特征图中的特征更加注意于每个图像通道中图像特征最大的位置；而基于该第二卷积层，对该第一空间特征图进行特征提取得到的第二提取特征图是与该第一空间特征图不同层次的特征，因此通过通道注意力机制对该第二提取特征图进行加权处理后得到的该第一通道特征图，与该第一空间特征图同样为不同层次的特征；基于该第三卷积层，对该第一通道特征图进行特征提取得到的第三提取特征图，是与该第一通道特征图，以及该第一空间特征图的层次均不相同的特征图，即该第一空间特征图、该第一通道特征图以及该第三提取特征图，是基于该第一提取特征图通过不同特征提取方式得到的不同层次的图像特征。
因此，该注意力特征图，是基于该不同层次的图像特征，分别通过空间注意力加权机制以及通道注意力加权机制进行加权后获得的。即该第一脑电信号对应的注意力特征图，同时包含了不同层次的图像特征，且不同层次的图像特征通过注意力机制进行加权，使得该第一脑电信号对应的注意力特征图，在具有时域特征、频域特征以及空域特征的基础上，同时包含了通过注意力机制进行了加权处理的不同卷积核提取出的不同层次的特征，该注意力特征图具有更多层次的图像特征，并且在保证图像特征层次多样化的基础上，可以通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，提高了特征提取的效果。
在一种可能的实现方式中，该第一注意力加权模块中还包括第二注意力加权模块；将该第一空间特征图，该第一通道特征图以及该第三提取特征图融合，获得第一融合特征图；基于该第一融合特征图，通过该第二注意力加权模块，进行基于注意力机制的加权处理，获得该第一脑电信号对应的注意力特征图。
其中，该第一样本融合特征图是通过该第一样本空间特征图、该第一样本通道特征图以及该第三样本提取特征图融合得到的，因此该第一样本融合特征图同时具有了该三个不同层次的图像特征。基于该第一样本融合特征图，通过该第二注意力加权模块，对该第一样本融合特征图进行加权处理，得到的注意力特征图，在第一样本融合特征图的基础上，进一步通过注意力机制进行加权处理，使得融合后的第一样本融合特征图中重要的特征进一步被加强，提高了特征的提取效果。
在一种可能的实现方式中，该第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块中的至少一者。
在一种可能的实现方式中，响应于该第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块，通过该第二通道注意力加权模块，对该第一融合特征图，进行基于通道注意力机制的加权处理，获得第二通道特征图；通过该第二空间注意力加权模块，对该第二通道特征图，进行基于空间注意力机制的加权处理，获得该第一脑电信号对应的注意力特征图。
当该第二注意力加权模块包含第二空间注意力加权模块时，根据该空间注意力加权模块对该第第一提取特征图进行加权后得到的该注意力特征图，更加关注于每个特征图中特征最丰富的区域；当该注意力加权模块包含该第二通道注意力加权模块时，根据该通道注意力加权模块对该第一提取特征图进行加权后得到的该注意力特征图，更加关注于特征图中特征最丰富的通道，因此通过该第二注意力加权模块对该第一融合特征图进行处理，可以进一步通过通道注意力机制以及空间注意力机制对该第一融合特征图进行加权，以便该特征图可以在通道尺度以及空间尺度上更注意信息丰富的部分。
步骤411，基于该第一脑电信号对应的注意力特征图，获取该第一脑电信号对应的运动想象类型。
在一种可能的实现方式中，基于该第一脑电信号对应的注意力特征图，获取该第一脑电信号对应的概率分布；该概率分布用于指示该第一脑电信号分别为各类运动想象类型的概率；基于该第一脑电信号对应的概率分布，获取该第一脑电信号对应的运动想象类型。
在一种可能的实现方式中，基于该第一脑电信号对应的注意力特征图，获取该第一脑电信号对应的特征向量；基于该第一脑电信号对应的特征向量，获取该第一脑电信号对应的概率分布。
在一种可能的实现方式中，该脑电信号分类模型还包括第一全连接层；基于该第一脑电信号对应的注意力特征图，通过该第一全连接层进行数据处理，获得该第一脑电信号对应的特征向量。
将该第一脑电信号对应的注意力特征图，输入该第一全连接层，可以获得该第一脑电信号对应的特征向量，其中，该特征向量中的不同维度的值的大小指示该第一脑电信号对应不同运动想象类型的可能性大小。
在一种可能的实现方式中，将该第一脑电信号对应的特征向量输入该脑电信号分类模型的softmax激活层，获取该第一脑电信号对应的概率分布。
在一种可能的实现方式中，将该第一脑电信号对应的概率分布中，概率最高的运动想象类型获取为该第一脑电信号对应的运动想象类型。
在一种可能的实现方式中，当该第一脑电信号对应的概率分布中，概率最高的运动想象类型的概率大于阈值，将该概率最高的运动想象类型获取为该第一脑电信号对应的运动想象类型。
在另一种可能的实现方式中，当该第一脑电信号对应的概率分布中，概率最高的运动想象类型对应的概率不超过阈值时，将该第一脑电信号确定为无法识别的脑电信号。
请参考图9，其示出了本申请实施例涉及的一种脑电信号分类模型原理示意图。如图9所示，在该脑电信号分类模型的训练过程中，可以同时输入源域数据901(即第一样本脑电信号)以及目标域数据902(即第二样本脑电信号)，该源域数据经过数据预处理过程(小波转换)后得到源时频数据903，该目标域数据经过数据预处理过程后得到目标时频数据904，该源时频数据与该目标时频数据分别输入模型进行特征提取，得到该源特征向量905以及目标特征向量906，此时该源特征向量905输入分类器910进行分类得到该源域数据对应的概率分布，该源特征向量905与该目标特征向量906根据域自适应性机制，获得损失函数值后，根据损失函数值对模型进行再更新。
MI-BCI系统在诸多领域均有着广泛的应用前景，能在没有任何肢体运动的情况下，通过大脑想象肢体运动来控制外部设备。它既可以帮助脑卒中偏瘫等肢体不便的患者康复训练或者控制轮椅出行，也可以用于普通用户的教育娱乐，例如脑控VR游戏等。而MI信号分类识别是MI-BCI系统中的关键环节，其解码的准确性直接影响这个系统的性能和用户体验。由于不同被试的脑电信号存在较大差异，现有方法需要对每个被试单独训练一个模型，且需精心调整模型超参数，导致训练过程耗时繁琐，分类性能欠佳，这些问题都局限了BCI交互技术的应用场景。为了满足脑电信号分类的性能和结构通用性要求，本申请实施例所示方案将输入信号变换为多域表征并使用注意力自适应模型来处理输入信号，通过深度学习来自动提取EEG信号序列中的时空特征，并利用领域自适应使得提取的脑电时空特征具有时间不变性，减少不同被试EEG信号之间的差异性，解决了由于个体差异导致的每个受试需要单独精调模型并且应用模型前需要校准的困扰，有效地提升MI分类的正确率。
本申请实施例针对运动想象脑电信号的时间差异性，提出了一种基于多域表征的注意力自适应脑电分类模型。首先对每个EEG信号样本进行3-38Hz的带通滤波处理，去除由眼动等无关生理噪声和工频干扰对EEG信号带来的影响；然后把滤波后的信号通过指数加权滑动平均操作来减少由噪声引起的信号扰动；再通过对每个通道进行连续小波变换得到通道时频表征，并将所有通道的时频表征进行拼接作为注意力自适应脑电解码模型的输入，通过注意力机制自动学习关键的时域和空间域特征，并通过对源域和目标域脑电数据的分布进行对齐，使提取出来的脑电特征具有时间不变性，提高解码模型的泛化能力；最终，模型预测出输入EEG信号所对应的运动想象类别。即本申请实施例所示方案提供了一种基于空间域、时间域和频率域等多域表征的注意力自适应脑电解码模型，可从多个被试者的脑电数据提取出具有辨识性和个体不变性的时空特征，有效提升模型的解码能力及准确性。本申请实施例所示方案还引入注意力机制和领域自适应机制，能够根据输入样本生成注意力特征图，定位与分类任务相关的关键通道、时间信息和频率信息等，使特征提取器能够提取到更加具有可分性的特征，同时通过对源域数据和目标域数据的条件分布进行对齐，增强模型在目标域的泛化能力，提升模型性能。
该技术方案可以通过嵌入到不同的硬件系统或者软件系统为受试者实现意念传输和控制。比如，它和外骨骼机器人结合的BCI系统，可用于偏瘫、脑卒中患者运动功能的主动式康复；和电动轮椅结合的BCI系统，可帮助肢体行动不便的用户自由活动出行；和游戏结合的脑控VR游戏系统，可实现人体通过意念想象控制虚拟世界物体的活动。
由于本方案充分考虑脑电信号中的通道重要性和时频特性，并利用其他被试的数据对网络模型进行训练，可在目标被试数据无标签的情况下训练出可用的模型用于分类，减少有标签数据的采集时间和模型校准时间，能在节省人力物力的同时提高MI-BCI系统的辨识能力和训练效率，提供更加良好的用户体验。
本技术方案使用公开的比赛数据The BCI Competition IV Dataset 2a运动想象公开数据集。这个数据集包含9个受试者，其中每个被试者的脑电数据通过22个脑电电极和3个眼电电极进行记录，信号采样率为250Hz，包括4类运动想象类别(左手、右手、双脚和舌头)。该实验包括两个阶段，本技术把每个受试者训练阶段采集到的数据文件作为训练集，把测试阶段采集到的数据文件作为测试集。
本方案为每个样本截取了运动想象区间的信号，即2s-6s共4s的数据，由于信号采样频率为250Hz，因此每个样本的时间维是1000。本方案直接去除3个眼电通道，只考虑与运动想象任务相关的22个脑电通道；带通滤波选择3阶的巴特沃斯滤波器，带通范围是[3-38Hz]；信号标准化选用指数加权移动平均法，权重参数设置为0.999，这里也可以选用其他的标准化操作，比如均值方差标准化和CSP算法等。
本方案采用连续小波变换从原始脑电信号中获得脑电的空间-时间和频域表征，首先通过对每个脑电通道的信号进行连续小波变换，并将所有脑电通道对应的时频特征图进行拼接，形成融合了空间信息、时间信息和频域信息的多域表征。本方案采取'cmor3.0-3.0'作为小波基函数，并将分辨率设置为256，这里也可以选用其他的小波基函数，比如haar小波、db小波、sym小波、coif系列小波等。
请参考图10，其示出了本申请实施例涉及的一种脑电信号分类模型应用示意图。如图10所示，本申请实施例根据输入EEG信号的时间特性、空间特性和频率特性，设计了基于多域表征的注意力自适应脑电分类模型，其基本模型参数如表1所示。该解码模型包括三个部分：特征提取器、分类器、领域判别器。输入网络的信号1001包括源域信号(即第一样本脑电信号)和目标域信号(即第二样本脑电信号)，每个信号的尺寸为N×61×160(N为电极数)。其中，特征提取器的第一层是卷积层Conv_1-Batch Normalization-ReLu(即第一卷积层1002)，其中卷积核大小3×15，步长stride均为1，卷积通道数为8；第二层是空间注意力层Spatial Attention(即第一空间注意力加权模块1003)，根据输入信号生成空间注意力图，其中卷积核大小3×3，步长stride均为1，卷积通道数为1；第三层是卷积层Conv_2-Batch Normalization-ReLu(即第二卷积层1004)，其中卷积核大小3×15，步长stride均为1，卷积通道数为16；然后经过平均池化层(核大小为2×2，步长stride为2×2)对特征图进行尺寸压缩，并通过通道注意力Channel Attention(即第一通道注意力加权模块1005)对每个卷积通道进行加权，通道注意力权值由一个隐藏节点为4的全连接层生成，随后连接丢弃层Dropout，抑制过拟合，丢弃率设为0.5；第七层是卷积层Conv_3-BatchNormalization-ReLu(即第三卷积层1006)，其中卷积核大小3×15，步长stride均为1，卷积通道数为32；之后通过一层平均池化层(核大小为2×2，步长stride为2×2)压缩特征图尺寸。为了融合不同层次的信息以及增强网络信息的流动，将第一个丢弃层的输出与第一个空间注意力层的输出通过自适应均值池化形成13×26的特征图，并将其与第三个卷积层的输出按卷积通道进行拼接，并通过通道注意力Channel Attention(即第二通道注意力加权模块1007)对每个卷积通道进行加权，注意力权值由一个隐藏节点为8的全连接层生成，随后通过空间注意力层Spatial Attention(即第二空间注意力加权模块1008)生成空间注意力图，其中卷积核大小3×3，步长stride均为1，卷积通道数为1。
最后，将空间注意力图展平作为深度脑电特征，第一样本脑电信号的空间注意力图平铺为第一样本脑电信号对应的特征向量，第二样本脑电信号的空间注意力图平铺为第二样本脑电信号对应的特征向量，并分别送入分类器Classifier1009、领域判别器DomainDiscriminator1010。其中，分类器负责完成脑电信号分类的任务，领域判别器负责判别脑电信号属于源域信号还是目标域信号。两者在网络结构设计上均是通过一个全连接层和Softmax激活层输出最终的分类概率。特别地，分类器输出四类预测概率(对应左手、右手、双脚和舌头)，领域判别器输出两类预测概率(对应源域和目标域)。
表1 注意力自适应脑电解码模型参数表
Figure BDA0002954702720000331
在本申请实施例中，可以采用基于Adam的梯度下降法求解神经网络模型的参数，采用Xavier初始化方法来初始化模型参数。在求解过程中，把每个被试的EEG多域表征及相应标签送进网络中学习，并通过误差反向传播完成模型优化。
在本申请实施例所示方案中，通过深度学习技术对运动想象空域-时域-频域表征进行端对端的解码分类，无需通过先验知识进行繁琐的特征提取过程，使模型更具有普适性。同时利用脑电信号的空间信息、时间信息和频率信息，形成多域特征图，可以完整地保留与任务相关的脑电特征；通过引入注意力机制对脑电特征图进行学习，可以通过监督训练引导网络更多地关注特定通道、频率以及时间的特征，使模型学习更具有可分性的特征；引入对抗学习机制迫使特征提取器从脑电特征图中提取具有所有被试个体共同的脑电特征，使深度模型具有更好的泛化能力。
综上所述，本申请实施例所示方案，获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
请参考图11，其是根据一示例性实施例示出的模型训练以及模型应用流程框图。该模型训练以及模型应用过程可以由模型训练设备1100以及模型应用设备(即信号处理设备)1110共同执行，如图11所示，该模型训练及模型应用过程如下所示：
在训练设备1110中，将源域数据(第一样本脑电信号对应的时频特征图)1111与目标域数据1112(第二样本脑电信号对应的时频特征图)分别输入该脑电信号分类模型，其中，本申请实施例中的该脑电信号分类模型可以是图10所示的脑电信号分类模型，其具体结构此处不再赘述。通过该脑电信号分类模型对该第一样本脑电信号对应的时频特征图1111进行处理后，得到的第一样本脑电信号对应的特征图，可以输入该脑电信号分类模型中的第一全连接层1113，得到该第一样本脑电信号对应的概率分布1115，根据该第一样本脑电信号对应的概率分布，以及该第一样本脑电信号对应的运动想象类型，可以获取第一损失函数值。
在训练设备1110中，通过该脑电信号分类模型对该第二样本脑电信号对应的时频特征图1112进行处理后，得到的第二样本脑电信号对应的特征图，以及该第一样本脑电信号对应的特征图，可以输入该脑电信号分类模型中的判别器1114中，分别得到该第一样本脑电信号对应的域分类概率以及该第二样本脑电信号对应的域分类概率，该域分类概率用于指示该第一样本脑电信号与该第二样本脑电信号属于该第一样本脑电信号对应的训练集的概率。根据该第一样本脑电信号对应的域分类概率以及该第二样本脑电信号对应的域分类概率，可以获取第二损失函数值。
在训练设备1110中，该脑电信号分类模型可以通过根据该第一损失函数值以及该第二损失函数值进行参数更新，该第一损失函数值部分可以保证更新后的该脑电信号分类模型对脑电信号的运动想象分类能力；该第二损失函数值部分，可以使模型对于第二脑电信号样本也具有一定的识别能力，提高了模型训练后的泛化性。
在该脑电信号分类模型训练后，可以将该脑电信号分类模型传输至该应用设备1120中。在本申请实施例中，由于该领域判别器部分是基于迁移学习机制增加模型的泛化性，在模型应用过程中不起作用，该脑电信号分类模型可以舍弃领域判别器部分，即该应用设备1120可以仅加载该脑电信号分类模型的部分模型，以实现对输入的第一脑电信号1121进行特征提取，得到提取特征图，并将该提取特征图输入该应用设备中的第一全连接层1122，得到该第一脑电信号对应的概率分布1123。
图12是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图。该脑电信号分类装置可以实现由图2或图4所示实施例提供的方法中的全部或部分步骤，该脑电信号分类装置包括：
第一信号获取模块1201，用于获取第一脑电信号；所述第一脑电信号包含至少两个电极信号；所述电极信号用于指示目标对象在所述电极信号对应的空间区域产生的脑电波信号；
第一时频特征获取模块1202，用于基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图；所述时频特征图用于指示所述电极信号对应的时域特征与频域特征；
第一提取特征获取模块1203，用于基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；所述第一提取特征图融合有至少两个所述电极信号的空间特征；至少两个所述电极信号的空间特征与至少两个所述电极信号对应的空间区域相关；
第一注意力特征获取模块1204，用于对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图；
想象类型获取模块1205，用于基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
在一种可能的实现方式中，所述第一提取特征获取模块1203，包括：
第一提取特征图获取单元，用于基于至少两个所述电极信号分别对应的时频特征图，通过脑电信号分类模型中的第一卷积层，进行特征提取，获得所述第一提取特征图；
所述第一注意力特征获取模块1203，包括：
注意力特征获取单元，用于基于所述脑电信号分类模型中的第一注意力加权模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获得所述第一脑电信号对应的注意力特征图；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
在一种可能的实现方式中，所述注意力机制包括空间注意力机制与通道注意力机制中的至少一者。
在一种可能的实现方式中，所述第一注意力加权模块中包含第一空间注意力加权模块、第二卷积层、第一通道注意力模块以及第三卷积层；
所述第一注意力特征图获取单元，包括：
第一空间加权子单元，用于基于所述第一空间注意力加权模块，对所述第一提取特征图进行基于空间注意力机制的加权处理，获得第一空间特征图；
第二特征获取子单元，用于基于所述第二卷积层，对所述第一空间特征图进行特征提取，获得第二提取特征图；
第一通道加权子单元，用于基于所述第一通道注意力加权模块，对所述第二提取特征图进行基于通道注意力机制的加权处理，获得第一通道特征图；
第三特征获取子单元，用于基于所述第三卷积层，对所述第一通道特征图进行特征提取，获得所述第三提取特征图；
注意力特征获取子单元，用于基于所述第一空间特征图、所述第一通道特征图以及所述第三提取特征图，获取所述注意力特征图。
在一种可能的实现方式中，所述第一注意力加权模块中还包括第二注意力加权模块；
所述注意力特征获取子单元，还包括：
第一融合子单元，用于将所述第一空间特征图，所述第一通道特征图以及所述第三提取特征图融合，获得第一融合特征图；
第一注意力加权子单元，用于基于所述第一融合特征图，通过所述第二注意力加权模块，进行基于注意力机制的加权处理，获得所述注意力特征图。
在一种可能的实现方式中，响应于所述第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块，所述第一注意力加权子单元，还包括：
第二通道注意力加权子单元，用于通过所述第二通道注意力加权模块，对所述第一融合特征图，进行基于通道注意力机制的加权处理，获得第二通道特征图；
第二空间注意力加权子单元，用于通过所述第二空间注意力加权模块，对所述第二通道特征图，进行基于空间注意力机制的加权处理，获得所述注意力特征图。
在一种可能的实现方式中，所述第一时频特征获取模块1202，包括：
电极时频信号获取单元，用于基于至少两个所述电极信号，进行连续小波变换，获取至少两个所述电极信号分别对应的时频特征图。
在一种可能的实现方式中，所述脑电信号分类模型还包括第一全连接层；
所述想象类型获取模块1205，还用于，
基于所述第一脑电信号对应的注意力特征图，通过所述第一全连接层进行数据处理，得到所述第一脑电信号对应的特征向量；
基于所述第一脑电信号对应的特征向量，获取所述第一脑电信号对应的概率分布；所述概率分布用于指示所述第一脑电信号分别为各类运动想象类型的概率；
基于所述第一脑电信号对应的所述概率分布，确定所述第一脑电信号对应的运动想象类型。
综上所述，通过本申请实施例所示方案，获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
图13是根据一示例性实施例示出的一种脑电信号分类装置的结构方框图。该脑电信号分类装置可以实现由图3或图4所示实施例提供的方法中的全部或部分步骤，该脑电信号分类装置包括：
第一样本获取模块1301，用于获取第一样本脑电信号；所述第一样本脑电信号包含至少两个第一样本电极信号；所述第一样本电极信号用于指示目标对象运动想象时在所述第一样本电极信号对应的空间区域产生的脑电波信号；
第一样本时频获取模块1302，用于基于至少两个所述第一样本电极信号，获取至少两个所述第一样本电极信号分别对应的第一样本时频特征图；所述样本时频特征图用于指示所述第一样本电极信号对应的时域特征与频域特征；
第一样本提取获取模块1303，用于基于至少两个所述第一样本电极信号分别对应的第一样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图；所述第一样本提取特征图融合有至少两个所述第一样本电极信号的空间特征；至少两个所述第一样本电极信号的空间特征与至少两个所述第一样本电极信号对应的空间区域相关；
第一样本注意力获取模块1304，用于基于所述脑电信号分类模型中的注意力加权模块，对所述第一样本提取特征图，进行基于注意力机制的加权处理，获取所述第一样本脑电信号对应的注意力特征图；
第一样本概率获取模块1305，用于基于所述第一样本脑电信号对应的注意力特征图，获取所述第一样本脑电信号对应的样本概率分布；所述样本概率分布用于指示所述第一样本脑电信号分别为各类运动想象类型的概率；
第一训练模块1306，用于基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练；
其中，所述脑电信号分类模型，用于基于第一脑电信号，预测所述第一脑电信号对应的运动想象类型。
在一种可能的实现方式中，所述装置还包括：
第二脑电信号获取模块，用于获取第二样本脑电信号；所述第二样本脑电信号包含至少两个第二样本电极信号；所述第二样本电极信号用于指示目标对象运动想象时在所述第二样本电极信号对应的空间区域产生的脑电波信号；
第二样本时频特征图获取模块，用于基于至少两个所述第二样本电极信号，获取至少两个所述第二样本电极信号分别对应的第二样本时频特征图；所述第二样本时频特征图用于指示所述第二样本电极信号对应的时域特征与频域特征；
第二样本提取特征图获取模块，用于基于至少两个所述第二样本电极信号分别对应的第二样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第二样本提取特征图；所述第二样本提取特征图融合有至少两个所述第二样本电极信号的空间特征；至少两个所述第二样本电极信号的空间特征与至少两个所述第二样本电极信号对应的空间区域相关；
第二注意力特征获取模块，用于基于所述脑电信号分类模型中的注意力加权模块，对所述第二样本提取特征图，进行基于注意力机制的加权处理，获取所述第二样本脑电信号对应的注意力特征图；
所述第一模型训练模块，还用于，
基于所述样本概率分布与所述第一样本脑电信号对应的运动想象类型，以及所述第一样本脑电信号对应的注意力特征图和所述第二样本脑电信号对应的注意力特征图，对所述脑电信号分类模型进行训练。
在一种可能的实现方式中，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象在不同时刻产生的脑电波信号；
或者，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象之外的其他人体产生的脑电波信号。
综上所述，通过本申请实施例所示方案，获取包含至少两个电极信号的脑电信号，并根据该至少两个脑电信号获取时频特征图，该时频特征图用于指示该第一脑电信号的时域特征与频域特征，在将该时频特征图进行特征提取，得到第一提取特征图，并基于注意力机制对该提取出的第一提取特征图的不同层次的特征进行加权，得到加权后的注意力特征图，最后通过加权后的注意力特征图确定脑电信号对应的运动想象类型。上述方案，该时频特征图是目标对象在不同的电极信号对应的区域产生的脑电波信号对应的时频特征图，即该时频特征图中还包含着不同的电极信号之间的空间关系，因此通过脑电信号分类模型对该时频特征图进行特征提取，可以同时考虑到该脑电信号的时域特征与频域特征，通过注意力机制对该时频特征图提取出的特征图进行加权处理，可以考虑到该脑电信号的至少两个电极信号之间的空间关系，因此最后得出的注意力特征图，是同时融合了脑电信号的时域、频域以及空域特征后提取出的特征，并且在保证图像特征层次多样化的基础上，通过注意力机制保证该图像特征的更注重该特征图中的丰富特征位置，通过该注意力特征图确定第一脑电信号对应的运动想象类型，提高了对脑电信号对应的运动想象类型预测的准确性。
图14是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述各个方法实施例中的模型训练设备和/或信号处理设备。所述计算机设备1400包括中央处理单元(CPU，Central Processing Unit)1401、包括随机存取存储器(Random Access Memory，RAM)1402和只读存储器(Read-Only Memory，ROM)1403的系统存储器1404，以及连接系统存储器1404和中央处理单元1401的系统总线1405。所述计算机设备1400还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1406，和用于存储操作系统1413、应用程序1414和其他程序模块1415的大容量存储设备1407。
所述大容量存储设备1407通过连接到系统总线1405的大容量存储控制器(未示出)连接到中央处理单元1401。所述大容量存储设备1407及其相关联的计算机可读介质为计算机设备1400提供非易失性存储。也就是说，所述大容量存储设备1407可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1404和大容量存储设备1407可以统称为存储器。
计算机设备1400可以通过连接在所述系统总线1405上的网络接口单元1411连接到互联网或者其它网络设备。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1401通过执行该一个或一个以上程序来实现图2、图4或图5所示的方法的全部或者部分步骤。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例所示的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种脑电信号分类方法，其特征在于，所述方法包括：
获取第一脑电信号；所述第一脑电信号包含至少两个电极信号；所述电极信号用于指示目标对象在所述电极信号对应的空间区域产生的脑电波信号；
基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图；所述时频特征图用于指示所述电极信号对应的时域特征与频域特征；
基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；所述第一提取特征图融合有至少两个所述电极信号的空间特征；至少两个所述电极信号的空间特征与至少两个所述电极信号对应的空间区域相关；
对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图；
基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型。
2.根据权利要求1所述的方法，其特征在于，基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图，包括：
基于至少两个所述电极信号分别对应的时频特征图，通过脑电信号分类模型中的第一卷积层，进行特征提取，获得所述第一提取特征图；
所述对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图，包括：
基于所述脑电信号分类模型中的第一注意力加权模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获得所述第一脑电信号对应的注意力特征图；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
3.根据权利要求2所述的方法，其特征在于，所述注意力机制包括空间注意力机制与通道注意力机制中的至少一者。
4.根据权利要求3所述的方法，其特征在于，所述第一注意力加权模块中包含第一空间注意力加权模块、第二卷积层、第一通道注意力模块以及第三卷积层；
所述基于所述脑电信号分类模型中的第一注意力加权模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获得所述第一脑电信号对应的注意力特征图，包括：
基于所述第一空间注意力加权模块，对所述第一提取特征图进行基于空间注意力机制的加权处理，获得第一空间特征图；
基于所述第二卷积层，对所述第一空间特征图进行特征提取，获得第二提取特征图；
基于所述第一通道注意力加权模块，对所述第二提取特征图进行基于通道注意力机制的加权处理，获得第一通道特征图；
基于第三卷积层，对所述第一通道特征图进行特征提取，获得所述第三提取特征图；
基于所述第一空间特征图、所述第一通道特征图以及所述第三提取特征图，获取所述注意力特征图。
5.根据权利要求4所述的方法，其特征在于，所述第一注意力加权模块中还包括第二注意力加权模块；
所述基于所述第一空间特征图、所述第一通道特征图以及所述第三提取特征图，获取所述注意力特征图，包括：
将所述第一空间特征图，所述第一通道特征图以及所述第三提取特征图融合，获得第一融合特征图；
基于所述第一融合特征图，通过所述第二注意力加权模块，进行基于注意力机制的加权处理，获得所述注意力特征图。
6.根据权利要求5所述的方法，其特征在于，响应于所述第二注意力加权模块包括第二空间注意力加权模块与第二通道注意力加权模块，所述基于所述第一融合特征图，通过第二注意力加权模块，进行基于注意力机制的加权处理，获得所述注意力特征图，包括：
通过所述第二通道注意力加权模块，对所述第一融合特征图，进行基于通道注意力机制的加权处理，获得第二通道特征图；
通过所述第二空间注意力加权模块，对所述第二通道特征图，进行基于空间注意力机制的加权处理，获得所述注意力特征图。
7.根据权利要求1至6任一所述的方法，其特征在于，所述基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图，包括：
基于至少两个所述电极信号，进行连续小波变换，获取至少两个所述电极信号分别对应的时频特征图。
8.根据权利要求7所述的方法，其特征在于，所述脑电信号分类模型还包括第一全连接层；
所述基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型，包括：
基于所述第一脑电信号对应的注意力特征图，通过所述第一全连接层进行数据处理，得到所述第一脑电信号对应的特征向量；
基于所述第一脑电信号对应的特征向量，获取所述第一脑电信号对应的概率分布；所述概率分布用于指示所述第一脑电信号分别为各类运动想象类型的概率；
基于所述第一脑电信号对应的所述概率分布，确定所述第一脑电信号对应的运动想象类型。
9.一种脑电信号分类方法，其特征在于，所述方法包括：
获取第一样本脑电信号；所述第一样本脑电信号包含至少两个第一样本电极信号；所述第一样本电极信号用于指示目标对象运动想象时在所述第一样本电极信号对应的空间区域产生的脑电波信号；
基于至少两个所述第一样本电极信号，获取至少两个所述第一样本电极信号分别对应的第一样本时频特征图；所述样本时频特征图用于指示所述第一样本电极信号对应的时域特征与频域特征；
基于至少两个所述第一样本电极信号分别对应的第一样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图；所述第一样本提取特征图融合有至少两个所述第一样本电极信号的空间特征；至少两个所述第一样本电极信号的空间特征与至少两个所述第一样本电极信号对应的空间区域相关；
基于所述脑电信号分类模型中的注意力加权模块，对所述第一样本提取特征图，进行基于注意力机制的加权处理，获取所述第一样本脑电信号对应的注意力特征图；
基于所述第一样本脑电信号对应的注意力特征图，获取所述第一样本脑电信号对应的样本概率分布；所述样本概率分布用于指示所述第一样本脑电信号分别为各类运动想象类型的概率；
基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练；
其中，所述脑电信号分类模型，用于基于第一脑电信号，预测所述第一脑电信号对应的运动想象类型。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
获取第二样本脑电信号；所述第二样本脑电信号包含至少两个第二样本电极信号；所述第二样本电极信号用于指示目标对象运动想象时在所述第二样本电极信号对应的空间区域产生的脑电波信号；
基于至少两个所述第二样本电极信号，获取至少两个所述第二样本电极信号分别对应的第二样本时频特征图；所述第二样本时频特征图用于指示所述第二样本电极信号对应的时域特征与频域特征；
基于至少两个所述第二样本电极信号分别对应的第二样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第二样本提取特征图；所述第二样本提取特征图融合有至少两个所述第二样本电极信号的空间特征；至少两个所述第二样本电极信号的空间特征与至少两个所述第二样本电极信号对应的空间区域相关；
基于所述脑电信号分类模型中的注意力加权模块，对所述第二样本提取特征图，进行基于注意力机制的加权处理，获取所述第二样本脑电信号对应的注意力特征图；
所述基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练，还包括：
基于所述样本概率分布与所述第一样本脑电信号对应的运动想象类型，以及所述第一样本脑电信号对应的注意力特征图和所述第二样本脑电信号对应的注意力特征图，对所述脑电信号分类模型进行训练。
11.根据权利要求10所述的方法，其特征在于，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象在不同时刻产生的脑电波信号；
或者，所述第二样本脑电信号用于指示所述第一样本脑电信号对应的目标对象之外的其他对象产生的脑电波信号。
12.一种脑电信号分类装置，其特征在于，所述装置包括：
第一信号获取模块，用于获取第一脑电信号；所述第一脑电信号包含至少两个电极信号；所述电极信号用于指示目标对象在所述电极信号对应的空间区域产生的脑电波信号；
第一时频特征获取模块，用于基于至少两个所述电极信号，获取至少两个所述电极信号分别对应的时频特征图；所述时频特征图用于指示所述电极信号对应的时域特征与频域特征；
第一提取特征获取模块，用于基于至少两个所述电极信号分别对应的时频特征图，进行特征提取，获得第一提取特征图；所述第一提取特征图融合有至少两个所述电极信号的空间特征；至少两个所述电极信号的空间特征与至少两个所述电极信号对应的空间区域相关；
第一注意力特征获取模块，对所述第一提取特征图，进行基于注意力机制的加权处理，获取所述第一脑电信号对应的注意力特征图；
想象类型获取模块，用于基于所述第一脑电信号对应的注意力特征图，获取所述第一脑电信号对应的运动想象类型；
其中，所述脑电信号分类模型是以第一样本脑电信号为样本、第一样本脑电信号对应的运动想象类型为标签训练出的机器学习模型。
13.一种脑电信号分类装置，其特征在于，所述装置包括：
第一样本获取模块，用于获取第一样本脑电信号；所述第一样本脑电信号包含至少两个第一样本电极信号；所述第一样本电极信号用于指示目标对象运动想象时在所述第一样本电极信号对应的空间区域产生的脑电波信号；
第一样本时频获取模块，用于基于至少两个所述第一样本电极信号，获取至少两个所述第一样本电极信号分别对应的第一样本时频特征图；所述样本时频特征图用于指示所述第一样本电极信号对应的时域特征与频域特征；
第一样本提取获取模块，用于基于至少两个所述第一样本电极信号分别对应的第一样本时频特征图，通过所述脑电信号分类模型中的第一卷积层进行特征提取，获得第一样本提取特征图；所述第一样本提取特征图融合有至少两个所述第一样本电极信号的空间特征；至少两个所述第一样本电极信号的空间特征与至少两个所述第一样本电极信号对应的空间区域相关；
第一样本注意力获取模块，用于基于所述脑电信号分类模型中的注意力加权模块，对所述第一样本提取特征图，进行基于注意力机制的加权处理，获取所述第一样本脑电信号对应的注意力特征图；
第一样本概率获取模块，用于基于所述第一样本脑电信号对应的注意力特征图，获取所述第一样本脑电信号对应的样本概率分布；所述样本概率分布用于指示所述第一样本脑电信号分别为各类运动想象类型的概率；
第一训练模块，用于基于所述样本概率分布以及所述第一样本脑电信号对应的运动想象类型，对所述脑电信号分类模型进行训练；
其中，所述脑电信号分类模型，用于基于第一脑电信号，预测所述第一脑电信号对应的运动想象类型。
14.一种计算机设备，其特征在于，计算机设备包含处理器和存储器，所述存储器中存储由至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至11任一所述的脑电信号分类方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至11任一所述的脑电信号分类方法。
CN202110220638.6A 2021-02-26 2021-02-26 脑电信号分类方法、装置、计算机设备及存储介质 Active CN113693613B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110220638.6A CN113693613B (zh) 2021-02-26 2021-02-26 脑电信号分类方法、装置、计算机设备及存储介质
PCT/CN2022/077619 WO2022179548A1 (zh) 2021-02-26 2022-02-24 脑电信号分类方法、装置、设备、存储介质及程序产品
EP22758912.4A EP4212100A1 (en) 2021-02-26 2022-02-24 Electroencephalogram signal classification method and apparatus, and device, storage medium and program product
US17/977,519 US20230075309A1 (en) 2021-02-26 2022-10-31 Electroencephalogram signal classification method and apparatus, device, storage medium and program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110220638.6A CN113693613B (zh) 2021-02-26 2021-02-26 脑电信号分类方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113693613A true CN113693613A (zh) 2021-11-26
CN113693613B CN113693613B (zh) 2024-05-24

Family

ID=78647793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110220638.6A Active CN113693613B (zh) 2021-02-26 2021-02-26 脑电信号分类方法、装置、计算机设备及存储介质

Country Status (4)

Country Link
US (1) US20230075309A1 (zh)
EP (1) EP4212100A1 (zh)
CN (1) CN113693613B (zh)
WO (1) WO2022179548A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114259255A (zh) * 2021-12-06 2022-04-01 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN115363599A (zh) * 2022-09-22 2022-11-22 山东大学 一种用于心房颤动识别的心电信号处理方法及系统
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN117520925A (zh) * 2024-01-02 2024-02-06 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质
CN117520903A (zh) * 2023-12-05 2024-02-06 上海韶脑传感技术有限公司 一种基于Transformer的半脑脑电运动想象分类算法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116058852B (zh) * 2023-03-09 2023-12-22 同心智医科技(北京)有限公司 Mi-eeg信号的分类系统、方法、电子设备及存储介质
CN116702001A (zh) * 2023-04-06 2023-09-05 博睿康科技（常州）股份有限公司 信号检测方法在生理信号分类中的应用
CN117272153A (zh) * 2023-11-21 2023-12-22 中国科学院自动化研究所 通道确定方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160235351A1 (en) * 2015-02-16 2016-08-18 NeuroSteer Ltd. Systems and methods for brain activity interpretation
CN108280414A (zh) * 2018-01-17 2018-07-13 重庆大学 一种基于能量特征的运动想象脑电信号的识别方法
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN111317468A (zh) * 2020-02-27 2020-06-23 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108245763B (zh) * 2017-12-28 2021-01-05 中国科学院宁波材料技术与工程研究所 脑机交互康复训练系统和方法
US11537871B2 (en) * 2018-04-25 2022-12-27 Fujitsu Limited Deep neural network training for application program generation
CN110531861B (zh) * 2019-09-06 2021-11-19 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN110610168B (zh) * 2019-09-20 2021-10-26 合肥工业大学 一种基于注意力机制的脑电情绪识别方法
CN111110230A (zh) * 2020-01-09 2020-05-08 燕山大学 一种运动想象脑电特征增强方法及系统
CN111184511A (zh) * 2020-02-04 2020-05-22 西安交通大学 一种基于注意力机制和卷积神经网络的脑电信号分类方法
CN111714118B (zh) * 2020-06-08 2023-07-18 北京航天自动控制研究所 一种基于集成学习的脑认知模型融合方法
CN111728609B (zh) * 2020-08-26 2020-11-17 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112244774A (zh) * 2020-10-19 2021-01-22 西安臻泰智能科技有限公司 脑机接口康复训练系统及方法
CN112257658B (zh) * 2020-11-11 2023-10-10 微医云(杭州)控股有限公司 一种脑电信号的处理方法、装置、电子设备及存储介质
CN113693613B (zh) * 2021-02-26 2024-05-24 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160235351A1 (en) * 2015-02-16 2016-08-18 NeuroSteer Ltd. Systems and methods for brain activity interpretation
CN108280414A (zh) * 2018-01-17 2018-07-13 重庆大学 一种基于能量特征的运动想象脑电信号的识别方法
CN111062250A (zh) * 2019-11-12 2020-04-24 西安理工大学 基于深度特征学习的多受试者运动想象脑电信号识别方法
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111317468A (zh) * 2020-02-27 2020-06-23 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111832416A (zh) * 2020-06-16 2020-10-27 杭州电子科技大学 一种基于增强卷积神经网络的运动想象脑电信号识别方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN114259255A (zh) * 2021-12-06 2022-04-01 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法
CN114259255B (zh) * 2021-12-06 2023-12-08 深圳信息职业技术学院 一种基于频域信号与时域信号的模态融合胎心率分类方法
CN115363599A (zh) * 2022-09-22 2022-11-22 山东大学 一种用于心房颤动识别的心电信号处理方法及系统
CN115363599B (zh) * 2022-09-22 2024-05-07 山东大学 一种用于心房颤动识别的心电信号处理方法及系统
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN115381467B (zh) * 2022-10-31 2023-03-10 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN117520903A (zh) * 2023-12-05 2024-02-06 上海韶脑传感技术有限公司 一种基于Transformer的半脑脑电运动想象分类算法
CN117520925A (zh) * 2024-01-02 2024-02-06 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质
CN117520925B (zh) * 2024-01-02 2024-04-16 小舟科技有限公司 基于脑电信号的个性化人机交互方法、装置、设备及介质

Also Published As

Publication number Publication date
EP4212100A1 (en) 2023-07-19
US20230075309A1 (en) 2023-03-09
CN113693613B (zh) 2024-05-24
WO2022179548A1 (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN108780519B (zh) 卷积神经网络的结构学习
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN111317468B (zh) 脑电信号分类方法、装置、计算机设备和存储介质
CN108960299B (zh) 一种多类运动想象脑电信号的识别方法
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
CN111209885A (zh) 一种手势信息处理方法、装置、电子设备及存储介质
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN111134666A (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN113712573A (zh) 脑电信号分类方法、装置、设备及存储介质
CN113133769A (zh) 基于运动想象脑电信号的设备控制方法、装置及终端
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN114781441B (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
Tang et al. A hybrid SAE and CNN classifier for motor imagery EEG classification
Janapati et al. Signal processing algorithms based on evolutionary optimization techniques in the BCI: A review
CN115238796A (zh) 基于并行damscn-lstm的运动想象脑电信号分类方法
CN112990008B (zh) 基于三维特征图和卷积神经网络的情绪识别方法及系统
CN113627391A (zh) 一种考虑个体差异的跨模式脑电信号识别方法
Sakhavi Application of deep learning methods in brain-computer interface systems
CN117609951A (zh) 一种融合脑电和功能近红外的情感识别方法、系统及介质
Olshausen et al. What natural scene statistics can tell us about cortical representation
Bhanumathi et al. Feedback artificial shuffled shepherd optimization-based deep maxout network for human emotion recognition using EEG signals
US20230101539A1 (en) Physiological electric signal classification processing method and apparatus, computer device and storage medium
KR20200059129A (ko) 딥러닝 기반의 뇌-컴퓨터 인터페이스를 위한 공간-주파수 특징맵을 생성하는 장치 및 방법
Suzuki et al. A study on visual interpretation of network in network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant