CN110531861B - 运动想象脑电信号的处理方法和装置及存储介质 - Google Patents

运动想象脑电信号的处理方法和装置及存储介质 Download PDF

Info

Publication number
CN110531861B
CN110531861B CN201910843985.7A CN201910843985A CN110531861B CN 110531861 B CN110531861 B CN 110531861B CN 201910843985 A CN201910843985 A CN 201910843985A CN 110531861 B CN110531861 B CN 110531861B
Authority
CN
China
Prior art keywords
target
source
model
electroencephalogram
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910843985.7A
Other languages
English (en)
Other versions
CN110531861A (zh
Inventor
雷梦颖
邓梓君
赵赫
郑青青
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910843985.7A priority Critical patent/CN110531861B/zh
Publication of CN110531861A publication Critical patent/CN110531861A/zh
Priority to EP20860375.3A priority patent/EP3933551A4/en
Priority to PCT/CN2020/112766 priority patent/WO2021043118A1/zh
Priority to US17/516,427 priority patent/US20220054071A1/en
Application granted granted Critical
Publication of CN110531861B publication Critical patent/CN110531861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychology (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Dermatology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明公开了一种运动想象脑电信号的处理方法和装置及存储介质。其中，该方法包括：将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到第一源MI特征和第一目标MI特征；将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，第一分类结果用于表示源MI脑电信号期望执行的动作；在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致或第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型。

Description

运动想象脑电信号的处理方法和装置及存储介质
技术领域
本发明涉及计算机领域，具体而言，涉及一种运动想象脑电信号的处理方法和装置及存储介质。
背景技术
MI-BCI(Motor Imagery-Brain-Computer Interface，运动想象-脑机接口)是一种人机交互方式，通过自发性想象肢体运动来控制外接设备的运动。基于MI-BCI的系统可以帮助肢体不便的患者进行康复训练，控制机器实现自理提升生活质量，也可以丰富普通群体的生活，如，脑机游戏等。
目前，MI-BCI系统针对每个被试者的脑电信号单独训练一个模型，并使用训练得到的模型进行该被试者的脑电信号进行识别。
通过上述方式得到的MI-BCI系统的性能很大程度受MI脑电信号的解码准确度影响。由于运动想象脑电信号个体差异性大，使得不同被试者的模型并不具备共享性，无法适用于未经过训练的被试者，导致了在实际使用MI-BCI系统前，每个被试者都得经过训练。由于训练过程繁琐复杂而且单个被试训练样本数量少，系统的性能会进一步下降。
因此，相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的问题。
发明内容
本发明实施例提供了一种运动想象脑电信号的处理方法和装置及存储介质，以至少解决相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题。
根据本发明实施例的一个方面，提供了一种运动想象脑电信号的处理方法，包括：将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
根据本发明实施例的另一个方面，提供了一种运动想象脑电信号的处理方法，包括：获取待识别运动想象MI脑电信号，其中，待识别MI脑电信号为对目标对象进行MI脑电信号采集得到的MI脑电信号；将待识别MI脑电信号输入到目标特征提取模型，得到用于表示待识别MI脑电信号的待识别MI特征，并将待识别MI特征输出到目标分类模型，得到目标分类模型输出的目标分类结果，其中，目标特征提取模型提取的、不同MI训练信号的不同MI特征和待识别MI特征的特征分布之间的相似度大于或者等于第一相似度阈值，不同MI训练信号包括对应于第一已知动作的源MI脑电信号，目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致，第二分类结果为目标分类模型根据目标特征提取模型从源MI脑电信号输出的第二源MI特征输出的分类结果，目标分类结果用于表示待识别MI脑电信号期望执行的动作；根据目标分类结果，控制与目标对象匹配的目标设备执行待识别MI脑电信号期望执行的动作。
根据本发明实施例的又一方面，还提供了一种运动想象脑电信号的处理装置，包括：第一输入单元，用于将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；第二输入单元，用于将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；调整单元，用于在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
根据本发明实施例的又一方面，还提供了一种运动想象脑电信号的处理装置，包括：第二获取单元，用于获取待识别MI脑电信号，其中，待识别MI脑电信号为对目标对象进行MI脑电信号采集得到的MI脑电信号；第四输入单元，用于将待识别MI脑电信号依次输入到目标特征提取模型，得到用于表示待识别MI脑电信号的待识别MI特征，并将待识别MI特征输出到目标分类模型，得到目标分类模型输出的目标分类结果，其中，目标特征提取模型提取的属于不同对象的不同MI训练信号的不同MI特征和待识别MI特征的特征分布之间的相似度大于或者等于第一相似度阈值，不同MI训练信号包括对应于第一已知动作的源MI脑电信号，目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致，目标分类结果用于表示待识别MI脑电信号期望执行的动作；控制单元，用于根据目标分类结果，控制与目标对象匹配的目标设备执行待识别MI脑电信号期望执行的动作。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的方法。
在本发明实施例中，通过使用对应于第一已知动作的源MI脑电信号与目标MI脑电信号对特征提取模型和分类模型进行训练，使得该特征提取模型提取的源MI脑电信号的特征与提取的目标MI脑电信号的特征的分布相似，且分类模型能够正确识别出第一已知动作，由于目标MI脑电信号与源MI脑电信号的特征分布相似，使得得到的特征提取模型和分类模型可以适用于目标对象的MI脑电信号的识别，可以提高MI识别模型(包括得到的特征提取模型和分类模型)的泛化能力，以及解码(分类)的准确率，进而解决了相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种运动想象脑电信号的处理方法的应用环境的示意图；
图2是根据本发明实施例的一种可选的运动想象脑电信号的处理方法的流程示意图；
图3是根据本发明实施例的一种可选的运动想象脑电信号的处理方法的示意图；
图4是根据本发明实施例的另一种可选的运动想象脑电信号的处理方法的示意图；
图5是根据本发明实施例的又一种可选的运动想象脑电信号的处理方法的示意图；
图6是根据本发明实施例的又一种可选的运动想象脑电信号的处理方法的示意图；
图7是根据本发明实施例的另一种可选的运动想象脑电信号的处理方法的流程示意图；
图8是根据本发明实施例的又一种可选的运动想象脑电信号的处理方法的流程示意图；
图9是根据本发明实施例的又一种可选的运动想象脑电信号的处理方法的流程示意图；
图10是根据本发明实施例的一种可选的运动想象脑电信号的处理装置的结构示意图；
图11是根据本发明实施例的另一种可选的运动想象脑电信号的处理装置的结构示意图；
图12是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中涉及到的技术术语包括：
(1)BCI，是指人或者动物的脑与外部机器交换信息的通道模式。
(2)EEG(Electroencephalographic，脑电图)，是指通过非侵入式脑机接口设备采集头皮处脑部的生物电压，并放大记录得到曲线图。
(3)MI，是指没有任何肢体运动的情况下，利用意念想象肢体运动，是一种自发性脑电。
(4)CNN(Convolutional Neural Network，卷积神经网络)，是一类包含卷积运算而且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
(5)Transfer learning(迁移学习)，是指存储已有问题的解决模型，并将其利用到其他相关但不同的问题上。
(6)Domain adaptation(领域自适应)，目标是让源域(source domain)通过有监督学习得到的模型泛化到数据分布不同的目标域(target domain)。通过将源域和目标域的数据，映射到一个特征空间中，使其在这个空间的分布尽量接近，进而提升模型在目标域的性能。
(7)GAN(Generative adversarial network，生成对抗网络)，通过非监督学习让两个神经网络生成器(Generator)和判别器(Discriminator)相互博弈进行学习。
(8)Maximum mean discrepancy(最大均值差异，差异性度量)，用于度量两个分布的相似。
根据本发明实施例的一个方面，提供了一种运动想象脑电信号的处理方法。可选地，上述运动想象脑电信号的处理方法可以但不限于应用于如图1所示的应用环境中。如图1所示，上述运动想象脑电信号的处理方法涉及终端设备102通过网络104与服务器106之间的交互。
终端设备102可以采集或者从其他设备获取源MI脑电信号和目标MI脑电信号，并通过网络104将获取的源MI脑电信号和目标MI脑电信号发送给服务器106，其中，源MI脑电信号和目标MI脑电信号可以是属于不同对象(被试者)的MI脑电信号，源MI脑电信号对应于第一已知动作。源MI脑电信号属于源域，目标MI脑电信号属于目标域，其中，源域中包含的MI脑电信号均为已经确定对应的已知动作的MI脑电信号，目标域中可以包含未确定对应的已知动作的MI脑电信号。
服务器106在获取到上述源MI脑电信号和目标MI脑电信号之后，可以将源MI脑电信号和目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；在第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
可选地，目标特征提取模型和目标分类模型可以作为MI识别模型的特征提取器和分类器，对测试集中的测试样本进行测试，确定模型的性能，也可以用于获取待识别MI脑电信号，识别待识别MI脑电信号期望执行的动作，并控制特定设备执行待识别MI脑电信号期望执行的动作。
可选地，在本实施例中，上述终端设备可以包括但不限于以下至少之一：用于采集MI脑电信号的信号采集设备等。上述网络可以包括但不限于以下至少之一：无线网络，有线网络，其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络，该有线网络可以包括：局域网、城域网、广域网等。上述服务器可以包括但不限于以下至少之一：用于训练MI识别模型的服务器。上述只是一种示例，本实施例对此不做任何限定。
可选地，在本实施例中，作为一种可选的实施方式，如图2所示，上述运动想象脑电信号的处理方法可以包括：
步骤S202，将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；
步骤S204，将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；
步骤S206，在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
可选地，上述运动想象脑电信号的处理方法所得到的目标特征提取模型和目标分类模型作为MI识别模型可以但不限于应用于：意念的传输和控制的过程中，例如，与外骨骼机器人结合的BCI系统可用于偏瘫、脑卒中患者运动功能主动式康复，与电动轮椅结合的BCI系统可以帮助肢体行动不便的用户自由活动出行，与游戏结合的脑机-游戏系统可以实现人体通过意念想象控制虚拟世界中的对象(可以包括但不限于以下至少之一：人物，物品等)的活动。
相关技术中的MI识别方式可以包括：基于Shallow ConveNet(浅层卷积网络)的运动想象脑电图分类算法的方式和基于Deep ConvNet(深层卷积网络)的运动想象脑电图分类算法的方式。如图3所示，基于Shallow ConvNet的运动想象分类以原始脑电信号作为网络输入，结合脑电信号时间分辨率高、空间信息丰富的特点，使用时间空间一维卷积提取脑电信号的时空模式，通过平均池化、全连接及softmax得到信号对应的分类概率。如图4所示，Deep ConvNet深层网络结构以浅层时空卷积结构为基础，在时间维度上增加多个卷积池化层，以利用脑电时间信息。
基于Shallow ConvNet的EEG分类算法由于模型结构简单，提取到的特征信息有限，不足以拟合复杂的运动想象脑电信号；基于Deep ConvNet的深层网络直接通过增加卷积层和池化层的数量来扩展Shallow ConvNet，训练过程要求更多的训练样本，否则将会导致过拟合严重，导致模型的泛化能力差。
虽然基于Shallow ConvNet和Deep ConvNet的EEG分类方法均实现了针对脑电信号端到端的自动识别解码，但由于不同被试的信号差异性大，这两种网络结构的算法只能针对不同被试的训练样本独立训练，不同被试训练得到的模型之间无法互相借鉴利用，模型通用迁移性差；同时，这两种算法均是有监督学习的方法，无法对无标签的目标被试的MI-EEG信号进行训练识别。
通过本实施例，通过使用对应于第一已知动作的源MI脑电信号与目标MI脑电信号对特征提取模型和分类模型进行训练，使得该特征提取模型提取的源MI脑电信号的特征与提取的目标MI脑电信号的特征的分布相似，且分类模型能够正确识别出第一已知动作，解决了相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题，提高了MI识别模型(包括得到的特征提取模型和分类模型)的泛化能力，以及解码的准确率。
下面结合图2对上述运动想象脑电信号的处理方法进行说明。
在步骤S202中，将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征。
用于进行MI脑电信号识别的MI识别模型可以包括特征提取模型(特征提取器)和分类模型(分类器)。为了得到MI识别模型，可以使用被试训练数据(训练数据，被试者的训练数据)进行模型训练。对MI识别模型进行训练可以包括调整初始特征提取模型的模型参数和/或初始分类模型的模型参数的过程。
可以划分不同的被试训练数据到源域和目标域，例如，将目标被试者的脑电信号放到目标域，其他解码性能高的被试者的数据放到源域。目标域中的目标MI脑电信号可以具有分类标签，也可以不具有分类标签。源域中的源MI脑电信号具有分类标签，该分类标签可以用于标识第一已知动作，第一已知动作可以是多个已知动作中的一种。
例如，在训练过程，可以将不同被试者的MI-EEG样本划分到源域和目标域。可以根据具体问题进行分割，如果被试数据集存在无标签的情况，可以将有标签的被试数据分到源域，无标签的被试数据分到目标域；如果被试数据均有标签，可以任意指定一个被试的数据为目标域，其他的被试数据分到源域，可以重复直到所有的被试都曾被分到目标域。
多个已知动作可以根据经验设定，可以包括但不限于以下至少之一：左手动作(例如，左手握拳)、右手动作(例如，右手握拳)、舌头动作、双脚动作(左脚动作和右脚动作可以区分，也可以不区分)等。不同分类标签可以对应于多个已知动作中的一种，同一MI脑电信号可以对应于一个已知动作。不同MI脑电信号可以对应于同一已知动作，也可以对应于不同的已知动作。
可选地，在本实施例中，在将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型之前，服务器可以向采集设备发送目标指令，其中，目标指令用于指示待执行的第一已知动作；接收采集设备发送的源MI脑电信号，其中，源MI脑电信号为MI脑电信号采集设备在接收到目标指令之后的特定时间内采集到的MI脑电信号。
为了获取源MI脑电信号，服务器可以向采集设备(MI脑电信号采集设备)发送目标指令，该目标指令用于指示待执行的第一已知动作。
根据相关的协议标准，可以在预定位置上采集特定对象(例如，人)的脑电信号，上述预定位置可以有多个(例如，60个)，分布在人头部的不同位置上，每个位置对应于一个通道。该采集设备上可以连接有多个采集脑电信号的贴片，不同的贴片用于采集不同通道的脑电信号(EEG)。
采集设备上设备的贴片可以对应于相关协议中的全部或者部分位置，贴片采集脑电信号的位置以及贴片的数量可以根据需要进行设定，本实施例中对此不作具体限定。
例如，协议中规定了人头部采集脑电信号的位置为N个，对应于N个不同通道，可以采集全部N个或者特定数量通道的脑电信号，也可以在处理过程使用所有通道的脑电信号或者只处理特定的通道的脑电信号。
在接收到目标指令之后，采集设备可以提示使用该采集设备的被试者该第一已知动作，提示该被试者在脑海中想象该动作，以便采集该被试者的脑电信号，得到源MI脑电信号。采集设备采集的可以是接收到目标指令之后的特定时间内的MI脑电信号(包含不同通道的脑电信号)。
特定时间可以是：接收到目标指令的第一时刻之后的要求被试进入运动想象的时间段，例如，第一时刻之后1s至5.5s，也可以是接收到目标指令之后发出提示信息(提示想象第一已知动作)的第二时刻之后被试进入运动想象的特定时间段，例如，第二时刻之后1s至5.5s。
通过本实施例，通过用于指示待执行的第一已知动作的目标指令指示采集设备采集MI脑电信号，可以得到对应于第一已知动作的源MI脑电信号，可以保证源MI脑电信号获取的准确性。
目标MI脑电信号可以采用与源MI脑电信号同样的方式获取(对应于第二已知动作的目标MI脑电信号)，也可以采用不同的方式获取，例如，目标指令并不指示特定的已知动作，由被试者自行想象多个已知动作之一，以获取目标MI脑电信号。
可选地，在本实施例中，为了提高训练样本(源MI脑电信号，目标MI脑电信号)的获取效率，可以使用公开的数据集作为训练数据，其中，可以将运动想象有训练数据集作为源域，将运动想象无训练数据集作为目标域，线上未知用户的MI-EEG信号作为测试集。上述公开的数据集可以是：公开的比赛数据The 3rd China BCI Competition运动想象公开数据。
可选地，在本实施例中，在将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型之前，可以获取属于源域的初始源MI脑电信号和属于目标域的初始目标MI脑电信号；对初始源MI脑电信号进行预处理，得到源MI脑电信号；对初始目标MI脑电信号进行预处理，得到目标MI脑电信号。
采用前述方式获取的可以是源MI脑电信号和目标MI脑电信号，也可以是初始源MI脑电信号和初始目标MI脑电信号，通过分别对初始源MI脑电信号和初始目标MI脑电信号进行预处理，得到源MI脑电信号和目标MI脑电信号。对MI脑电信号的预处理可以用于标准化MI脑电信号，使得预处理后的MI脑电信号可以用于训练MI脑电信号识别模型。
通过本实施例，通过分别对初始源MI脑电信号和初始目标MI脑电信号进行预处理，可以优化MI脑电信号，提高MI脑电信号识别模型训练的有效性。
作为一种可选的实施方式，对初始源MI脑电信号进行预处理，得到源MI脑电信号包括：从初始源MI脑电信号中截取出预定时间长度的信号，得到第一源MI脑电信号；将第一源MI脑电信号输入到带通滤波器，得到第二源MI脑电信号，其中，带通滤波器用于滤除第一源MI脑电信号中不在带通频带范围内的信号；对第二源MI脑电信号进行标准化处理，得到源MI脑电信号。
作为另一种可选的实施方式，对初始目标MI脑电信号进行预处理，得到目标MI脑电信号包括：从初始目标MI脑电信号中截取出预定时间长度的信号，得到第一目标MI脑电信号；将第一目标MI脑电信号输入到带通滤波器，得到第二目标MI脑电信号，其中，带通滤波器用于滤除第一目标MI脑电信号中不在带通频带范围内的信号；对第二目标MI脑电信号进行标准化处理，得到目标MI脑电信号。
对MI脑电信号(可以包括：初始源MI脑电信号和/或目标MI脑电信号)的预处理可以包括但不限于以下至少之一：时间长度归一化，选择特定通道，去噪(低通滤波或者带通滤波)，信号标准化。
下面结合可选示例对MI脑电信号的预处理过程进行说明。如图5所示，对于MI脑电信号进行预处理操作可以包括但不限于以下至少之一：
1)截取与运动想象相关的时间段信号(时间长度归一化)
为每个样本截取了运动想象区间的信号，可以截取从1s-5.5s共4.5s的数据，由于信号采样频率是1000Hz，每个样本的时间维为4500。
2)通道选择
通过通道选择可以去除与MI任务无关的通道信号，选择的通道可以是与运动想象任务相关的20个通道(分别是：FCz,FC1,FC2,FC3,FC4,FC5,FC6,Cz,C1,C2,C3,C4,C5,C6,CP1,CP2,CP3,CP4,CP5和CP6)，也可以是更多、更少、或者不同的通道。
3)滤波处理
通过带通滤波处理可以去除由于眨眼、环境噪声，设备等原因引入的噪声。带通滤波器可以是3阶的巴特沃斯滤波器，该滤波器的带通范围是[4-38Hz]，也可以是[7-30Hz]。由于MI脑电信号中的有用信息主要集中在低频区域，通过带通滤波器，可以在滤除噪声的同时，保留MI脑电信号中的有用信息。
4)指数加权移动平均
对于平滑滤波后的信号(带通滤波后的信号)，为进一步减少由于噪声引起的信号波动，可以选用指数加权滑动平均操作，进行信号标准化。
信号标准化选用指数加权移动平均法，权重参数可以设置为0.999，也可以选用其他的标准化操作，比如均值方差标准化，CSP算法等。
通过本实施例，通过对初始MI脑电信号进行预处理，可以滤除噪声数据，并统一MI脑电信号的长度以及标准化MI脑电信号，提高MI脑电信号识别模型训练的有效性。
在得到源MI脑电信号和目标MI脑电信号之后，可以分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征。
上述初始特征提取模型可以是基于CNN处理脑电信号的特征提取器，也可以是具有其他网络结构(比如ResNet，LSTM等)的特征提取器。
在步骤S204中，将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作。
对于初始特征提取模型提取出的第一源MI特征，可以将其输入到初始分类模型，以得到初始分类模型输出的用于表示源MI脑电信号期望执行的动作的第一分类结果。初始分类模型可以是基于CNN的处理脑电信号的分类器，分类结果可以是根据由第一源MI特征确定出的源MI脑电信号对应于多个已知动作中的每个已知动作的概率，确定出的源MI脑电信号期望执行的动作(对应于最高概率的已知动作)。
特征提取模型和分类模型可以是MI脑电信号识别模型的不同子模型，特征提取模型和分类模型的结构可以是预先配置的，初始特征提取模型的模型参数和初始分类模型的模型参数可以是随机初始化(例如，初始化为0)，也可以是使用源MI脑电信号对随机初始化的初始特征提取模型和初始分类模型进行训练得到的模型参数。
例如，针对EEG信号的时空属性，特征提取器可以采用时间卷积层和空间卷积层。基于Deep ConvNet，特征提取器和分类器的模型参数可以如表1所示，其中，网络结构可以通过修改卷积池化层数以及不同的卷积核大小来实现。
表1
层名称 输出尺寸 网络
输出层 20x 4500 --
时间卷积层 20x 4491 1x 10,25,stride 1x 1
空间卷积层 1x 4491 20x 1,25,stride 1x 1
最大池化层 1x 1497 1x 3,stride 1x 3
卷积层2 1x 1488 1x 10,50,stride 1x 1
最大池化层 1x 496 1x 3,stride 1x 3
卷积层3 1x 487 1x 10,100,stride 1x 1
最大池化层 1x 162 1x 3,stride 1x 3
卷积层4 1x 153 1x 10,200,stride 1x 1
最大池化层 1x 51 1x 3,stride 1x 3
压平层 10200 --
全连接层 1024 1024
全连接层 1024 1024
输出层 2 2
在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型。第一源MI特征、第一目标MI特征和第一分类结果之后，可以判断：源MI脑电信号对应的第一已知动作与源MI脑电信号期望执行的动作是否一致；第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度是否小于第一预定阈值。第一预定阈值可以是预先设定的固定值，也可以是根据目标函数确定出的值。
在源MI脑电信号对应的第一已知动作与源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，可以确定模型未收敛，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致，该第二分类结果为目标分类模型根据第二源MI特征确定出的源MI脑电信号对应于多个已知动作中的每个已知动作的概率，确定出的源MI脑电信号期望执行的动作(对应于最高概率的已知动作)。
第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度，例如，可以通过域判别模型对特征分布相似度进行判定，也可以通过其他的度量标准，比如余弦距离，曼哈顿距离，切比雪夫距离等。可以将预处理过的信号输入到基于CNN设计处理脑电信号的特征提取器，分类器和域判别器，训练过程中，特征提取器和分类器更新后，再更新域判别器，如此循环跌代。最终模型分类器可以识别输入的EEG信号所包含的运动想象分类。域判别器可以是基于CNN的多层全连接结构，网络结构可以如表2所示。
表2
层名称 输出尺寸 网络
输入层 10200 --
全连接层 1024 1024
全连接层 512 512
全连接层 1 1
采用特征提取器、分类器和域判别器的训练模型可以是基于判别对抗的领域自适应的运动想象深度解码模型。通过深度学习提取源域被试的运动想象相关特征，进行分类解码；同时结合判别网络对抗的领域自适应分支，使得目标被试的深层脑电信号特征和源域的达到不可区分的平衡。
为进一步优化判别网络分支，可以采用“度量学习”的方式，同时约束最大均值差异(MMD)损失函数和对抗损失函数，来进一步缩小了目标被试和处于源域的被试的脑电信号特征的分布距离，从而提升了目标被试的解码准确度。
可选地，循环跌代使用的损失函数(目标函数)可以包括两部分，分别是：特征提取器和分类器分支损失函数LG和域判别器分支LD。其中，LG包含了三部分损失函数，分别是：
1)用于评判运动想象分类的损失函数Lce，可以选择交叉熵损失函数；
2)用于生成对抗损失函数LGadv；
3)用于评判源域和目标域的特征提取器生成的特征的分布相似性Lmmd。
损失函数的公式可以如公式(1)所示，
Figure BDA0002194583150000171
其中，α,β为不同损失函数间的权重，y为真实标签，
Figure BDA0002194583150000181
为预测标签。D和G分别代表域判别器网络，特征提取器网络，x代表源域的样本，z代表目标域的样本，C代表类别数。f分别代表特征提取器的特征层。mj代表第j类运动想象的源域样本数，nj代表第j类的目标域样本数。
其中，域判别器可以选用最小化对抗损失函数，可以如公式(2)所示，
LDadv＝-logD(G(x))-log(1-D(G(z))) (2)
α，β使用域判别对抗学习的迁移学习方法，利用其他被试的脑电数据，解决了被试独立训练数据量小，深度学习参数多导致容易过拟合的问题，同时提升了目标被试的模型准确性。运动想象脑电信号的处理方法进行说明。本示例中提供的运动想象脑电信号的处理方法可以缓解单个被试脑电信号训练数据量小的难题，大大提升了深度卷积网络在小样本脑电信号上的适用范围，为深层模型解码脑电信号提供了更多的可能性。本示例中的运动想象脑电信号的处理方法可以由服务器执行，可以包括：训练阶段和测试阶段。
训练时，将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到第一源MI特征和第一目标MI特征；将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示分类模型对源MI脑电特征所执行的动作的预测；将源MI脑电特征和目标脑电特征输入到域判别器模型，得到输入脑电特征的分布来源预测。
在源MI脑电信号对应的第一已知动作标签与模型预测的源MI脑电信号执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，根据输入的源/目标脑电信号，最小化模型损失函数调整初始特征提取模型的模型参数和/或初始分类模型的模型参数和/或域判别器模型的模型参数，得到目标特征提取模型和目标分类模型。
测试时，将目标MI脑电信号输入到目标提取模型和目标分类模型，由此可以预测目标脑电信号所执行的动作。MI识别模型之后，可以利用目标被试测试集验证训练得到的MI识别模型识别的准确率以及泛化能力；或者预测目标被试的运动想象意图。
无监督学习的运动想象脑电信号的处理方式，可以支持无标签的被试样本作为目标域，训练出高效有用的脑电解码模型，使得脑机接口的应用更加实用。根据本发明实施例的另一个方面，提供了一种运动想象脑电信号的处理方法。可选地，上述运动想象脑电信号的处理方法可以但不限于应用于如图1所示的网络架构中。
可选地，在本实施例中，作为一种可选的实施方式，如图9所示，上述运动想象脑电信号的处理方法可以包括：
可选地，上述运动想象脑电信号的处理方法可以但不限于应用于：意念的传输和控制的过程中，例如，与外骨骼机器人结合的BCI系统可用于偏瘫、脑卒中患者运动功能主动式康复，与电动轮椅结合的BCI系统可以帮助肢体行动不便的用户自由活动出行，与游戏结合的脑机-游戏系统可以实现人体通过意念想象控制虚拟世界中的对象(可以包括但不限于以下至少之一：人物，物品等)的活动。
通过本实施例，通过使用目标特征提取模型和目标分类模型对待识别MI脑电信号进行动作类型识别，而目标特征提取模型提取的不同MI脑电信号的特征分布相似，且目标分类模型可以根据目标MI特征正确识别出第一已知动作，解决了相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题，提高了MI识别模型(包括得到的特征提取模型和分类模型)的泛化能力，以及解码的准确率。
进一步地，用深度学习对运动想象脑电信号进行端对端的解码分类，只需要输入原始信号即可直接得到解码结果，无需过多手工提取特征的先验知识，模型更具有普适性。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一个方面，还提供了一种用于实施上述运动想象脑电信号的处理方法的运动想象脑电信号的处理装置。如图10所示，该装置包括：
(1)第一输入单元1002，用于将属于源域的源运动想象MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；
(2)第二输入单元1004，用于将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；
(3)调整单元1006，用于在源MI脑电信号对应的第一已知动作与源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
可选地，上述运动想象脑电信号的处理装置可以但不限于意念的传输和控制的过程中，例如，与外骨骼机器人结合的BCI系统可用于偏瘫、脑卒中患者运动功能主动式康复，与电动轮椅结合的BCI系统可以帮助肢体行动不便的用户自由活动出行，与游戏结合的脑机-游戏系统可以实现人体通过意念想象控制虚拟世界中的对象(可以包括但不限于以下至少之一：人物，物品等)的活动。
可选地，第一输入单元1002可以用于执行前述步骤S202，第二输入单元1004可以用于执行前述步骤S204，调整单元1006可以用于执行前述步骤S206。
通过本实施例，通过使用对应于第一已知动作的源MI脑电信号与目标MI脑电信号对特征提取模型和分类模型进行训练，使得该特征提取模型提取的源MI脑电信号的特征与提取的目标MI脑电信号的特征的分布相似，且分类模型能够正确识别出第一已知动作，解决了相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题，提高了MI识别模型的泛化能力，以及解码的准确率。
作为一种可选的实施方案，调整单元1006包括：
(1)第一输入模块，用于将第一源MI特征和第一目标MI特征输入到初始域判别模型，得到第一源判别结果和第一目标判断结果，其中，初始域判别模型用于根据第一源MI特征的特征分布，确定源MI脑电信号属于源域的概率和属于目标域的概率，以及，根据第一目标MI特征的特征分布，确定目标MI脑电信号属于源域的概率和属于目标域的概率；
(2)调整模块，用于通过多轮迭代，使用源MI脑电信号和目标MI脑电信号依次调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，以及初始域判别模型的模型参数，得到目标特征提取模型，目标分类模型和目标域判别模型，使得目标域判别模型根据第二源MI特征输出的源MI脑电信号属于源域的概率和属于目标域的概率的概率差小于或者等于第二预定阈值，目标域判别模型根据第二目标MI特征输出的目标MI脑电信号属于源域的概率和属于目标域的概率的概率差小于或者等于第二预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
作为一种可选的实施方案，上述装置还包括：
(1)第三输入单元，用于在目标MI脑电信号对应于第二已知动作的情况下，在调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型之前，将第一目标MI特征输入到初始分类模型，得到初始分类模型输出的第三分类结果，其中，第三分类结果用于表示目标MI脑电信号期望执行的动作；
(2)确定单元，用于确定第一已知动作与源MI脑电信号期望执行的动作不一致、第二已知动作与目标MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度低于第一预定阈值。
作为一种可选的实施方案，上述装置还包括：
(1)第一获取单元，用于在将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型之前，获取属于源域的初始源MI脑电信号和属于目标域的初始目标MI脑电信号；
(2)第一预处理单元，用于对初始源MI脑电信号进行预处理，得到源MI脑电信号；
(3)第二预处理单元，用于对初始目标MI脑电信号进行预处理，得到目标MI脑电信号。
通过本实施例，通过分别对初始源MI脑电信号和初始目标MI脑电信号进行预处理，可以优化MI脑电信号，提高MI脑电信号识别模型训练的有效性。
作为一种可选的实施方案，第一预处理单元包括：
(1)第一截取模块，用于从初始源MI脑电信号中截取出预定时间长度的信号，得到第一源MI脑电信号；
(2)第一滤波模块，用于将第一源MI脑电信号输入到带通滤波器，得到第二源MI脑电信号，其中，带通滤波器用于滤除第一源MI脑电信号中不在带通滤波器频带范围内的信号；
(3)第一标准化模块，用于对第二源MI脑电信号进行标准化处理，得到源MI脑电信号。
作为一种可选的实施方案，第二预处理单元包括：
(1)第二截取模块，用于从初始目标MI脑电信号中截取出预定时间长度的信号，得到第一目标MI脑电信号；
(2)第二滤波模块，用于将第一目标MI脑电信号输入到带通滤波器，得到第二目标MI脑电信号，其中，带通滤波器用于滤除第一目标MI脑电信号中不在带通频带范围内的信号；
(3)第二标准化模块，用于对第二目标MI脑电信号进行标准化处理，得到目标MI脑电信号。
通过本实施例，通过对初始MI脑电信号进行预处理，可以滤除噪声数据，并统一MI脑电信号的长度以及标准化MI脑电信号，提高MI脑电信号识别模型训练的有效性。
作为一种可选的实施方案，上述装置还包括：
(1)发送单元，用于在将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型之前，向采集设备发送目标指令，其中，目标指令用于指示待执行的第一已知动作；
(2)接收单元，用于接收采集设备发送的源MI脑电信号，其中，源MI脑电信号为MI脑电信号采集设备在接收到目标指令之后的特定时间内采集到的MI脑电信号。
通过本实施例，通过用于指示待执行的第一已知动作的目标指令指示采集设备采集MI脑电信号，可以得到对应于第一已知动作的源MI脑电信号，可以保证源MI脑电信号获取的准确性。
根据本发明实施例的又一个方面，还提供了一种用于实施上述运动想象脑电信号的处理方法的运动想象脑电信号的处理装置。如图11所示，该装置包括：
(1)第二获取单元1102，用于获取待识别运动想象MI脑电信号，其中，待识别MI脑电信号为对目标对象进行MI脑电信号采集得到的MI脑电信号；
(2)第四输入单元1104，用于将待识别MI脑电信号依次输入到目标特征提取模型，得到用于表示待识别MI脑电信号的待识别MI特征，并将待识别MI特征输出到目标分类模型，得到目标分类模型输出的目标分类结果，其中，目标特征提取模型提取的属于不同对象的不同MI训练信号的不同MI特征的特征分布之间的相似度大于或者等于第一相似度阈值，不同MI训练信号包括对应于第一已知动作的源MI脑电信号，目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致，目标分类结果用于表示待识别MI脑电信号期望执行的动作；
(3)控制单元1106，用于根据目标分类结果，控制与目标对象匹配的目标设备执行待识别MI脑电信号期望执行的动作。
可选地，上述运动想象脑电信号的处理装置可以但不限于应用于：意念的传输和控制的过程中，例如，与外骨骼机器人结合的BCI系统可用于偏瘫、脑卒中患者运动功能主动式康复，与电动轮椅结合的BCI系统可以帮助肢体行动不便的用户自由活动出行，与游戏结合的脑机-游戏系统可以实现人体通过意念想象控制虚拟世界中的对象(可以包括但不限于以下至少之一：人物，物品等)的活动。
可选地，第二获取单元1102可以用于执行前述步骤S2092，第四输入单元1104可以用于执行前述步骤S904，控制单元1106可以用于执行前述步骤S906。
通过本实施例，通过使用目标特征提取模型和目标分类模型对待识别MI脑电信号进行动作类型识别，而目标特征提取模型提取的不同MI脑电信号的特征分布相似，且目标分类模型可以根据目标MI特征正确识别出第一已知动作，解决了相关技术中存在由于MI脑电信号被试个体差异大，导致MI识别模型对不同对象的MI脑电信号解码准确率低的技术问题，提高了MI识别模型(包括得到的特征提取模型和分类模型)的泛化能力，以及解码的准确率。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；
S2，将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；
S3，在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面，还提供了一种用于实施上述运动想象脑电信号的处理方法的电子装置，如图12所示，该电子装置可以包括：处理器1202、存储器1204、传输装置1206等。该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，将属于源域的源MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示目标MI脑电信号的第一目标MI特征；
S2，将第一源MI特征输入到初始分类模型，得到初始分类模型输出的第一分类结果，其中，第一分类结果用于表示源MI脑电信号期望执行的动作；
S3，在源MI脑电信号对应的第一已知动作与第一分类结果所表示的源MI脑电信号期望执行的动作不一致、或者、第一源MI特征的特征分布与第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，目标特征提取模型输出的用于表示源MI脑电信号的第二源MI特征的特征分布，与目标特征提取模型输出的用于表示目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于第一预定阈值，且目标分类模型输出的第二分类结果所表示的源MI脑电信号期望执行的动作与第一已知动作一致。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置也可以是服务器，MI脑电信号采集设备等。图12其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。
其中，存储器1204可用于存储软件程序以及模块，如本发明实施例中的运动想象脑电信号的处理方法和装置对应的程序指令/模块，处理器1202通过运行存储在存储器1204内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述运动想象脑电信号的处理方法。存储器1204可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1204可进一步包括相对于处理器1202远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种运动想象脑电信号的处理方法，其特征在于，包括：
将属于源域的源运动想象MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示所述目标MI脑电信号的第一目标MI特征；
将所述第一源MI特征输入到初始分类模型，得到所述初始分类模型输出的第一分类结果，其中，所述第一分类结果用于表示所述源MI脑电信号期望执行的动作；
在所述源MI脑电信号对应的第一已知动作与所述第一分类结果所表示的所述源MI脑电信号期望执行的动作不一致、或者、所述第一源MI特征的特征分布与所述第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，所述目标特征提取模型输出的用于表示所述源MI脑电信号的第二源MI特征的特征分布，与所述目标特征提取模型输出的用于表示所述目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于所述第一预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致；
调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，得到所述目标特征提取模型和所述目标分类模型包括：
将所述第一源MI特征和所述第一目标MI特征输入到初始域判别模型，得到第一源判别结果和第一目标判断结果，其中，所述初始域判别模型用于根据所述第一源MI特征的特征分布，确定所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率，以及，根据所述第一目标MI特征的特征分布，确定所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率；
通过多轮迭代，使用所述源MI脑电信号和所述目标MI脑电信号依次调整初始MI识别模型的模型参数和所述初始域判别模型的模型参数，得到所述目标特征提取模型，所述目标分类模型和目标域判别模型，使得目标域判别模型根据所述第二源MI特征输出的所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于第二预定阈值，目标域判别模型根据所述第二目标MI特征输出的所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于所述第二预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述初始MI识别模型包括所述初始特征提取模型和所述初始分类模型，所述目标域判别模型通过使用域判别对抗学习的迁移学习方法训练得到的模型。
2.根据权利要求1所述的方法，其特征在于，在所述目标MI脑电信号对应于第二已知动作的情况下，在调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，得到所述目标特征提取模型和所述目标分类模型之前，所述方法还包括：
将所述第一目标MI特征输入到所述初始分类模型，得到所述初始分类模型输出的第三分类结果，其中，所述第三分类结果用于表示所述目标MI脑电信号期望执行的动作；
确定所述第一已知动作与所述源MI脑电信号期望执行的动作不一致，所述第二已知动作与所述目标MI脑电信号期望执行的动作不一致，或者，所述第一源MI特征的特征分布与所述第一目标MI特征的特征分布的相似度低于所述第一预定阈值。
3.根据权利要求1所述的方法，其特征在于，在将属于所述源域的所述源MI脑电信号和属于所述目标域的所述目标MI脑电信号分别输入到所述初始特征提取模型之前，所述方法还包括：
获取属于所述源域的初始源MI脑电信号和属于所述目标域的初始目标MI脑电信号；
对所述初始源MI脑电信号进行预处理，得到所述源MI脑电信号；
对所述初始目标MI脑电信号进行预处理，得到所述目标MI脑电信号。
4.根据权利要求3所述的方法，其特征在于，对所述初始源MI脑电信号进行预处理，得到所述源MI脑电信号包括：
从所述初始源MI脑电信号中截取出预定时间长度的信号，得到第一源MI脑电信号；
将所述第一源MI脑电信号输入到带通滤波器，得到第二源MI脑电信号，其中，所述带通滤波器用于滤除所述第一源MI脑电信号中不处于带通频带的信号；
对所述第二源MI脑电信号进行标准化处理，得到所述源MI脑电信号。
5.根据权利要求3所述的方法，其特征在于，对所述初始源MI脑电信号进行预处理，得到所述源MI脑电信号包括：
从所述初始目标MI脑电信号中截取出预定时间长度的信号，得到第一目标MI脑电信号；
将所述第一目标MI脑电信号输入到带通滤波器，得到第二目标MI脑电信号，其中，所述带通滤波器用于滤除所述第一目标MI脑电信号中不处于带通频带的信号；
对所述第二目标MI脑电信号进行标准化处理，得到所述目标MI脑电信号。
6.根据权利要求1至5中任一项所述的方法，其特征在于，在将属于所述源域的所述源MI脑电信号和属于所述目标域的所述目标MI脑电信号分别输入到所述初始特征提取模型之前，所述方法还包括：
向采集设备发送目标指令，其中，所述目标指令用于指示待执行的所述第一已知动作；
接收所述采集设备发送的所述源MI脑电信号，其中，所述源MI脑电信号为所述MI脑电信号采集设备在接收到所述目标指令之后的特定时间内采集到的MI脑电信号。
7.一种运动想象脑电信号的处理方法，其特征在于，包括：
获取待识别运动想象MI脑电信号，其中，所述待识别MI脑电信号为对目标对象进行MI脑电信号采集得到的MI脑电信号；
将所述待识别MI脑电信号输入到目标特征提取模型，得到用于表示所述待识别MI脑电信号的待识别MI特征，并将所述待识别MI特征输出到目标分类模型，得到所述目标分类模型输出的目标分类结果，其中，所述目标特征提取模型提取的、不同MI训练信号的不同MI特征的特征分布之间的相似度大于或者等于第一相似度阈值，所述不同MI训练信号包括对应于第一已知动作的源MI脑电信号，所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述第二分类结果为所述目标分类模型根据所述目标特征提取模型从所述源MI脑电信号输出的第二源MI特征输出的分类结果，所述目标分类结果用于表示所述待识别MI脑电信号期望执行的动作；
根据所述目标分类结果，控制与所述目标对象匹配的目标设备执行所述待识别MI脑电信号期望执行的动作；
所述方法还包括：
通过如下方式调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到所述目标特征提取模型和所述目标分类模型包括：
将第一源MI特征和第一目标MI特征输入到初始域判别模型，得到第一源判别结果和第一目标判断结果，其中，所述初始域判别模型用于根据所述第一源MI特征的特征分布，确定所述源MI脑电信号属于源域的概率和属于目标域的概率，以及，根据所述第一目标MI特征的特征分布，确定所述目标MI脑电信号属于源域的概率和属于目标域的概率；
通过多轮迭代，使用所述源MI脑电信号和所述目标MI脑电信号依次调整初始MI识别模型的模型参数和所述初始域判别模型的模型参数，得到所述目标特征提取模型，所述目标分类模型和目标域判别模型，使得目标域判别模型根据所述第二源MI特征输出的所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于第二预定阈值，目标域判别模型根据第二目标MI特征输出的所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于所述第二预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述初始MI识别模型包括所述初始特征提取模型和所述初始分类模型，所述目标域判别模型通过使用域判别对抗学习的迁移学习方法训练得到的模型。
8.一种运动想象脑电信号的处理装置，其特征在于，包括：
第一输入单元，用于将属于源域的源运动想象MI脑电信号和属于目标域的目标MI脑电信号分别输入到初始特征提取模型，得到用于表示源MI脑电信号的第一源MI特征和用于表示所述目标MI脑电信号的第一目标MI特征；
第二输入单元，用于将所述第一源MI特征输入到初始分类模型，得到所述初始分类模型输出的第一分类结果，其中，所述第一分类结果用于表示所述源MI脑电信号期望执行的动作；
调整单元，用于在所述源MI脑电信号对应的第一已知动作与所述第一分类结果所表示的所述源MI脑电信号期望执行的动作不一致、或者、所述第一源MI特征的特征分布与所述第一目标MI特征的特征分布的相似度小于第一预定阈值的情况下，调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，得到目标特征提取模型和目标分类模型，其中，所述目标特征提取模型输出的用于表示所述源MI脑电信号的第二源MI特征的特征分布，与所述目标特征提取模型输出的用于表示所述目标MI脑电信号的第二目标MI特征的特征分布的相似度大于或等于所述第一预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致；
所述调整单元包括：
第一输入模块，用于将所述第一源MI特征和所述第一目标MI特征输入到初始域判别模型，得到第一源判别结果和第一目标判断结果，其中，所述初始域判别模型用于根据所述第一源MI特征的特征分布，确定所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率，以及，根据所述第一目标MI特征的特征分布，确定所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率；
调整模块，用于通过多轮迭代，使用所述源MI脑电信号和所述目标MI脑电信号依次调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，以及所述初始域判别模型的模型参数，得到所述目标特征提取模型，所述目标分类模型和目标域判别模型，使得目标域判别模型根据所述第二源MI特征输出的所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于第二预定阈值，目标域判别模型根据所述第二目标MI特征输出的所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于所述第二预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述目标域判别模型通过使用域判别对抗学习的迁移学习方法训练得到的模型。
9.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三输入单元，用于在所述目标MI脑电信号对应于第二已知动作的情况下，在调整所述初始特征提取模型的模型参数和/或所述初始分类模型的模型参数，得到所述目标特征提取模型和所述目标分类模型之前，将所述第一目标MI特征输入到所述初始分类模型，得到所述初始分类模型输出的第三分类结果，其中，所述第三分类结果用于表示所述目标MI脑电信号期望执行的动作；
确定单元，用于确定所述第一已知动作与所述源MI脑电信号期望执行的动作不一致、所述第二已知动作与所述目标MI脑电信号期望执行的动作不一致、或者、所述第一源MI特征的特征分布与所述第一目标MI特征的特征分布的相似度低于所述第一预定阈值。
10.根据权利要求8至9中任一项所述的装置，其特征在于，所述装置还包括：
第一获取单元，用于在将属于所述源域的所述源MI脑电信号和属于所述目标域的所述目标MI脑电信号分别输入到所述初始特征提取模型之前，获取属于所述源域的初始源MI脑电信号和属于所述目标域的初始目标MI脑电信号；
第一预处理单元，用于对所述初始源MI脑电信号进行预处理，得到所述源MI脑电信号；
第二预处理单元，用于对所述初始目标MI脑电信号进行预处理，得到所述目标MI脑电信号。
11.一种运动想象脑电信号的处理装置，其特征在于，包括：
第二获取单元，用于获取待识别运动想象MI脑电信号，其中，所述待识别MI脑电信号为对目标对象进行MI脑电信号采集得到的MI脑电信号；
第四输入单元，用于将所述待识别MI脑电信号依次输入到目标特征提取模型，得到用于表示所述待识别MI脑电信号的待识别MI特征，并将所述待识别MI特征输出到目标分类模型，得到所述目标分类模型输出的目标分类结果，其中，所述目标特征提取模型提取的属于不同对象的不同MI训练信号的不同MI特征的特征分布之间的相似度大于或者等于第一相似度阈值，所述不同MI训练信号包括对应于第一已知动作的源MI脑电信号，所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述目标分类结果用于表示所述待识别MI脑电信号期望执行的动作；
控制单元，用于根据所述目标分类结果，控制与所述目标对象匹配的目标设备执行所述待识别MI脑电信号期望执行的动作；
所述装置还用于：
通过如下方式调整初始特征提取模型的模型参数和/或初始分类模型的模型参数，得到所述目标特征提取模型和所述目标分类模型包括：
将第一源MI特征和第一目标MI特征输入到初始域判别模型，得到第一源判别结果和第一目标判断结果，其中，所述初始域判别模型用于根据所述第一源MI特征的特征分布，确定所述源MI脑电信号属于源域的概率和属于目标域的概率，以及，根据所述第一目标MI特征的特征分布，确定所述目标MI脑电信号属于源域的概率和属于目标域的概率；
通过多轮迭代，使用所述源MI脑电信号和所述目标MI脑电信号依次调整初始MI识别模型的模型参数和所述初始域判别模型的模型参数，得到所述目标特征提取模型，所述目标分类模型和目标域判别模型，使得目标域判别模型根据第二源MI特征输出的所述源MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于第二预定阈值，目标域判别模型根据第二目标MI特征输出的所述目标MI脑电信号属于所述源域的概率和属于所述目标域的概率的概率差小于或者等于所述第二预定阈值，且所述目标分类模型输出的第二分类结果所表示的所述源MI脑电信号期望执行的动作与所述第一已知动作一致，所述初始MI识别模型包括所述初始特征提取模型和所述初始分类模型，所述目标域判别模型通过使用域判别对抗学习的迁移学习方法训练得到的模型。
12.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。
CN201910843985.7A 2019-09-06 2019-09-06 运动想象脑电信号的处理方法和装置及存储介质 Active CN110531861B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910843985.7A CN110531861B (zh) 2019-09-06 2019-09-06 运动想象脑电信号的处理方法和装置及存储介质
EP20860375.3A EP3933551A4 (en) 2019-09-06 2020-09-01 METHOD, DEVICE AND STORAGE MEDIUM FOR PROCESSING MOTOR IMAGERY ELECTROENCEPHALOGRAM SIGNALS
PCT/CN2020/112766 WO2021043118A1 (zh) 2019-09-06 2020-09-01 运动想象脑电信号的处理方法和装置及存储介质
US17/516,427 US20220054071A1 (en) 2019-09-06 2021-11-01 Motor imagery electroencephalogram signal processing method, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910843985.7A CN110531861B (zh) 2019-09-06 2019-09-06 运动想象脑电信号的处理方法和装置及存储介质

Publications (2)

Publication Number Publication Date
CN110531861A CN110531861A (zh) 2019-12-03
CN110531861B true CN110531861B (zh) 2021-11-19

Family

ID=68667652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910843985.7A Active CN110531861B (zh) 2019-09-06 2019-09-06 运动想象脑电信号的处理方法和装置及存储介质

Country Status (4)

Country Link
US (1) US20220054071A1 (zh)
EP (1) EP3933551A4 (zh)
CN (1) CN110531861B (zh)
WO (1) WO2021043118A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110531861B (zh) * 2019-09-06 2021-11-19 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN111134666B (zh) * 2020-01-09 2021-05-11 中国科学院软件研究所 一种多通道脑电数据的情绪识别方法及电子装置
CN111278085B (zh) * 2020-02-24 2023-08-29 北京百度网讯科技有限公司 用于获取目标网络的方法及装置
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111488927B (zh) * 2020-04-08 2023-07-21 中国医学科学院肿瘤医院 分类阈值确定方法、装置、电子设备及存储介质
CN111728609B (zh) * 2020-08-26 2020-11-17 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112244878B (zh) * 2020-08-31 2023-08-04 北京工业大学 用并联型多模块cnn和lstm识别关键频带图像序列的方法
CN112270208B (zh) * 2020-09-28 2023-07-07 天津大学 一种基于特征子空间分离的交叉数据域微表情分类方法
CN112426161B (zh) * 2020-11-17 2021-09-07 浙江大学 一种基于领域自适应的时变脑电特征提取方法
CN112617863B (zh) * 2020-12-30 2023-01-24 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种面向左右脚运动意图侧向性识别的混合在线脑机接口方法
CN112773382A (zh) * 2021-01-20 2021-05-11 钛虎机器人科技(上海)有限公司 具备用户自适应能力的肌电传感方法及系统
CN113693613B (zh) * 2021-02-26 2024-05-24 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备及存储介质
CN112597986B (zh) * 2021-03-05 2021-06-08 腾讯科技（深圳）有限公司 生理电信号分类处理方法、装置、计算机设备和存储介质
CN113157096B (zh) * 2021-04-26 2023-04-18 杭州电子科技大学 基于深度子域关联适应网络的脑电情感迁移方法
CN113269058A (zh) * 2021-05-08 2021-08-17 西安邮电大学 一种基于gan模型和plv网络的运动想象识别方法
CN113505632A (zh) * 2021-05-12 2021-10-15 杭州回车电子科技有限公司 模型训练方法、装置、电子装置和存储介质
CN113576493A (zh) * 2021-08-23 2021-11-02 安徽七度生命科学集团有限公司 一种用于健康理疗舱的用户状态识别方法
CN113925509B (zh) * 2021-09-09 2024-01-23 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置
CN113977557B (zh) * 2021-11-18 2023-03-21 杭州电子科技大学 一种基于运动想象时频空特征的外骨骼机器人控制方法
CN114190953A (zh) * 2021-12-09 2022-03-18 四川新源生物电子科技有限公司 针对脑电采集设备的脑电信号降噪模型的训练方法和系统
CN114533083B (zh) * 2022-01-24 2023-12-01 江苏省人民医院（南京医科大学第一附属医院） 基于多融合式卷积神经网络的运动想象状态识别方法
CN114781441B (zh) * 2022-04-06 2024-01-26 电子科技大学 Eeg运动想象分类方法及多空间卷积神经网络模型
CN114861738B (zh) * 2022-07-05 2022-10-04 武汉理工大学 一种基于脑电溯源和偶极子选择的运动想象分类方法
CN115562488A (zh) * 2022-10-08 2023-01-03 上海前瞻创新研究院有限公司 运动想象脑机接口通信方法、装置、系统、介质及设备
CN116070120B (zh) * 2023-04-06 2023-06-27 湖南归途信息科技有限公司 一种多标签时序电生理信号的自动识别方法及系统
CN117297583A (zh) * 2023-11-29 2023-12-29 首都医科大学附属北京天坛医院 多模本体感知觉障碍评估系统和下肢运动模型构建系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104523268B (zh) * 2015-01-15 2017-02-22 江南大学 一种具备迁移学习能力的脑电信号识别模糊系统方法
CN105468143A (zh) * 2015-11-17 2016-04-06 天津大学 一种基于运动想象脑-机接口的反馈系统
CN106108893B (zh) * 2016-06-20 2019-03-01 杭州电子科技大学 基于眼电、脑电的运动想象训练人机交互系统设计方法
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN106933353A (zh) * 2017-02-15 2017-07-07 南昌大学 一种基于运动想象和编码调制视觉诱发电位的二维光标运动控制系统及方法
US20190209038A1 (en) * 2018-01-09 2019-07-11 Holland Bloorview Kids Rehabilitation Hospital In-ear eeg device and brain-computer interfaces
CN108260012B (zh) * 2018-03-14 2020-12-04 Oppo广东移动通信有限公司 电子装置、视频播放控制方法及相关产品
CN109583346A (zh) * 2018-11-21 2019-04-05 齐鲁工业大学 基于lstm-fc的脑电信号特征提取与分类识别方法
CN110147878B (zh) * 2018-11-28 2023-01-31 腾讯科技（深圳）有限公司 数据处理方法、装置及设备
CN109620223A (zh) * 2018-12-07 2019-04-16 北京工业大学 一种脑卒中康复系统脑机接口关键技术方法
CN109784211A (zh) * 2018-12-26 2019-05-21 西安交通大学 一种基于深度学习的运动想象脑电信号分类方法
CN109992113B (zh) * 2019-04-09 2020-05-15 燕山大学 一种基于多场景诱发的mi-bci系统及其控制方法
CN110531861B (zh) * 2019-09-06 2021-11-19 腾讯科技（深圳）有限公司 运动想象脑电信号的处理方法和装置及存储介质

Also Published As

Publication number Publication date
CN110531861A (zh) 2019-12-03
EP3933551A1 (en) 2022-01-05
US20220054071A1 (en) 2022-02-24
EP3933551A4 (en) 2022-11-09
WO2021043118A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN110531861B (zh) 运动想象脑电信号的处理方法和装置及存储介质
Zhao et al. Deep representation-based domain adaptation for nonstationary EEG classification
US11564612B2 (en) Automatic recognition and classification method for electrocardiogram heartbeat based on artificial intelligence
CN107822622B (zh) 基于深度卷积神经网络的心电图诊断方法和系统
Hong et al. Dynamic joint domain adaptation network for motor imagery classification
Ko et al. Multi-scale neural network for EEG representation learning in BCI
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
Zhang et al. A graph-based hierarchical attention model for movement intention detection from EEG signals
CN111317468B (zh) 脑电信号分类方法、装置、计算机设备和存储介质
CN108776788A (zh) 一种基于脑电波的识别方法
Bentlemsan et al. Random forest and filter bank common spatial patterns for EEG-based motor imagery classification
CN110288018A (zh) 一种融合深度学习模型的WiFi身份识别方法
CN114973330B (zh) 一种跨场景鲁棒的人员疲劳状态无线检测方法及相关设备
CN110558975A (zh) 一种基于lrf-elm和blstm的心电信号分类方法及系统
Zhang et al. Fuzzy integral optimization with deep q-network for eeg-based intention recognition
CN108810551B (zh) 一种视频帧预测方法、终端及计算机存储介质
CN113128585B (zh) 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法
CN110929242A (zh) 基于无线信号进行姿态无关的连续用户认证方法及系统
CN117520891A (zh) 一种运动想象脑电信号分类方法及系统
Zoumpourlis et al. Covmix: Covariance mixing regularization for motor imagery decoding
Hossain et al. Informative instance transfer learning with subject specific frequency responses for motor imagery brain computer interface
CN110974221A (zh) 一种基于混合函数相关向量机的混合脑机接口系统
CN114548262B (zh) 一种情感计算中多模态生理信号的特征级融合方法
Bhalerao et al. Automatic detection of motor imagery EEG signals using swarm decomposition for robust BCI systems
CN116028874A (zh) 一种轻量化的运动想象脑电信号分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant