CN111728609A - 脑电信号的分类方法、分类模型的训练方法、装置及介质 - Google Patents

脑电信号的分类方法、分类模型的训练方法、装置及介质 Download PDF

Info

Publication number
CN111728609A
CN111728609A CN202010867943.XA CN202010867943A CN111728609A CN 111728609 A CN111728609 A CN 111728609A CN 202010867943 A CN202010867943 A CN 202010867943A CN 111728609 A CN111728609 A CN 111728609A
Authority
CN
China
Prior art keywords
signal
electroencephalogram
distribution
feature
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010867943.XA
Other languages
English (en)
Other versions
CN111728609B (zh
Inventor
柳露艳
洪晓林
马锴
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010867943.XA priority Critical patent/CN111728609B/zh
Publication of CN111728609A publication Critical patent/CN111728609A/zh
Application granted granted Critical
Publication of CN111728609B publication Critical patent/CN111728609B/zh
Priority to PCT/CN2021/106614 priority patent/WO2022042122A1/zh
Priority to EP21859962.9A priority patent/EP4101371A4/en
Priority to US17/969,177 priority patent/US20230054751A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0006Exoskeletons, i.e. resembling a human figure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/04Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs motor-driven
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • A61G5/1051Arrangements for steering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/67Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/006Controls for manipulators by means of a wireless system for controlling one or several manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G2203/00General characteristics of devices
    • A61G2203/10General characteristics of devices characterised by specific control means, e.g. for adjustment or steering
    • A61G2203/18General characteristics of devices characterised by specific control means, e.g. for adjustment or steering by patient's head, eyes, facial muscles or voice
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G5/00Chairs or personal conveyances specially adapted for patients or disabled persons, e.g. wheelchairs
    • A61G5/10Parts, details or accessories
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H2003/005Appliances for aiding patients or disabled persons to walk about with knee, leg or stump rests
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H2003/007Appliances for aiding patients or disabled persons to walk about secured to the patient, e.g. with belts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5041Interfaces to the user control is restricted to certain individuals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Robotics (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Computer Networks & Wireless Communication (AREA)

Abstract

本申请公开了一种脑电信号的分类方法、分类模型的训练方法、装置及介质,涉及迁移学习领域。该方法包括:获取脑电信号;对脑电信号进行特征提取,得到脑电信号对应的信号特征;获取差异分布比例,差异分布比例用于表征不同类型的差异分布对信号特征和源域特征在特征域上的分布产生的影响,源域特征是源域脑电信号对应的特征;根据差异分布比例将信号特征与源域特征进行对齐,得到对齐后的信号特征;对对齐后的信号特征进行分类,得到脑电信号对应的运动想象类型。该方法可应用于医疗领域,通过差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,使得脑电信号分类模型基于迁移学习的思想识别多种类型的脑电信号。

Description

脑电信号的分类方法、分类模型的训练方法、装置及介质
技术领域
本申请涉及迁移学习领域,特别涉及一种脑电信号的分类方法、分类模型的训练方法、装置及介质。
背景技术
脑电信号是大脑活动时各个神经元产生的电信号,通过脑电信号可识别出脑电信号对应的运动想象类型,即识别出大脑通过“意念”实现的肢体运动。
脑电信号可应用于医疗领域,如应用于结合医疗技术,使用“云计算”来创建的医疗健康服务云平台,医护人员通过脑电信号检查患者的病灶区域。通常利用脑机接口(Brain Computer Interface,BCI)将脑电信号的采集设备与计算机设备(外部设备)进行连接,通过外部设备(如计算机设备)识别脑机接口输出的脑电信号代表的运动想象类型,以实现大脑对物体的直接控制。由于不同的个体的脑电信号存在较大差异,需要针对每个个体的脑电信号单独训练一个脑电信号分类模型,从而保证相关模型能够正确识别出脑电信号代表的运动想象类型。
上述技术方案中,脑电信号分类模型只能针对模型训练时使用的脑电信号进行识别,使得脑电信号分类模型的使用场景较为局限,不具有普适性。
发明内容
本申请实施例提供了一种脑电信号的分类方法、分类模型的训练方法、装置及介质,通过根据差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,从而保证脑电信号的信号特征在特征分布上趋近于源域特征,使得脑电信号分类模型能够准确识别多种类型的脑电信号。所述技术方案为如下方案。
根据本申请的一方面,提供了一种脑电信号的分类方法,所述方法包括:
获取脑电信号;
对所述脑电信号进行特征提取,得到所述脑电信号对应的信号特征;
获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述信号特征和源域特征在特征域上的分布产生的影响,所述源域特征是源域脑电信号对应的特征;
根据所述差异分布比例将所述信号特征与所述源域特征进行对齐,得到对齐后的信号特征;
对所述对齐后的信号特征进行分类,得到所述脑电信号对应的运动想象类型。
根据本申请的另一方面,提供了一种脑电信号分类模型的训练方法,所述方法包括:
获取源域脑电信号和目标域脑电信号;
对所述源域脑电信号和所述目标域脑电信号进行特征提取,得到所述源域脑电信号对应的源域特征和所述目标域脑电信号对应的目标域特征;
获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述源域特征和所述目标域特征在特征域上的分布产生的影响;
根据所述差异分布比例将所述源域特征和所述目标域特征在所述特征域上对齐,得到对齐后的目标域特征;
对所述对齐后的目标域特征进行分类,根据分类结果对所述脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
根据本申请的另一方面,提供了一种脑电信号的分类装置,所述装置包括:
第一获取模块,用于获取脑电信号;
第一特征提取模块,用于对所述脑电信号进行特征提取,得到所述脑电信号对应的信号特征;
所述第一获取模块,用于获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述信号特征和源域特征在特征域上的分布产生的影响,所述源域特征是源域脑电信号对应的特征;
第一处理模块,用于根据所述差异分布比例将所述信号特征与所述源域特征进行对齐,得到对齐后的信号特征;
分类模块,用于对所述对齐后的信号特征进行分类,得到所述脑电信号对应的运动想象类型。
根据本申请的另一方面,提供了一种脑电信号分类模型的训练装置,所述装置包括:
第二获取模块,用于获取源域脑电信号和目标域脑电信号;
第二特征提取模块,用于对所述源域脑电信号和所述目标域脑电信号进行特征提取,得到所述源域脑电信号对应的源域特征和所述目标域脑电信号对应的目标域特征;
所述第二获取模块,用于获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述源域特征和所述目标域特征在特征域上的分布产生的影响;
第二处理模块,用于根据所述差异分布比例将所述源域特征和所述目标域特征在所述特征域上对齐,得到对齐后的目标域特征;
训练模块,用于对所述对齐后的目标域特征进行分类,根据分类结果对所述脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
根据本申请的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述方面所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述方面所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
根据本申请的另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行如上方面所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
本申请实施例提供的技术方案带来的有益效果至少包括如下效果。
通过根据差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,使得脑电信号的信号特征与源域特征对齐,从而保证脑电信号的信号特征在特征分布上趋近于源域特征,基于源域特征训练的脑电信号分类模型能够将分类方法迁移至脑电信号对应的信号特征上,提高了脑电信号分类模型识别脑电信号对应的运动想象类型的准确率,使得脑电信号分类模型能够识别多种类型的脑电信号,具有普适性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的计算机系统的框架图;
图2是本申请一个示例性实施例提供的脑电信号的分类方法的流程图;
图3是本申请一个示例性实施例提供的脑电信号分类模型的结构示意图;
图4是本申请另一个示例性实施例提供的脑电信号的分类方法的流程图;
图5是本申请另一个示例性实施例提供的脑电信号分类模型的结构示意图;
图6是本申请一个示例性实施例提供的脑电信号分类模型的训练方法的流程图;
图7是本申请一个示例性实施例提供的脑电信号模型的训练方法的框架图;
图8是本申请另一个示例性实施例提供的脑电信号分类模型的结构示意图;
图9是本申请一个示例性实施例提供的脑电信号的分类装置的结构框图;
图10是本申请一个示例性实施例提供的脑电信号分类模型的训练装置的结构框图;
图11是本申请一个示例性实施例提供的服务器的装置结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例涉及的名词进行介绍。
脑电信号(Electroencephalogram,EEG):是指大脑活动时各个神经元产生的电信号,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。通过侵入式或非侵入式脑机接口设备采集脑部的生物电压得到脑电信号,将脑电信号绘制成的曲线图为脑电图。通过分析脑电信号,检测识别不同脑部区域的激活效果来判断用户意图,进而实现人脑与外部设备之间的通信与控制。本申请实施例以通过非侵入式脑机接口设备采集脑部的生物电压为例进行说明。
运动想象(Motor Imagery,MI):是指人凭借大脑想象肢体进行正常运动的思维过程,通过对运动过程反复进行想象、预演,实现通过“意念控制”肢体运动,是一种自发性脑电信号。常见的运动想象部位为:左手、右手、双脚和舌头。
脑机接口(Brain Computer Interface,BCI):是指人或动物的脑部与外部设备交换信息时建立的连接通路。比如,电动轮椅结合的BCI系统,通过采集用户的脑电信号来控制电动轮椅的移动方向,帮助肢体不便的用户自由活动。
域自适应学习(Domain Adaptation Learning,DAL):是指一种能够解决训练样本和测试样本概率分布不一致的机器学习理论。在传统的机器学习算法中,通常假设训练样本(源域)和测试样本(目标域)来自同一概率分布,构建相应的模型和判别准则对待测试的样本进行预测,在一些场景下,测试样本与训练样本不满足概率分布相同这一条件,通过域自适应学习可解决源域和目标域概率分布不一致的情况。在域自适应学习中,源域(SourceDomain)是指模型已有的知识或已学习到的知识;目标域(Target Domain)是指模型待学习的知识。人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
医疗云(Medical Cloud),是指在云计算、移动技术、多媒体、4G通信、大数据、以及物联网等新技术基础上,结合医疗技术,使用“云计算”来创建医疗健康服务云平台,实现了医疗资源的共享和医疗范围的扩大。因为云计算技术的运用于结合,医疗云提高医疗机构的效率,方便居民就医。像现在医院的预约挂号、电子病历、医保等都是云计算与医疗领域结合的产物,医疗云还具有数据安全、信息共享、动态扩展、布局全局的优势。本申请实施例中提供的脑电信号的分类方法可与上述医疗健康服务云平台结合,医护人员将多种患者的脑电信号以及脑电信号对应的运动想象类型上传至该云平台,供其他医护人员在诊疗时参考。
云游戏(Cloud Gaming)又可称为游戏点播(Gaming on Demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(Thin Client)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。本申请实施例提供的脑电信号的分类方法可与云游戏结合,通过识别脑电信号对应的运动想象类型,控制云游戏中的游戏角色进行活动。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、脑电信号识别技术、自然语言处理技术以及机器学习(迁移学习)等几大方向。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、电动轮椅、复健机器人、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、虚拟现实应用(Virtual Reality,VR)、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的脑电信号的分类方法可以应用于如下场景。
一、智能医疗。
在该应用场景下,采用本申请实施例提供的脑电信号的分类方法可应用于一些医疗器械或复健机器人的BCI系统。比如,将患有偏瘫、脑卒中的患者的脑电信号输入至外骨骼机器人的BCI系统中,外骨骼机器人的BCI系统根据本申请实施例提供的脑电信号的分类方法对患者的脑电信号进行识别,确定脑电信号所属的运动想象类型,从而驱动外骨骼机器人帮助患者进行主动式的复健活动。又如,将行动不便的用户的脑电信号输入至电动轮椅的BCI系统中,电动轮椅的BCI系统根据本申请实施例提供的脑电信号的分类方法对行动不便的用户的脑电信号进行识别,确定脑电信号所属的运动想象类型,从而根据运动想象类型控制电动轮椅移动,帮助行动不便的用户自由出行。
二、游戏应用中控制虚拟角色。
在该应用场景下,采用本申请实施例提供的脑电信号的分类方法可应用于游戏应用层序的后台服务器中。后台服务器中构建有动态域自适应模型,通过获取用户的脑电信号,判断用户的脑电信号所属的运动想象类型,从而根据运动想象类型驱动游戏中的虚拟角色在虚拟环境中进行各类活动。比如,虚拟现实应用中,用户通过佩戴具有脑电信号采集功能的头戴设备,使得用户能够通过“意念”控制应用中的虚拟角色。
上述仅以两种应用场景为例进行说明,本申请实施例提供的方法还可以应用于其他需要通过脑电信号控制物体的场景(比如,通过脑电信号分析患者病因的场景等等),本申请实施例并不对具体应用场景进行限定。
本申请实施例提供的脑电信号的分类方法和脑电信号分类模型的训练方法可以应用于具有较强的数据处理能力的计算机设备中。在一种可能的实施方式中,本申请实施例提供的脑电信号的分类方法和脑电信号分类模型的训练方法可以应用于个人计算机、工作站或服务器中,即可以通过个人计算机、工作站或服务器实现对脑电信号进行分类和训练脑电信号分类模型。
而对于训练后的脑电信号分类模型,其可以实现成为应用程序的一部分,并被安装在终端中,使终端在接收到脑电信号时,识别脑电信号对应的运动想象类型;或者,该训练后的脑电信号分类模型设置在应用程序的后台服务器中,以便安装有应用程序的终端借助后台服务器实现识别脑电信号对应的运动想象类型的功能。
图1示出了本申请一个示例性实施例提供的计算机系统的示意图。该计算机系统100包括终端110和服务器120,其中,终端110与服务器120之间通过通信网络进行数据通信,可选地,通信网络可以是有线网络也可以是无线网络,且该通信网络可以是局域网、城域网以及广域网中的至少一种。
终端110中安装有支持脑电信号识别功能的应用程序,该应用程序可以是虚拟现实应用程序(Virtual Reality,VR)、增强现实应用程序(Augmented Reality,AR)、游戏应用程序等,本申请实施例对此不作限定。
可选的,终端110可以是智能手机、智能手表、平板电脑、膝上便携式笔记本电脑、智能机器人等移动终端,也可以是台式电脑、投影式电脑等终端,本申请实施例对终端的类型不做限定。
服务器120可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。在一种可能的实施方式中,服务器120是终端110中应用程序的后台服务器。
如图1所示,在本实施例中,终端110中运行有游戏应用程序,用户通过脑电信号11控制游戏应用程序中的虚拟角色111。示意性的,用户佩戴有采集脑电信号的信号采集设备,如脑电信号采集头盔。示意性的,信号采集设备与终端110连接,当信号采集设备采集到用户的脑电信号11时,终端记录用户的脑电信号11,并将用户的脑电信号11发送至服务器120中,服务器120中构建有脑电信号分类模型10,该脑电信号分类模型10是经过训练的机器学习模型。
脑电信号分类模型10在接收到用户的脑电信号11时,提取脑电信号的信号特征12,结合脑电信号分类模型10在训练时使用的源域脑电信号的源域特征13,将信号特征12与源域特征13进行对齐,使得信号特征12与源域特征13在特征域上接近,得到对齐后的信号特征14,从而使得脑电信号分类模型10根据域自适应学习方法进行迁移,使得脑电信号分类模型10适用于识别脑电信号11。将对齐后的信号特征14输入至脑电信号分类模型10的分类器15中,输出脑电信号11对应的运动想象类型16。示意性的,运动想象类型16包括向前移动、向后移动、趴下、蹲下、射击、投掷和驾驶虚拟载具中的至少一种。
服务器120根据运动想象类型生成控制指令,并将控制指令发送至终端110,终端110根据控制指令控制虚拟角色111进行与运动想象类型对应的活动。
在一个示例中,用户佩戴有脑电信号采集头盔,用户想象控制虚拟角色111向前奔跑,脑电信号采集头盔将采集到的脑电信号11发送至终端110中,终端110将脑电信号11发送至服务器120中,脑电信号分类模型10识别脑电信号11的运动想象类型为向前奔跑,服务器120根据向前奔跑的运动想象类型生成向前奔跑的控制指令,并将该控制指令发送至终端110,终端110上显示有虚拟角色111向前奔跑的画面,从而实现用户通过脑电信号11控制虚拟角色111。
在一些实施例中,信号采集设备与服务器120相连,将采集到的脑电信号11直接输入至服务器120中。在一些实施例中,脑电信号分类模型构建在终端110中,由终端110接收采集到的脑电信号11以及对脑电信号11进行识别。
可以理解的是,上述实施例仅以终端中的游戏应用程序为例,在实际使用过程中,上述脑电信号分类模型还可以构建在具有复健功能的机器人的驱动系统中,以及构建在电动轮椅的驱动系统中,针对不同的应用场景,脑电信号对应的运动想象类型不同,本申请实施例对此不加以限定。
为了方便表述,下述各个实施例以脑电信号的分类方法和脑电信号分类模型的训练方法由服务器执行为例进行说明。
图2示出了本申请一个示例性实施例提供的脑电信号的分类方法的流程图。本实施例以该方法用于如图1所示的计算机系统100中的服务器120为例进行说明,该方法包括如下步骤。
步骤201,获取脑电信号。
脑电信号是指大脑活动时各个神经元产生的电信号,是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。脑电信号可通专业的信号采集设备获得。
按照采集设备进行分类,脑电信号的获取方式包括植入式(Invasive)和非植入式(Non-invasive),植入式需要通过手术将微电极植入人体的神经皮层来收集单个神经元或局部神经皮层的电位信息;而非植入式是一种无创的神经活动信息获取方式,通过在大脑上贴附检测电极来采集脑电信号,示意性的,受试者(即被采集脑电信号的人)通过佩戴采集设备采集脑电信号,比如,脑电信号采集头盔,或者,在受试者的头部贴附电极。
根据不同的脑电信号采集方式,生成不同类型的脑电信号图,比如,脑电图(Electroencephalography,EEG)、功能磁共振成像(Function Magnetic ResonanceImaging,FMRI)、近红外光谱(Near Infra-Red Spectroscopy,NIRS)和脑磁图(MagnetoEncephalography,EMG)等。
在一些实施例中,脑电信号采集设备与服务器之间存在通讯连接,脑电信号采集设备将采集到的脑电信号发送至服务器中;在另一些实施例中,脑电信号采集设备与用户使用的终端存在通讯连接,终端与服务器存在通讯连接,终端记录并存储采集到的脑电信号,由终端将脑电信号发送至服务器中;在另一些实施例中,脑电信号采集设备与用户使用的终端存在通讯连接,终端记录并存储采集到的脑电信号,终端对脑电信号进行识别。本申请实施例对此不加以限定。
步骤202,对脑电信号进行特征提取,得到脑电信号对应的信号特征。
如图3所示,在服务器120中构建有脑电信号分类模型,其中,脑电信号分类模型包括特征提取模型21,通过特征提取模型21提取脑电信号11对应的信号特征12。在一些实施例中,在脑电信号11输入至特征提取模型前,还需要对脑电信号进行预处理,去除脑电信号中的伪迹和干扰,降低噪声对脑电信号的影响。
通过特征提取模型21将输入的脑电信号11中不易被观察和检测的特征提取出来,使得脑电信号分类模型能够对信号特征12进行准确分类。脑电信号的信号特征12包括:时域特征和空间域特征。时域特征是指脑电信号在时间上的变化,空间域特征是指不同脑部区域中脑电信号的变化。在一些实施例中,脑电信号特征12还包括频域特征。频域特征是指脑电信号在频率上的变化。本申请实施例以脑电信号的信号特征包括时域特征和空间域特征进行说明。
步骤203,获取差异分布比例,差异分布比例用于表征不同类型的差异分布对信号特征和源域特征在特征域上的分布产生的影响,源域特征是源域脑电信号对应的特征。
源域特征是源域脑电信号对应的信号特征,源域脑电信号是脑电信号分类模型在训练的过程中使用的样本脑电信号,在本实施例中,脑电信号是脑电信号分类模型在测试过程中(使用过程中)使用的测试脑电信号。
由于不同的受试者之间存在较大的差异,不同受试者的脑电信号在同一时域和空间域上的分布不同,同一受试者在不同状态或情绪下,在同一时域或空间域上分布不同,即不同的脑电信号在特征域上会产生分布差异。比如,受试者1和受试者2的身体状态和情绪状态等方面接近,受试者1在第4秒至第6秒的时间内脑电信号产生峰值,受试者2在第6秒至第8秒的时间内脑电信号产生峰值;又比如,受试者1是年轻人,脑电信号始终处于活跃状态,受试者2是老年人,脑电信号始终处于非活跃状态。
差异分布比例用于表征不同类型的差异分布对信号特征和源域特征在特征域上的分布产生的影响。本申请实施例以差异分布类型包括条件分布差异和边缘分布差异为例进行说明。差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。比如,脑电信号1为源域脑电信号,脑电信号2为输入脑电信号分类模型的测试脑电信号,若脑电信号1和脑电信号2较为接近,则脑电信号1和脑电信号2在特征域上形成条件分布差异;若脑电信号1和脑电信号2相差较大,则脑电信号1和脑电信号2在特征域上形成边缘分布差异。
步骤204,根据差异分布比例将信号特征与源域特征进行对齐,得到对齐后的信号特征。
对齐是指令两种存在差异的脑电信号在特征域上的分布趋于相同。脑电信号分类模型训练时使用的脑电信号为源域脑电信号,脑电信号分类模型能够识别与源域脑电信号相同的脑电信号,而脑电信号分类模型在测试时使用的测试脑电信号与源域信号存在差异,将测试脑电信号输入至脑电信号分类模型中,可能会产生脑电信号分类模型对测试脑电信号进行误分类的情况。当信号特征和源域特征在特征域上对齐时,信号特征在特征域上的分布趋近于源域特征在特征域上的分布,从而使得脑电信号分类模型对测试脑电信号进行正确分类。
如图3所示,脑电信号分类模型包括条件判别器22和边缘判别器23,条件判别器22用于根据条件分布差异对应的第二分布比例将脑电信号的信号特征12和源域特征在特征域上对齐,边缘判别器23用于根据边缘分布差异对应的第一分布比例将脑电信号的信号特征12和源域特征在特征域上对齐。条件判别器22和边缘判别器23根据各自的分布比例同时将信号特征12和源域特征在特征域上对齐。
步骤205,对对齐后的信号特征进行分类,得到脑电信号对应的运动想象类型。
由于脑电信号的信号特征与源域特征在特征域上的分布相近,脑电信号分类模型利用迁移学习的方式将对源域特征的分类方法迁移至信号特征,使得脑电信号分类模型能够对脑电信号进行准确分类。
如图3所示,脑电信号分类模型包括分类器15,分类器15用于对脑电信号的信号特征12进行分类,结合条件判别器22和边缘判别器23综合输出运动想象类型的预测概率18。运动想象是指人凭借大脑想象肢体进行正常运动的思维过程,即想象自己的肢体正在运动,但肢体实际上并未运动。根据不同的应用场景,常见的运动想象类型包括双手运动、双脚运动和舌头运动(吞咽运动)中的至少一种。
综上所述,本实施例提供的方法,通过根据差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,使得脑电信号的信号特征与源域特征对齐,从而保证脑电信号的信号特征在特征分布上趋近于源域特征,基于源域特征训练的脑电信号分类模型能够将分类方法迁移至脑电信号对应的信号特征上,提高了脑电信号分类模型识别脑电信号对应的运动想象类型的准确率,使得脑电信号分类模型能够识别多种类型的脑电信号,具有普适性。
图4示出了本申请另一个示例性实施例提供的脑电信号的分类方法的流程图。本实施例以该方法用于如图1所示的计算机系统100中的服务器120为例进行说明,该方法包括如下步骤。
步骤401,获取脑电信号。
示意性的,在受试者的头部贴附22个脑电电极和3个眼电电极(用于记录眼部活动的电极),信号采样率为250赫兹(Hz),采集包括四类运动想象类型的脑电信号(左手、右手、双脚和舌头)。
对采集到的脑电信号进行预处理,从脑电信号中截取运动想象对应的时间区间的脑电信号,示意性的,本申请实施例以截取第2秒至第6秒之间的脑电信号为例进行说明。需要说明的是,前2秒的时间是采集数据的准备阶段,此时采集设备可能会采集到一些干扰脑电信号的噪声信号,或者非脑电信号,因此,从第2秒至第6秒后进行截取。
然后从截取后的脑电信号中去除3个眼电通道,保留22个脑电通道。使用带通滤波为三阶的巴特沃斯滤波器对22个脑电通道中的脑电信号进行滤波处理,(带通范围是0至38Hz),再次去除一些脑电信号中的生物伪迹和噪声(如眼球伪迹、肌肉伪迹、心脏伪迹等)。对滤波后的脑电信号进行标准化处理,示意性的,选用指数加权移动平均法,权重参数设置为0.999,或者,选用均值方差标准化操作和共空间模式算法(Common Spatial Patterns,CSP)。
步骤402,对脑电信号进行特征提取,得到脑电信号对应的信号特征。
如图5所示,脑电信号分类模型包括特征提取模型21,特征提取模型21包括时间卷积层211(Temporal Convolution)、空间卷积层212(Spatial Convolution)、批量归一化层213(Batch Normalization,BN)、平方激活层214(Square)、平均池化层215(AveragePooling)和丢弃层216(Dropout)。由步骤401采集到的脑电信号是维度为1000维(250×4),每个脑电信号的尺寸为1000×22。
调用时间卷积层211对脑电信号进行特征提取,得到脑电信号对应的第一信号特征,时间卷积层211用于沿着时间维度对输入的脑电信号进行卷积操作;调用空间卷积层212对第一信号进行特征提取,得到脑电信号对应的第二信号特征,空间卷积层212沿着空间维度对输入的第一信号特征进行卷积操作;调用批量归一化层213对第二信号特征进行特征提取,得到脑电信号对应的第三信号特征;调用平方激活层214对第三信号特征进行特征提取,得到脑电信号对应的第四信号特征;调用平均池化层215对第四信号特征进行特征提取,得到脑电信号对应的第五信号特征;调用丢弃层216对第五信号特征进行特征提取,得到脑电信号对应的第六信号特征,将第六信号特征确定为脑电信号对应的特征,即特征提取模型21最终输出的信号特征。
以表一表示脑电信号分类模型中各层状结构的参数以及各层状结构输出信号的尺寸。
表一
层结构 输出信号的尺寸 模型参数
时间卷积层 40×1000×22 卷积核大小:25×1,卷积通道数:40,步长(Stride):1,填充边界(pad)12×0
空间卷积层 40×1000×1 卷积核大小:1×22(22为电极数),卷积通道数:40,步长:1
批量归一化层 -- --
平方激活层 -- --
平均池化层 40×61×1 卷积核大小:75 x 1,步长:15 x 1
丢弃层 -- 丢弃率为0.5
卷积层 4 卷积核大小61×1,步长:4
深度卷积层 2 卷积核大小61×1,步长:2
其中,丢弃层是指脑电信号分类模型在前向传播时,令某个神经元的激活值以一定的概率停止工作(被丢弃的节点)。丢弃率是指在丢弃层中被丢弃的节点与总节点的比值。
步骤403,获取差异分布比例,差异分布比例用于表征不同类型的差异分布对信号特征和源域特征在特征域上的分布产生的影响,源域特征是源域脑电信号对应的特征。
源域特征是源域脑电信号对应的信号特征,源域脑电信号是脑电信号分类模型在训练的过程中使用的样本脑电信号,在本实施例中,脑电信号是脑电信号分类模型在测试过程中(使用过程中)使用的测试脑电信号。
差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。边缘分布是指存在随机变量(X,Y),能够用随机变量X或随机变量Y描述事件在某个范围内的分布,这个分布通常称为随机变量X的边缘分布(Marginal Distribution)。条件分布是指存在一组随机变量,当其中某些随机变量的取值确定时,其余随机变量的分布即为条件分布(Conditional Distribution)。比如,脑电信号1为源域脑电信号,脑电信号2为输入脑电信号分类模型的测试脑电信号,若脑电信号1和脑电信号2较为接近,则脑电信号1和脑电信号2在特征域上形成条件分布差异;若脑电信号1和脑电信号2相差较大,则脑电信号1和脑电信号2在特征域上形成边缘分布差异。
步骤403可替换为如下步骤。
步骤4031,获取信号特征与源域特征之间的第一分布距离和第二分布距离,第一分布距离用于表征信号特征与源域特征之间的边缘分布差异,第二分布距离用于表征信号特征与源域特征之间的条件分布差异。
第一分布距离是根据边缘判别器的分类准确率计算得到的,第二分布距离是根据条件判别器的分类准确率计算得到的。参见步骤4041至步骤4043的实施方式。
步骤4032,获取运动想象类型的类型数量。
本申请实施例以运动想象类型的类型数量为四进行说明,即运动想象类型包括左手运动、右手运动、双脚运动和舌头运动。可以理解的是,运动想象类型根据实际脑电信号进行划分。
可以理解的是,步骤4031和步骤4032可同时执行,步骤4031可先于步骤4032之前执行,步骤4032可先于步骤4031之前执行。
步骤4033,根据第一分布距离、第二分布距离和类型数量得到边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。
步骤4031至步骤4032用于计算第一分布比例和第二分布比例,其中第一分布比例的计算公式为如下公式。
Figure DEST_PATH_IMAGE001
其中,
Figure DEST_PATH_IMAGE002
表示源域特征与信号特征之间的第一分布距离,
Figure DEST_PATH_IMAGE003
表示源域特征与信号特征之间的第二分布距离,C表示运动想象的类型数,
Figure DEST_PATH_IMAGE004
表示边缘分布对源域特征和信号特征在特征域上产生分布差异时的重要性。
由此可知,第二分布比例为1-
Figure 58468DEST_PATH_IMAGE004
,表示条件分布对源域特征和信号特征在特征域上产生分布差异时的重要性。
可以理解的是,可通过计算条件分布差异对应的第二分布比例,通过第二分布比例得到第一分布比例。
步骤404,获取源域特征和信号特征在特征域上的边缘分布差异和条件分布差异。
步骤404可替换为如下步骤。
步骤4041,获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,边缘判别器用于确定脑电信号所属的域信号,条件判别器用于确定不同类型的脑电信号所属的域信号,域信号包括源域脑电信号和输入的脑电信号中的至少一种。
边缘判别器23用于输出脑电信号所属的域信号的预测概率,即输出脑电信号属于源域脑电信号的预测概率和目标域脑电信号的预测概率。源域脑电信号是脑电信号分类模型在训练过程中使用的样本脑电信号,目标域脑电信号是脑电信号分类模型在测试过程中的测试脑电信号。比如,边缘判别器23输出脑电信号属于源域脑电信号的预测概率为0.3,输出脑电信号属于目标域脑电信号的预测概率为0.7。预测结果为输入的脑电信号属于目标域脑电信号,与输入脑电信号的类型相符,边缘判别器23输出的预测结果是正确的,从而记录边缘判别器23的第一分类准确率。
条件判别器22用于输出不同类型的脑电信号所属的域信号的预测概率,不同类型的脑电信号是指不同受试者对应的脑电信号,或同一受试者大脑不同区域的脑电信号。比如,条件判别器22输出第一类型的脑电信号属于源域信号的预测概率为0.19,输出第一类型的脑电信号属于目标域信号的预测概率为0.82。预测结果为输入的脑电信号属于目标域脑电信号,与输入脑电信号的类型相符,条件判别器22输出的预测结果是正确的,从而记录条件判别器22的第二分类准确率。
步骤4042,根据第一分类准确率获取信号特征与源域特征之间的第一分布距离,以及根据第二分类准确率获取信号特征与源域特征之间的第二分布距离。
为了评估边缘分布和条件分布对跨域差异性的影响,引入分布差异动态评估机制对两种分布的差异进行评价,评价指标采用距离评估指标(A-distance)衡量源域和目标域的分布差异,通过如下公式计算第一分布距离和第二分布距离。
Figure DEST_PATH_IMAGE005
其中,
Figure DEST_PATH_IMAGE006
表示源域特征与信号特征之间的第一分布距离,
Figure DEST_PATH_IMAGE007
表示源域特征与信号特征之间的第二分布距离,
Figure DEST_PATH_IMAGE008
表示边缘判别器对应的第一分类准确率,
Figure DEST_PATH_IMAGE009
表示条件判别器对应的第二分类准确率。
步骤4043,将第一分布距离确定为边缘分布差异,以及将第二分布距离确定为条件分布差异。
将第一分布距离
Figure DEST_PATH_IMAGE010
确定为边缘分布差异,将第二分布距离
Figure DEST_PATH_IMAGE011
确定为条件分布差异。
步骤405,根据第一分布比例缩小边缘分布差异,以及根据第二分布比例缩小条件分布差异。
信号特征和源域特征在特征域上对齐时,同时缩小条件分布差异和边缘分布差异,按照第一分布比例和第二分布比例去分别调整边缘分布差异和条件分布差异。
步骤406,根据缩小的边缘分布差异和条件分布差异,得到缩小的分布差异对应的信号特征。
信号特征在特征域上的条件分布和边缘分布分别与源域特征对齐,得到对齐后的信号特征,此信号特征域源域特征之间的分布差异缩小。
步骤407,将缩小的分布差异对应的信号特征确定为对齐后的信号特征。
此时的信号特征在特征域上的分布趋近于源域特征在同一特征域上的分布。
步骤408,对对齐后的信号特征进行分类,得到脑电信号对应的运动想象类型。
步骤408可替换为如下步骤。
步骤4081,调用分类器对对齐后的信号特征进行处理,得到脑电信号对应的运动现象类型的预测概率,运动想象类型包括双手运动、双脚运动和舌头运动中的至少一种。
如图5所示,特征提取模型21输出的脑电信号对应的信号特征分别输入至分类器15、条件判别器22和边缘判别器23中。其中,分类器15包括卷积层(Convolutional NeuralNetwork,C-Conv或CNN)和逻辑回归层(Softmax),卷积层对信号特征进行卷积处理,输出中间向量,将中间向量输入至逻辑回归层,输出脑电信号对应的运动想象类型的预测概率。比如,分类器15输出左手运动的预测概率为0.2,右手运动的预测概率为0.7,双脚运动的预测概率为0,舌头运动的预测概率为0.1。
分类器15输出的特征向量输入至梯度反转层217(Gradient Reversal Layer,GRL),由梯度反转层217进行进一步计算,得到另一特征向量分别输入至条件判别器22和边缘判别器23。梯度反转层217用于将传到本层的误差与一个负数相乘(-λ),使得梯度反转层前后的网络层的训练目标相反,以实现对抗的效果。
步骤4082,调用条件判别器对对齐后的信号特征进行处理,得到不同类型的脑电信号所属的域信号的预测概率,域信号包括源域脑电信号和输入的脑电信号中的至少一种。
如图5所示,条件判别器22包括深度卷积层(Deep Convolutional NeuralNetwork,D-Conv或DCNN)和逻辑归回层,深度卷积层对信号特征进行卷积处理,输出中间向量,将中间向量输入至逻辑回归层,输出不同类型的脑电信号属于域信号的预测概率。脑电信号的类型可根据不同类型的受试者进行划分,或者,根据大脑的不同区域进行划分,或者,根据受试者的情绪(或状态)进行划分。比如,条件判别器22输出第一类型的脑电信号属于源域脑电信号的预测概率为0.7,输出第一类型的脑电信号属于目标域脑电信号的预测概率为0.3,则第一类型的脑电信号属于源域脑电信号。第一类型的脑电信号是根据大脑的不同区域产生的脑电信号进行划分的。
步骤4083,调用边缘判别器对对齐后的信号特征进行处理,得到脑电信号所属的域信号的预测概率。
如图5所示,边缘判别器23包括深度卷积层和逻辑回归层,深度卷积层对信号特征进行卷积处理,输出中间向量,将中间向量输入至逻辑回归层,输出脑电信号所属的域信号的预测概率。边缘判别器23与条件判别器22不同的是,边缘判别器23只判断脑电信号所属的域信号。
需要说明的是,步骤4081、步骤4082和步骤4083是同时执行的。
步骤4084,根据脑电信号对应的运动想象类型的预测概率、不同类型的脑电信号所属的域信号的预测概率和脑电信号所属的域信号的预测概率,得到脑电信号对应的运动想象类型。
由于引入了分布差异动态评估机制对两种分布的差异进行评估,优先对齐具有显著影响的分布,条件判别器22和边缘判别器23确定各自的分布比例,因此,在脑电信号分类模型输出运动想象类型时,综合分类器15、条件判别器22和边缘判别器23的输出结果综合得到运动想象类型。
综上所述,本实施例的方法,通过根据差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,使得脑电信号的信号特征与源域特征对齐,从而保证脑电信号的信号特征在特征分布上趋近于源域特征,基于源域特征训练的脑电信号分类模型能够将分类方法迁移至脑电信号对应的信号特征上,提高了脑电信号分类模型识别脑电信号对应的运动想象类型的准确率,使得脑电信号分类模型能够识别多种类型的脑电信号,具有普适性。
通过根据边缘分布差异对应第一分布比例和条件分布差异对应的第二比例,动态调整输入脑电信号分类模型的信号特征与源域特征之间的分布差异,使得信号特征准确向源域特征靠近,从而保证脑电信号分类模型能够准确得到对齐后的信号特征。
通过根据边缘判别器的第一分类准确率和条件判别器的第二分类准确率确定源域特征和信号特征之间的第一分布距离和第二分布距离,使得脑电信号分类模型根据第一分布距离和第二分布距离明确边缘分布差异和条件分布差异。
通过信号特征与源域特征之间的第一分布距离和第二分布距离分别表征信号特征和源域特征之间的边缘分布差异和条件分布差异,从而结合运动想象类型的类型数量准确计算边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。
通过调用分类器、边缘判别器和条件判别器对对齐后的信号特征进行处理,根据三者输出的预测概率综合得到脑电信号对应的运动想象分类模型,使得脑电信号分类模型能够识别不同类型的脑电信号,提高脑电信号分类模型输出运动想象类型的准确率。
通过调用特征提取模型中的各个层次结构输出脑电信号的信号特征,使得脑电信号的信号特征具有时间不变性,使得后续脑电信号分类模型输出准确的运动想象类型。
下面对脑电信号分类模型的训练方法进行说明。
图6示出了本申请一个示例性实施例提供的脑电信号分类模型的训练方法的流程图。本实施例以该方法用于如图1所示的计算机系统100中的服务器120为例进行说明,该方法包括如下步骤。
步骤601,获取源域脑电信号和目标域脑电信号。
源域脑电信号是脑电信号分类模型在训练的过程中使用的样本脑电信号,目标域脑电信号是脑电信号分类模型在测试的过程中使用的测试脑电信号。示意性的,使用公开的数据集训练脑电信号分类模型,公开的数据集包括训练集和测试集。比如,使用公开的比赛数据The BCI Competition IV Dataset 2a运动想象公开数据集,该数据集包括9个受试者,其中每个受试者的脑电数据通过22个脑电电极和3个眼电电极进行记录,信号采样率为205Hz,包括四类运动想象类型(左手运动、右手运动、双脚运动和舌头运动)。
如图7所示,脑电信号分类模型的整个训练流程与使用流程相同,包括输入脑电信号701,对脑电信号进行预处理702,将分布差异动态评估机制703引入脑电信号分类模型704,输出预测结果705。预处理702包括带通滤波7021和信号标准化7022。在一些实施例中,脑电信号分类模型又被命名为动态域自适应模型。
脑电信号的预处理过程参见步骤401的实施方式,此处不再赘述。
步骤602,对源域脑电信号和目标域脑电信号进行特征提取,得到源域脑电信号对应的源域特征和目标域脑电信号对应的目标域特征。
如图8所示,将源域脑电信号101和目标域脑电信号102输入至脑电信号分类模型704中的特征提取模型21,经过特征提取模型21的各个层输出源域信号对应的源域特征和目标域脑电信号对应的目标域特征。参见步骤402的实施方式,此处不再赘述。
步骤603,获取差异分布比例,差异分布比例用于表征不同类型的差异分布对源域特征和目标域特征在特征域上的分布产生的影响。
差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。
由于目标域特征和源域特征在特征域上的分布不同,因此,为了评估不同类型的差异分布对源域特征和目标域特征的影响,引入分布差异动态评估机制对源域特征和目标域特征在边缘分布差异和条件分布差异进行评估。根据边缘分布差异和条件分布差异各自对应的分布比例动态调整影响较大的差异分布。
步骤604,根据差异分布比例将源域特征和目标域特征在特征域上对齐,得到对齐后的目标域特征。
步骤604可替换为如下步骤。
步骤6041,获取源域特征和目标域特征在特征域上的边缘分布差异和条件分布差异。
获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,边缘判别器用于确定脑电信号所属的域信号,条件判别器用于根据运动想象类型确定脑电信号所属的域信号,域信号包括源域脑电信号和目标域脑电信号中的至少一种;根据第一分类准确率获取目标域特征与源域特征之间的第一分布距离,以及根据第二分类准确率获取目标域特征与源域特征之间的第二分布距离;将第一分布距离确定为边缘分布差异,将第二分布距离确定为条件分布差异。
参见步骤4041至步骤4043的实施方式,此处不再赘述。
步骤6042,根据第一分布比例缩小边缘分布差异,以及根据第二分布比例缩小条件分布差异。
步骤6043,根据缩小的边缘分布差异和条件分布差异,得到缩小的分布差异对应的目标域特征。
步骤6044,将缩小的分布差异对应的目标域特征确定为对齐后的目标域特征。
步骤6041至步骤6043的实施方式参见步骤404至步骤407的实施方式,此处不赘述。
步骤605,对对齐后的目标域特征进行分类,根据分类结果对脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
步骤605可替换为如下步骤。
步骤6051,调用脑电信号分类模型中的分类器、边缘判别器和条件判别器的分别对对齐后的目标域特征进行处理,得到目标域脑电信号对应的运动想象类型的预测概率。
如图8所示,分类器15、边缘判别器23和条件判别器22根据分布差异动态评估机制同时对特征提取模型输出的源域特征和目标域特征进行处理,由于源域特征和目标域特征在特征域上分布相近,因此脑电信号分类模型可将对源域特征进行的分类方法迁移至目标域特征,使得脑电信号分类模型得到目标域脑电信号对应的运动想象类型。
分类器15输出的特征向量输入至梯度反转层217(Gradient Reversal Layer,GRL),由梯度反转层217进行进一步计算,得到另一特征向量分别输入至条件判别器22和边缘判别器23。梯度反转层217用于将传到本层的误差与一个负数相乘(-λ),使得梯度反转层前后的网络层的训练目标相反,以实现对抗的效果。
步骤6052,根据预测概率与脑电信号对应的运动想象类型的真实标签计算脑电信号分类模型的结果误差。
结果误差包括分类器对应的误差、条件判别器对应的误差和边缘判别器的误差,本申请实施例以误差函数计算结果误差为例,下面分别对三类误差的计算方式进行说明。
1、分类器对应的误差。
根据预测概率和真实标签计算分类器对应的第一损失函数。公式为如下公式。
Figure DEST_PATH_IMAGE012
其中,
Figure DEST_PATH_IMAGE013
表示分类器对应的第一损失函数,
Figure DEST_PATH_IMAGE014
表示源域特征的期望值,
Figure DEST_PATH_IMAGE015
表示源域脑电信号,
Figure DEST_PATH_IMAGE016
表示源域脑电信号的预测概率,Ds表示源域,L()表示交叉熵损失函数,
Figure DEST_PATH_IMAGE017
表示源域脑电信号的真实标签,“~”表示属于关系。上述公式表示从源域脑电信号数据集中取出源域脑电信号和源域脑电信号对应的真实标签,计算源域脑电信号的分类损失的期望。
2、条件判别器对应的误差。
根据条件判别器输出的源域特征对应的源域条件特征图和目标域特征对应的目标域条件特征图,计算条件判别器对应的第二损失函数。公式为如下公式。
Figure DEST_PATH_IMAGE018
其中,
Figure DEST_PATH_IMAGE019
表示源域条件特征图,
Figure DEST_PATH_IMAGE020
表示目标域条件特征图,Dc表示第c类条件判别器,即将属于第c类源域脑电信号和目标域脑电信号输入至条件判别器中进行分类,Ds表示源域,Dt表示目标域,
Figure DEST_PATH_IMAGE021
表示源域特征的期望值,
Figure DEST_PATH_IMAGE022
表示目标域特征的期望值,“~”表示属于关系。
条件特征图的计算方式为如下方式。
设分类器的预测概率为
Figure DEST_PATH_IMAGE023
,特征图
Figure DEST_PATH_IMAGE024
,则条件特征图g为如下矩阵。
Figure DEST_PATH_IMAGE025
3、边缘判别器对应的误差。
根据边缘判别器输出的源域特征对应的源域特征图和目标域特征对应的目标域特征图,计算边缘判别器对应的第三损失函数。公式为如下公式。
Figure DEST_PATH_IMAGE026
其中,
Figure DEST_PATH_IMAGE027
表示源域特征图,
Figure DEST_PATH_IMAGE028
表示目标域特征图,G(x)表示特征提取模型,Dm表示边缘判别器,Ds表示源域,Dt表示目标域,
Figure DEST_PATH_IMAGE029
表示源域特征的期望值,
Figure DEST_PATH_IMAGE030
表示目标域特征的期望值,“~”表示属于关系。
综上所述,总的结果误差为如下误差。
Figure DEST_PATH_IMAGE031
其中,Lc表示分类器的第第一损失函数,α表示脑电信号分类模型的待学习参数,Lg表示边缘判别器对应的第三损失函数,Ll表示条件判别器对应的第二损失函数,
Figure DEST_PATH_IMAGE032
表示边缘分布对源域特征和信号特征在特征域上产生分布差异时的重要性,C表示运动想象类型的类型数量。
步骤6053,根据结果误差利用误差反向传播算法训练脑电信号分类模型,得到训练后的脑电信号分类模型。
误差反向传播算法(Error BackPropagation Algorithm,BP算法)是指将输出误差以某种形式通过隐藏层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层的误差信号,此误差信号即为修正单元权值的依据。机器学习模型在学习的过程中由正向传播和误差反向传播两个过程组成,正向传播时,输入样本从输入层传入,经过各隐藏层逐层处理后,传向输出层,若输出层的实际输出与期望输出不符,则转入误差反向传播阶段。
本申请实施例基于随机梯度下降(Stochastic Gradient Descent,SGD)的梯度下降法求解神经网络模型的参数,采用泽维尔(Xavier)初始化方法来初始化模型参数。在求解过程中,把每个受试者的脑电信号及相应标签送进网络中学习,并通过误差反向传播完成模型优化。
综上所述,本实施例提供的方法,通过根据差异分布比例动态地调整目标域特征在特征域上的分布,使得目标域特征与源域特征对齐,从而基于对齐后的目标域特征训练脑电信号分类模型,使得脑电信号分类模型能够将分类学习方法迁移至目标域特征,使得训练后的脑电信号分类模型能够准确输出脑电信号对应的运动想象类型,并且识别多种类型的脑电信号,具有普适性。
通过根据边缘分布差异对应第一分布比例和条件分布差异对应的第二比例,动态调整输入脑电信号分类模型的目标域特征与源域特征之间的分布差异,使得目标域特征准确向源域特征靠近,从而保证脑电信号分类模型能够准确得到对齐后的目标域特征。
通过根据边缘判别器的第一分类准确率和条件判别器的第二分类准确率确定源域特征和目标域特征之间的第一分布距离和第二分布距离,使得脑电信号分类模型根据第一分布距离和第二分布距离明确边缘分布差异和条件分布差异。
通过分类器、边缘判别器和条件判别器对对齐后的目标域进行处理,利用脑电信号对应的运动现象类型的真实标签和脑电信号分类模型输出的预测概率之间的误差对脑电信号分类模型进行训练,从而保证脑电信号分类模型可以加快收敛,缩短模型的训练时间。
根据分类器对应的第一损失函数、边缘判别器对应的第二损失函数和条件判别器对应的第三损失函数准确计算出脑电信号分类模型的结果误差,从而使得脑电信号分类模型基于准确的结果误差进行训练,提高模型的收敛速度,缩短模型的训练时间。
图9示出了本申请一个示例性实施例提供的脑电信号的分类装置的结构框图,该装置包括如下部分:
第一获取模块910,用于获取脑电信号;
第一特征提取模块920,用于对脑电信号进行特征提取,得到脑电信号对应的信号特征;
所述第一获取模块910,用于获取差异分布比例,差异分布比例用于表征不同类型的差异分布对信号特征和源域特征在特征域上的分布产生的影响,源域特征是源域脑电信号对应的特征;
第一处理模块930,用于根据差异分布比例将信号特征与源域特征进行对齐,得到对齐后的信号特征;
分类模块940,用于对对齐后的信号特征进行分类,得到脑电信号对应的运动想象类型。
在一个可选的实施例中,差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述第一获取模块910,用于获取源域特征和信号特征在特征域上的边缘分布差异和条件分布差异;
所述第一处理模块930,用于根据第一分布比例缩小边缘分布差异,以及根据第二分布比例缩小条件分布差异;根据缩小的边缘分布差异和条件分布差异,得到缩小的分布差异对应的信号特征;将缩小的分布差异对应的信号特征确定为对齐后的信号特征。
在一个可选的实施例中,所述第一获取模块910,用于获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,边缘判别器用于确定脑电信号所属的域信号,条件判别器用于确定不同类型的脑电信号所属的域信号,域信号包括源域脑电信号和输入的脑电信号中的至少一种;根据第一分类准确率获取信号特征与源域特征之间的第一分布距离,以及根据第二分类准确率获取信号特征与源域特征之间的第二分布距离;将第一分布距离确定为边缘分布差异,以及将第二分布距离确定为条件分布差异。
在一个可选的实施例中,差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述第一获取模块910,用于获取信号特征与源域特征之间的第一分布距离和第二分布距离,第一分布距离用于表征信号特征与源域特征之间的边缘分布差异,第二分布距离用于表征信号特征与源域特征之间的条件分布差异;获取运动想象类型的类型数量;根据第一分布距离、第二分布距离和类型数量得到边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。
在一个可选的实施例中,所述分类模块940包括分类器9401、条件判别器9402和边缘判别器9403;
所述分类器9401,用于对对齐后的信号特征进行处理,得到脑电信号对应的运动想象类型的预测概率,运动想象类型包括双手运动、双脚运动和舌头运动中的至少一种;
所述条件判别器9402,用于对对齐后的信号特征进行处理,得到不同类型的脑电信号所属的域信号的预测概率,域信号包括源域脑电信号和输入的脑电信号中的至少一种;
所述边缘判别器9403,用于对对齐后的信号特征进行处理,得到脑电信号所属的域信号的预测概率;
所述分类模块940,用于根据脑电信号对应的运动想象类型的预测概率、不同类型的脑电信号所属的域信号的预测概率和脑电信号所属的域信号的预测概率,得到脑电信号对应的运动想象类型。
在一个可选的实施例中,所述第一特征提取模块920包括时间卷积层9201、空间卷积层9202、批量归一化层9203、平方激活层9204、平均池化层9205和丢弃层9206;
所述时间卷积层9201,用于对脑电信号进行特征提取,得到脑电信号对应的第一信号特征;
所述空间卷积层9202,用于对第一信号特征进行特征提取,得到脑电信号对应的第二信号特征;
所述批量归一化层9203,用于对第二信号特征进行特征提取,得到脑电信号对应的第三信号特征;
所述平方激活层9204,用于对第三信号特征进行特征提取,得到脑电信号对应的第四信号特征;
所述平均池化层9205,用于对第四信号特征进行特征提取,得到脑电信号对应的第五信号特征;
所述丢弃层9206,用于对第五信号特征进行特征提取,得到脑电信号对应的第六信号特征,将第六信号特征确定为脑电信号对应的信号特征。
综上所述,本实施例提供的装置,通过根据差异分布比例动态地调整脑电信号对应的信号特征在特征域上的分布,使得脑电信号的信号特征与源域特征对齐,从而保证脑电信号的信号特征在特征分布上趋近于源域特征,基于源域特征训练的脑电信号分类模型能够将分类方法迁移至脑电信号对应的信号特征上,提高了脑电信号分类模型识别脑电信号对应的运动想象类型的准确率,使得脑电信号分类模型能够识别多种类型的脑电信号,具有普适性。
通过根据边缘分布差异对应第一分布比例和条件分布差异对应的第二比例,动态调整输入脑电信号分类模型的信号特征与源域特征之间的分布差异,使得信号特征准确向源域特征靠近,从而保证脑电信号分类模型能够准确得到对齐后的信号特征。
通过根据边缘判别器的第一分类准确率和条件判别器的第二分类准确率确定源域特征和信号特征之间的第一分布距离和第二分布距离,使得脑电信号分类模型根据第一分布距离和第二分布距离明确边缘分布差异和条件分布差异。
通过信号特征与源域特征之间的第一分布距离和第二分布距离分别表征信号特征和源域特征之间的边缘分布差异和条件分布差异,从而结合运动想象类型的类型数量准确计算边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例。
通过调用分类器、边缘判别器和条件判别器对对齐后的信号特征进行处理,根据三者输出的预测概率综合得到脑电信号对应的运动想象分类模型,使得脑电信号分类模型能够识别不同类型的脑电信号,提高脑电信号分类模型输出运动想象类型的准确率。
通过调用特征提取模型中的各个层次结构输出脑电信号的信号特征,使得脑电信号的信号特征具有时间不变性,使得后续脑电信号分类模型输出准确的运动想象类型。
需要说明的是:上述实施例提供的脑电信号的分类装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的脑电信号的分类装置与脑电信号的分类方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图10示出了本申请一个示例性实施例提供的脑电信号分类模型的训练装置的结构框图,该装置包括如下部分:
第二获取模块1010,用于获取源域脑电信号和目标域脑电信号;
第二特征提取模块1020,用于对源域脑电信号和目标域脑电信号进行特征提取,得到源域脑电信号对应的源域特征和目标域脑电信号对应的目标域特征;
所述第二获取模块1010,用于获取差异分布比例,差异分布比例用于表征不同类型的差异分布对源域特征和目标域特征在特征域上的分布产生的影响;
第二处理模块1030,用于根据差异分布比例将源域特征和目标域特征在特征域上对齐,得到对齐后的目标域特征;
训练模块1040,用于对对齐后的目标域特征进行分类,根据分类结果对脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
在一个可选的实施例中,差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述第二获取模块1010,用于获取源域特征和目标域特征在特征域上的边缘分布差异和条件分布差异;
所述第二处理模块1030,用于根据第一分布比例缩小边缘分布差异,以及根据第二分布比例缩小条件分布差异;根据缩小的边缘分布差异和条件分布差异,得到缩小的分布差异对应的信号特征;将缩小的分布差异对应的目标域特征确定为对齐后的目标域特征。
在一个可选的实施例中,所述第二获取模块1010,用于获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,边缘判别器用于确定脑电信号所属的域信号,条件判别器用于根据运动想象类型确定脑电信号所属的域信号,域信号包括源域脑电信号和目标域脑电信号中的至少一种;根据第一分类准确率获取目标域特征与源域特征之间的第一分布距离,以及根据第二分类准确率获取目标域特征与源域特征之间的第二分布距离;将第一分布距离确定为边缘分布差异,将第二分布距离确定为条件分布差异。
在一个可选的实施例中,该装置包括脑电信号分类模型1050;
所述脑电信号分类模型1050,用于调用分类器、边缘判别器和条件判别器分别对对齐后的目标域特征进行处理,得到目标域脑电信号对应的运动想象类型的预测概率;
所述训练模块1040,用于根据预测概率与脑电信号对应的运动想象类型的真实标签计算脑电信号分类模型的结果误差;根据结果误差利用误差反向传播算法训练脑电信号分类模型,得到训练后的脑电信号分类模型。
在一个可选的实施例中,所述训练模块1040,用于根据预测概率和真实标签计算分类器对应的第一损失函数;根据条件判别器输出的源域特征对应的源域条件特征图和目标域特征对应的目标域条件特征图,计算条件判别器对应的第二损失函数;根据边缘判别器输出的源域特征对应的源域特征图和目标域特征对应的目标域特征图,计算边缘判别器对应的第三损失函数;根据第一损失函数、第二损失函数和第三损失函数计算电信号分类模型的结果误差。
综上所述,本实施例提供的装置,通过根据差异分布比例动态地调整目标域特征在特征域上的分布,使得目标域特征与源域特征对齐,从而基于对齐后的目标域特征训练脑电信号分类模型,使得脑电信号分类模型能够将分类学习方法迁移至目标域特征,使得训练后的脑电信号分类模型能够准确输出脑电信号对应的运动想象类型,并且识别多种类型的脑电信号,具有普适性。
通过根据边缘分布差异对应第一分布比例和条件分布差异对应的第二比例,动态调整输入脑电信号分类模型的目标域特征与源域特征之间的分布差异,使得目标域特征准确向源域特征靠近,从而保证脑电信号分类模型能够准确得到对齐后的目标域特征。
通过根据边缘判别器的第一分类准确率和条件判别器的第二分类准确率确定源域特征和目标域特征之间的第一分布距离和第二分布距离,使得脑电信号分类模型根据第一分布距离和第二分布距离明确边缘分布差异和条件分布差异。
通过分类器、边缘判别器和条件判别器对对齐后的目标域进行处理,利用脑电信号对应的运动现象类型的真实标签和脑电信号分类模型输出的预测概率之间的误差对脑电信号分类模型进行训练,从而保证脑电信号分类模型可以加快收敛,缩短模型的训练时间。
根据分类器对应的第一损失函数、边缘判别器对应的第二损失函数和条件判别器对应的第三损失函数准确计算出脑电信号分类模型的结果误差,从而使得脑电信号分类模型基于准确的结果误差进行训练,提高模型的收敛速度,缩短模型的训练时间。
需要说明的是:上述实施例提供的脑电信号分类模型的训练装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的脑电信号分类模型的训练装置与脑电信号分类模型的训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器可以如图1所示的计算机系统100中的服务器120。
服务器1100包括中央处理单元(CPU,Central Processing Unit)1101、包括随机存取存储器(RAM,Random Access Memory)1102和只读存储器(ROM,Read Only Memory)1103的系统存储器1104,以及连接系统存储器1104和中央处理单元1101的系统总线1105。服务器1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统,Input Output System)1106,和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。
基本输入/输出系统1106包括有用于显示信息的显示器1108和用于用户输入信息的诸如鼠标、键盘之类的输入设备1109。其中显示器1108和输入设备1109都通过连接到系统总线1105的输入输出控制器1110连接到中央处理单元1101。基本输入/输出系统1106还可以包括输入输出控制器1110以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1110还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。大容量存储设备1107及其相关联的计算机可读介质为服务器1100提供非易失性存储。也就是说,大容量存储设备1107可以包括诸如硬盘或者紧凑型光盘只读存储器(CD-ROM,Compact Disc Read Only Memory)驱动器之类的计算机可读介质(未示出)。
计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(EPROM,Erasable Programmable Read Only Memory)、带电可擦可编程只读存储器(EEPROM,Electrically Erasable Programmable Read Only Memory)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(DVD,Digital Versatile Disc)或固态硬盘(SSD,Solid State Drives)、其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。
根据本申请的各种实施例,服务器1100还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1100可以通过连接在系统总线1105上的网络接口单元1111连接到网络1112,或者说,也可以使用网络接口单元1111来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
在一个可选的实施例中,提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
在一个可选的实施例中,提供了一种计算机可读存储介质,该存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅为了描述,不代表实施例的优劣。
本申请实施例还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行如上方面所述的脑电信号的分类方法和脑电信号分类模型的训练方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选的实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种脑电信号的分类方法,其特征在于,所述方法包括:
获取脑电信号;
对所述脑电信号进行特征提取,得到所述脑电信号对应的信号特征;
获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述信号特征和源域特征在特征域上的分布产生的影响,所述源域特征是源域脑电信号对应的特征;
根据所述差异分布比例将所述信号特征与所述源域特征进行对齐,得到对齐后的信号特征;
对所述对齐后的信号特征进行分类,得到所述脑电信号对应的运动想象类型。
2.根据权利要求1所述的方法,其特征在于,所述差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述根据所述差异分布比例将所述信号特征与所述源域特征进行对齐,得到对齐后的信号特征,包括:
获取所述源域特征和所述信号特征在所述特征域上的所述边缘分布差异和所述条件分布差异;
根据所述第一分布比例缩小所述边缘分布差异,以及根据所述第二分布比例缩小所述条件分布差异;
根据缩小的所述边缘分布差异和所述条件分布差异,得到缩小的分布差异对应的信号特征;
将所述缩小的分布差异对应的信号特征确定为所述对齐后的信号特征。
3.根据权利要求2所述的方法,其特征在于,所述获取所述源域特征和所述信号特征在所述特征域上的边缘分布差异和条件分布差异,包括:
获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,所述边缘判别器用于确定所述脑电信号所属的域信号,所述条件判别器用于确定不同类型的脑电信号所属的域信号,所述域信号包括所述源域脑电信号和输入的脑电信号中的至少一种;
根据所述第一分类准确率获取所述信号特征与所述源域特征之间的第一分布距离,以及根据所述第二分类准确率获取所述信号特征与所述源域特征之间的第二分布距离;
将所述第一分布距离确定为所述边缘分布差异,以及将所述第二分布距离确定为所述条件分布差异。
4.根据权利要求1至3任一所述的方法,其特征在于,所述差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述获取差异分布比例,包括:
获取所述信号特征与所述源域特征之间的第一分布距离和第二分布距离,所述第一分布距离用于表征所述信号特征与所述源域特征之间的所述边缘分布差异,所述第二分布距离用于表征所述信号特征与所述源域特征之间的所述条件分布差异;
获取所述运动想象类型的类型数量;
根据所述第一分布距离、所述第二分布距离和所述类型数量得到所述边缘分布差异对应的所述第一分布比例和所述条件分布差异对应的所述第二分布比例。
5.根据权利要求1至3任一所述的方法,其特征在于,所述对所述对齐后的信号特征进行分类,得到所述脑电信号对应的运动想象类型,包括:
调用分类器对所述对齐后的信号特征进行处理,得到所述脑电信号对应的运动想象类型的预测概率,所述运动想象类型包括双手运动、双脚运动和舌头运动中的至少一种;
调用条件判别器对所述对齐后的信号特征进行处理,得到不同类型的脑电信号所属的域信号的预测概率,所述域信号包括所述源域脑电信号和输入的脑电信号中的至少一种;
调用边缘判别器对所述对齐后的信号特征进行处理,得到所述脑电信号所属的域信号的预测概率;
根据所述脑电信号对应的运动想象类型的预测概率、所述不同类型的脑电信号所属的域信号的预测概率和所述脑电信号所属的域信号的预测概率,得到所述脑电信号对应的运动想象类型。
6.根据权利要求1至3任一所述的方法,其特征在于,所述对所述脑电信号进行特征提取,得到所述脑电信号对应的信号特征,包括:
调用时间卷积层对所述脑电信号进行特征提取,得到所述脑电信号对应的第一信号特征;
调用空间卷积层对所述第一信号特征进行特征提取,得到所述脑电信号对应的第二信号特征;
调用批量归一化层对所述第二信号特征进行特征提取,得到所述脑电信号对应的第三信号特征;
调用平方激活层对所述第三信号特征进行特征提取,得到所述脑电信号对应的第四信号特征;
调用平均池化层对所述第四信号特征进行特征提取,得到所述脑电信号对应的第五信号特征;
调用丢弃层对所述第五信号特征进行特征提取,得到所述脑电信号对应的第六信号特征,将所述第六信号特征确定为所述脑电信号对应的信号特征。
7.一种脑电信号分类模型的训练方法,其特征在于,所述方法包括:
获取源域脑电信号和目标域脑电信号;
对所述源域脑电信号和所述目标域脑电信号进行特征提取,得到所述源域脑电信号对应的源域特征和所述目标域脑电信号对应的目标域特征;
获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述源域特征和所述目标域特征在特征域上的分布产生的影响;
根据所述差异分布比例将所述源域特征和所述目标域特征在所述特征域上对齐,得到对齐后的目标域特征;
对所述对齐后的目标域特征进行分类,根据分类结果对所述脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
8.根据权利要求7所述的方法,其特征在于,所述差异分布比例包括边缘分布差异对应的第一分布比例和条件分布差异对应的第二分布比例;
所述根据所述差异分布比例将所述源域特征和所述目标域特征在所述特征域上对齐,得到对齐后的目标域特征,包括:
获取所述源域特征和所述目标域特征在所述特征域上的边缘分布差异和条件分布差异;
根据所述第一分布比例缩小所述边缘分布差异,以及根据所述第二分布比例缩小所述条件分布差异;
根据缩小的所述边缘分布差异和所述条件分布差异,得到缩小的分布差异对应的目标域特征;
将所述缩小的分布差异对应的目标域特征确定为所述对齐后的目标域特征。
9.根据权利要求8所述的方法,其特征在于,所述获取所述源域特征和所述目标域特征在所述特征域上的边缘分布差异和条件分布差异,包括:
获取边缘判别器的第一分类准确率和条件判别器的第二分类准确率,所述边缘判别器用于确定所述脑电信号所属的域信号,所述条件判别器用于确定不同类型的脑电信号所属的域信号,所述域信号包括所述源域脑电信号和所述目标域脑电信号中的至少一种;
根据所述第一分类准确率获取所述目标域特征与所述源域特征之间的第一分布距离,以及根据所述第二分类准确率获取所述目标域特征与所述源域特征之间的第二分布距离;
将所述第一分布距离确定为所述边缘分布差异,将所述第二分布距离确定为所述条件分布差异。
10.根据权利要求7至9任一所述的方法,其特征在于,所述对所述对齐后的目标域特征进行分类,根据分类结果对所述脑电信号分类模型进行训练,得到训练后的脑电信号分类模型,包括:
调用所述脑电信号分类模型中的分类器、边缘判别器和条件判别器分别对所述对齐后的目标域特征进行处理,得到所述目标域脑电信号对应的运动想象类型的预测概率;
根据所述预测概率与所述脑电信号对应的运动想象类型的真实标签计算所述脑电信号分类模型的结果误差;
根据所述结果误差利用误差反向传播算法训练所述脑电信号分类模型,得到所述训练后的脑电信号分类模型。
11.根据权利要求10所述的方法,其特征在于,所述根据所述预测概率与所述脑电信号对应的运动想象类型的真实标签计算所述脑电信号分类模型的结果误差,包括:
根据所述预测概率和所述真实标签计算所述分类器对应的第一损失函数;
根据所述条件判别器输出的所述源域特征对应的源域条件特征图和所述目标域特征对应的目标域条件特征图,计算所述条件判别器对应的第二损失函数;
根据所述边缘判别器输出的所述源域特征对应的源域特征图和所述目标域特征对应的目标域特征图,计算所述边缘判别器对应的第三损失函数;
根据所述第一损失函数、所述第二损失函数和所述第三损失函数计算所述电信号分类模型的结果误差。
12.一种脑电信号的分类装置,其特征在于,所述装置包括:
第一获取模块,用于获取脑电信号;
第一特征提取模块,用于对所述脑电信号进行特征提取,得到所述脑电信号对应的信号特征;
所述第一获取模块,用于获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述信号特征和源域特征在特征域上的分布产生的影响,所述源域特征是源域脑电信号对应的特征;
第一处理模块,用于根据所述差异分布比例将所述信号特征与所述源域特征进行对齐,得到对齐后的信号特征;
分类模块,用于对所述对齐后的信号特征进行分类,得到所述脑电信号对应的运动想象类型。
13.一种脑电信号分类模型的训练装置,其特征在于,所述装置包括:
第二获取模块,用于获取源域脑电信号和目标域脑电信号;
第二特征提取模块,用于对所述源域脑电信号和所述目标域脑电信号进行特征提取,得到所述源域脑电信号对应的源域特征和所述目标域脑电信号对应的目标域特征;
所述第二获取模块,用于获取差异分布比例,所述差异分布比例用于表征不同类型的差异分布对所述源域特征和所述目标域特征在特征域上的分布产生的影响;
第二处理模块,用于根据所述差异分布比例将所述源域特征和所述目标域特征在所述特征域上对齐,得到对齐后的目标域特征;
训练模块,用于对所述对齐后的目标域特征进行分类,根据分类结果对所述脑电信号分类模型进行训练,得到训练后的脑电信号分类模型。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至6任一所述的脑电信号的分类方法以及7至11任一所述的脑电信号分类模型的训练方法。
15.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至6任一所述的脑电信号的分类方法以及7至11任一所述的脑电信号分类模型的训练方法。
CN202010867943.XA 2020-08-26 2020-08-26 脑电信号的分类方法、分类模型的训练方法、装置及介质 Active CN111728609B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010867943.XA CN111728609B (zh) 2020-08-26 2020-08-26 脑电信号的分类方法、分类模型的训练方法、装置及介质
PCT/CN2021/106614 WO2022042122A1 (zh) 2020-08-26 2021-07-15 脑电信号的分类方法、分类模型的训练方法、装置及介质
EP21859962.9A EP4101371A4 (en) 2020-08-26 2021-07-15 METHOD AND DEVICE FOR CLASSIFICATION OF ELECTROENCEPHALOGRAM SIGNALS, METHOD AND DEVICE FOR TRAINING A MODEL FOR CLASSIFICATION OF ELECTROENCEPHALOGRAM SIGNALS, AND MEDIUM
US17/969,177 US20230054751A1 (en) 2020-08-26 2022-10-19 Method and apparatus for classifying electroencephalogram signal, method and apparatus for training classification model, and electronic device and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867943.XA CN111728609B (zh) 2020-08-26 2020-08-26 脑电信号的分类方法、分类模型的训练方法、装置及介质

Publications (2)

Publication Number Publication Date
CN111728609A true CN111728609A (zh) 2020-10-02
CN111728609B CN111728609B (zh) 2020-11-17

Family

ID=72658890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867943.XA Active CN111728609B (zh) 2020-08-26 2020-08-26 脑电信号的分类方法、分类模型的训练方法、装置及介质

Country Status (4)

Country Link
US (1) US20230054751A1 (zh)
EP (1) EP4101371A4 (zh)
CN (1) CN111728609B (zh)
WO (1) WO2022042122A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN113031766A (zh) * 2021-03-15 2021-06-25 哈尔滨工业大学 一种通过脑电解码汉语发音的方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN113688673A (zh) * 2021-07-15 2021-11-23 电子科技大学 在线场景下心电信号的跨用户情感识别方法
CN113925509A (zh) * 2021-09-09 2022-01-14 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置
CN114103974A (zh) * 2021-11-01 2022-03-01 北京理工大学 一种面向车辆连续控制的脑机接口方法
WO2022042122A1 (zh) * 2020-08-26 2022-03-03 腾讯科技(深圳)有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技(深圳)有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN116070796A (zh) * 2023-03-29 2023-05-05 中国科学技术大学 柴油车排放等级评估方法及系统
CN113842152B (zh) * 2021-09-28 2023-05-30 西交利物浦大学 脑电信号分类网络训练方法、分类方法、设备及存储介质
CN117034078A (zh) * 2023-08-07 2023-11-10 上海韶脑传感技术有限公司 脑电信号解码方法、装置、上位机及计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117390542A (zh) * 2023-10-13 2024-01-12 上海韶脑传感技术有限公司 一种基于域泛化的跨被试运动想象脑电建模方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332334B2 (en) * 2009-09-24 2012-12-11 Yahoo! Inc. System and method for cross domain learning for data augmentation
CN104523269A (zh) * 2015-01-15 2015-04-22 江南大学 一种面向癫痫脑电信号迁移环境的自适应识别方法
CN104523268A (zh) * 2015-01-15 2015-04-22 江南大学 一种具备迁移学习能力的脑电信号识别模糊系统方法
CN107273853A (zh) * 2017-06-16 2017-10-20 中国地质大学(武汉) 一种基于类心和协方差对齐的遥感图像迁移学习方法
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
CN110503082A (zh) * 2019-08-30 2019-11-26 腾讯科技(深圳)有限公司 一种基于深度学习的模型训练方法以及相关装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技(深圳)有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN111104509A (zh) * 2019-11-08 2020-05-05 武汉理工大学 一种基于概率分布自适应的实体关系分类方法
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法
CN111444859A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种无监督跨域人脸表情识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190073605A1 (en) * 2017-02-27 2019-03-07 Andrew Jay KELLER Systems and methods for real-time neural command classification and task execution
US20210251555A1 (en) * 2018-08-03 2021-08-19 Rehabswift Pty Ltd Stroke Rehabilitation Method and System Using a Brain-Computer Interface (BCI)
CN110851783B (zh) * 2019-11-12 2021-10-08 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法
CN111584029B (zh) * 2020-04-30 2023-04-18 天津大学 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111544856B (zh) * 2020-04-30 2021-05-25 天津大学 基于新型迁移学习模型的脑-肌电智能全肢体康复方法
CN111728609B (zh) * 2020-08-26 2020-11-17 腾讯科技(深圳)有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8332334B2 (en) * 2009-09-24 2012-12-11 Yahoo! Inc. System and method for cross domain learning for data augmentation
CN104523269A (zh) * 2015-01-15 2015-04-22 江南大学 一种面向癫痫脑电信号迁移环境的自适应识别方法
CN104523268A (zh) * 2015-01-15 2015-04-22 江南大学 一种具备迁移学习能力的脑电信号识别模糊系统方法
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
CN107273853A (zh) * 2017-06-16 2017-10-20 中国地质大学(武汉) 一种基于类心和协方差对齐的遥感图像迁移学习方法
CN111444747A (zh) * 2019-01-17 2020-07-24 复旦大学 一种基于迁移学习和空洞卷积的癫痫状态识别方法
CN110503082A (zh) * 2019-08-30 2019-11-26 腾讯科技(深圳)有限公司 一种基于深度学习的模型训练方法以及相关装置
CN110531861A (zh) * 2019-09-06 2019-12-03 腾讯科技(深圳)有限公司 运动想象脑电信号的处理方法和装置及存储介质
CN111104509A (zh) * 2019-11-08 2020-05-05 武汉理工大学 一种基于概率分布自适应的实体关系分类方法
CN111444859A (zh) * 2020-03-30 2020-07-24 哈尔滨工程大学 一种无监督跨域人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾焕生: "基于迁移学习的运动想象脑电分类方法研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042122A1 (zh) * 2020-08-26 2022-03-03 腾讯科技(深圳)有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN112690793B (zh) * 2020-12-28 2023-05-16 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
WO2022179548A1 (zh) * 2021-02-26 2022-09-01 腾讯科技(深圳)有限公司 脑电信号分类方法、装置、设备、存储介质及程序产品
CN113031766B (zh) * 2021-03-15 2022-09-23 哈尔滨工业大学 一种通过脑电解码汉语发音的方法
CN113031766A (zh) * 2021-03-15 2021-06-25 哈尔滨工业大学 一种通过脑电解码汉语发音的方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN113392733B (zh) * 2021-05-31 2022-06-21 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN113688673A (zh) * 2021-07-15 2021-11-23 电子科技大学 在线场景下心电信号的跨用户情感识别方法
CN113688673B (zh) * 2021-07-15 2023-05-30 电子科技大学 在线场景下心电信号的跨用户情感识别方法
CN113925509A (zh) * 2021-09-09 2022-01-14 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置
CN113925509B (zh) * 2021-09-09 2024-01-23 杭州回车电子科技有限公司 基于脑电信号的注意力值计算方法、装置和电子装置
CN113842152B (zh) * 2021-09-28 2023-05-30 西交利物浦大学 脑电信号分类网络训练方法、分类方法、设备及存储介质
CN114103974B (zh) * 2021-11-01 2022-07-29 北京理工大学 一种面向车辆连续控制的脑机接口方法
CN114103974A (zh) * 2021-11-01 2022-03-01 北京理工大学 一种面向车辆连续控制的脑机接口方法
CN116070796A (zh) * 2023-03-29 2023-05-05 中国科学技术大学 柴油车排放等级评估方法及系统
CN117034078A (zh) * 2023-08-07 2023-11-10 上海韶脑传感技术有限公司 脑电信号解码方法、装置、上位机及计算机可读存储介质

Also Published As

Publication number Publication date
WO2022042122A1 (zh) 2022-03-03
EP4101371A1 (en) 2022-12-14
CN111728609B (zh) 2020-11-17
US20230054751A1 (en) 2023-02-23
EP4101371A4 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
CN111728609B (zh) 脑电信号的分类方法、分类模型的训练方法、装置及介质
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
Kumar et al. OPTICAL+: a frequency-based deep learning scheme for recognizing brain wave signals
Salehzadeh et al. Human activity recognition using deep electroencephalography learning
Athif et al. WaveCSP: a robust motor imagery classifier for consumer EEG devices
Saini et al. One-dimensional convolutional neural network architecture for classification of mental tasks from electroencephalogram
Talitckii et al. Comparative study of wearable sensors, video, and handwriting to detect Parkinson’s disease
Yildirim A review of deep learning approaches to EEG-based classification of cybersickness in virtual reality
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
Dar et al. YAAD: young adult’s affective data using wearable ECG and GSR sensors
Sharma et al. Novel eeg based schizophrenia detection with iomt framework for smart healthcare
Xia et al. Dynamic viewing pattern analysis: towards large-scale screening of children with ASD in remote areas
Sahay et al. Robust subject-independent P300 waveform classification via signal pre-processing and deep learning
CN115500845A (zh) 一种面向肢体瘫痪患者的云上脑波分析方法及系统
Karuppasamy et al. Prediction of autism spectrum disorder using convolution neural network
Luo et al. Exploring adaptive graph topologies and temporal graph networks for eeg-based depression detection
KUMAR et al. ZEALOUS PARTICLE SWARM OPTIMIZATION BASED RELIABLE MULTI-LAYER PERCEPTRON NEURAL NETWORKS FOR AUTISM SPECTRUM DISORDER CLASSIFICATION
Fouad et al. Attempts towards the first brain-computer interface system in INAYA Medical College
Vicente et al. Artificial Intelligence in Neuroscience: Affective Analysis and Health Applications: 9th International Work-Conference on the Interplay Between Natural and Artificial Computation, IWINAC 2022, Puerto de la Cruz, Tenerife, Spain, May 31–June 3, 2022, Proceedings, Part I
Sweeney-Fanelli et al. Automated Emotion Recognition Employing Wearable ECG Sensor and Deep-Learning
Mohamed et al. Recurrent Neural Networks (RNNs) to improve EEG-based person identification
CN111460952B (zh) 一种精神分裂症面部识别规则的生成方法、系统和预测系统
Bobić Decision support system for assessment of patients with neurodegenerative disorders
Zhang Personalized and Weakly Supervised Learning for Parkinson's Disease Symptom Detection
Iqbal et al. Effect of EOG Artifact Removal on EEG Motor-Imagery Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030751

Country of ref document: HK