CN106963372B - 一种脑电-肌电信号融合装置及融合方法 - Google Patents

一种脑电-肌电信号融合装置及融合方法 Download PDF

Info

Publication number
CN106963372B
CN106963372B CN201710229265.2A CN201710229265A CN106963372B CN 106963372 B CN106963372 B CN 106963372B CN 201710229265 A CN201710229265 A CN 201710229265A CN 106963372 B CN106963372 B CN 106963372B
Authority
CN
China
Prior art keywords
signal
module
operator
acquisition
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710229265.2A
Other languages
English (en)
Other versions
CN106963372A (zh
Inventor
赵小川
付成龙
刘培志
赵继鹏
瞿蓉
范炳远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China North Computer Application Technology Research Institute
Original Assignee
China North Computer Application Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China North Computer Application Technology Research Institute filed Critical China North Computer Application Technology Research Institute
Priority to CN201710229265.2A priority Critical patent/CN106963372B/zh
Publication of CN106963372A publication Critical patent/CN106963372A/zh
Application granted granted Critical
Publication of CN106963372B publication Critical patent/CN106963372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6824—Arm or wrist
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7242—Details of waveform analysis using integration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F7/00—Heating or cooling appliances for medical or therapeutic treatment of the human body
    • A61F2007/0001—Body part
    • A61F2007/0002—Head or parts thereof

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Vascular Medicine (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种脑电‑肌电信号融合装置，包括：脑电采集头盔，其采集脑电信号并捕捉大脑思维意图；采集视区内视频信号并识别映射；采集头部温度信号并对头部进行降温处理；肌电采集装置，其采集手势指控动作的肌电信号，并根据肌电信号识别指控动作；嵌入式计算机，其与脑电采集头盔和肌电采集装置信号连接，接收脑电信号和肌电信号并融合处理，检测出操作者的指控动作的意图，确定操作者正确的指控动作，并向操作者显示指控动作的内容。本发明还公开了一种脑电‑肌电信号融合方法。本发明的有益效果：能够捕捉快速大脑思维意图，识别手势指控动作，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性。

Description

一种脑电-肌电信号融合装置及融合方法
技术领域
本发明涉及人工交互技术领域，具体而言，涉及一种脑电-肌电信号融合装置及融合方法。
背景技术
肌电信号是一种由神经肌肉活动产生的生物电信号，蕴含了很多与肢体运动相关联的信息，是肌肉的生物电活动在皮肤表面处时间和空间上的综合结果。脑电信号是一种非常微弱的非平稳信号，包含了大量脑神经细胞的电生理活动信息，体现了人的思维活动和肢体动作行为。根据肌电信号和脑电信号的特点，将两者结合应用到了人机交互领域。目前，人机交互中手势交互是最直接的操作方法，但目前的手势交互存在无法正确捕捉大脑意图，造成误触发等问题。
发明内容
为解决上述问题，本发明的目的在于提供一种脑电-肌电信号融合装置及融合方法，能够捕捉快速大脑思维意图，识别手势指控动作，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性。
本发明提供了一种脑电-肌电信号融合装置，包括：
脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；
肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；
嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。
作为本发明进一步的改进，所述脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉AR增强现实信息显示模块；
所述传感电极阵列包括均匀布置在所述头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，所述脑电电极通过导线与所述脑电采集模块连接，所述脑电采集模块与所述脑电处理模块连接；所述视知觉AR增强现实信息显示模块包括镜片显示器和摄像头，所述镜片显示器和所述摄像头均与所述脑电处理模块连接；所述头部微环境温度调控模块包括降温模块和均匀布置在所述头盔本体内部的若干个温度传感器，所述降温模块和所述温度传感器与所述脑电处理模块连接；
所述脑电电极接收操作者的脑电信号，所述脑电采集模块采集所述脑电信号，所述头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，所述视知觉AR增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；所述脑电处理模块接收所述脑电信号捕捉操作者的大脑思维意图；所述脑电处理模块接收所述头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给所述头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；所述脑电处理模块接收所述视频数据，并对视频数据进行识别，将该视频映射在所述视知觉AR增强现实信息显示模块内的镜片显示器中。
作为本发明进一步的改进，所述脑电电极为梳状电极。
作为本发明进一步的改进，所述脑电处理模块包括第一放大电路、第一滤波电路、第一A/D转换电路、第一FPGA处理器和第一无线传输模块；
所述脑电电极的输出端与所述脑电采集模块的输入端连接，所述脑电采集模块的输出端与所述第一放大电路的输入端连接，所述第一放大电路的输出端与所述第一滤波电路的输入端连接，所述第一滤波电路的输出端与所述第一A/D转换电路的输入端连接，所述第一A/D转换电路的输出端与所述第一FPGA处理器的输入端连接，所述第一FPGA处理器的输出端通过所述第一无线传输模块与所述嵌入式计算机连接；
所述脑电电极接收操作者的脑电信号并将脑电信号作为所述脑电采集模块的输入信号，所述脑电采集模块输出的信号依次经过所述第一放大电路、所述第一滤波电路、所述第一A/D转换电路后进入所述第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述第一无线传输模块传输至所述嵌入式计算机进行融合处理。
作为本发明进一步的改进，所述肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，所述肌电电极粘贴在操作者皮肤表面，所述肌电电极通过导线与所述肌电采集模块连接，所述肌电采集模块与所述肌电处理模块连接；
每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。
作为本发明进一步的改进，所述肌电处理模块包括第二放大电路、第二滤波电路、第二A/D转换电路、第二FPGA处理器和第二无线传输模块；
所述肌电电极的输出端与所述肌电采集模块的输入端连接，所述肌电采集模块的输出端与所述第二放大电路的输入端连接，所述第二放大电路的输出端与所述第二滤波电路的输入端连接，所述第二滤波电路的输出端与所述第二A/D转换电路的输入端连接，所述第二A/D转换电路的输出端与所述第二FPGA处理器的输入端连接，所述第二FPGA处理器的输出端通过所述第二无线传输模块与所述嵌入式计算机连接；
所述肌电电极接收操作者的肌电信号并将该肌电信号作为所述肌电采集模块的输入信号，所述肌电采集模块输出的信号依次经过所述第二放大电路、所述第二滤波电路、所述第二A/D转换电路后进入所述第二FPGA处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述第二无线传输模块传输至所述嵌入式计算机进行融合处理。
作为本发明进一步的改进，所述嵌入式计算机内设置有第三FPGA处理器和第三无线传输模块；
所述第一FPGA处理器处理后的大脑思维意图信号通过所述第一无线传输模块送入所述第三FPGA处理器的输入端，所述第二FPGA处理器处理后的指控动作信号通过所述第二无线传输模块送入所述第三FPGA处理器的输入端，所述第三FPGA处理器的输出端通过所述第三无线传输模块与所述镜片显示器连接；
所述第三FPGA处理器分别对所述大脑思维意图信号和所述指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容。
本发明还提供了一种脑电-肌电信号融合方法，该方法包括：
步骤1，脑电采集头盔上设置的视知觉AR增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；
步骤2，所述视频数据通过所述脑电处理模块中的第一无线传输模块传输至所述嵌入式计算机内设置的第三FPGA处理器对视频数据进行识别，并将该视频映射在视知觉AR增强现实信息显示模块内的镜片显示器中；
步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，所述脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；
采集后的脑电信号经过脑电处理模块中的第一放大电路、第一滤波电路、第一A/D转换电路后进入第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述脑电处理模块中的第一无线传输模块传输至所述第三FPGA处理器进行融合处理；
采集后的头部温度信号经过所述第一FPGA处理器处理感知操作者运动时的头部温度，当头部温度高于预先设定的温度阈值时，所述第一FPGA处理器将降温信号反馈给头部微环境温度调控模块上的降温模块对头部进行降温处理；
步骤4，肌电采集装置上的肌电采集模块通过环形阵列方式布置在操作者小臂上的若干个肌电电极采集肌电信号，其中，每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号，采集后的肌电信号经过肌电处理模块中的第二放大电路、第二滤波电路、第二A/D转换电路后进入第二FPGA处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述处理模块中的第二无线传输模块传输至所述第三FPGA处理器进行融合处理；
步骤5，所述第三FPGA处理器对获取的大脑思维意图信号和指控动作信号进行分类训练、模式识别、特征融合，融合后进行意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述嵌入式计算机内的第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容，便于与操作者的下一步交互。
作为本发明进一步的改进，步骤3中，采集后的多个通道的脑电信号经过放大、滤波滤除干扰、A/D转换后成为数字脑电信号，将数字脑电信号传输至第一FPGA处理器中，所述第一FPGA处理器接收到数字脑电信号后，采用小波变换对脑电信号进行消噪处理，通过排列组合熵对脑电信号进行提取，得到脑电信号的特征向量；同时，采集的脑电信号分为两组，一组用于SVM训练，一组用于D-S验证；
步骤4中，采集后的肌电信号经过放大、滤波滤除干扰、A/D转换后成为数字肌电信号，将数字肌电信号传输至第二FPGA处理器中，所述第二FPGA处理器接收到数字肌电信号后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作的起止位置，减少计算量和去除与动作无关的新号段，求取基本尺度熵，通过基本尺度熵对肌电信号进行特征提取，得到肌电信号的特征向量，同时，采集的肌电信号分为两组，一组用于SVM训练，一组用于D-S验证；
步骤5中，所述第三FPGA处理器对脑电信号和肌电信号进行模式预分类，构造两个多类SVM分类器；
用脑电信号的训练样本对第一SVM分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过所述第一SVM分类器进行识别，得到基本概率赋值；
用肌电信号的训练样本对第二SVM分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过所述第二SVM分类器进行识别，得到基本概率赋值；
将所述第一SVM分类器输出的识别结果和所述第二SVM分类器输出的识别结果经D-S证据融合后，根据判决规则得到最后的识别结果。
本发明的有益效果为：
1、能够捕捉快速大脑思维意图，识别手势指控动作，由于有机地融合了人体脑电与肌电信号，能够检测出士兵指控动作的意图，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性；
2、针对脑电电极阵列拓扑结构特点，设立头戴式网格化的变刚度电极稳定支架，材料半固化，可降低因头部颠簸、振动等引起的运动伪迹，解决现有脑电传感电极在运动场景下存在滑动或接触不稳等运动伪迹干扰，提升采集高质脑电信息的长期稳定性；
3、通过头部微环境温度调控模块的散热结构设计，实现对头部温度场进行有效调节，可减弱采集过程因环境温度过高或其它因素(如大活动量)而引起的出汗对脑电基线漂移、信号短接等严重影响(出汗伪迹)；
4、通过脑电采集头盔、肌电采集装置和嵌入式计算机内的单独设计的FPGA处理器，使得脑电采集头盔、肌电采集装置和嵌入式计算机内的信号可以并行进行处理，加快了处理的速度，提高了信号处理的效率，信号之间互不干扰，提高了信号处理的准确度，进一步避免了信号干扰导致的误触发。
附图说明
图1为本发明实施例所述的一种脑电-肌电信号融合装置的结构示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例1，如图1所示，本发明第一实施例的一种脑电-肌电信号融合装置，包括脑电采集头盔、肌电采集装置和嵌入式计算机。脑电采集头盔用于采集操作者的脑电信号，并根据脑电信号捕捉操作者的大脑思维意图；脑电采集头盔采集操作者视区内的视频信号，并根据视频信号进行识别映射；脑电采集头盔采集操作者头部温度信号，并根据温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理。肌电采集装置用于采集操作者的手势指控动作的肌电信号，并根据肌电信号识别操作者的指控动作。嵌入式计算机与脑电采集头盔和肌电采集装置信号连接，嵌入式计算机接收脑电信号和肌电信号，并将这两种信号进行融合处理，嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。
进一步的，脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉AR增强现实信息显示模块。
传感电极阵列包括均匀布置在头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，脑电电极通过导线与脑电采集模块连接，脑电采集模块与脑电处理模块连接；视知觉AR增强现实信息显示模块包括镜片显示器和摄像头，镜片显示器和摄像头均与脑电处理模块连接；头部微环境温度调控模块包括降温模块和均匀布置在头盔本体内部的若干个温度传感器，降温模块和温度传感器与脑电处理模块连接。脑电电极接收操作者的脑电信号，脑电采集模块采集脑电信号，头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，视知觉AR增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；脑电处理模块接收脑电信号捕捉操作者的大脑思维意图；脑电处理模块接收头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；脑电处理模块接收视频数据，并对视频数据进行识别，将该视频映射在视知觉AR增强现实信息显示模块内的镜片显示器中。
其中，脑电处理模块包括第一放大电路、第一滤波电路、第一A/D转换电路、第一FPGA处理器和第一无线传输模块；
脑电电极的输出端与脑电采集模块的输入端连接，脑电采集模块的输出端与第一放大电路的输入端连接，第一放大电路的输出端与第一滤波电路的输入端连接，第一滤波电路的输出端与第一A/D转换电路的输入端连接，第一A/D转换电路的输出端与第一FPGA处理器的输入端连接，第一FPGA处理器的输出端通过第一无线传输模块与嵌入式计算机连接；
脑电电极接收操作者的脑电信号并将脑电信号作为脑电采集模块的输入信号，脑电采集模块输出的信号依次经过第一放大电路、第一滤波电路、第一A/D转换电路后进入第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过第一无线传输模块传输至嵌入式计算机进行融合处理。
优选的，脑电电极为梳状电极，在电极近端通过第一放大电路形成有源电极，将原始微弱的脑电信号进行原位放大后再进行传输，提高脑电信号抗干扰性。
进一步的，肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，肌电电极粘贴在操作者皮肤表面，肌电电极通过导线与肌电采集模块连接，肌电采集模块与肌电处理模块连接；
每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。
其中，肌电处理模块包括第二放大电路、第二滤波电路、第二A/D转换电路、第二FPGA处理器和第二无线传输模块；
肌电电极的输出端与肌电采集模块的输入端连接，肌电采集模块的输出端与第二放大电路的输入端连接，第二放大电路的输出端与第二滤波电路的输入端连接，第二滤波电路的输出端与第二A/D转换电路的输入端连接，第二A/D转换电路的输出端与第二FPGA处理器的输入端连接，第二FPGA处理器的输出端通过第二无线传输模块与嵌入式计算机连接；
肌电电极接收操作者的肌电信号并将该肌电信号作为肌电采集模块的输入信号，肌电采集模块输出的信号依次经过第二放大电路、第二滤波电路、第二A/D转换电路后进入第二FPGA处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过第二无线传输模块传输至嵌入式计算机进行融合处理。
进一步的，嵌入式计算机内设置有第三FPGA处理器和第三无线传输模块；
第一FPGA处理器处理后的大脑思维意图信号通过第一无线传输模块送入第三FPGA处理器的输入端，第二FPGA处理器处理后的指控动作信号通过第二无线传输模块送入第三FPGA处理器的输入端，第三FPGA处理器的输出端通过第三无线传输模块与镜片显示器连接；
第三FPGA处理器分别对大脑思维意图信号和指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过第三无线传输模块传输至镜片显示器，并在镜片显示器显示该内容。
本发明的脑电采集头盔针对脑电信号传输过程中易受外部复杂环境干扰等问题，采用了一种梳状柱阵列电极体结构，并在电极近端集成放大模块形成有源电极，将原始微弱脑电信号进行原位放大后再进行传输，提高脑电信号抗干扰性。针对脑电电极阵列拓扑结构特点，通过头戴式脑电电极稳定支架空间力学建模、刚度各向异性的支架稳定设计以及采用半固化仿形材料，实现基于变刚度和双层结构的电极稳定支架，解决现有脑电传感电极在运动场景下存在滑动或接触不稳等运动伪迹干扰。利用微型制冷与热交换技术，通过微尺度散热结构设计，实现对头部温度场进行有效调节，可解决在复杂战场环境下由于头部环境温度过高或其它因素(大活动量)而引起的出汗对脑电信号采集的严重影响，即出汗伪迹。通过脑电采集头盔、肌电采集装置和嵌入式计算机内的单独设计的FPGA处理器，使得脑电采集头盔、肌电采集装置和嵌入式计算机内的信号可以并行进行处理，加快了处理的速度，提高了信号处理的效率，信号之间互不干扰，提高了信号处理的准确度，进一步避免了信号干扰导致的误触发。
实施例2，本发明第二实施例所述的一种脑电-肌电信号融合方法，该方法包括：
步骤1，脑电采集头盔上设置的视知觉AR增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；
步骤2，视频数据通过脑电处理模块中的第一无线传输模块传输至嵌入式计算机内设置的第三FPGA处理器对视频数据进行识别，并将该视频映射在视知觉AR增强现实信息显示模块内的镜片显示器中；
步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；
采集后的多个通道的脑电信号经过放大、滤波滤除干扰、A/D转换后成为数字脑电信号，将数字脑电信号传输至第一FPGA处理器中，第一FPGA处理器接收到数字脑电信号后，采用小波变换对脑电信号进行消噪处理，通过排列组合熵对脑电信号进行提取，得到脑电信号的特征向量；同时，采集的脑电信号分为两组，一组用于SVM训练，一组用于D-S验证；获取操作者的大脑思维意图信号，并通过脑电处理模块中的第一无线传输模块传输至第三FPGA处理器进行融合处理；
采集后的头部温度信号经过第一FPGA处理器处理感知操作者运动时的头部温度，当头部温度高于预先设定的温度阈值时，第一FPGA处理器将降温信号反馈给头部微环境温度调控模块上的降温模块对头部进行降温处理；
步骤4，肌电采集装置上的肌电采集模块通过环形阵列方式布置在操作者小臂上的若干个肌电电极采集肌电信号，其中，每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号，采集后的肌电信号经过放大、滤波滤除干扰、A/D转换后成为数字肌电信号，将数字肌电信号传输至第二FPGA处理器中，第二FPGA处理器接收到数字肌电信号后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作的起止位置，减少计算量和去除与动作无关的新号段，求取基本尺度熵，通过基本尺度熵对肌电信号进行特征提取，得到肌电信号的特征向量，同时，采集的肌电信号分为两组，一组用于SVM训练，一组用于D-S验证；获取操作者的指控动作信号，并通过处理模块中的第二无线传输模块传输至第三FPGA处理器进行融合处理；
步骤5，第三FPGA处理器对获取的大脑思维意图信号和指控动作信号进行模式预分类，构造两个多类SVM分类器；
用脑电信号的训练样本对第一SVM分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过第一SVM分类器进行识别，得到基本概率赋值；
用肌电信号的训练样本对第二SVM分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过第二SVM分类器进行识别，得到基本概率赋值；
将第一SVM分类器输出的识别结果和第二SVM分类器输出的识别结果经D-S证据融合后，根据判决规则得到最后的识别结果；
融合后进行意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过嵌入式计算机内的第三无线传输模块传输至镜片显示器，并在镜片显示器显示该内容，便于与操作者的下一步交互。
本发明的特征融合方法不仅仅限于SVM和D-S融合，还可以采用神经网络、小波变换、模糊数学、进化计算等融合方法，主要都是解决意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种脑电-肌电信号融合装置，其特征在于，包括：
脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；其中，采集的脑电信号经过放大、滤波滤出干扰、A/D转换后，采用小波变化进行消噪处理，通过排列组合熵对脑电信号进行提取得到特征向量，采集的脑电信号分为两组，一组用于SVM训练，一组用于D-S验证；
肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；其中，采集的肌电信号经过放大、滤波滤出干扰、A/D转换后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作起止位置，减少计算量和去除与动作无关的信号段，求取基本尺度熵后进行特征提取得到特征向量，采集的肌电信号分为两组，一组用于SVM训练，一组用于D-S验证；
嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容；其中，对脑电信号和肌电信号进行模式预分类，构造两个多类SVM分类器，用脑电信号的训练样本对第一SVM分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过所述第一SVM分类器进行识别，得到基本概率赋值，用肌电信号的训练样本对第二SVM分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过所述第二SVM分类器进行识别，得到基本概率赋值，将所述第一SVM分类器输出的识别结果和所述第二SVM分类器输出的识别结果经D-S证据融合后，根据判决规则得到最后的识别结果后剔除误触发动作。
2.根据权利要求1所述的脑电-肌电信号融合装置，其特征在于，所述脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉AR增强现实信息显示模块；
所述传感电极阵列包括均匀布置在所述头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，所述脑电电极通过导线与所述脑电采集模块连接，所述脑电采集模块与所述脑电处理模块连接；所述视知觉AR增强现实信息显示模块包括镜片显示器和摄像头，所述镜片显示器和所述摄像头均与所述脑电处理模块连接；所述头部微环境温度调控模块包括降温模块和均匀布置在所述头盔本体内部的若干个温度传感器，所述降温模块和所述温度传感器与所述脑电处理模块连接；
所述脑电电极接收操作者的脑电信号，所述脑电采集模块采集所述脑电信号，所述头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，所述视知觉AR增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；所述脑电处理模块接收所述脑电信号捕捉操作者的大脑思维意图；所述脑电处理模块接收所述头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给所述头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；所述脑电处理模块接收所述视频数据，并对视频数据进行识别，将该视频映射在所述视知觉AR增强现实信息显示模块内的镜片显示器中。
3.根据权利要求2所述的脑电-肌电信号融合装置，其特征在于，所述脑电电极为梳状电极。
4.根据权利要求2所述的脑电-肌电信号融合装置，其特征在于，所述脑电处理模块包括第一放大电路、第一滤波电路、第一A/D转换电路、第一FPGA处理器和第一无线传输模块；
所述脑电电极的输出端与所述脑电采集模块的输入端连接，所述脑电采集模块的输出端与所述第一放大电路的输入端连接，所述第一放大电路的输出端与所述第一滤波电路的输入端连接，所述第一滤波电路的输出端与所述第一A/D转换电路的输入端连接，所述第一A/D转换电路的输出端与所述第一FPGA处理器的输入端连接，所述第一FPGA处理器的输出端通过所述第一无线传输模块与所述嵌入式计算机连接；
所述脑电电极接收操作者的脑电信号并将脑电信号作为所述脑电采集模块的输入信号，所述脑电采集模块输出的信号依次经过所述第一放大电路、所述第一滤波电路、所述第一A/D转换电路后进入所述第一FPGA处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述第一无线传输模块传输至所述嵌入式计算机进行融合处理。
5.根据权利要求4所述的脑电-肌电信号融合装置，其特征在于，所述肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，所述肌电电极粘贴在操作者皮肤表面，所述肌电电极通过导线与所述肌电采集模块连接，所述肌电采集模块与所述肌电处理模块连接；
每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。
6.根据权利要求5所述的脑电-肌电信号融合装置，其特征在于，所述肌电处理模块包括第二放大电路、第二滤波电路、第二A/D转换电路、第二FPGA处理器和第二无线传输模块；
所述肌电电极的输出端与所述肌电采集模块的输入端连接，所述肌电采集模块的输出端与所述第二放大电路的输入端连接，所述第二放大电路的输出端与所述第二滤波电路的输入端连接，所述第二滤波电路的输出端与所述第二A/D转换电路的输入端连接，所述第二A/D转换电路的输出端与所述第二FPGA处理器的输入端连接，所述第二FPGA处理器的输出端通过所述第二无线传输模块与所述嵌入式计算机连接；
所述肌电电极接收操作者的肌电信号并将该肌电信号作为所述肌电采集模块的输入信号，所述肌电采集模块输出的信号依次经过所述第二放大电路、所述第二滤波电路、所述第二A/D转换电路后进入所述第二FPGA处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述第二无线传输模块传输至所述嵌入式计算机进行融合处理。
7.根据权利要求6所述的脑电-肌电信号融合装置，其特征在于，所述嵌入式计算机内设置有第三FPGA处理器和第三无线传输模块；
所述第一FPGA处理器处理后的大脑思维意图信号通过所述第一无线传输模块送入所述第三FPGA处理器的输入端，所述第二FPGA处理器处理后的指控动作信号通过所述第二无线传输模块送入所述第三FPGA处理器的输入端，所述第三FPGA处理器的输出端通过所述第三无线传输模块与所述镜片显示器连接；
所述第三FPGA处理器分别对所述大脑思维意图信号和所述指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容。
8.一种脑电-肌电信号融合方法，其特征在于，该方法包括：
步骤1，脑电采集头盔上设置的视知觉AR增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；
步骤2，所述视频数据通过所述脑电处理模块中的第一无线传输模块传输至嵌入式计算机内设置的第三FPGA处理器对视频数据进行识别，并将该视频映射在视知觉AR增强现实信息显示模块内的镜片显示器中；
步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，所述脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；
采集后的多个通道的脑电信号经过放大、滤波滤除干扰、A/D转换后成为数字脑电信号，将数字脑电信号传输至第一FPGA处理器中，所述第一FPGA处理器接收到数字脑电信号后，采用小波变换对脑电信号进行消噪处理，通过排列组合熵对脑电信号进行提取，得到脑电信号的特征向量；同时，采集的脑电信号分为两组，一组用于SVM训练，一组用于D-S验证；
获取操作者的大脑思维意图信号，并通过所述脑电处理模块中的第一无线传输模块传输至所述第三FPGA处理器进行融合处理；
采集后的头部温度信号经过所述第一FPGA处理器处理感知操作者运动时的头部温度，当头部温度高于预先设定的温度阈值时，所述第一FPGA处理器将降温信号反馈给头部微环境温度调控模块上的降温模块对头部进行降温处理；
步骤4，肌电采集装置上的肌电采集模块通过环形阵列方式布置在操作者小臂上的若干个肌电电极采集肌电信号，其中，每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号，采集后的肌电信号经过放大、滤波滤除干扰、A/D转换后成为数字肌电信号，将数字肌电信号传输至第二FPGA处理器中，所述第二FPGA处理器接收到数字肌电信号后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作的起止位置，减少计算量和去除与动作无关的新号段，求取基本尺度熵，通过基本尺度熵对肌电信号进行特征提取，得到肌电信号的特征向量，同时，采集的肌电信号分为两组，一组用于SVM训练，一组用于D-S验证；获取操作者的指控动作信号，并通过所述处理模块中的第二无线传输模块传输至所述第三FPGA处理器进行融合处理；
步骤5，所述第三FPGA处理器对脑电信号和肌电信号进行模式预分类，构造两个多类SVM分类器；用脑电信号的训练样本对第一SVM分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过所述第一SVM分类器进行识别，得到基本概率赋值；用肌电信号的训练样本对第二SVM分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过所述第二SVM分类器进行识别，得到基本概率赋值；将所述第一SVM分类器输出的识别结果和所述第二SVM分类器输出的识别结果经D-S证据融合后，根据判决规则得到最后的识别结果；融合后进行意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述嵌入式计算机内的第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容，便于与操作者的下一步交互。
CN201710229265.2A 2017-04-10 2017-04-10 一种脑电-肌电信号融合装置及融合方法 Active CN106963372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710229265.2A CN106963372B (zh) 2017-04-10 2017-04-10 一种脑电-肌电信号融合装置及融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710229265.2A CN106963372B (zh) 2017-04-10 2017-04-10 一种脑电-肌电信号融合装置及融合方法

Publications (2)

Publication Number Publication Date
CN106963372A CN106963372A (zh) 2017-07-21
CN106963372B true CN106963372B (zh) 2019-10-18

Family

ID=59337353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710229265.2A Active CN106963372B (zh) 2017-04-10 2017-04-10 一种脑电-肌电信号融合装置及融合方法

Country Status (1)

Country Link
CN (1) CN106963372B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357311B (zh) * 2017-07-28 2020-03-24 南京航空航天大学 一种基于混合控制技术的无人机侦察系统
CN107817731A (zh) * 2017-11-27 2018-03-20 中国兵器工业计算机应用技术研究所 融合肌电和脑电信息的无人平台操控系统及操控方法
CN107957783B (zh) * 2017-12-21 2020-09-18 北京航天测控技术有限公司 一种基于脑电与肌电信息的多模式智能控制系统及方法
CN108021235B (zh) * 2017-12-27 2021-03-09 Oppo广东移动通信有限公司 触发操作的方法、装置、终端及存储介质
CN108261194A (zh) * 2018-02-23 2018-07-10 上海优加利健康管理有限公司 一种血压监护设备
CN109164906A (zh) * 2018-06-15 2019-01-08 深圳市环球易购电子商务有限公司 多电波控制方法及装置
CN109222957B (zh) * 2018-08-29 2020-11-10 西安电子科技大学 一种自动化ecg测量系统
CN109620651B (zh) * 2018-11-16 2020-03-31 中国科学技术大学 基于同步脑肌电的智能辅助康复设备
EP3671409A1 (en) * 2018-12-19 2020-06-24 Siemens Aktiengesellschaft A human-machine interface
WO2020204809A1 (en) * 2019-03-29 2020-10-08 Agency For Science, Technology And Research Classifying signals for movement control of an autonomous vehicle
TWI750765B (zh) * 2020-08-10 2021-12-21 奇美醫療財團法人奇美醫院 局部腦電信號增強之方法及腦電極

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4078419B2 (ja) * 2003-06-18 2008-04-23 独立行政法人産業技術総合研究所 ポインティングデバイス
CN101776981B (zh) * 2010-01-07 2011-11-16 天津大学 脑电与肌电联合控制鼠标的方法
CN103315737B (zh) * 2013-06-18 2015-04-15 上海交通大学 佩戴式多通道表面肌电信号采集臂环
CN104138258A (zh) * 2014-07-18 2014-11-12 燕山大学 一种便携式脑肌电同步采集装置
CN104739404B (zh) * 2015-04-08 2017-08-11 苏州格林泰克科技有限公司 一种可穿戴式生物电信号采集装置
CN106227354A (zh) * 2016-08-31 2016-12-14 博睿康科技（常州）股份有限公司 一种脑机交互穿戴系统

Also Published As

Publication number Publication date
CN106963372A (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN106963372B (zh) 一种脑电-肌电信号融合装置及融合方法
Fang et al. A multichannel surface EMG system for hand motion recognition
CN101339455B (zh) 基于人脸识别特异性波n170成分的脑机接口系统
Rao et al. Brain-computer interfacing [in the spotlight]
CN108334766B (zh) 电子装置、解锁方法及相关产品
CN103793058A (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
CN107212883B (zh) 一种基于脑电控制的机械臂写字装置及控制方法
Mohammad Rezazadeh et al. A novel human–machine interface based on recognition of multi-channel facial bioelectric signals
CN107193374B (zh) 一种主动故意手势动作的检测装置及检测方法
CN105962935A (zh) 用于运动学习功能改善的脑电神经反馈训练系统及其方法
CN112363627A (zh) 基于脑机交互的注意力训练方法和系统
KR102057705B1 (ko) 동작 인식을 위한 지능형 장치 및 그 제어 방법
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN107480716A (zh) 一种结合eog和视频的扫视信号识别方法及系统
Gorur et al. Glossokinetic potential based tongue–machine interface for 1-D extraction
CN109805923A (zh) 可穿戴设备、信号处理方法及装置
CN110231864A (zh) 变电站虚拟环境中的精准手势识别方法
Guo et al. NAO robot limb control method based on motor imagery EEG
CN108391049A (zh) 拍摄控制方法及相关设备
Li et al. Emotion recognition based on low-cost in-ear EEG
Bandara et al. Differentiation of signals generated by eye blinks and mouth clenching in a portable brain computer interface system
Bhatlawande et al. Multimodal emotion recognition based on the fusion of vision, EEG, ECG, and EMG signals
Nawawi et al. ECG in Real World Scenario: Time Variability in Biometric Using Wearable Smart Textile Shirts
CN109044350A (zh) 一种脑电信号采集装置及检测方法
CN118519539B (zh) 基于头动信号和ssvep的多模态脑机接口字符输入方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant