CN109656365B - 一种基于实时闭环振动刺激增强的脑机接口方法及系统 - Google Patents

一种基于实时闭环振动刺激增强的脑机接口方法及系统 Download PDF

Info

Publication number
CN109656365B
CN109656365B CN201811553136.XA CN201811553136A CN109656365B CN 109656365 B CN109656365 B CN 109656365B CN 201811553136 A CN201811553136 A CN 201811553136A CN 109656365 B CN109656365 B CN 109656365B
Authority
CN
China
Prior art keywords
digital
brain
real
phase
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811553136.XA
Other languages
English (en)
Other versions
CN109656365A (zh
Inventor
宋爱国
张文彬
曾洪
徐宝国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811553136.XA priority Critical patent/CN109656365B/zh
Priority to PCT/CN2019/079096 priority patent/WO2020124838A1/zh
Priority to US16/977,751 priority patent/US11379039B2/en
Publication of CN109656365A publication Critical patent/CN109656365A/zh
Application granted granted Critical
Publication of CN109656365B publication Critical patent/CN109656365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Discrete Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于实时闭环振动刺激增强的脑机接口方法及系统，包括：将运动想象任务显示提供于受试者，并采集产生的数字脑电信号；读取数字脑电信号并判断是否超过预设时段,是则截取，否则继续读取；进行带通滤波，采用快速傅里叶变换计算得到数字脑电信号的时频特征并提取频率能量最高的频率值作为主频率；并采用希尔伯特变换计算得到数字脑电信号的瞬时相位；以主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波且预测获取实时相位信息；判断是否在施加振动刺激的相位区间，并生成和输出控制指令，根据控制指令控制振动电机振动刺激受试者的感觉通道。本发明提高了脑机接口系统的信噪比，增强了运动想象信号的识别率。

Description

一种基于实时闭环振动刺激增强的脑机接口方法及系统
技术领域
本发明涉及一种基于实时闭环振动刺激增强的脑机接口方法及系统，属于脑机接口技术领域。
背景技术
1999年召开的第一次脑机接口国际会议给出了脑机接口的定义，即脑-机接口是一种不依赖于正常的由外周神经和肌肉组成的输出通路的通讯系统。脑机接口的生物学原理是大脑在进行思维活动、产生动作意识或受外界刺激时。神经细胞将产生几十毫伏的微电活动，大量神经细胞的电活动传到头皮表层形成脑电波。脑-机接口(BCI)是以脑电信号或其他相关技术为基础，将大脑活动特征转化为预定义的命令，从而实现与外界交流或者控制其他外部设备的先进技术。
由头皮上放置电极方法提取的脑电信号称为头皮脑电信号(EEG)，由于从大脑到头皮之间存在脑膜、颅骨和多层组织的阻隔，所以EEG信号的信噪比很低，难以提取到稳定可靠的信号，这在对外部设备的控制中是一个较严重的问题，严重影响了脑机接口的应用范围。同时不同个体间的脑电信号也存在差异，研究表明大约有30％的人使用脑机接口时解码率较低，以至于难以实现大脑与外界环境的交流和控制，我们把这一类人称为‘’BCI盲‘’。所以如何提高BCI的解码率等实际表现是脑机接口的一个关键问题。
BCI用户可以通过简单地执行想象左手或右手运动来启动大脑控制。手部运动的动觉想象在受试者的感觉运动皮层中产生事件相关同步(ERD/ERS)。事件相关同步定义为特定频带(例如α波段8-13Hz)的功率减少或增加。通常，运动想象诱导的ERD活动侧向对侧半球，即运动想象诱导对侧感觉运动皮层中的ERD，这些侧向皮质活动构成了基于运动想象的脑机接口的神经生理学基础。
解决BCI发展所面临问题的潜在方法是采用触觉。与视觉刺激相比，触觉感觉产生较少的视觉疲劳，让使用者不会过度疲劳。人的触觉感受器主要是分布于表层皮肤中的麦斯纳小体，感受皮肤的轻压刺激；梅氏小体主要负责感受触觉；较为深层的巴西尼环层小体，主要感受压觉；还有品库斯小体及许多神经末梢、触盘等。其中，梅氏小体位于与主脊相邻并且最靠近皮肤表面的尖端。这些在低频振动(1-40Hz)信号传导中特别有效，因此在检测感觉振动中起着重要作用。
越来越多的研究表明，非侵入性的电刺激可以在锁定潜在的大脑节律时更有效地调节神经活动。振动刺激有可能潜在的与自然震荡同相位，但由于EEG信号的复杂性与时变性，匹配人体自发的震荡是一项具有挑战性的问题。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足，针对脑电信号本身的非线性、非平稳、非高斯过程等特征的问题，提供一种基于实时闭环振动刺激增强的脑机接口方法及系统，提高了脑机接口系统的信噪比，增强脑源信号。
本发明具体采用以下技术方案解决上述技术问题：
一种基于实时闭环振动刺激增强的脑机接口方法，包括以下步骤：
将运动想象任务显示提供于受试者，并采集受试者运动想象时产生的数字脑电信号；
读取所采集的数字脑电信号并判断是否超过预设时段,是则截取预设时段内的数字脑电信号，否则继续读取所采集的数字脑电信号；
对所截取预设时段内的数字脑电信号进行带通滤波后，采用快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高的频率值作为其主频率；并对带通滤波后的数字脑电信号采用希尔伯特变换计算得到该段数字脑电信号的瞬时相位；以该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取当前时刻下的实时相位信息；
根据预测获取的当前时刻下的实时相位信息判断是否在施加振动刺激的相位区间，并根据判断结果生成和输出控制指令，根据控制指令控制振动电机振动刺激受试者的感觉通道。
进一步地，作为本发明的一种优选技术方案，所述方法中运动想象任务包括左手或右手运动想象动作。
进一步地，作为本发明的一种优选技术方案，所述方法中对所截取预设时段内数字脑电信号进行α波段的带通滤波。
进一步地，作为本发明的一种优选技术方案，所述方法中采用希尔伯特变变换计算得到该段数字脑电信号的瞬时相位，采用公式：
Figure GDA0002931629920000021
Figure GDA0002931629920000031
其中，y(t)是对x(t)执行希尔伯特变换后的数字脑电信号；x(t)是带通滤波后的这段数字脑电信号；p和v是柯西主值意义上的积分；θx(t)是t时刻的瞬时相位。
进一步地，作为本发明的一种优选技术方案，所述方法中生成的预测正弦波fs具体为：
Figure GDA0002931629920000032
其中，fmain为截取预设时段内数字脑电信号的主频率；tf是预测波形的长度；θx(t)是t时刻的瞬时相位。
本发明提出的一种基于实时闭环振动刺激增强的脑机接口系统，包括：
人机交互模块，用于将运动想象任务显示提供于受试者；
脑电信号采集模块，用于采集受试者运动想象时产生的数字脑电信号；
实时相位预测模块，用于读取所采集的数字脑电信号并判断是否超过预设时段,是则截取预设时段内的数字脑电信号，否则继续读取所采集的数字脑电信号；及用于对所截取预设时段内的数字脑电信号进行带通滤波后，通过快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高的频率值作为其主频率，并通过希尔伯特变换计算得到该段数字脑电信号的瞬时相位；以该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取当前时刻下的实时相位信息；
脑电信号分析模块，用于根据预测获取的当前时刻下的实时相位信息判断是否在施加振动刺激的相位区间，根据判断结果生成和输出控制指令；
振动刺激反馈模块，用于根据脑电信号分析模块输出的控制指令控制振动电机振动刺激受试者的感觉通道。
进一步地，作为本发明的一种优选技术方案所述脑电信号采集模块包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块。
进一步地，作为本发明的一种优选技术方案，所述实时相位预测模块采用带通滤波器对预设时段内数字脑电信号进行带通滤波。
进一步地，作为本发明的一种优选技术方案，所述带通滤波器采用十阶椭圆无限脉冲响应滤波器。
进一步地，作为本发明的一种优选技术方案，所述振动刺激反馈模块根据控制指令设置不同的振动频率作用于左手和右手。
本发明采用上述技术方案，能产生如下技术效果：
本发明方法及系统，通过显示指导受试者执行运动想象任务，同时利用采集的脑电信号数据段时频特征生成预测正弦波，再基于预测正弦波预测实时脑电信号相位信息，利用预测的瞬时相位信息来控制振动电机在人手指尖施加振动刺激，达到实时闭环的振动刺激效果以增强脑电信号的信噪比，提高运动想象任务解码率。本发明可以通过振动刺激反馈调控脑电节律，提高了脑机接口系统的信噪比，为增强脑源信号提供了一种新方案。增强了运动想象信号的识别率，减少了“BCI盲”现象，使使用者与外界沟通更加有效便捷。
因此，本发明可以提高振动刺激的实时性，通过将刺激集中在用于增强脑电信号的最佳相位上并且通过确保在多个循环中重复这一点以便利用累积效应来使刺激效果最大化，提高运动想象任务解码率，减少脑机接口在个体之间的差异。与传统的开环持续刺激方法相比，这样的系统可能以更低的功率需求和更高的特异性实现振动控制，并且可以降低耐受性和反弹的风险。
附图说明
图1为本发明基于实时闭环振动刺激增强的脑机接口系统的结构示意图。
图2为本发明方法中实时相位预测流程图。
图3为本发明基于实时闭环刺激反馈的运动想象实验范式示意图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示，本发明设计了一种基于实时闭环振动刺激增强的脑机接口系统，该系统主要包括：人机交互模块、脑电信号采集模块、实时相位预测模块、脑电信号分析模块、振动刺激反馈模块，其中脑电信号采集模块的输出端与实时相位预测模块的输入端相连，实时相位预测模块的输出端与脑电信号分析模块的输入端相连；所述脑电信号分析模块的输出端与振动刺激反馈模块相连，振动刺激反馈模块直接作用于受试者身体上，本实施例中作用于受试者左右手。
所述人机交互模块，是由屏幕上显示的运动想象任务内容的显示屏组成，用于将运动想象任务显示提供于受试者；通过视觉通道指导受试者完成左手或右手运动想象任务。
脑电信号采集模块，用于采集受试者运动想象时产生的数字脑电信号；其主要包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块，脑电帽佩戴于受试者头部，并对受试者运动想象时产生的脑电信号采集，依次经脑电信号放大器进行放大、低通和带阻滤波器进行低通滤波、模数转换模块进行模数转换后得到数字脑电信号，并通过通信模块将数字脑电信号传输至实时相位预测模块。
实时相位预测模块，用于通过USB接口接收脑电信号采集模块传输的数字脑电信号，读取所采集的数字脑电信号并判断是否超过预设时段,是则截取预设时段内的数字脑电信号，否则继续读取所采集的数字脑电信号；及用于对所截取预设时段内的数字脑电信号进行带通滤波后，通过快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高的频率值作为其主频率，并通过希尔伯特变换计算得到该段数字脑电信号的瞬时相位；以该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取当前时刻下的实时相位信息，实现对实时脑电信号的瞬时相位的预测。
脑电信号分析模块，用于根据实时相位预测模块预测获取的当前时刻下的实时相位信息判断是否在施加振动刺激的相位区间，根据判断结果生成和输出控制指令；
振动刺激反馈模块，用于根据脑电信号分析模块输出的控制指令控制振动电机振动刺激受试者的感觉通道，刺激受试者指尖进而影响受试者的感觉通道，调节脑电信号节律。
优选地，所述数字脑电信号包括想象手握拳运动信号等；本发明系统的实时相位预测模块，采用带通滤波器对预设时段内数字脑电信号进行带通滤波，所述带通滤波的频段为大脑活动的α频段，进一步地所述带通滤波器采用十阶椭圆无限脉冲响应滤波器，即以500ms为一个数据段进行实时分析，首先采用一个十阶椭圆无限脉冲响应滤波器对脑电信号数据段进行带通滤波，滤得所需要的α频段、范围在8-12hz的数字脑电信号；设置通带纹波为0.5dB，阻带衰减设置为40dB。因为所选取的数据段较短，所以若采用有限脉冲响应FIR滤波器会被限制阶数，选用无限脉冲响应IIR滤波器。
并且，本发明系统中振动刺激反馈模块，可根据控制指令设置不同的振动频率作用于左手和右手，如所述振动刺激模块中设置作用于左手的振动刺激信号是振动频率为22hz的正弦波，作用于右手的振动刺激信号是振动频率为26hz的正弦波。由于人体感觉系统对左右敏感程度不同，设置不同的振动频率可辅助产生最佳刺激效果。
本发明还提出一种基于实时闭环振动刺激增强的脑机接口方法，该方法用于上述系统进行信号处理，具体包括以下步骤：
步骤1、人机交互模块将运动想象任务显示提供于受试者，其中，运动想象任务可以包括左手或右手运动想象动作；所述人机交互模块中的显示器显示刺激包括三个模式，具体为：
(1)屏幕正中出现白色十字，受试者放松休息不进行想象；
(2)白色十字左端出现红色箭头，受试者执行左手运动想象任务；
(3)白色十字右端出现红色箭头，受试者执行右手运动想象任务；
在出现箭头的同时，实时振动刺激模块激活，所述振动刺激模块主要用于根据实时获取的脑电信号产生刺激反馈，实现增强脑电信号的作用。
然后，受试者按要求坐在舒服的座椅上，头部佩戴好64导联的脑电帽，双眼与显示器距离一米左右。根据显示器上显示的箭头指向想象左手或右手握拳动作，通过脑电信号采集模块中64导联的脑电采集帽获取使用者实时脑电信号数据，依次经各部件处理采集得到运动想象时产生的数字脑电信号数据。
步骤2、实时相位预测模块在运动想象任务开始的同时执行实时脑电信号相位预测算法，如图所示，具体过程如下：
首先，实时相位预测模块读取所采集的数字脑电信号并判断是否超过预设时段,如是否超过500ms，若超过500ms则截取预设时段500ms内的数字脑电信号进行分析预测，若没有超过则继续读取所采集的数字脑电信号。
然后，实时相位预测模块进行分析预测过程：
对所截取预设时段500ms内的数字脑电信号进行带通滤波，获得运动想象任务下ERD现象特定的发生频段，如α波段，范围为8-12hz；
对带通滤波后的数字脑电信号数据，采用快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高频率值作为该段数字脑电信号的主频率；本实施例中，提取信号段中频率能量最高的频率值作为该段信号的主频率。
对带通滤波后的数字脑电信号数据，采用希尔伯特变换计算得到该段数字脑电信号x(t)的瞬时相位；所述的瞬时相位提取通过希尔伯特变换计算，得到对x(t)执行希尔伯特变换后的数字脑电信号y(t)，采用如下公式：
Figure GDA0002931629920000071
则t时刻的瞬时相位可以通过下式计算：
Figure GDA0002931629920000072
其中，θx(t)是t时刻的瞬时相位；x(t)是带通滤波后的这段数字脑电信号；p和v是柯西主值意义上的积分。
最后，利用该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取实时相位信息，实现对实时相位的预测；其中，所述正弦波函数公式如下：
Figure GDA0002931629920000073
其中，fs是预测正弦波；fmain为截取预设时段内数字脑电信号的主频率；tf是预测波形的长度，这里设置为50ms，可根据所选取的当前时间点与获取脑电信号瞬时相位时间点的时间差确定；θx(t)是t时刻的瞬时相位。
上述中，由希尔伯特变换求得500ms脑电信号数据中480ms处的瞬时相位，即t＝480ms；由快速傅里叶变换计算得到数据段的主要频率fmain；由这些参数可列出正弦波函数式，得到精确的预测正弦波，预测波形的长度tf设为参照信号长度的十分之一，即50ms，其原理是由于脑电信号是非线性不稳定的信号，所以在每50ms段内提取500ms的数据来进行预测，以提高预测的准确率。
步骤3、脑电信号分析模块根据实时相位预测模块预测获取的当前时刻t下的实时相位信息判断是否在施加振动刺激的相位区间，判断结果是位于相位区间则生成和输出控制指令，振动刺激反馈模块根据控制指令控制振动电机振动刺激受试者的感觉通道。否则判断结果为不位于相位区间时，不输出控制指令，则无需产生振动刺激。
本发明采用上述方法，其试验结果如图3所示，从脑电信号产生到被脑电帽记录，再经过放大器、USB传输进入实时相位预测模块大约需要3ms，电脑执行预测算法处理数据大约需要5ms，得到瞬时相位值并转化为指令控制振动电机振动大约需要2ms，所以实时相位为开始预测10ms后的瞬时相位。又因预测正弦波的初始点为t＝480ms，所以预测正弦波的第30ms处可近似看作当前时间点的脑电信号，取30ms处的瞬时相位作为振动电机控制触发信号从而实现基于实时相位刺激的目的。
综上，本发明设计了一种可以基于脑电信号实时相位进行指尖振动刺激以增强运动想象任务的解码率的脑机接口方法及系统，针对当前运动想象脑机接口的解码率不高、个体差异过大、“BCI盲”现象等问题，设计了一种增强脑电信号的方法。相比于过去的持续、闭环的振动刺激，本发明通过将刺激集中在用于增强脑电信号的最佳相位上并且通过确保在多个循环中重复这一点以便利用累积效应来使刺激效果最大化，这样可以更低的功率需求和更高的特异性实现振动控制，并且可以降低耐受性和反弹的风险。本发明通过振动刺激反馈调控脑电节律，提高了脑机接口系统的信噪比，增强了运动想象信号的识别率。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (10)

1.一种基于实时闭环振动刺激增强的脑机接口方法，其特征在于，包括以下步骤：
将运动想象任务显示提供于受试者，并采集受试者运动想象时产生的数字脑电信号；
读取所采集的数字脑电信号并判断是否超过预设时段,是则截取预设时段内的数字脑电信号，否则继续读取所采集的数字脑电信号；
对所截取预设时段内的数字脑电信号进行带通滤波后，采用快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高的频率值作为主频率；并对带通滤波后的数字脑电信号采用希尔伯特变换计算得到该段数字脑电信号的瞬时相位；以该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取当前时刻下的实时相位信息；
根据预测获取的当前时刻下的实时相位信息判断是否在施加振动刺激的相位区间，并根据判断结果生成和输出控制指令，根据控制指令控制振动电机振动刺激受试者的感觉通道。
2.根据权利要求1所述基于实时闭环振动刺激增强的脑机接口方法，其特征在于：所述方法中运动想象任务包括左手或右手运动想象动作。
3.根据权利要求1所述基于实时闭环振动刺激增强的脑机接口方法，其特征在于：所述方法中对所截取预设时段内数字脑电信号进行α波段的带通滤波。
4.根据权利要求1所述基于实时闭环振动刺激增强的脑机接口方法，其特征在于：所述方法中采用希尔伯特变换计算得到数字脑电信号的瞬时相位，采用公式：
Figure FDA0001911150710000011
Figure FDA0001911150710000012
其中，y(t)是对x(t)执行希尔伯特变换后的数字脑电信号；x(t)是带通滤波后的数字脑电信号；p和v是柯西主值意义上的积分；θx(t)是t时刻的瞬时相位。
5.根据权利要求1所述基于实时闭环振动刺激增强的脑机接口方法，其特征在于：所述方法中生成的预测正弦波fs具体为：
Figure FDA0001911150710000013
其中，fmain为截取预设时段内数字脑电信号的主频率；tf是预测波形的长度；θx(t)是t时刻的瞬时相位。
6.一种基于实时闭环振动刺激增强的脑机接口系统，其特征在于，包括：
人机交互模块，用于将运动想象任务显示提供于受试者；
脑电信号采集模块，用于采集受试者运动想象时产生的数字脑电信号；
实时相位预测模块，用于读取所采集的数字脑电信号并判断是否超过预设时段,是则截取预设时段内的数字脑电信号，否则继续读取所采集的数字脑电信号；及用于对所截取预设时段内的数字脑电信号进行带通滤波后，通过快速傅里叶变换计算得到该段数字脑电信号的时频特征并提取其中频率能量最高的频率值作为其主频率，并通过希尔伯特变换计算得到该段数字脑电信号的瞬时相位；以该段数字脑电信号的主频率和瞬时相位分别作为正弦波的频率和初相，生成预测正弦波，且根据预测正弦波预测获取当前时刻下的实时相位信息；
脑电信号分析模块，用于根据预测获取的当前时刻下的实时相位信息判断是否在施加振动刺激的相位区间，根据判断结果生成和输出控制指令；
振动刺激反馈模块，用于根据脑电信号分析模块输出的控制指令控制振动电机振动刺激受试者的感觉通道。
7.根据权利要求6所述基于实时闭环振动刺激增强的脑机接口系统，其特征在于：所述脑电信号采集模块包括依次连接的脑电帽、脑电信号放大器、低通和带阻滤波器、模数转换模块及通信模块。
8.根据权利要求6所述基于实时闭环振动刺激增强的脑机接口系统，其特征在于：所述实时相位预测模块采用带通滤波器对预设时段内数字脑电信号进行带通滤波。
9.根据权利要求8所述基于实时闭环振动刺激增强的脑机接口系统，其特征在于：所述带通滤波器采用十阶椭圆无限脉冲响应滤波器。
10.根据权利要求6所述基于实时闭环振动刺激增强的脑机接口系统，其特征在于：所述振动刺激反馈模块根据控制指令设置不同的振动频率作用于左手和右手。
CN201811553136.XA 2018-12-19 2018-12-19 一种基于实时闭环振动刺激增强的脑机接口方法及系统 Active CN109656365B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811553136.XA CN109656365B (zh) 2018-12-19 2018-12-19 一种基于实时闭环振动刺激增强的脑机接口方法及系统
PCT/CN2019/079096 WO2020124838A1 (zh) 2018-12-19 2019-03-21 一种基于实时闭环振动刺激增强的脑机接口方法及系统
US16/977,751 US11379039B2 (en) 2018-12-19 2019-03-21 Brain-computer interface method and system based on real-time closed loop vibration stimulation enhancement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811553136.XA CN109656365B (zh) 2018-12-19 2018-12-19 一种基于实时闭环振动刺激增强的脑机接口方法及系统

Publications (2)

Publication Number Publication Date
CN109656365A CN109656365A (zh) 2019-04-19
CN109656365B true CN109656365B (zh) 2021-03-30

Family

ID=66114660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811553136.XA Active CN109656365B (zh) 2018-12-19 2018-12-19 一种基于实时闭环振动刺激增强的脑机接口方法及系统

Country Status (3)

Country Link
US (1) US11379039B2 (zh)
CN (1) CN109656365B (zh)
WO (1) WO2020124838A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321691B (zh) * 2019-07-30 2022-03-11 东南大学 一种适用于脑机接口的用户鉴权装置及其鉴权方法
CN113208610B (zh) * 2020-01-17 2022-06-28 广西医科大学 一种相位点估计方法、装置和闭环式的神经刺激系统
CN111728822B (zh) * 2020-07-24 2021-11-26 清华大学 用于脑损伤后的脑机交互闭环康复机器人控制方法
CN113180698B (zh) * 2021-04-30 2024-03-01 西安臻泰智能科技有限公司 一种脑电装置的无线自动补偿偏差方法及脑电装置
CN113476060B (zh) * 2021-06-16 2024-03-08 南京曦光信息科技研究院有限公司 一种闭环反馈式光声电磁一体化大脑工作节律调节装置
US11689878B2 (en) * 2021-09-07 2023-06-27 Qualcomm Incorporated Audio adjustment based on user electrical signals
CN114533086B (zh) * 2022-02-21 2023-10-24 昆明理工大学 一种基于空域特征时频变换的运动想象脑电解码方法
CN114870249B (zh) * 2022-04-18 2023-06-13 北京理工大学 一种闭环自适应交流电刺激神经网络调控方法及系统
WO2023250309A2 (en) * 2022-06-20 2023-12-28 The Regents Of The University Of California Implantable electrocorticogram brain-computer interface systems for movement and sensation restoration
CN115640827B (zh) * 2022-09-27 2023-06-27 首都师范大学 对电刺激数据处理的智能闭环反馈网络方法及系统
CN116269447B (zh) * 2023-05-17 2023-08-29 之江实验室 一种基于语音调制和脑电信号的言语认知评估系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101810479A (zh) * 2009-12-16 2010-08-25 天津大学 复合下肢想象动作脑电的相位特征提取方法
CN103869979A (zh) * 2014-03-03 2014-06-18 上海交通大学 一种基于选择性感受的脑机接口系统
CN104048677A (zh) * 2014-07-03 2014-09-17 哈尔滨工业大学 基于k-s分布性检验和hht的陀螺仪故障诊断方法
CN105411580A (zh) * 2015-10-27 2016-03-23 中国航天员科研训练中心 一种基于触听觉诱发电位的脑控轮椅系统
KR101617005B1 (ko) * 2015-06-01 2016-05-11 고려대학교 산학협력단 뇌파 자기 공명과 경두개 레이저를 이용한 뇌-뇌 인터페이스 장치 및 방법
CN106774851A (zh) * 2016-11-25 2017-05-31 华东理工大学 基于脑机接口的触感手指运动康复系统及方法
CN106909226A (zh) * 2017-03-06 2017-06-30 广东工业大学 一种多态脑机接口系统
CN108363493A (zh) * 2018-03-20 2018-08-03 山东建筑大学 基于脑机接口的用户特征模型建立方法、系统及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006122398A1 (en) * 2005-05-16 2006-11-23 Cerebral Diagnostics Canada Incorporated Near-real time three-dimensional localization, display , recording , and analysis of electrical activity in the cerebral cortex
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
CN103268149B (zh) 2013-04-19 2016-06-15 杭州电子科技大学 一种基于脑机接口的实时主动式系统控制方法
CN104951082B (zh) 2015-07-09 2018-01-12 浙江大学 一种利用随机共振增强脑电信号的脑机接口方法
EP3684463A4 (en) * 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
US10898706B2 (en) * 2017-10-31 2021-01-26 Stimscience Inc. Systems, methods, and devices for brain stimulation and monitoring

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101810479A (zh) * 2009-12-16 2010-08-25 天津大学 复合下肢想象动作脑电的相位特征提取方法
CN103869979A (zh) * 2014-03-03 2014-06-18 上海交通大学 一种基于选择性感受的脑机接口系统
CN104048677A (zh) * 2014-07-03 2014-09-17 哈尔滨工业大学 基于k-s分布性检验和hht的陀螺仪故障诊断方法
KR101617005B1 (ko) * 2015-06-01 2016-05-11 고려대학교 산학협력단 뇌파 자기 공명과 경두개 레이저를 이용한 뇌-뇌 인터페이스 장치 및 방법
CN105411580A (zh) * 2015-10-27 2016-03-23 中国航天员科研训练中心 一种基于触听觉诱发电位的脑控轮椅系统
CN106774851A (zh) * 2016-11-25 2017-05-31 华东理工大学 基于脑机接口的触感手指运动康复系统及方法
CN106909226A (zh) * 2017-03-06 2017-06-30 广东工业大学 一种多态脑机接口系统
CN108363493A (zh) * 2018-03-20 2018-08-03 山东建筑大学 基于脑机接口的用户特征模型建立方法、系统及存储介质

Also Published As

Publication number Publication date
US20200401226A1 (en) 2020-12-24
WO2020124838A1 (zh) 2020-06-25
US11379039B2 (en) 2022-07-05
CN109656365A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109656365B (zh) 一种基于实时闭环振动刺激增强的脑机接口方法及系统
Ren et al. Enhanced motor imagery based brain-computer interface via FES and VR for lower limbs
Gao et al. A BCI-based environmental controller for the motion-disabled
Lew et al. Single trial prediction of self-paced reaching directions from EEG signals
Ochoa EEG signal classification for brain computer interface applications
US7460903B2 (en) Method and system for a real time adaptive system for effecting changes in cognitive-emotive profiles
CN101464729B (zh) 基于听觉认知神经信号的自主意愿表达方法
US11554244B2 (en) Systems and methods for multi-modal and non-invasive stimulation of the nervous system
WO2003073175A2 (en) Method and system for an intelligent supervisory control system
CN106362287A (zh) 一种新型mi‑sssep混合脑‑机接口方法及系统
Yao et al. A novel calibration and task guidance framework for motor imagery BCI via a tendon vibration induced sensation with kinesthesia illusion
CN104951082A (zh) 一种利用随机共振增强脑电信号的脑机接口方法
Achanccaray et al. Visual-electrotactile stimulation feedback to improve immersive brain-computer interface based on hand motor imagery
CN111481799A (zh) 一种脑电波闭环控制设备
Ahmadi et al. State-based decoding of force signals from multi-channel local field potentials
CN110688013A (zh) 一种基于ssvep的英文键盘拼写系统及拼写方法
CN114786640A (zh) 智能控制装置及其控制方法和智能穿戴设备
Wang et al. Incorporating EEG and EMG patterns to evaluate BCI-based long-term motor training
Li et al. Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion
Chumerin et al. Processing and Decoding Steady-State Visual Evoked Potentials for Brain-Computer Interfaces
CN103246348B (zh) 用于电触觉的量化分析系统及其分析方法
Park et al. Application of EEG for multimodal human-machine interface
Materka et al. High-speed noninvasive brain-computer interfaces
CN113807402A (zh) 抑制mi-bci系统误触发的系统及其训练和测试方法
CN112674783A (zh) 长时程脑-肌电耦合的上肢运动功能训练与评测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant