CN108289634B - 用于操作者学习脑机接口的系统和方法 - Google Patents

用于操作者学习脑机接口的系统和方法 Download PDF

Info

Publication number
CN108289634B
CN108289634B CN201680051953.8A CN201680051953A CN108289634B CN 108289634 B CN108289634 B CN 108289634B CN 201680051953 A CN201680051953 A CN 201680051953A CN 108289634 B CN108289634 B CN 108289634B
Authority
CN
China
Prior art keywords
neural
program code
electrodes
processor
neural processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680051953.8A
Other languages
English (en)
Other versions
CN108289634A (zh
Inventor
N·鲁勒罗
V·B·派克斯奥
R·M·考斯塔
F·桑托斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fundacao D Anna Sommer Champalimaud e Dr Carlos Montez Champalimaud
Original Assignee
Fundacao D Anna Sommer Champalimaud e Dr Carlos Montez Champalimaud
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fundacao D Anna Sommer Champalimaud e Dr Carlos Montez Champalimaud filed Critical Fundacao D Anna Sommer Champalimaud e Dr Carlos Montez Champalimaud
Publication of CN108289634A publication Critical patent/CN108289634A/zh
Application granted granted Critical
Publication of CN108289634B publication Critical patent/CN108289634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/375—Electroencephalography [EEG] using biofeedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Vascular Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Neurosurgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Dermatology (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

使用基于不同频带之比的固定式解码器的用于BMI的方法、系统和计算机可读介质，使得解码器鲁棒、更少抖动并抵抗伪像。固定式解码器能够被配置为使用可用信道的有限子集。因此解码器能够针对每个人类主体进行优化(使用的频带、处理所接收的信号的比率、哪些信道、权重等等)，然后被固定。来自固定式解码器的输出可以被提供给实现具体反馈和训练参数的训练程序，由此使得主体能够快速学习控制设备，并且巩固这种控制。训练程序提供由固定式解码器输出的当前变换的连续反馈连同过去变换的反馈(例如，直到一秒之前)以及当任务的目标被实现时的显著反馈。

Description

用于操作者学习脑机接口的系统和方法
技术领域
本文描述的本发明一般而言涉及操作者学习脑机接口。特别地，本发明涉及利用固定式解码器(fixed decoder)来实现基于EEG的脑机接口的系统、方法和计算机程序产品，其中固定式解码器的输出可以驱动或以其它方式操作各种机器和假肢。
背景技术
脑机接口(BMI)是从大脑到外部设备的直接通信通路。这种通信可以通过使用测量神经活动的记录设备来实现，其中记录设备将测得的神经活动发送到变换和解释信号的计算机(或任何其它可编程设备，包括硬件和软件)。计算机将信号馈送到致动器或外部设备，其中外部设备向用户提供关于性能的反馈，由此使回路闭合。
自20世纪90年代后期的首次示范(其中实验最终示范了皮层神经元集合可以直接控制机器人操纵器)以来，关于BMI的基础研究已经以惊人的速度发展。事实上，迄今为止BMI的主要目的或使用是作为恢复严重残疾患者(诸如那些患有影响患者移动的疾病或其它医学状况(特别是涉及中枢神经系统的状况)的患者)的运动控制(motor control)的潜在新疗法。例如，如上面所建议的，外骨骼或其它方式的辅助机械技术可以从与BMI的集成中受益，以便为以前由于有限的行动性而被限制的个人提供新发现的自由。类似地，与有限的机械操纵相反，套用了(harness)这种接口的人造或仿生肢体提供了由用户通过使用神经信号直接控制假肢的能力，由此带来了接近自然肢体提供的致动和操纵的自由。
区分BMI的特征是它们是利用侵入性技术(诸如颅内植入物)还是实现非侵入性方法来获得神经信号。但是，无论是使用侵入性还是非侵入性技术来获取神经信号，信号中包含的信息都必须被解释，以使得可以基于这样的信息采取有意义的行动。一种用于设计BMI系统的办法被称为解码办法。使用这种技术，由计算机生成数学模型，以将所记录的神经活动关联到(解码为)自然肢体移动，由此学习作根据时间的所接收的神经信号的“含义”。然后，这种活动可以被用来单独从神经活动预测移动。市场上的大多数商业系统通过这种范例的不同变型来接近BMI。
在Babak等人的标题为“Systems and Methods for ResponsiveNeurorehabilitation”的WO 2014/025772中讨论了实现解码技术的示例性系统。在Babak中，作者提出了通过使用自适应特征解码器来接收神经信号，该自适应特征解码器用来从系统从用户的大脑典型接收的多个神经信号中提取特定的信号。Babak然后将提取出的一个或多个信号提供给自适应马达解码器，该自适应马达解码器被配置为将提取出的一个或多个信号映射到康复设备的命令信号。命令信号被输出，由此控制设备，以及引起来自用户的感官反馈的生成和接收。这种感官反馈还由自适应特征解码器提取，并被传递到自适应马达解码器，自适应马达解码器相应地调节其内部映射参数。以这种方式，Babak的康复设备基于它从用户接收的解码信号动态地适应输出控制。
解码办法需要感官信息和其它刺激信息，这些信息已经在操作者的脑中被编码，以便在数字计算机的上下文中重建。这样的在数字计算机内的重建通常基于传入的神经信号利用神经网络或类似的构造来预测所接收的刺激，并需要操作者的复杂近似或模型。换句话说，试图实现这种办法的软件需要通过匹配或以其它方式将这些神经信号映射到与该软件正在接收的输入一致的期望的结果，以使得其自身适应传入的神经信号。这样的办法存在许多缺陷(诸如机器学习技术的隐含限制、当训练结果是非确定性的并且取决于初始参数时故障排除的困难、不能够添加后来获取的数据以重新训练现有模型，等等)。其它解码技术试图解决这些和其它缺陷，但也伴随着其它的缺陷和限制。
因此需要新颖的系统和方法来套用允许生成命令信号的神经变化的动态，然后定制的业务(business)逻辑可以利用该命令来执行特定的任意任务。
发明内容
本发明提供了利用固定式解码器结合使用非侵入性电极的脑信号活动的收集来生成可以用于执行固定任务的输出信号的系统、方法和计算机程序产品。本发明通过控制固定式解码器来快速地允许用户学习控制设备，其中随着本发明的继续使用，该固定式解码器随着时间的推移而得到改进。
本发明的实施例提供了对BMI的各种新颖改进，包括使用不是基于单个EEG频带的功率而是基于不同频带之比的固定式解码器，从而使得解码器鲁棒、更少抖动(jittery)并抵抗伪像。用于固定式解码器的程序逻辑可以用软件以及硬件(例如，现场可编程门阵列)来实例化，并且可以被配置为使用固定式解码器可用的信道的有限子集。因而，解码器可以针对每个人类主体或任务(使用哪个频带、哪个具体比率或算法来处理所接收的信号，哪个信道，哪个权重，等等)进行优化，然后被固定为在硬件或者软件中，使得给定的主体可以学习使用解码器控制各种设备(提供使用相同的一个或多个变换的控制命令)。
可以将来自固定式解码器的输出提供给实现具体反馈和训练参数的训练程序，由此使得主体能够快速学习控制设备，并且巩固这种控制。训练程序提供由固定式解码器输出的当前变换的连续反馈连同过去变换的反馈(例如，直到一秒之前)，以及当任务的目标被实现时的显著反馈。
鉴于上述内容，本发明的实施例涉及一种用于通过使用操作者学习脑机接口来由神经处理器生成输出命令的方法。根据这个实施例的本发明包括通过在神经处理器上执行的程序代码从多个电极中选择一个或多个电极，并且在神经处理器从一个或多个所选择的电极接收神经信号。基于所接收的神经信号设置阈值，并且设置在神经处理器处的定时器，以定义输出命令速率。当定时器还没有过去时，神经处理器执行用于取回和处理所接收的神经信号的程序代码，并通过使用接收所取回的并经处理的神经信号作为输入的神经处理器中的固定式解码器来计算控制命令。
在神经处理器连接到用户的情况下，由神经处理器接收神经信号包括从操作者接收神经信号(例如经由可以固定到操作者的头颅的电极)。在操作当中，神经处理器可以通过执行程序代码来执行检查，以确定当前任务是否完成。作为任务完成的一部分，在神经处理器上执行的程序代码可以设置定时器，以定义后续的输出命令速率，并且在定时器还没有过去时取回并处理所接收的神经信号。在神经处理器上执行的程序代码可以向后续硬件或软件部件提供这样的控制命令作为输入。
根据本发明的一个实施例，电极选择的集合被分解成子处理。更具体地，从多个电极中选择一个或多个电极可以包括向操作者呈现任务，该任务是在神经处理器上执行程序代码的控制下的任务，并且在呈现任务期间由神经处理器获取操作者的神经活动。神经处理器将选择准则应用于所获取的神经活动，并且选择超过该选择准则的一个或多个电极。类似地，由神经处理器选择电极包括由神经处理器选择超过选择准则的电极子集。获取神经活动还可以包括由在神经处理器处执行的程序代码开始电极选择定时器，以定义神经处理器将在其间获取神经活动的窗口。
神经处理器可以操作为处理它所接收的神经信号。根据本发明的实施例，处理所接收的神经信号包括对包含在所接收的神经信号内的一个或多个信道上的信号噪声进行衰减，并计算这一个或多个衰减后的信道的谱密度。确定一个或多个信道的在一个或多个所选择的频带中的平均功率，并且确定一个或多个信道的功率比。根据一个实施例，通过在神经处理器上执行的程序代码以计算比率
Figure BDA0001591072970000051
来确定一个或多个信道中的给定信道的功率比。根据各种实施例计算控制命令包括程序代码指示神经处理器计算以下式子：
Figure BDA0001591072970000052
除了上述之外，本发明的范围捕获包括程序代码的非暂时性计算机可读介质，其中当由可编程处理器执行程序代码时，使得执行用于由神经处理器通过使用操作者学习脑机接口生成输出命令的方法。根据一个实施例的程序代码包括用于通过在神经处理器上执行的程序代码从多个电极中选择一个或多个电极的程序代码，以及用于在神经处理器处从一个或多个所选择的电极接收神经信号的程序代码。提供用于基于所接收的神经信号设置阈值并在神经处理器处设置定时器以定义输出命令速率的程序代码。本实施例还提供用于在定时器尚未过去时由神经处理器处理所接收的神经信号的程序代码，以及用于通过使用接收所取回的并经处理的神经信号作为输入的控制命令的神经处理器中的固定式解码器来计算程序代码。
此外，可以提供用于将控制命令作为输入提供给后续的硬件或软件部件的、作为神经处理器的一部分的程序代码。这样的程序代码还可以包括用于对神经处理器执行检查以确定当前任务是否完成的程序代码，以及用于设置定时器以定义后续输出命令速率的程序代码，以及用于在定时器尚未过去时取回并处理所接收的神经信号的程序代码。
神经处理器可以选择从其收集神经信号进行处理的电极。因此，用于从多个电极中选择一个或多个电极的程序代码可以包括用于向操作者呈现任务的程序代码，和用于在呈现任务期间由神经处理器获取操作者的神经活动的程序代码。程序代码的其他的部分可以向所获取的神经活动应用神经处理器的选择准则，并且由神经处理器选择超过选择准则的一个或多个电极。用于选择一个或多个电极的程序代码还可以包括用于由神经处理器选择超过选择准则的电极子集的程序代码。
在处理神经信号时，用于处理所接收的神经信号的程序代码可以包括用于对包含在所接收的神经信号内的一个或多个信道上的信号噪声进行衰减、并计算一个或多个衰减后的信道的谱密度的程序代码。在神经处理器上执行的程序代码还包括用于确定一个或多个信道的一个或多个所选择的频带中的平均功率的程序代码以及用于确定一个或多个信道的功率比的程序代码。根据一个实施例用于计算控制命令的程序代码包括用于计算以下式子的程序代码：
Figure BDA0001591072970000061
附图说明
在附图的图中示出了本发明，这些附图意在是示例性而不是限制性的，其中相同的附图标记旨在指相同或对应的部分，并且其中：
图1A呈现了示出根据本发明一个实施例的、利用固定式解码器的总体脑机接口的系统图；
图1B呈现了示出根据本发明一个实施例的、利用固定式解码器来执行任务的神经处理器的框图；
图2示出了根据本发明一个实施例的、用于训练应用的用户界面；
图3示出了根据本发明另一个实施例的、用于训练应用的用户界面；
图4呈现了示出根据本发明一个实施例的、用于利用固定式解码器的神经处理器的执行的总体方法的流程图；
图5A呈现了示出根据本发明一个实施例的、用于电极选择的方法的流程图；
图5B呈现了示出根据本发明另一个实施例的、用于电极选择的方法的流程图；
图6呈现了示出从可用电极的集合中对电极的子集的选择的框图；
图7呈现了示出根据本发明一个实施例的、用于由固定式解码器使用信道功率比来进行信号获取和处理的方法的流程图；
图8呈现了示出根据本发明一个实施例的、用于输出命令的处理的流程图；以及
图9呈现了示出根据本发明一个实施例的、用于由固定式解码器处理信号以确定输出命令的方法的流程图。
具体实施方式
现在将在下文中参考形成其中可以实践本发明的示例性实施例的一部分并且通过图示的方式示出该示例性实施例的附图来更全面地描述主题。但是，主题可以以各种不同的形式来实施，并且因此被覆盖或要求保护的主题旨在被解释为不限于本文阐述的任何示例实施例；提供示例实施例仅仅是说明性的。应当理解的是，在不背离本发明的范围的情况下，可以利用其它实施例并且可以进行结构改变。同样，预期了对于要求保护或被覆盖的主题的合理的广泛范围。除其它之外，例如，主题可以被实施为方法、设备、部件或系统。因而，实施例可以例如采取硬件、软件、固件或其任意组合(除了软件本身之外)的形式。因此，下面的详细描述并不旨在被认为是限制性的。
在整个说明书和权利要求书中，除了明确指出的含义之外，术语可以具有在上下文中建议或隐含的细微含义。同样，如本文所使用的，短语“在一个实施例中”不一定是指同一个实施例，并且如本文所使用的，短语“在另一个实施例中”不一定是指不同的实施例。例如，要求保护的主题旨在全部或部分地包括示例实施例的组合。
图1A示出了根据本发明一个实施例的、利用固定式解码器的总体脑机接口；具体地，示出了这些不同部件之间的闭环关系。图1A的系统包括附加到用户100的头皮的多个电极104，这多个电极104可以通过将电极104保持在头皮上的空间布置的帽或类似的服装102来附加或以其它方式保持在位置上。这多个电极中的每个电极经由单独的导线106与神经处理器108通信，导线106通常由被用作由给定电极104接收的信号的导管的金属丝形成。
神经处理器108包括硬件和软件，其中该硬件和软件被操作为获得由与用户100的头皮接触的多个电极104中的一个或多个电极收集的神经信号。根据各种实施例，神经处理器108可以收集所接收的神经信号，以用于本地存储和近乎实时的处理，或者可以随着神经处理器108接收信号而实时地处理信号。在任一实施例中，神经处理器108都接收神经信号的集合，神经信号的集合可以根据由电极104收集的各种频带图形表示110，例如，δ、θ、α和β波。
神经处理器108可以利用它从附连到用户100的头皮的每个电极104接收的神经信号。可替代地，神经处理器108可以选择它正在通过其接收神经信号的可用电极的子集，从而限制对从所选择的电极104接收的神经信号的处理。神经处理器108提取在从所考虑的电极104接收的神经信号中包含的各种频带，例如，使用本领域技术人员众所周知的频谱技术，并且在时间上的给定时刻将各种频带的值传递到固定式解码器112。基于在时间上的给定时刻处各个频带的值，固定式解码器112计算可以被应用114用作控制命令以执行具体的任意任务的输出值。
神经处理器108持续地接收来自电极104的神经信号并提取各种频带，这些频带被传递到固定式解码器112，固定式解码器112生成被应用114用来执行任务的输出值。以这种方式，用户100可以在一段时间内持续发送信号，以与应用交互。例如，固定式解码器112可以输出表示在一段时间内光标的位置的命令信号、表示显示器上的对象的移动方向的命令信号等等。当用户100与神经处理器108交互时，他或她接收来自应用114的用户界面的反馈，例如，光标在特定方向上移动。通过提供来自用户界面的反馈，用户100可以快速学习控制应用呈现的具体的任意任务，并且巩固这种控制。
图1B呈现了示出根据本发明一个实施例的、利用固定式解码器来执行任务的神经处理器的框图。图1B的神经处理器130与一个或多个电极132的集合及显示设备152两者通信。在操作中，神经处理器130从一个或多个电极132的集合接收神经信号，并使用固定式解码器148处理所接收的神经信号。固定式解码器148输出由应用136使用的命令信号，以及关于基于由用户生成的神经信号计算出的命令信号的、去向显示设备152的反馈。应当注意的是，可以用要由本发明实施例控制的任何数量的末端外围设备来代替显示器152。例如，代替显示器，由固定式解码器148输出的命令信号可以由用于飞行控制应用的业务逻辑解释，使得显示器152及其相关联的显示界面150被飞行控制界面和飞行控制装置代替。类似地，可以使用命令信号来控制轮椅、假肢或需要接收命令信号(诸如定向命令信号)的几乎任何其它设备。
关注图1B所示的实施例，多个电极132通过神经输入接口134与神经处理器130通信。神经输入接口134在中央处理单元136(其中中央处理单元136本身执行从RAM 140或ROM142接收的指令)的控制下执行一个或多个例程(routine)，以清除或以其它方式放大神经处理器从电极接收的神经信号中所包含的具体频带。本文更详细地描述用于选择具体电极和包括其的频带的技术。
除了神经输入接口134和显示界面150之外，神经处理器130还包括中央处理单元(“CPU”)136、RAM 140和ROM 142、持久性储存器138、电极选择器模块144、固定式解码器148和特定于任务的业务逻辑146。CPU 136是神经处理器130的主要控制部件，并且可以代表神经处理器130所包括的其它部件或者与其他部件相结合来执行指令。虽然被呈现为不同的部件或模块，但是包括电极选择器144、固定式解码器148和任务业务逻辑146的程序逻辑可以根据各种实施例被实现为存储在随机储存器140或持久性储存器138中以便由CPU执行的软件应用或例程。
如图所示，神经处理器130可以访问若干数据存储结构，这些数据存储结构为数据和程序代码提供暂时性储存器140、持久性储存器138和永久性储存器142。当神经处理器130进入断电状态时，持久性储存器138在会话之间提供数据和程序代码的存储。示例性的持久性储存器138包括但不限于硬盘驱动器、闪存，其中每一个都允许神经处理器保持程序代码以及在给定时间段内从一个或多个用户收集的神经信号。暂时性储存器(诸如RAM140)为CPU提供高速存储空间，以保持执行程序代码和执行这种程序代码所必需的任何数据，而永久性存储器(诸如ROM 142)提供通常由CPU在启动和初始化时使用的只读指令。
如所指示的，神经处理器130还包括电极选择器144、固定式解码器148和任务业务逻辑146。电极选择器130被操作为执行一个或多个例程(其可以与由CPU进行的处理相结合)，这些例程选择从中读取神经信号的具体电极并提取用于处理的频带。电极选择器144输出的频带作为输入被提供给固定式解码器148，固定式解码器148输出基于电极选择器144作为输入提供给固定式解码器148的特定频带的功率电平而计算的控制值或信号。
固定式解码器148将命令信号输出到任务业务逻辑146，任务业务逻辑146被操作为基于嵌入在命令信号中的指令来执行任务。根据一个实施例，低于某个值的命令信号被用作对任务业务逻辑的命令，该命令以某种方式重新绘制显示屏幕、在某个维度上操纵光标等等。任务业务逻辑146是特定于任务的并且可以取决于业务逻辑涉及的特定任务进行修改。任务业务逻辑146可以以硬件和软件的各种组合进行编程，以便以特定方式响应来自固定式解码器148的命令信号。例如，当任务是控制屏幕上的光标时，可以对任务业务逻辑进行编程，以基于它从固定式解码器接收的命令信号而关于光标的显示采取某个动作。
图2和图3示出了根据本发明各种实施例的、用于训练应用的用户界面。图2和图3的用户界面表示来自任务业务逻辑的输出的实施例，其中任务业务逻辑被操作为指示处理器显示用户界面，并基于业务逻辑从固定式解码器接收的命令信号来操纵在用户界面内移位的光标。从图2开始，作为各种图形的用户界面在显示设备202内被呈现给用户。显示器202上的用户界面呈现用户要完成的任务，在本实施例中，该任务请求用户尝试操纵光标210跨上部目标线204。任务的要求通过由在显示器202上的界面的右上角部署的向上指向的箭头214所表示的视觉命令或提示来传达给用户。
除了呈现给用户的即时任务之外，显示器202上的用户界面向用户提供根据时间的、关于光标210在显示器202上的位置的历史反馈212。以这种方式，用户可以进行关于固定式解码器的输出的历史观察，并且修改神经处理器正在接收的神经信号中所包含的各种频带的功率。处理器被编程为显示的历史反馈212的这种视觉轨迹可以被增加或减少，但是在任一情况下都表示在当前用户的当前会话期间的光标在2D空间中的历史位置。
当用户通过向神经处理器发送神经信号与神经处理器交互时，固定式解码器计算或以其它方式生成命令信号，其中任务业务逻辑使用该命令信号将光标定位在显示器202上。当用户满足当前任务时(在本实施例中，当前任务是如提示214所指示的，将光标定位在显示器202上呈现的上部目标线204上方)，控制显示器202的程序代码可以指示处理器呈现或以其它方式投影任务满足的指示(例如，显示指示成功的视觉指示或文字)。虽然示例性任务业务逻辑从固定式解码器接收在2D空间中在显示器202上呈现光标的命令信号，但是任务业务逻辑还可以控制在显示器202上呈现和显示其它用户界面部件。可替代地或者与任务业务逻辑相结合，CPU执行的其它程序代码可以控制在显示器202上呈现和显示其它用户界面部件。
除了上述用户界面部件之外，显示器还呈现两条内部重置线206a和206b以及下部目标线208。下部目标线208(与上部目标线类似)被用作视觉阈值，用户必须操纵光标跨过下部目标线208来满足某些任务，如本文更详细讨论的。重置线206a和206b允许用户通过将光标保持在两条内部重置线之间一段时间来重置当前任务。
类似于图2，图3示出了作为各种图形在显示设备302内呈现给用户的用户界面。显示器302上的用户界面呈现让用户完成的任务，在本实施例中，该任务是请求用户尝试操纵光标310跨过下部目标线304。视觉命令或提示向用户传达任务的要求，在本实施例中，任务的要求是由在显示器302上的界面的右下角中部署的向下指向的箭头314所表示的。
除了呈现给用户的即时任务之外，显示器302上的用户界面还向用户提供根据时间的、关于光标310在显示器302上的位置的历史反馈312。以这种方式，用户可以进行关于固定式解码器的输出的历史观察，并修改神经处理器正在接收的神经信号中所包含的各种频带的功率。历史反馈312的这种视觉轨迹可以被增加或减少，但是在任一情况下都表示在当前用户的当前会话期间的光标在2D空间中的历史位置。
当用户满足当前任务时(在本实施例中，当前任务是如提示314所指示的，将光标定位在显示器302上呈现的下部目标线304上方)，控制显示器302的程序代码可以指示处理器呈现或以其它方式投影任务满足的指示(例如，显示指示成功的视觉指示或文字)。虽然示例性任务业务逻辑从固定式解码器接收命令信号以在2D空间中在显示器302上呈现光标，虽然示例性任务业务逻辑从固定式解码器接收在2D空间中在显示器302上呈现光标的命令信号，但是任务业务逻辑还可以控制在显示器302上呈现和显示其它用户界面部件。可替代地或者与任务业务逻辑相结合，CPU执行的其它程序代码可以控制在显示器302上呈现和显示其它用户界面部件。除了上述用户界面部件之外，显示器还呈现两条重置线306a和306b以及上部目标线308，这两者都以类似于结合图2所描述的方式起作用。
如上所述，由图2和图3所示的用户界面可以是要求用户在一段时间内在2D空间中操纵光标的任务业务逻辑的一部分。根据一个实施例，任务由整个十(10)天的训练期间中每天三次的十分钟(10)参与运行而组成(例如，每天一个会话，在两周期间有两天的休息)。在测试期间，记录EEG电极集合的神经活动并使用固定式解码器同时进行变换，其中该信息被用于设置光标在显示器上的位置。解码器和所选择的电极都只在第一次会话期间建立一次，并且在整个训练期间不改变。根据一个实施例，任务被设计如下：向用户示出提示(例如，提示214或提示314)，该提示指示光标将被指向的两个可能目标区域之一(例如，在上部控制线204上方或下部控制线208下方)。如果到达正确的目标，则呈现令人愉快的视觉指示(可以包括填充屏幕的彩色补丁)，由此为用户提供正面强化。这被认为是正确的试验(trial)。另一方面，如果到达不正确的目标或者三十(30)秒用完，那么不给予强化，并且试验以不正确结束。为了重新开始新的试验，用户需要将光标保持在与重置线相结合的中间位置两(2)秒。
图4呈现了示出根据本发明一个实施例的、用于利用固定式解码器的神经处理器的执行的总体方法的流程图。如上面所指示的，用户可以配备多个电极，神经处理器通过这些电极捕获用于处理的神经信号。因而，图4的处理开始于从可用电极的集合中选择电极(步骤402)。一旦确定了要用于捕获用于任务的神经信号的电极，就基于所收集的神经信号而设置针对用户的阈值(步骤404)。本文更详细地描述电极选择和设置任务阈值的处理。
根据某些实施例，EEG获取频率高于处理/反馈频率(分别为2048Hz和4Hz)。出于这个原因，所收集的EEG数据可以被存储在缓冲器中，以在较低频率进行取回(步骤406)。执行检查来确定缓冲器是否包含计算光标的当前位置所需的所有数据，这些数据与前一秒的神经数据(2048个点)对应。当情况不是这样时，该方法继续检查缓冲器，直到缓冲器满为止(步骤408)。根据某些实施例，光标的位置每隔250ms更新一次，这意味着缓冲器总是包含用于处理的250ms(512个点)的“新”EEG数据，以及在之前时间步骤中被处理的750ms(1536个点)的数据。当缓冲器满时，神经处理器使用固定式解码器处理数据(步骤410)，并且基于通过使用最后一个收集窗口而已经取回并处理的神经信号，固定式解码器计算或以其它方式导出并输出控制命令(步骤412)。
在输出控制命令(步骤412)后，在神经处理器上执行的软件指示处理器执行检查，以确定用户正在执行的任务是否完成(步骤414)。在用户正在继续通过使用神经处理器处的固定式解码器与应用交互的情况下(步骤416)，程序流程返回到步骤406。因而，神经处理器再次从缓冲器中取回数据并检查缓冲器是否满，从而允许处理器处理神经信号并从解码器输出命令。当处于活动状态的任务结束时，该处理终止(步骤416)。
当根据本发明各种实施例初始使用神经处理器时，执行基线计算，以选择要用于收集神经信号的电极并且通过设置激活阈值来校准神经处理器。可以基于基线神经活动选择针对给定的用户的可用电极的子集。图5A阐述了示出根据本发明一个实施例的、用于电极选择的方法的流程图。
根据图5A所示的处理，用于电极选择的方法在收集和处理窗口期间进行，该窗口是通过开始电极选择定时器而发起的。根据一个实施例，用于电极选择的收集和处理的时段在五(5)分钟窗口内发生。当窗口为开时，即，电极选择定时器尚未过去时，神经处理器向用户呈现任务(步骤504)，并继续获取用户的自然神经活动(步骤506)。例如，可以在五(5)分钟的窗口内进行基线集合运行，在该窗口期间，用户被要求看显示任务的照片的显示屏幕。在这个时段期间，用户无法控制任务，并且显示器的主要目的是允许神经处理器在不向用户提供任何反馈的情况下，从用户获取神经信号。这允许获取用户的自然神经活动。
在任务呈现和神经信号获取期间(步骤504和506)，系统执行检查，以确定电极选择定时器是否已经过去(步骤508)。当电极选择定时器尚未过去时，程序流程返回到步骤504，其中神经处理器继续向用户呈现任务并且收集自然神经活动。当定时器过去并且神经信号的收集结束时，根据各种选择准则处理所收集的神经信号(步骤510)。结合图5B更详细地描述选择准则的应用。
选择准则允许神经处理器将其对神经信号的收集限制到满足选择准则的一定数量的电极(步骤512)。更具体地，在用户配备有多个电极时，神经处理器仅选择那些电极中满足选择准则的一定数量的电极。例如，假设用户配备有二十(20)个电极；神经处理器可以选择五(5)个最佳满足选择准则的电极。可替代地，图5A的方法可以以这样一种方式操作：使得该方法对电极集合的各种组合执行分析而不是对个体电极执行分析。
图5B示出了作为图5A中阐述的电极选择处理的一部分的选择准则的应用。图5B的处理开始(步骤520)，选择所考虑的第一电极子集以进行分析(步骤522)。例如，如果所考虑的电极的子集是五(5)个电极，并且所考虑的电极的总集是十七(17)，那么该处理必须对五个电极的六千一百八十八(6188)种组合进行分析。因而，选择电极的第一子集(步骤522)，并且根据给定子集到常态(normalcy)的距离而应用第一顺序分类(步骤524)。根据一个实施例，应用单样本Kolmogorov-Smirnov测试，以测试任何样本的分布的正态(这涉及标准化给定样本以与标准正态分布进行比较)。
除了第一顺序分类(步骤524)之外，还应用第二顺序分类来根据偏度对子集进行分类(步骤526)，其中偏度是实数值变量关于其均值的概率分布的不对称性的度量。在分别应用第一顺序分类和第二顺序分类(步骤524和526)之后，执行检查来确定是否存在需要分类的所考虑的电极的任何附加子集(步骤528)。当存在所考虑的附加子集时，处理返回到步骤522，其中根据本文描述的第一和第二顺序分类处理附加子集。
在对所考虑的各个电极子集进行分类和排序(步骤522至528)之后，该方法继续设置用于选择电极子集的具体阈值(步骤530)。设置用于选择电极子集的具体阈值可以任意地基于对于给定任务的主观“良好适合”，并且使得它们既不太容易也不太难以到达。因而，给定系统可以实现关于的具体阈值的广泛的变型。根据一个实施例，并且建立在图2和图3的训练应用所呈现的界面上，可以以2.9倍的标准偏差为给定任务设置阈值并且识别在初始化期间满足任务的目标条件设定次数的电极的子集(例如，五个电极的子集)。例如，在步骤530以及图2的上下文中，该方法可以识别在五分钟的时段期间满足任务的目标条件(例如，跨过上部目标线)四次的电极的子集。
设置针对任务阈值(步骤530)，并考虑根据设定的阈值而选择电极的第一子集(步骤532)。将阈值准则被应用于所考虑的电极的子集并执行检查，以确定是否所考虑的子集满足设定的阈值准则(步骤534)。在所考虑的子集满足用于选择的阈值准则时，处理前进到步骤536，在该步骤中将所考虑的子集标记为选择候选。但是，无论方法在步骤534执行的检查是否评估为真，程序流程最终都被指向步骤537，在该步骤中执行检查来确定是否存在需要相对于在步骤530中设置的阈值进行分析的所考虑的附加子集。当附加子集需要考虑时，选择后续子集进行分析(步骤532)。
因为存在(虽然极小)许多或全部所考虑的电极子集都可以满足选择准则阈值的可能性，所以该方法执行排名，以将满足选择准则阈值的所考虑的子集进行排序(步骤538)。进行选择(步骤540)，使得最高排名的子集被选择作为神经处理器可以用来收集神经信号进行处理并且基于该神经信号输出命令信号的电极子集。当对于最高排名的电极子集存在n个并列时(步骤540)，该方法可以对这n个并列中的任何给定子电极执行任意选择。
建立在电极选择方法(图5A)和选择准则的应用(图5B)之上，图6呈现了示出从可用电极的集合中选择电极的子集的框图。根据图6的实施例，用户602装备有多个电极(诸如电极604a、604b和604c)，这些电极跨用户602的头骨以一定的图案移位。如前面所指示的，电极的集合(例如，电极604a、604b和604c)可以根据各种技术附加到用户602的头皮(诸如使用粘合剂)或者将电极附加到随后由用户602穿戴的帽子或类似的服装。
根据本发明的某些实施例，仅可用电极总数的子集被分析或以其它方式询问，以确定所接收的信号的质量是否足以驱动如本文所述的使用固定式解码器的BMI。作为示例性说明，在用户602已经装备的整个电极集合(“分析集合”)中存在所考虑的十七(17)个电极618的集合。考虑到分析集合，本发明的实施例分析来自形成分析集合的电极子集(诸如五(5)个电极的子集)的各种组合的神经信号。在分析集合中的总共十七个电极中，分析在一段时间内从五个电极的子集组合接收的神经信号提供了六千一百八十八(6188)个要分析的可能子集的范围。
应用电极选择方法和选择准则616(诸如分别结合图5A和图5B所描述的那些)，选择五个电极的子集用于结合神经处理器提供的BMI的操作来收集神经信号。根据目前的例子，分析集合中最初有十七个电极。从该分析集合中，选择满足选择方法的五个电极的子集，(包括电极606、608、610、612和614)。本领域技术人员认识到的是，任何具体选择方法(包括本文描述的那些)的应用可以导致选择针对任何给定的用户的不同的电极子集，但是两个不同的用户有可能使用相同的电极子集。
图7呈现了示出根据本发明一个实施例的、用于由固定式解码器使用信道功率比进行信号获取和处理的方法的流程图。根据本实施例，用于确定一个或多个给定信道的功率比的方法开始于系统初始化和信道选择阈值的设置(步骤702)。这个步骤还可以包含对要从中获取供固定式解码器处理的神经信号的电极的具体集合或子集的选择。
该方法继续进行检查，以确定是否存在要处理的附加信道(步骤704)，该步骤在循环的第一次迭代中评估为真并且使得选择第一信道进行处理。当步骤704评估为真时，程序流程移至步骤706，在该步骤中该方法对给定的所选择信道上的信号噪声进行衰减。根据一个实施例，该方法实现陷波滤波器(也被称为带止或带阻滤波器)，以对在某个范围附近的频率(例如，50Hz)进行衰减。该方法还对信号应用滤波器，该滤波器可以是巴特沃兹(Butterworth)滤波器。根据一个实施例，巴特沃兹滤波器在1Hz和50Hz之间是四阶(4)。在步骤708使用巴特沃兹滤波器允许给定信道上传入的神经信号在通带之外具有尽可能平坦的频率响应。
根据图7的实施例，该方法通过从给定的神经信号中移除线性趋势或平均值而继续(步骤710)，该方法可以通过使用去趋势函数来实现，以从传入的神经信号移除长期趋势并强调短期变化。实现该方法的程序逻辑执行计算，以确定信道上作为结果所得的神经信号的谱密度(步骤712)，以及针对包含在信号内的多个频带所确定的平均功率(步骤714)。根据一个实施例，该方法计算以下频带的平均功率：贝塔(β)(14-24Hz)、伽玛(γ)(30-80Hz)、德尔塔(1-4Hz)和西塔(θ)(4-8Hz)。一旦该方法确定在给定信道中的所选择的频带的平均功率(步骤714)，程序流程就返回到步骤704并且该方法执行进一步的检查，以确定是否存在需要处理的附加信道。
在对通过所选择的电极子集可用的信道上的神经信号的处理完成之后，该方法以确定用于所述信道的功率比结束(步骤716)。根据本发明的一个实施例，图7的方法根据如下的等式1实现功率比：
Figure BDA0001591072970000181
等式1
通过利用等式1的功率比，该方法根据所考虑的离散频带的功率电平向神经处理器提供给定信道的总功率值。
本领域技术人员应当认识到的是，图7的方法不需要传入的神经信号的不同频率的功率的任何具体比率或组合；目前所描述的频带的功率比仅作为示例而不旨在进行限制。此外，固定式解码器可以利用除了具体频带以外的功率电平的附加信息(例如，时域中的特征，诸如信号振幅等等)。根据本发明一个实施例的以下示例性伪码实现图7中所阐述的处理步骤：
定义巴特沃兹滤波器参数
对信号应用巴特沃兹滤波器
定义陷波滤波器参数
对信号应用陷波滤波器
％谱图
对于NChannels中的iChannel
detrendedSignal＝detrend(data(iChannel))
计算detrendedSignal的PSD
end
％计算频带的平均功率
beta＝mean(psd[14:24])；
gamma＝mean(psd[30:80])；
delta＝mean(psd[1:4])；
theta＝mean(psd[4:8])；
％计算功率比
powerRatio＝(theta*gamma)/(delta*beta)；
position＝log(sum(powerRatio[selectedChannels]))；
本发明的实施例利用给定的神经信号集合内的具体频带的功率电平来生成输出命令。图8呈现了用于鉴于给定的神经信号集合内的具体频带的功率电平来确定输出命令的高级处理的一个实施例。根据图8的方法，选择信号内的具体频带进行处理并且确定频带的平均功率电平(步骤802和804)。程序流程继续计算跨所考虑的信道(电极)的所选择的频带的功率比(步骤806)。该方法使用信道的功率比来确定输出命令信号(步骤808)，特定于任务的业务逻辑可以利用该输出命令信号来执行任务。
图9呈现了示出根据本发明一个实施例的、用于由固定式解码器处理信号以确定输出命令的方法的流程图。根据图9的实施例，该方法可以开始于选择用于第一信道的功率比(步骤902)，以及选择用于另一个信道的功率比(步骤904)。该方法计算第一信道和所述另一个信道的功率比之和(步骤906)，将该和存储在存储器结构(诸如暂时性或持久性存储结构)中。
该方法执行检查，以确定是否存在作为所考虑的信道集合的一部分的、待分析的附加信道(步骤908)。在存在附加信道的情况下，该方法选择用于后续信道的功率比(步骤910)。该方法使用后续信道的功率比和存储器中的值来计算新的和(步骤912)，然后将该新的和存储回存储器(步骤914)。程序流程根据步骤908至914循环，直到步骤908处的检查评估为假，由此指示不存在要分析的附加信道。
一旦步骤908处的检查评估为假，指示不存在要分析的附加信道，程序流程就继续计算存储器中的和的常用对数(步骤916)，该和的常用对数由固定式解码器作为命令信号输出。根据本发明的一个实施例，图9的方法如下根据等式2确定输出命令
Figure BDA0001591072970000211
等式2
图1至图9是允许对本发明进行解释的概念性说明。本领域技术人员应当理解的是，本发明实施例的各个方面可以在硬件、固件、软件或其组合中实现。在这样的实施例中，各种部件和/或步骤将在硬件、固件和/或软件中实现，以执行本发明的功能。即，相同的硬件、固件或软件模块可以执行示出的方框(例如，部件或步骤)中的一个或多个。
在软件实现中，作为计算机程序产品的一部分，计算机软件(例如，程序或其它指令)和/或数据被存储在机器可读介质上，并且经由可移动存储驱动器、硬盘驱动器或通信接口加载到计算机系统或其它设备或机器中。计算机程序(也称为计算机控制逻辑或计算机可读程序代码)被存储在主存储器和/或辅助存储器中，并且由一个或多个处理器(控制器等)执行，以使一个或多个处理器执行如本文所述分本发明的功能。在本文档中，术语“机器可读介质”、“计算机程序介质”和“计算机可用介质”用于一般地指介质，诸如随机存取存储器(RAM)；只读存储器(ROM)；可移动存储单元(例如，磁盘或光盘、闪存设备等)；硬盘；等等。
值得注意的是，上面的附图和示例并不意味着将本发明的范围限制到单个实施例，因为通过互换所描述或示出的元件的一些或全部的的方式，其它实施例是可能的。而且，当本发明的某些元件可以部分地或完全地使用已知的部件实现时，仅描述这些已知元件中对于理解本发明必需的那些部分，并且这些已知元件的其它部分的详细描述被省略，以免混淆本发明。在本说明书中，除非另有明确声明，否则示出单个部件的实施例不一定限于包括多个所述部件的其它实施例，反之亦然。而且，除非明确地如此阐述，否则申请人不试图将说明书或权利要求书中的任何术语归纳于不常见的或特殊的含义。另外，本发明涵盖本文中以说明的方式提到的已知部件的现在和未来的已知等同物。
以上对具体实施例的描述将如此充分地揭示本发明的一般性质，以至于在不背离本发明的一般概念的情况下，其他人可以通过应用一个或多个相关领域技术范围内的知识(包括被援引并通过引用结合进入本文的文献的内容)容易地修改和/或适应这样的具体实施例的各种应用，而无需过度的实验。因此，基于本文给出的教导和指导，这种适应和修改旨在在所公开的实施例的等同物的含义和范围内。应当理解的是，本文的措辞或术语是为了描述的目的而不是限制的目的，使得本说明书的术语或措辞应当由本领域技术人员根据本文给出的教导和指导结合相关领域技术人员的知识来解释。
虽然以上已经描述了本发明的各种实施例，但是应当理解的是，它们是通过示例而不是限制给出的。对于一个或多个相关领域的技术人员将显而易见的是，在不背离本发明的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。因此，本发明不应当被任何上述示例性实施例限制，而是应当仅根据以下权利要求及其等同物来定义。

Claims (20)

1.一种通过使用操作者学习脑机接口由神经处理器生成输出命令的方法，所述方法包括：
由在神经处理器上执行的程序代码从多个电极中选择一个或多个电极；
在神经处理器处从一个或多个所选择的电极接收神经信号；
基于所接收的神经信号设置阈值；
在神经处理器处设置定时器，以定义输出命令速率；
当定时器尚未过去时，由神经处理器执行用于取回并处理所接收的神经信号的程序代码；以及
通过使用神经处理器中的固定式解码器计算控制命令，其中固定式解码器接收所取回并经处理的神经信号作为输入。
2.如权利要求1所述的方法，其中由神经处理器接收神经信号包括从操作者接收神经信号。
3.如权利要求1所述的方法，包括由在神经处理器上执行的程序代码提供所述控制命令，以作为向后续的硬件或软件部件的输入。
4.如权利要求1所述的方法，包括由在神经处理器上执行的程序代码执行检查，以确定当前任务是否完成。
5.如权利要求1所述的方法，包括由在神经处理器上执行的程序代码设置定时器，以定义后续的输出命令速率，并且在所述定时器尚未过去时取回并处理所接收的神经信号。
6.如权利要求1所述的方法，其中从多个电极中选择一个或多个电极包括：
在神经处理器处执行的程序代码的控制下向操作者呈现任务；
在呈现任务期间由神经处理器获取操作者的神经活动；
由神经处理器将选择准则应用于所获取的神经活动；以及
由神经处理器选择超过选择准则的一个或多个电极。
7.如权利要求6所述的方法，其中获取神经活动包括由在神经处理器处执行的程序代码开始电极选择定时器，以定义神经处理器将在其间获取神经活动的窗口。
8.如权利要求6所述的方法，其中由神经处理器进行选择包括由神经处理器选择超过选择准则的电极子集。
9.如权利要求1所述的方法，其中处理所接收的神经信号包括：
对包含在所接收的神经信号内的一个或多个信道上的信号噪声进行衰减；
计算一个或多个衰减的信道的谱密度；
确定所述一个或多个信道的一个或多个所选择的频带中的平均功率；以及
确定所述一个或多个信道的功率比。
10.如权利要求9所述的方法，其中确定用于所述一个或多个信道中的给定信道的功率比是由在神经处理器上执行的程序代码根据计算比率
Figure FDA0002648171290000021
来确定的，其中β表示14-24Hz的频带的平均功率，γ表示30-80Hz的频带的平均功率，δ表示1-4Hz的频带的平均功率，并且θ表示4-8Hz的频带的平均功率。
11.如权利要求9所述的方法，其中计算所述控制命令包括指示神经处理器根据下式计算的程序代码：
Figure FDA0002648171290000031
其中chn(n)表示第n个信道，并且
其中
Figure FDA0002648171290000032
β表示14-24Hz的频带的平均功率，γ表示30-80Hz的频带的平均功率，δ表示1-4Hz的频带的平均功率，并且θ表示4-8Hz的频带的平均功率。
12.包括程序代码的非暂时性计算机可读介质，当所述程序代码由可编程处理器执行时，引起通过使用操作者学习脑机接口而由神经处理器生成输出命令的方法的执行，所述程序代码包括：
用于由在神经处理器上执行的程序代码从多个电极中选择一个或多个电极的程序代码；
用于在神经处理器处从所述一个或多个所选择的电极接收神经信号的程序代码；
用于基于所接收的神经信号设置阈值的程序代码；
用于在神经处理器处设置定时器以定义输出命令速率的程序代码；
用于当定时器尚未过去时由神经处理器取回并处理所接收的神经信号的程序代码；以及
用于通过使用神经处理器中的固定式解码器计算控制命令的程序代码，其中固定式解码器接收所取回并经处理的神经信号作为输入。
13.如权利要求12所述的计算机可读介质，包括用于向后续硬件或软件部件提供所述控制命令作为输入的程序代码。
14.如权利要求12所述的计算机可读介质，包括用于在神经处理器上执行检查以确定当前任务是否完成的程序代码。
15.如权利要求12所述的计算机可读介质，包括用于设置定时器以定义后续的输出命令速率的程序代码，以及用于在所述定时器尚未过去时取回并处理所接收的神经信号的程序代码。
16.如权利要求12所述的计算机可读介质，其中从多个电极中选择一个或多个电极包括：
用于向操作者呈现任务的程序代码；
用于在呈现任务期间由神经处理器获取操作者的神经活动的程序代码；
用于由神经处理器将选择准则应用于所获取的神经活动的程序代码；以及
用于由神经处理器选择超过选择准则的一个或多个电极的程序代码。
17.如权利要求16所述的计算机可读介质，其中用于获取神经活动的程序代码包括用于开始电极选择定时器以定义神经处理器将在其间获取神经活动的窗口的程序代码。
18.如权利要求16所述的计算机可读介质，其中用于选择一个或多个电极的程序代码包括用于由神经处理器选择超过选择准则的电极子集的程序代码。
19.如权利要求12所述的计算机可读介质，其中用于处理所接收的神经信号的程序代码包括：
用于对包含在所接收的神经信号内的一个或多个信道上的信号噪声进行衰减的程序代码；
用于计算一个或多个衰减的信道的谱密度的程序代码；
用于确定所述一个或多个信道的一个或多个所选择的频带中的平均功率的程序代码；以及
用于确定所述一个或多个信道的功率比的程序代码。
20.如权利要求19所述的计算机可读介质，其中用于计算控制命令的程序代码包括用于根据下式计算的程序代码：
Figure FDA0002648171290000051
其中chn(n)表示第n个信道，并且
其中
Figure FDA0002648171290000052
β表示14-24Hz的频带的平均功率，γ表示30-80Hz的频带的平均功率，δ表示1-4Hz的频带的平均功率，并且θ表示4-8Hz的频带的平均功率。
CN201680051953.8A 2015-07-13 2016-07-13 用于操作者学习脑机接口的系统和方法 Active CN108289634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
PT108690 2015-07-13
PT108690A PT108690B (pt) 2015-07-13 2015-07-13 Sistema e método para interface cérebro-máquina de aprendizagem de operante
PCT/IB2016/054179 WO2017009787A1 (en) 2015-07-13 2016-07-13 System and method for operant learning brain machine interface

Publications (2)

Publication Number Publication Date
CN108289634A CN108289634A (zh) 2018-07-17
CN108289634B true CN108289634B (zh) 2021-02-12

Family

ID=56853778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680051953.8A Active CN108289634B (zh) 2015-07-13 2016-07-13 用于操作者学习脑机接口的系统和方法

Country Status (8)

Country Link
US (1) US10512410B2 (zh)
EP (2) EP3322334A1 (zh)
JP (1) JP6663007B2 (zh)
CN (1) CN108289634B (zh)
CA (2) CA2992390C (zh)
HK (2) HK1254426A1 (zh)
PT (1) PT108690B (zh)
WO (2) WO2017009787A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITUB20153680A1 (it) * 2015-09-16 2017-03-16 Liquidweb Srl Sistema di controllo di tecnologie assistive e relativo metodo
WO2019028394A1 (en) 2017-08-03 2019-02-07 The University Of Melbourne MEDICAL DEVICE FOR DETECTION AND / OR STIMULATION OF TISSUE
US11093038B2 (en) 2019-05-14 2021-08-17 Synchron Australia Pty Limited Systems and methods for generic control using a neural signal
CN114207556B (zh) * 2019-07-02 2023-10-27 Hrl实验室有限责任公司 用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法
CN110251065A (zh) * 2019-07-17 2019-09-20 西安交通大学 基于运动视觉诱发电位的对比敏感度检测方法
CN110251799B (zh) * 2019-07-26 2021-07-20 深圳市康宁医院(深圳市精神卫生研究所、深圳市精神卫生中心) 神经反馈治疗仪
WO2021086972A1 (en) 2019-10-29 2021-05-06 Synchron Australia Pty Limited Systems and methods for configuring a brain control interface using data from deployed systems
US11567574B2 (en) * 2020-09-22 2023-01-31 Optum Technology, Inc. Guided interaction with a query assistant software using brainwave data
CN112223288B (zh) * 2020-10-09 2021-09-14 南开大学 一种视觉融合的服务机器人控制方法
US20230389851A1 (en) * 2022-06-07 2023-12-07 Synchron Australia Pty Limited Systems and methods for controlling a device based on detection of transient oscillatory or pseudo-oscillatory bursts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076175A3 (en) * 2005-01-10 2007-11-22 Cyberkinetics Neurotechnology Biological interface system with patient training apparatus
WO2012013535A1 (en) * 2010-07-30 2012-02-02 Katholieke Universiteit Leuven Brain-computer interfaces and use thereof
CN104519790A (zh) * 2012-08-15 2015-04-15 皇家飞利浦有限公司 神经反馈系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7209788B2 (en) * 2001-10-29 2007-04-24 Duke University Closed loop brain machine interface
WO2008097201A1 (en) * 2007-02-09 2008-08-14 Agency For Science, Technology And Research A system and method for processing brain signals in a bci system
US9814885B2 (en) * 2010-04-27 2017-11-14 Medtronic, Inc. Stimulation electrode selection
US20110307079A1 (en) * 2010-04-29 2011-12-15 Board Of Trustees Of Michigan State University, The Multiscale intra-cortical neural interface system
FR2962821B1 (fr) * 2010-07-13 2013-02-22 Commissariat Energie Atomique Procede et systeme de classification de signaux neuronaux, et procede de selection d'electrodes pour commande neuronale directe.
US9095266B1 (en) * 2010-08-02 2015-08-04 Chi Yung Fu Method for treating a patient
JP5544620B2 (ja) * 2010-09-01 2014-07-09 独立行政法人産業技術総合研究所 意思伝達支援装置及び方法
CN102098639B (zh) * 2010-12-28 2013-09-11 中国人民解放军第三军医大学野战外科研究所 脑机接口短消息发送控制装置及发送控制方法
CN102426768B (zh) * 2011-08-16 2016-02-10 海尔集团公司 基于体电波控制电子设备的系统及方法
JP5320543B2 (ja) * 2011-11-08 2013-10-23 株式会社国際電気通信基礎技術研究所 脳機能亢進支援装置および脳機能亢進支援方法
WO2014025772A2 (en) 2012-08-06 2014-02-13 University Of Miami Systems and methods for responsive neurorehabilitation
US20160129251A1 (en) * 2013-06-07 2016-05-12 Brainique Ag Systems and methods for the exchange of data related to noninvasive electrical brain stimulation
JP5681917B2 (ja) * 2013-06-11 2015-03-11 株式会社国際電気通信基礎技術研究所 脳機能亢進支援装置および脳機能亢進支援方法
US10092205B2 (en) * 2013-07-03 2018-10-09 University Of Houston System Methods for closed-loop neural-machine interface systems for the control of wearable exoskeletons and prosthetic devices
CN103699230B (zh) * 2014-01-14 2016-08-17 东南大学 一种基于图标脑电控制的数字界面交互方法
US10449359B2 (en) * 2015-01-24 2019-10-22 The Trustees Of The University Of Pennsylvania Method and apparatus for improving cognitive performance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006076175A3 (en) * 2005-01-10 2007-11-22 Cyberkinetics Neurotechnology Biological interface system with patient training apparatus
WO2012013535A1 (en) * 2010-07-30 2012-02-02 Katholieke Universiteit Leuven Brain-computer interfaces and use thereof
CN104519790A (zh) * 2012-08-15 2015-04-15 皇家飞利浦有限公司 神经反馈系统

Also Published As

Publication number Publication date
JP2018530843A (ja) 2018-10-18
CA2992390A1 (en) 2017-01-19
CA2992432A1 (en) 2017-01-19
HK1254426A1 (zh) 2019-07-19
US20180199840A1 (en) 2018-07-19
HK1258232A1 (zh) 2019-11-08
EP3322334A1 (en) 2018-05-23
US10512410B2 (en) 2019-12-24
PT108690A (pt) 2017-01-13
WO2017010899A1 (en) 2017-01-19
JP6663007B2 (ja) 2020-03-11
PT108690B (pt) 2023-04-04
EP3322333A1 (en) 2018-05-23
CA2992390C (en) 2023-09-19
CN108289634A (zh) 2018-07-17
WO2017009787A1 (en) 2017-01-19

Similar Documents

Publication Publication Date Title
CN108289634B (zh) 用于操作者学习脑机接口的系统和方法
US20210282696A1 (en) Autonomous brain-machine interface
US11471684B2 (en) User-weighted closed loop adjustment of neuromodulation treatment
US9125788B2 (en) System and method for motor learning
US20050096521A1 (en) Cognitive state machine for prosthetic systems
KR20210102304A (ko) 자극 구성 요소와 모니터링 구성 요소를 포함하는 착용 가능한 디바이스를 위한 시스템 및 방법
JP2011186667A (ja) 機器制御装置、機器システム、機器制御方法、機器制御プログラム、および記録媒体
JP7383723B2 (ja) 前頭部脳活動モニタリングセンサからの情報に基づいた深い睡眠の強化
Momennezhad et al. Classification of eeg-p300 signals extracted from brain activities in bci systems using ν-svm and blda algorithms
US20230010664A1 (en) Reinforcement Learning Based Adaptive State Observation for Brain-Machine Interface
Molina Direct brain-computer communication through scalp recorded EEG signals
US9095455B2 (en) Brain machine interfaces incorporating neural population dynamics
Taher et al. A self configured and hybrid fusion approach for an electric wheelchair control
CN116077071B (zh) 一种智能康复按摩方法、机器人及存储介质
US20240136050A1 (en) Customizable neuromodulation device treatment journey
Tryon Evaluating EEG–EMG Fusion-Based Classification as a Method for Improving Control of Wearable Robotic Devices for Upper-Limb Rehabilitation
CN112684896A (zh) 一种适用于低视力患者的智能仿生眼镜及其控制方法
WO2021077009A1 (en) Systems and methods for electromyogram-based control using neural networks
Coyle et al. Rapid EEG-based BCI Setup with an Intelligent Multistage Signal Processing Framework for Online Control of a Computer Game
CN117936058A (zh) 配置信息获取装置、终端设备、医疗系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1258232

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant