CN105722479B - 用于控制大脑机器接口和神经假肢系统的系统 - Google Patents

用于控制大脑机器接口和神经假肢系统的系统 Download PDF

Info

Publication number
CN105722479B
CN105722479B CN201480062290.0A CN201480062290A CN105722479B CN 105722479 B CN105722479 B CN 105722479B CN 201480062290 A CN201480062290 A CN 201480062290A CN 105722479 B CN105722479 B CN 105722479B
Authority
CN
China
Prior art keywords
motion
control
spike
motion command
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480062290.0A
Other languages
English (en)
Other versions
CN105722479A (zh
Inventor
V·德萨皮奥
N·斯里尼瓦萨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HRL Laboratories LLC
Original Assignee
HRL Laboratories LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HRL Laboratories LLC filed Critical HRL Laboratories LLC
Publication of CN105722479A publication Critical patent/CN105722479A/zh
Application granted granted Critical
Publication of CN105722479B publication Critical patent/CN105722479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2/72—Bioelectric control, e.g. myoelectric
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/68—Operating or control means
    • A61F2/70—Operating or control means electrical
    • A61F2002/701—Operating or control means electrical operated by electrically controlled means, e.g. solenoids or torque motors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50—Prostheses not implantable in the body
    • A61F2/76—Means for assembling, fitting or testing prostheses, e.g. for measuring or balancing, e.g. alignment means
    • A61F2002/7615—Measuring means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transplantation (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Prostheses (AREA)

Abstract

本发明描述了一种用于已知从神经成像数据推断的运动意图来控制扭矩控制假肢装置的系统。该系统包括与一个或更多个处理器可操作地连接的至少一个扭矩控制假肢装置。并且，该系统被配置成从神经成像装置接收用户的神经成像数据并解码神经成像数据以推断用户的空间运动意图，其中，该空间运动意图包括以坐标系表示的扭矩控制假肢装置的期望运动命令。该系统之后使用假肢控制器执行运动命令作为扭矩命令，以使扭矩控制假肢装置根据用户的空间运动意图来运动。

Description

用于控制大脑机器接口和神经假肢系统的系统
相关申请的交叉引用
这是于2013年11月13日提交的美国临时申请号61/903,538、题为“Acontrol andsimulation architecture for application to brain machine interfaces andneural prosthetic systems(一种应用于大脑机器接口和神经假肢系统的控制和仿真分层结构)”的非临时专利申请。
这还是于2013年11月13日提交的美国临时申请号61/903,526、题为“A goal-oriented sensorimotor controller for controlling musculoskeletal simulationswith neural excitation commands(用于使用神经激励命令控制肌肉骨骼仿真的面向目的的感觉运动控制器)”的非临时专利申请。
技术领域
本发明涉及一种机器人控制系统，更具体地涉及一种用于已知从神经成像数据推断的运动意图来控制机器人假肢装置的系统。
背景技术
大脑机器接口(BMI)和神经假肢为受到脊髓损伤的人和被截肢者恢复功能提供了很大希望，而且以完整的运动功能增大并提高了人的能力。在神经成像以及在从神经成像数据解码运动意图方面进展很大。然而，关于假肢装置控制则进展不大，大多数方案扎根于常规的机器人控制。
在BMI和神经假肢研究中已存在许多工作，其涉及表层信号的解码，用于通过外部装置在下游执行运动命令(例如，参见所纳入的参考文献列表，参考文献号1、9、11、12和15)。该工作的大部分集中于神经解码，对假肢控制所施加的精确性不大。在控制机器人臂假肢的情况下，运动轨迹典型地被转换成关节命令并使用关节空间控制来执行(例如，参见参考文献号11、12和15)。
迄今，未提出公知的使用任务/姿势分解的假肢控制系统。任务/姿势分解与BMI中的关节空间控制相比具有特别的优点。任务/姿势分解基于与编码表层信号的方式(例如，眼居中、手居中的笛卡尔坐标)类似的抽象。并且，它对涉及多个假肢的全身假肢控制和高自由度运动是可通用化的。关节空间假肢控制由于其依靠逆向运动解决方案而在该能力方面受到限制。另外，任务/姿势分解允许基于使与执行表层运动命令一致的重要目标功能最小化(例如，功率消耗，虚拟肌力等)指定姿势行为。
在将神经形态计算分层结构应用于BMI和神经假肢系统方面已存在许多工作。例如，Dethier等人的工作集中于将人工尖峰脉冲神经网络用于解码和滤波表层信号(基于卡尔曼(Kalman)滤波器的解码，使用端点运动作为状态向量并使用神经尖峰脉冲率作为测量向量)而不是假肢控制(参见参考文献号7)。
另外，Bouganis和Shanahan的工作关注于使用人工尖峰脉冲神经网络控制机器人臂；尽管他们的工作未涉及神经假肢系统(参见专利文献号2)。
其他研究者结合生物机械模型在神经假肢仿真中进行了工作(参见专利文献号4、5和8)。然而，尽管他们的工作将肌肉骨架模型实施于仿真中，然而这些工作的焦点在于仿真并验证假肢装置的控制。这样，还是未公知一种除了假肢控制器以外还集成有感觉运动控制器的系统。
因此，存在对这样一种系统的不断需求，该系统允许对不仅与生物和工程部件相关联、而且与生物和工程控制系统相关联的接口问题的增强模型化和分析。并且，存在对这样一种系统级分层结构的需求，该系统级分层结构用于按照姿势准则将人工尖峰脉冲神经网络应用于运动映射的学习，用于控制在BMI和神经假肢系统中的运动。
发明内容
本发明描述了一种用于已知从神经成像数据推断的运动意图来控制扭矩控制假肢装置的系统。该系统包括一个或更多个处理器和一个存储器，在所述存储器上编码有可执行指令，使得一旦执行所述指令，则所述一个或更多个处理器执行若干操作，例如从神经成像装置接收用户的神经成像数据。所述神经成像数据则被解码以推断用户的空间运动意图，其中，所述空间运动意图包括以坐标系表示的所述扭矩控制假肢装置的期望运动命令。之后，所述系统使用假肢控制器执行所述运动命令作为扭矩命令，以使所述扭矩控制假肢装置根据用户的所述空间运动意图来运动。
在另一个方面中，所述系统包括至少一个扭矩控制假肢装置，所述扭矩控制假肢装置与所述一个或多个处理器可操作地连接。
在又一个方面中，所述系统执行在所述控制器中接收与所述假肢装置的当前状态相关的感觉信息的操作。
另外，在执行所述运动命令时，使用任务分解和姿势分解来执行所述运动命令，其中，所述任务分解是任务空间控制，所述姿势分解被公式化为成本位能(cost potential)，所述成本位能表示成本函数。
并且，在执行所述运动命令时，所述运动命令被执行作为扭矩命令，所述扭矩命令生成期望任务空间控制，同时使成本位能最小化。
在又一个方面中，在执行所述运动命令时，使用尖峰脉冲神经网络执行所述运动命令。
在另一个方面中，所述假肢控制器是神经形态假肢控制器并且还包括：神经形态尖峰脉冲编码器，用于将所述运动命令表示为一组神经尖峰脉冲；神经形态运动映射器，用于将表示笛卡尔位移的神经尖峰脉冲映射到表示配置(关节)空间位移的神经尖峰脉冲；尖峰脉冲解码器，用于解码所述表示配置(关节)空间位移的神经尖峰脉冲并生成关节空间命令；以及关节伺服器，用于执行关节空间命令。
在又一个方面中，所述系统进行以下操作：接收所述假肢装置的模型和用户的肌肉骨架模型，其中，所述肌肉骨架模型包括肌肉骨架动力学，所述肌肉骨架动力学包括稳态腱力；已知所述运动命令来使用感觉运动控制器生成仿真神经激励，以便在肌肉骨架仿真中驱动一组肌肉激活；以及已知所述运动命令来使用所述假肢控制器生成仿真致动器关节扭矩，以便驱动仿真假肢装置。
最后，本发明还涉及一种计算机程序产品和计算机实施方法。所述计算机程序产品包括存储在非暂时计算机可读介质上的计算机可读指令，所述计算机可读指令可由一种具有一个或更多个处理器的计算机执行，使得一旦执行所述指令，则所述一个或更多个处理器执行本文中所列举的操作。替代地，所述计算机实施方法包括使计算机执行这些指令并执行所产生的操作的动作。
附图说明
本发明的目的、特征和优点将结合参照附图从以下对本发明的各种方面的详细说明中明白，在附图中：
图1是示出根据本发明的原理的系统部件的框图；
图2是实施本发明的一个方面的计算机程序产品的图；
图3是示出如何解码来自大脑的高级运动意图并将任务级运动命令传送到假肢装置控制器的流程图，该假肢装置控制器则使用任务/姿势分解执行该运动命令；
图4A是由14块肌肉致动的人臂的简化模型；
图4B是示出图4A所示的肌肉的相应的最大等长收缩力(isometric force)fo和最佳纤维长度
图5A是用作用于控制假肢臂的生理模板的人臂的冗余肌肉致动模型的示图；
图5B是示出关节运动的时间历史、同时进行图5A所示的模型的仿真运行的曲线图；
图5C是示出手运动的时间历史、同时进行图5A所示的模型的仿真运行的曲线图；
图5D是示出肌力的时间历史、同时进行图5A所示的模型的仿真运行的曲线图；
图6A是示出通过仅针对由Δq＝J#Δx给出的逆向映射的独特解决方案训练网络来解析运动映射冗余的人工尖峰脉冲神经网络的流程图；
图6B是示出通过明显禁止学习成本高的解决方案来解析运动映射冗余的人工尖峰脉冲神经网络的流程图；
图7是示出如何解码来自大脑的高级运动意图并将任务级运动命令传送到假肢装置控制器的流程图；
图8是示出如何将已解码的表层输出发送到仿真假肢控制器和仿真感觉运动控制器的流程图；
图9是示出与运动控制问题相关联的神经和肌肉骨架生理的流程图；
图10是示出图9的系统级抽象的功能框图，示出神经和肌肉骨架生理的抽象表示；
图11是示出主动状态肌腱模型的示图，其中，主动可收缩元件和被动粘弹性元件是并行，并且被动弹性腱元件是串行；
图12是示出神经肌肉和肌肉骨架系统(前馈路径)的示图；
图13是任务级感觉运动控制器的示图；
图14是示出神经和肌肉骨架生理的抽象表示的功能框图；
图15是示出神经肌肉和肌肉骨架系统(前馈路径)的示图，示出使用一组完整约束和拉格朗日乘数增大的肌肉骨架系统动力学；
图16是约束任务级感觉运动控制器的示图；以及
图17是约束任务级感觉运动控制器的示图，该任务级感觉运动控制器生成在存在完整系统约束的情况下与输入运动命令一致的运动。
具体实施方式
本发明涉及一种机器人控制系统，更具体地涉及一种用于已知从神经成像数据推断的运动意图来控制机器人假肢装置的系统。以下说明的提出能使本行业普通技术人员做出并使用本发明，并将其纳入在具体应用的范围中。各种修改以及在不同应用中各种使用将对本行业人员是显而易见的，并且在本文中定义的一般原理可以应用于范围广泛的方面。这样，本发明意图不是受限于所提出的方面，而是被赋予与本文中公开的原理和新颖性特征一致的最宽范围。
在以下详细说明中，提出了众多特定细节，以便提供对本发明的更充分理解。然而，对本行业技术人员来说显而易见的是，本发明可以在不必受限于这些特定细节的情况下来实施。在其他情况中，众所周知的结构和装置以框图形式显示，而不是以详图显示，以便避免使本发明含糊不清。
读者要注意与本说明书一并提交并且与本说明书一起公开公布审查的所有证件和文件，并且所有这些证件和文件的内容被纳入在本文中以供参考。本说明书中公开的所有特征(包括任何所附权利要求、摘要和附图)可以由达到相同、同等或者类似目的的替代特征来替换，除非另有明确规定。这样，除非另有明确规定，所公开的各特征仅是同等或类似特征的通用系列的一例。
并且，在未明显规定用于进行特定功能的“装置”或者用于进行特定功能的“步骤”的权利要求中的任何要素按照在35U.S.C.第112条、第6款规定不应被解释为“装置”或“步骤”。特别是，在本文中的权利要求中的“步骤”或“动作”的使用，其意图不是援引35U.S.C.第112条、第6款的规定。
在详细描述本发明之前，首先提供一份所纳入的参考文献列表。然后，提供对本发明的各种主要方面的描述。接着，向读者介绍本发明的一般理解。最后，提供本发明的细节，以便了解特定方面。
(1)所纳入的参考文献列表
以下的参考文献被引用在本申请全文中。为了清楚和方便起见，参考文献在本文中被列举为供读者用的中心资源。从而以下参考文献完整包含在本文中以供参考。参考文献通过参照相应的参考文献编号而被引用在本申请中。
1.Andersen,R.A.,Hwang,E.J.,&Mulliken,G.H.,(2010),Cognitive neuralprosthetics,Annual review ofpsychology,61,169.
2.Bouganis,A.,&Shanahan,M.,(2010,July),Training a spiking neuralnetwork to control a 4-DoF robotic arm based on spike timing-dependentplasticity.In Neural Networks(IJCNN),The 2010International Joint Conferenceon(pp.1-8),IEEE.
3.Buneo,C.A.,Jarvis,M.R.,Batista,A.P.,&Andersen,R.A.,(2002),Directvisuomotor transformations for reaching.Nature,416(6881),632-636.
4.Davoodi,R.,&Loeb,G.E.,(2011,February),MSMS software for VRsimulations of neural prostheses and patient training and rehabilitation,InMMVR(pp.156-162).
5.Davoodi,R.,Urata,C.,Hauschild,M.,Khachani,M.,&Loeb,G.E.,(2007),Model-based development of neural prostheses for movement,BiomedicalEngineering,IEEE Transactions on,54(11),1909-1918.
6.De Sapio,V.,Khatib,O.,&Delp,S.,(2008),Least action principles andtheir application to constrained and task-level problems in robotics andbiomechanics,Multibody System Dynamics,19(3),303-322.
7.Dethier,J.,Nuyujukian,P.,Eliasmith,C.,Stewart,T.C.,Elasaad,S.A.,Shenoy,K.V.,&Boahen,K.A.,(2011),A brain-machine interface operating with areal-time spiking neural network control algorithm.In Advances in NeuralInformation Processing Systems(pp.2213-2221).
8.Hauschild,M.,Davoodi,R.,&Loeb,G.E.,(2007),A virtual realityenvironment for designing and fitting neural prosthetic limbs,Neural Systemsand Rehabilitation Engineering,IEEE Transactions on,15(1),9-15.
9.Hochberg,L.R.,Bacher,D.,Jarosiewicz,B.,Masse,N.Y.,Simeral,J.D.,Vogel,J.,...&Donoghue,J.P.,(2012),Reach and grasp by people with tetraplegiausing a neurally controlled robotic arm,Nature,485(7398),372-375.
10.Khatib,O.,(1995),Inertial properties in robotic manipulation:Anobject-level framework,The International Journal ofRobotics Research,14(1),19-36.
11.Lebedev,M.A.,Tate,A.J.,Hanson,T.L.,Li,Z.,O'Doherty,J.E.,Winans,J.A.,...&Nicolelis,M.A.,(2011),Future developments in brain-machine interfaceresearch.Clinics,66,25-32.
12.Naidu,D.S.,Chen,C.H.,Perez,A.,&Schoen,M.P.,(2008,August),Controlstrategies for smart prosthetic hand technology:An overview,In Engineering inMedicine and Biology Society,EMBS 2008.30th Annual International Conferenceof the IEEE(pp.4314-4317),IEEE.
13.Sabes,P.N.,(2000),The planning and control of reachingmovements.Current opinion in neurobiology,10(6),740-746.
14.Srinivasa,N.,&Cho,Y.,(2012),Self-organizing spiking neural modelfor learning fault-tolerant spatio-motor transformations,Neural Networks andLearning Systems,IEEE Transactions on,23(10),1526-1538.
15.Velliste,M.,Perel,S.,Spalding,M.C.,Whitford,A.S.,&Schwartz,A.B.,(2008),Cortical control of a prosthetic arm for self-feeding,Nature,453(7198),1098-1101.
16.De Sapio,V.(2011),Task-level control of motion and constraintforces in holonomically constrained robotic systems,in Proceedings of the18th World Congress of the International Federation ofAutomatic Control.
17.De Sapio,V.and Park,J.(2010),Multitask constrained motion controlusing a mass-weighted orthogonal decomposition,Journal ofApplied Mechanics,Vol.77,No.4,p.041004.
18.De Sapio,V.,Khatib,O.and Delp,S.(2005),Simulating the task-levelcontrol of human motion:a methodology and framework for implementation,TheVisual Computer,Vol.21,No.5,pp.289–302.
19.Thelen,D.G.andAnderson,F.C.(2006),Using computed muscle control togenerate forward dynamic simulations of human walking from experimental data,Journal ofBiomechanics,Vol.39,No.6,p.1107.
20.Thelen,D.G.,Anderson,F.C.and Delp,S.L.(2003),Generating dynamicsimulations of movement using computed muscle control,Journal ofBiomechanics,Vol.36,No.3,pp.321–328.
21.De Sapio,V.,Khatib,O.,and Delp,S.(2006),Task-level approaches forthe control ofconstrained multibody systems,Multibody System Dynamics,Vol.16,No.1,pp.73-102.
(2)主要方面
本发明具有三个“主要”方面。第一是一种用于已知从神经成像数据推断的运动意图来控制机器人假肢装置的系统。该系统典型地采用计算机系统操作软件的形式或者采用“硬编码”指令集的形式。该系统可以被纳入到提供不同功能性的范围广泛的装置内。在一个方面中，该系统被纳入到一种机器人中，该机器人具有致动器和附件或者其他运动可操作部件以及任何其他可能被要求提供本文中描述的功能性的部件。第二主要方面是一种典型采用软件形式的、使用数据处理系统(计算机)来操作的方法。第三主要方面是一种计算机程序产品。该计算机程序产品通常表示存储在非暂时计算机可读介质例如小型盘(CD)或者数字通用盘(DVD)的光存储装置、或者例如软件或磁带的磁存储装置上的计算机可读指令。计算机可读介质的其他非限制性例子包括硬盘、只读存储器(ROM)和快闪型存储器。这些方面将在以下更详细描述。
图1中提供一个描述本发明的系统(即计算机系统100)的一例的框图。计算机系统100被配置成进行与程序或算法相关联的计算、处理、操作和/或功能。在一个方面中，在本文中讨论的某些处理和步骤被实现为一系列指令(例如，软件程序)，该指令驻留在计算机可读存储器单元内并由计算机系统100的一个或多个处理器执行。当被执行时，这些指令使计算机系统100进行特定动作并呈现特定行为，例如本文中描述的行为。
计算机系统100可以包括地址/数据总线102，该地址/数据总线102被配置成进行信息通信。另外，一个或多个数据处理单元例如处理器104(或多个处理器)与地址/数据总线102连接。处理器104被配置成处理信息和指令。在一个方面中，处理器104是微处理器。替代地，处理器104可以是不同类型的处理器例如并行处理器或者场可编程门阵列。
计算机系统100被配置成利用一个或多个数据存储单元。计算机系统100可以包括与地址/数据总线102连接的易失性存储器单元106(例如，随机存取存储器(“RAM”))、静态RAM、动态RAM等)，其中，易失性存储器单元106被配置成存储用于处理器104的信息和指令。计算机系统100还可以包括与地址/数据总线102连接的非易失性存储器单元108(例如，只读存储器(“ROM”)，可编程ROM(“PROM”)，可擦除可编程ROM(“EPROM”)，电可擦除可编程ROM(“EEPROM”)，快闪存储器等)，其中，非易失性存储器单元108被配置成存储用于处理器104的静态信息和指令。替代地，计算机系统100可以执行从在线数据存储单元例如在“云”计算中被检索的指令。在一个方面中，计算机系统100还可以包括与地址/数据总线102连接的一个或多个接口例如接口110。该一个或多个接口被配置成使计算机系统100能够与其他电子装置和计算机系统接口连接。由一个或多个接口实施的通信接口可以包括有线(例如，串行电缆、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个方面中，计算机系统100可以包括与地址/数据总线102连接的输入装置112，其中，输入装置112被配置成将信息和命令选择通知到处理器100。根据一个方面，输入装置112是字母数字输入装置例如键盘，该字母数字输入装置可以包括字母数字键和/或功能键。替代地，输入装置112可以是除了字母输入装置以外的输入装置。在一个方面中，计算机系统100可以包括与地址/数据总线102连接的光标控制装置114，其中，光标控制装置114被配置成将用户输入信息和/或命令选择通知给处理器100。在一个方面中，光标控制装置114是使用例如鼠标、跟踪球、跟踪垫、光学跟踪装置、或者触摸屏的装置来实施。尽管上述内容，然而在一个方面中，光标控制装置114经由来自输入装置112的输入被指向和/或被激活，例如响应于与输入装置112相关联的特殊键和键序列指令的使用。在一个替代方面中，光标控制装置114被配置成通过语音命令被指向或者被引导。
在一个方面中，计算机系统100还可以包括与地址/数据总线102连接的一个或多个可选的计算机可使用数据存储装置，例如存储装置116。存储装置116被配置成存储信息和/或计算机可执行指令。在一个方面中，存储装置116是例如磁或光盘驱动(例如，硬盘驱动(“HDD”)、软盘、小型盘只读存储器(“CD-ROM”)、数字通用盘(“DVD”))之类的存储装置。根据一个方面，显示装置118与地址/数据总线102连接，其中，显示装置118被配置成显示视频和/或图形。在一个方面中，显示装置118可以包括阴极射线管(“CRT”)、液晶显示器(“LCD”)、场致发射显示器(“FED”)、等离子体显示器、或者任何其他适合于显示视频和/或图像和对用户可识别的字母数字字符的显示装置。
在本文中提出的计算机系统100是一个根据一个方面的计算环境的例子。然而，计算机系统10的非限制性例子不严格受限于是计算机系统。例如，一个方面提供的是，计算机系统100表示可以根据本文中所述的各种方面使用的一种类型的数据处理分析。并且，还可以实施其他计算系统。诚然，本技术的精神和范围不限于任何单一数据处理环境。这样，在一个方面中，本技术的各种方面的一个或多个操作是使用由计算机执行的例如程序模块之类的计算机可执行指令来控制或实施的。在一个实施中，这种程序模块包括例程、程序、对象、部件和/或数据结构，它们被配置成进行具体的任务或者实施具体的抽象数据类型。另外，一个方面提供的是，本技术的一个或多个方面是通过利用一个或多个分布式计算环境来实施的，该分布式计算环境例如是由通过通信网络链接的远程处理装置进行任务的环境，或者例如各种程序模块位于包括存储装置的本地和远程计算机存储介质内的环境。
在图2中示出实施本发明的计算机程序产品(即存储装置)的例图。计算机程序产品被示出为软盘200或者光盘202例如CD或DVD。然而，如前所述，计算机程序产品通常表示存储在任何可兼容的非暂时性计算机可读介质上的计算机可读指令。针对本发明使用的术语“指令”通常表示在计算机上待进行的一组操作，并且可以表示整个程序的片段或者单独的、可分离的软件模块。“指令”的非限制性例子包括计算机程序代码(源代码或对象代码)和“硬编码”电子器件(即，编码进计算机芯片内的计算机操作)。“指令”被存储在任何非暂时性计算机可读介质内，例如在计算机的存储器内或者在软盘、CD-ROM和快闪驱动上。在任何情况下，指令被编码在非暂时性计算机可读介质上。
(3)介绍
大脑机器接口(BMI)和神经假肢为受到脊髓损伤的人和被截肢者恢复功能提供了很大希望，而且以完整的运动功能增大并提高了人的能力。在神经成像以及在从神经成像数据解码运动意图方面进展很大。然而，关于假肢装置控制则进展不大，大多数方案植根于常规的机器人控制。
这样，本文中描述的系统提供了一种用于已知从神经成像数据推断的运动意图来控制机器人假肢装置的系统级分层结构。该系统还提供一种仿真分层结构，以便于在任何临床介入之前针对人体对象虚拟测试特定的控制器和假肢装置设计。将描述两个独特的控制分层结构。一个控制器是基于意图用于在常规的数字计算硬件上实施的运动的生物激发任务/姿势分解。另一个控制器是基于将任务运动的神经形态映射到具有运动冗余的生物激发解析的关节运动，这可以在神经计算硬件上来实施。一个独特的方面是，两种方案利用生物激发抽象用于以自然的拟人方式控制假肢装置，而不是利用常规的逆向运动方案。这些控制分层结构的任一方的特定例示可以以“人在环中”的方式利用新颖的基于模型的仿真环境来测试。在该环境中，来自附设到对象上的神经成像设备(脑电图仪(EEG)、功能性磁共振成像装置(fMRI)等)的实际表层输出将驱动对象的生物机械模型和待测试的假肢装置的模型。该模型化提供了一种用于测试假肢装置、控制器以及假肢硬件与对象的整体生物集成的效率的技术，无需使对象与实际的假肢硬件物理连接。
仿真环境通过表层命令(即BMI)驱动假肢装置的运动和仿真对象的运动的能力是独特的，并且可以由范围广泛的假肢制造商和/或开发商利用。例如，替身机器人技术可以被实施用于增强制造车间工人的能力。这些技术包括辅助外骨骼和其他装置，用于增大工人生产率并减少伤害。本发明提供了用于开发下一代BMI的显著能力，例如用户性能增强、辅助机器人装置、以及神经假肢技术。
(4)特定细节
描述了用于已知从神经成像数据推断的运动意图来控制机器人假肢装置的两个控制分层结构。另外，描述了一种用于以“人在环中”的方式虚拟测试与假肢硬件相关联的生物集成问题的仿真分层结构。两个控制分层结构是以假定一个来自表示高级运动意图的大脑的已解码表层数据源开始的。该运动意图采用期望运动命令的形式，该期望运动命令采用不同笛卡尔坐标系(眼居中、手居中等)使用视觉运动转换来表示。这种视觉运动转换的例子在参考文献号3和13中作了描述。该期望运动命令在本文中是指xd，任务坐标的多维数向量(例如，单手的笛卡尔坐标相关联运动或者双手的协调运动)。目的是基于该运动意图来控制假肢装置。
在描述基于运动的生物激发任务/姿势分解的第一控制分层结构之前，有必要定义假肢装置的动力学。在关节空间中，动力学被定义如下：
式中，q是关节坐标的向量，τ是应用关节扭矩的向量，M(q)是关节空间质量矩阵，是离心力和科里奥利力的向量，g(q)是重力的向量。逆向运动学在常规上用于将期望笛卡尔目标映射到一组关节角度{x-1(q)|x→q}。接着，已知关节级命令，通过对各自关节进行伺服或者通过使用计算扭矩控制来控制假肢装置。已知一种拟人假肢装置被设计用于替代人的肢体(例如人臂)，有必要满足肢体运动中的运动冗余。即，该装置将典型地具有臂运动命令所需要的多个关节坐标。从机器人控制角度来看，这意味着，存在与已知的运动命令相关联的无限数量的关节坐标解决方案。
涉及该问题的方案是表示假肢装置在任务空间中的动力学，该任务空间是一个用于解决控制问题的更自然的空间，因为在该空间中表示已解码的表层运动命令。动力学的任务空间表示由下式给出：
式中，x是待控制的任务坐标的描述，f是作用于任务的控制力，Λ(q)、和p(q)分别是任务空间质量矩阵、离心力和科里奥利力向量、以及重力向量。任务空间由Khatib在参考文献号10中作了描述。
应用关节扭矩由下式给出：
τ＝JTf+NTτp，
式中，J是任务坐标的雅可比行列式，NT是零空间投射矩阵，是通过零空间投射矩阵滤波的任意关节扭矩。在此注意的关键点是，假肢装置的控制可以被分解成任务级成分和互补的姿势成分(由运动冗余引起)。基于雅可比行列式的特定广义倒数，这两个运动控制成分被确保成相互动态一致，并且因此，控制可以被合成，以执行表层运动命令，同时实现假肢装置的某些姿势目标。该姿势目标可以基于使某些生理成本准则最小化或者它可以基于使装置的功率消耗准则最小化。在前者情况下，尽管不必以与它替代的生物附件类似的方式致动假肢装置，然而将生理准则编码成其控制可以产生装置的姿势运动的更拟人的行为。这将实现与对象自身的附加物将如何运动更一致地运动的装置的期望效果。
为了进一步理解，图3示出与该方案相关联的系统级分层结构。来自大脑302的高级运动意图被解码(使用表层解码器304)，并且任务级运动命令306被传送到假肢装置控制器308。使用神经成像装置或者可操作用于捕获神经成像数据300的任何其他合适的装置来捕获高级运动意图，该装置的非限制性例子包括神经成像设备例如脑电图仪(EEG)和功能性磁共振成像装置(fMRI)。表层解码器304使用解码算法来从神经成像数据300推断空间运动意图306。作为一例并且如上提到的，该运动意图采用期望运动命令的形式，该运动命令使用视觉运动转换以不同笛卡尔坐标系(眼居中、手居中等)表示。
控制器308使用任务姿势分解执行运动命令。相关生理准则(即，姿势准则)或者装置功率消耗准则可以用于驱动与表层命令一致的运动310的姿势成分。来自假肢装置314的感觉信息312(例如，假肢装置314的当前状态的关节角度)被反馈到控制器308，产生闭环控制。分层结构还包含来自假肢装置314的感觉信息312，该感觉信息被发送到大脑302以避免传入本体感受。
在使姿势准则公式化时，可以将位能U(q)指定为表示某个成本函数。合适的成本函数的一例由DE Sapio在参考文献号6中作了描述。可以控制任务级运动命令，同时控制互补姿势空间内的运动，以使U(q)最小化。这可以通过在零/姿势空间内应用梯度下降来完成。即，
任务空间控制方程则可以表示如下：
式中，表示动力学参数的估计，f*是控制率。比例导数(PD)控制率可以表示为：
式中，Kp和Kv是控制增益。生成期望任务空间控制、同时使姿势空间中的瞬时成本位能最小化的控制扭矩则是：
生理成本准则，像肌力那样，可以选择性表示。例如，De Sapio等人(参见专利文献号6)提出了以下的与使肌肉激活最小化的肌力准则：
式中，g(q)是重力扭矩，R(q)是肌肉力矩臂矩阵，Kf(q)是将肌肉激活α映射到肌力f的对角线矩阵，针对给定的肌肉的Kf的要素可以由下式模型化：
式中，l(q)是肌肉长度，fo和分别表示最大等长收缩肌力和最佳肌肉纤维长度。
该力准则可以用于基于图3的分层结构设计臂假肢控制器。为了图示目的并且作为一个非限制性例子，图4A的生物机械模型的特征用于臂假肢控制器。图4A示出由14个肌肉致动的人臂的简化生物机械模型，而图4B是示出用于图4A的生物机械模型的最大等距肌力fo和最佳纤维长度的表。控制率被定义为：
并且控制扭矩被定义为：
式中，耗散项和增益ke被附加到控制扭矩的姿势空间部中的梯度下降项。
图5A示出用作用于控制假肢臂的生理模板的人臂的冗余肌肉致动模型，而图5B、图5C和图5D是分别示出针对使用图5A的模型的仿真运行的关节运动、手运动和肌力的时间历史。图5A的模型描述与梯度下降运动到目标xf相关联的最初和最终配置(关节角度)q(to)和q(tj)。根据任务要求，运动对应于肌力的梯度下降。姿势控制试图减少肌力，但是也受任务要求约束。
控制器实现最终的目标对象，而姿势控制同时试图减少肌力(与任务要求一致)。在控制中不包含对动力学的补偿(除了重力以外)。这样，没有存在于控制中的惯性项的反馈线性化。通常，完美的反馈线性化将产生达到目标的直线运动。在不存在反馈线性化的情况下，产生非直线运动。
注意的是，图4A的生物机械模型用于生成生理准则，该生理准则在假肢控制器中被编码。假肢臂的致动系统不需要类似于其生物肌肉驱动配对物。而是，生物肌肉模型定义一组虚拟肌肉，该虚拟肌肉以生物激发方式指导假肢装置的姿势控制，即使常规的机器人致动器(例如，直流电动机等)用于在假肢装置中控制关节运动。
图3中所示的控制分层结构意图是在常规的数字计算硬件上实施并且如果期望的话与假肢装置集成。以下还描述一种将实施神经形态硬件的方案。这涉及人工尖峰脉冲神经网络的设计，用于学习在从已解码的表层信号导出的任务级运动命令与关节空间命令之间的映射。在上述的方案中，使用任务/姿势分解来解析假肢装置中的运动冗余。在利用人工尖峰脉冲神经网络的运动映射学习的情况下，还需要满足运动冗余，因为x中的差动运动将产生q中的差动运动的无限空间。
图6A和图6B示出具有用于解析运动冗余的两个不同方案的人工尖峰脉冲神经网络。两个网络使用假肢臂的轨迹喃语(trajectorybabbling)600、611学习逆向动力学映射。运动冗余影响训练，使得针对给定的配置(关节角度组)q603和笛卡尔位移Δx601将有多个配置(关节)空间位移值Δq604要学习。换句话说，正向映射Δx＝J(q)Δq，无法唯一逆向。如图6A所示，这可以通过使用J(即J#602)的特定通用化逆向来解析，使得Δq＝J#Δx.。已知该唯一映射，图6A的尖峰脉冲神经网络针对笛卡尔空间600中的轨迹喃语的输出进行训练。信号q603和Δx601用作用于训练的上下文，并且信号Δq604用作针对该上下文待学习的信号。信号603表示在任何给定时间感测的当前关节角度配置。
表示这些信号的尖峰脉冲用作对神经元的层1605的输入。层1605的输出用作对层2606的尖峰脉冲输入。神经元的附加层3607用在上下文侧(q603和Δx601输入侧)。在该层中，各神经元针对配置q603和笛卡尔位移Δx(参见参考文献号14)的双方的单一组合表示进行编码。在层4608中，在该层中的尖峰脉冲神经元的突触重量与学习训练信号609一致地被增强。尖峰脉冲定时相关塑性(参见参考文献号2和14)用于调制这些层中的突触重量。在针对运动喃语数据的充分训练之后，尖峰脉冲定时相关塑性可以断开，因为层4608中的神经元已学习了不同的动力学映射。注意的是，x(t+1)和q(t+1)表示用于下次步骤的新值。
广义逆J#602可以基于某个二次式的最小化来选择。例如，为了找到使最小化的解决方案，可以使用以下解决方案：
Δq＝J+Δx＝JT(JJT)-1Δx
作为另一例子，一种使系统的瞬时动能最小化的解决方案将由下式给出：
替代地，一种使系统的瞬时肌肉纤维位移率最小化的解决方案将由下式给出：
Δq＝(RRT)-1JT[J(RRT)-1JT]-1Δx.
如图6B所示，还可以通过附加神经元层612来解决冗余问题，该神经元层612明显禁止学习成本(生理的或者其它)高的解决方案。图6B的结构类似于图6A。然而，不是使用广义逆来计算针对一个给定配置q和笛卡尔位移Δx要学习的Δq的唯一值，而是使用正向运动610来计算从配置(关节)空间运动喃语611向笛卡尔空间的唯一正向映射。尽管Δq的许多值将针对q和Δx的给定值满足该映射，然而神经元62的层被纳入以禁止以高的成本值学习信号Δq613。这样，训练的目的将在于学习与最小成本值相关联的Δq值。
再次参照图6A和图6B，尖峰脉冲神经网络用作神经形态运动映射器(在图7中示出为元件708)，该神经形态运动映射器将笛卡尔位移Δx601映射到配置(关节)空间位移Δq。利用该神经形态运动映射器708，在图7中指定反馈环路700来控制假肢臂。整个系统由来自表层解码器的输出组成，该表层解码器指定臂在笛卡尔空间内的意图来运动306。该信号由神经形态尖峰脉冲编码器编码成尖峰脉冲706。这些尖峰脉冲以及被编码成尖峰脉冲720的来自假肢臂714的关节角度测量结果用作对神经形态运动映射器708的输入。表示到配置(关节)空间位移Δq的已学习的映射的尖峰脉冲输出被解码710并被发送到关节伺服器712，该关节伺服器712控制假肢臂718的运动。
为了进一步理解，图7示出与图6B中所示的方案相关联的系统级分层结构。在该情况下，假肢装置控制器(即，神经形态假肢控制器)308包括：神经形态尖峰脉冲映射器702(用于表示一组尖峰脉冲706的运动命令306)、用于将表示笛卡尔位移的神经尖峰脉冲映射到表示配置(关节)空间位移的神经尖峰脉冲的神经形态运动映射器708(如图6A和/或图6B所示)、尖峰脉冲解码器710(用于解码表示配置(关节)空间位移的神经尖峰脉冲并生成关节空间命令)、以及用于执行关节空间命令的关节伺服器712。(假肢装置718的当前状态的)所感测的关节角度714被反馈到关节伺服器712和运动映射器708(在尖峰脉冲编码702之后)。相关的生理准则或者装置电源消耗准则可以被纳入到神经形态运动映射器(如图6A和/或图6B所示)，用于与表层命令一致地驱动运动的姿势成分。
系统还可以被修改成允许与假肢硬件相关联的生物集成问题的人在环中虚拟测试。图8例如示出包括人在环中虚拟测试的这样一个分层结构。来自附设到对象上的神经成像设备802(例如，EEG、fMRI等)的已解码的表层输出306被发送到仿真假肢控制器804(而图3中的假肢控制器308控制一个实际的硬件零件)和仿真感觉运动控制器806。仿真假肢控制器804对控制器设计的行为进行模型化(并以与所描述的且针对图3示出的假肢控制器308类似的方式进行操作)，而感觉运动控制器806对中央神经系统(CNS)的感觉运动处理和集成进行仿真。
从该控制器806输出的仿真神经激励808在肌肉骨架仿真810中驱动一组肌肉，而且来自假肢控制器804的仿真致动器扭矩812驱动仿真假肢装置。单一基于物理的环境纳入对象的肌肉骨架动力学以及假肢装置的动力学。该分层结构允许进行大量的基于仿真的测试。可以测试假肢控制器804的整体效率，包括在执行表层命令时的控制系统的稳定性和性能。还可以评价许多生物集成问题。这些问题包括在各种配置中对装置和对象的机械力和应力，以及在身体－假肢接口处的反作用力。除了便于控制系统和假肢装置的设计优化以外，该分层结构还将便于使用假肢系统的对象训练以及在对象与假肢硬件的任何物理连接之前该系统的对象特定调整和定制。
感觉运动控制器806部件在以下针对图9至图17作更详细描述。图9例如示出与运动控制问题相关联的神经和肌肉骨架生理。来自大脑900的高级运动意图900被传送到中央神经系统(CNS)904。感觉运动集成和控制产生运动神经元906的低级命令，该运动神经元的低级命令神经支配各个肌肉908(在躯体神经系统908中)以生成协调的肌肉骨架910运动。传入本体感受信号912将来自关节和肌腱中的机械感受器的感觉数据传送回到CNS 904。
图10示出图9的系统级抽象。感觉运动控制器块806是本文中所述的感觉运动控制器的中心。它接收来自操作人员(或者大脑900)的任务级命令输入(即，运动意图902)并生成用于肌肉骨架仿真1004的低级神经激励808。这是感觉数据(经由本体感受信号1006)被反馈到感觉运动控制器806的闭环控制过程，该感觉运动控制器806对驱动肌肉骨架仿真1004的神经激励808提供连续更新。这样，在一个方面中，感觉运动控制器806(仿真器)通过在肌肉骨架设备上运行肌肉骨架仿真来进行操作。感觉运动控制器806的各种方面在以下分别针对图13、图16和图17所示的元件1300、1600和1700进行更详细说明。
为了进一步理解，图11提供了根据本发明的原理的肌肉骨架设备1100的例示。如图12所示，肌肉骨架设备可以划分成神经肌肉1200动力学和肌肉骨架1202动力学。具体地，图12是示出神经肌肉1200和肌肉骨架1202系统(前馈路径)的示图。如图所示，神经激励808提供对激活动力学1206的输入，并且激活动力学1206的输出1208提供对收缩动力学1210的输入。并且，收缩动力学1210的输出1212通过关节扭矩提供对肌肉骨架1202动力学的输入。
以下提供有关神经肌肉1200和肌肉骨架1202系统的进一步详情。肌肉骨架1202系统动力学由配置空间中的以下方程系统描述。
式中，q是n通用化或者关节坐标的向量，τ是应用关节扭矩的向量，M(q)是关节空间质量矩阵，是离心力和科里奥利力的向量，g(q)是重力的向量。
神经肌肉1202动力学描述跨越肌肉骨架系统的一组r肌腱致动器的行为。这些致动器被模型化成Hill型主动状态力生成单元，如De Sapio等人所描述那样(参见专利文献号18)。假定的是，r肌腱长度的向量l可以从系统配置q唯一确定。即，l＝l(q)。作为该假定的结果，l的不同变化由下式给出：
式中，L(q)是肌肉雅可比行列式。从虚工原理来看，总结为，
τ＝-LTfT＝R(q)fT
式中，fT是r腱力的向量。负号是由将可收缩肌力取为正的惯例而产生的。力矩臂的矩阵表示为R。
肌腱致动器(神经肌肉动力学1200)的行为可以划分成激活动力学1208和收缩动力学1210。激活动力学1208是指响应于神经激励的肌肉激活过程。该过程可以由以下依据r肌肉激活的向量a所写入的状态方程来模型化，使得：
式中，ai∈[0，1]和ui∈[0，1]是神经输入。项τ(ui，ai)是由下式给出的时间常数：
式中，τa和τd分别是激活和去激活时间常数。
肌腱单元(图示为图11中的元件1100)的收缩动力学1210可以被模型化成集总参数系统。再次参照图11，集总参数系统1102描述力的配置。存在主动元件1104、被动粘弹性元件(并行)1106、以及弹性腱元件(串行)1108。与肌肉纤维1110相关联的相关角度α被称为羽状角(pennation angle)1112。
这产生以下关系：
l(q)＝lMcosα+lT
式中，lM是肌肉长度的向量，并且lT是腱长度的向量。可以表示以下的力平衡方程：
fT＝(fA+fP)cosα
式中，fA是肌肉中的主动力的向量，并且fP是肌肉中的被动力的向量。使用该力平衡方程、以及将肌力描述为肌肉长度和收缩速度的函数和并将腱力描述为腱长度的函数fT(lT)的构成关系，可以将以下以函数形式的状态方程表示为：
因此，对r肌腱致动器的系统来说，以下的2r一阶状态方程系统可以表示为：
以及
式中，内部状态是lM和a。这由力关系来补充：
fT＝fT(lT)＝l(q)-lMcosα＝fT(l(q)，lM)
回到肌肉骨架动力学(示出为图12中的元件1202)，
这些运动方程可以映射到操作或任务空间，如下：
式中，是任务雅可比行列式的动态一致的倒数，x是待控制的任务坐标的描述，f是作用于任务的控制力，以及Λ(q)、和p(q)分别是任务空间质量矩阵、离心力和科里奥利力向量、以及重力向量。参见参考文献号10中的Khatib有关任务空间讨论的工作，该工作以在本文中全文提出的方式纳入本文中以供参考。
已知r肌腱致动器系统，则应用关节扭矩由下式给出：
τ＝RfT
该式提供以下的肌肉致动任务空间运动方程：
为了控制目的，肌肉致动任务空间运动方程可以表示为：
式中，表示动力学参数的估计，f*是控制率。由于项是欠定的，因而它提供针对fT的许多解决方案。这些解决方案对应于与任务相关联的运动冗余和与肌腱力致动器系统相关联的致动器冗余。在Thelen等人的计算肌肉控制方案中(参见专利文献号19和20)，只有肌肉冗余需要解析。这是通过静态优化步骤来实现的。在本文中使用的任务级公式化中，静态优化还被指定用于解析肌肉冗余和运动冗余的双方。具体地，确定一组肌肉激活其使最小化，其中，是与稳态腱力(即，当收缩动力学已被平衡并且瞬态已衰变时的腱力)相关联的肌肉激活。并且，这些激活必须生成满足任务运动要求的稳态腱力：
使用线性比例控制器，计算一组神经激励u，该神经激励u从对轨迹的正向神经肌肉仿真产生实际激活a，如下：
式中，Ka是增益。该任务级输入计算肌肉控制分层结构在图13中示出。图13是根据本发明的原理的任务级感觉运动控制器1300的示图，其中，运动命令在任务空间中表示。感觉运动控制器1300生成最佳神经激励命令808，该最佳神经激励命令808使肌肉激活1302最小化，并生成与输入运动命令一致的运动。
并且如图14所示，完整约束1400可以被纳入到系统中，具体地，图14示出表示神经和肌肉骨架生理的抽象显示的功能性框图。感觉运动控制器806在该方面是面向目的的神经肌肉反馈控制器，该控制器通过指定执行任务级命令的低级神经808激励来驱动约束1400肌肉骨架仿真。
这样如图15所示，完整约束φ(q)＝0可以被纳入到肌肉骨架动力学中。配置空间动力学使用拉格朗日乘数λ来增大：
式中，ΦT是约束雅可比行列式。约束肌肉骨架系统的框图在图15中示出。具体地，图15是示出神经肌肉和约束肌肉骨架系统(前馈路径)，示出使用一组完整约束1502和拉格朗日乘数λ来增大的肌肉骨架系统动力学1500。
该方案以两种方式中的一种表示这些动力学。首先如图16所示，约束动力学可以在任务空间中表示为：
式中，ΘT是约束零空间投射矩阵。任务空间表示由De Sapio等人在参考文献号21中作了描述。在约束时投射的离心力和科里奥利力、以及重力分别是α和ρ。为了神经肌肉控制目的，这可以表示为以下的肌肉致动任务空间运动方程：
如以前一样，控制器1600寻求1602，该1602使(即，激活的幅度平方)最小化以生成神经激励808。并且，这些激活必须生成满足约束任务运动要求的稳态腱力，如下：
替代地如图17所示，约束动力学可以在任务空间中表示为：
式中，ΘT是约束零空间投射矩阵，Λc，μc，pc分别是任务/约束空间质量矩阵、离心力和科里奥利力向量、以及重力向量。任务空间表在参考文献号16和17中作了进一步描述。在约束时投射的离心力和科里奥利力、以及重力分别是α和ρ。最后，是针对任务和约束的双方的组合零空间投射矩阵，并且τN是针对零空间的控制向量。
该表示呈现了约束力并对生成在约束下跟踪任务运动的最佳神经激励是有用的，而且还使特定的内部关节反作用力最小化。为了神经肌肉控制目的，这可以表示为以下的肌肉致动任务空间运动方程：
这样，系统现在寻求和λ，该和λ使最小化。并且，这些激活必须生成满足约束任务运动要求的稳态腱力：
这样，图17是基于计算肌肉控制方案的再公式化的约束任务级感觉运动控制器1700的图示。该系统表示在任务空间中的运动命令并生成使肌肉激活1702最小化的最佳神经激励808命令，并且生成在存在完整系统约束的情况下与输入运动命令一致的运动。

Claims (21)

1.一种用于已知从神经成像数据推断的运动意图来控制扭矩控制假肢装置的系统，所述系统包括：
一个或更多个处理器和存储器，在所述存储器上编码有可执行指令，使得一旦执行所述指令，则所述一个或更多个处理器执行以下操作：
从神经成像装置接收用户的神经成像数据；
解码所述神经成像数据以推断所述用户的空间运动意图，其中，所述空间运动意图包括以坐标系表示的所述扭矩控制假肢装置的期望运动命令；
使用假肢控制器执行所述运动命令作为扭矩命令，以使所述扭矩控制假肢装置根据所述用户的所述空间运动意图来运动；
其中，在执行所述运动命令时，使用任务分解和姿势分解来执行所述运动命令，其中，所述任务分解是任务空间控制，所述姿势分解被公式化为成本位能，所述成本位能表示成本函数。
2.根据权利要求1所述的系统，所述系统还包括至少一个扭矩控制假肢装置，所述至少一个扭矩控制假肢装置与所述一个或更多个处理器可操作地连接。
3.根据权利要求2所述的系统，所述系统还包括在所述控制器中接收与所述假肢装置的当前状态相关的感觉信息的操作。
4.根据权利要求3所述的系统，其中，在执行所述运动命令时，所述运动命令被执行作为扭矩命令，所述扭矩命令生成期望任务空间控制，同时使所述成本位能最小化。
5.根据权利要求3所述的系统，其中，在执行所述运动命令时，使用尖峰脉冲神经网络执行所述运动命令。
6.根据权利要求5所述的系统，其中，所述假肢控制器是神经形态假肢控制器并且还包括：
神经形态尖峰脉冲编码器，其用于将所述运动命令表示为一组神经尖峰脉冲；
神经形态运动映射器，其用于将表示笛卡尔位移的神经尖峰脉冲映射到表示关节空间位移的神经尖峰脉冲；
尖峰脉冲解码器，其用于解码所述表示关节空间位移的神经尖峰脉冲并生成关节空间命令；以及
关节伺服器，其用于执行所述关节空间命令。
7.根据权利要求1所述的系统，所述系统还包括以下操作：
接收所述假肢装置的模型和所述用户的肌肉骨架模型，其中，所述肌肉骨架模型包括肌肉骨架动力学，所述肌肉骨架动力学包括稳态腱力；
已知所述运动命令来使用感觉运动控制器生成仿真神经激励，以便在肌肉骨架仿真中驱动一组肌肉激活；以及
已知所述运动命令来使用所述假肢控制器生成仿真致动器关节扭矩，以便驱动仿真假肢装置。
8.一种用于已知从神经成像数据推断的运动意图来控制扭矩控制假肢装置的非暂时计算机可读介质，在所述非暂时计算机可读介质上编码有可执行指令，使得一旦通过一个或更多个处理器执行所述指令，则所述一个或更多个处理器执行以下操作：
从神经成像装置接收用户的神经成像数据；
解码所述神经成像数据以推断所述用户的空间运动意图，其中，所述空间运动意图包括以坐标系表示的所述扭矩控制假肢装置的期望运动命令；
使用假肢控制器执行所述运动命令作为扭矩命令，以使所述扭矩控制假肢装置根据所述用户的所述空间运动意图来运动；
其中，在执行所述运动命令时，使用任务分解和姿势分解来执行所述运动命令，其中，所述任务分解是任务空间控制，所述姿势分解被公式化为成本位能，所述成本位能表示成本函数。
9.根据权利要求8所述的非暂时计算机可读介质，其中，所述指令还用于控制与所述一个或更多个处理器可操作地连接的至少一个扭矩控制假肢装置。
10.根据权利要求9所述的非暂时计算机可读介质，其中，所述指令还用于执行在所述控制器中接收与所述假肢装置的当前状态相关的感觉信息的操作。
11.根据权利要求10所述的非暂时计算机可读介质，其中，在执行所述运动命令时，所述运动命令被执行作为扭矩命令，所述扭矩命令生成期望任务空间控制，同时使所述成本位能最小化。
12.根据权利要求10所述的非暂时计算机可读介质，其中，在执行所述运动命令时，使用尖峰脉冲神经网络来执行所述运动命令。
13.根据权利要求12所述的非暂时计算机可读介质，其中，所述假肢控制器是神经形态假肢控制器并且还包括：
神经形态尖峰脉冲编码器，其用于将所述运动命令表示为一组神经尖峰脉冲；
神经形态运动映射器，其用于将表示笛卡尔位移的神经尖峰脉冲映射到表示关节空间位移的神经尖峰脉冲；
尖峰脉冲解码器，其用于解码所述表示关节空间位移的神经尖峰脉冲并生成关节空间命令；以及
关节伺服器，其用于执行所述关节空间命令。
14.根据权利要求8所述的非暂时计算机可读介质，其中，所述指令还用于执行以下操作：
接收所述假肢装置的模型和所述用户的肌肉骨架模型，其中，所述肌肉骨架模型包括肌肉骨架动力学，所述肌肉骨架动力学包括稳态腱力；
已知所述运动命令来使用感觉运动控制器生成仿真神经激励，以便在肌肉骨架仿真中驱动一组肌肉激活；以及
已知所述运动命令来使用所述假肢控制器生成仿真致动器关节扭矩，以便驱动仿真假肢装置。
15.一种用于已知从神经成像数据推断的运动意图来控制扭矩控制假肢装置的方法，所述方法包括以下动作：
执行编码在存储器上的指令，使得一旦执行所述指令，则一个或更多个处理器执行以下操作：
从神经成像装置接收用户的神经成像数据；
解码所述神经成像数据以推断所述用户的空间运动意图，其中，所述空间运动意图包括以坐标系表示的所述扭矩控制假肢装置的期望运动命令；
使用假肢控制器执行所述运动命令作为扭矩命令，以使所述扭矩控制假肢装置根据所述用户的所述空间运动意图来运动；
其中，在执行所述运动命令时，使用任务分解和姿势分解来执行所述运动命令，其中，所述任务分解是任务空间控制，所述姿势分解被公式化为成本位能，所述成本位能表示成本函数。
16.根据权利要求15所述的方法，所述方法还包括用于控制与所述一个或更多个处理器可操作地连接的至少一个扭矩控制假肢装置的动作。
17.根据权利要求16所述的方法，所述方法还包括在所述控制器中接收与所述假肢装置的当前状态相关的感觉信息的操作。
18.根据权利要求17所述的方法，其中，在执行所述运动命令时，所述运动命令被执行作为扭矩命令，所述扭矩命令生成期望任务空间控制，同时使所述成本位能最小化。
19.根据权利要求17所述的方法，其中，在执行所述运动命令时，使用尖峰脉冲神经网络执行所述运动命令。
20.根据权利要求19所述的方法，其中，所述假肢控制器是神经形态假肢控制器并且还包括：
神经形态尖峰脉冲编码器，其用于将所述运动命令表示为一组神经尖峰脉冲；
神经形态运动映射器，其用于将表示笛卡尔位移的神经尖峰脉冲映射到表示关节空间位移的神经尖峰脉冲；
尖峰脉冲解码器，其用于解码所述表示关节空间位移的神经尖峰脉冲并生成关节空间命令；以及
关节伺服器，其用于执行所述关节空间命令。
21.根据权利要求15所述的方法，所述方法还包括以下操作：
接收所述假肢装置的模型和所述用户的肌肉骨架模型，其中，所述肌肉骨架模型包括肌肉骨架动力学，所述肌肉骨架动力学包括稳态腱力；
已知所述运动命令来使用感觉运动控制器生成仿真神经激励，以便在肌肉骨架仿真中驱动一组肌肉激活；以及
已知所述运动命令来使用所述假肢控制器生成仿真致动器关节扭矩，以便驱动仿真假肢装置。
CN201480062290.0A 2013-11-13 2014-11-13 用于控制大脑机器接口和神经假肢系统的系统 Active CN105722479B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361903538P 2013-11-13 2013-11-13
US61/903,538 2013-11-13
PCT/US2014/065537 WO2015073713A1 (en) 2013-11-13 2014-11-13 System for controlling brain machine interfaces and neural prosthetic systems

Publications (2)

Publication Number Publication Date
CN105722479A CN105722479A (zh) 2016-06-29
CN105722479B true CN105722479B (zh) 2018-04-13

Family

ID=53058028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480062290.0A Active CN105722479B (zh) 2013-11-13 2014-11-13 用于控制大脑机器接口和神经假肢系统的系统

Country Status (3)

Country Link
EP (1) EP3068349A4 (zh)
CN (1) CN105722479B (zh)
WO (1) WO2015073713A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10496168B2 (en) 2018-01-25 2019-12-03 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11635736B2 (en) 2017-10-19 2023-04-25 Meta Platforms Technologies, Llc Systems and methods for identifying biological structures associated with neuromuscular source signals
EP3487402B1 (en) 2016-07-25 2021-05-05 Facebook Technologies, LLC Methods and apparatus for inferring user intent based on neuromuscular signals
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10489986B2 (en) 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10504286B2 (en) 2018-01-25 2019-12-10 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
WO2019147928A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Handstate reconstruction based on multiple inputs
CN111902847A (zh) 2018-01-25 2020-11-06 脸谱科技有限责任公司 手部状态表示模型估计的实时处理
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
CN112074870A (zh) 2018-01-25 2020-12-11 脸谱科技有限责任公司 重构的手部状态信息的可视化
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN112469469A (zh) 2018-05-25 2021-03-09 脸谱科技有限责任公司 用于提供肌肉下控制的方法和装置
WO2019231911A1 (en) 2018-05-29 2019-12-05 Ctrl-Labs Corporation Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
US10970374B2 (en) 2018-06-14 2021-04-06 Facebook Technologies, Llc User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020027904A1 (en) * 2018-07-31 2020-02-06 Hrl Laboratories, Llc Enhanced brain-machine interfaces with neuromodulation
CN112566553A (zh) 2018-08-13 2021-03-26 脸谱科技有限责任公司 实时尖峰检测和识别
US10842407B2 (en) 2018-08-31 2020-11-24 Facebook Technologies, Llc Camera-guided interpretation of neuromuscular signals
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN114207556B (zh) * 2019-07-02 2023-10-27 Hrl实验室有限责任公司 用于将大脑状态连续解码为免持装置中多自由度控制信号的系统和方法
US20210018896A1 (en) * 2019-07-16 2021-01-21 Carnegie Mellon University Methods and Systems for Noninvasive Mind-Controlled Devices
US12089953B1 (en) 2019-12-04 2024-09-17 Meta Platforms Technologies, Llc Systems and methods for utilizing intrinsic current noise to measure interface impedances
CN111568615A (zh) * 2020-04-16 2020-08-25 南方科技大学 电动假肢系统和电动假肢控制方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN115282431B (zh) * 2022-07-06 2023-06-30 电子科技大学 一种基于脑电的光调控智能灯刺激方法及其装置

Also Published As

Publication number Publication date
EP3068349A1 (en) 2016-09-21
EP3068349A4 (en) 2017-12-13
WO2015073713A1 (en) 2015-05-21
CN105722479A (zh) 2016-06-29

Similar Documents

Publication Publication Date Title
CN105722479B (zh) 用于控制大脑机器接口和神经假肢系统的系统
Seth et al. OpenSim: a musculoskeletal modeling and simulation framework for in silico investigations and exchange
Mataric Getting humanoids to move and imitate
Cofer et al. AnimatLab: a 3D graphics environment for neuromechanical simulations
Valero-Cuevas et al. Computational models for neuromuscular function
Geijtenbeek et al. Interactive character animation using simulated physics: A state‐of‐the‐art review
Nakamura et al. Somatosensory computation for man-machine interface from motion-capture data and musculoskeletal human model
Abdel-Malek et al. Human motion simulation: Predictive dynamics
Davoodi et al. Model-based development of neural prostheses for movement
Chang et al. Energy-shaping control of a muscular octopus arm moving in three dimensions
Joos et al. Reinforcement learning of musculoskeletal control from functional simulations
Klar et al. Simulating interaction movements via model predictive control
Demircan et al. Human motion reconstruction by direct control of marker trajectories
Feng et al. MuscleVAE: Model-Based Controllers of Muscle-Actuated Characters
De Sapio An approach for goal-oriented neuromuscular control of digital humans in physics-based simulations
Balkenius et al. Ikaros: a framework for controlling robots with system-level brain models
Polakovič et al. Bio-Inspired Model-Based Design and Control of Bipedal Robot
Lessard The Design, Consturction, and Evaluation of Crux: A Tensegrity-Inspired Compliant Robotic Upper-Extremity Exosuit
KR20220140178A (ko) 강화학습모델을 이용한 보행 동작 정보 출력 방법 및 서비스 장치
Sun et al. A Bionic Control Method for Human–Exoskeleton Coupling Based on CPG Model
Zheng et al. Multi-phase optimisation model predicts manual lifting motions with less reliance on experiment-based posture data
Sreenivasa et al. Modelfactory: A matlab/octave based toolbox to create human body models
Dorschky Optimal Control and Machine Learning in Biomechanics: Hybrid Models for Inertial Sensor-based Gait Analysis and Virtual Footwear Testing
Verma et al. An OpenSim guided tour in machine learning for e-health applications
Lasa Feature-based control of physics-based character animation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant