CN110103215A - 多节点协同感知外骨骼神经控制系统、方法、设备和介质 - Google Patents
多节点协同感知外骨骼神经控制系统、方法、设备和介质 Download PDFInfo
- Publication number
- CN110103215A CN110103215A CN201910294243.3A CN201910294243A CN110103215A CN 110103215 A CN110103215 A CN 110103215A CN 201910294243 A CN201910294243 A CN 201910294243A CN 110103215 A CN110103215 A CN 110103215A
- Authority
- CN
- China
- Prior art keywords
- action
- movement
- ectoskeleton
- node
- collaborative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0006—Exoskeletons, i.e. resembling a human figure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Prostheses (AREA)
Abstract
本申请提供的一种多节点协同感知外骨骼神经控制系统、方法、设备和介质,通过神经元技术的多节点协同感知实现外骨骼神经控制,依据各类传感器数据获取运动意图数据、融合存储与计算、基于预测与学习机制,同时支持系统支持本地数据处理及融合数据处理两种数据处理模式使骨骼神经快速解析运动意图并响应辅助运动,以达到人体与外骨骼系统良好人机协同。本申请能够快速、准确地检测人的动作意图,同时能在最短的延迟时间给出检测结果,以帮助机动装置完成辅助运动,提高外骨骼系统的灵活性,以帮助机动装置完成辅助运动,实现人体与外骨骼系统良好人机协同。
Description
技术领域
本发明涉及外骨骼神经控制系统技术领域,特别是涉及一种多节点协同感知外骨骼神经控制系统、方法、设备和介质。
背景技术
外骨骼系统是一种穿戴在身体上的伴随式智能装备系统,通过同步“跟随”人体运动,辅助运动者承重助力及负重机动,有效提升运动者搬移托举能力、承载携行能力和快速机动能力,在后装物资装填搬移保障、物资伴随支援保障、边防巡逻保障等领域具有广泛的需求。
在下肢外骨骼的实际应用中,运动任务完成率使用者运动行进过程中姿态保持协调性的关键参数,外骨骼与使用者之间的运动滞后和差异程度直接影响了使用者运动中对整体重心与平衡性的即时把握,较大的差异会导致负重携行能力和快速机动能力迅速下降,能效降低。而运动任务完成率则是由各单关节动作完成率来保证,通过力学及位置等多种传感数据的融合处理,确保单关节自身运动状态与使用者运动高度一致,并提升各关节之间运动的协同性,从而提高整体运动任务的完成率。
与人体肌肉组织能够通过神经系统预先获取动作意图不同,外骨骼系统从各类传感器数据中获取动作意图,数据获取、处理及融合计算不可避免的将引入延迟和误差。因此如何减少动作意图识别时间,提高动作意图识别率是影响关节动作完成率的关键。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种多节点协同感知外骨骼神经控制系统、方法、设备和介质,以缩减现有技术中动作意图识别的时间。
为实现上述目的及其他相关目的,本申请提供一种多节点协同感知外骨骼神经控制系统,所述系统包括:一或多个用于感知人体单关节动作的感知节点;各所述感知节点相应连接一用于辅助对应人体关节承重或负重的机动装置;各所述感知节点包括以下模块:传感模块,用于采集一或多种表示人体单关节动作的动作信号;处理模块,用于对各所述动作信号进行信号处理并形成一或多组周期动作信息;学习与预测模块,用于依据各组所述周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与所述感知节点相应连接的所述机动装置发送预测指令,以令所述机动装置辅助人体单关节按照所述动作意图完成相应意图动作。
于本申请的一实施例中,各所述感知节点还包括:用于与其他各所述感知节点通信的通信模块;所述处理模块,还用于获取并融合其他存在协同动作关系的所述感知节点所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息;学习与预测模块,用于依据各组所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与存在协同动作关系的各所述感应节点所对应的各所述机动装置分别发送各所述机动装置适配的预测指令,以供各所述机动装置辅助人体单关节按照所述动作意图协同完成相应意图动作。
于本申请的一实施例中,所述传感模块包括:姿态传感器、角度传感器、压力传感器、表面肌电信号传感器中任意一种或多种组合;所述传感模块主要面向物联网多模态的信息感知。
于本申请的一实施例中,所述处理模块包括:新型非易失随机存储器、相变存储器、铁电存储器中任意一种。
于本申请的一实施例中,所述协同动作信号依据各所述动作信号对应的时间戳定义是否存在协同动作关系。
于本申请的一实施例中,所述周期动作信息与所述协同周期动作信息是依据各所述动作信号的周期性来划分为一组或多组。
于本申请的一实施例中,所述学习与预测模块还用于,在动作意图未发生时,依据实时获取的所述动作信号,提前预测运动状态的改变;和/或,在动作意图发生时,依据实时获取的所述动作信号判断其与相应预测的所述动作意图是否匹配;若不匹配,则依据当前的所述动作信号对所预测的下一动作的动作意图进行修正
为实现上述目的及其他相关目的,本申请提供一种多节点协同感知外骨骼神经控制方法,所述方法包括:获取对应人体单关节或存在协同动作关系的多个人体单关节的一或多个动作信号;对各所述动作信号进行信号处理并形成一或多组周期动作信息;或,获取并融合其他存在协同动作关系的所述感知节点所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息;依据各组所述周期动作信息或所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并形成预测指令发送至用于辅助对应人体关节承重或负重的机动装置或存在协同动作关系的多个机动装置,以供后者辅助人体单关节按照所述动作意图完成相应意图动作。
为实现上述目的及其他相关目的,本申请提供一种电子设备,所述终端包括:存储器、处理器、及通信器;所述存储器用于存储计算机程序;所述处理器运行计算机程序实现如上所述的多节点协同感知外骨骼神经控制系统的各功能;所述通信器用于与外部设备通信。
为实现上述目的及其他相关目的,本申请提供一种计算机存储介质,存储有计算机程序,所述计算机程序被运行时执行如上所述的多节点协同感知外骨骼神经控制系统的各功能。
综上所述,本申请的一种多节点协同感知外骨骼神经控制系统、方法、设备和介质。通过获取对应人体单关节或存在协同动作关系的多个人体单关节的一或多个动作信号;对各所述动作信号进行信号处理并形成一或多组周期动作信息;或,融合全部所述动作信号形成协同动作信号,并进行信号处理以形成一或多组协同周期动作信息;依据各组所述周期动作信息或所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并形成预测指令发送至用于辅助对应人体关节承重或负重的机动装置或存在协同动作关系的多个机动装置,以供后者辅助人体单关节按照所述动作意图完成相应意图动作。
具有以下有益效果:
能够快速、准确地检测人的动作意图,同时能在最短的延迟时间给出检测结果,以帮助机动装置完成辅助运动,提高外骨骼系统的灵活性,以帮助机动装置完成辅助运动,实现人体与外骨骼系统良好人机协同。
附图说明
图1显示为本申请于一实施例中的多节点协同感知外骨骼神经控制系统的场景示意图。
图2A显示为本申请于一实施例中的感知节点的模块示意图。
图2B显示为本申请于另一实施例中的感知节点的模块示意图。
图3显示为本申请于一实施例中的多节点协同感知外骨骼神经控制方法的流程示意图。
图4显示为本申请于一实施例中的电子设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考,针对本申请的实施例进行详细说明,以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现,并不限定于此处说明的实施例。
为了明确说明本申请,省略与说明无关的部件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
在通篇说明书中,当说某部件与另一部件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种部件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着可以还包括其它构成要素。
当说某部件在另一部件“之上”时,这可以是直接在另一部件之上,但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时,其之间不伴随其它部件。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等描述。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例,并非意在限定本申请。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指,不仅是在附图中所指的意义,还包括使用中的装置的其它意义或作业。例如,如果翻转附图中的装置,曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此,所谓“下”的示例性术语,全部包括上与下方。装置可以旋转90°或其它角度,代表相对空间的术语也据此来解释。
虽然未不同地定义,但包括此处使用的技术术语及科学术语,所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义,只要未进行定义,不得过度解释为理想的或非常公式性的意义。
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种基于多节点协同感知的外骨骼神经控制系统,具体包括一种多节点协同感知外骨骼神经控制系统、方法、设备和介质,针对下肢外骨骼的关节,能够快速、准确地检测人的动作意图,同时能在最短的延迟时间给出检测结果,以帮助机动装置完成辅助运动,提高外骨骼系统的灵活性。
如图1所示,展示为本申请于一实施例中的多节点协同感知外骨骼神经控制系统的场景示意图。如图所示,所述多节点协同感知外骨骼神经控制系统1包括:一或多个用于感知人体单关节动作的感知节点2;各所述感知节点相应连接一用于辅助对应人体关节承重或负重的机动装置3。
图1中主要示例针对人体下肢的腰部、大腿、小腿、脚部对应的感知节点2、及机动装置3。对应人体活动关节可相应活动。该多节点协同感知外骨骼神经控制系统1具有支撑和固定人体下肢的作用,并通过各机动装置3协同联动辅助带动人体下肢进行运动。
所述多节点协同感知外骨骼神经控制系统1各关节对应的感知节点2、及机动装置3组成的零部件可拆卸与组装,以方便携带。
举例来说,机动装置3内包含电机,各机动装置连接处可通过齿轮、皮带或转动机械以相互传动。在接收到相应控制指令后启动电机以令对应人体腰部、大腿、小腿、脚部的机动装置3的协作传动,通过各自一定幅度摆动辅助使用者实现走路、跳跃、跑步等运动。
另外,为使所述多节点协同感知外骨骼神经控制系统1使用方便,要求整体轻量化,以降低外骨骼重量和响应速度,同时使穿戴者感觉舒适。
为保证所述多节点协同感知外骨骼神经控制系统1能够正常使用,还需要具有传感与处理功能,这些功能则对应本申请所述系统中的感知节点2来完成,进而通过感知节点2达到快速识别人的动作意图并响应辅助运动的目的,以实现人体与外骨骼系统良好人机协同。
于本申请中,所述感知节点2可以支持两种工作模式:一种是本地数据处理模式,另一种则是融合数据处理模式。
如图2A所示,展示为本申请一实施例中的感知节点的模块示意图。该图主要对应本地数据处理模式,即每个节点自成体系可独立运行实现动作意图识别。如图所示,各所述感知节点200包括以下模块:
传感模块201,用于采集一或多种表示人体单关节动作的动作信号。
于本申请的一实施例中,所述传感模块201包括:姿态传感器、角度传感器、压力传感器、表面肌电信号传感器中任意一种或多种组合;所述传感模块201主要面向物联网多模态的信息感知,并且基于传感器感测来采集人体运动信息。
通常外骨骼动作模式多样,应用环境复杂,这就需要高度人-机协同运动能力。人机协同的基础和前提是机器能准确理解穿戴者的运动状态和意图,而为了达到精准理解需要提取不同模态的人-机系统参数,因此需要分布布置不同类型的传感器。
于本实施例中,所述传感模块201包括但不限于上述所列举的传感器,常见能够用于感测人体运动信息的传感器皆涵盖于本申请所述传感模块201的范围内。
不同模态信号采集、处理和传输需要准确实时,所以针对应用目标,如何实现非结构化环境下外骨骼多源多模态传感信号的实时捕捉、融合和处理传输是关键问题。
提高动作意图感知的准确率能够很好解决上述问题,而其关键技术就是根据多种传感器数据进行融合处理结果来判断。而不同类型的传感器可以反映运动状态的不同侧面,由于感知和计算过程需要一定的时间,而从控制信号发出到机动装置做出响应同样会有一定的延迟,因此,从传感器数据中预先获取人体的动作意图,将非常有利于外骨骼控制系统提前做出调整。
处理模块202,用于对各所述动作信号进行信号处理并形成一或多组周期动作信息。
在一些实施例中,所述对动作信号的处理可以依次包括放大、滤波、归一化处理等常见信号处理步骤。
于本实施例中,为保证较好的处理能力,所述处理模块202在硬件上能够支持多种传感器输入,具有高性能数据处理能力,实现传感器数据的实时前期处理,同时支持较为复杂的逻辑计算,为训练学习及节点间协同提供硬件性能支撑。另外,所述处理模块202还能在软件上具有较高的数据访问效率和传输效率,能够在较低的硬件配置的情况下获得最好的系统性能。
于本申请的一实施例中,所述处理模块202包括:新型非易失随机存储器、相变存储器、铁电存储器中任意一种。
为应对多种传感器的数据融合处理任务,提升动作意图识别的准确度,同时进一步降低识别的延迟时间,所述处理模块202需要有高效的计算效率和访存性能。因此,所述处理模块202采用新型非易失随机存储器,包含但不限于相变存储器,铁电存储器等新型存储器,支持字节级随机访问和原位更新功能,用于储存计算模型和学习的数据,可支持高速低延迟的即时随机访问,支持高效率计算。
于本申请的一实施例中,所述周期动作信息是依据各所述动作信号的周期性来划分为一组或多组。
简单来说,在将动作信号进行信号处理后,可以获取该信号的变化规律。举例来说,当使用者此时在走路,那么一只脚对应的压力传感器所采集的信号可能是离散型的周期信号,那么波峰可以表示脚掌受力峰值,而两波峰之间的时间,则为步行速度。再如,可以借助大腿或小腿的角度传感器,结合使用者腿长,可以计算出步幅等等。
基于上述一或多个动作信号,可以判断出一组动作重复的频率,而找出动作的周期对于后续基于神经网络进行训练学习十分重要。
学习与预测模块203,用于依据各组所述周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与所述感知节点相应连接的所述机动装置发送预测指令,以令所述机动装置辅助人体单关节按照所述动作意图完成相应意图动作。
于本实施例中,首先基于预测和学习机制实现外骨骼神经控制系统步态学习及预测感知,以完成外骨骼穿戴者动作意图提前解析。
通常来说,外骨骼的运动行为是有规律可循的,而这些规律则可以通过训练学习及计算,能够对运动行为做出预测。
由上述处理模块202可以知道,其通过动作信号能够得到动作的周期频率。进一步地,依据学习与预测模块203,通过记录一组或多组周期性的动作,可以分析其对应的各传感模块201所采集的各种动作信号的情况,通过神经网络训练和学习,那么下次所获取的动作信号,便可判断出使用者当前的动作特征(如走路、慢跑、跳跃等),由此可以预测下次动作意图或下下次的动作意图,实现动作意图的识别
相应地,根据判断或预测的运动状态,相应传输给机动装置相应控制指令(如各机动装置相对转动幅度或往复运动的频率),以帮助机动装置完成辅助运动,实现人体与外骨骼系统良好人机协同。
需要说明的是,通常外骨骼动作模式多样,会处于不同的环境,使用者相应的运动状态也会常出现变化,因此,还需要对意图动作进行学习和修正,以提高预测准确率,从而在一定程度上突破意图检测延迟时间的瓶颈,另外,将非常有利于本申请所述的多节点协同感知外骨骼神经控制系统提前做出调整。
故所述学习与预测模块203还用于:
1)在所述动作意图未发生时,依据实时获取的所述动作信号,提前预测运动状态的改变。
由上述内容,可以通过所述动作信号来预测运动状态,那么相对地,在未作出预测时,还可以依据所述动作信号预测到当前运动状态的改变或变化趋势。例如,步伐的周期时间边长、角度传感器采集的角度减小等,都可以推测出运动状态在逐渐的发生改变。
2)在所述动作意图发生时,依据实时获取的所述动作信号判断其与相应预测的所述动作意图是否匹配;若不匹配,则依据当前的所述动作信号对所预测的下一动作的动作意图进行修正。
举例来说,当依据实时获取的所述动作信号发现其与预测的所述意图动作不匹配时,则需要及时进行更正或调整,减少阻碍运动行为的情况发生。例如,假设预测的动作意图为慢跑,机动装置则会依据预测的动作意图提供相应周期下的动力,当实际需要停下来或者需要换成走路时,而此时机动装置会延续之前的状态,那么会造成与使用者有相反的力,以及有较大差别的时间周期,因此,为减少这样的情况发生,需要依据当前的所述动作信号及时进行修正。
如图2B所示,展示为本申请另一实施例中的感知节点的模块示意图。该图主要对应融合数据处理模式,即多节点协同合作实现动作意图识别。另外,在本实施例中,在支持融合数据处理模式的同时,还可以支持本地数据处理模式。
需要说明的是,图2B与图2A中所述感知节点200的大部分内容较为近似,这里不再赘述,以下将着重说明图2B与图2A的不同之处。
如图所示,各所述感知节点200还包括:用于与其他各所述感知节点通信的通信模块204。即同时单一感知节点200可以与其他感知节点200协同合作,请求并接受其他感知节点200存储的预处理数据进行融合数据处理,实现动作意图的识别。
由于各节点可以通过通信模块204进行通信传输,所述处理模块202,以及学习与预测模块203也会增加相应的功能,具体如下:
所述处理模块202,还用于获取并融合其他存在协同动作关系的所述感知节点200所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息。
于本申请的一实施例中,所述协同动作信号依据各所述动作信号对应的时间戳定义是否存在协同动作关系。
简单来说,例如一个迈步动作,需要人体腰部、腿部、脚部整体协助完成,因此,对应所述传感模块201则会获取到具有协同关系的多个动作信号,融合全部所述动作信号,则会大大增加动作意图识别的准确性,应对复杂多变的环境。
学习与预测模块203,用于依据各组所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与存在协同动作关系的各所述感应节点所对应的各所述机动装置分别发送各所述机动装置适配的预测指令,以供各所述机动装置辅助人体单关节按照所述动作意图协同完成相应意图动作。
于本申请的一实施例中,所述协同周期动作信息是依据各所述动作信号的周期性来划分为一组或多组。
简单来说,在将动作信号进行信号处理后,可以获取该信号的变化规律。举例来说,当使用者此时在走路,那么一只脚对应的压力传感器所采集的信号可能是离散型的周期信号,那么波峰可以表示脚掌受力峰值,而两波峰之间的时间,则为步行速度。再如,可以借助大腿或小腿的角度传感器,结合使用者腿长,可以计算出步幅等等。
基于上述一或多个动作信号,可以判断出一组动作重复的频率,而找出动作的周期对于后续基于神经网络进行训练学习十分重要。
于本实施例中,在通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图后,在需要向与存在协同动作关系的各所述感应节点200分别发送各自适配的指令,其目的也是达到系统运动完成意图动作的目的。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,处理模块202可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上处理模块202的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图3所示,展示为本申请于一实施例中的多节点协同感知外骨骼神经控制方法的流程示意图。如图所示,所述方法包括:
步骤S301:获取对应人体单关节或存在协同动作关系的多个人体单关节的一或多个动作信号。
步骤S302:依对各所述动作信号进行信号处理并形成一或多组周期动作信息;或,获取并融合其他存在协同动作关系的所述感知节点所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息。
步骤S303:依据各组所述周期动作信息或所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并形成预测指令发送至用于辅助对应人体关节承重或负重的机动装置或存在协同动作关系的多个机动装置,以供后者辅助人体单关节按照所述动作意图完成相应意图动作。
需要说明的是,上述方法的各步骤内容,由于与本申请所述系统实施例基于同一构思,其带来的技术效果与本申请方法实施例相同,具体内容可参见本申请前述所示的系统实施例中的叙述,此处不再赘述。
本申请所述的方法应用于如图1所述多节点协同感知外骨骼神经控制系统,并且所述系统包括:一或多个用于感知人体单关节动作的感知节点;各所述感知节点相应连接一用于辅助对应人体关节承重或负重的机动装置。
综合来说,本申请所述方法基于多节点协同感知的外骨骼神经控制系统以神经元技术的多节点协同感知实现外骨骼神经控制系统,通过各类传感器数据获取运动意图数据、融合存储与计算、基于预测与学习机制,同时支持系统支持本地数据处理及融合数据处理两种数据处理模式使骨骼神经快速解析运动意图并响应辅助运动,以达到人体与外骨骼系统良好人机协同。
如图4所示,展示为本申请于一实施例中的电子设备的结构示意图。如图所示,所述电子设备400包括:存储器401、处理器402、及通信器403;所述存储器401用于存储计算机程序;所述处理器402运行计算机程序实现如图1所述的多节点协同感知外骨骼神经控制系统的功能;所述通信器403用于与外部设备通信。
在一些实施例中,电子设备400中的所述存储器401的数量均可以是一或多个,所述处理器402的数量均可以是一或多个,所述通信器403的数量均可以是一或多个,而图4中均以一个为例。
于本申请一实施例中,所述电子设备400中的处理器402会按照如图1所述的功能,将一个或多个以应用程序的进程对应的指令加载到存储器401中,并由处理器402来运行存储在存储器402中的应用程序,从而实现如图1所述多节点协同感知外骨骼神经控制系统的各功能。
在一些实施例中,所述通信器403通信的外部设备可以是智能手机、平板电脑、掌上电脑等设备。
所述存储器401可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。所述存储器401存储有操作系统和操作指令、可执行模块或者数据结构,或者它们的子集,或者它们的扩展集,其中,操作指令可包括各种操作指令,用于实现各种操作。操作系统可包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
所述处理器402可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器403用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器403可包含一组或多组不同通信方式的模块,例如,与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括:互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如:WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
在一些具体的应用中,所述电子设备400的各个组件通过总线系统耦合在一起,其中总线系统出包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见,在图4中将各种总线都成为总线系统。
于本申请的一实施例中,本申请提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如图1所述的多节点协同感知外骨骼神经控制系统的功能。
所述计算机可读存储介质,本领域普通技术人员可以理解:实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述系统及各单元功能的实施例;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请提供的一种多节点协同感知外骨骼神经控制系统、方法、设备和介质,通过获获取对应人体单关节或存在协同动作关系的多个人体单关节的一或多个动作信号;对各所述动作信号进行信号处理并形成一或多组周期动作信息;或,融合全部所述动作信号形成协同动作信号,并进行信号处理以形成一或多组协同周期动作信息;依据各组所述周期动作信息或所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并形成预测指令发送至用于辅助对应人体关节承重或负重的机动装置或存在协同动作关系的多个机动装置,以供后者辅助人体单关节按照所述动作意图完成相应意图动作。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (10)
1.一种多节点协同感知外骨骼神经控制系统,其特征在于,所述系统包括:一或多个用于感知人体单关节动作的感知节点;各所述感知节点相应连接一用于辅助对应人体关节承重或负重的机动装置;各所述感知节点包括以下模块:
传感模块,用于采集一或多种表示人体单关节动作的动作信号;
处理模块,用于对各所述动作信号进行信号处理并形成一或多组周期动作信息;
学习与预测模块,用于依据各组所述周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与所述感知节点相应连接的所述机动装置发送预测指令,以令所述机动装置辅助人体单关节按照所述动作意图完成相应意图动作。
2.根据权利要求1所述的多节点协同感知外骨骼神经控制系统,其特征在于,各所述感知节点还包括:用于与其他各所述感知节点通信的通信模块;
所述处理模块,还用于获取并融合其他存在协同动作关系的所述感知节点所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息;
学习与预测模块,用于依据各组所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并向与存在协同动作关系的各所述感应节点所对应的各所述机动装置分别发送各所述机动装置适配的预测指令,以供各所述机动装置辅助人体单关节按照所述动作意图协同完成相应意图动作。
3.根据权利要求1所述的多节点协同感知外骨骼神经控制系统,其特征在于,所述传感模块包括:姿态传感器、角度传感器、压力传感器、表面肌电信号传感器中任意一种或多种组合;所述传感模块主要面向物联网多模态的信息感知。
4.根据权利要求1或2所述的多节点协同感知外骨骼神经控制系统,其特征在于,所述处理模块包括:新型非易失随机存储器、相变存储器、铁电存储器中任意一种。
5.根据权利要求2所述的基于多节点协同感知的外骨骼神经控制系统,其特征在于,所述协同动作信号依据各所述动作信号对应的时间戳定义是否存在协同动作关系。
6.根据权利要求1或2所述的多节点协同感知外骨骼神经控制系统,其特征在于,所述周期动作信息与所述协同周期动作信息是依据各所述动作信号的周期性来划分为一组或多组。
7.根据权利要求1所述的多节点协同感知外骨骼神经控制系统,其特征在于,所述学习与预测模块还用于,在动作意图未发生时,依据实时获取的所述动作信号,提前预测运动状态的改变;和/或,在动作意图发生时,依据实时获取的所述动作信号判断其与相应预测的所述动作意图是否匹配;若不匹配,则依据当前的所述动作信号对所预测的下一动作的动作意图进行修正。
8.一种多节点协同感知外骨骼神经控制方法,其特征在于,所述方法包括:
获取对应人体单关节或存在协同动作关系的多个人体单关节的一或多个动作信号;
对各所述动作信号进行信号处理并形成一或多组周期动作信息;或,获取并融合其他存在协同动作关系的所述感知节点所处理形成的各所述周期动作信息以形成一或多组协同周期动作信息;
依据各组所述周期动作信息或所述协同周期动作信息,通过神经系统的训练学习匹配相应的动作特征以预测下一动作的动作意图,并形成预测指令发送至用于辅助对应人体关节承重或负重的机动装置或存在协同动作关系的多个机动装置,以供后者辅助人体单关节按照所述动作意图完成相应意图动作。
9.一种电子设备,其特征在于,所述终端包括:存储器、处理器、及通信器;所述存储器用于存储计算机程序;所述处理器运行计算机程序实现如权利要求1-7中任意一项所述的多节点协同感知外骨骼神经控制系统的功能;所述通信器用于与外部设备通信。
10.一种计算机存储介质,其特征在于,存储有计算机程序,所述计算机程序被运行时执行如权利要求1-7中任意一项所述的多节点协同感知外骨骼神经控制系统的功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910294243.3A CN110103215A (zh) | 2019-04-12 | 2019-04-12 | 多节点协同感知外骨骼神经控制系统、方法、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910294243.3A CN110103215A (zh) | 2019-04-12 | 2019-04-12 | 多节点协同感知外骨骼神经控制系统、方法、设备和介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110103215A true CN110103215A (zh) | 2019-08-09 |
Family
ID=67485461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910294243.3A Pending CN110103215A (zh) | 2019-04-12 | 2019-04-12 | 多节点协同感知外骨骼神经控制系统、方法、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110103215A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110802603A (zh) * | 2019-12-03 | 2020-02-18 | 国机智能(苏州)有限公司 | 一种主动式腰部助力外骨骼控制系统以及控制方法 |
WO2021238737A1 (zh) * | 2020-05-26 | 2021-12-02 | 索尼集团公司 | 物联网中的操作电子设备、管理电子设备和通信方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103622792A (zh) * | 2013-11-25 | 2014-03-12 | 北京林业大学 | 外骨骼助力机器人的信息采集与控制系统 |
CN106074089A (zh) * | 2016-07-14 | 2016-11-09 | 南昌大学 | 一种双手跟踪式手指康复机器人系统 |
WO2018066151A1 (ja) * | 2016-10-06 | 2018-04-12 | Cyberdyne株式会社 | 歩行障害支援装置及び歩行障害支援方法 |
CN108098736A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型感知的外骨骼机器人辅助装置及方法 |
-
2019
- 2019-04-12 CN CN201910294243.3A patent/CN110103215A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103622792A (zh) * | 2013-11-25 | 2014-03-12 | 北京林业大学 | 外骨骼助力机器人的信息采集与控制系统 |
CN106074089A (zh) * | 2016-07-14 | 2016-11-09 | 南昌大学 | 一种双手跟踪式手指康复机器人系统 |
WO2018066151A1 (ja) * | 2016-10-06 | 2018-04-12 | Cyberdyne株式会社 | 歩行障害支援装置及び歩行障害支援方法 |
CN108098736A (zh) * | 2016-11-24 | 2018-06-01 | 广州映博智能科技有限公司 | 一种基于新型感知的外骨骼机器人辅助装置及方法 |
Non-Patent Citations (1)
Title |
---|
陈春杰: "基于柔性传动的助力全身外骨骼机器人系统研究", 《中国博士学位论文全文数据库(信息科技辑)》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110802603A (zh) * | 2019-12-03 | 2020-02-18 | 国机智能(苏州)有限公司 | 一种主动式腰部助力外骨骼控制系统以及控制方法 |
CN110802603B (zh) * | 2019-12-03 | 2022-07-12 | 国机智能(苏州)有限公司 | 一种主动式腰部助力外骨骼控制系统以及控制方法 |
WO2021238737A1 (zh) * | 2020-05-26 | 2021-12-02 | 索尼集团公司 | 物联网中的操作电子设备、管理电子设备和通信方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | A novel gait pattern recognition method based on LSTM-CNN for lower limb exoskeleton | |
Dzeladini et al. | The contribution of a central pattern generator in a reflex-based neuromuscular model | |
Martin et al. | Design and experimental implementation of a hybrid zero dynamics-based controller for planar bipeds with curved feet | |
Bessonnet et al. | A parametric optimization approach to walking pattern synthesis | |
Sup et al. | Design and control of a powered transfemoral prosthesis | |
Lorincz et al. | Resource aware programming in the pixie os | |
Zhao et al. | First steps toward translating robotic walking to prostheses: a nonlinear optimization based control approach | |
CN103431929B (zh) | 一种力量增强型动力外骨骼行走步态感知方法及装置 | |
KR101916414B1 (ko) | 편마비 재활 훈련 시스템 및 그 구동 방법 | |
CN110103215A (zh) | 多节点协同感知外骨骼神经控制系统、方法、设备和介质 | |
Jacob et al. | An adaptive and flexible brain energized full body exoskeleton with IoT edge for assisting the paralyzed patients | |
JP7157486B2 (ja) | データ管理サーバ、データ管理方法及びデータ管理プログラム | |
Kim et al. | Kinematic-based locomotion mode recognition for power augmentation exoskeleton | |
Ren et al. | A fast parameterized gait planning method for a lower-limb exoskeleton robot | |
Pajak et al. | An approach to sport activities recognition based on an inertial sensor and deep learning | |
Thakur et al. | An improved approach for complex activity recognition in smart homes | |
Zheng et al. | Analysis and experimental research on stability characteristics of squatting posture of wearable lower limb exoskeleton robot | |
Turvey et al. | Human odometry verifies the symmetry perspective on bipedal gaits. | |
Huang et al. | Modeling and individualizing continuous joint kinematics using Gaussian process enhanced Fourier series | |
Wang et al. | A real-time walking pattern recognition method for soft knee power assist wear | |
Mello et al. | Towards a new generation of smart devices for mobility assistance: CloudWalker, a cloud-enabled cyber-physical system | |
Matsubara et al. | Spatiotemporal synchronization of biped walking patterns with multiple external inputs by style–phase adaptation | |
Ren et al. | Gait phase recognition of multi-mode locomotion based on multi-layer perceptron for the plantar pressure measurement system | |
Schiehlen et al. | Walking dynamics from mechanism models to parameter optimization | |
Lu et al. | Adaptive adjustment strategy for walking characteristics of single-legged exoskeleton robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190809 |