CN113611388B - 一种基于外骨骼的智能运动康复治疗与训练系统 - Google Patents
一种基于外骨骼的智能运动康复治疗与训练系统 Download PDFInfo
- Publication number
- CN113611388B CN113611388B CN202110882465.4A CN202110882465A CN113611388B CN 113611388 B CN113611388 B CN 113611388B CN 202110882465 A CN202110882465 A CN 202110882465A CN 113611388 B CN113611388 B CN 113611388B
- Authority
- CN
- China
- Prior art keywords
- training
- rehabilitation
- intelligent
- patient
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 395
- 230000033001 locomotion Effects 0.000 claims abstract description 400
- 238000000034 method Methods 0.000 claims abstract description 198
- 230000008569 process Effects 0.000 claims abstract description 187
- 238000004458 analytical method Methods 0.000 claims abstract description 150
- 230000003993 interaction Effects 0.000 claims abstract description 144
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 230000002452 interceptive effect Effects 0.000 claims abstract description 50
- 238000002560 therapeutic procedure Methods 0.000 claims abstract description 44
- 238000011161 development Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 114
- 238000012544 monitoring process Methods 0.000 claims description 59
- 210000000988 bone and bone Anatomy 0.000 claims description 47
- 230000000694 effects Effects 0.000 claims description 41
- 238000011156 evaluation Methods 0.000 claims description 30
- 230000003190 augmentative effect Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 27
- 230000006854 communication Effects 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 25
- 230000008447 perception Effects 0.000 claims description 24
- 210000002027 skeletal muscle Anatomy 0.000 claims description 19
- 210000004556 brain Anatomy 0.000 claims description 18
- 238000012827 research and development Methods 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 16
- 210000003205 muscle Anatomy 0.000 claims description 16
- 210000003141 lower extremity Anatomy 0.000 claims description 15
- 230000006978 adaptation Effects 0.000 claims description 14
- 230000006378 damage Effects 0.000 claims description 13
- 230000007613 environmental effect Effects 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 11
- 230000000638 stimulation Effects 0.000 claims description 11
- 210000003414 extremity Anatomy 0.000 claims description 10
- 210000001364 upper extremity Anatomy 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 10
- 230000036772 blood pressure Effects 0.000 claims description 9
- 230000036541 health Effects 0.000 claims description 9
- 208000027418 Wounds and injury Diseases 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 8
- 208000014674 injury Diseases 0.000 claims description 8
- 238000013499 data model Methods 0.000 claims description 7
- 230000004424 eye movement Effects 0.000 claims description 7
- 239000011521 glass Substances 0.000 claims description 7
- 238000001727 in vivo Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 7
- 210000005036 nerve Anatomy 0.000 claims description 6
- 230000036284 oxygen consumption Effects 0.000 claims description 6
- 238000013439 planning Methods 0.000 claims description 6
- 206010041349 Somnolence Diseases 0.000 claims description 5
- 208000003443 Unconsciousness Diseases 0.000 claims description 5
- 238000003032 molecular docking Methods 0.000 claims description 4
- 239000002344 surface layer Substances 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 230000005021 gait Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 208000032140 Sleepiness Diseases 0.000 claims description 2
- 201000010099 disease Diseases 0.000 claims description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 2
- 230000005611 electricity Effects 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims description 2
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000037321 sleepiness Effects 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 abstract description 4
- 238000012790 confirmation Methods 0.000 description 40
- 210000000056 organ Anatomy 0.000 description 24
- 238000000354 decomposition reaction Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000009471 action Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 12
- 238000009472 formulation Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 238000011084 recovery Methods 0.000 description 11
- 210000001503 joint Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000006872 improvement Effects 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 230000007659 motor function Effects 0.000 description 6
- 230000003442 weekly effect Effects 0.000 description 6
- 208000025978 Athletic injury Diseases 0.000 description 5
- 206010041738 Sports injury Diseases 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 230000037230 mobility Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000002683 foot Anatomy 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 206010021118 Hypotonia Diseases 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000036640 muscle relaxation Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000009133 cooperative interaction Effects 0.000 description 2
- 230000010485 coping Effects 0.000 description 2
- 238000000586 desensitisation Methods 0.000 description 2
- 230000008846 dynamic interplay Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000003370 grooming effect Effects 0.000 description 2
- 238000012482 interaction analysis Methods 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 230000008407 joint function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 238000007493 shaping process Methods 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 235000020004 porter Nutrition 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000010244 region-of-interest analysis Methods 0.000 description 1
- 102000012498 secondary active transmembrane transporter activity proteins Human genes 0.000 description 1
- 108040003878 secondary active transmembrane transporter activity proteins Proteins 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明充分挖掘现有机械外骨骼的发展趋势、康复治疗的需求、患者机体的差异性、实战磨砺训练需求,结合最新的智能分析推理算法的研究进展、智能交互设备的能力可扩展性,提出一种融合智能化外骨骼系统、智能检测系统、本地控制中心、智能交互系统、安全系统、智能检测系统等为一体的智能运动康复治疗与训练系统。智能检测系统自动检测监测机体的各项身体状态能力;智能化外骨骼系统在具备外骨骼辅助运动能力的同时,赋予智能感知运动接触表面状态信息能力、数字化运动可控能力。智能康复控制中心驱动智能机械外骨骼系统配合人体开展康复治疗与训练。智能交互系统提供与人体友好的交互能力。安全系统在康复治疗与训练过程中进行安全保障。
Description
技术领域
本发明属于康复医疗器械技术领域,尤其涉及一种基于外骨骼的智能运动康复治疗与训练系统。
背景技术
运动能力是人体非常重要的一项技能,该技能的受损或者不足会严重影响人体的各项能力。近些年来国内外的医学技术与机械设备技术快速发展,科研工作者们已经研究出一些如机械外骨骼的设备,通过一些训练与治疗,可以较好的辅助人体恢复一些简单的运动能力。
当前的外骨骼类设备要么功能比较单一,只能辅助治疗一些非常简单的运动;要么需要特定的治疗师进行干预式治疗,需要在治疗师指导下进行简单治疗,治疗功能单一,出院后难以继续治疗;要么只能圈定在特定的小范围内进行简单的训练与治疗,比如只能在特定的治疗中心进行治疗,不能在实际工作生活中进行实战化帮助。治疗过程中的患者大多只能配合治疗,不能立体感知治疗目标、治疗过程、运动器官的配合、治疗的动态反馈等信息,需要与治疗师进行多次沟通,互动效果差,疗效与训练效果欠佳;还有就是这些机械外骨骼都是配合治疗,不具备或者只具备简单的反馈能力,患者不能有效的感知环境信息,不能充分使用好机械外骨骼能力。当然,当前机械外骨骼更难做到与机体高效融合,最大可能的近似为真实机体运动能力,让患者完全康复到未受损状态。此外,对于不同患者由于身体机能的特殊性、损伤的差异性,目前康复治疗难以做到个性化定制、差异化治疗,更难以根据恢复过程的不同进度进行动态调整,治疗康复的过程数据难以进行反馈共享,无法实现治疗模型的修正。
发明内容
本发明的技术解决问题:克服现有技术的不足,提供一种基于外骨骼的智能运动康复治疗与训练系统,克服了现有运动康复治疗与训练系统的不足。
为了解决上述技术问题,本发明公开了一种基于外骨骼的智能运动康复治疗与训练系统,包括:
本地控制中心,用于进行检测数据分析、监控情况分析、患者身体状态分析、康复计划制定、康复模型生成和康复效果评估,实现智能分析与决策、康复训练模型定制与优化;对智能检测系统、智能化外骨骼系统、智能交互系统、安全系统进行控制;与云端智能康复控制中心进行数据交互;
智能检测系统,用于对患者和外部环境进行实时全面的检测与监测,实时获取人体相关信息和外界相关信息;根据人体相关信息,判断人体健康状态和疲劳状态;对外界相关信息进行分析,确定障碍物伤害信息、危险物体靠近信息、患者摔倒或滑倒信息,并发送给安全系统,以便安全系统进行决策,对患者进行保护;
智能化外骨骼系统,用于为患者提供各项运动,帮助患者完成治疗与训练;
智能交互系统,用于友好的引导患者愉快且有效的开展康复治疗与训练,对康复过程中的各项数据进行实时跟踪分析,让患者全身心投入实战训练场景;对康复过程进行动态回放复盘,动态解析训练成果,以增强患者信心;
安全系统,用于与其他各系统联动,分析检测患者的身体状态、设备状态、外界环境信息;根据分析结果,及时进行危险规避与安全保护,确保治疗与训练过程的安全性;
云端智能康复控制中心,用于完成各种外骨骼设备研发、外骨骼智能控制算法研发与建模、人体信号检测设备与算法研发与建模、运动康复治疗与训练模型研发、智能交互系统研发与建模、安全系统研发与建模;下发人体检测与监测模型、康复治疗模型、安全系统模型、智能交互模型及模型信息;监测各运动康复设备的运行状态;匿名收集康复治疗反馈数据,以便进一步修正各项算法模型;构建适配模型与算法,打通定制化设备、人物协同、多设备协同的跨系统、跨平台问题,实现安全、高效的交流。
本发明具有以下优点:
(1)本发明构建了一种基于外骨骼的智能运动康复治疗与训练系统,该系统由智能化的软硬件组成,可实现从患者状态评估到康复方案给出、自主康复计划开展、康复效果评估、康复模型转移都能够在本地自主化完成。
(2)该系统内置智能化的检测与监测系统,能够自主实时分析患者状态,代替了传统的必须借助专业医疗机构开展各种非及时的测试,可实时检测与监测患者身体各项指标的动态变化,还可根据检测与监测结果动态调整训练过程。
(3)该系统内置智能化的外骨骼系统,能够根据康复模型感知测量记录患者的康复运动过程数据,还能决策推理支持康复训练过程优化,可主动提供一些运动帮助,实施主动运动牵引或者运动规避,能够自适应患者的身体状态,智能引导患者运动,而不是只能根据患者需求运动,还能示意引导患者运动,代替了传统的外骨骼只能被动帮助患者提供运动能力。
(4)该系统内置智能化的交互系统能够构建与患者之间的主动交互,代替专业人士介入传递信息,可实现包括音频、视频、触摸屏、按键等不同的交互能力。
(5)该系统内置智能化的交互系统具备实时内容生成能力,能根据康复训练模型内容,在康复训练前、训练中、训练后采用不同的内容生成模式,提供实时三维沉浸式体验,让患者充分进入康复状态。
(6)该系统内置的智能化分析模型能够实时分析康复训练过程数据,点评分析各项运动参数与目标差异,并通过智能交互系统的内容生成模块实时输出增强现实的康复运动点评影像,实时反馈给患者,实现实时的双向能力,完备示意学习→纠正刺激→学习→纠正的训练与治疗过程。
(7)该系统内置的智能化分析模型能够复盘分析历史康复训练过程数据,点评分析各项运动参数与目标差异,并通过智能交互系统的内容生成模块实时输出混合现实的康复运动点评影像,实时反馈给患者,实现实时的双向能力,完备示意学习→纠正刺激→学习→纠正的训练与治疗过程的训练与治疗过程。
(8)该系统内置智能化的安全系统能够实时动态分析环境与患者本身的状态信息,实时预警输出安全预警信息,并能够主动采取安全规避、安全保护策略。
(9)该系统具备智能化的康复模型构建能力,能够根据检测的患者身体状态、患者对康复要求的需求、人体运动器官的运动模型,可实施专业化制定、自主制定、DIY制定不同的康复训练模式,代替了传统的康复设备必须由专业人士制定康复训练模型计划。
(10)该系统具备智能化辅助康复训练过程,可不局限于康复室内开展康复训练,可进入普通的家居环境、室外环境等开展训练,让患者的康复治疗与训练更加方便,更加实用。
(11)该系统预留扩展接口,可实现更多的训练与治疗模式,包括不限于多设备协同训练(如可用于相同运动复制学习、足球队式多人运动协同、远程协同等)、人物协同训练(康复设备与物联网联通,拓展人体可活动范围)等功能,大大扩展了康复设备的物理范围,使其具备更多应用场景。
(12)该系统内置多种智能化模型,包括不限于智能化人体参数分析模型、运动器官运动模型、外骨骼智能化模型、智能交互模型、安全策略模型、多人多机协同模型、人物协同模型、安全策略模型、康复效果评估模型等。
附图说明
图1是本发明实施例中一种基于外骨骼的智能运动康复治疗与训练系统的结构框图;
图2是本发明实施例中一种基于外骨骼的智能运动康复治疗与训练系统的软件原理图;
图3是本发明实施例中一种基于外骨骼的智能运动康复治疗与训练系统的智能交互训练过程图;
图4是本发明实施例中一种基于外骨骼的智能运动康复治疗与训练系统本地自学习模块的示意图;
图5是本发明实施例中一种基于外骨骼的智能运动康复治疗与训练系统协同工作模式的示意图;
图6是本发明实施例中一种智能检测系统的功能图;
图7是本发明实施例中一种智能外骨骼系统的功能图;
图8是本发明实施例中一种智能交互系统的功能图功能图;
图9是本发明实施例中一种安全系统的功能图;
图10是本发明实施例中一种沉浸式互动运动查看演示图;
图11是本发明实施例中一种沉浸式示意关节与运动过程关系图;
图12是本发明实施例中一种沉浸式关节活动度动态测试示意目标差异图;
图13是本发明实施例中一种智能交互设备显示区示意图;
图14是本发明实施例中一种智能分析运动结果示意图;
图15是本发明实施例中一种某运动器官康复过程统计分析图;
图16是本发明实施例中一种康复套餐制定流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明公开的实施方式作进一步详细描述。
本发明充分挖掘现有机械外骨骼的发展趋势、康复治疗的需求、患者机体的差异性、实战磨砺训练需求,结合最新的智能分析推理算法的研究进展、智能交互设备的能力可扩展性,提出一种融合智能化外骨骼系统、智能检测系统、本地控制中心、智能交互系统、安全系统、智能检测系统等为一体的智能运动康复治疗与训练系统。其中,智能检测系统自动检测监测机体的各项身体状态能力;智能化外骨骼系统在具备外骨骼辅助运动能力的同时,赋予智能感知运动接触表面状态信息能力、数字化运动可控能力。智能康复控制中心具备智能化分析推理能力,可根据检测的身体状态、患者的康复需求智能构建康复疗程,具有个性化定制、差异化疗程制定能力,可驱动智能机械外骨骼系统配合人体开展康复治疗与训练。智能交互系统充分开发各项与人体友好的交互能力,包含不限于大脑信号、肌肉信号、视觉信号、语音信号等,赋予增强现实、虚拟现实、混合现实等多种展现能力,使患者具备走出康复室进行治疗与训练的能力。安全系统为一种独立的系统,在康复治疗与训练过程中,全程监视患者的身体状态安全性、外界安全性,具备安全规避引导、紧急安全保护等能力,引导患者开展安全有效的康复治疗与训练。
如图1,在本实施例中,该基于外骨骼的智能运动康复治疗与训练系统,包括:
本地控制中心101,用于进行检测数据分析、监控情况分析、患者身体状态分析、康复计划制定、康复模型生成和康复效果评估,实现智能分析与决策、康复训练模型定制与优化;对智能检测系统、智能化外骨骼系统、智能交互系统、安全系统进行控制;与云端智能康复控制中心进行交互。
在本实施例中,本地控制中心具备全部的决策思考能力,可以根据患者治疗与训练的结果,总结形成康复者模型,将康复者模型通过扩展接口发送至定制化专用康复设备,让康复后的患者可以无缝连接操作定制化专用康复设备,恢复生活生产能力。定制化专用康复设备在调测通过后可独立工作,无需专业人员随同,可在室内、室外治疗与训练,无需限定在特定的疗养室内进行。本地控制中心还可以通过无线方式或有线方式实现与云端智能康复控制中心的数据交互:根据需要将本地数据上传到云端智能康复控制中心,进行匿名患者数据交流,分析、优化、更新康复者模型;也可以从云端智能康复控制中心下载最新的康复者模型到本地,完善本地模型数据库。
智能检测系统102,用于对患者和外部环境进行实时全面的检测与监测,实时获取人体相关信息和外界相关信息;根据人体相关信息,判断人体健康状态和疲劳状态;对外界相关信息进行分析,确定障碍物伤害信息、危险物体靠近信息、患者摔倒或滑倒信息,并发送给安全系统,以便安全系统进行决策,对患者进行保护。
在本实施例中,人体相关信息包括但不仅限于:体内信息和体表信息等;进一步的,体内信号包括但不仅限于:血压、心跳、心率、耗氧量和脑电等;体表信号包括但不仅限于:面部表情、骨骼肌信号、运动关节信号和骨骼信号等。外界相关信息包括但不仅限于:人体运动信息和环境信息等;进一步的,人体运动信息包括但不仅限于:抓握速度、伸缩速度、触地力度、移动速度、拉伸速度、抬放速度、步态和手势等;环境信息包括但不仅限于:周边障碍物、障碍物形态、障碍物运动方向、障碍物运动速度、地表状态、接触状态和注视点等。
智能化外骨骼系统103,用于为患者提供各项运动,帮助患者完成治疗与训练。
在本实施例中,智能化外骨骼系统主要可以包括:外骨骼骨架,用于提供基本的运动支撑与运动开展实体,辅助患者开展运动;在本地控制中心的控制下主动牵引患者运动。感知监测器,用于检测外骨骼骨架与人体的结合度、人体相关运动肌体刺激信号与运动状态、外骨骼骨架与外界环境的接触状态、外骨骼骨架的运动速度,充分扩展外骨骼骨架的类人体感知能力。微处理器,用于为外骨骼骨架提供决策分析,对外骨骼骨架进行控制;对感知监测器检测到的信息进行分析,根据分析结果调整优化训练模式、优化训练模型的执行;与本地控制中心进行数据交互。
智能交互系统104,用于友好的引导患者愉快且有效的开展康复治疗与训练,对康复过程中的各项数据进行实时跟踪分析,让患者全身心投入实战训练场景;对康复过程进行动态回放复盘,动态解析训练成果,以增强患者信心。
在本实施例中,智能交互系统主要可以包括:
内容模块,用于根据治疗与训练的不同模式、不同阶段,结合内置的内容生成模型,动态生成不同的交互内容,并输出至展示模块,以向患者展示模拟三维训练过程;例如,在治疗与训练开始之前,根据不同训练部位、训练模式、运动内容等信息,结合内置的模型生成器,制作生成三维动态示意内容。以及,在训练过程中实时记录现场真实视频,并结合训练部位、训练模式和运动内容,采用内置的视频内容生成器,在动态视频中实时添加点评与评估内容标记(如添加运动方向、运动速度、运动角度、协调性等内容),并输出至展示模块,以向患者展示带实时点评与评估标记的三维训练过程,让患者对治疗与训练的有效性实时可见,加快患者认知运动有效性;在训练过程结束后,对历史训练视频进行加工,结合训练部位、训练模式和运动内容,在历史训练视频中标记错误运动,并给出正确的运动示范,并输出至展示模块,以向患者展示带错误运动和正确运动示范的三维训练过程,加深患者对错误运动的理解与正确运动的掌握。
交互模块,用于通过若干种交互设备与患者进行友好交互;其中,与患者的交互形式,包括:音频交流、视频交流、视觉注释点聚焦、眼动追踪、眨眼检测、手势识别、手柄操控、按钮操作、触摸屏界面交流。
展示模块,用于根据训练模式启动展示功能。其中,展示功能,包括:训练前3D虚拟现实演示、训练过程中增强现实实时状态反馈与点评内容展示、训练后混合现实复盘纠正、录像记录重播。用于展示的设备,包括:手机、显示器和智能交互设备;智能交互设备,包括:智能眼镜和智能头盔。
反馈模块,用于根据训练模式启动反馈检测,动态侦测交互中的患者反应、喜好信息;根据患者反应、喜好信息,调整与患者的交互形式、展示内容形式。
安全系统105,用于与其他各系统联动,分析检测患者的身体状态、设备状态、外界环境信息;根据分析结果,及时进行危险规避与安全保护,确保治疗与训练过程的安全性。
在本实施例中,安全系统具体可以用于:动态分析患者是否处于瞌睡、无意识、突发性疾病的危险状态;动态分析当前的智能化外骨骼系统、智能交互系统、本地控制中心是否处于正常工作状态,运动是否可控;动态分析环境周围是否存在危险(如是否存在地面障碍物、是否出现滑倒);根据收集到的动态分析结果,进行安全决策。其中,若根据收集到的动态分析结果确定当前危险可以规避,则采取危险规避措施(如停止运动、后退、侧向运动、降低重心位置、外骨骼启动平衡控制等);若根据收集到的动态分析结果确定当前危险不可规避,则启动安全保护措施(如,紧急状态制动,向外发出求救信息、与本地控制中心等)。
云端智能康复控制中心106,用于完成各种外骨骼设备研发、外骨骼智能控制算法研发与建模、人体信号检测设备与算法研发与建模、运动康复治疗与训练模型研发、智能交互系统研发与建模、安全系统研发与建模;下发人体检测与监测模型、康复治疗模型、安全系统模型、智能交互模型及模型信息;监测各运动康复设备的运行状态;匿名收集康复治疗反馈数据,以便进一步修正各项算法模型;构建适配模型与算法,打通定制化设备、人物协同、多设备协同的跨系统、跨平台问题,实现安全、高效的交流。
扩展接口系统107,用于实现与外部各类设备的连接。
在本实施例中,扩展接口系统具体可以包括:
人体检测器接口,用于接脑电波探测器,代替手动、语音、眼动信息输入方式,直接通过脑电波探测器检测患者脑电波,以获取患者运动意向;或者,接肌肉神经信号检测器,代替机体检测分析、运动检测分析等间接获取患者运动状态的方式,直接输出患者运动状态。
外骨骼检测器接口,用于接表层触觉传感器,代替人体表层触觉;或者,接握力检测传感器,感知机械骨骼握紧程度;或者,接接触传感器,检测下肢骨骼与地表的接触程度、接触应力,分析步行用力是否合适。
智能骨骼接口,用于接背姿矫正外骨骼设备,用于纠正错误坐姿;或者,接承重脊柱骨骼设备,用于提升人体承重力。如帮助老年人、搬运工等进行承重力增强。
数据与程序手动对接接口,用于接离线设备,用于无网络地区的本地设备进行数据与程序更新。
多康复设备协同接口,用于接协同康复设备,与协同康复设备进行数据共享、模型协同,实现多患者协同操作、协同训练,提升训练的一致性与有效性。如,残疾儿童足球队训练等。
人物协同一体化接口,用于接物联网设备,辅助患者实现人物信息交流、对物理设备的控制;其中,人物信息交流,包括:人路信息交流,可友好的指引下肢残疾者进行路径规划;人车信息交流,可友好的指引上肢残疾者进行车辆驾驶;人屋信息交流,可友好的指引残疾人、行动不便者进行电视、窗帘、冰箱和洗衣机等设备操作,扩展人体智能性。可见,该人物协同一体化接口让患者获得更多更广泛的操作能力,恢复生产生活能力。
定制设备数据模型共享接口,用于接定制康复设备,以代替人体肢体功能,从本地控制中心中将训练适配的参数与模型凝练输出到定制康复设备中,实现定制康复设备能够直接进行工作,恢复人体功能;以及,输出特定人体的模型参数(如特定明星的步伐参数),用于特定粉丝人群的喜好制定;输出运动员专用运动数据,用于训练新运动员,实现快速运动技能掌握;用于人形机器人的运动技能获得。
定制化专用康复设备108,用于通过扩展接系统口与本地控制中心进行数据交互,以获取训练过程建模数据,便于患者康复后可直接适配定制化专用康复设备开展生产生活。
在本实施例中,定制化专用康复设备在调测通过后可独立工作,无需专业人员随同,可在室内、室外治疗与训练。其中,定制化专用康复设备包括但不仅限于:定制康复设备、协同康复设备和物联网设备等。
定制康复设备:该设备主要针对康复治疗与训练完成后,部分用户需要定制小型化康复设备以代替人体肢体功能。该设备相比于运动康复设备可略有裁减,突出恢复特定部位、特定运动功能的外骨骼设备、若干检测与监测设备、若干交互设备等,配套相关的运动控制算法与模型。
协同康复设备:该设备主要针对需要对多位康复者进行功能协同,可将多位佩戴外骨骼的康复者进行信息交流,构造协同算法,实现力出一孔,协同实现特定的运动功能,如残疾人足球队的组队协同、如残疾人工作团队进行搬运工作协同等。
物联网设备:该设备主要针对部分康复者存在机体能力缺失,需要长期佩戴外骨骼来实现运动能力,通过接入物联网设备,可以辅助患者实现人物信息交流、对物理设备的控制。如人车信息共享可实现更方便的车辆驾驶、人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。
此外,本发明所述的基于外骨骼的智能运动康复治疗与训练系统还包括:各种检测监测传感器、处理器、通信设备、存储设备、驱动设备等多种硬件设备,本实施例在此不一一赘述。
综上可见,本发明公开了一种基于外骨骼的智能运动康复治疗与训练系统,能够根据现有康复运动的个性化定制、个体差异化需求,面向实际工作生活场景开展康复治疗与训练。该系统融合了智能化外骨骼系统、智能检测系统、智能交互系统、安全系统等,可为不同患者量身定制康复治疗与训练疗程,为患者提供各项运动能力治疗与训练,可友好的引导患者愉快且有效的开展康复治疗与训练,对康复过程中的各项数据进行实时跟踪分析,让患者全身心投入实战训练场景,还可对康复过程进行动态回放复盘,专业动态解析训练成果,增强患者信心,保障患者走出理疗室,走向生活生产实践中开展实战检验。此外,本发明还可以将训练过程建模数据导出到定制化专用康复设备中,让患者康复后可以直接适配定制化专用康复设备开展生产生活。
基于上述实施例,下面对该基于外骨骼的智能运动康复治疗与训练系统的构建、具体实现的各项功能进行说明。
在本实施例中,可以将该基于外骨骼的智能运动康复治疗与训练系统分为三大块:软件系统、硬件系统与算法模型。即,可以根据临床运动技能鉴定选择合适的软件系统、硬件系统与算法模型进行组装。
(1)硬件系统:外骨骼设备、各种检测监测传感器、交互设备、处理器、通信设备、存储设备、驱动设备等。
(2)软件系统:本地控制中心、智能检测系统、智能化外骨骼系统、智能交互系统、安全系统等。
(3)算法模型:人体机能分析模型、运动康复模型、外骨骼控制模型、智能交互系统算法模型等。其中,人体机能分析模型根据临床测试反馈预置适配各类人体检测与监测的参数分析模型,可对智能化检测与监测子系统获得的各项数据进行测算,给出人体健康状态模型、运动机能损伤模型。运动康复模型数据库配备了支撑上肢、下肢、手部、脚部等运动器官的运动控制建模模型,可对相关运动器官的具体运动模式给出模型描述。外骨骼控制模型内置于外骨骼器件中,可根据收到的运动模型执行相关的运动过程。智能交互系统算法模型数据库绘制上肢、下肢、手部、脚部等运动器官等运动器官的三维动态运动模型,可给出各动作步骤分解、运动力度、速度、角度、压力、形变等分解参数。
(4)根据患者的具体运动机能临床鉴定,选择具体的运动机能运动骨骼组件以及配套的软硬件系统、算法模型库。可结合患者的身高、性别、损伤部位、运动需求等情况,开展个性化、差异化的组装,构建一套完整的智能运动康复治疗与训练系统。
(5)对组装完成后的设备进行联机调试,下载对应的测试程序,执行安全自检后与患者身体适配,调试软硬件系统,调整舒适度。
(6)患者开展设备使用学习,学习通过后启动智能治疗与训练套餐制定。
(7)运动康复所涉及的功能包括不限于颈部运动功能、肩部运动功能、手臂运动功能、手部运动功能、腿部运动功能、脚步运动功能等。本系统在于系统的提供运动能力康复治疗与训练方法,科学有效的帮助患者进行康复。
由上,完成了基于外骨骼的智能运动康复治疗与训练系统的构建。进一步的,基于上述构建的智能运动康复治疗与训练系统来实现如下功能:
一、智能运动康复治疗与训练的套餐自主制定。
该智能运动康复治疗与训练系统可结合具体的临床参数进行治疗与训练套餐的制定,也可通过实际检测患者身体各项机能,自主制定治疗与训练套餐。如图16所示。
(1)专业模式:基于临床测试的各项参数指标,专业人员进行测算后给出治疗与训练套餐,发送给云端中心进行确认后输入设备后启动治疗与训练。
(2)自主模式:对于病症不重、无临床数据、无专业人员指导、多次使用患者等可以开展自主模式进行康复套餐制定。
2.1)数据检测:使用启动后,设备会对患者的体内信号如血压、心跳、心率、耗氧量、脑电波等检测,对体表信号包括不限于面部表情、肌肉信号、肌肉张驰度、上下肢伸缩程度、上下肢用力程度、手指抓握程度、下肢触地程度等进行检测,对损伤部位开展检测,度量损伤部位、损伤组织、缺失机能、机体刺激检测、压力检测等。用户可通过交互设备输入过往病例、遗传病史等信息,进一步完善检测结果。
2.2)模型分析:结合检测的数据与系统中的人体机能分析模型,本地控制系统启动智能运动技能损伤分析算法,测算分析给出人体健康状态模型、运动机能损伤模型。
2.3)康复套餐制定:结合运动康复模型、外骨骼控制模型以及人体健康状态模型、运动机能损伤模型,本地控制系统启动智能运动康复分析算法,测算分析给出运动康复治疗与训练套餐计划。
2.4)康复套餐确认:运动康复治疗与训练套餐计划同步发送至云端控制中心确认、本地患者确认。云端控制中心可进行人工智能大数据分析,结合过往病例、风险模型分析方案可行性,对于低风险概率方案进行智能确认,对于有风险方案发送至专业人士确认,确认或修改后回传至本地康复设备,发送至患者确认。全程自动操作完成,让患者可以实现远程医疗,专业人士可以随时随地远程确诊,极大释放医疗资源压力。
(3)自定义模式:根据患者的需求,对特定运动模式(如运动员特定运动要求、运动整形需求要求、明星运动模式需求、少儿X型腿、O型腿矫正等)进行DIY训练模型制定。
3.1)检测分析患者的现有身体状态,检测输出患者身体状态信息。
3.2)采用智能分析模型对指定的DIY运动模式进行建模分析,采用智能分析算法计算获得DIY运动模型。
3.3)结合患者的身体状态信息、DIY运动模型、人体康复模型数据库进行融合构建输出康复套餐计划。
3.4)对康复套餐计划进行动态建模,构建演示效果,展示给患者确认。
3.5)患者确认与反馈进行修改完善。
修改完善后的康复套餐计划发送给云端控制中心可进行人工智能大数据分析,结合过往病例、风险模型分析方案可行性,对于低风险概率方案进行智能确认,对于有风险方案发送至专业人士确认,确认或修改后回传至本地康复设备,发送至患者确认。全程自动操作完成,让患者可以实现远程医疗,专业人士可以随时随地远程确诊,极大释放医疗资源压力。
二、智能运动康复治疗与训练的套餐疗程开展
该智能运动康复治疗与训练系统可根据生产的康复套餐计划,自动执行康复治疗与训练过程。在该过程中,全程检测患者的各项状态变化、治疗过程机体状态改变、主动与患者保持一对一的交互、自动适配外骨骼参数提升治疗舒适性,实现快乐治疗,快乐训练,快乐康复:
(1)疗程前康复系统准备:疗程前,康复系统进行自检,检测全部软硬件系统状态,根据康复模式进行安全性自检。各项安全自检通过后,智能检测系统、智能化外骨骼系统、智能交互系统、安全系统、扩展接口系统等功能提前启动进行功能预热。其中,智能检测系统:启动对患者的各项身体状态进行检测,对患者的各项状态进行监测。智能化外骨骼系统:根据训练模型加载对应的运动功能。安全系统:实时动态监控患者与外界的各项安全状态,启动危险状态分析,加载安全应对策略。扩展接口系统:加载各项扩展功能,包括新的功能性硬件、对外协同功能与策略等,启动可能的对外交流模式,测试通路有效性,反馈检测与测试结果。
(2)疗程前动态影像生成与演示:疗程前由智能交互系统结合康复疗程进度,结合智能交互系统算法模型数据库,智能交互系统内容生成系统生成虚拟三维影像,输出到显示屏、智能设备等展示给患者,让患者全方位了解接下来的治疗与训练过程,给患者充分的视觉感官刺激,形成大脑记忆,有助于提升治疗效果。全程无需专业人士陪同,释放了医疗资源需求。通过佩戴的智能设备,可以开展实时交互,对其中不明白的画面可以暂停、放大、旋转到其他观测角度观测等,实现立体观看运动过程。
其特殊性包括不限于:依据康复模型动态生成三维演示影像,包括不限于影像、语音等。演示影像可基于虚拟现实技术生成,让患者身临其境感受运动过程。三维演示影像具备动态交互功能,支持交互式分解演示内容与讲解,包括不限于语言交互、操作界面交互、眼动交互等。三维演示影像可解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等。三维演示影像还给出各个运动度的度量、联动性的先后关系与示意、运动力度、肢体与外界接触面情况等,以便科学有效的展示完整的运动过程,利于康复监控与跟踪分析。三维演示影像同步解析智能外骨骼与人体运动的配合情况,可能涉及的运动操作与先后顺序,注意事项等。三维演示影像展示在康复训练过程中,可能存在的运动风险以及可采集的主动、被动措施等。
(3)疗程前智能外骨骼演示:疗程前,智能外骨骼根据康复模式,对可能存在的运动联动进行示范演示,展示涉及的外骨骼区域、外骨骼力度与方向、联动性等内容。并对运动过程中可能存在的危险会采取的运动辅助措施也同步进行展示,加深患者对运动外骨骼可采取运动的理解、在危机情况下主动与被动的响应措施等。
(4)治疗过程中:患者通过学习运动过程,开展运动学习,各设备记录与分析运动过程,实时反馈训练成果,并同步监测脑电波、肌肉信号等,同步唤醒与驱动患者进行自主意识学习,相比于传统训练方法,可以更清晰的展示训练过程、度量训练误差、引导运动神经参与,学习效果更显著:
4.1)本地设备根据人体运动模型,对特定的运动过程进行分解。
4.2)智能交互系统根据分解的运动过程,制作生成音视频内容展示给患者。
4.3)智能交互设备将制作生成的内容沉浸式提供给患者。
4.4)患者根据展示的内容,学习执行分解的运动过程,对该过程进行学习与训练。
4.5)本地设备记录训练过程,检测与分析训练效果,计算分析给出训练效果评估。
4.6)智能交互设备根据收到的训练反馈评估,输出到增强现实的内容中,实时反馈给患者。
4.7)智能检测设备同步患者的脑电波、肌肉、关节等信号,判断患者的自主意识,诱导患者训练其运动神经。
4.8)以上过程进行多次重复训练,或者多种运动分解组合训练。
(5)疗程中动态监视与实时分析:疗程启动后,本地控制中心、智能检测与监测系统、智能化外骨骼系统、智能交互系统、安全系统、扩展接口等根据训练模式开展相关工作:智能检测系统实时采集患者的人体相关与环境相关的各项检测与监控信息,提供给本地控制中心分析。本地控制中心根据采集的人体相关数据,分析患者体内的各种信号,判断患者身体承受程度、患者身体状态等信息进行分级,分级可包括正常、紧张、超负荷、危险等分类,实时动态反馈给患者,与患者进行交流反馈。对于正常状态则进行正常训练;对于紧张状态则进行音视频疏导;对于超负荷状态可对运动模型的运动量进行适当修正;对于危险状态,则启动安全系统对应的保护措施进行保护。本地控制中心根据采集的人体相关数据,分析患者体表各种信号,监测康复运动下身体机能响应情况,并根据预定的训练模式,实时分析运动结果与预期的差异。结合系统内置的运动模型,面部表情用于分析患者的感情状态;分析骨骼肌的收缩情况,确认运动信号是否下发,运动肌肉是否工作;分析关节的情况,可确认运动支点是否正常工作;分析骨骼的情况,确认运动是否到位,与目标差距,度量差异信息。分析结果在交互系统中进行展示与反馈。本地控制中心根据采集的外界相关数据,分析运动信息,检测康复运动下的运动质量,包括不限于运动的速度、力度、角度、接触程度等是否到位。基于外骨骼中的传感器记录进行分析运动的速度、力度、角度、接触程度等信息,进行实时展示,结合系统内置的运动模型,分析与目标差异。分析结果在交互系统中进行展示与反馈。本地控制中心根据采集的环境信息,监测当前患者运动在环境中的信息。监测分析环境中的状态,包括周边障碍物、障碍物距离、运动朝向、运动速度、地表状态、接触面状态等。监测患者的运动方向、运动速度,推理分析与障碍物的关系,反馈给安全系统进行安全策略分析。结合智能交互设备检测患者的注视点、语音等信息,结合预置的智能运动行为分析模型,推测患者感兴趣区域,进行轨迹路径预估与判断,推理分析给出最佳路径。
(6)疗程中实时交互:在训练过程中,实时收集患者的音频、视频、按键等实时信息,通过内置的人工智能模型获得交互信息,然后协同现有的运动状态、身体状态、运行轨迹等执行交互内容。
6.1)训练设备内置交互信息收集装置,包括不限于按钮、触摸屏、语音采集设备、多处视频采集设备、智能头盔或者智能眼镜设备等。
6.2)基于内置的人工智能音频分析模型,分析获取患者的语音信息转换成语义信息,输入康复系统。康复系统结合NLP、大数据等信息,获得语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
6.3)基于人工智能视频分析模型,分析视频轨迹,结合传感器测量信息,分析输出运动姿态、运动轨迹等信息;结合视觉内容,分析手势等信息,获取手势输入信息。康复系统提取视频语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
6.4)基于智能头盔或者智能眼镜设备分析患者视觉注视点等信息,获取感兴趣的运动区域、运动路径、运动方向等信息。康复系统提取其语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
6.5)根据患者通过按钮、触摸屏等输入的信息,提取语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
(7)疗程中外骨骼适配:外骨骼在康复系统中主要体现三种功能,骨骼功能、感知功能、推理功能。这三项功能在疗程中都进行功能发挥。
7.1)骨骼功能:外骨骼系统为患者提供基本的外界辅助骨骼能力,提供力支持与执行功能。外骨骼在受到机体的执行力度后,可以辅助机体开展相关运动操作,并提供机体的部分承重力度支持。在紧急情况下,可提供一定的主动运动能力,主动为患者提供一定的运动与支撑能力,帮助患者摆脱危险。在辅助演示阶段,可提供一定的运动演示操作功能。
7.2)感知功能:在疗程过程中,外骨骼内置相关的检测与监测传感器,对患者身体进行监测,包括不限于患者体内的血压、心跳等信息;包括体表的肌肉信息、骨骼状态信息、关节点信息等信息;跟踪记录骨骼的运动状态信息,包括不限于骨骼的运动方向、速度、角度、轨迹等信息,完整记录运动训练过程各项信息;记录骨骼与外界物体接触面情况,包括接触面紧密程度、骨骼与接触面用力程度、接触面大小、骨骼与接触面接触过程等信息。感知功能拓展了骨骼的能力,使之不再是单一的辅助设备,还具备了感知能力。
7.3)推理功能:智能骨骼在基础的骨骼支持之外,具备了感知能力之后可进一步提升智能能力,使之具备推理功能。骨骼决策分析模块具备推理功能,其不仅可控制骨骼配合患者执行相关运动,与控制中心交互,执行正常训练模型,还可以结合康复训练计划分析感知模块获取的感知信息调整优化训练模式,模仿真实人体训练过程,优化训练过程细节,如骨骼接触面大小、骨骼接触点先后顺序等,提升人体训练过程有效性,相关的反馈分析、辅助信息可进一步反馈提供给交互界面进行显示。还可以在安全系统反馈下,具备一定运动控制能力,辅助人体保持运动有效性、运动平衡等,帮助患者躲避危险。
(8)疗程中对外协同:智能康复系统通过对外扩展口,可对外具备一定的多设备协同康复训练,也可与物联网等设备进行交互,扩展人体功能。
8.1)多设备协同训练:多患者佩戴相同的运动康复设备后,通过云端中心设置相同的康复训练模式,既可以让局部区域内的患者进行协同训练,也可以远程让不同的患者共享协同训练。协同训练包括运动一致性行与运动配合性训练等。运动一致性为参考相同的标准,各位协同患者执行相同的运动,包括运动模式、运动力度、运动方向等。运行配合性训练可以让各位患者配合执行级联运动或者组合运动,如参考足球运动员的配合式传球,运动协同训练,提升队员之间的默契。如流水线操作工人的前后级动作串联训练等,提升不同工种之间的配合性等。
8.2)人物协同交互训练:患者佩戴运动康复设备之后,可以通过康复设备接入到局部物联网系统,通过运动交互系统执行精细操作、精确找寻、重负荷操作任务等,如人车信息共享可实现更方便的车辆驾驶,让肢体运动有损伤的患者具备更好的驾驶能力,如人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。
(9)疗程中影像智能显示与反馈:在疗程过程中,除了硬件设备的高度配合,各项检测信息也可及时快速反馈,对疗程过程进行快速展示,方便患者了解疗程进程。在疗程中可由智能交互内容系统依据实时影像、智能交互系统算法模型数据库实时生成增强现实三维影像,输出到显示屏、智能设备等展示给患者,让患者立即感知治疗过程。在增强现实的视频内容中,控制中心实时根据视频内容、检测各项数据,分析康复训练过程的各项有效性指标,在画面中实时标记显示。全程无需专业人士陪同。通过佩戴的智能设备,可以开展实时交互,对其中不明白的画面可以暂停、放大、旋转到其他观测角度观测等,实现立体观看运动过程。同时智能交互系统还会监测与反馈患者对各种显示信息的反馈、喜好、反应等,该信息送入到智能交互系统可以调整增强显示的展示内容形式与交互形式:实时收集到运动过程影像画面、检测与监测各项数据。本地控制系统实时分析各项监测数据。动态三维影像实时展示运动画面,本地控制系统反馈点评运动训练质量,智能交互系统的内容中心实时制作增强现实内容,投影在显示设备中。增强现实影像内容包括解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等,实时给出运动误差。增强现实影像还同步给出人体状态信息监控反馈、周围环境信息反馈等信息。监测与反馈患者对各种显示信息的反馈、喜好、反应等,该信息送入到智能交互系统可以调整增强显示的展示内容形式与交互形式。
(10)疗程后复盘:智能运动康复系统实时记录全运动康复过程的各项身体、环境、运动信息等,这些信息可用于训练结束后开展复盘分析。复盘分析可借助本地系统开展,也可以借助云端中心系统开展,充分分析康复训练过程的有效性,生成运动康复报告与反馈,调整下一阶段的运动康复计划。同时可借助智能交互系统的混合现实技术,将运动过程影像与运动纠正措施进行三维动态内容生成,动态展示给患者,让患者清楚了解运动过程错误与纠正措施。复盘收集到运动过程影像画面、各项监测数据。可开展本地复盘或者云端中心专家复盘分析。复盘结果形成分析报告反馈给本地控制中心。本地控制中心下发给智能交互系统,智能交互系统根据复盘分析报告、运动过程分析数据,智能交互系统的内容中心实时制作混合现实内容,投影在显示设备中。
混合现实影像内容基于记录的真实运动过程,实时动态解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等,给出运动误差与纠正措施。
(11)安全保障:安全保障系统用于监测患者身体状态和环境状态,实时给予患者以安全提醒、危险规避和安全保护。该模块功能包括:检测的患者的身体状态、设备状态分析、外界环境等信息,及时给出危险规避与安全保护,确保治疗与训练过程的安全性。人体状态分析包括不限于动态分析人体状态是否处于危险状态,如瞌睡、无意识、突发性疾病等危险状态。环境信息分析包括动态分析环境周围是否存在危险,如地面障碍物、带水结冰、运动物体靠近等状态。设备状态分析动态分析当前的外骨骼、交互设备、控制中心等设备是否处于正常工作状态,运动是否可控等信息。安全系统根据收集到的信息进行决策分析是否需要采取危险规避措施还是采取安全保护措施。危险规避分析当前危险是否可以规避,如可以规避,则采取规避措施,如停止运动、后退、侧向运动、降低重心位置、外骨骼启动平衡控制等;若不可规避,启动安全保护。紧急状态启动安全保护,如制动外骨骼制动运动规避危险、系统向外发出求救信息、与控制中心联系等。在康复运动过程中,实时输出安全提醒信息在智能交互显示设备中,提高患者的安全意识。
三、多样化训练
该基于外骨骼的智能运动康复治疗与训练系统具备智能分析患者状态,输出康复训练计划,同时该系统自带安全保护功能,使得训练场合更加多样化:
(1)特定康复室:特定康复室专门为康复患者准备,对于重症病人或者特定病人可在康复室中进行,康复室的环境相对简单,配备一定的专业指导人士,可以开展特定高难度、高复杂的运动康复治疗与训练。可由专业人士提供训练计划、训练内容点评、安全保障。
(2)家居环境:家居环境相对比较开放,外界环境复杂,需要启动特定的训练模式的同时启动安全系统,适合于运动量较小的康复训练。
(3)室外环境:室外环境变种较多,可以选择相对比较空旷、地形较好、人流量或者障碍物较少的环境开展训练,运动量较适中,安全系统需要常开。
四、康复效果评估与康复模型修正
该基于外骨骼的智能运动康复治疗与训练系统不断对康复过程的效果有效性进行评估,包括单次训练评估、周训练评估、月训练评估等,根据训练过程数据自动分析患者康复状态。根据分析的数据结果,可与云端中心交互,交互分析后对训练模型进行修正:
(1)康复评估项:患者机体状态,包括骨骼肌刺激反应状态、关节功能状态、骨骼功能状态等,具体的运动度量项包括不限于各个运动最小器官的运动度、运动距离、运动角度、运动速度、用力程度、接触程度等指标,具体可根据临床医学模型进行修正。
(2)康复效果评估:本地系统在单次运动中,通过智能骨骼系统、智能交互系统、智能检测与监测系统记录每个运动的运动过程,包括患者身体的机体反应、外骨骼辅助的运动过程如包括不限于运动速度、运动角度、运动距离、运动保持、接触程度、施力程度等信息,记录全运动过程,也记录了单次运动过程的各项误差,具体误差项包括不限于运动速度、运动力度、运动活动度、运动距离等信息。单次的运动效果通过增强现实实时展示给患者进行显示,同时也在复盘的混合现实中提供错误纠正措施示例,并适配进入下一次训练过程。本地控制中心监控与记录的各次训练过程数据,包括身体状态数据、训练过程数据、训练误差分析数据等,通过汇总分析各项数据,采用大数据分析技术,给出各种维度的运动康复分析报告,包括不限于单种运动的康复训练运动分解的某个运动量的误差康复曲线等,通过日报、周报、月报等形式分享给患者进行分析。患者收到数据后,可交互反馈,本地控制系统可对康复数据进行解读,调取往期记录数据与影像,进行解读分析。
(3)康复模型修正:训练模型修正体现在单次训练复盘分析数据后,错误纠正改进方案优化融合进入下一次训练模型中。基于周报、月报的周期性康复数据汇总,大数据分析后,对多次训练康复效果不佳的运动分解项进行提取,优化训练模式,提升康复训练效果。
五、康复数据共享与模型升级
智能运动康复设备记录获取了患者的各项运动康复数据与实测运动康复效果过程数据,该数据具有重要的临床指导意义,可以在征询患者的意愿后同步到云端康复中心进行大数据分析,完善现有的康复训练模型。同时,本地康复设备也可同步云端最新的康复训练模型数据,用于完善本地模型数据库:
(1)康复过程数据共享:本地智能运动康复设备记录了患者的各项身体机能检测数据、训练过程数据、康复结果数据等。在获得患者的授权后,本地康复设备可对过程数据进行去敏化处理后同步到云端康复控制中心,用于云端大数据分析,进一步完善康复训练模型。
(2)康复模型升级:康复模型升级优化包括本地优化与云端同步升级。本地模型在配合患者进行训练过程中会根据康复效果,自适应调节训练过程,优化训练过程以适配个体的差异性。云端康复中心在对大数据进行分析后,会对康复模型进行优化升级,优化升级后的模型数据库可以下载到本地系统,本地控制中心对更新的模型进行适配。
六、扩展交互
本地康复设备可对外具备一定的多设备协同康复训练,也可与物联网等设备进行交互,扩展人体功能。本地康复设备训练康复后的数据模型可导出到定制化康复设备中,实现训练与使用一致。
(1)多设备协同训练:多患者佩戴相同的运动康复设备后,通过云端中心设置相同的康复训练模式,既可以让局部区域内的患者进行协同训练,也可以远程让不同的患者共享协同训练。协同训练包括运动一致性行与运动配合性训练等。运动一致性为参考相同的标准,各位协同患者执行相同的运动,包括运动模式、运动力度、运动方向等。运行配合性训练可以让各位患者配合执行级联运动或者组合运动,如参考足球运动员的配合式传球,运动协同训练,提升队员之间的默契。如流水线操作工人的前后级动作串联训练等,提升不同工种之间的配合性等。
(2)人物协同交互训练:患者佩戴运动康复设备之后,可以通过康复设备接入到局部物联网系统,通过运动交互系统执行精细操作、精确找寻、重负荷操作任务等,如人车信息共享可实现更方便的车辆驾驶,让肢体运动有损伤的患者具备更好的驾驶能力,如人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。
(3)定制化康复设备模型转移:由于本康复设备的康复训练模型采用建模化处理,该模型可输出适配新设备。采用本康复设备康复训练后的患者,若想长期佩戴智能外骨骼设备,可通过定制化相同的外骨骼硬件,将康复训练适配后的模型数据导入到定制化的外骨骼设备中进行适配,使得训练熟稔后的设备操作可以转移,移除康复设备中的各种复杂配套设备,如智能交互设备系统等非必须设备,实现轻量化转移。
七、扩展交互
本地康复设备可对外具备一定的多设备协同康复训练,也可与物联网等设备进行交互,扩展人体功能。本地康复设备训练康复后的数据模型可导出到定制化康复设备中,实现训练与使用一致。
(1)多设备协同训练:多患者佩戴相同的运动康复设备后,通过云端中心设置相同的康复训练模式,既可以让局部区域内的患者进行协同训练,也可以远程让不同的患者共享协同训练。协同训练包括运动一致性行与运动配合性训练等。运动一致性为参考相同的标准,各位协同患者执行相同的运动,包括运动模式、运动力度、运动方向等。运行配合性训练可以让各位患者配合执行级联运动或者组合运动,如参考足球运动员的配合式传球,运动协同训练,提升队员之间的默契。如流水线操作工人的前后级动作串联训练等,提升不同工种之间的配合性等。
(2)人物协同交互训练:患者佩戴运动康复设备之后,可以通过康复设备接入到局部物联网系统,通过运动交互系统执行精细操作、精确找寻、重负荷操作任务等,如人车信息共享可实现更方便的车辆驾驶,让肢体运动有损伤的患者具备更好的驾驶能力,如人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。
(3)定制化康复设备模型转移:由于本康复设备的康复训练模型采用建模化处理,该模型可输出适配新设备。采用本康复设备康复训练后的患者,若想长期佩戴智能外骨骼设备,可通过定制化相同的外骨骼硬件,将康复训练适配后的模型数据导入到定制化的外骨骼设备中进行适配,使得训练熟稔后的设备操作可以转移,移除康复设备中的各种复杂配套设备,如智能交互设备系统等非必须设备,实现轻量化转移。
在本实施例中,该基于外骨骼的智能运动康复治疗与训练系统基于智能交互系统还可以实现如下功能:
(1)内容中心内置强大的内容生成模型与算法,该模型会根据治疗与训练的不同模式、不同阶段,动态生成不同的交互内容:
虚拟现实内容:在治疗与训练开始之前,根据不同训练部位、训练模式、运动内容等信息,结合内置的模型生成器,制作生成三维动态示意内容,可输出到显示屏、智能交互设备中进行展示模拟三维训练过程,展示给患者。
增强现实内容:在训练过程中实时记录现场真实视频,并结合训练部位、训练模式、运动内容等信息,采用内置的视频内容生成器,在动态视频中实时添加运动质量评估结果输出,如添加运动方向、运动速度、运动角度、协调性等信息,实时通过增强现实在视频中标记,输出到显示屏、智能交互设备(如增强现实眼镜、增强现实头盔)中实时带点评与评估内容标记的三维训练过程,让患者对治疗与训练的有效性实时可见,加快患者认知运动有效性。
混合现实内容:在训练结束的复盘分析中,患者可调取历史训练视频,内容中心对历史训练视频进行加工,结合训练部位、训练模式、运动内容等信息,在视频中进行点评,标记运动错误场景,并给出正确的运动示范,加深患者对错误运动的理解与正确运动的掌握。
多种信息展示:实时展示的内容还可以包括指令性信息、环境信息、患者身体状态信息、注视点与感兴趣区域分析、运动路径规划、安全示警等。
(2)交互功能通过若干种交互设备进行功能实现,交互设备根据训练模式启动特定的交互检测,包括不限于音频交流、视频交流、视觉注释点聚焦、眼动追踪、眨眼检测、手势识别、手柄操控、按钮操作、触摸屏界面交流等,通过以上形式收集各种交互信息。
(3)展示功能根据训练模式启动特定的交互展示功能,包括训练前3D虚拟现实演示、训练过程中增强现实实时状态反馈与点评内容展示、训练后混合现实复盘纠正、录像记录重播等形式,可在输出在手机端、显示器、智能交互设备上进行展示。
(4)反馈功能可根据训练模式启动特定的反馈检测,动态侦测交互中的患者反应、喜好等信息,调整交互形式、展示内容形式等。
在本实施例中,智能化外骨骼系统在传统的外骨骼系统上增加了感知功能与逻辑推理功能,使之功能上有更大的进步,可实现更好的运动能力提供。其中,该基于外骨骼的智能运动康复治疗与训练系统基于智能化外骨骼系统还可以实现如下功能:
(1)骨骼功能:外骨骼系统为患者提供基本的外界辅助骨骼能力,提供力支持与执行功能。外骨骼在受到机体的执行力度后,可以辅助机体开展相关运动操作,并提供机体的部分承重力度支持。在紧急情况下,可提供一定的主动运动能力,主动为患者提供一定的运动与支撑能力,帮助患者摆脱危险。在辅助演示阶段,可提供一定的运动演示操作功能。
(2)感知功能:在疗程过程中,外骨骼内置相关的检测与监测传感器,对患者身体进行监测,包括不限于患者体内的血压、心跳等信息;包括体表的肌肉信息、骨骼状态信息、关节点信息等信息;跟踪记录骨骼的运动状态信息,包括不限于骨骼的运动方向、速度、角度、轨迹等信息,完整记录运动训练过程各项信息;记录骨骼与外界物体接触面情况,包括接触面紧密程度、骨骼与接触面用力程度、接触面大小、骨骼与接触面接触过程等信息。感知功能拓展了骨骼的能力,使之不再是单一的辅助设备,还具备了感知能力。
(3)推理功能:智能骨骼在基础的骨骼支持之外,具备了感知能力之后可进一步提升智能能力,使之具备推理功能。骨骼决策分析模块具备推理功能,其不仅可控制骨骼配合患者执行相关运动,与控制中心交互,执行正常训练模型,还可以结合康复训练计划分析感知模块获取的感知信息调整优化训练模式,模仿真实人体训练过程,优化训练过程细节,如骨骼接触面大小、骨骼接触点先后顺序等,提升人体训练过程有效性,相关的反馈分析、辅助信息可进一步反馈提供给交互界面进行显示。还可以在安全系统反馈下,具备一定运动控制能力,辅助人体保持运动有效性、运动平衡等,帮助患者躲避危险。
在本实施例中,安全系统用于监测患者身体状态和环境状态,实时给予患者以安全提醒、危险规避和安全保护。该系统实时分析各项信息进行决策,包括人体状态分析、环境状态分析、设备状态分析、危险规避与安全保障。该基于外骨骼的智能运动康复治疗与训练系统基于安全系统还可以实现如下功能:
(1)人体状态分析:检测的患者的身体状态、设备状态分析、外界环境等信息,及时给出危险规避与安全保护,确保治疗与训练过程的安全性。人体状态分析包括不限于动态分析人体状态是否处于危险状态,如瞌睡、无意识、突发性疾病等危险状态。
(2)环境状态分析:动态分析环境周围是否存在危险,如地面障碍物、带水结冰、运动物体靠近等状态。
(3)设备状态分析:动态分析当前的外骨骼、交互设备、控制中心等设备是否处于正常工作状态,运动是否可控等信息。
(4)安全措施:安全系统根据收集到的信息进行决策分析是否需要采取危险规避措施还是采取安全保护措施。危险规避分析当前危险是否可以规避,如可以规避,则采取规避措施,如停止运动、后退、侧向运动、降低重心位置、外骨骼启动平衡控制等;若不可规避,启动安全保护。紧急状态启动安全保护,如制动外骨骼制动运动规避危险、系统向外发出求救信息、与控制中心联系等。在康复运动过程中,实时输出安全提醒信息在智能交互显示设备中,提高患者的安全意识。
在上述实施例的基础上,下面对该基于外骨骼的智能运动康复治疗与训练系统的各工作过程进行说明。
(1)康复治疗系统构建:构建云端协同工作的多功能智能康复治疗与训练系统,其软件流程功能如图2所示,架构如图5所示:
1.1)硬件系统:需要购置相应的云端中心服务器、各康复治疗分部的子服务器、康复设备终端、管理人员终端。各个服务器布置云端数据中心,各个康复设备终端布置康复算法系统,管理人员终端布置管理算法终端。通过中心服务器对各个子管理系统、康复终端进行统一管理,各个终端可对中心服务器的数据库进行访问更新模型,也可上传授权的本地疗程匿名数据,用于大数据分析与各智能模型优化完善。
1.2)软件系统:软件系统包括运行在云端与本地的各个控制软件、控制算法、各个智能模型数据库。云端控制中心由专业机构管理,其根据收集整理的临床数据,构建各个智能化模型,包括不限于智能化人体参数分析模型、运动器官运动模型、外骨骼智能化模型、智能交互模型、安全策略模型、多人多机协同模型、人物协同模型、安全策略模型、康复效果评估模型等。这些数据模型构建完备后通过授权下载到本地康复设备中。本地康复设备对各个模型进行解析,通过本地的软件控制算法控制、驱动本地相应的硬件进行数据检测与采集、硬件驱动执行具体功能。
1.3)本地系统设备:本地系统为独立的一个终端,同时还具备一些特定的硬件设备,能够独立执行康复训练与治疗过程。
1.3.1)智能外骨骼:智能外骨骼为独立的硬件设备,可根据具体的运动康复类型进行构建起硬件设备、感知传感器和对应的软件驱动算法。
1.3.2)传感器:康复设备中内置大量的各种功能传感器,包括不限于测量体内信号如血压、心跳、心率、耗氧量、脑电波等测量,对体表信号包括不限于面部表情、肌肉信号、肌肉张驰度、上下肢伸缩程度、上下肢用力程度、手指抓握程度、下肢触地程度等进行检测,对损伤部位开展检测,度量损伤部位、损伤组织、缺失机能、机体刺激检测、压力检测等测试。还包括对运动信息如抓握速度、伸缩速度、触地力度、移动速度、拉伸速度、抬放速度、步态、手势等测量,还包括对环境信息包括不限于周边障碍物、障碍物形态、运动方向、运动速度、地表状态、接触状态、注视点等信息测量。
1.3.3)智能交互设备:交互设备包括不限于音频、视频、按钮、操作杆、触摸屏等交互输入设备,还包括显示屏、智能眼镜、智能头盔等输出设备。
1.3.4)终端设备:包括处理单元、显示单元、操作单元等设备等构成本地终端设备,还包括运行在终端设备上的各类软件算法。
1.3.5)软件系统:包括本地控制中心、智能化检测与监测子系统、智能化外骨骼子系统、智能交互子系统、安全子系统、扩展接口等,还包括各类智能算法,包括不限于智能化人体参数分析模型、运动器官运动模型、外骨骼智能化模型、智能交互模型、安全策略模型、多人多机协同模型、人物协同模型、安全策略模型、康复效果评估模型等。
(2)康复治疗前准备:
2.1)患者需求与信息收集:根据患者登记状态与康复治疗与训练需求,采集患者的身体状态信息,包括不限于临床运动机能鉴定数据,患者的身高、性别、损伤部位、运动需求等数据,该部分可由专业医疗机构进行采集汇总给出。运动康复所涉及的功能包括不限于颈部运动功能、肩部运动功能、手臂运动功能、手部运动功能、腿部运动功能、脚步运动功能等。本系统在于系统的提供运动能力康复治疗与训练方法,科学有效的帮助患者进行康复。
2.2)设备构建:根据患者的康复治疗与训练需求、患者身体状态数据,云端康复中心采用康复训练模型进行评估,给出康复训练与治疗需要的具体运动机能外骨骼组件以及配套的软硬件系统、算法模型库,开展个性化、差异化的组装,构建一套完整的智能运动康复治疗与训练系统。组装完成后的设备进行联机调试,下载对应的测试程序,执行安全自检后与患者身体适配,调试软硬件系统,调整舒适度。
2.3)云端交流:设备构建完成后进行联网通信,与云端中心进行交流,下载相应的模型数据、软件控制算法等,启动设备自检、功能测试,测试通过后颁发入网许可证,授权入网工作。
(3)康复治疗套餐制定:
3.1)系统初始化:采购的康复治疗设备进行功能自检,自检完成后进行初始化。
3.2)设备使用学习:患者开展设备使用学习,学习通过后启动智能治疗与训练套餐制定。
3.3)套餐制定过程:根据前期登记的患者康复治疗需求与信息收集,已经基本明确患者的需求,接下来该设备可结合患者身体实测参数进行康复训练套餐的制定:
3.3.1)专业模式:基于临床测试的各项参数指标,专业人员进行测算后给出治疗与训练套餐,发送给云端中心进行确认后输入设备后启动治疗与训练。
3.3.2)自主模式:对于病症不重、无临床数据、无专业人员指导、多次使用患者等可以开展自主模式进行康复套餐制定。
3.3.2.1)数据检测:使用启动后,设备会对患者的体内信号如血压、心跳、心率、耗氧量、脑电波等检测,对体表信号包括不限于面部表情、肌肉信号、肌肉张驰度、上下肢伸缩程度、上下肢用力程度、手指抓握程度、下肢触地程度等进行检测,对损伤部位开展检测,度量损伤部位、损伤组织、缺失机能、机体刺激检测、压力检测等。用户可通过交互设备输入过往病例、遗传病史等信息,进一步完善检测结果。
3.3.2.2)模型分析:结合检测的数据与系统中的人体机能分析模型,本地控制系统启动智能运动技能损伤分析算法,测算分析给出人体健康状态模型、运动机能损伤模型。
3.3.2.3)康复套餐制定:结合运动康复模型、外骨骼控制模型以及人体健康状态模型、运动机能损伤模型,本地控制系统启动智能运动康复分析算法,测算分析给出运动康复治疗与训练套餐计划。
3.3.2.4)康复套餐确认:运动康复治疗与训练套餐计划同步发送至云端控制中心确认、本地患者确认。云端控制中心可进行人工智能大数据分析,结合过往病例、风险模型分析方案可行性,对于低风险概率方案进行智能确认,对于有风险方案发送至专业人士确认,确认或修改后回传至本地康复设备,发送至患者确认。全程自动操作完成,让患者可以实现远程医疗,专业人士可以随时随地远程确诊,极大释放医疗资源压力。
3.3.3)自定义模式:根据患者的需求,对特定运动模式(如运动员特定运动要求、运动整形需求要求、明星运动模式需求等)进行DIY训练模型制定。
3.3.3.1)检测分析患者的现有身体状态,检测输出患者身体状态信息。
3.3.3.2)采用智能分析模型对指定的DIY运动模式进行建模分析,采用智能分析算法计算获得DIY运动模型。
3.3.3.3)结合患者的身体状态信息、DIY运动模型、人体康复模型数据库进行融合构建输出康复套餐计划。
3.3.3.4)对康复套餐计划进行动态建模,构建演示效果,展示给患者确认。
3.3.3.5)患者确认与反馈进行修改完善。
3.3.3.6)修改完善后的康复套餐计划发送给云端控制中心可进行人工智能大数据分析,结合过往病例、风险模型分析方案可行性,对于低风险概率方案进行智能确认,对于有风险方案发送至专业人士确认,确认或修改后回传至本地康复设备,发送至患者确认。全程自动操作完成,让患者可以实现远程医疗,专业人士可以随时随地远程确诊,极大释放医疗资源压力。
(4)康复治疗过程开展:该系统根据生产的康复套餐计划,自动执行康复治疗与训练过程。在该过程中,全程检测患者的各项状态变化、治疗过程机体状态改变、主动与患者保持一对一的交互、自动适配外骨骼参数提升治疗舒适性,实现快乐治疗,快乐训练,快乐康复。全系统流程如图2所示,图3展示了康复过程中的流程。
4.1)疗程前康复系统准备:疗程前,康复系统进行自检,检测全部软硬件系统状态,根据康复模式进行安全性自检。各项安全自检通过后,智能检测与监测系统、智能外骨骼系统、智能交互系统、安全系统、扩展接口等功能提前启动进行功能预热。
4.1.1)智能检测与监测系统:启动对患者的各项身体状态进行检测,对患者的各项状态进行监测。
4.1.2)智能外骨骼系统:根据训练模型加载对应的运动功能。
4.1.3)安全系统:实时动态监控患者与外界的各项安全状态,启动危险状态分析,加载安全应对策略。
4.1.4)扩展接口:加载各项扩展功能,包括新的功能性硬件、对外协同功能与策略等,启动可能的对外交流模式,测试通路有效性,反馈检测与测试结果;
4.2)疗程前动态影像生成与演示:疗程前由智能交互系统结合康复疗程进度,结合智能交互系统算法模型数据库,智能交互系统内容生成系统生成虚拟三维影像,输出到显示屏、智能设备(智能眼睛、智能头盔)等展示给患者,让患者全方位了解接下来的治疗与训练过程,给患者充分的视觉感官刺激,形成大脑记忆,有助于提升治疗效果。全程无需专业人士陪同,释放了医疗资源需求。通过佩戴的智能设备,可以开展实时交互,对其中不明白的画面可以暂停、放大、旋转到其他观测角度观测等,实现立体观看运动过程。其特殊性包括不限于:
4.2.1)依据康复模型动态生成三维演示影像,包括不限于影像、语音等。演示影像可基于虚拟现实技术生成,让患者身临其境感受运动过程。
4.2.2)三维演示影像具备动态交互功能,支持交互式分解演示内容与讲解,包括不限于语言交互、操作界面交互、眼动交互等。
4.2.3)三维演示影像可解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等。
4.2.4)三维演示影像还给出各个运动度的度量、联动性的先后关系与示意、运动力度、肢体与外界接触面情况等,以便科学有效的展示完整的运动过程,利于康复监控与跟踪分析。
4.2.5)三维演示影像同步解析智能外骨骼与人体运动的配合情况,可能涉及的运动操作与先后顺序,注意事项等。
4.2.6)三维演示影像展示在康复训练过程中,可能存在的运动风险以及可采集的主动、被动措施等。
4.3)疗程前智能外骨骼演示:疗程前,智能外骨骼根据康复模式,对可能存在的运动联动进行示范演示,展示涉及的外骨骼区域、外骨骼力度与方向、联动性等内容。并对运动过程中可能存在的危险会采取的运动辅助措施也同步进行展示,加深患者对运动外骨骼可采取运动的理解、在危机情况下主动与被动的响应措施等。如图10和图11所示的沉浸式效果展示,可方便患者进行训练过程提前学习。
4.4)治疗过程中:患者通过学习运动过程,开展运动学习,各设备记录与分析运动过程,实时反馈训练成果,并同步监测脑电波、肌肉信号等,同步唤醒与驱动患者进行自主意识学习,相比于传统训练方法,可以更清晰的展示训练过程、度量训练误差、引导运动神经参与,学习效果更显著:
4.4.1)本地设备根据人体运动模型,对特定的运动过程进行分解。
4.4.2)智能交互系统根据分解的运动过程,制作生成音视频内容展示给患者。
4.4.3)智能交互设备将制作生成的内容沉浸式提供给患者。
4.4.4)患者根据展示的内容,学习执行分解的运动过程,对该过程进行学习与训练。
4.4.5)本地设备记录训练过程,检测与分析训练效果,计算分析给出训练效果评估。
4.4.6)智能交互设备根据收到的训练反馈评估,输出到增强现实的内容中,实时反馈给患者。
4.4.7)智能检测设备同步患者的脑电波、肌肉、关节等信号,判断患者的自主意识,诱导患者训练其运动神经。
4.4.8)以上过程进行多次重复训练,或者多种运动分解组合训练。
4.5)疗程中动态监视与实时分析:疗程启动后,本地控制中心、智能检测与监测系统、智能外骨骼系统、智能交互系统、安全系统、扩展接口等根据训练模式开展相关工作,该系统功能如图6所示:
4.5.1)智能检测与监控系统实时采集患者的人体相关与环境相关的各项检测与监控信息,提供给本地控制中心分析。
4.5.2)本地控制中心根据采集的人体相关数据,分析患者体内的各种信号,判断患者身体承受程度、患者身体状态等信息进行分级,分级可包括正常、紧张、超负荷、危险等分类,实时动态反馈给患者,与患者进行交流反馈。对于正常状态则进行正常训练;对于紧张状态则进行音视频疏导;对于超负荷状态可对运动模型的运动量进行适当修正;对于危险状态,则启动安全系统对应的保护措施进行保护。
4.5.3)本地控制中心根据采集的人体相关数据,分析患者体表各种信号,监测康复运动下身体机能响应情况,并根据预定的训练模式,实时分析运动结果与预期的差异。结合系统内置的运动模型,面部表情用于分析患者的感情状态;分析骨骼肌的收缩情况,确认运动信号是否下发,运动肌肉是否工作;分析关节的情况,可确认运动支点是否正常工作;分析骨骼的情况,确认运动是否到位,与目标差距,度量差异信息。分析结果在交互系统中进行展示与反馈。
4.5.4)本地控制中心根据采集的外界相关数据,分析运动信息,检测康复运动下的运动质量,包括不限于运动的速度、力度、角度、接触程度等是否到位。基于外骨骼中的传感器记录进行分析运动的速度、力度、角度、接触程度等信息,进行实时展示,结合系统内置的运动模型,分析与目标差异。分析结果在交互系统中进行展示与反馈。
4.5.5)本地控制中心根据采集的环境信息,监测当前患者运动在环境中的信息。监测分析环境中的状态,包括周边障碍物、障碍物距离、运动朝向、运动速度、地表状态、接触面状态等。监测患者的运动方向、运动速度,推理分析与障碍物的关系,反馈给安全系统进行安全策略分析。结合智能交互设备检测患者的注视点、语音等信息,结合预置的智能运动行为分析模型,推测患者感兴趣区域,进行轨迹路径预估与判断,推理分析给出最佳路径。
4.6)疗程中实时交互:在训练过程中,实时收集患者的音频、视频、按键等实时信息,通过内置的人工智能模型获得交互信息,然后协同现有的运动状态、身体状态、运行轨迹等执行交互内容。该功能如图8所示。
4.6.1)训练设备内置交互信息收集装置,包括不限于按钮、触摸屏、语音采集设备、多处视频采集设备、智能头盔或者智能眼镜设备等。
4.6.2)基于内置的人工智能音频分析模型,分析获取患者的语音信息转换成语义信息,输入康复系统。康复系统结合NLP、大数据等信息,获得语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
4.6.3)基于人工智能视频分析模型,分析视频轨迹,结合传感器测量信息,分析输出运动姿态、运动轨迹等信息;结合视觉内容,分析手势等信息,获取手势输入信息。康复系统提取视频语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
4.6.4)基于智能头盔或者智能眼镜设备分析患者视觉注视点等信息,获取感兴趣的运动区域、运动路径、运动方向等信息。康复系统提取其语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
4.6.5)根据患者通过按钮、触摸屏等输入的信息,提取语义内容。康复系统发送语音信息、视频信息、振动信息等进行确认。确认通过后执行相关语音输入动作。
4.7)疗程中外骨骼适配:外骨骼在康复系统中主要体现三种功能,骨骼功能、感知功能、推理功能,如图7所示。这三项功能在疗程中都进行功能发挥。
4.7.1)骨骼功能:外骨骼系统为患者提供基本的外界辅助骨骼能力,提供力支持与执行功能。外骨骼在受到机体的执行力度后,可以辅助机体开展相关运动操作,并提供机体的部分承重力度支持。在紧急情况下,可提供一定的主动运动能力,主动为患者提供一定的运动与支撑能力,帮助患者摆脱危险。在辅助演示阶段,可提供一定的运动演示操作功能。
4.7.2)感知功能:在疗程过程中,外骨骼内置相关的检测与监测传感器,对患者身体进行监测,包括不限于患者体内的血压、心跳等信息;包括体表的肌肉信息、骨骼状态信息、关节点信息等信息;跟踪记录骨骼的运动状态信息,包括不限于骨骼的运动方向、速度、角度、轨迹等信息,完整记录运动训练过程各项信息;记录骨骼与外界物体接触面情况,包括接触面紧密程度、骨骼与接触面用力程度、接触面大小、骨骼与接触面接触过程等信息。感知功能拓展了骨骼的能力,使之不再是单一的辅助设备,还具备了感知能力。
4.7.3)推理功能:智能骨骼在基础的骨骼支持之外,具备了感知能力之后可进一步提升智能能力,使之具备推理功能。骨骼决策分析模块具备推理功能,其不仅可控制骨骼配合患者执行相关运动,与控制中心交互,执行正常训练模型,还可以结合康复训练计划分析感知模块获取的感知信息调整优化训练模式,模仿真实人体训练过程,优化训练过程细节,如骨骼接触面大小、骨骼接触点先后顺序等,提升人体训练过程有效性,相关的反馈分析、辅助信息可进一步反馈提供给交互界面进行显示。还可以在安全系统反馈下,具备一定运动控制能力,辅助人体保持运动有效性、运动平衡等,帮助患者躲避危险。
4.8)疗程中对外协同:智能康复系统通过对外扩展口,可对外具备一定的多设备协同康复训练,也可与物联网等设备进行交互,扩展人体功能。
4.8.1)多设备协同训练:多患者佩戴相同的运动康复设备后,通过云端中心设置相同的康复训练模式,既可以让局部区域内的患者进行协同训练,也可以远程让不同的患者共享协同训练。协同训练包括运动一致性行与运动配合性训练等。运动一致性为参考相同的标准,各位协同患者执行相同的运动,包括运动模式、运动力度、运动方向等。运行配合性训练可以让各位患者配合执行级联运动或者组合运动,如参考足球运动员的配合式传球,运动协同训练,提升队员之间的默契。如流水线操作工人的前后级动作串联训练等,提升不同工种之间的配合性等。多设备协同包括了云端的主从控制算法,本地设备包括不限于同步模型库、运动协同控制模块等适配协同开展的硬件设备。
4.8.2)人物协同交互训练:患者佩戴运动康复设备之后,可以通过康复设备接入到局部物联网系统,通过运动交互系统执行精细操作、精确找寻、重负荷操作任务等,如人车信息共享可实现更方便的车辆驾驶,让肢体运动有损伤的患者具备更好的驾驶能力,如人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。人物协同包括了云端的适配控制算法,本地设备包括不限于同步模型库、运动协同控制模块等适配协同开展的硬件设备。物联网设备端可包括人物协同的适配模块。
4.9)疗程中影像智能显示与反馈:在疗程过程中,除了硬件设备的高度配合,各项检测信息也可及时快速反馈,对疗程过程进行快速展示,方便患者了解疗程进程。在疗程中可由智能交互内容系统依据实时影像、智能交互系统算法模型数据库实时生成增强现实三维影像,输出到显示屏、智能设备(智能眼睛、智能头盔)等展示给患者,让患者立即感知治疗过程。在增强现实的视频内容中,控制中心实时根据视频内容、检测各项数据,分析康复训练过程的各项有效性指标,在画面中实时标记显示。全程无需专业人士陪同。通过佩戴的智能设备,可以开展实时交互,对其中不明白的画面可以暂停、放大、旋转到其他观测角度观测等,实现立体观看运动过程。同时智能交互系统还会监测与反馈患者对各种显示信息的反馈、喜好、反应等,该信息送入到智能交互系统可以调整增强显示的展示内容形式与交互形式。如图12所示的其中一种运动智能检测与分析结果,实时监测每项运动的实际效果与目标效果差异,帮助患者清晰认知。
4.9.1)实时收集到运动过程影像画面、检测与监测各项数据。
4.9.2)本地控制系统实时分析各项监测数据。
4.9.3)动态三维影像实时展示运动画面,本地控制系统反馈点评运动训练质量,智能交互系统的内容中心实时制作增强现实内容,投影在显示设备中。
4.9.4)增强现实影像内容包括解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等,实时给出运动误差。
4.9.5)增强现实影像还同步给出人体状态信息监控反馈、周围环境信息反馈等信息。
4.9.6)监测与反馈患者对各种显示信息的反馈、喜好、反应等,该信息送入到智能交互系统可以调整增强显示的展示内容形式与交互形式。
4.10)疗程后复盘:智能运动康复系统实时记录全运动康复过程的各项身体、环境、运动信息等,这些信息可用于训练结束后开展复盘分析。复盘分析可借助本地系统开展,也可以借助云端中心系统开展,充分分析康复训练过程的有效性,生成运动康复报告与反馈,调整下一阶段的运动康复计划。同时可借助智能交互系统的混合现实技术,将运动过程影像与运动纠正措施进行三维动态内容生成,动态展示给患者,让患者清楚了解运动过程错误与纠正措施。如图14:
4.10.1)复盘收集到运动过程影像画面、各项监测数据。可开展本地复盘或者云端中心专家复盘分析。
4.10.2)复盘结果形成分析报告反馈给本地控制中心。
4.10.3)本地控制中心下发给智能交互系统,智能交互系统根据复盘分析报告、运动过程分析数据,智能交互系统的内容中心实时制作混合现实内容,投影在显示设备中。
4.10.4)混合现实影像内容基于记录的真实运动过程,实时动态解析运动过程中各个骨、关节和骨骼肌构成的运动部件的配合情况、关节联动性、关节活动度、骨骼肌配合与运动情况、骨头配合与运动情况等,给出运动误差与纠正措施。
4.11)训练过程总结:训练前演示,训练中实际纠正错误,训练后复盘给出训练修正计划,从而形成示意→学习→纠正刺激→学习→纠正的反馈式学习模式。如图14为本发明的智能分析运动结果示意,该示意可为实时采集的患者运动画面,叠加运动器官解说、运动目标与实际目标差异,还可以添加更多的骨骼肌、骨头、关节等点评信息,也可添加运动速度、运动方向、运动力度等与目标差异分析。该过程可在训练中与复盘过程中一直反馈,实现实时感知训练效果与目标差异。图13为本发明的智能交互设备显示区,可包括训练前的虚拟现实显示、训练中的增强现实显示、训练后的复盘过程混合现实显示,对于患者感兴趣的信息、训练关键信息、训练画面、身体检测信息、环境检测信息、沉浸式视频内容、运动分解测量与点评结果展示等信息可以自定义在不同的显示区域显示。
4.12)安全保障:安全保障系统用于监测患者身体状态和环境状态,实时给予患者以安全提醒、危险规避和安全保护。该模块如图9所示,其功能包括:
4.12.1)人体状态分析:检测的患者的身体状态、设备状态分析、外界环境等信息,及时给出危险规避与安全保护,确保治疗与训练过程的安全性。人体状态分析包括不限于动态分析人体状态是否处于危险状态,如瞌睡、无意识、突发性疾病等危险状态。
4.12.2)环境状态分析:动态分析环境周围是否存在危险,如地面障碍物、带水结冰、运动物体靠近等状态。
4.12.3)设备状态分析:动态分析当前的外骨骼、交互设备、控制中心等设备是否处于正常工作状态,运动是否可控等信息。
4.12.4)安全措施:安全系统根据收集到的信息进行决策分析是否需要采取危险规避措施还是采取安全保护措施。危险规避分析当前危险是否可以规避,如可以规避,则采取规避措施,如停止运动、后退、侧向运动、降低重心位置、外骨骼启动平衡控制等;若不可规避,启动安全保护。紧急状态启动安全保护,如制动外骨骼制动运动规避危险、系统向外发出求救信息、与控制中心联系等。在康复运动过程中,实时输出安全提醒信息在智能交互显示设备中,提高患者的安全意识。
(5)康复疗效评估与反馈:康复过程的效果有效性在不断进行评估,包括单次训练评估、周训练评估、月训练评估等,根据训练过程数据自动分析患者康复状态。根据分析的数据结果,可与云端中心交互,交互分析后对训练模型进行修正:
5.1)康复评估项:患者机体状态,包括骨骼肌刺激反应状态、关节功能状态、骨骼功能状态等,具体的运动度量项包括不限于各个运动最小器官的运动度、运动距离、运动角度、运动速度、用力程度、接触程度等指标,具体可根据临床医学模型进行修正。
5.2)康复效果评估:本地系统在单次运动中,通过智能骨骼系统、智能交互系统、智能检测与监测系统记录每个运动的运动过程,包括患者身体的机体反应、外骨骼辅助的运动过程如包括不限于运动速度、运动角度、运动距离、运动保持、接触程度、施力程度等信息,记录全运动过程,也记录了单次运动过程的各项误差,具体误差项包括不限于运动速度、运动力度、运动活动度、运动距离等信息。单次的运动效果通过增强现实实时展示给患者进行显示,同时也在复盘的混合现实中提供错误纠正措施示例,并适配进入下一次训练过程。本地控制中心监控与记录的各次训练过程数据,包括身体状态数据、训练过程数据、训练误差分析数据等,通过汇总分析各项数据,采用大数据分析技术,给出各种维度的运动康复分析报告,包括不限于单种运动的康复训练运动分解的某个运动量的误差康复曲线等,通过日报、周报、月报等形式分享给患者进行分析。患者收到数据后,可交互反馈,本地控制系统可对康复数据进行解读,调取往期记录数据与影像,进行解读分析。
5.3)康复模型修正:训练模型修正体现在单次训练复盘分析数据后,错误纠正改进方案优化融合进入下一次训练模型中。基于周报、月报的周期性康复数据汇总,大数据分析后,对多次训练康复效果不佳的运动分解项进行提取,优化训练模式,提升康复训练效果。
5.4)康复评估结果展示:如图15为本发明的某运动器官康复过程统计分析,表示意其中某个运动器官的某项运动指标的康复过程统计分析结果,实际测试的康复指标可以包括如下文所述的康复评估项的各个指标,相应的分析报表可扩展至更多的分析报表类型,包括不限于柱状图、圆饼图、折线图、数据列表、条形图、散斑图等多种形式,包括不限于多种康复评估项联合展示图表形式,包括不限于采用虚拟现实、混合现实的模式进行沉浸式康复结果展示,结合历史康复数据与影像,动态展示运动康复过程,形成康复影像册。
(6)扩展交互训练功能:本地康复设备可对外具备一定的多设备协同康复训练,也可与物联网等设备进行交互,扩展人体功能。本地康复设备训练康复后的数据模型可导出到定制化康复设备中,实现训练与使用一致。
6.1)多设备协同训练:多患者佩戴相同的运动康复设备后,通过云端中心设置相同的康复训练模式,既可以让局部区域内的患者进行协同训练,也可以远程让不同的患者共享协同训练。协同训练包括运动一致性行与运动配合性训练等。运动一致性为参考相同的标准,各位协同患者执行相同的运动,包括运动模式、运动力度、运动方向等。运行配合性训练可以让各位患者配合执行级联运动或者组合运动,如参考足球运动员的配合式传球,运动协同训练,提升队员之间的默契。如流水线操作工人的前后级动作串联训练等,提升不同工种之间的配合性等。多设备协同包括了云端的主从控制算法,本地设备可包括不限于同步模型库、运动协同控制模块等适配协同开展的硬件设备。
6.2)人物协同交互训练:患者佩戴运动康复设备之后,可以通过康复设备接入到局部物联网系统,通过运动交互系统执行精细操作、精确找寻、重负荷操作任务等,如人车信息共享可实现更方便的车辆驾驶,让肢体运动有损伤的患者具备更好的驾驶能力,如人屋信息共享,可实现方便的屋内各项设备的开关、运行操作等。多设备协同包括了云端的适配算法,本地设备可包括不限于同步模型库、运动协同控制模块等适配协同开展的硬件设备,物联网端可包括相应的适配模块。
6.3)定制化康复设备模型转移:由于本康复设备的康复训练模型采用建模化处理,该模型可输出适配新设备。采用本康复设备康复训练后的患者,若想长期佩戴智能外骨骼设备,可通过定制化相同的外骨骼硬件,将康复训练适配后的模型数据导入到定制化的外骨骼设备中进行适配,使得训练熟稔后的设备操作可以转移,移除康复设备中的各种复杂配套设备,如智能交互设备系统等非必须设备,实现轻量化转移。
(7)模型构建与完善:本系统构建了多种智能化模型,用于提升智能运动康复设备的效果,这些模型通过从临床试验、学术研究、产业研究等系统中进行大数据分析、人工智能训练所得。这些模型可以离线在运动进行训练所得,本地系统从运动同步获得关键模型,相关关键模型如下:
7.1)人体数据分析模型:通过采集人体的血压、心跳、心率、耗氧量、面部表情等评估人体的健康状态,分析运动剧烈程度、疲劳程度等信息,构建人体状态模型。
7.2)运动器官运动模型:通过临床数据分析各个运动器官的运动模型,包括不限于各个运动器官的各种运动模式下骨骼、肌肉、关节的各种运动配合,以及表现出来的整体运动器官的运动速度、力度、方向、距离、运动度等信息,构建形成运动器官运动模型,形成量化可描述模型。
7.3)外骨骼智能化模型:通过对外骨骼的各个运动矢量化,拆解运动过程,将人体的运动器官的模型数据拆解对应到外骨骼各个运动分解中,实现人体运动器官运动模型向外骨骼模型的映射。同时构建各个运动的分解子运动的度量指标,构建传感器进行度量。
7.4)智能交互模型:智能交互模型包括智能运动过程建模与智能交互。智能运动过程建模可对每个人体运动器官的运动模型进行过程建模,构建3D内容数据库,以便虚拟现实、增强现实、混合现实构建内容。同时构建各个运动的分解子运动项的度量指标,实现运动度量。对交互过程中的音频、视频的语义化解析,采用人工智能模型进行训练分析,获得人工智能解析模型。
7.5)安全策略模型:对人体运动过程进行安全建模,对可能存在的运动隐患、错误运动、意外运动等进行建模分析,构建人体安全策略模型,拆解相关的子运动过程,进行建模规避。对于监测的环境信息,构建逻辑推理模型,对潜在障碍物进行规避,对靠近危险构建规避路径,进行规避。
7.6)多人多机协同模型:拆解多人协同运动模型,对运动过程进行拆解,将子运动间的配合进行模型构建,优化分解子运动到各个协同患者中,实现整体、局部运动配合最优。
7.7)人物协同模型:协同分析人体运动、物联网数据交互模型,构建人、物交互的接口与规范,推广形成行业标准。
7.8)康复评估模型:基于人体运动器官的运动模型,拆解运动过程,构建各个运动的分解子运动的度量指标,对各个度量指标进行意义赋值、范围解析、组合功能解析,制定运动康复评估模型。
7.9)模型自学习:本地设备具有一定智能化学习能力,能够根据康复者的实测数据,通过人工智能学习,调整优化以上各个模型,使之与具体的患者特征更好匹配。如图4所示为本地模型自学习更新流程。基于标准模型和实测数据,自学习模块将对模型进行更新获得个性数据,个性数据通过本地与运动的评估后,融合到标准模型中,进行模型自学习。
(8)数据与模型交互:
8.1)在线更新:本地康复设备可通过网络与云端中心交互,实现本地算法模型、控制算法、驱动程序等进行更新,同步最新更优的软件。
8.2)模型自学习:上文所述的智能化人体参数分析模型、运动器官运动模型、外骨骼智能化模型、智能交互模型、安全策略模型、多人多机协同模型、人物协同模型、安全策略模型、康复效果评估模型等模型已经载入到本地设备,本地设备具有数据自学习能力,能够根据自学习的数据,对以上模型进行调整,使之个性化,适配不同的患者,实现模型智能化,如图4所示。
8.3)数据共享:本地康复训练与治疗过程收集的各项实测数据进行整理解析后,可根据患者的授权,进行匿名化、去敏化同步到云端中心,辅助现有的各项数据模型进行进一步完善。
本发明虽然已以较佳实施例公开如上,但其并不是用来限定本发明,任何本领域技术人员在不脱离本发明的精神和范围内,都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改,因此,凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰,均属于本发明技术方案的保护范围。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。
Claims (5)
1.一种基于外骨骼的智能运动康复治疗与训练系统,其特征在于,包括:
本地控制中心,用于进行检测数据分析、监控情况分析、患者身体状态分析、康复计划制定、康复模型生成和康复效果评估,实现智能分析与决策、康复训练模型定制与优化;对智能检测系统、智能化外骨骼系统、智能交互系统、安全系统进行控制;与云端智能康复控制中心进行数据交互;
智能检测系统,用于对患者和外部环境进行实时全面的检测与监测,实时获取人体相关信息和外界相关信息;根据人体相关信息,判断人体健康状态和疲劳状态;对外界相关信息进行分析,确定障碍物伤害信息、危险物体靠近信息、患者摔倒或滑倒信息,并发送给安全系统,以便安全系统进行决策,对患者进行保护;其中,人体相关信息包括:体内信息和体表信息;体内信号包括:血压、心跳、心率、耗氧量和脑电;体表信号包括:面部表情、骨骼肌信号、运动关节信号和骨骼信号;外界相关信息包括:人体运动信息和环境信息;人体运动信息包括:抓握速度、伸缩速度、触地力度、移动速度、拉伸速度、抬放速度、步态和手势;环境信息包括:周边障碍物、障碍物形态、障碍物运动方向、障碍物运动速度、地表状态、接触状态和注视点;
智能化外骨骼系统,用于为患者提供各项运动,帮助患者完成治疗与训练;
智能交互系统,用于友好的引导患者愉快且有效的开展康复治疗与训练,对康复过程中的各项数据进行实时跟踪分析,让患者全身心投入实战训练场景;对康复过程进行动态回放复盘,动态解析训练成果,以增强患者信心;
安全系统,用于与其他各系统联动,分析检测患者的身体状态、设备状态、外界环境信息;根据分析结果,及时进行危险规避与安全保护,确保治疗与训练过程的安全性;
云端智能康复控制中心,用于完成各种外骨骼设备研发、外骨骼智能控制算法研发与建模、人体信号检测设备与算法研发与建模、运动康复治疗与训练模型研发、智能交互系统研发与建模、安全系统研发与建模;下发人体检测与监测模型、康复治疗模型、安全系统模型、智能交互模型及模型信息;监测各运动康复设备的运行状态;匿名收集康复治疗反馈数据,以便进一步修正各项算法模型;构建适配模型与算法,打通定制化设备、人物协同、多设备协同的跨系统、跨平台问题,实现安全、高效的交流;
智能化外骨骼系统,包括:外骨骼骨架,用于提供基本的运动支撑与运动开展实体,辅助患者开展运动;在本地控制中心的控制下主动牵引患者运动;感知监测器,用于检测外骨骼骨架与人体的结合度、人体相关运动肌体刺激信号与运动状态、外骨骼骨架与外界环境的接触状态、外骨骼骨架的运动速度,充分扩展外骨骼骨架的类人体感知能力;微处理器,用于为外骨骼骨架提供决策分析,对外骨骼骨架进行控制;对感知监测器检测到的信息进行分析,根据分析结果调整优化训练模式、优化训练模型的执行;与本地控制中心进行数据交互;
智能交互系统,包括:内容模块,用于根据治疗与训练的不同模式、不同阶段,结合内置的内容生成模型,动态生成不同的交互内容,并输出至展示模块,以向患者展示模拟三维训练过程;在训练过程中实时记录现场真实视频,并结合训练部位、训练模式和运动内容,采用内置的视频内容生成器,在动态视频中实时添加点评与评估内容,并输出至展示模块,以向患者展示带实时点评与评估标记的三维训练过程,让患者对治疗与训练的有效性实时可见,加快患者认知运动有效性;在训练过程结束后,对历史训练视频进行加工,结合训练部位、训练模式和运动内容,在历史训练视频中标记错误运动,并给出正确的运动示范,并输出至展示模块,以向患者展示带错误运动和正确运动示范的三维训练过程,加深患者对错误运动的理解与正确运动的掌握;交互模块,用于通过若干种交互设备与患者进行友好交互;其中,与患者的交互形式,包括:音频交流、视频交流、视觉注释点聚焦、眼动追踪、眨眼检测、手势识别、手柄操控、按钮操作、触摸屏界面交流;展示模块,用于根据训练模式启动展示功能;其中,展示功能,包括:训练前3D虚拟现实演示、训练过程中增强现实实时状态反馈与点评内容展示、训练后混合现实复盘纠正、录像记录重播;用于展示的设备,包括:手机、显示器和智能交互设备;智能交互设备,包括:智能眼镜和智能头盔;反馈模块,用于根据训练模式启动反馈检测,动态侦测交互中的患者反应、喜好信息;根据患者反应、喜好信息,调整与患者的交互形式、展示内容形式。
2.根据权利要求1所述的基于外骨骼的智能运动康复治疗与训练系统,其特征在于,安全系统,具体用于:
动态分析患者是否处于瞌睡、无意识、突发性疾病的危险状态;
动态分析当前的智能化外骨骼系统、智能交互系统、本地控制中心是否处于正常工作状态,运动是否可控;
动态分析环境周围是否存在危险;
根据收集到的动态分析结果,进行安全决策;其中,若根据收集到的动态分析结果确定当前危险可以规避,则采取危险规避措施;若根据收集到的动态分析结果确定当前危险不可规避,则启动安全保护措施。
3.根据权利要求1所述的基于外骨骼的智能运动康复治疗与训练系统,其特征在于,还包括:扩展接口系统和定制化专用康复设备;其中,定制化专用康复设备通过扩展接系统口与本地控制中心进行数据交互,以获取训练过程建模数据,便于患者康复后可直接适配定制化专用康复设备开展生产生活。
4.根据权利要求3所述的基于外骨骼的智能运动康复治疗与训练系统,其特征在于,定制化专用康复设备在调测通过后独立工作,无需专业人员随同,可在室内、室外治疗与训练;其中,定制化专用康复设备包括:定制康复设备、协同康复设备和物联网设备。
5.根据权利要求4所述的基于外骨骼的智能运动康复治疗与训练系统,其特征在于,扩展接口系统,包括:
人体检测器接口,用于接脑电波探测器,代替手动、语音、眼动信息输入方式,直接通过脑电波探测器检测患者脑电波,以获取患者运动意向;或者,接肌肉神经信号检测器,代替机体检测分析、运动检测分析间接获取患者运动状态的方式,直接输出患者运动状态;
外骨骼检测器接口,用于接表层触觉传感器,代替人体表层触觉;或者,接握力检测传感器,感知机械骨骼握紧程度;或者,接触传感器,检测下肢骨骼与地表的接触程度、接触应力,分析步行用力是否合适;
智能骨骼接口,用于接背姿矫正外骨骼设备,用于纠正错误坐姿;或者,接承重脊柱骨骼设备,用于提升人体承重力;
数据与程序手动对接接口,用于接离线设备,用于无网络地区的本地设备进行数据与程序更新;
多康复设备协同接口,用于接协同康复设备,与协同康复设备进行数据共享、模型协同,实现多患者协同操作、协同训练,提升训练的一致性与有效性;
人物协同一体化接口,用于接物联网设备,辅助患者实现人物信息交流、对物理设备的控制;其中,人物信息交流,包括:人路信息交流,可友好的指引下肢残疾者进行路径规划;人车信息交流,可友好的指引上肢残疾者进行车辆驾驶;人屋信息交流,可友好的指引残疾人、行动不便者进行电视、窗帘、冰箱和洗衣机设备操作,扩展人体智能性;
定制设备数据模型共享接口,用于接定制康复设备,以代替人体肢体功能,从本地控制中心中将训练适配的参数与模型凝练输出到定制康复设备中,实现定制康复设备能够直接进行工作,恢复人体功能;以及,输出特定人体的模型参数,用于特定粉丝人群的喜好制定;输出运动员专用运动数据,用于训练新运动员,实现快速运动技能掌握;用于人形机器人的运动技能获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110882465.4A CN113611388B (zh) | 2021-08-02 | 2021-08-02 | 一种基于外骨骼的智能运动康复治疗与训练系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110882465.4A CN113611388B (zh) | 2021-08-02 | 2021-08-02 | 一种基于外骨骼的智能运动康复治疗与训练系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113611388A CN113611388A (zh) | 2021-11-05 |
CN113611388B true CN113611388B (zh) | 2024-02-09 |
Family
ID=78306524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110882465.4A Active CN113611388B (zh) | 2021-08-02 | 2021-08-02 | 一种基于外骨骼的智能运动康复治疗与训练系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113611388B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511573B (zh) * | 2021-12-29 | 2023-06-09 | 电子科技大学 | 一种基于多层级边缘预测的人体解析装置及方法 |
CN114253402A (zh) * | 2021-12-29 | 2022-03-29 | 哈工大机器人湖州国际创新研究院 | 假肢控制方法和装置 |
WO2023158438A1 (en) * | 2022-02-18 | 2023-08-24 | Homer Von M | Means and method for reducing lower body extremity injuries |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103750841A (zh) * | 2014-01-20 | 2014-04-30 | 上海交通大学 | 基于mems惯性传感器的人体膝关节角度无线检测系统及方法 |
CN106650224A (zh) * | 2016-10-31 | 2017-05-10 | 华南理工大学 | 可远程监控的仿生康复外骨骼系统及控制方法 |
CN108272456A (zh) * | 2018-01-30 | 2018-07-13 | 中明博瑞成都科技有限公司 | 一种可穿戴的下肢康复辅助系统 |
CN109222984A (zh) * | 2018-10-23 | 2019-01-18 | 哈尔滨工业大学 | 一种基于多源信息融合的足底人机交互测量装置 |
CN109806113A (zh) * | 2019-03-14 | 2019-05-28 | 郑州大学 | 一种基于自组网导航的icu病房卧式下肢康复智能交互机器人群组系统 |
CN109820695A (zh) * | 2019-04-03 | 2019-05-31 | 郑州大学 | 一种具有通信和自主导航移动功能的icu病房卧式双侧脑瘫下肢康复机器人 |
CN110038270A (zh) * | 2019-05-14 | 2019-07-23 | 上海大学 | 一种上肢单臂康复训练机器人人机交互系统及方法 |
US10532000B1 (en) * | 2013-11-13 | 2020-01-14 | Hrl Laboratories, Llc | Integrated platform to monitor and analyze individual progress in physical and cognitive tasks |
CN111163693A (zh) * | 2017-06-28 | 2020-05-15 | 瑞桑尼有限公司 | 健康和疾病的诊断定制 |
CN113101134A (zh) * | 2021-04-02 | 2021-07-13 | 上海交通大学医学院附属新华医院 | 一种基于动力外骨骼的儿童下肢运动辅助康复系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11039974B2 (en) * | 2019-08-01 | 2021-06-22 | Brave Virtual Worlds, LLC | Full or partial body physical feedback system and wearable exoskeleton |
-
2021
- 2021-08-02 CN CN202110882465.4A patent/CN113611388B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10532000B1 (en) * | 2013-11-13 | 2020-01-14 | Hrl Laboratories, Llc | Integrated platform to monitor and analyze individual progress in physical and cognitive tasks |
CN103750841A (zh) * | 2014-01-20 | 2014-04-30 | 上海交通大学 | 基于mems惯性传感器的人体膝关节角度无线检测系统及方法 |
CN106650224A (zh) * | 2016-10-31 | 2017-05-10 | 华南理工大学 | 可远程监控的仿生康复外骨骼系统及控制方法 |
CN111163693A (zh) * | 2017-06-28 | 2020-05-15 | 瑞桑尼有限公司 | 健康和疾病的诊断定制 |
CN108272456A (zh) * | 2018-01-30 | 2018-07-13 | 中明博瑞成都科技有限公司 | 一种可穿戴的下肢康复辅助系统 |
CN109222984A (zh) * | 2018-10-23 | 2019-01-18 | 哈尔滨工业大学 | 一种基于多源信息融合的足底人机交互测量装置 |
CN109806113A (zh) * | 2019-03-14 | 2019-05-28 | 郑州大学 | 一种基于自组网导航的icu病房卧式下肢康复智能交互机器人群组系统 |
CN109820695A (zh) * | 2019-04-03 | 2019-05-31 | 郑州大学 | 一种具有通信和自主导航移动功能的icu病房卧式双侧脑瘫下肢康复机器人 |
CN110038270A (zh) * | 2019-05-14 | 2019-07-23 | 上海大学 | 一种上肢单臂康复训练机器人人机交互系统及方法 |
CN113101134A (zh) * | 2021-04-02 | 2021-07-13 | 上海交通大学医学院附属新华医院 | 一种基于动力外骨骼的儿童下肢运动辅助康复系统 |
Non-Patent Citations (3)
Title |
---|
Joint design and torque feedback experiment of rehabilitation robot;Tang, L等;ADVANCES IN MECHANICAL ENGINEERING;第12卷(第5期);全文 * |
可穿戴医疗设备在医疗健康领域的应用综述;魏奕星;邓朝华;;中国数字医学(第12期);第27-30页 * |
可穿戴技术在康复医学领域中的研究进展;张文豪;李建军;高峰;杨德刚;郭韵;刘长彬;杨明亮;杜良杰;崔尧;李大鹏;张鑫;蔡畅;张洁;;中国康复理论与实践(第07期);第54-57页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113611388A (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113611388B (zh) | 一种基于外骨骼的智能运动康复治疗与训练系统 | |
CN104434466B (zh) | 脑卒中老年人康复机器人系统 | |
Cincotti et al. | Non-invasive brain–computer interface system: towards its application as assistive technology | |
EP2089121B1 (en) | Apparatus for motor training and exercise of the human body | |
CN106779045A (zh) | 基于虚拟场景交互的康复训练机器人系统及其使用方法 | |
KR20180114692A (ko) | 행동모방학습 기반의 뇌 훈련 시뮬레이션시스템 | |
Papaleo et al. | Patient-tailored adaptive robotic system for upper-limb rehabilitation | |
JP2021003520A (ja) | 学習装置、リハビリ支援システム、方法、プログラム、及び学習済みモデル | |
CN104484574A (zh) | 一种基于四元数的实时人体姿态监督训练矫正系统 | |
Casas et al. | Human-robot interaction for rehabilitation scenarios | |
CN109126045A (zh) | 智能化运动分析和训练系统 | |
Aqel et al. | Review of recent research trends in assistive technologies for rehabilitation | |
Abiri et al. | A real-time brainwave based neuro-feedback system for cognitive enhancement | |
Szczurek et al. | Enhanced Human-Robot Interface with Operator Physiological Parameters Monitoring and 3D Mixed Reality | |
Ghisio et al. | An open platform for full body interactive sonification exergames | |
CN117148977A (zh) | 一种基于虚拟现实的运动康复训练方法 | |
Lv et al. | Virtual reality neurorehabilitation | |
US20220211321A1 (en) | Limb motion tracking biofeedback platform and method of rehabilitation therapy for patients with spasticity | |
CN114366557A (zh) | 用于下肢康复机器人的人机交互系统及方法 | |
Sprint et al. | Designing wearable sensor-based analytics for quantitative mobility assessment | |
CN212369529U (zh) | 一种脑卒中的肢体功能评估和康复训练系统 | |
CN114005323B (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
Miro et al. | Development of a novel evidence-based automated powered mobility device competency assessment | |
Vartholomeos et al. | KINOPTIM system architecture: modules and services for fall prevention through telerehabilitation | |
Mohamed et al. | Automated Upper Limb Motor Functions Assessment System Using One-Class Support Vector Machine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |