CN207886596U - 一种基于镜像神经元的vr康复系统 - Google Patents
一种基于镜像神经元的vr康复系统 Download PDFInfo
- Publication number
- CN207886596U CN207886596U CN201721055930.2U CN201721055930U CN207886596U CN 207886596 U CN207886596 U CN 207886596U CN 201721055930 U CN201721055930 U CN 201721055930U CN 207886596 U CN207886596 U CN 207886596U
- Authority
- CN
- China
- Prior art keywords
- rehabilitation
- trainer
- mirror
- patient
- mirror image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 84
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 21
- 230000002452 interceptive effect Effects 0.000 claims abstract description 8
- 238000013523 data management Methods 0.000 claims description 17
- 230000004438 eyesight Effects 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 5
- 210000000746 body region Anatomy 0.000 claims description 3
- 239000011521 glass Substances 0.000 claims description 3
- 210000000162 simple eye Anatomy 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000009471 action Effects 0.000 description 40
- 210000003414 extremity Anatomy 0.000 description 34
- 230000007170 pathology Effects 0.000 description 20
- 206010008190 Cerebrovascular accident Diseases 0.000 description 13
- 208000006011 Stroke Diseases 0.000 description 13
- 210000001364 upper extremity Anatomy 0.000 description 13
- 238000002560 therapeutic procedure Methods 0.000 description 12
- 238000011084 recovery Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000002490 cerebral effect Effects 0.000 description 7
- 210000003141 lower extremity Anatomy 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 230000008447 perception Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 208000026106 cerebrovascular disease Diseases 0.000 description 3
- 230000004064 dysfunction Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002008 hemorrhagic effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007659 motor function Effects 0.000 description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 241000288906 Primates Species 0.000 description 2
- 206010039966 Senile dementia Diseases 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000013016 damping Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 208000002173 dizziness Diseases 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 210000000697 sensory organ Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 206010008092 Cerebral artery thrombosis Diseases 0.000 description 1
- 241001138444 Globularia alypum Species 0.000 description 1
- 208000032382 Ischaemic stroke Diseases 0.000 description 1
- 206010048965 Vertebral artery occlusion Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 210000004004 carotid artery internal Anatomy 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 208000035474 group of disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Landscapes
- Rehabilitation Tools (AREA)
Abstract
本实用新型公开了一种基于镜像神经元的VR康复系统,包括:主控终端,可生成虚拟场景画面;体感识别装置,用于捕捉训练者的身体部位动作,生成身体部位虚拟模型,并将身体部位虚拟模型输入主控终端,与虚拟场景画面融合;VR镜像交互模块,与主控终端信号连接,用于将身体部位虚拟模型转换为以训练者中轴为基准的镜像视觉图像;VR视觉呈现装置,用于将所述镜像视觉图像呈现给训练者。本实用新型通过VR技术与体感识别技术实现在虚拟现实空间中的定位和自由动作,本实用新型使用VR镜像技术,实现基于镜像神经元的康复训练,对病人的康复训练进行数字化的采集,形成实时更新的报表,供医护人员和病人实时了解康复情况。
Description
技术领域
本实用新型属于医疗技术领域,具体涉及一种基于镜像神经元的VR康复系统。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面,模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知,除计算机图形技术所生成的视觉感知外,还有听觉、触觉、力觉、运动等感知,甚至还包括嗅觉和味觉等,也称为多感知。
近年来VR的快速发展让我们发现VR不仅仅能用在娱乐方面,同样可以应用于医疗。如公开号为CN 106388793A的专利文献公开了一种基于虚拟现实交互技术与生理体征数据监测的老年痴呆辅助治疗系统,结合了VR技术与智能信息处理方法,结合生理体征数据与虚拟现实技术,为早期老年痴呆病人提供曾经经历的场景,协助病人记忆力的恢复,同时根据生理体征数据利用大数据技术实时更换呈现内容,以更加精准的唤醒患者的记忆。
脑卒中,又称“中风”、“脑血管意外”(cerebralvascular accident,CVA)。隶属于神经内科,是一种急性脑血管疾病,是由于脑部血管突然破裂或因血管阻塞导致血液不能流入大脑而引起脑组织损伤的一组疾病,包括缺血性和出血性卒中。其中出血性卒中的死亡率较高,缺血性卒中的发病率高于出血性卒中,占脑卒中总数的60%~70%,颈内动脉和椎动脉闭塞和狭窄可引起缺血性脑卒中,年龄多在40岁以上,男性较女性多,严重者可引起死亡。
脑卒中是全球人口死亡和致残的首要原因。我国现存脑卒中患者近700万,并且每年新发200万的速度激增,其中70%~80%的卒中患者因为残疾不能独立生活。85%的脑卒中患者在发病的开始就有手功能障碍,约30%的脑卒中患者在发病6个月后仍遗留手功能障碍,这严重影响了患者的运动功能及日常生活活动,而传统康复训练需要康复治疗师针对这些功能障碍,对患者一对一指导训练,现有传统的康复训练方的训练过程单调、枯燥,患者容易对训练失去兴趣,而且容易疲劳,患者训练效率较低。因此寻找积极有效的康复治疗手段,对改善脑卒中后手功能障碍具有十分重要的意义。
实用新型内容
为了解决上述问题,本实用新型提供了一种基于镜像神经元的VR康复系统,提高康复训练效率。
本实用新型的技术方案为:一种基于镜像神经元的VR康复系统,包括:
主控终端,可生成虚拟场景画面;
体感识别装置,用于捕捉训练者的身体部位动作,生成身体部位虚拟模型,并将身体部位虚拟模型输入主控终端,与虚拟场景画面融合;
VR镜像交互模块,与主控终端信号连接,用于将身体部位虚拟模型转换为以训练者中轴为基准的镜像视觉图像;
VR视觉呈现装置,用于将所述镜像视觉图像呈现给训练者。
镜像神经元(Mirror Neurons)是90年代初在灵长类动物中发现的。这些神经细胞位于运动系统,能够在执行一个动作或观察别人做同一个动作的时候被激活。镜像神经元系统不仅在个体执行动作时兴奋,而且在观察其他同类执行相同或相似的动作时也兴奋。因此镜像神经元在动作观察、动作模仿、运动想象、运动学习等过程中起重要作用,正是基于这些作用,发展了许多新的康复疗法。比如动作观察疗法通过观察来学习模仿动作,运动想象疗法借助想象来改善运动能力,镜像疗法综合了观察、想象、模仿进程,在虚拟的情景中进行动作的观察、想象、模仿和学习。
本实用新型所采用的康复疗法,建立在镜像神经元理论之上,通过镜像神经元系统的激活来促使大脑发生可塑性改变和功能重组,进而促进受损的运动功能恢复。
本实用新型中主控终端内的虚拟场景可由3D建模+天空盒子贴图构成,3D 建模细节丰富,真实度较高。本实用新型可以建立多种虚拟场景,可以切换不同的环境,以适应不同病患的需要。如自然风光以及城市园林等等,以最适合病人放松心情,提高舒适度为考虑。
本实用新型通过体感识别装置识别训练者肢体部位动作,并生成该肢体部位虚拟模型,并将该肢体部位虚拟模型输入主控终端,与虚拟场景画面融合, VR镜像交互模块将身体部位虚拟模型以训练者中轴为基准的镜像视觉图像,最后经由VR视觉呈现装置将镜像视觉图像呈现给训练者,训练者根据呈现的镜像视觉图像,可以进行肢体部位动作的模仿训练。
本实用新型可以根据需要,设置多种训练模式,例如以手臂为例,本实用新型的操作模式包括以下几种方式:
A、将左手在镜像视觉图像中隐藏,只将右手镜像,那么镜像视觉图像中出现的左手,实为右手的镜像图像,此时激发训练者的镜像神经元,训练者真实的左手可以以右手的镜像图作为参考,进行动作模仿,即由右手动作映射真实左手动作进行训练。
B、将右手在镜像视觉图像中隐藏,只将左手镜像,那么镜像视觉图像中出现的右手,实为左手的镜像图像,此时激发训练者的镜像神经元,训练者真实的右手可以以左手的镜像图作为参考,进行动作模仿,即由左手动作映射真实右手动作进行训练。
C、将左手和右手均在镜像视觉图像中显示,但只将左手镜像,左手将镜像出一个右手虚拟手臂模型,此时激发训练者的镜像神经元,训练者真实的右手可以以左手的镜像图作为参考,进行动作模仿,即双手动作同时映射真实左手动作,一只手控制两只手的体验。
D、将左手和右手均在镜像视觉图像中显示,但只将右手镜像,右手将镜像出一个左手虚拟手臂模型,此时激发训练者的镜像神经元,训练者真实的左手可以以右手的镜像图作为参考,进行动作模仿,即双手动作同时映射真实右手动作,一只手控制两只手的体验。
E、将左手和右手均在镜像视觉图像中显示,并且将左右和右手均镜像,此时激发训练者的镜像神经元,训练者的真实左手模仿虚拟右手的镜像图像,真实右手模仿虚拟左手的镜像图像。
本实用新型将虚拟现实场景中的视觉画面,以使用者中轴为基准,进行左右镜像翻转、复制,使得用户可以通过VR视觉呈现装置,观察到左右肢体的镜像动作,从而实现激发镜像神经元的作用,通过观察来学习模仿动作,通过运动想象疗法借助想象来改善运动能力。
其中本实用新型中的VR镜像交互模块的镜像依据使用者中轴为基准线,以基准线的位置和坐标进行左右虚拟手臂位置的镜像切换。被镜像生成的虚拟手臂的所有骨骼、皮肤、碰撞体,都按照真实手臂模型,进行复制,保证体验和交互的一致性。
镜像手臂的移动方式和真实手臂的移动方式正好左右相反。
镜像系统的基准公式如下:
真实手臂位置对应基准线的相对坐标(X,Y,Z)->(转换)
镜像手臂位置对应基准线的相对坐标(-X,Y,-Z)
Y轴位置保持不变;
真实手臂每个关节本地旋转值四元数(X,Y,Z,W)=
镜像手臂每个关键本地旋转值四元数(X,Y,Z,W)
本地旋转保持不变;
真实手臂位置对应基准线的相对比例(X,Y,Z)->(转换)
镜像手臂位置对应基准线的相对比例(-X,Y,Z)
X轴比例为负数。
本实用新型除了视觉刺激训练者的神经系统以外,还可以增加其他的感官刺激,作为优选,还包括用于对训练者训练部位施加力度的力反馈装置。力觉和触觉上的刺激,以更好的达到真实模拟,刺激神经的作用。例如若对上肢进行测试时,配合手势识别、VR视觉以及力反馈装置,可实现动态模拟用户抓握姿态的力度。手势识别将手的抓握程度传递给主控终端,对应值为0到1,分别代表:手掌完全摊平时的值=0,手掌紧握成拳时的值=1;力反馈装置,按照这一数值,调节和控制力反馈装置的阻尼大小。本实用新型中所使用的力反馈装置可以采用现有常规的力反馈装置均可。
本实用新型中的体感识别装置有多种,例如电磁体感识别装置或者激光体感识别装置,作为优选,所述体感识别装置为红外体感识别装置。
由于人类上肢灵敏程度和下肢灵敏程度差异较大,对上肢运动的判断,特别是手指运动的判断非常精细;故本实用新型中,上肢与下肢可以采用不同的技术方案进行实现。本实用新型中的红外体感装置的设置方式有多种,例如识别上肢时,采用双红外摄像头,如采用LeapMotion双红外摄像头,黏贴在VR 头盔的正前方。双红外摄像头最远识别距离为100公分,即病人双手向前伸展至最远处,也可以被识别手的位置和动作。采用双红外摄像头对上肢进行识别后,可以捕捉到手部28个关键的运动状态,旋转角度等,并且和使用者的视线保持高度一致。体感识别装置识别获取的手部坐标为相对坐标,即使用者的手部离红外摄像头的距离和方位。由于红外摄像头粘贴在VR头盔的正前方,因此在康复程序中,可以通过坐标转换,获取识别到的手部坐标和方位,生成虚拟的手部模型,并将手部模型设立成跟随VR视角移动。如此,即可实现手部虚拟模型和训练者真实手部位置的完美重合。识别下肢时,在病人脚步的踝关节和膝关节处,分别黏贴3个和1个白色识别点,使用红外摄像头与白色标识点结合的形式对下肢进行识别。
本实用新型中VR视觉呈现装置也可以有多种呈现方式,例如可以通过环幕投影或者屏幕等其它视觉呈现方式,作为优选,所述VR视觉呈现装置为VR 眼镜。
作为优选,所述VR视觉呈现装置的单眼分辨率为1080*720以上,画面刷新率为90HZ以上。画面清晰度,直接影响到了患者在体验时的视觉感受,和完成触碰/抓握物体的准确率。本实用新型中单眼分辨率在1080*720以上,可以达到较好的效果。画面刷新率,直接影响到了患者体验时是否会产生疲劳、晕眩的感觉,如画面刷新率低于60HZ时,患者往往会难以坚持超过10分钟。本实用新型中VR视觉呈现装置的画面刷新率为90HZ以上,可以给患者较好的体验感,以便延长训练时间。
为了便于了解以及管理训练者的训练数据,作为优选,还包括用于管理训练者训练数据的数据管理云服务器,所述数据管理云服务器与所述主控终端信号连接。
作为优选,所述数据管理云服务器包括用于存储训练者身份信息的身份信息存储模块,所述主控终端包括采集模块,所述采集模块用于采集训练者身份信息,并将采集的训练者身份信息输送至身份信息存储模块。
本实用新型可以通过设置虚拟场景画面,来实现对训练者的训练,作为优选,所述虚拟场景画面包含有以不同的速度从虚拟场景画面中不同方向出现,且可供训练者在VR视觉呈现装置的呈现状态下进行触摸或抓拿的圆球。
作为优选,所述主控终端包括校准训练模块以及康复训练模块,所述数据管理云服务器包括用于存储训练者校准训练数据的校准训练数据存储模块,以及用于存储训练者康复训练数据的康复训练数据存储模块。本实用新型设置校准训练模块,用来设置衡量每个患者基本情况的校准模式。例如在校准模式中,患者会被安排一系列任务,要求依次序触碰虚拟场景中不同位置不同方向出现的圆球,圆球出现时长不超过3秒,3秒后圆球自动消失。例如可以记录以下数据:患者是否成功触碰圆球、圆球的3维空间坐标、如果成功触碰圆球花费的时间是多少等。患者的病理肢体部分和患者人的正常肢体部分,都会被分别安排一次校准任务。病理肢体部分的表现,会与正常肢体部分的表现进行交叉对比,以判断出病人的病症程度,以便于设定进行康复时的训练指数。
康复训练模块用于调整康复模式中的训练参数,在康复模式中,患者会被安排使用病理肢体进行触碰/抓握虚拟空间中远处飞来圆球的任务。依据患者的病症程度不同,圆球会从不同的位置、不同的方向、以不同的速度飞来,并且圆球本身的大小,也可以调整。例如可以将每次康复训练时间设置在10~20分钟,被要求完成的触碰/抓球个数在100~200个之间。康复模式中可以收集病人的以下数据,用以帮助医护人员分析病人康复情况:圆球出现的3D坐标、圆球飞行的速度、患者是否成功触碰/抓握、病人病理肢体移动的距离和速度、病人触碰/抓握花费的时间、病人触碰/抓握特定位置圆球的成功率等。
1、圆球出现的位置:在校准模式下,如对于某一特定方位的圆球,可以通过以下方式进行判断:
如果病人触碰到的成功率=0%,则判定患者在该位置的病理肢体不具备触碰能力。不在康复模式中生成该位置的球体,等待康复情况进一步好转后再行进行该位置的训练。
如果20%>病人触碰到的成功率>0%,则判定患者在该位置的病理肢体位于预期康复区域,在康复模式中生成该位置的球体的频率为一般的1.5倍。
如果50%>病人触碰到的成功率>20%,则判定患者在该位置的病理肢体位于关键康复区域,在康复模式中生成该位置的球体的频率为一般的2倍。
如果100%>病人触碰到的成功率>50%,则判定患者在该位置的病理肢体位于正常康复区域,在康复模式中生成该位置的球体的频率为正常。
2、圆球飞行的速度:
根据患者正常侧肢体的表现,生成速度的基础数值:
球速的基础数值=10/正常侧肢体平均触碰球的时长;
康复模式中,球速为默认的基础数值:
若某个特定位置上病人触碰率高于50%时,该位置的球速增长比率=(触碰率–50%)/2;
若某个特定位置上病人触碰率低于50%时,该位置的球速减缓比率=√(50%–触碰率);
3、圆球体积大小:
根据病人正常侧肢体的表现,生成球体体积的基础大小:
球速的基础数值=1,康复模式中,球体大小为默认的基础数值
某个特定位置上病人触碰率低于50%时,该位置的球缩放比率=1+/50%;
患者在康复模式中进行康复训练时,可由医护人员人工进行调整的参数,手动调节参数是赋予医护人员系统参数的权利,是提升精准化医疗的重要手段。例如可以通过医护人员调整以下参数:
触碰/抓握:医护人员可以根据患者的实际康复情况,选择患者使用病理肢体进行训练时,是否使用简单的触碰动作还是复杂度较高的抓握动作。
圆球体积大小:医护人员可以根据患者的实际康复情况,选择患者使用病理肢体进行训练时,手动调节圆球体积大小的基础参数。
本实用新型中在校准模式以及康复模式下训练的训练数据输送至数据管理云服务器进行数据储存。
作为优选,所述数据管理云服务器包括用于将校准训练数据存储模块以及康复训练数据存储模块中的存储数据生成图表的图表生成模块。校准训练数据存储模块以及康复训练数据存储模块中的存储数据经由图标生成模块生成相应的图表,康复训练数据可以很好的反映患者的训练成果和有效性,帮助医护人员对患者的训练进行实时的调整和改进。采用非常直观的图表呈现形式,更好的帮助病人及医护人员理解康复数据的意义。
与现有技术相比,本实用新型的有益效果体现在:
本实用新型通过VR技术与体感识别技术实现在虚拟现实空间中的定位和自由动作,而现有脑卒中康复一直没有很好的办法激活镜像神经元,本实用新型使用VR镜像技术,实现基于镜像神经元的康复训练,对病人的康复训练进行数字化的采集、建立模型,形成实时更新的报表,供医护人员和病人实时的了解康复情况。并且通过本系统,了解病人的实时康复情况后,可以实现对病人的精准治疗,针对病人恢复较弱的身体部位,自动调整康复训练程序,进行重点训练,配合医护人员的专业知识,大大提神康复效率和效果。
附图说明
图1为本实用新型训练流程结构示意图。
图2为本实用新型的信号传输示意图。
图3为本实用新型中镜像视觉图像。
图4为本实用新型中镜像后的手部骨骼关节对应示意图。
图5为本实用新型中力反馈装置与患者上肢相配合时(使用状态)的结构示意图。
具体实施方式
如图1和图2所示,本实用新型包括:主控终端1,可生成虚拟场景画面;体感识别装置2,用于捕捉训练者的身体部位动作,生成身体部位虚拟模型,并将身体部位虚拟模型输入主控终端1,与虚拟场景画面融合;VR镜像交互模块 3,与主控终端1信号连接,用于将身体部位虚拟模型转换为以训练者中轴为基准的镜像视觉图像;VR视觉呈现装置4,用于将镜像视觉图像呈现给训练者。本实用新型可以通过设置虚拟场景画面,来实现对训练者的训练,例如虚拟场景画面包含有以不同的速度从虚拟场景画面中不同方向出现,且可供训练者在 VR视觉呈现装置4的呈现状态下进行触摸或抓拿的圆球。
本实用新型中的体感识别装置2有多种,例如电磁体感识别装置或者激光体感识别装置,体感识别装置2为红外体感识别装置。
由于人类上肢灵敏程度和下肢灵敏程度差异较大,对上肢运动的判断,特别是手指运动的判断非常精细;故本实用新型中,上肢与下肢可以采用不同的技术方案进行实现。本实用新型中的红外体感装置的设置方式有多种,例如识别上肢时,采用双红外摄像头,如采用LeapMotion双红外摄像头间距10厘米,黏贴在VR头盔的正前方。双红外摄像头最远识别距离为100公分,即病人双手向前伸展至最远处,也可以被识别手的位置和动作。采用双红外摄像头对上肢进行识别后,可以捕捉到手部28个关键的运动状态,旋转角度等,并且和使用者的视线保持高度一致。体感识别装置识别获取的手部坐标为相对坐标,即使用者的手部离红外摄像头的距离和方位。由于红外摄像头粘贴在VR头盔的正前方,因此在康复程序中,可以通过坐标转换,获取识别到的手部坐标和方位,生成虚拟的手部模型,并将手部模型设立成跟随VR视角移动。如此,即可实现手部虚拟模型和训练者真实手部位置的完美重合。识别下肢时,在病人脚步的踝关节和膝关节处,分别黏贴3个和1个白色识别点,使用红外摄像头与白色标识点结合的形式对下肢进行识别。
本实用新型中VR视觉呈现装置4也可以有多种呈现方式,例如可以通过环幕投影或者屏幕等其它视觉呈现方式,VR视觉呈现装置4为VR眼镜。VR 视觉呈现装置4的单眼分辨率为1080*720以上,画面刷新率为90HZ以上。画面清晰度分辨率,直接影响到了患者在体验时的视觉感受,和完成触碰/抓握物体的准确率。本实用新型中单眼分辨率在1080*720以上,可以达到较好的效果。画面刷新率,直接影响到了患者体验时是否会产生疲劳、晕眩的感觉,如画面刷新率低于60HZ时,患者往往会难以坚持超过10分钟。本实用新型中VR视觉呈现装置4的画面刷新率为90HZ以上,可以给患者较好的体验感,以便延长训练时间。
镜像神经元(Mirror Neurons)是90年代初在灵长类动物中发现的。这些神经细胞位于运动系统,能够在执行一个动作或观察别人做同一个动作的时候被激活。镜像神经元系统不仅在个体执行动作时兴奋,而且在观察其他同类执行相同或相似的动作时也兴奋。因此镜像神经元在动作观察、动作模仿、运动想象、运动学习等过程中起重要作用,正是基于这些作用,发展了许多新的康复疗法。比如动作观察疗法通过观察来学习模仿动作,运动想象疗法借助想象来改善运动能力,镜像疗法综合了观察、想象、模仿进程,在虚拟的情景中进行动作的观察、想象、模仿和学习。
本实用新型所采用的康复疗法,建立在镜像神经元理论之上,通过镜像神经元系统的激活来促使大脑发生可塑性改变和功能重组,进而促进受损的运动功能恢复。
本实用新型中主控终端1内的虚拟场景可由3D建模+天空盒子贴图构成, 3D建模细节丰富,真实度较高。本实用新型可以建立多种虚拟场景,可以切换不同的环境,以适应不同病患的需要。如自然风光以及城市园林等等,以最适合病人放松心情,提高舒适度为考虑。
如图4所示,本实用新型通过体感识别装置2识别训练者肢体部位动作,并生成该肢体部位虚拟模型,并将该肢体部位虚拟模型输入主控终端1,与虚拟场景画面融合,VR镜像交互模块3将身体部位虚拟模型以训练者中轴为基准的镜像视觉图像,最后经由VR视觉呈现装置4将镜像视觉图像呈现给训练者,训练者根据呈现的镜像视觉图像,可以进行肢体部位动作的模仿训练。
本实用新型可以根据需要,设置多种训练模式,例如以手臂为例,本实用新型的操作模式包括以下几种方式:
A、将左手在镜像视觉图像中隐藏,只将右手镜像,那么镜像视觉图像中出现的左手,实为右手的镜像图像,此时激发训练者的镜像神经元,训练者真实的左手可以以右手的镜像图作为参考,进行动作模仿,即由右手动作映射真实左手动作进行训练。
B、将右手在镜像视觉图像中隐藏,只将左手镜像,那么镜像视觉图像中出现的右手,实为左手的镜像图像,此时激发训练者的镜像神经元,训练者真实的右手可以以左手的镜像图作为参考,进行动作模仿,即由左手动作映射真实右手动作进行训练。
C、将左手和右手均在镜像视觉图像中显示,但只将左手镜像,左手将镜像出一个右手虚拟手臂模型,此时激发训练者的镜像神经元,训练者真实的右手可以以左手的镜像图作为参考,进行动作模仿,即双手动作同时映射真实左手动作,一只手控制两只手的体验。
D、将左手和右手均在镜像视觉图像中显示,但只将右手镜像,右手将镜像出一个左手虚拟手臂模型,此时激发训练者的镜像神经元,训练者真实的左手可以以右手的镜像图作为参考,进行动作模仿,即双手动作同时映射真实右手动作,一只手控制两只手的体验。
E、将左手和右手均在镜像视觉图像中显示,并且将左右和右手均镜像,此时激发训练者的镜像神经元,训练者的真实左手模仿虚拟右手的镜像图像,真实右手模仿虚拟左手的镜像图像。
如图3所示,本实用新型将虚拟现实场景中的视觉画面,以使用者中轴为基准,进行左右镜像翻转、复制,使得用户可以通过VR视觉呈现装置4,观察到左右肢体的镜像动作,从而实现激发镜像神经元的作用,通过观察来学习模仿动作,通过运动想象疗法借助想象来改善运动能力。
如图3所示,其中本实用新型中的VR镜像交互模块的镜像依据使用者中轴为基准线,以基准线的位置和坐标进行左右虚拟手臂位置的镜像切换。被镜像生成的虚拟手臂的所有骨骼、皮肤、碰撞体,都按照真实手臂模型,进行复制,保证体验和交互的一致性。
镜像手臂的移动方式和真实手臂的移动方式正好左右相反。
镜像系统的基准公式如下:
真实手臂位置对应基准线的相对坐标(X,Y,Z)->(转换)
镜像手臂位置对应基准线的相对坐标(-X,Y,-Z)
Y轴位置保持不变;
真实手臂每个关节本地旋转值四元数(X,Y,Z,W)=
镜像手臂每个关键本地旋转值四元数(X,Y,Z,W)
本地旋转保持不变;
真实手臂位置对应基准线的相对比例(X,Y,Z)->(转换)
镜像手臂位置对应基准线的相对比例(-X,Y,Z)
X轴比例为负数。
本实用新型除了视觉刺激训练者的神经系统以外,还可以增加其他的感官刺激,如图1~图5所示,本实用新型中还包括用于对训练者训练部位施加力度的力反馈装置5。力觉和触觉上的刺激,以更好的达到真实模拟,刺激神经的作用。例如若对上肢进行测试时,配合手势识别、VR视觉以及力反馈装置,可实现动态模拟用户抓握姿态的力度。手势识别将手的抓握程度传递给主控终端,对应值为0到1,分别代表:手掌完全摊平时的值=0,手掌紧握成拳时的值=1;力反馈装置,按照这一数值,调节和控制力反馈装置5的阻尼大小。
为了便于了解以及管理训练者的训练数据,如图1和图2所示,本实用新型中还包括用于管理训练者训练数据的数据管理云服务器6,数据管理云服务器 6与主控终端1信号连接。数据管理云服务器6包括用于存储训练者身份信息的身份信息存储模块61,主控终端1包括采集模块11,采集模块11用于采集训练者身份信息,并将采集的训练者身份信息输送至身份信息存储模块61。
如图1和图2所示,本实用新型红主控终端1包括校准训练模块12以及康复训练模块13,数据管理云服务器6包括用于存储训练者校准训练数据的校准训练数据存储模块62,以及用于存储训练者康复训练数据的康复训练数据存储模块63。本实用新型设置校准训练模块,用来设置衡量每个患者基本情况的校准模式。例如在校准模式中,患者会被安排一系列任务,要求依次序触碰虚拟场景中不同位置不同方向出现的圆球,圆球出现时长不超过3秒,3秒后圆球自动消失。例如可以记录以下数据:患者是否成功触碰圆球、圆球的3维空间坐标、如果成功触碰圆球花费的时间是多少等。患者的病理肢体部分和患者人的正常肢体部分,都会被分别安排一次校准任务。病理肢体部分的表现,会与正常肢体部分的表现进行交叉对比,以判断出病人的病症程度,以便于设定进行康复时的训练指数。
康复训练模块13用于调整康复模式中的训练参数,在康复模式中,患者会被安排使用病理肢体进行触碰/抓握虚拟空间中远处飞来圆球的任务。依据患者的病症程度不同,圆球会从不同的位置、不同的方向、以不同的速度飞来,并且圆球本身的大小,也可以调整。例如可以将每次康复训练时间设置在10~20 分钟,被要求完成的触碰/抓球个数在100~200个之间。康复模式中可以收集病人的以下数据,用以帮助医护人员分析病人康复情况:圆球出现的3D坐标、圆球飞行的速度、患者是否成功触碰/抓握、病人病理肢体移动的距离和速度、病人触碰/抓握花费的时间、病人触碰/抓握特定位置圆球的成功率等。
1、圆球出现的位置:在校准模式下,如对于某一特定方位的圆球,可以通过以下方式进行判断:
a如果病人触碰到的成功率=0%,则判定患者在该位置的病理肢体不具备触碰能力。不在康复模式中生成该位置的球体,等待康复情况进一步好转后再行进行该位置的训练。
b如果20%>病人触碰到的成功率>0%,则判定患者在该位置的病理肢体位于预期康复区域,在康复模式中生成该位置的球体的频率为一般的1.5倍。
c如果50%>病人触碰到的成功率>20%,则判定患者在该位置的病理肢体位于关键康复区域,在康复模式中生成该位置的球体的频率为一般的2倍。
d如果100%>病人触碰到的成功率>50%,则判定患者在该位置的病理肢体位于正常康复区域,在康复模式中生成该位置的球体的频率为正常。
2、圆球飞行的速度:
根据患者正常侧肢体的表现,生成速度的基础数值:
球速的基础数值=10/正常侧肢体平均触碰球的时长;
康复模式中,球速为默认的基础数值:
若某个特定位置上病人触碰率高于50%时,该位置的球速增长比率=(触碰率–50%)/2;
若某个特定位置上病人触碰率低于50%时,该位置的球速减缓比率=√(50% -触碰率);
3、圆球体积大小:
根据病人正常侧肢体的表现,生成球体体积的基础大小:
球速的基础数值=1,康复模式中,球体大小为默认的基础数值
某个特定位置上病人触碰率低于50%时,该位置的球缩放比率=1+50%-触碰率/50%;
患者在康复模式中进行康复训练时,可由医护人员人工进行调整的参数,手动调节参数是赋予医护人员权限覆盖系统参数的权利,是提升精准化医疗的重要手段。例如可以通过医护人员调整以下参数:
触碰/抓握:医护人员可以根据患者的实际康复情况,选择患者使用病理肢体进行训练时,是否使用简单的触碰动作还是复杂度较高的抓握动作。
圆球体积大小:医护人员可以根据患者的实际康复情况,选择患者使用病理肢体进行训练时,手动调节圆球体积大小的基础参数。
本实用新型中在校准模式以及康复模式下训练的训练数据输送至数据管理云服务器6进行数据储存。
如图1和图2所示,本实用新型中数据管理云服务器6包括用于将校准训练数据存储模块62以及康复训练数据存储模块63中的存储数据生成图表的图表生成模块64。校准训练数据存储模块62以及康复训练数据存储模块63中的存储数据经由图标生成模块64生成相应的图表,康复训练数据可以很好的反映患者的训练成果和有效性,帮助医护人员对患者的训练进行实时的调整和改进。采用非常直观的图表呈现形式,更好的帮助病人特别是上了年纪的人及医护人员理解康复数据的意义。
Claims (9)
1.一种基于镜像神经元的VR康复系统,其特征在于,包括:
主控终端(1),可生成虚拟场景画面;
体感识别装置(2),用于捕捉训练者的身体部位动作,生成身体部位虚拟模型,并将身体部位虚拟模型输入主控终端(1),与虚拟场景画面融合;
VR镜像交互模块(3),与主控终端(1)信号连接,用于将身体部位虚拟模型转换为以训练者中轴为基准的镜像视觉图像;
VR视觉呈现装置(4),用于将所述镜像视觉图像呈现给训练者。
2.如权利要求1所述的基于镜像神经元的VR康复系统,其特征在于,还包括用于对训练者训练部位施加力度的力反馈装置(5)。
3.如权利要求1所述的基于镜像神经元的VR康复系统,其特征在于,所述体感识别装置(2)为红外体感识别装置。
4.如权利要求1所述的基于镜像神经元的VR康复系统,其特征在于,所述VR视觉呈现装置(4)为VR眼镜。
5.如权利要求1所述的基于镜像神经元的VR康复系统,其特征在于,所述VR视觉呈现装置(4)的单眼分辨率为1080*720以上,画面刷新率为90HZ以上。
6.如权利要求1~5任一所述的基于镜像神经元的VR康复系统,其特征在于,还包括用于管理训练者训练数据的数据管理云服务器(6),所述数据管理云服务器(6)与所述主控终端(1)信号连接。
7.如权利要求6所述的基于镜像神经元的VR康复系统,其特征在于,所述数据管理云服务器(6)包括用于存储训练者身份信息的身份信息存储模块(61),所述主控终端(1)包括采集模块(11),所述采集模块(11)用于采集训练者身份信息,并将采集的训练者身份信息输送至身份信息存储模块(61)。
8.如权利要求6所述的基于镜像神经元的VR康复系统,其特征在于,所述主控终端(1)包括校准训练模块(12)以及康复训练模块(13),所述数据管理云服务器(6)包括用于存储训练者校准训练数据的校准训练数据存储模块(62),以及用于存储训练者康复训练数据的康复训练数据存储模块(63)。
9.如权利要求8所述的基于镜像神经元的VR康复系统,其特征在于,所述数据管理云服务器(6)包括用于将校准训练数据存储模块(62)以及康复训练数据存储模块(63)中的存储数据生成图表的图表生成模块(64)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201721055930.2U CN207886596U (zh) | 2017-08-22 | 2017-08-22 | 一种基于镜像神经元的vr康复系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201721055930.2U CN207886596U (zh) | 2017-08-22 | 2017-08-22 | 一种基于镜像神经元的vr康复系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN207886596U true CN207886596U (zh) | 2018-09-21 |
Family
ID=63546776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201721055930.2U Active CN207886596U (zh) | 2017-08-22 | 2017-08-22 | 一种基于镜像神经元的vr康复系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN207886596U (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
CN109173172A (zh) * | 2018-09-25 | 2019-01-11 | 中山大学附属第医院 | 一种基于深度视觉的上肢康复训练系统及方法 |
-
2017
- 2017-08-22 CN CN201721055930.2U patent/CN207886596U/zh active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107433021A (zh) * | 2017-08-22 | 2017-12-05 | 杭州川核科技有限公司 | 一种基于镜像神经元的vr康复系统 |
CN109173172A (zh) * | 2018-09-25 | 2019-01-11 | 中山大学附属第医院 | 一种基于深度视觉的上肢康复训练系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107433021A (zh) | 一种基于镜像神经元的vr康复系统 | |
Nakada et al. | Deep learning of biomimetic sensorimotor control for biomechanical human animation | |
Iskander et al. | Using biomechanics to investigate the effect of VR on eye vergence system | |
CN111460872A (zh) | 图像处理方法及装置、图像设备及存储介质 | |
Lockery et al. | Store-and-feedforward adaptive gaming system for hand-finger motion tracking in telerehabilitation | |
WO2021226445A1 (en) | Avatar tracking and rendering in virtual reality | |
WO2012106978A1 (zh) | 一种人机互动的控制方法及其运用 | |
Farshchiansadegh et al. | A body machine interface based on inertial sensors | |
Wang et al. | Feature evaluation of upper limb exercise rehabilitation interactive system based on kinect | |
Smys | Virtual reality gaming technology for mental stimulation and therapy | |
Moya et al. | Animation of 3D avatars for rehabilitation of the upper limbs | |
CN207886596U (zh) | 一种基于镜像神经元的vr康复系统 | |
Caraiman et al. | Architectural design of a real-time augmented feedback system for neuromotor rehabilitation | |
Won et al. | Appearance and task success in novel avatars | |
CN109126045A (zh) | 智能化运动分析和训练系统 | |
Hiramatsu et al. | Development of dementia care training system based on augmented reality and whole body wearable tactile sensor | |
Yan | Construction and Application of Virtual Reality‐Based Sports Rehabilitation Training Program | |
CN113035000A (zh) | 一种面向中枢整合康复治疗技术的虚拟现实训练系统 | |
CN113903424A (zh) | 虚拟现实功能康复训练系统 | |
Longo et al. | Using brain-computer interface to control an avatar in a virtual reality environment | |
CN108969864A (zh) | 基于vr技术的抑郁症康复治疗装置及其使用方法 | |
White et al. | A virtual reality application for stroke patient rehabilitation | |
CN110473602B (zh) | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 | |
Han et al. | Ai-based next-generation sensors for enhanced rehabilitation monitoring and analysis | |
Yao et al. | Design of upper limb rehabilitation training system combining bci and ar technology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GR01 | Patent grant | ||
GR01 | Patent grant |