CN110232963A - 一种基于立体显示技术的上肢运动功能评估系统及方法 - Google Patents

一种基于立体显示技术的上肢运动功能评估系统及方法 Download PDF

Info

Publication number
CN110232963A
CN110232963A CN201910371564.9A CN201910371564A CN110232963A CN 110232963 A CN110232963 A CN 110232963A CN 201910371564 A CN201910371564 A CN 201910371564A CN 110232963 A CN110232963 A CN 110232963A
Authority
CN
China
Prior art keywords
user
module
virtual
hand
exercise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910371564.9A
Other languages
English (en)
Other versions
CN110232963B (zh
Inventor
李乐
谢浩宇
梁浩文
张瀚韬
王嘉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Sun Yat Sen University
Sun Yat Sen University
Original Assignee
First Affiliated Hospital of Sun Yat Sen University
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Sun Yat Sen University, Sun Yat Sen University filed Critical First Affiliated Hospital of Sun Yat Sen University
Priority to CN201910371564.9A priority Critical patent/CN110232963B/zh
Publication of CN110232963A publication Critical patent/CN110232963A/zh
Application granted granted Critical
Publication of CN110232963B publication Critical patent/CN110232963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于立体显示技术的上肢运动功能评估系统及方法,该系统包括虚拟场景搭建模块,用于搭建虚拟评估场景并给出用户上肢运动的提示;立体显示模块,用于显示虚拟评估场景及用户上肢运动的提示;体感交互模块,用于实时采集用户上肢根据提示做运动时的运动数据;数据处理模块,用于接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢,虚拟上肢与用户上肢同步运动;运动功能评估模块,用于接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。本发明在帮助用户训练的同时,能客观量化、快捷、精准地对用户上肢运动功能进行评估并提供实时反馈,为康复训练计划的制定与实施提供客观量化的评价。

Description

一种基于立体显示技术的上肢运动功能评估系统及方法
技术领域
本发明涉及康复医疗与新型显示技术结合的技术领域,更具体地,涉及一种基于立体显示技术的上肢运动功能评估系统及方法。
背景技术
脑卒中,又称脑中风,是一组突然起病、以局灶性神经功能缺失为共同特征的急性脑血管疾病。我国现有脑卒中患者7000万人,每年新发200万人;据世界卫生组织报告,80%的卒中患者存在不同程度的肢体运动功能障碍,其中超过60%的患者在进入后遗症期后仍然存在上肢运动功能障碍。由于上肢运动功能占全身功能的60%以上,因此上肢运动功能评估与诊断是卒中康复的重点和难点。
上肢的运动由上肢骨骼、肌肉以及肩、肘、腕、手等关节共同参与的复杂的三维活动,其活动能力直接影响患者的日常生活活动(activities of daily living,ADL)。现有的上肢功能评定多采用量表完成,在临床应用中需要专业的评测者进行实施,耗费大量时间,并且评估结果存在一定主观性。因此结果客观量化、数据处理快捷的上肢运动功能评估技术具有重要的临床和市场价值。
发明内容
本发明旨在克服上述现有技术中的缺陷,提供一种基于立体显示技术的上肢运动功能评估系统,在帮助用户训练的同时,能客观量化、快捷、精准地对用户上肢运动功能进行评估,并提供实时反馈,为康复训练计划的制定与实施提供客观量化的评价。
为达到上述目的,本发明采取的技术方案是:提供一种基于立体显示技术的上肢运动功能评估系统,包括虚拟场景搭建模块,用于搭建虚拟评估场景并给出用户上肢运动的提示;立体显示模块,用于显示虚拟评估场景及用户上肢运动的提示;体感交互模块,用于实时采集用户上肢根据提示做运动时的运动数据;数据处理模块,用于接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢,虚拟上肢与用户上肢同步运动;运动功能评估模块,用于接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
上述方案中,通过虚拟场景搭建模块搭建虚拟评估场景并将其显示在立体显示模块上,借助体感交互模块实时采集用户上肢的运动数据并传输至数据处理模块进行处理,同时在虚拟场景搭建模块内创建虚拟上肢,用户根据给出的上肢运动的提示操控虚拟上肢进行运动,运动过程中,运动功能评估模块对数据处理模块处理后的运动数据进行分析以对用户上肢运动功能进行评估。在帮助用户训练的同时,能客观量化、快捷、精准地对用户上肢运动功能进行评估,并提供实时反馈,为康复训练计划的制定与实施提供客观量化的评价。
优选地,所述立体显示模块为眼镜式3D显示设备、裸眼3D显示设备或头盔式虚拟现实与增强现实显示设备。立体显示的作用是为卒中患者引入主动刺激,构建可观察的三维空间场景,提高卒中患者的空间认知康复能力,使其更好地完成上肢三维康复训练动作。
进一步优选地,所述立体显示模块为裸眼3D显示设备。可实现2D和3D模式的自由切换,不存在分辨率的损失,用户可观看到低串扰、高均匀性的立体影像,确保用户在评估过程中可以观看到完整逼真的立体效果;同时无需借助任何助视眼镜等设备,降低了用户在评估过程中的负担。
优选地,虚拟场景搭建模块为Unity3D立体游戏开发平台。虚拟场景的搭建也可由其他立体游戏开发平台进行制作;Unity3D立体游戏开发平台搭建的虚拟场景,内容贴近生活,场景逼真生动,可降低用户在评估过程中的焦虑、厌倦情绪,有效提高用户评估的积极性与配合度。
优选地,体感交互模块为Leap Motion Controller、Real Sense或Kinect体感交互设备。体感交互模块能实时采集用户上肢根据提示做运动时的运动数据,以在虚拟场景搭建模块内创建虚拟上肢,实现虚拟上肢与用户上肢的同步运动,进而实现用户与虚拟场景的交互。
优选地,运动功能评估模块包括深度视觉评估模块,用于判断用户是否能辨别虚拟评估场景以对用户的立体视觉功能进行评估。虚拟场景搭建模块搭建的虚拟场景中出现两个物体,其中一个物体呈现效果为出屏,另一个物体为入屏,用户需选择哪个物体为出屏,以此判断用户是否存在视觉深度觉障碍;如果用户选择正确,则说明视觉深度觉良好,便可进行上肢运动功能的评估,以提高运动功能评估的准确性。
优选地,运动功能评估模块包括基础运动功能评估模块;基础运动功能评估模块包括立体Brunnstrom手功能评估模块及上肢单方向运动评估模块;虚拟场景搭建模块给出用户上肢运动的提示包括示范手的示范动作,立体Brunnstrom手功能评估模块在用户跟随示范手运动时用于评估用户手部各关节的关节活动功能;虚拟场景搭建模块给出用户上肢运动的提示包括虚拟场景中的轨迹指示,上肢单方向运动评估模块在用户按照虚拟场景中的轨迹指示完成单方向运动时用于评估用户的上肢活动功能。
立体Brunnstrom手功能评估将传统Brunnstrom手功能评估进行量化,该评估系统将Brunnstrom分级评估量表中的手功能部分各级转化为多个分解动作,并在立体显示模块上进行显示,即显示出示范手的示范动作,用户跟随示范手进行运动,并通过体感交互模块采集手部各关节的关节活动角度及运动幅度。该立体Brunnstrom手功能评估可消除传统评估方式的主观性,评估结果客观量化,可为临床治疗的实施提供可靠依据。
优选地,立体Brunnstrom手功能评估分为六级。I级:手指无任何运动;II级:手指轻微屈曲,掌指关节、指间关节共同屈曲小于手指全范围屈曲的50%;III级:手指可完成钩状抓握,手指可完成100%全活动范围的屈曲动作,但手指不能后伸;IV级:可完成拇指与食指的侧捏动作,并主动外展拇指,其余四指可完成小于全关节活动范围50%的后伸动作;V级:可完成球状抓握和杯状抓握动作,手指可同时完成后伸动作,但不能单独后伸;VI级:手部所有动作均能完成,单个手指可完成后伸动作。
优选地,上肢单方向运动评估共包含3平面共18个轴的运动,涵盖日常生活中绝大部分动作所需要的活动范围。用户按照虚拟场景中的轨迹指示完成单方向运动,体感交互模块实时采集用户上肢的空间位置坐标,通过数据分析,得出运动速度、运动幅度、运动平均距离以及吻合程度等参数,并以此对用户的上肢单方向运动功能进行评估。由于肩、肘、腕关节均参与该评估过程,该评估将用户的上肢作为功能整体对运动功能进行了评估。
优选地,运动功能评估模块包括复合运动功能评估模块,虚拟场景搭建模块给出用户上肢运动的提示包括在虚拟评估场景中做“8”字型空间立体轨迹环绕运动的虚拟小球,复合运动功能评估模块在用户跟随虚拟小球运动时用于评估用户的上肢复合运动功能。
优选地,“8”字型轨迹是涵盖三个运动平面的复杂运动轨迹。在运动过程中,“8”字型轨迹包括直线部分和曲线部分,直线部分需要用户保持固定的运动方向与运动速度,曲线部分需要用户时刻调整运动方向及速度进而跟随虚拟小球进行运动,是一种难度较大的复合运动。另外,评估过程中“8”字型轨迹的运动包括但不限于肩关节前屈后伸/内旋外旋/内收外展、肘关节屈曲伸直、前臂旋前旋后、腕关节屈曲后伸动作,涵盖上肢主要关节的大范围关节活动,是一种更加贴近日常生活的运动模式。
进一步优选地,上肢复合运动功能包括用户的空间定位能力、运动控制能力、运动速度、参与度及稳定性;用户跟随虚拟小球运动时体感交互模块实时采集用户手部的空间位置坐标及对应的时间并传输至数据处理模块,数据处理模块内存有虚拟小球的既定运动轨迹及实时空间位置坐标;数据处理模块计算用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离后发送至运动功能评估模块,以对用户的空间定位能力进行评估;数据处理模块计算用户手部实时空间位置与虚拟小球之间实时距离的平均值后发送至运动功能评估模块,以对用户的运动控制能力进行评估;数据处理模块计算用户手部在每个时刻的切线速度并发送至运动功能评估模块,以对用户的运动速度进行评估;数据处理模块计算用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标的差值,并发送至运动功能评估模块,以对用户的参与度进行评估;数据处理模块根据用户手部的空间位置坐标及对应的时间绘制用户手部的运动轨迹图,并并发送至运动功能评估模块,以对用户的稳定性度进行评估。
优选地,用户的空间定位能力通过用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离S值反映,S值通过公式(1)获取:
其中,n为用户手部的空间位置坐标的总采样数量,(Xi,Yi,Zi)为每时刻采样的用户手部的空间位置坐标,(xi,yi,zi)为在该时刻对应采样的虚拟小球在既定运动轨迹中的空间位置坐标;S值在一定程度上反映用户手部的运动轨迹与虚拟小球运动轨迹的相似程度,S值越小,说明用户上肢运动与既定“8”字运动在轨迹形状上越相似、也与既定轨迹相距越近,可以在一定程度上说明用户的空间定位能力良好,S值与空间定位能力成反比;
用户的运动控制能力通过用户手部实时空间位置与虚拟小球之间实时距离的平均值C反映,C通过公式(2)获取:
其中,m为时间,(Xt,Yt,Zt)为每时刻采样的用户手部的实时空间位置坐标,(xt,yt,zt)为该时刻对应采样的虚拟小球的实时空间位置坐标,为便于数据统计及表示,在原有计算结果基础上乘Q1,令C值以个位数及两位小数的形式展示,Q1为常数;C值可以在一定程度上反映用户手部在追踪小球时的滞后程度,C值越小,说明用户运动方向和速度与虚拟小球越接近,即用户的运动控制能力良好,C值与运动控制能力成反比;
C和S相结合,共同对用户的运动功能进行评估,S和C都较小时,则空间定位能力和运动控制能力正常;
用户手部在每个时刻的切线速度vk+1通过公式(3)获取:
其中,tk为采样时刻,(xk+i,yk+i,zk+i)为采样时刻对应的用户手部的空间位置坐标;虚拟小球沿着既定“8”字型运动轨迹的速度是固定的,因此用户需要保持相同的匀速运动才能持续跟踪虚拟小球;在评估过程中,用户手部加速或减速超过小球速度的15%视为一次异常并被记录下来;评估结束后,用户出现异常的总次数将被记录并绘制曲线图,用于显示出现异常时的位置及持续时间,进而指导康复训练计划的制定与实施;卒中患者由于运动控制能力下降,可能在运动中出现突然地加速或减速,因此切线速度vk+1值的计算可从运动速度的角度对用户上肢的运动控制能力进行评价;对切线速度vk+1值的计算精度会随着记录间隔时间的缩短而提高。
优选地,每个抽样记录时刻,用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标被记录下来,数据处理模块计算用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标的差值;如果差值超过一定阈值,则视为“参与”,单次参与度SP值记录为1;反之则视为“未参与”,SP值记录为0。评估结束后,统计“参与”与“未参与”的数量,定义参与度P为“参与”的数量在全部记录次数中的占比。参与度P可以在一定程度上反映用户主动参与评估的积极性,用于评价用户在评估过程中的配合程度。
优选地,每个记录时刻用户手部及虚拟小球的空间位置坐标将被记录下来,进而绘制单次训练项目的运动轨迹图。多次评估后,用户的运动轨迹图可以进行横向对比,更加直观地衡量手部运动轨迹与虚拟小球既定“8”字型运动轨迹的吻合程度及运动控制能力。
该评估系统进行评估工作时的流程如下:
S1.评估前向患者说明评估流程并嘱咐注意事项;
S2.进行深度视觉评估,未通过该评估测试的患者无法进行上肢运动功能评估,评估结束;通过该评估测试的患者进入步骤S3;
S3.进行基础运动功能评估模块,包括立体Brunnstrom手功能评估及上肢单方向运动评估;
S4.进行复合运动功能评估;
S5.评估结束。
本发明的另一个目的,在于提供一种基于立体显示技术的上肢运动功能评估方法,使用上述评估系统,包括如下步骤:
S1.使用虚拟场景搭建模块搭建虚拟评估场景,虚拟评估场景给出用户上肢运动的提示,使用立体显示模块显示虚拟评估场景及用户上肢运动的提示;
S2.用户观看立体显示模块显示的虚拟评估场景,并按照用户上肢运动的提示做上肢运动,同时使用体感交互模块实时采集用户上肢根据提示做运动时的运动数据;
S3.使用数据处理模块接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢并显示在立体显示模块上,虚拟上肢与用户上肢同步运动;
S4.使用运动功能评估模块接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
与现有技术相比,本发明的有益效果为:
通过虚拟场景搭建模块搭建虚拟评估场景并将其显示在立体显示模块上,借助体感交互模块实时采集用户上肢的运动数据并传输至数据处理模块进行处理,同时在虚拟场景搭建模块内创建虚拟上肢,用户根据给出的上肢运动的提示操控虚拟上肢进行运动,运动过程中,运动功能评估模块对数据处理模块处理后的运动数据进行分析以对用户上肢运动功能进行评估;在帮助用户训练的同时,能客观量化、快捷、精准地对用户上肢运动功能进行评估,并提供实时反馈,为康复训练计划的制定与实施提供客观量化的评价。
附图说明
图1为本实施例一种基于立体显示技术的上肢运动功能评估系统的示意图。
图2为本实施例中虚拟小球做“8”字型空间立体轨迹环绕运动的运动轨迹图。
图3为本实施例一种基于立体显示技术的上肢运动功能评估系统的工作时的流程图。
具体实施方式
本发明附图仅用于示例性说明,不能理解为对本发明的限制。为了更好说明以下实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;对于本领域技术人员来说,附图中某些公知结构及其说明的可能省略是可以理解的。
实施例
如图1所示,本发明提供一种基于立体显示技术的上肢运动功能评估系统,包括虚拟场景搭建模块,用于搭建虚拟评估场景并给出用户上肢运动的提示;立体显示模块,用于显示虚拟评估场景及用户上肢运动的提示;体感交互模块,用于实时采集用户上肢根据提示做运动时的运动数据;数据处理模块,用于接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢,虚拟上肢与用户上肢同步运动;运动功能评估模块,用于接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
通过虚拟场景搭建模块搭建虚拟评估场景并将其显示在立体显示模块上,借助体感交互模块实时采集用户上肢的运动数据并传输至数据处理模块进行处理,同时在虚拟场景搭建模块内创建虚拟上肢,用户根据给出的上肢运动的提示操控虚拟上肢进行运动,运动过程中,运动功能评估模块对数据处理模块处理后的运动数据进行分析以对用户上肢运动功能进行评估。在帮助用户训练的同时,能客观量化、快捷、精准地对用户上肢运动功能进行评估,并提供实时反馈,为康复训练计划的制定与实施提供客观量化的评价。
其中,所述立体显示模块为眼镜式3D显示设备、裸眼3D显示设备或头盔式虚拟现实与增强现实显示设备。立体显示的作用是为卒中患者引入主动刺激,构建可观察的三维空间场景,提高卒中患者的空间认知康复能力,使其更好地完成上肢三维康复训练动作。
本实施例中,所述立体显示模块为裸眼3D显示设备。可实现2D和3D模式的自由切换,不存在分辨率的损失,用户可观看到低串扰、高均匀性的立体影像,确保用户在评估过程中可以观看到完整逼真的立体效果;同时无需借助任何助视眼镜等设备,降低了用户在评估过程中的负担。
另外,虚拟场景搭建模块为Unity3D立体游戏开发平台。虚拟场景的搭建也可由其他立体游戏开发平台进行制作;Unity3D立体游戏开发平台搭建的虚拟场景,内容贴近生活,场景逼真生动,可降低用户在评估过程中的焦虑、厌倦情绪,有效提高用户评估的积极性与配合度。
其中,体感交互模块为Leap Motion Controller、Real Sense或Kinect体感交互设备。体感交互模块能实时采集用户上肢根据提示做运动时的运动数据,以在虚拟场景搭建模块内创建虚拟上肢,实现虚拟上肢与用户上肢的同步运动,进而实现用户与虚拟场景的交互。
本实施例中,体感交互模块为Leap Motion Controller体感交互设备,利用红外三维网格定位技术,实时采集用户上肢根据提示做运动时的运动数据,并将用户真实上肢运动投射到虚拟上肢上,实现用户与虚拟场景的交互。
另外,运动功能评估模块包括深度视觉评估模块,用于判断用户是否能辨别虚拟评估场景以对用户的立体视觉功能进行评估。深度视觉评估为评估过程的第一项,虚拟场景搭建模块搭建的虚拟场景中出现两个物体,其中一个物体呈现效果为出屏,另一个物体为入屏,用户需选择哪个物体为出屏,以此判断用户是否存在视觉深度觉障碍;如果用户选择正确,则说明视觉深度觉良好,便可进行上肢运动功能的评估,以提高运动功能评估的准确性。
其中,运动功能评估模块包括基础运动功能评估模块;基础运动功能评估模块包括立体Brunnstrom手功能评估模块及上肢单方向运动评估模块;虚拟场景搭建模块给出用户上肢运动的提示包括示范手的示范动作,立体Brunnstrom手功能评估模块在用户跟随示范手运动时用于评估用户手部各关节的关节活动功能;虚拟场景搭建模块给出用户上肢运动的提示包括虚拟场景中的轨迹指示,上肢单方向运动评估模块在用户按照虚拟场景中的轨迹指示完成单方向运动时用于评估用户的上肢活动功能。
立体Brunnstrom手功能评估将传统Brunnstrom手功能评估进行量化,该评估系统将Brunnstrom分级评估量表中的手功能部分各级转化为多个分解动作,并在立体显示模块上进行显示,即显示出示范手的示范动作,用户跟随示范手进行运动,并通过体感交互模块采集手部各关节的关节活动角度及运动幅度。该立体Brunnstrom手功能评估可消除传统评估方式的主观性,评估结果客观量化,可为临床治疗的实施提供可靠依据。
本实施例中,,立体Brunnstrom手功能评估分为六级。I级:手指无任何运动;II级:手指轻微屈曲,掌指关节、指间关节共同屈曲小于手指全范围屈曲的50%;III级:手指可完成钩状抓握,手指可完成100%全活动范围的屈曲动作,但手指不能后伸;IV级:可完成拇指与食指的侧捏动作,并主动外展拇指,其余四指可完成小于全关节活动范围50%的后伸动作;V级:可完成球状抓握和杯状抓握动作,手指可同时完成后伸动作,但不能单独后伸;VI级:手部所有动作均能完成,单个手指可完成后伸动作。
本实施例中,上肢单方向运动评估共包含3平面共18个轴的运动,涵盖日常生活中绝大部分动作所需要的活动范围。用户按照虚拟场景中的轨迹指示完成单方向运动,体感交互模块实时采集用户上肢的空间位置坐标,通过数据分析,得出运动速度、运动幅度、运动平均距离以及吻合程度等参数,并以此对用户的上肢单方向运动功能进行评估。由于肩、肘、腕关节均参与该评估过程,该评估将用户的上肢作为功能整体对运动功能进行了评估。
在基础运动功能评估时,用户将手悬空于Leap Motion Controller上方并通过观看裸眼3D显示设备控制虚拟手。在上肢单方向运动评估中,用户根据虚拟场景中的轨迹指示控制虚拟手向指示的方向进行运动至最大限度,而后返回,进行下一方向的评估直至该评估部分结束。在立体Brunnstrom手功能评估中,用户观察画面中示范手的动作并控制虚拟手模拟完成相应动作,该评估由II级开始,如果用户可完成该分级动作则进阶至下一级;如果用户无法完成,则下降至上一级。直至用户完成全部六级动作或无法完成某级动作,则该部分评估结束。
另外,运动功能评估模块包括复合运动功能评估模块,虚拟场景搭建模块给出用户上肢运动的提示包括在虚拟评估场景中做“8”字型空间立体轨迹环绕运动的虚拟小球,复合运动功能评估模块在用户跟随虚拟小球运动时用于评估用户的上肢复合运动功能。图2所示为虚拟小球做“8”字型空间立体轨迹环绕运动的运动轨迹图。用户将手悬空于LeapMotion Controller上方并通过观看裸眼3D显示设备控制虚拟手,当用户上肢力量不足以支撑其完成评估时,可酌情给予支撑器具辅助。用户通过观察裸眼3D显示设备中虚拟小球的运动轨迹,控制虚拟手跟随小球进行运动。该部分共持续3分钟。若用户由于各种原因(出现体力不支、胸闷气促、心慌心悸、眩晕恶心等症状)无法继续,则该部分评估终止。
本实施例中,“8”字型轨迹是涵盖三个运动平面的复杂运动轨迹。在运动过程中,“8”字型轨迹包括直线部分和曲线部分,直线部分需要用户保持固定的运动方向与运动速度,曲线部分需要用户时刻调整运动方向及速度进而跟随虚拟小球进行运动,是一种难度较大的复合运动。另外,评估过程中“8”字型轨迹的运动包括但不限于肩关节前屈后伸/内旋外旋/内收外展、肘关节屈曲伸直、前臂旋前旋后、腕关节屈曲后伸动作,涵盖上肢主要关节的大范围关节活动,是一种更加贴近日常生活的运动模式。
其中,上肢复合运动功能包括用户的空间定位能力、运动控制能力、运动速度、参与度及稳定性;用户跟随虚拟小球运动时体感交互模块实时采集用户手部的空间位置坐标及对应的时间并传输至数据处理模块,数据处理模块内存有虚拟小球的既定运动轨迹及实时空间位置坐标;数据处理模块计算用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离后发送至运动功能评估模块,以对用户的空间定位能力进行评估;数据处理模块计算用户手部实时空间位置与虚拟小球之间实时距离的平均值后发送至运动功能评估模块,以对用户的运动控制能力进行评估;数据处理模块计算用户手部在每个时刻的切线速度并发送至运动功能评估模块,以对用户的运动速度进行评估;数据处理模块计算用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标的差值,并发送至运动功能评估模块,以对用户的参与度进行评估;数据处理模块根据用户手部的空间位置坐标及对应的时间绘制用户手部的运动轨迹图,并并发送至运动功能评估模块,以对用户的稳定性度进行评估。
另外,用户的空间定位能力通过用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离S值反映,S值通过公式(1)获取:
其中,n为用户手部的空间位置坐标的总采样数量,(Xi,Yi,Zi)为每时刻采样的用户手部的空间位置坐标,(xi,yi,zi)为在该时刻对应采样的虚拟小球在既定运动轨迹中的空间位置坐标;S值在一定程度上反映用户手部的运动轨迹与虚拟小球运动轨迹的相似程度,S值越小,说明用户上肢运动与既定“8”字运动在轨迹形状上越相似、也与既定轨迹相距越近,可以在一定程度上说明用户的空间定位能力良好,S值与空间定位能力成反比;
用户的运动控制能力通过用户手部实时空间位置与虚拟小球之间实时距离的平均值C反映,C通过公式(2)获取:
其中,m为时间,(Xt,Yt,Zt)为每时刻采样的用户手部的实时空间位置坐标,(xt,yt,zt)为该时刻对应采样的虚拟小球的实时空间位置坐标,为便于数据统计及表示,在原有计算结果基础上乘Q1,令C值以个位数及两位小数的形式展示,Q1为常数;C值可以在一定程度上反映用户手部在追踪小球时的滞后程度,C值越小,说明用户运动方向和速度与虚拟小球越接近,即用户的运动控制能力良好,C值与运动控制能力成反比;
C和S相结合,共同对用户的运动功能进行评估,S和C都较小时,则空间定位能力和运动控制能力正常;
用户手部在每个时刻的切线速度vk+1通过公式(3)获取:
其中,tk为采样时刻,(xk+i,yk+i,zk+i)为采样时刻对应的用户手部的空间位置坐标;虚拟小球沿着既定“8”字型运动轨迹的速度是固定的,因此用户需要保持相同的匀速运动才能持续跟踪虚拟小球;在评估过程中,用户手部加速或减速超过小球速度的15%视为一次异常并被记录下来;评估结束后,用户出现异常的总次数将被记录并绘制曲线图,用于显示出现异常时的位置及持续时间,进而指导康复训练计划的制定与实施;卒中患者由于运动控制能力下降,可能在运动中出现突然地加速或减速,因此切线速度vk+1值的计算可从运动速度的角度对用户上肢的运动控制能力进行评价;对切线速度vk+1值的计算精度会随着记录间隔时间的缩短而提高。
其中,每个抽样记录时刻,用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标被记录下来,数据处理模块计算用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标的差值;如果差值超过一定阈值,则视为“参与”,单次参与度SP值记录为1;反之则视为“未参与”,SP值记录为0。评估结束后,统计“参与”与“未参与”的数量,定义参与度P为“参与”的数量在全部记录次数中的占比。参与度P可以在一定程度上反映用户主动参与评估的积极性,用于评价用户在评估过程中的配合程度。
另外,每个记录时刻用户手部及虚拟小球的空间位置坐标将被记录下来,进而绘制单次训练项目的运动轨迹图。多次评估后,用户的运动轨迹图可以进行横向对比,更加直观地衡量手部运动轨迹与虚拟小球既定“8”字型运动轨迹的吻合程度及运动控制能力。
该评估系统进行评估工作时的流程如图3所示,包括如下:
S1.评估前向患者说明评估流程并嘱咐注意事项;
S2.进行深度视觉评估,未通过该评估测试的患者无法进行上肢运动功能评估,评估结束;通过该评估测试的患者进入步骤S3;
S3.进行基础运动功能评估模块,包括立体Brunnstrom手功能评估及上肢单方向运动评估;
S4.进行复合运动功能评估;
S5.评估结束。
本实施例还提供一种基于立体显示技术的上肢运动功能评估方法,使用上述评估系统,包括如下步骤:
S1.使用虚拟场景搭建模块搭建虚拟评估场景,虚拟评估场景给出用户上肢运动的提示,使用立体显示模块显示虚拟评估场景及用户上肢运动的提示;
S2.用户观看立体显示模块显示的虚拟评估场景,并按照用户上肢运动的提示做上肢运动,同时使用体感交互模块实时采集用户上肢根据提示做运动时的运动数据;
S3.使用数据处理模块接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢并显示在立体显示模块上,虚拟上肢与用户上肢同步运动;
S4.使用运动功能评估模块接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
显然,本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例,而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等,均应被包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于立体显示技术的上肢运动功能评估系统,其特征在于,包括虚拟场景搭建模块,用于搭建虚拟评估场景并给出用户上肢运动的提示;立体显示模块,用于显示虚拟评估场景及用户上肢运动的提示;体感交互模块,用于实时采集用户上肢根据提示做运动时的运动数据;数据处理模块,用于接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢,虚拟上肢与用户上肢同步运动;运动功能评估模块,用于接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
2.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,所述立体显示模块为眼镜式3D显示设备、裸眼3D显示设备或头盔式虚拟现实与增强现实显示设备。
3.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,虚拟场景搭建模块为Unity3D立体游戏开发平台。
4.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,体感交互模块为Leap Motion Controller、Real Sense或Kinect体感交互设备。
5.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,运动功能评估模块包括深度视觉评估模块,用于判断用户是否能辨别虚拟评估场景以对用户的立体视觉功能进行评估。
6.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,运动功能评估模块包括基础运动功能评估模块;基础运动功能评估模块包括立体Brunnstrom手功能评估模块及上肢单方向运动评估模块;虚拟场景搭建模块给出用户上肢运动的提示包括示范手的示范动作,立体Brunnstrom手功能评估模块在用户跟随示范手运动时用于评估用户手部各关节的关节活动功能;虚拟场景搭建模块给出用户上肢运动的提示包括虚拟场景中的轨迹指示,上肢单方向运动评估模块在用户按照虚拟场景中的轨迹指示完成单方向运动时用于评估用户的上肢活动功能。
7.根据权利要求1所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,运动功能评估模块包括复合运动功能评估模块,虚拟场景搭建模块给出用户上肢运动的提示包括在虚拟评估场景中做“8”字型空间立体轨迹环绕运动的虚拟小球,复合运动功能评估模块在用户跟随虚拟小球运动时用于评估用户的上肢复合运动功能。
8.根据权利要求7所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,上肢复合运动功能包括用户的空间定位能力、运动控制能力、运动速度、参与度及稳定性;用户跟随虚拟小球运动时体感交互模块实时采集用户手部的空间位置坐标及对应的时间并传输至数据处理模块,数据处理模块内存有虚拟小球的既定运动轨迹及实时空间位置坐标;数据处理模块计算用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离后发送至运动功能评估模块,以对用户的空间定位能力进行评估;数据处理模块计算用户手部实时空间位置与虚拟小球之间实时距离的平均值后发送至运动功能评估模块,以对用户的运动控制能力进行评估;数据处理模块计算用户手部在每个时刻的切线速度并发送至运动功能评估模块,以对用户的运动速度进行评估;数据处理模块计算用户手部的空间位置坐标与立体显示模块显示的三帧前对应的用户手部的空间位置坐标的差值,并发送至运动功能评估模块,以对用户的参与度进行评估;数据处理模块根据用户手部的空间位置坐标及对应的时间绘制用户手部的运动轨迹图,并并发送至运动功能评估模块,以对用户的稳定性度进行评估。
9.根据权利要求8所述的一种基于立体显示技术的上肢运动功能评估系统,其特征在于,用户手部空间位置与虚拟小球的既定运动轨迹之间的平均最短距离S值通过公式(1)获取:
其中,n为用户手部的空间位置坐标的总采样数量,(Xi,Yi,Zi)为每时刻采样的用户手部的空间位置坐标,(xi,yi,zi)为在该时刻对应采样的虚拟小球在既定运动轨迹中的空间位置坐标;
用户手部实时空间位置与虚拟小球之间实时距离的平均值C通过公式(2)获取:
其中,m为时间,(Xt,Yt,Zt)为每时刻采样的用户手部的实时空间位置坐标,(xt,yt,zt)为该时刻对应采样的虚拟小球的实时空间位置坐标,Q1为常数;
用户手部在每个时刻的切线速度vk+1通过公式(3)获取:
其中,tk为采样时刻,(xk+i,yk+i,zk+i)为采样时刻对应的用户手部的空间位置坐标。
10.一种基于立体显示技术的上肢运动功能评估方法,其特征在于,使用权利要求1所述的评估系统,包括如下步骤:
S1.使用虚拟场景搭建模块搭建虚拟评估场景,虚拟评估场景给出用户上肢运动的提示,使用立体显示模块显示虚拟评估场景及用户上肢运动的提示;
S2.用户观看立体显示模块显示的虚拟评估场景,并按照用户上肢运动的提示做上肢运动,同时使用体感交互模块实时采集用户上肢根据提示做运动时的运动数据;
S3.使用数据处理模块接收并处理体感交互模块传输的运动数据,并根据处理后的运动数据在虚拟场景搭建模块内创建虚拟上肢并显示在立体显示模块上,虚拟上肢与用户上肢同步运动;
S4.使用运动功能评估模块接收数据处理模块处理后的运动数据并对数据进行分析以对用户上肢运动功能进行评估。
CN201910371564.9A 2019-05-06 2019-05-06 一种基于立体显示技术的上肢运动功能评估系统及方法 Active CN110232963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910371564.9A CN110232963B (zh) 2019-05-06 2019-05-06 一种基于立体显示技术的上肢运动功能评估系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910371564.9A CN110232963B (zh) 2019-05-06 2019-05-06 一种基于立体显示技术的上肢运动功能评估系统及方法

Publications (2)

Publication Number Publication Date
CN110232963A true CN110232963A (zh) 2019-09-13
CN110232963B CN110232963B (zh) 2021-09-07

Family

ID=67861120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910371564.9A Active CN110232963B (zh) 2019-05-06 2019-05-06 一种基于立体显示技术的上肢运动功能评估系统及方法

Country Status (1)

Country Link
CN (1) CN110232963B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110711361A (zh) * 2019-10-29 2020-01-21 东北大学 一种基于虚拟场景的上肢康复训练方法及系统
CN110786825A (zh) * 2019-09-30 2020-02-14 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的空间知觉失调测训系统
CN111145865A (zh) * 2019-12-26 2020-05-12 中国科学院合肥物质科学研究院 一种基于视觉的手部精细动作训练指导系统及方法
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练系统与方法
CN112885465A (zh) * 2021-02-23 2021-06-01 中山大学附属第一医院 运动数据分析方法、装置、系统和计算机可读存储介质
CN113113108A (zh) * 2021-02-23 2021-07-13 中山大学附属第一医院 动作数据分析方法、装置、系统及计算机可读存储介质
CN113241150A (zh) * 2021-06-04 2021-08-10 华北科技学院(中国煤矿安全技术培训中心) 一种混合现实环境中的康复训练评估方法及系统
CN113409913A (zh) * 2021-06-25 2021-09-17 黄富表 一种基于Microsoft Kinect的脑卒中患者上肢运动功能评定方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105832343A (zh) * 2016-05-22 2016-08-10 上海大学 多维视觉手功能康复定量评估系统和评估方法
US20170266502A1 (en) * 2010-11-05 2017-09-21 Nike, Inc. Method and System for Automated Personal Training that Includes Training Programs
CN107789803A (zh) * 2017-10-31 2018-03-13 深圳先进技术研究院 一种脑卒中上肢康复训练方法和系统
CN108815804A (zh) * 2018-06-12 2018-11-16 王晶 基于myo臂环和移动端的vr上肢康复训练平台及方法
CN109192272A (zh) * 2018-11-26 2019-01-11 燕山大学 基于Leap Motion与VR相结合的手功能康复训练系统及其实现方法
CN109173172A (zh) * 2018-09-25 2019-01-11 中山大学附属第医院 一种基于深度视觉的上肢康复训练系统及方法
CN109350923A (zh) * 2018-10-25 2019-02-19 北京机械设备研究所 一种基于vr及多体位传感器的上肢康复训练系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170266502A1 (en) * 2010-11-05 2017-09-21 Nike, Inc. Method and System for Automated Personal Training that Includes Training Programs
CN105832343A (zh) * 2016-05-22 2016-08-10 上海大学 多维视觉手功能康复定量评估系统和评估方法
CN107789803A (zh) * 2017-10-31 2018-03-13 深圳先进技术研究院 一种脑卒中上肢康复训练方法和系统
CN108815804A (zh) * 2018-06-12 2018-11-16 王晶 基于myo臂环和移动端的vr上肢康复训练平台及方法
CN109173172A (zh) * 2018-09-25 2019-01-11 中山大学附属第医院 一种基于深度视觉的上肢康复训练系统及方法
CN109350923A (zh) * 2018-10-25 2019-02-19 北京机械设备研究所 一种基于vr及多体位传感器的上肢康复训练系统
CN109192272A (zh) * 2018-11-26 2019-01-11 燕山大学 基于Leap Motion与VR相结合的手功能康复训练系统及其实现方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110786825A (zh) * 2019-09-30 2020-02-14 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的空间知觉失调测训系统
CN110786825B (zh) * 2019-09-30 2022-06-21 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的空间知觉失调测训系统
CN110711361A (zh) * 2019-10-29 2020-01-21 东北大学 一种基于虚拟场景的上肢康复训练方法及系统
CN111145865A (zh) * 2019-12-26 2020-05-12 中国科学院合肥物质科学研究院 一种基于视觉的手部精细动作训练指导系统及方法
CN111631726A (zh) * 2020-06-01 2020-09-08 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练系统与方法
CN112885465A (zh) * 2021-02-23 2021-06-01 中山大学附属第一医院 运动数据分析方法、装置、系统和计算机可读存储介质
CN113113108A (zh) * 2021-02-23 2021-07-13 中山大学附属第一医院 动作数据分析方法、装置、系统及计算机可读存储介质
CN113241150A (zh) * 2021-06-04 2021-08-10 华北科技学院(中国煤矿安全技术培训中心) 一种混合现实环境中的康复训练评估方法及系统
CN113409913A (zh) * 2021-06-25 2021-09-17 黄富表 一种基于Microsoft Kinect的脑卒中患者上肢运动功能评定方法

Also Published As

Publication number Publication date
CN110232963B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110232963A (zh) 一种基于立体显示技术的上肢运动功能评估系统及方法
US20180228430A1 (en) System, method and apparatus for rehabilitation with tracking
Schönauer et al. Full body interaction for serious games in motor rehabilitation
Nixon et al. Quantitative evaluation of the Microsoft Kinect TM for use in an upper extremity virtual rehabilitation environment
CN112057040B (zh) 一种上肢运动功能康复评价方法
Esfahlani et al. Validity of the Kinect and Myo armband in a serious game for assessing upper limb movement
CN105832343B (zh) 多维视觉手功能康复定量评估系统和评估方法
CN106485055A (zh) 一种基于Kinect传感器的老年II型糖尿病患者运动训练系统
Papaleo et al. Patient-tailored adaptive robotic system for upper-limb rehabilitation
Abreu et al. Assessment of microsoft kinect in the monitoring and rehabilitation of stroke patients
CN109126045A (zh) 智能化运动分析和训练系统
WO2022193425A1 (zh) 运动数据展示方法和系统
JP2017217298A (ja) 非接触呼吸測定装置及び非接触呼吸測定方法
Yeh et al. Virtual reality for post-stroke shoulder-arm motor rehabilitation: Training system & assessment method
CN117503115A (zh) 用于神经损伤的康复训练系统及训练方法
Arlati et al. Age-related differences in the kinematics of aimed movements in immersive virtual reality: a preliminary study
Gil-Agudo et al. Applications of upper limb biomechanical models in spinal cord injury patients
Exell Lower-limb biomechanical asymmetry in maximal velocity sprint running
CN110197727A (zh) 基于人工神经网络的上肢建模方法及运动机能评估系统
Fluet et al. Early versus delayed VR-based hand training in persons with acute stroke
CN110473602B (zh) 一种用于穿戴式体感游戏设备的体态数据集采集处理方法
CN109887572A (zh) 一种平衡功能训练方法及系统
Adamovich et al. Design of a virtual reality-based system for hand and arm rehabilitation
CN113017615A (zh) 基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法
He et al. Development of an evaluation system for upper limb function using ar technology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant