CN110812798B - 基于vr的前臂内外旋转训练评估系统、方法及存储介质 - Google Patents

基于vr的前臂内外旋转训练评估系统、方法及存储介质 Download PDF

Info

Publication number
CN110812798B
CN110812798B CN201911113190.7A CN201911113190A CN110812798B CN 110812798 B CN110812798 B CN 110812798B CN 201911113190 A CN201911113190 A CN 201911113190A CN 110812798 B CN110812798 B CN 110812798B
Authority
CN
China
Prior art keywords
training
data
forearm
patient
prescription
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911113190.7A
Other languages
English (en)
Other versions
CN110812798A (zh
Inventor
叶士青
韦亮
陈俊玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Zhuhai Fudan Innovation Research Institute
Original Assignee
Fudan University
Zhuhai Fudan Innovation Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University, Zhuhai Fudan Innovation Research Institute filed Critical Fudan University
Priority to CN201911113190.7A priority Critical patent/CN110812798B/zh
Publication of CN110812798A publication Critical patent/CN110812798A/zh
Application granted granted Critical
Publication of CN110812798B publication Critical patent/CN110812798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0009—Computerised real time comparison with previous movements or motion sequences of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0065—Evaluating the fitness, e.g. fitness level or fitness index

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于VR的前臂内外旋转训练评估系统、方法及存储介质，所述系统包括光学传感器、VR人机交互训练设备、主机、及处方数据库，光学传感器扫描患者前臂的静态及运动图像数据；所述主机根据患者前臂的初次评估结果或上一次训练结束后的评估结果从处方数据库获取匹配的训练处方并发送至VR人机交互训练设备启动匹配的虚拟现实游戏场景进行沉浸式交互训练，主机将本次训练的结果结合处方数据库中已有的训练处方数据经过深度学习后生成新的旋转能力等级评估数据对应新的等级训练处方数据以供该患者下次训练时直接调用。本发明能根据患者前臂每次训练的评估结果而自动调整下一次的训练处方，以提供定制化的训练方案，从而提高训练效果。

Description

基于VR的前臂内外旋转训练评估系统、方法及存储介质
技术领域
本发明涉及VR康复技术领域，尤其涉及一种基于VR的前臂内外旋转训练评估系统、方法及存储介质。
背景技术
前臂旋转功能是进化至灵长类动物而出现的，它使人类灵巧的双手得以充分地发挥其作用，以完成正常生活及劳动中的复杂动作。因中风或外伤、骨折等原因引起的上肢前臂功能障碍的患者较多，因此需要增加前臂活动度，增加前臂肌力训练，使前臂逐渐恢复运动功能，消除功能障碍。前臂的旋转功能一旦发生障碍，必将带来极大的困难和不便。当前臂旋前障碍时,此人虽可以肩关节的外展做部分的代偿，但其他的如书写，拧毛巾，扣钮扣，旋螺丝等生活和工作中需要前臂旋前的动作都会受到不同程度的影响；当前臂有旋后障碍时，肩关节无法代偿，因而将食物送入口中的动作以及使用各种工具需前臂旋后的动作会有诸多的限制和不便。不幸的是，前臂旋转功能的残缺，不像其它残疾那样被人重视和理解。这会导致患者个人的生活质量受到严重影响，也因其独立生活能力的损害给患者家属带来沉重的照料压力。
现有专门针对手部进行康复的VR设备，但是现有的VR康复设备其训练内容是固定的，无法根据患者前臂功能的实际情况自动调整训练处方，无法针对不同的患者提供定制化的训练方案，训练效果不佳。
因此，现有技术还有待发展。
发明内容
鉴于上述现有技术的不足之处，本发明的目的在于提出一种基于VR的前臂内外旋转训练评估系统、方法及存储介质，旨在能根据患者前臂每次训练的评估结果而自动调整下一次的训练处方，以提供定制化的训练方案，从而提高训练效果。
为实现上述目的，本发明采取了以下技术方案：
一种基于VR的前臂内外旋转训练评估系统，其中，包括光学传感器、VR人机交互训练设备、主机、及处方数据库，所述主机分别连接所述光学传感器、VR人机交互训练设备及处方数据库；
所述光学传感器用于扫描患者前臂的静态及运动图像数据并传送至主机；
所述处方数据库用于存储多个患者的与其前臂旋转能力等级评估数据匹配的训练处方数据，患者前臂的旋转能力等级评估数据包括初始旋转能力等级评估数据和再次旋转能力等级评估数据，训练处方数据包括预设训练处方数据和深度学习后生成的再次旋转能力等级评估数据对应的等级训练处方数据；
所述VR人机交互训练设备用于向患者呈现与处方数据库中的训练处方数据匹配的虚拟现实训练场景以对患者进行沉浸式交互训练，并将患者的前臂在训练过程中形成的反馈数据发送至主机；
所述主机用于协调控制所述光学传感器、VR人机交互训练设备及处方数据库，并进行数据处理，包括：
建模单元，用于将光学传感器发送的患者前臂的静态图像数据进行前臂3D建模；
评估单元，用于依据3D建模后的前臂模型数据和光学传感器发送的初次评估时患者前臂的运动图像数据生成初始旋转能力等级评估数据并进行存储；还用于接收VR人机交互训练设备发送的患者前臂在训练过程中的反馈数据和光学传感器发送的训练过程中患者前臂的运动图像数据，所述评估单元内设置有深度学习单元，所述深度学习单元依据该反馈数据、运动图像数据和处方数据库中已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库；
匹配单元，用于在患者首次训练时，依据初始旋转能力等级评估数据从处方数据库调取匹配的预设训练处方数据，并发送至VR人机交互训练设备；
还用于该患者在非首次训练时，直接依据上一次训练完成后经过深度学习单元生成的再次旋转能力等级评估数据从处方数据库调取匹配的等级训练处方数据，并发送至VR人机交互训练设备。
其中，所述光学传感器为深度摄像头或者红外线摄像头。
其中，所述患者前臂的旋转能力等级评估数据包括前臂内外旋转时的关节活动度等级和前臂的肌力等级；
所述训练处方数据包括与关节活动度等级对应的前臂旋转角度范围，与肌力等级对应的平衡保持时间、平衡保持次数及单次训练的总时间；
所述VR人机交互训练设备用于向患者呈现的训练场景为跷跷板游戏场景；
所述训练处方数据中前臂旋转角度范围对应游戏场景中跷跷板的旋转角度范围；
所述训练处方数据中前臂的平衡保持时间对应游戏场景中的跷跷板平衡保持时间，平衡保持次数对应单次游戏中跷跷板平衡保持次数，单次训练的总时间对应单次游戏的总限制时间。
其中，所述初次评估时患者前臂的运动图像数据是患者第一次训练时根据提示作出的至少一组相应的前臂内外旋动作被光学传感器扫描所得。
其中，所述反馈数据包括VR人机交互训练设备训练场景中的游戏任务完成时间、游戏任务完成率。
其中，所述预设训练处方数据是医生根据临床病例而预先设置的训练数据。
本发明还提出一种基于VR的前臂内外旋转训练评估方法，其中，包括下述步骤：
S10，光学传感器扫描放入其可视范围内的患者前臂，扫描成功后得到患者前臂的静态图像数据并传送至主机；
S20，主机依据所述患者前臂的静态图像数据，经过图像识别算法得到患者前臂的大小、初始姿态以及位置信息，并对该患者的前臂进行3D建模；
S30，判断是否为首次训练，如为首次训练，则进入初次评估场景，提示患者在光学传感器的可视范围内做几组前臂内外旋动作而扫描得到患者前臂的运动图像数据，主机依据该运动图像数据经过图像识别算法和数据融合算法生成初始旋转能力等级评估数据，如为非首次训练，则直接获取上一次训练评估后生成的再次旋转能力等级评估数据；
S40，依据所述初始旋转能力等级评估数据或再次旋转能力等级评估数据，从处方数据库里获取匹配的训练处方数据，并发送至VR人机交互训练设备；
S50，VR人机交互训练设备根据步骤S40匹配得到的训练处方数据提供对应难度的虚拟现实沉浸和交互游戏场景，患者根据提示进行前臂康复训练动作，VR人机交互训练设备在训练过程中形成反馈数据及光学传感器在训练过程中扫描得到患者前臂的运动图像数据并发送至主机；
S60，训练完成后，主机根据步骤S50的反馈数据和运动图像数据，并结合处方数据库中已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库，该再次旋转能力等级评估数据在处方数据库中对应新的等级训练处方数据，从而形成该患者的下一次训练处方数据，将训练与评估形成闭环。
其中，所述获取患者前臂的运动图像数据时，包括下述步骤：
通过图像识别算法确定患者前臂中心；
以前臂为中立位时手掌和肘关节向正前方，这时将拇指向前的旋转动作是旋前，即前臂内旋；
以前臂为中立位时手掌和肘关节向正后方，这时将拇指向后的旋转动作是旋后，即前臂外旋；
所述图像识别算法包括图像采集、图像预处理、特征提取及图像识别。
其中，所述患者前臂的初始旋转能力等级评估数据及再次旋转能力等级评估数据采用精细化评估模型进行评估，所述精细化评估模型的形成步骤包括：
获取N个临床病例前臂在康复前、中、后的表现数据，所述表现数据包括图像数据和文字数据；
通过图像识别算法和数据融合算法获取表现数据中的关键评定指标，所述关键评定指标包括动力指标，运动指标、平衡指标、任务指标；
依据所述关键评定指标对前臂内外旋转能力按等级分级；
将所述前臂内外旋转能力等级输入至神经网络进行学习训练而输出所述精细化评估模型。
本发明还提出一种计算机可读存储介质，其中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的方法。
本发明的基于VR的前臂内外旋转训练评估系统、方法及存储介质，通过设置光学传感器、VR人机交互训练设备、主机、及处方数据库，主机根据患者前臂的初次评估结果或上一次训练结束后的评估结果从处方数据库获取匹配的训练处方并发送至VR人机交互训练设备启动匹配的虚拟现实游戏场景进行沉浸式交互训练，主机将本次训练的结果结合处方数据库中已有的训练处方数据经过深度学习后生成的新的旋转能力等级评估数据对应新的等级训练处方数据以供该患者下次训练时直接调用。从而使得本发明的练评估系统能根据患者前臂每次训练后的评估结果而自动调整生成下一次训练的新处方，针对性的对每个不同的患者提供个性化、定制化的训练方案，提升了训练效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明基于VR的前臂内外旋转训练评估系统第一实施方式的示意图；
图2为本发明基于VR的前臂内外旋转训练评估方法第一实施方式的流程示意图；
图3为本发明精细化评估模型的形成流程示意图。
附图标记说明：
100-主机，101-建模单元，102-评估单元，103-深度学习单元，104-匹配单元，200-光学传感器，300-VR人机交互训练设备，400-处方数据库。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本发明提出了一种基于VR的前臂内外旋转训练评估系统，包括光学传感器200、VR人机交互训练设备300、主机100、及处方数据库400，所述主机100分别连接所述光学传感器200、VR人机交互训练设备300及处方数据库400。本发明的主机100、处方数据库40可设置于云平台分别对应云服务器及云数据库。在患者的使用端设置有与主机100连接的显示装置，以显示相关提示信息。主机100与光学传感器200、VR人机交互训练设备300、及处方数据库400之间的数据传输通过有线网络传输或者WLAN、LTE/4G、蓝牙等无线网络传输。
本发明的光学传感器200用于扫描患者前臂的静态及运动图像数据并传送至主机100。前臂的静态图像数据用于前臂的3D建模，前臂的运动图像数据用于分析提取前臂的内外旋动作角度、速度等参数。
优选地，本发明实施例的的光学传感器为深度摄像头或者红外线摄像头。
深度摄像头能采集患者前臂的图片信息及深度信息，从而形成立体视觉信息而便于后续前臂的3D建模。
所述处方数据库400用于存储多个患者的与其前臂旋转能力等级评估数据匹配的训练处方数据，患者前臂的旋转能力等级评估数据包括初始旋转能力等级评估数据和再次旋转能力等级评估数据，训练处方数据包括预设训练处方数据和深度学习后生成的再次旋转能力等级评估数据对应的等级训练处方数据。本发明的预设训练处方数据是医生根据临床病例而预先设置的训练数据。
即本发明实施例的处方数据库中的训练处方数据有两种来源，第一是医生根据临床病例预先设置的预设训练处方数据，第二是根据大量患者在本系统实际的训练结果和评估结果进行深度学习后形成再次旋转能力等级评估数据对应的等级训练处方数据。
所述VR人机交互训练设备300用于向患者呈现与处方数据库400中的训练处方数据匹配的虚拟现实训练场景以对患者进行沉浸式交互训练，并将患者的前臂在训练过程中形成的反馈数据发送至主机100。本发明的VR人机交互训练设备300提供的虚拟现实训练场景为可交互的游戏场景。本发明实施例的VR人机交互训练设备300包括VR头盔等虚拟现实智能电子设备。
本发明的主机100用于协调控制所述光学传感器200、VR人机交互训练设备300及处方数据库400，并进行数据处理，如图1所示，具体包括：
建模单元101，用于将光学传感器200发送的患者前臂的静态图像数据进行前臂3D建模。
评估单元102，用于依据3D建模后的前臂模型数据和光学传感器200发送的初次评估时患者前臂的运动图像数据生成初始旋转能力等级评估数据并进行存储；还用于接收VR人机300交互训练设备发送的患者前臂在训练过程中的反馈数据和光学传感器200发送的训练过程中患者前臂的运动图像数据，所述评估单元102内设置有深度学习单元103，所述深度学习单元103依据该反馈数据、运动图像数据和处方数据库中400已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库400。
所述初次评估时患者前臂的运动图像数据是患者第一次训练时根据提示作出的至少一组相应的前臂内外旋动作被光学传感器扫描所得。因为患者第一训练时评估训练系统内还没有该患者前臂的相关数据，故须先进行一次初步的评估，然后根据初步评估的结果提供对应的处方进行训练。而再次旋转能力等级评估数据是患者经过VR人机交互训练设备300训练后根据训练过程反馈的结果重新作出的评估，此处评估相对于初次评估更接近患者前臂内外旋转能力的真实情况。
本发明实施例中，VR人机交互训练设备300的反馈数据包括VR人机交互训练设备训练场景中的游戏任务完成时间、游戏任务完成率。
匹配单元104，用于在患者首次训练时，依据初始旋转能力等级评估数据从处方数据库400调取匹配的预设训练处方数据，并发送至VR人机交互训练设备300；还用于该患者在非首次训练时，直接依据上一次训练完成后经过深度学习生成的再次旋转能力等级评估数据从处方数据库400调取匹配的等级训练处方数据，并发送至VR人机交互训练设备300。
本发明的基于VR的前臂内外旋转训练评估系统，主机100根据患者前臂的初次评估结果或上一次训练结束后的评估结果从处方数据库400获取匹配的训练处方并发送至VR人机交互训练设备300启动匹配的虚拟现实游戏场景进行沉浸式交互训练，主机100将该次训练的结果结合处方数据库400中已有的训练处方数据经过深度学习后生成的新的旋转能力等级评估数据对应新的等级训练处方数据以供该患者下次训练时直接调用。
这样本发明的练评估系统能根据患者前臂每次训练后的评估结果而自动调整生成下一次训练的新处方，形成了一个训练和评估的闭环动态调整系统，能针对性的对每个不同的患者提供个性化、定制化的训练方案，提升了训练效果。
同时，本发明实施例中的光学传感器200和VR人机交互训练设备300提升数据采集的精度以及调动患者训练的积极性，从趣味性和专业性上都具有优势，避免了患者训练过程中的乏味而难以坚持。
本发明实施例中，患者前臂的旋转能力等级评估数据包括前臂内外旋转时的关节活动度等级和前臂的肌力等级。
所述训练处方数据包括与关节活动度等级对应的前臂旋转角度范围，与肌力等级对应的平衡保持时间、平衡保持次数及单次训练的总时间。
如：
1、关节活动度(ROM)，尺侧偏最大55°，桡侧偏最大25°在这个范围可以定义多个关节活动度等级。
2、肌力评价(MRC)：如下表1所示:
Figure GDA0002682361530000091
Figure GDA0002682361530000101
表1
本发明实施例的VR人机交互训练设备300用于向患者呈现的训练场景为跷跷板游戏场景；所述训练处方数据中前臂旋转角度范围对应游戏场景中跷跷板的旋转角度范围；所述训练处方数据中前臂的平衡保持时间对应游戏场景中的跷跷板平衡保持时间，平衡保持次数对应单次游戏中跷跷板平衡保持次数，单次训练的总时间对应单次游戏的总限制时间。
还可以设置跷跷板的摩擦系数来对应跷跷板游戏的难度。
上述表1的等级评估并给出相应的数值，帮助判定游戏的起始难度。MRC在2+及以上才可进行本游戏，MRC 2+以下水平，手臂可能无法抬起，无法进行本游戏。
优选地，本发明实施例在训练过程中通过程序控制，通过VR人机交互训练设备300向患者提供听觉和视觉刺激。
作为一种实施方式，视觉刺激可由VR头盔看到的3D沉浸式虚拟场景，给一些特效鼓励和成功、失败的视觉提示，听觉刺激则由程序设定3D音效方位通过VR头盔耳机传递给患者，可以在不同方位给与患者声音刺激，如给一些鼓励和成功、失败的音效提示，以及背景音乐等。听觉和视觉刺激使得患者在VR场景训练过程中的沉浸感更好，可以有方位相关判断，刺激患者积极性和提高训练有效性和准确性。
请参考图2，图2为本发明基于VR的前臂内外旋转训练评估方法的流程，具体包括下述步骤：
S10，光学传感器扫200描放入其可视范围内的患者前臂，扫描成功后得到患者前臂的静态图像数据并传送至主机100。
S20，主机100依据所述患者前臂的静态图像数据，经过图像识别算法得到患者前臂的大小、初始姿态以及位置信息，并对该患者的前臂进行3D建模。
S30，判断是否为首次训练，如为首次训练，则进入初次评估场景，提示患者在光学传感器200的可视范围内做几组前臂内外旋动作而扫描得到患者前臂的运动图像数据，主机100依据该运动图像数据经过图像识别算法和数据融合算法生成初始旋转能力等级评估数据，如为非首次训练，则直接获取上一次训练评估后生成的再次旋转能力等级评估数据。
S40，依据所述初始旋转能力等级评估数据或再次旋转能力等级评估数据，从处方数据库400里获取匹配的训练处方数据，并发送至VR人机交互训练设备300。
S50，VR人机交互训练设备300根据步骤S40匹配得到的训练处方数据提供对应难度的虚拟现实沉浸和交互游戏场景，患者根据提示进行前臂康复训练动作，VR人机交互训练设备300在训练过程中形成反馈数据及光学传感器200在训练过程中扫描得到患者前臂的运动图像数据并发送至主机100。
S60，训练完成后，主机100根据步骤S50的反馈数据和运动图像数据，并结合处方数据库400中已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库400，该再次旋转能力等级评估数据在处方数据库400中对应新的等级训练处方数据，从而形成该患者的下一次训练处方数据，将训练与评估形成闭环。
即本发明实施例的训练评估方法能够形成一个训练与评估的闭环反馈流程，本次训练的结果再经过深度学习生成下一次的训练处方对应的旋转能力等级评估数据，每次训练后都有一个新的处方生成，这样能针对每个患者的前臂在每次训练后的表现自动调整下一次的训练处方，以及时适应每个患者的不同变化，提高训练效果。
本发明实施例在获取患者前臂的运动图像数据时，包括下述步骤：
通过图像识别算法确定患者前臂中心；以前臂为中立位时手掌和肘关节向正前方，这时将拇指向前的旋转动作是旋前，即前臂内旋；以前臂为中立位时手掌和肘关节向正后方，这时将拇指向后的旋转动作是旋后，即前臂外旋。这样能快速判断光学传感器200扫描获得的运动图像数据对应的具体动作，并为后续分析评价做准备。
本发明实施例的图像识别算法包括图像采集、图像预处理、特征提取及图像识别。
本发明实施例患者前臂的初始旋转能力等级评估数据及再次旋转能力等级评估数据采用精细化评估模型进行评估，如图3所示，所述精细化评估模型的形成步骤包括：
S301，获取N个临床病例前臂在康复前、中、后的表现数据，所述表现数据包括图像数据和文字数据。
S302，通过图像识别算法和数据融合算法获取表现数据中的关键评定指标，所述关键评定指标包括动力指标，运动指标、平衡指标、任务指标。
图像识别算法可以获取表现数据中的运动特征，然后结合数据融合算法生成关键评定指标。
图像识别算法提取的运动特征，如下表2：
Figure GDA0002682361530000121
Figure GDA0002682361530000131
说明：(1)表中的x为原始信号；N为x的长度。
表2
S303，依据所述关键评定指标对前臂内外旋转能力按等级分级。如前臂内外旋转能力等级可按照关节活动度(ROM)，肌力评价(MRC)等进行分级。
S304，将所述前臂内外旋转能力等级输入至神经网络进行学习训练而输出所述精细化评估模型。
精细化评估模型能提高患者前臂内外旋转能力的评估精度，而生成匹配的等级训练处方数据。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现上述的训练评估方法。
本发明的基于VR的前臂内外旋转训练评估方法集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。本发明计算机可读存储介质具体实施方式与上述基于VR的前臂内外旋转训练评估方法各实施例基本相同，在此不再赘述。
需说明的是，以上所描述的实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种基于VR的前臂内外旋转训练评估系统，其特征在于，包括光学传感器、VR人机交互训练设备、主机、及处方数据库，所述主机分别连接所述光学传感器、VR人机交互训练设备及处方数据库；
所述光学传感器用于扫描患者前臂的静态及运动图像数据并传送至主机；
所述处方数据库用于存储多个患者的与其前臂旋转能力等级评估数据匹配的训练处方数据，患者前臂的旋转能力等级评估数据包括初始旋转能力等级评估数据和再次旋转能力等级评估数据，训练处方数据包括预设训练处方数据和深度学习后生成的再次旋转能力等级评估数据对应的等级训练处方数据；
所述VR人机交互训练设备用于向患者呈现与处方数据库中的训练处方数据匹配的虚拟现实训练场景以对患者进行沉浸式交互训练，并将患者的前臂在训练过程中形成的反馈数据发送至主机；
所述主机用于协调控制所述光学传感器、VR人机交互训练设备及处方数据库，并进行数据处理，包括：
建模单元，用于将光学传感器发送的患者前臂的静态图像数据进行前臂3D建模；
评估单元，用于依据3D建模后的前臂模型数据和光学传感器发送的初次评估时患者前臂的运动图像数据生成初始旋转能力等级评估数据并进行存储；还用于接收VR人机交互训练设备发送的患者前臂在训练过程中的反馈数据和光学传感器发送的训练过程中患者前臂的运动图像数据，所述评估单元内设置有深度学习单元，所述深度学习单元依据该反馈数据、运动图像数据和处方数据库中已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库；
匹配单元，用于在患者首次训练时，依据初始旋转能力等级评估数据从处方数据库调取匹配的预设训练处方数据，并发送至VR人机交互训练设备；
还用于该患者在非首次训练时，直接依据上一次训练完成后经过深度学习单元生成的再次旋转能力等级评估数据从处方数据库调取匹配的等级训练处方数据，并发送至VR人机交互训练设备。
2.根据权利要求1所述的系统，其特征在于，所述光学传感器为深度摄像头或者红外线摄像头。
3.根据权利要求1所述的系统，其特征在于，所述患者前臂的旋转能力等级评估数据包括前臂内外旋转时的关节活动度等级和前臂的肌力等级；
所述训练处方数据包括与关节活动度等级对应的前臂旋转角度范围，与肌力等级对应的平衡保持时间、平衡保持次数及单次训练的总时间；
所述VR人机交互训练设备用于向患者呈现的训练场景为跷跷板游戏场景；
所述训练处方数据中前臂旋转角度范围对应游戏场景中跷跷板的旋转角度范围；
所述训练处方数据中前臂的平衡保持时间对应游戏场景中的跷跷板平衡保持时间，平衡保持次数对应单次游戏中跷跷板平衡保持次数，单次训练的总时间对应单次游戏的总限制时间。
4.根据权利要求1所述的系统，其特征在于，所述初次评估时患者前臂的运动图像数据是患者第一次训练时根据提示作出的至少一组相应的前臂内外旋动作被光学传感器扫描所得。
5.根据权利要求1所述的系统，其特征在于，所述反馈数据包括VR人机交互训练设备训练场景中的游戏任务完成时间、游戏任务完成率。
6.根据权利要求1所述的系统，其特征在于，所述预设训练处方数据是医生根据临床病例而预先设置的训练数据。
7.一种基于VR的前臂内外旋转训练评估方法，其特征在于，包括下述步骤：
S10，光学传感器扫描放入其可视范围内的患者前臂，扫描成功后得到患者前臂的静态图像数据并传送至主机；
S20，主机依据所述患者前臂的静态图像数据，经过图像识别算法得到患者前臂的大小、初始姿态以及位置信息，并对该患者的前臂进行3D建模；
S30，判断是否为首次训练，如为首次训练，则进入初次评估场景，提示患者在光学传感器的可视范围内做几组前臂内外旋动作而扫描得到患者前臂的运动图像数据，主机依据该运动图像数据经过图像识别算法和数据融合算法生成初始旋转能力等级评估数据，如为非首次训练，则直接获取上一次训练评估后生成的再次旋转能力等级评估数据；
S40，依据所述初始旋转能力等级评估数据或再次旋转能力等级评估数据，从处方数据库里获取匹配的训练处方数据，并发送至VR人机交互训练设备；
S50，VR人机交互训练设备根据步骤S40匹配得到的训练处方数据提供对应难度的虚拟现实沉浸和交互游戏场景，患者根据提示进行前臂康复训练动作，VR人机交互训练设备在训练过程中形成反馈数据及光学传感器在训练过程中扫描得到患者前臂的运动图像数据并发送至主机；
S60，训练完成后，主机根据步骤S50的反馈数据和运动图像数据，并结合处方数据库中已有的训练处方数据经过深度学习后生成再次旋转能力等级评估数据并存入处方数据库，该再次旋转能力等级评估数据在处方数据库中对应新的等级训练处方数据，从而形成该患者的下一次训练处方数据，将训练与评估形成闭环。
8.根据权利要求7所述的方法，其特征在于，所述获取患者前臂的运动图像数据时，包括下述步骤：
通过图像识别算法确定患者前臂中心；
以前臂为中立位时手掌和肘关节向正前方，这时将拇指向前的旋转动作是旋前，即前臂内旋；
以前臂为中立位时手掌和肘关节向正后方，这时将拇指向后的旋转动作是旋后，即前臂外旋；
所述图像识别算法包括图像采集、图像预处理、特征提取及图像识别。
9.根据权利要求7所述的方法，其特征在于，所述患者前臂的初始旋转能力等级评估数据及再次旋转能力等级评估数据采用精细化评估模型进行评估，所述精细化评估模型的形成步骤包括：
获取N个临床病例前臂在康复前、中、后的表现数据，所述表现数据包括图像数据和文字数据；
通过图像识别算法和数据融合算法获取表现数据中的关键评定指标，所述关键评定指标包括动力指标，运动指标、平衡指标、任务指标；
依据所述关键评定指标对前臂内外旋转能力按等级分级；
将所述前臂内外旋转能力等级输入至神经网络进行学习训练而输出所述精细化评估模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被执行时实现如权利要求7-9任一项所述的方法。
CN201911113190.7A 2019-11-14 2019-11-14 基于vr的前臂内外旋转训练评估系统、方法及存储介质 Active CN110812798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113190.7A CN110812798B (zh) 2019-11-14 2019-11-14 基于vr的前臂内外旋转训练评估系统、方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113190.7A CN110812798B (zh) 2019-11-14 2019-11-14 基于vr的前臂内外旋转训练评估系统、方法及存储介质

Publications (2)

Publication Number Publication Date
CN110812798A CN110812798A (zh) 2020-02-21
CN110812798B true CN110812798B (zh) 2021-03-09

Family

ID=69555148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113190.7A Active CN110812798B (zh) 2019-11-14 2019-11-14 基于vr的前臂内外旋转训练评估系统、方法及存储介质

Country Status (1)

Country Link
CN (1) CN110812798B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111939529B (zh) * 2020-08-25 2021-10-01 山东大学齐鲁医院 一种基于肌力测量装置的主动式康复训练方法、系统
CN112309578B (zh) * 2020-11-03 2021-06-15 南通市第一人民医院 一种提高骨质疏松性椎体骨折患者康复效率的方法及系统
CN113391701B (zh) * 2021-06-15 2021-12-07 国家康复辅具研究中心 一种融合虚拟现实游戏和意图识别的康复训练方法及系统
CN113712791B (zh) * 2021-08-28 2024-02-02 安徽工业大学 基于立体视觉的视力矫正系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105536205A (zh) * 2015-12-08 2016-05-04 天津大学 一种基于单目视频人体动作感知的上肢训练系统
CN107349570A (zh) * 2017-06-02 2017-11-17 南京邮电大学 基于Kinect的上肢康复训练与评估方法
KR101949033B1 (ko) * 2017-09-20 2019-02-18 순천향대학교 산학협력단 가상현실과 햅틱 기반의 재활 치료 시스템 및 방법
CN108091392A (zh) * 2017-12-29 2018-05-29 北京倍肯恒业科技发展股份有限公司 一种诊疗一体化的物理治疗装置
CN110215676A (zh) * 2019-06-17 2019-09-10 上海大学 一种上肢双臂康复训练人机交互方法和系统

Also Published As

Publication number Publication date
CN110812798A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
CN110812798B (zh) 基于vr的前臂内外旋转训练评估系统、方法及存储介质
JP6952713B2 (ja) 反射を利用する拡張現実システムおよび方法
CN104524742A (zh) 一种基于Kinect传感器的脑瘫儿童康复训练方法
US20130198625A1 (en) System For Generating Haptic Feedback and Receiving User Inputs
Dawson et al. Myoelectric training systems
US20030120183A1 (en) Assistive clothing
WO2023087954A1 (zh) 一种脑卒中患者上肢康复训练系统
CN110404243A (zh) 一种基于体态测量的康复方法及康复系统
Hu et al. Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN112114676A (zh) 一种vr游戏信息处理系统
CN112221107A (zh) 一种智能健身镜控制方法及智能健身镜
CN110415783A (zh) 一种基于体感的作业疗法康复方法
WO2022034771A1 (ja) プログラム、方法、情報処理装置
JP6884306B1 (ja) システム、方法、情報処理装置
Yan Construction and Application of Virtual Reality‐Based Sports Rehabilitation Training Program
CN112230777A (zh) 一种基于非接触式交互的认知训练系统
CN116525061B (zh) 一种基于远程人体姿态评估的训练监控方法及系统
CN110227249A (zh) 一种上肢训练系统
Fraiwan et al. Therapy central: On the development of computer games for physiotherapy
CN108969864A (zh) 基于vr技术的抑郁症康复治疗装置及其使用方法
JP2022187952A (ja) プログラム、方法、情報処理装置
Yasmin Virtual Reality and Assistive Technologies: A Survey.
Tadayon A person-centric design framework for at-home motor learning in serious games
KR102666604B1 (ko) 메타버스 기반 골프 훈련 시스템
CN109887572A (zh) 一种平衡功能训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant