CN109350923A - 一种基于vr及多体位传感器的上肢康复训练系统 - Google Patents

一种基于vr及多体位传感器的上肢康复训练系统 Download PDF

Info

Publication number
CN109350923A
CN109350923A CN201811248656.XA CN201811248656A CN109350923A CN 109350923 A CN109350923 A CN 109350923A CN 201811248656 A CN201811248656 A CN 201811248656A CN 109350923 A CN109350923 A CN 109350923A
Authority
CN
China
Prior art keywords
data
rehabilitation
training
sensor
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811248656.XA
Other languages
English (en)
Other versions
CN109350923B (zh
Inventor
李候
刘昊
李冠呈
吕鑫
王道臣
常远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Machinery Equipment Research Institute
Original Assignee
Beijing Machinery Equipment Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Machinery Equipment Research Institute filed Critical Beijing Machinery Equipment Research Institute
Priority to CN201811248656.XA priority Critical patent/CN109350923B/zh
Publication of CN109350923A publication Critical patent/CN109350923A/zh
Application granted granted Critical
Publication of CN109350923B publication Critical patent/CN109350923B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/1245—Primarily by articulating the shoulder joint
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/1281—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles primarily by articulating the elbow joint
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/14—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for wrist joints
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658—Position or arrangement of display
    • A63B2071/0661—Position or arrangement of display arranged on the user
    • A63B2071/0666—Position or arrangement of display arranged on the user worn on the head or face, e.g. combined with goggles or glasses
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/803—Motion sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明涉及一种基于VR及多体位传感器的上肢康复训练系统，属于医疗康复技术领域，解决了现有上肢康复训练系统，缺乏训练手指部位，康复场景不真实以及肢体运动传感器对人体有束缚的问题。包括：VR眼镜，用于显示虚拟康复场景；体感设备，用于采集人体上肢运动数据；传感器，用于采集人体手指运动数据；处理终端，对获取到的人体上肢运动数据和人体手指运动数据进行融合处理，并根据处理后的数据进行虚拟场景运动训练及康复评价。本发明可以在无传感器束缚的状态下量化上肢康复指标，虚拟映射整个用户的上肢运动数据，特别是复现手指的运动状态，使得整个康复训练更加实用、有趣和真实，填补了基于VR的上肢康复训练系统的空白。

Description

一种基于VR及多体位传感器的上肢康复训练系统
技术领域
本发明涉及医疗康复技术领域，尤其涉及一种基于VR及多体位传感器的上肢康复训练系统。
背景技术
随着社会的发展，人类的活动愈加频繁，工作、交通、疾病等因素使得肢体损伤呈上升趋势。据中国残联公布的一项统计数字显示，目前，中国有6000多万残疾人，其中肢体残疾达877万人。另外，每年由脑动脉梗塞与破裂出血而引起的偏瘫，大约数十万残疾后遗症的病人，丧失肢体运动肌的功能。为这一庞大的偏瘫残疾群体，提供有效的康复治疗手段，是广大医护工作者和科技工作者面临的急待解决的任务。
肢体损伤通常会导致功能障碍甚至缺失，传统方法是利用手术进行治疗，而现在医生普遍认识到，手术仅为功能重建的开始，如果想要恢复肢体机能还必须进行科学的功能训练或在医生指导下进行家庭康复训练，因此，康复训练在肢体功能修复与重建中具有重要的作用。
日本岐阜大学的Ueki等研制了基于虚拟现实的多自由度手功能康复训练机器人系统。如图1所示，该系统共有18个自由度，包括拇指、其他四指、腕关节以及上臂。为提高康复训练效率，该康复系统建立了基于虚拟现实技术的可视化人机交互模式，并根据临床医生的需求设4种针对性的训练(猜拳游戏、抓捏水果、浇注运动、按球弹琴)。每种训练都综合声音指导、得分反应、状态监控、数据记录等，可以根据患者的训练程度给予一定的指导和鼓励，提高训练的趣味性和有效性。同时，患者可以使用双边康复数据手套，通过健康手指的运动控制驱动患指，实现实时交互的位置和力觉信息。系统设计了多个虚拟场景以适应不同患者的爱好和兴趣，但整个系统庞大繁杂，造价较高，便携性差，且无法根据患者的康复情况设置训练的难易程度。
加拿大渥太华大学研发具有触觉反馈数据手套(Cyber-Force)的康复训练系统。如图2所示，该系统的数据手套具有触摸物体的触觉反馈装置，能增强患者对虚拟环境的真实体验，并根据患者的康复程度设计不同难度的虚拟训练环境。①置物架训练：患者调节患侧手控制虚拟手把不同形状的杯子、碗等摆放到双层置物架上。②倒茶训练：患者操控数据手套将茶壶中的水准确倒入水杯中，也可以举起茶杯离开茶托。③盛汤与食物训练：两种训练方式比较类似，把碗中的流食或是不同形状的固体食物盛入勺中。每种训练模式都可以根据患者的具体情况设置难易等级，并经后期临床分析验证，从而证实了系统训练的有效性。但该系统的力反馈数据手套价格昂贵，且无对虚拟场景与物体的渲染，使得整个模拟训练过于简单枯燥，且无法对人体手指关节进行映射和训练。
综上，现有的人体上肢康复训练系统，虽然实现了娱乐式的交互训练过程，但虚拟现实技术在康复领域中的应用还存在很多不足：①没有将人体整个上肢映射到游戏中去；②缺乏针对手指关节的训练；③虚拟场景的三维效果不佳，搭建的虚拟元素比较单薄，患者的沉浸感不强；④肢体运动传感器对人体有束缚。
发明内容
鉴于上述的分析，本发明旨在提供一种基于VR及多体位传感器的上肢康复训练系统，用以解决现有上肢康复训练系统，缺乏训练最关键的手指部位，康复场景不真实以及肢体运动传感器对人体有束缚的问题。
本发明的目的主要是通过以下技术方案实现的：
提供了一种基于VR及多体位传感器的上肢康复训练系统，包括：处理终端、VR眼镜、体感设备、传感器；
所述VR眼镜、体感设备、传感器分别与所述处理终端连接；
所述体感设备用于采集人体上肢运动数据，并实时发送到所述处理终端；所述传感器用于采集人体手指运动数据，并实时发送到所述处理终端；所述处理终端，对获取到的人体上肢运动数据和人体手指运动数据进行融合处理，并根据处理后的数据进行虚拟康复场景运动训练及康复评价；所述VR眼镜用于显示虚拟康复场景。
本发明有益效果如下：本发明提供了一种基于VR及多体位传感器的上肢康复训练系统，能够无传感器束缚的状态下量化上肢康复指标，虚拟映射整个用户的上肢运动数据，特别是复现手指的运动状态，使得整个康复训练更加实用、有趣和真实，用户的沉浸感强、互动性好，填补了基于VR的上肢康复训练系统的空白，同时，本系统造价低、便于携带，可以为医疗康复、虚拟交互、全民健身等方面提供大力帮助。
在上述方案的基础上，本发明还做了如下改进：
进一步，所述传感器正面朝外固定安装于所述VR眼镜上；所述体感设备固定安装在水平支架上。
进一步，所述处理终端包括：数据接收模块、数据融合模块、虚拟场景运动训练模块、康复评价模块；
所述数据接收模块，用于接收所述体感设备、传感器发送的数据，并传递给所述数据融合模块；
所述数据融合模块根据获取的数据，进行数据融合处理，得到上肢运动融合数据；
所述虚拟场景运动训练模块，将上肢运动融合数据映射到VR眼镜中，并对用户在虚拟康复场景中的训练行为进行评分；
所述康复评价模块，用于根据上肢运动融合数据，提取运动指标，进行康复评价。
进一步，所述进行数据融合处理，包括：将所述体感设备、传感器的坐标系进行统一，并将所述体感设备、传感器采集范围重叠部分的数据进行加权平均处理。
进一步，所述虚拟场景运动训练包括两种形式：
一是完成特定的规范动作，获取动作中的关节角度数据，对比实际运动角度与目标运动角度的差值；
二是完成娱乐性的游戏，获取完成的任务数以及完成时间。
进一步，所述对用户在虚拟康复场景中的训练行为进行评分包括两种形式：
一种是记录完成规范动作得分P1以及完成娱乐游戏得分P2；
另一种是将规范训练得分P1和游戏娱乐的得分P2以比例6:4的方式进行统分，场景训练结束后给出总分。
进一步，所述传感器通过无线发射器与所述处理终端连接；
进一步，所述采集的人体手指运动数据包括：手掌位置信息、指头长度、指头宽度、各个指头弯曲角度。
进一步，所述提取的运动指标包括：腕关节、肘关节和肩关节角度。
进一步，所述体感设备与VR眼镜距离在2-3.5m之间。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书、权利要求书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为日本岐阜大学的多自由度手功能康复训练机器人系统示意图；
图2为现有具有触觉反馈数据手套的康复训练系统示意图；
图3为本发明实施例中基于VR及多体位传感器的上肢康复训练系统硬件连接图；
图4为本发明实施例中基于VR及多体位传感器的上肢康复训练系统数据流程图；
图5为本发明实施例中Kinect传感器和Leap Motion传感器工作原理流程图；
图6为本发明实施例中Kinect传感器获取人体25个关节数据索引图；
图7为本发明实施例中Leap Motion传感器获取手部运动信息图；
图8为本发明实施例中Kinect传感器和Leap Motion传感器数据融合示意图；
图9为发明实施例中两个传感器坐标系进行统一示意图；
图10为本发明实施例中上肢规范运动示意图；
图11为本发明实施例中虚拟现实套环游戏训练场景。
附图标记：
1-处理终端、2-Oculus VR眼镜、3-Kinect V2体感设备、4-Leap Motion传感器、5-支架。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，公开了一种基于VR及多体位传感器的上肢康复训练系统，如图3所示，包括：处理终端、VR眼镜、体感设备、传感器；
VR眼镜、体感设备、传感器分别与处理终端连接；
体感设备用于采集人体上肢运动数据，并实时发送到处理终端；传感器用于采集人体手指运动数据，并实时发送到处理终端；处理终端，对获取到的人体上肢运动数据和人体手指运动数据进行融合处理，并根据处理后的数据进行虚拟康复场景运动训练及康复评价；VR眼镜用于显示虚拟康复场景。
实施时，将体感设备固定，传感器安装在VR眼镜上，将VR眼镜、体感设备、传感器、处理终端连接并初始化，患者佩戴VR眼镜，体感设备、传感器分别实时采集人体上肢运动数据和人体手指运动数据，处理终端对采集到的数据进行处理后，将得到的上肢运动融合数据一方面，投射到VR眼镜，用于在虚拟场景中进行运动训练，另一方面，进行患者康复评价。
与现有技术相比，本实施例提供的基于VR及多体位传感器的上肢康复训练系统，能够在无传感器束缚的状态下量化上肢康复指标，虚拟映射整个用户的上肢运动数据，特别是复现手指的运动状态，使得整个康复训练更加实用、有趣和真实，用户的沉浸感强、互动性好，填补了基于VR的上肢康复训练系统的空白，同时，本系统造价低、便于携带，可以为医疗康复、虚拟交互、全民健身等方面提供大力帮助。
需要说明的是，该训练系统中，VR眼镜可以选用多种具有虚拟场景展示的VR眼镜，传感器及体感设备均满足采集人体上肢及手指运动数据的功能；本实施例中采用OculusVR眼镜(或HTC vive VR眼镜)，传感器采用Leap Motion传感器，体感设备采用Kinect体感设备。
具体来说，为了达到最佳的数据采集及康复训练效果，在康复训练过程中，LeapMotion传感器正面朝外固定安装于Oculus VR眼镜上；Kinect体感设备固定安装在水平支架上，同时将Kinect体感设备中采集摄像区域覆盖用户的整个上肢区域，优选的，Kinect体感设备与Oculus VR眼镜距离在2-3.5m之间。
需要说明的是：Kinect体感设备、Leap Motion传感器、Oculus VR眼镜可以通过有线/无线的方式与处理终端连接，优选的，Oculus VR眼镜与Kinect体感设备均通过USB 3.0接口与处理终端连接，Leap Motion传感器通过无线发射器(如：蓝牙、WIFI)与处理终端进行数据传输；其中，处理终端可以电脑、手机、专用处理设备等具有数据处理能力的装置或部件。
在整个康复训练过程中，上肢康复训练系统数据的传递如图4所示，通过获取高精度数据并实现数据融合，将融合后的数据一方面映射到虚拟康复训练场景中，另一方面将符合康复指标的数据上传至数据库保存。具体地，
Kinect体感设备进行人体上肢识别、Leap Motion传感器进行手势识别，并进行运动跟踪，进而实现数据的实时采集。具体地，如图5所示，Kinect体感设备及Leap Motion传感器依据捕获的深度图像数据(指Kinect和Leap Motion在检测空间内得到的检测点到传感器的三维深度值)开展人体分割，将人体从背景中分离出来。然后，根据机器学习算法对人体部位进行分类，进而得到关节点的3D空间信息，实现骨骼跟踪功能；
Kinect体感设备、Leap Motion传感器进行数据实时采集，并实时发送到处理终端；采集的数据主要包括两方面数据：一是通过Kinect传感器采集到的人体上肢运动信息，包括图6上的点1，2，3，4，5，6，7，8，9，10，11，20，21，22，23，24共16个关节点的实时三维坐标数据(X,Y,Z)；二是Leap Motion检测的手指运动信息，如图7所示，包括手掌位置信息(X,Y,Z)、指头长度(L1)、指头宽度(L2)，以及各个指头弯曲角度(θ)。
处理终端接收到Kinect体感设备实时采集的上肢运动数据、Leap Motion实时采集的手指运动信息，进行数据融合处理，并根据得到的上肢运动融合数据进行虚拟康复场景运动训练及康复评价。
需要说明的是，处理终端包括：数据接收模块、数据融合模块、虚拟场景运动训练模块、康复评价模块；其中，
数据接收模块，用于接收Kinect体感设备、Leap Motion传感器发送的数据，并传递给所述数据融合模块；
数据融合模块，根据获取的数据，进行数据融合处理，得到上肢运动融合数据；
虚拟场景运动训练模块，将上肢运动融合数据映射到Oculus VR眼镜中，并对用户在虚拟康复场景中的训练行为进行评分；
康复评价模块，用于根据上肢运动融合数据，提取运动指标，进行康复评价。
需要强调的是，数据融合模块进行数据融合包括：将所述Kinect体感设备、LeapMotion传感器同一时刻采集的数据进行加权平均处理；具体地，如图8所示，将融合得到的数据分为三部分：
A：两设备采集范围重叠部分(Kinect体感设备测出掌心坐标与Leap Motion传感器测出掌心坐标)—采用两个传感器获取的数据；
B：仅Kinect体感设备采集数据(双臂运动信息)—采用Kinect体感设备获取的上肢运动数据；
C：仅Leap Motion传感器采集数据(手指运动信息)—采用Leap Motion传感器获取的手部运动数据；
进一步，针对于A部分数据，首先对两个传感器坐标系进行统一，如图9所示；然后对两个传感器采集的两种数据进行加权平均处理；具体地：
两个传感器坐标系之间的转换关系如下：
式中，(X,Y,Z)T为Kinect体感设备下测量的坐标值，(X′,Y′,Z′)T为Leap Motion传感器下测量的坐标值，R为旋转矩阵，μ表示尺度参数(本实施例中取值为1)，(Δx,Δy,Δz)T表示平移参数。
旋转矩阵可以表示为：
求解转换参数(旋转矩阵和平移参数)，需提供两套坐标的公共点：
(Xi,Yi,Zi)、(X′i,Y′i,Z′i)i＝1,2,… 3
为方便计算，对所用到的坐标进行重心化处理，将两坐标系的公共点的坐标均划算成以重心为原点的重心化坐标其中，两个坐标系的重心坐标为(XR,YR,ZR)、(X′R,Y′R,Z′R)；
将上述重心化后的公共点坐标带入上述转换关系式，可求得转换参数：
示例性的，取Kinect体感设备测量点7,21,22和Leap Motion传感器测量的相同位置数据的两套公共点坐标，通过上式分别求出旋转矩阵R和平移参数(Δx,Δy,Δz)T。
坐标统一完成后，即可对两种传感器数据进行融合，不重叠的数据各自采用各自数据，相重叠的则进行加权平均。
通过上述得到的融合后的人体上肢运动融合数据，一方面用于虚拟场景运动训练；另一方面用于康复评价。
对于虚拟场景运动训练：通过Oculus VR眼镜显示整个虚拟康复场景，将上肢运动融合数据映射到Oculus VR眼镜中；通过虚拟场景运动训练模块、Oculus VR眼镜设定不同游戏场景和重现动作影像，使得患者达到很好的沉浸式虚拟现实的操作感受，帮助患者更好的进行康复训练。
虚拟场景运动训练包括两种形式，如图10所示，一是完成特定的规范动作，获取动作中的关节角度数据，对比实际运动角度与目标运动角度的差值；二是完成娱乐性的游戏(如：套环游戏(如图11所示)、猜拳游戏、抓捏水果、浇注运动等)，获取完成的任务数以及完成时间。
进一步，对用户在虚拟康复场景中的训练行为进行评分，以便获取患者的康复状态信息，并适应性的调节虚拟游戏的难易程度；评分包括两种形式：一种是记录完成规范动作得分P1以及完成娱乐游戏得分P2；另一种是将规范训练得分P1和游戏娱乐的得分P2以比例6:4的方式进行统分，场景训练结束后给出总分。
对于康复评价：利用算法提取运动指标，依照医学标准进行康复评价，其中，提取的运动指标包括：腕关节、肘关节和肩关节角度。例外，还可以对人体上肢运动融合数据进行筛选，将有用的数据上传到数据库保存，以便进行患者康复期间的数据分析，并针对性的制定康复计划，提高康复效果。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于VR及多体位传感器的上肢康复训练系统，其特征在于，包括：处理终端、VR眼镜、体感设备、传感器；
所述VR眼镜、体感设备、传感器分别与所述处理终端连接；
所述体感设备用于实时采集人体上肢运动数据，并发送到所述处理终端；所述传感器用于实时采集人体手指运动数据，并发送到所述处理终端；所述处理终端，对获取到的人体上肢运动数据和人体手指运动数据进行融合处理，并根据处理后的数据进行虚拟康复场景运动训练及康复评价；所述VR眼镜用于显示虚拟康复场景。
2.根据权利要求1所述的系统，其特征在于，所述传感器正面朝外固定安装于所述VR眼镜上；所述体感设备固定安装在水平支架上。
3.根据权利要求1或2所述的系统，其特征在于，所述处理终端包括：数据接收模块、数据融合模块、虚拟场景运动训练模块、康复评价模块；
所述数据接收模块，用于接收所述体感设备、传感器发送的数据，并传递给所述数据融合模块；
所述数据融合模块根据获取的数据，进行数据融合处理，得到上肢运动融合数据；
所述虚拟场景运动训练模块，将上肢运动融合数据映射到VR眼镜中，并对用户在虚拟康复场景中的训练行为进行评分；
所述康复评价模块，用于根据上肢运动融合数据，提取运动指标，进行康复评价。
4.根据权利要求3所述的系统，其特征在于，所述进行数据融合处理，包括：将所述体感设备、传感器的坐标系进行统一，并将所述体感设备、传感器采集范围重叠部分的数据进行加权平均处理。
5.根据权利要求4所述的系统，其特征在于，所述虚拟场景运动训练包括两种形式：
一是完成特定的规范动作，获取动作中的关节角度数据，对比实际运动角度与目标运动角度的差值；
二是完成娱乐性的游戏，获取完成的任务数以及完成时间。
6.根据权利要求5所述的系统，其特征在于，所述对用户在虚拟康复场景中的训练行为进行评分包括两种形式：
一种是记录完成规范动作得分P1以及完成娱乐游戏得分P2；
另一种是将规范训练得分P1和游戏娱乐的得分P2以比例6:4的方式进行统分，场景训练结束后给出总分。
7.根据权利要求6所述的系统，其特征在于，所述传感器通过无线发射器与所述处理终端连接。
8.根据权利要求7所述的系统，其特征在于，所述采集的人体手指运动数据包括：手掌位置信息、指头长度、指头宽度、各个指头弯曲角度。
9.根据权利要求8所述的系统，其特征在于，所述提取的运动指标包括：腕关节、肘关节和肩关节角度。
10.根据权利要求9所述的系统，其特征在于，所述体感设备与VR眼镜距离在2-3.5m之间。
CN201811248656.XA 2018-10-25 2018-10-25 一种基于vr及多体位传感器的上肢康复训练系统 Active CN109350923B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811248656.XA CN109350923B (zh) 2018-10-25 2018-10-25 一种基于vr及多体位传感器的上肢康复训练系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811248656.XA CN109350923B (zh) 2018-10-25 2018-10-25 一种基于vr及多体位传感器的上肢康复训练系统

Publications (2)

Publication Number Publication Date
CN109350923A true CN109350923A (zh) 2019-02-19
CN109350923B CN109350923B (zh) 2021-06-01

Family

ID=65346558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811248656.XA Active CN109350923B (zh) 2018-10-25 2018-10-25 一种基于vr及多体位传感器的上肢康复训练系统

Country Status (1)

Country Link
CN (1) CN109350923B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110115586A (zh) * 2019-05-13 2019-08-13 中山大学附属第一医院 一种实景自动追踪的康复训练体感记录仪和方法
CN110232963A (zh) * 2019-05-06 2019-09-13 中山大学附属第一医院 一种基于立体显示技术的上肢运动功能评估系统及方法
CN110478860A (zh) * 2019-09-02 2019-11-22 燕山大学 基于手物自然交互的手部功能障碍虚拟康复系统
CN110755083A (zh) * 2019-10-21 2020-02-07 广东省人民医院(广东省医学科学院) 一种基于虚拟现实的康复训练方法和运动评估设备
CN111312363A (zh) * 2020-02-28 2020-06-19 暨南大学 一种基于虚拟现实的双手协调性增强系统
CN112138358A (zh) * 2020-09-23 2020-12-29 北京幻威科技有限公司 Vr冬奥雪上项目科普体验系统
CN112617810A (zh) * 2021-01-04 2021-04-09 重庆大学 一种抑制上肢肩肘康复代偿的虚拟场景参数自适应方法
CN112951409A (zh) * 2021-02-05 2021-06-11 复旦大学 一种基于Kinect交互和虚拟现实的偏瘫患者康复系统
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统
CN113274612A (zh) * 2021-04-16 2021-08-20 顺德职业技术学院 手部康复体感vr互动装置
CN113546376A (zh) * 2021-07-12 2021-10-26 江苏强美医疗科技有限公司 一种用于骨科患者的上肢康复训练系统
CN113758506A (zh) * 2021-08-31 2021-12-07 天津大学 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法
CN114042296A (zh) * 2021-09-22 2022-02-15 广州医科大学附属第一医院（广州呼吸中心） 一种用于肺部手术患者康复的智能训练系统
CN114367086A (zh) * 2021-12-31 2022-04-19 华南理工大学 一种下肢康复训练游戏系统
WO2022105715A1 (zh) * 2020-11-18 2022-05-27 华为技术有限公司 一种体感交互方法及电子设备
CN114917534A (zh) * 2022-06-22 2022-08-19 河南中医药大学第一附属医院 光学引导康复训练装置及其训练方法
CN115862810A (zh) * 2023-02-24 2023-03-28 深圳市铱硙医疗科技有限公司 具有量化评估功能的vr康复训练方法及系统
CN117148977A (zh) * 2023-09-05 2023-12-01 深圳市花生数字多媒体有限公司 一种基于虚拟现实的运动康复训练方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203271A (zh) * 2017-06-08 2017-09-26 华南理工大学 基于多传感器融合技术的双手识别方法
CN107349570A (zh) * 2017-06-02 2017-11-17 南京邮电大学 基于Kinect的上肢康复训练与评估方法
CN107422852A (zh) * 2017-06-27 2017-12-01 掣京机器人科技（上海）有限公司 手功能康复训练评估方法和系统
CN107789803A (zh) * 2017-10-31 2018-03-13 深圳先进技术研究院 一种脑卒中上肢康复训练方法和系统
US20180184948A1 (en) * 2016-12-30 2018-07-05 Mindmaze Holding Sa System, method and apparatus for diagnosis and therapy of neuromuscular or neurological deficits

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180184948A1 (en) * 2016-12-30 2018-07-05 Mindmaze Holding Sa System, method and apparatus for diagnosis and therapy of neuromuscular or neurological deficits
CN107349570A (zh) * 2017-06-02 2017-11-17 南京邮电大学 基于Kinect的上肢康复训练与评估方法
CN107203271A (zh) * 2017-06-08 2017-09-26 华南理工大学 基于多传感器融合技术的双手识别方法
CN107422852A (zh) * 2017-06-27 2017-12-01 掣京机器人科技（上海）有限公司 手功能康复训练评估方法和系统
CN107789803A (zh) * 2017-10-31 2018-03-13 深圳先进技术研究院 一种脑卒中上肢康复训练方法和系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232963B (zh) * 2019-05-06 2021-09-07 中山大学附属第一医院 一种基于立体显示技术的上肢运动功能评估系统及方法
CN110232963A (zh) * 2019-05-06 2019-09-13 中山大学附属第一医院 一种基于立体显示技术的上肢运动功能评估系统及方法
CN110115586A (zh) * 2019-05-13 2019-08-13 中山大学附属第一医院 一种实景自动追踪的康复训练体感记录仪和方法
CN110478860A (zh) * 2019-09-02 2019-11-22 燕山大学 基于手物自然交互的手部功能障碍虚拟康复系统
CN110755083A (zh) * 2019-10-21 2020-02-07 广东省人民医院(广东省医学科学院) 一种基于虚拟现实的康复训练方法和运动评估设备
CN111312363A (zh) * 2020-02-28 2020-06-19 暨南大学 一种基于虚拟现实的双手协调性增强系统
CN111312363B (zh) * 2020-02-28 2024-03-19 暨南大学 一种基于虚拟现实的双手协调性增强系统
CN112138358A (zh) * 2020-09-23 2020-12-29 北京幻威科技有限公司 Vr冬奥雪上项目科普体验系统
WO2022105715A1 (zh) * 2020-11-18 2022-05-27 华为技术有限公司 一种体感交互方法及电子设备
CN112617810A (zh) * 2021-01-04 2021-04-09 重庆大学 一种抑制上肢肩肘康复代偿的虚拟场景参数自适应方法
CN112951409A (zh) * 2021-02-05 2021-06-11 复旦大学 一种基于Kinect交互和虚拟现实的偏瘫患者康复系统
CN113181619A (zh) * 2021-04-09 2021-07-30 青岛小鸟看看科技有限公司 一种运动训练方法、装置和系统
US11872468B2 (en) 2021-04-09 2024-01-16 Qingdao Pico Technology Co., Ltd. Sport training method and system and head-mounted VR device
CN113274612A (zh) * 2021-04-16 2021-08-20 顺德职业技术学院 手部康复体感vr互动装置
CN113546376A (zh) * 2021-07-12 2021-10-26 江苏强美医疗科技有限公司 一种用于骨科患者的上肢康复训练系统
CN113758506A (zh) * 2021-08-31 2021-12-07 天津大学 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法
CN113758506B (zh) * 2021-08-31 2023-09-12 天津大学 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法
CN114042296A (zh) * 2021-09-22 2022-02-15 广州医科大学附属第一医院（广州呼吸中心） 一种用于肺部手术患者康复的智能训练系统
CN114367086A (zh) * 2021-12-31 2022-04-19 华南理工大学 一种下肢康复训练游戏系统
CN114917534A (zh) * 2022-06-22 2022-08-19 河南中医药大学第一附属医院 光学引导康复训练装置及其训练方法
CN115862810A (zh) * 2023-02-24 2023-03-28 深圳市铱硙医疗科技有限公司 具有量化评估功能的vr康复训练方法及系统
CN115862810B (zh) * 2023-02-24 2023-10-17 深圳市铱硙医疗科技有限公司 具有量化评估功能的vr康复训练方法及系统
CN117148977A (zh) * 2023-09-05 2023-12-01 深圳市花生数字多媒体有限公司 一种基于虚拟现实的运动康复训练方法
CN117148977B (zh) * 2023-09-05 2024-05-03 深圳市万景数字有限公司 一种基于虚拟现实的运动康复训练方法

Also Published As

Publication number Publication date
CN109350923B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN109350923A (zh) 一种基于vr及多体位传感器的上肢康复训练系统
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
CN104274183B (zh) 动作信息处理装置
Mousavi Hondori et al. A spatial augmented reality rehab system for post-stroke hand rehabilitation
CN106420254A (zh) 多人交互虚拟现实康复训练与评估系统
CA2731775C (en) 3d monocular visual tracking therapy system for the rehabilitation of human upper limbs
JP6207510B2 (ja) ゴルフ・スイングを分析するための装置および方法
CN107789803B (zh) 一种脑卒中上肢康复训练方法和系统
CN108854034A (zh) 一种基于虚拟现实和惯性动捕的脑卒中康复训练系统
CN203149575U (zh) 一种基于微型传感器的交互式上肢康复设备
JP2017520336A (ja) 人体および物体運動への生体力学フィードバックを送達するための方法およびシステム
CN102567638A (zh) 一种基于微型传感器的交互式上肢康复系统
CN102525795A (zh) 一种足部按摩机器人快速自动定位方法
CN109199417A (zh) 一种用于运动康复治疗的增强现实方法及系统
CN107158659A (zh) 一种基于Kinect的游戏式远程上肢康复训练系统及方法
Abreu et al. Assessment of microsoft kinect in the monitoring and rehabilitation of stroke patients
TWI652039B (zh) Simple detection method and system for sarcopenia
CN110404243A (zh) 一种基于体态测量的康复方法及康复系统
Holmes et al. Usability and performance of Leap Motion and Oculus Rift for upper arm virtual reality stroke rehabilitation
CN110478860B (zh) 基于手物自然交互的手部功能障碍虚拟康复系统
JP2015123216A (ja) 移動運動状態表示装置、方法及びシステム並びにプログラム
TWI505228B (zh) 一種自主復健動作量化評估系統
Postolache et al. Virtual reality and augmented reality technologies for smart physical rehabilitation
Lee et al. Augmented reality game system design for stroke rehabilitation application
Fazeli et al. A virtual environment for hand motion analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant