CN106178427A - 一种基于多人交互虚拟现实的手功能训练与评估系统 - Google Patents

一种基于多人交互虚拟现实的手功能训练与评估系统 Download PDF

Info

Publication number
CN106178427A
CN106178427A CN201610739198.4A CN201610739198A CN106178427A CN 106178427 A CN106178427 A CN 106178427A CN 201610739198 A CN201610739198 A CN 201610739198A CN 106178427 A CN106178427 A CN 106178427A
Authority
CN
China
Prior art keywords
module
virtual reality
many people
mutual virtual
assessment system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610739198.4A
Other languages
English (en)
Inventor
樊天润
何雷
周俊
黄伟新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Qianjing Rehabilitation Co Ltd
Original Assignee
Changzhou Qianjing Rehabilitation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Qianjing Rehabilitation Co Ltd filed Critical Changzhou Qianjing Rehabilitation Co Ltd
Priority to CN201610739198.4A priority Critical patent/CN106178427A/zh
Publication of CN106178427A publication Critical patent/CN106178427A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A63B23/16—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles for hands or fingers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A63B2024/0096—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load using performance related parameters for controlling electronic or video games or avatars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/18—Inclination, slope or curvature
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/30—Speed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/40—Acceleration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/50—Force related parameters
    • A63B2220/56—Pressure
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/64—Frequency, e.g. of vibration oscillation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/805—Optical or opto-electronic sensors
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/83—Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836—Sensors arranged on the body of the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2250/00—Miscellaneous game characteristics
    • A63F2250/10—Miscellaneous game characteristics with measuring devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于多人交互虚拟现实的手功能训练与评估系统，包括电源模块，电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接；通过手部运动信息采集模块，实时记录多名手功能异常者的手部运动信息，经过分析与处理后，控制多人交互虚拟现实系统中对应的角色，实现多名手功能异常者在同一个虚拟现实场景中同时进行训练的功能，从而大大提升临床医生的工作效率；该系统可以实现多名手功能异常者实时交互，最大程度地促进其训练的愿望。

Description

一种基于多人交互虚拟现实的手功能训练与评估系统
技术领域
本发明涉及技术一种基于多人交互虚拟现实的手功能训练与评估系统，是一种结合多源传感器融合、多人交互虚拟现实的手功能训练与评估系统。
背景技术
近年来，脑卒中（脑梗塞或脑溢血）、帕金森病、小儿脑瘫、多发性硬化等疾病困扰着越来越多的人群。对于上述人群而言，通常存在运动功能、认知和意识、言语等方面的障碍，术后普遍需要进行长期的康复治疗、训练和指导。
其中，手部（包括手指和手腕）功能的康复是一项非常重要的内容，因为手部在日常生活中的参与程度要显著高于身体的其他部位。然而，由于手部处于神经系统的末端，从临床康复理论上分析，手功能的康复更为困难，且需要的康复周期更长。
传统的手功能训练与评估系统通常分为两类：被动模式和主动模式。被动模式通常利用一些康复机器人、牵引设备、抗阻设备等完成；主动模式通常利用康复手套、功能性电刺激、生物反馈、情景交互训练、虚拟现实等技术来完成。
目前，市面上推出手功能训练与评估系统的公司包括广州一康医疗设备实业有限公司、嘉兴恒怡科技有限公司等。然而，上述公司的产品主要存在以下几个不足：
第一、在同一时间内，系统仅能供一名手功能异常者使用，即“一对一”训练模式，致使效率无法进一步提升；
第二、多名手功能异常者只能采用分时、分设备进行训练，无法在同一个训练场景下进行竞争性训练，即无法进一步提升手功能异常者的训练愿望。
此外，现有手功能训练与评估系统大多依赖一种类型的传感器（如：图像类型、运动类型、压力类型等），在多源传感器信息融合方面还有很多欠缺和不足。
因此，有必要设计一种新的基于多人交互虚拟现实的手功能训练与评估系统，以解决上述技术问题。
发明内容
针对背景技术中存在的问题，本发明的目的是提供一种基于多人交互虚拟现实的手功能训练与评估系统，能够实现多名手功能异常者同时进行训练与评估，从而大大提升临床医生的工作效率。
本发明的技术方案是这样实现的：一种基于多人交互虚拟现实的手功能训练与评估系统，包括电源模块、主控制器模块、手部运动信息采集模块、信号传输模块、计算机、数据存储与管理模块、信号分析与处理模块、多人交互虚拟现实场景模块，其中，所述电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接。
在上述技术方案中，所述手部运动信息采集模块包含图像信息采集、运动信息采集和压力信息采集。
在上述技术方案中，所述图像信息采集使用摄像头和红外探测器，运动信息采集使用加速度、陀螺仪、磁力计和弯曲传感器，压力信息采集使用薄膜压力传感器和压电传感器。
在上述技术方案中，所述信号传输模块包含有线传输和无线传输。
在上述技术方案中，所述有线传输为串口通讯和USB通讯。
在上述技术方案中，所述无线传输为蓝牙、ZigBee、Wifi和433。
在上述技术方案中，所述信号分析与处理模块包括时域分析、频域分析和非线性分析。
在上述技术方案中，所述时域分析为手指、手腕的弯曲角度、运动速度、和压力大小，频域分析为能量、频率分布，非线性分析为复杂网络、熵、平滑度和随机度。
在上述技术方案中，所述数据存储与管理模块用于实现整个系统中的用户信息数据、传感器数据的存储与管理。
在上述技术方案中，所述数据存储包括本地存储和云存储，数据管理包括数据添加、删除、修改和查询的管理操作。
本发明基于多人交互虚拟现实的手功能训练与评估系统，该系统通过手部运动信息采集模块，实时记录多名手功能异常者的手部运动信息。经过信号分析与处理后，利用手部运动信息采集模块与多人交互虚拟现实场景模块间的交互接口控制多人交互虚拟现实系统中对应的角色，实现多名手功能异常者在同一个虚拟现实场景中同时进行训练的功能，从而大大提升临床医生的工作效率。同时，该系统可以实现多名手功能异常者的实时交互，通过引入社交网络的功能，能够最大程度地促进其训练的愿望。
附图说明
图1为基于多人交互虚拟现实的手功能训练与评估系统原理框图；
图2为多人交互虚拟现实场景之一示意图；
图3为对指运动示意图；
图4为多人交互虚拟现实场景之二示意图；
图5为抓握运动示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明所述的一种基于多人交互虚拟现实的手功能训练与评估系统，包括电源模块、主控制器模块、手部运动信息采集模块、信号传输模块、计算机、数据存储与管理模块、信号分析与处理模块、多人交互虚拟现实场景模块。
其中，所述电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接。
因此，该系统由硬件子系统和软件子系统两个部分组成。其中，硬件子系统包括主控制器模块、手部运动信息采集模块、信号传输模块、电源模块，用于实现手部运动信息的采集与传输；软件子系统包括信号分析与处理模块、多人交互虚拟现实场景、数据存储与管理模块用于实现信号的分析与处理、多人交互虚拟现实场景、数据存储与管理等。整个系统的工作步骤及数据流向详细描述如下：
（1）采集手功能异常者在执行手部运动过程中的手指和手腕运动信息；
根据手部运动信息采集模块工作原理的不同，手功能异常者与手部运动信息采集模块之间的交互方式也有所不同。例如：当手部运动信息采集模块选用图像类型，如摄像头或红外探测器时，手功能异常者的手部活动范围需要处于摄像头或红外探测器的有效工作范围内；当手部运动信息采集模块选用运动信息类型，如加速度、陀螺仪、磁力计、弯曲传感器等或压力类型如薄膜压力传感器、压电传感器等时，手功能异常者需要将手部运动信息采集模块佩戴在手部如手指、手腕、手背等。
（2）采集到的手指和手腕运动信息通过信号传输模块发送到计算机；
根据信号传输方式的不同，可以利用有线如串口通信、USB通信等或无线如Bluetooth、ZigBee、Wifi等传输协议。同时，由于需要实时、同步采集多名手功能异常者的手指和手腕运动信息，因此多个传感器源与计算机之间需要采用多点无线组网方式进行通信。
（3）在计算机端，信号分析与处理模块对采集到的传感器信息进行分析与处理，从而得出量化的手指和手腕运动特征；
具体的信号分析与处理方法包括但不局限于以下形式：时域分析（手指、手腕的弯曲角度、运动速度、压力大小等）、频域分析（能量、频率分布等）、非线性分析方法（复杂网络、熵、平滑度、随机度等）。
（4）利用上述步骤（3）中算出的手指和手腕运动特征来驱动、控制多人交互虚拟现实场景中对应的不同虚拟角色。
（5）数据存储与管理模块主要实现整个系统中数据，包括但不局限于用户信息数据、传感器数据等的存储与管理。数据存储包括但不局限于本地存储和云存储等形式，数据管理包括但不局限于数据添加、删除、修改、查询等管理操作。
上述步骤（4）中的多人交互虚拟现实场景主要功能是构建一个可以供多名手部功能异常者在同一场景下进行训练的场景，场景设计原则主要是模拟日常生活中的手部运动模式，包括但不局限于以下形式：抓握、对指、侧捏、手腕屈伸等。
以下结合附图2、图3、图4和图5对本发明进行具体实施方式进行分析：
实施案例一：
如图2所示，多人交互虚拟现实场景模拟大鱼吃小鱼场景，场景中共包含两个角色：A和B，即可供两名手功能异常者同时进行训练。手功能异常者需要完成的对指运动动作，如图3所示，即周期性地将拇指和食指相互靠近并接触。
手部运动信息采集模块采用运动类型，拇指和食指的运动采用弯曲传感器进行信号采集，采样频率为50Hz。手部运动信息采集模块与计算机之间采用ZigBee无线组网协议进行通信。信号分析与处理模块负责提取每次周期性对指运动过程中拇指和食指的弯曲角度，当超过一定的阈值时，即可认为完成一次有效的对指运动，从而驱动、控制虚拟现实场景中的大鱼（角色A或B）吃掉一个小鱼。两名手功能异常者需要在规定的时间内（例如：1分钟）尽可能多地有效完成对指运动，即控制大鱼尽可能多地吃掉小鱼。在游戏过程中，双方均可以实时地看到对方的运动情况。
实施案例二：
如图4所示，多人交互虚拟现实场景模拟摘苹果，场景中共包含四个角色：A、B、C和D，即可供四名手功能异常者同时进行训练。手功能异常者需要完成的抓握运动动作，如图5所示，即周期性地将四指并拢然后向手心聚集。
手部运动信息采集模块采用压力类型，抓握运动采用压力传感器进行信号采集，采样频率为50Hz。手部运动信息采集模块与计算机之间采用ZigBee无线组网协议进行通信。信号分析与处理模块负责提取每次周期性抓握运动过程中所产生的握力值，当超过一定的阈值时，即可认为完成一次有效的抓握运动，从而驱动、控制虚拟现实场景中的苹果掉落运动。四名手功能异常者需要在规定的时间内（例如：1分钟）尽可能多地有效完成抓握运动，即摘取尽可能多的苹果。在游戏过程中，每名手功能异常者均可以实时地看到其他人的实时运动情况。
本发明基于多人交互虚拟现实的手功能训练与评估系统，该系统通过手部运动信息采集模块，实时记录多名手功能异常者的手部运动信息。经过信号分析与处理后，利用手部运动信息采集模块与多人交互虚拟现实场景模块间的交互接口控制多人交互虚拟现实系统中对应的角色，实现多名手功能异常者在同一个虚拟现实场景中同时进行训练的功能，从而大大提升临床医生的工作效率。同时，该系统可以实现多名手功能异常者的实时交互，通过引入社交网络的功能，能够最大程度地促进其训练的愿望。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：包括电源模块、主控制器模块、手部运动信息采集模块、信号传输模块、计算机、数据存储与管理模块、信号分析与处理模块、多人交互虚拟现实场景模块，其中，所述电源模块与主控制器模块和手部运动信息采集模块连接，主控制器模块与手部运动信息采集模块连接，主控制器模块通过信号传输模块与计算机连接，数据存储与管理模块和信号分析与处理模块分别与计算机连接，多人交互虚拟现实场景模块与信号分析与处理模块连接。
2.根据权利要求1所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述手部运动信息采集模块包含图像信息采集、运动信息采集和压力信息采集。
3.根据权利要求2所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述图像信息采集使用摄像头和红外探测器，运动信息采集使用加速度、陀螺仪、磁力计和弯曲传感器，压力信息采集使用薄膜压力传感器和压电传感器。
4.根据权利要求1所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述信号传输模块包含有线传输和无线传输。
5.根据权利要求4所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述有线传输为串口通讯和USB通讯。
6.根据权利要求4所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述无线传输为蓝牙、ZigBee、Wifi和433。
7.根据权利要求1所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述信号分析与处理模块包括时域分析、频域分析和非线性分析。
8.根据权利要求7所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述时域分析为手指、手腕的弯曲角度、运动速度、和压力大小，频域分析为能量、频率分布，非线性分析为复杂网络、熵、平滑度和随机度。
9.根据权利要求1所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述数据存储与管理模块用于实现整个系统中的用户信息数据、传感器数据的存储与管理。
10.根据权利要求9所述的一种基于多人交互虚拟现实的手功能训练与评估系统，其特征在于：所述数据存储包括本地存储和云存储，数据管理包括数据添加、删除、修改和查询的管理操作。
CN201610739198.4A 2016-08-29 2016-08-29 一种基于多人交互虚拟现实的手功能训练与评估系统 Pending CN106178427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610739198.4A CN106178427A (zh) 2016-08-29 2016-08-29 一种基于多人交互虚拟现实的手功能训练与评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610739198.4A CN106178427A (zh) 2016-08-29 2016-08-29 一种基于多人交互虚拟现实的手功能训练与评估系统

Publications (1)

Publication Number Publication Date
CN106178427A true CN106178427A (zh) 2016-12-07

Family

ID=57526095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610739198.4A Pending CN106178427A (zh) 2016-08-29 2016-08-29 一种基于多人交互虚拟现实的手功能训练与评估系统

Country Status (1)

Country Link
CN (1) CN106178427A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106823349A (zh) * 2017-03-03 2017-06-13 吴田镕 一种竞赛展现装置
CN108388150A (zh) * 2018-04-11 2018-08-10 武汉灏存科技有限公司 基于数据手套的仿真模拟方法、装置、系统及存储介质
CN110211661A (zh) * 2019-06-05 2019-09-06 山东大学 基于混合现实的手功能训练系统及数据处理方法
CN111054044A (zh) * 2019-11-26 2020-04-24 福州佰旺医疗科技有限公司 基于虚拟现实技术的人体综合功能训练系统
WO2021062851A1 (zh) * 2019-09-30 2021-04-08 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的感觉统合失调测训系统
CN112999492A (zh) * 2021-04-22 2021-06-22 邹智 一种认知障碍康复训练系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6827579B2 (en) * 2000-11-16 2004-12-07 Rutgers, The State University Of Nj Method and apparatus for rehabilitation of neuromotor disorders
CN102138860A (zh) * 2011-01-10 2011-08-03 西安交通大学 一种智能化脑损伤患者手功能康复训练设备
CN103251419A (zh) * 2013-04-25 2013-08-21 西安交通大学苏州研究院 用于手功能康复训练与评估的数据手套及其监测方法
CN104258540A (zh) * 2014-10-15 2015-01-07 上海康龙宝康复器材科技有限公司 一种智能手功能康复装置
CN104898837A (zh) * 2015-05-22 2015-09-09 燕山大学 一种基于手势交互的便携式手部虚拟康复实验箱及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6827579B2 (en) * 2000-11-16 2004-12-07 Rutgers, The State University Of Nj Method and apparatus for rehabilitation of neuromotor disorders
CN102138860A (zh) * 2011-01-10 2011-08-03 西安交通大学 一种智能化脑损伤患者手功能康复训练设备
CN103251419A (zh) * 2013-04-25 2013-08-21 西安交通大学苏州研究院 用于手功能康复训练与评估的数据手套及其监测方法
CN104258540A (zh) * 2014-10-15 2015-01-07 上海康龙宝康复器材科技有限公司 一种智能手功能康复装置
CN104898837A (zh) * 2015-05-22 2015-09-09 燕山大学 一种基于手势交互的便携式手部虚拟康复实验箱及方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106823349A (zh) * 2017-03-03 2017-06-13 吴田镕 一种竞赛展现装置
CN106823349B (zh) * 2017-03-03 2022-05-06 吴田镕 一种竞赛展现装置
CN108388150A (zh) * 2018-04-11 2018-08-10 武汉灏存科技有限公司 基于数据手套的仿真模拟方法、装置、系统及存储介质
CN110211661A (zh) * 2019-06-05 2019-09-06 山东大学 基于混合现实的手功能训练系统及数据处理方法
CN110211661B (zh) * 2019-06-05 2021-05-28 山东大学 基于混合现实的手功能训练系统及数据处理方法
WO2021062851A1 (zh) * 2019-09-30 2021-04-08 浙江凡聚科技有限公司 基于虚拟现实视听觉通路的感觉统合失调测训系统
CN111054044A (zh) * 2019-11-26 2020-04-24 福州佰旺医疗科技有限公司 基于虚拟现实技术的人体综合功能训练系统
CN112999492A (zh) * 2021-04-22 2021-06-22 邹智 一种认知障碍康复训练系统及方法

Similar Documents

Publication Publication Date Title
CN106178427A (zh) 一种基于多人交互虚拟现实的手功能训练与评估系统
US10061389B2 (en) Gesture recognition system and gesture recognition method
CN104881118B (zh) 一种用于捕获人体上肢运动信息的穿戴系统
CN102512146A (zh) 一种人体日常行为信息物联网采集系统
CN108127669A (zh) 一种基于动作融合的机器人示教系统及实施方法
CN105963926A (zh) 多模态融合手功能康复训练与智能评估系统
CN104571837B (zh) 一种实现人机交互的方法及系统
WO2021004510A1 (zh) 基于传感器的分离式部署的人体行为识别健康管理系统
CN107688827A (zh) 一种基于用户日常行为特征的用户身份属性预测方法
Moore et al. Depth sensor-based in-home daily activity recognition and assessment system for stroke rehabilitation
CN203552178U (zh) 腕带式手部运动识别装置
Bandini et al. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment
CN110179470A (zh) 脑卒中患者运动功能及疲劳状态综合评估方法
CN202397452U (zh) 一种人体日常行为信息物联网采集装置
CN111259699A (zh) 一种人体动作识别和预测方法及装置
Saha et al. BandX: An intelligent IoT-band for human activity recognition based on TinyML
CN109801709A (zh) 一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统
CN106022466A (zh) 个性化机器人及其实现机器人个性化的方法
CN207888651U (zh) 一种基于动作融合的机器人示教系统
Jia Neural network in the application of EEG signal classification method
Li et al. A single smartwatch-based segmentation approach in human activity recognition
CN205905027U (zh) 一种机器人控制系统
Yashaswini et al. Stress detection using deep learning and IoT
Turetta et al. A freely available system for human activity recognition based on a low-cost body area network
CN108268088A (zh) 基于表面心肌信号的可穿戴交互系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161207

RJ01 Rejection of invention patent application after publication