CN110415357A - 一种基于虚拟现实和扩增实境的互动训练监控方法 - Google Patents
一种基于虚拟现实和扩增实境的互动训练监控方法 Download PDFInfo
- Publication number
- CN110415357A CN110415357A CN201910278122.XA CN201910278122A CN110415357A CN 110415357 A CN110415357 A CN 110415357A CN 201910278122 A CN201910278122 A CN 201910278122A CN 110415357 A CN110415357 A CN 110415357A
- Authority
- CN
- China
- Prior art keywords
- user
- training
- augmented reality
- virtual
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 46
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003993 interaction Effects 0.000 title claims abstract description 14
- 238000005516 engineering process Methods 0.000 claims abstract description 7
- 238000012544 monitoring process Methods 0.000 claims abstract description 6
- 239000011521 glass Substances 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 4
- 230000008921 facial expression Effects 0.000 claims description 3
- 230000036632 reaction speed Effects 0.000 claims description 3
- 230000036387 respiratory rate Effects 0.000 claims description 3
- 238000005452 bending Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 238000002630 speech therapy Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0669—Score-keepers or score display devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
- A63B2071/0638—Displaying moving images of recorded environment, e.g. virtual environment
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
- A63B2071/065—Visualisation of specific exercise parameters
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种基于虚拟现实和扩增实境的互动训练监控方法，包含以下步骤：A、系统连接全身动作镜头传感器和可携式生理回馈传感器；B、模式选择；C、系统通过3D建模技术产生相应场景模型及3D虚拟动画人物或转换为扩增实境模式，本发明的监控系统配合VR眼镜和能够捕捉使用者全身动作的镜头传感器，3D扫瞄技术把用户的面部和身体扫描进入康复及训练之中，生理回馈传感器，就可以在虚拟环境中进行治疗和训练，治疗师或导师可以就着使用者生理指标变化进行远程监测和控制，同时可转换到人工智能监测和控制，控制场景变化以加强治疗及训练成效，完毕后，系统会整理和分析治疗数据，做出评估报告，非常便利有效。
Description
技术领域
本发明涉及嵌入式技术领域，具体是一种基于虚拟现实和扩增实境的互动训练监控方法。
背景技术
传统的康复和训练主要以肢体、言语治疗等常规方法为主，康复和训练往往需要专业治疗师或导师在场的指导，基于治疗师或导师的手法操作和使用一些简单的辅助设备来恢复使用者的一定活动和协调能力等，通常一名专业治疗师或导师同时只能指导一人，造成了人力和物力资源的浪费。
许多时候在治疗和训练过程中也没有获得用户具体生理变化数据，训练强度和训练效果不易量化，主要靠治疗师或导师去评估状态，同时治疗训练过程相对单调，不容易引起用者的兴趣。这不利于治疗师或导师有效说明使用者调整训练的步骤和强度，影响康复和训练效率。尤其在康复进度，会给用户和所在家庭以及社会带来的持续的经济负担。故此，市场需要更有效和便利治疗师或导师和使用者的治疗和训练监控方法。
发明内容
本发明的目的在于提供一种基于虚拟现实和扩增实境的互动训练监控方法，以解决所述背景技术中提出的问题。
为实现所述目的，本发明提供如下技术方案：
一种基于虚拟现实和扩增实境的互动训练监控方法，包含以下步骤：
A、系统连接全身动作镜头传感器和可携式生理回馈传感器；
B、模式选择；
C、系统通过3D建模技术产生相应场景模型及3D虚拟动画人物或转换为扩增实境模式；
D、系统指示用户做一些评估动作，利用全身动作传感器，量度用户的基本身体数据；
E、使用者带上可携式生理回馈传感器通过蓝牙传输模块和系统连接，并戴上VR眼镜，进入虚拟环境中进行治疗和训练，系统开始监测和记录用户生理数据变化；
F、VR环境或扩增实境AR中的虚拟导师角色带领使用者作热身动作，治疗师或导师进行远程监测使用者的表现和生理指标变化，并实时改变场景，控制治疗和训练操作；
G、系统实时显示治疗或训练游戏中的分数和动作数据；
H、治疗或训练完毕后，系统从数据中分析出身体状况，对比过去表现报告，系统处理模块整理和分析整个疗程或训练数据并生成评估报告，同时系统自动储存记录并将分析结果传送到云端。
作为本发明的进一步技术方案：所述模式包括单人模式和多人模式。
作为本发明的进一步技术方案：首次使用时用户需输入个人资料和身体数据来分析使用者现况。
作为本发明的进一步技术方案：还包括可选程序B1：系统用全身动作传感器或手机来扫描用户面部和身体，并生成3D面部和身体图像，数据通过无线通信或蓝牙传送到系统，然后将之反映在康复及训练中使用者的虚拟角色脸上，来增加投入感，可选程序B1在步骤B之后进行。
作为本发明的进一步技术方案：所述用户的基本身体数据包括举手角度、弯腰角度、提腿角度和反应速度等。
作为本发明的进一步技术方案：所述用户生理数据包括心跳、呼吸率、心率变异分析、面部表情、身体动作和手指动作。
作为本发明的进一步技术方案：所述身体状况包括平衡力、关节活动度、柔软度、敏捷度和耐力。
与现有技术相比，本发明的有益效果是：本发明的监控系统配合VR眼镜和能够捕捉使用者全身动作的镜头传感器，3D扫瞄技术把用户的面部和身体扫描进入康复及训练之中，生理回馈传感器，就可以在虚拟环境中进行治疗和训练，治疗师或导师可以就着使用者生理指标变化进行远程监测和控制，同时可转换到人工智能监测和控制，控制场景变化以加强治疗及训练成效，完毕后，系统会整理和分析治疗数据，做出评估报告，非常便利有效。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：一种基于虚拟现实和扩增实境的互动训练监控方法，包含以下步骤：
A、启动程序，系统连接全身动作镜头传感器和可携式生理回馈传感器；
B、可选择‘单人’或 ‘多人’模式，首次用户需输入个人资料与身体数据和设定一些问题来分析使用者现况；
C、系统通过3D建模技术产生相应场景模型及3D虚拟动画人物，同时也可转换扩增实境模式 ；
D、系统会指示用户做一些评估动作，利用全身动作传感器，量度用户的基本身体数据(例如： 举手、弯腰及提腿角度、反应速度等)并作初步评估；
E、使用者带上可携式生理回馈传感器通过蓝牙传输模块和系统连接，并戴上VR眼镜，便可进入虚拟环境中进行治疗和训练。系统会开始监测和记录用户生理数据变化，包括心跳、呼吸率、心率变异分析、面部表情，身体动作，手指动作等等；
F、VR环境或扩增实境AR中的虚拟‘导师’角色会先带领使用者作热身动作。系统备有针对不同身体部位的治疗或训练游戏供治疗师，导师或使用者选择，亦可以选择不同的训练强度或难度级数和虚拟现实训练场景；
G、治疗师或导师可以进行远程监测使用者的表现和生理指标变化，并实时改变场景，控制治疗和训练操作，并有配以指示模块以指示用户进行特定的训练内容，亦能够加入不同音乐以深化治疗和训练效果。同时可转换到人工智能监测和控制，控制场景变化以加强治疗及训练成效和节省人力资源；
H、系统实时显示治疗或训练游戏中的分数和动作数据 (例如： 身体反应时间、肢体和关节活动角度、伸展度、动作完成程度等)，整个疗程数据会被记录；
I、治疗或训练完毕后，系统会从数据中分析出身体状况 (例如： 平衡力、关节活动度、柔软度、敏捷度、耐力等)，可对比过去表现报告，系统会处理模块会整理和分析整个疗程或训练数据并生成评估报告，同时系统会自动储存记录和分析结果到云端。
实施例2，在实施例1的基础上，还包括可选的程序B1、系统可用全身动作传感器或手机来扫描用户面部和身体，并生成3D面部和身体图像，数据可通过无线通信或蓝牙传送到系统，然后将之反映在康复及训练中使用者的虚拟角色脸上，来增加投入感。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，包含以下步骤：
A、系统连接全身动作镜头传感器和可携式生理回馈传感器；
B、模式选择；
C、系统通过3D建模技术产生场景模型及3D虚拟动画人物或转换为扩增实境模式；
D、系统指示用户做一些评估动作，利用全身动作传感器，量度用户的基本身体数据；
E、使用者带上可携式生理回馈传感器通过蓝牙传输模块和系统连接，并戴上VR眼镜，进入虚拟环境中进行治疗和训练，系统开始监测和记录用户生理数据变化；
F、VR环境或扩增实境AR中的虚拟导师角色带领使用者作热身动作，治疗师或导师进行远程监测使用者的表现和生理指标变化，并实时改变场景，控制治疗和训练操作；
G、系统实时显示治疗或训练游戏中的分数和动作数据；
H、治疗或训练完毕后，系统从数据中分析出身体状况，对比过去表现报告，系统处理模块整理和分析整个疗程或训练数据并生成评估报告，同时系统自动储存记录并将分析结果传送到云端。
2.根据权利要求1所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，所述模式包括单人模式和多人模式。
3.根据权利要求2所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，首次使用时用户需输入个人资料和身体数据来分析使用者现况。
4.根据权利要求1所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，还包括可选程序B1：系统用全身动作传感器或手机来扫描用户面部和身体，并生成3D面部和身体图像，数据通过无线通信或蓝牙传送到系统，然后将之反映在康复及训练中使用者的虚拟角色脸上，来增加投入感，可选程序B1在步骤B之后进行。
5.根据权利要求1所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，所述用户的基本身体数据包括举手角度、弯腰角度、提腿角度和反应速度。
6.根据权利要求1所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，所述用户生理数据包括心跳、呼吸率、心率变异分析、面部表情、身体动作和手指动作。
7.根据权利要求1-6任一所述的一种基于虚拟现实和扩增实境的互动训练监控方法，其特征在于，所述身体状况包括平衡力、关节活动度、柔软度、敏捷度和耐力。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910278122.XA CN110415357A (zh) | 2019-04-09 | 2019-04-09 | 一种基于虚拟现实和扩增实境的互动训练监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910278122.XA CN110415357A (zh) | 2019-04-09 | 2019-04-09 | 一种基于虚拟现实和扩增实境的互动训练监控方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110415357A true CN110415357A (zh) | 2019-11-05 |
Family
ID=68357627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910278122.XA Pending CN110415357A (zh) | 2019-04-09 | 2019-04-09 | 一种基于虚拟现实和扩增实境的互动训练监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415357A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078007A (zh) * | 2019-12-04 | 2020-04-28 | 苏州中科先进技术研究院有限公司 | 一种基于虚拟现实的呐喊宣泄训练方法及装置 |
| CN111128384A (zh) * | 2019-12-31 | 2020-05-08 | 慧择保险经纪有限公司 | 一种人体信息变化程度获得方法及装置 |
| CN112619109A (zh) * | 2020-11-27 | 2021-04-09 | 重庆电子工程职业学院 | 基于ar技术的康复训练系统及方法 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107080932A (zh) * | 2017-05-12 | 2017-08-22 | 秦路 | 基于人脸识别及动作捕捉的康复锻炼方法和系统 |
| US20180031832A1 (en) * | 2016-07-26 | 2018-02-01 | Bion Inc. | Head Mounted Virtual Reality Object Synchronized Physical Training System |
| CN108634943A (zh) * | 2018-05-30 | 2018-10-12 | 北京小汤山医院 | 虚拟与实时监测技术结合的心肺康复训练系统 |
-
2019
- 2019-04-09 CN CN201910278122.XA patent/CN110415357A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180031832A1 (en) * | 2016-07-26 | 2018-02-01 | Bion Inc. | Head Mounted Virtual Reality Object Synchronized Physical Training System |
| CN107080932A (zh) * | 2017-05-12 | 2017-08-22 | 秦路 | 基于人脸识别及动作捕捉的康复锻炼方法和系统 |
| CN108634943A (zh) * | 2018-05-30 | 2018-10-12 | 北京小汤山医院 | 虚拟与实时监测技术结合的心肺康复训练系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111078007A (zh) * | 2019-12-04 | 2020-04-28 | 苏州中科先进技术研究院有限公司 | 一种基于虚拟现实的呐喊宣泄训练方法及装置 |
| CN111128384A (zh) * | 2019-12-31 | 2020-05-08 | 慧择保险经纪有限公司 | 一种人体信息变化程度获得方法及装置 |
| CN111128384B (zh) * | 2019-12-31 | 2024-01-26 | 慧择保险经纪有限公司 | 一种人体信息变化程度获得方法及装置 |
| CN112619109A (zh) * | 2020-11-27 | 2021-04-09 | 重庆电子工程职业学院 | 基于ar技术的康复训练系统及方法 |
| CN116403680A (zh) * | 2023-01-20 | 2023-07-07 | 北京瑞帆科技有限公司 | 一种基于xr技术的认知刺激治疗系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110415357A (zh) | 一种基于虚拟现实和扩增实境的互动训练监控方法 | |
| CN110070944B (zh) | 基于虚拟环境和虚拟角色的社会功能评估训练系统 | |
| CN105700689B (zh) | 基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法 | |
| CN112951409A (zh) | 一种基于Kinect交互和虚拟现实的偏瘫患者康复系统 | |
| CN107308638A (zh) | 一种虚拟现实交互的游戏型上肢康复训练系统及方法 | |
| CN110711361A (zh) | 一种基于虚拟场景的上肢康复训练方法及系统 | |
| KR102423849B1 (ko) | 가상현실을 이용한 진료 및 임상술기 시뮬레이션 제공 시스템 | |
| Nalepa et al. | Affective Design Patterns in Computer Games. Scrollrunner Case Study. | |
| KR102429630B1 (ko) | 헬스케어를 위한 커뮤니케이션 npc아바타를 생성하는 시스템 | |
| CN113593671B (zh) | 基于Leap Motion手势识别的虚拟康复游戏的自调整方法及装置 | |
| CN117542477A (zh) | 基于虚拟与现实的智能康复训练系统及方法 | |
| CN113517055A (zh) | 一种基于虚拟仿真3d技术的认知评估训练方法 | |
| CN110989839B (zh) | 人机对战的系统和方法 | |
| CN201701695U (zh) | 一种家庭用手指康复系统 | |
| CN111312363A (zh) | 一种基于虚拟现实的双手协调性增强系统 | |
| Liu et al. | Affective state recognition and adaptation in human-robot interaction: A design approach | |
| Dias et al. | A priest in the air | |
| Dingli et al. | Realtime adaptive virtual reality for pain reduction | |
| Streck et al. | Neomento-Towards building a universal solution for virtual reality exposure psychotherapy | |
| CN207976743U (zh) | 佩戴装置 | |
| CN113870639A (zh) | 一种基于虚拟现实的训练评估方法及系统 | |
| Lee et al. | Study on cat robot utilization for treatment of autistic children | |
| WO2019179480A1 (zh) | 一种基于虚拟现实、可进行远程诊疗精神治疗的监控方法 | |
| Streck et al. | neomento SAD-VR treatment for social anxiety | |
| Rodríguez et al. | Gamification and Virtual Reality for Tongue Rehabilitation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |