CN110215373A - 一种基于沉浸视觉的训练系统和方法 - Google Patents
一种基于沉浸视觉的训练系统和方法 Download PDFInfo
- Publication number
- CN110215373A CN110215373A CN201910483948.XA CN201910483948A CN110215373A CN 110215373 A CN110215373 A CN 110215373A CN 201910483948 A CN201910483948 A CN 201910483948A CN 110215373 A CN110215373 A CN 110215373A
- Authority
- CN
- China
- Prior art keywords
- immerses
- immerse
- vision glasses
- interaction controller
- vision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011521 glass Substances 0.000 claims abstract description 134
- 230000003993 interaction Effects 0.000 claims abstract description 106
- 230000000007 visual effect Effects 0.000 claims abstract description 71
- 230000033001 locomotion Effects 0.000 claims abstract description 24
- 230000002452 interceptive effect Effects 0.000 claims description 39
- 238000002386 leaching Methods 0.000 claims 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 16
- 201000010099 disease Diseases 0.000 description 15
- 230000006399 behavior Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000012202 Pervasive developmental disease Diseases 0.000 description 1
- 229920001800 Shellac Polymers 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001467 acupuncture Methods 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000001815 biotherapy Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000002651 drug therapy Methods 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000036630 mental development Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- ZLGIYFNHBLSMPS-ATJNOEHPSA-N shellac Chemical compound OCCCCCC(O)C(O)CCCCCCCC(O)=O.C1C23[C@H](C(O)=O)CCC2[C@](C)(CO)[C@@H]1C(C(O)=O)=C[C@@H]3O ZLGIYFNHBLSMPS-ATJNOEHPSA-N 0.000 description 1
- 229940113147 shellac Drugs 0.000 description 1
- 235000013874 shellac Nutrition 0.000 description 1
- 239000004208 shellac Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002966 varnish Substances 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/1604—Head
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/16—Physical interface with patient
- A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
- A61H2201/165—Wearable interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/50—Control means thereof
- A61H2201/5023—Interfaces to the user
- A61H2201/5043—Displays
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Pain & Pain Management (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开一种基于沉浸视觉的训练系统和方法，该方法应用于包括沉浸图像服务器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜、第二交互控制器和三维空间定位器的系统，该方法包括以下步骤：所述沉浸图像服务器将第一沉浸视觉图像和第二沉浸视觉图像分别发送至所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜；所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别显示所述第一沉浸视觉图像和所述第二沉浸视觉图像；所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，并将所述训练数据发送至所述沉浸图像服务器。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种基于沉浸视觉的训练系统和方法。
背景技术
自闭症是一种儿童广泛性发育障碍性疾病，往往在3岁以前发病，主要表现为在语言、社会互动、沟通交流以及兴趣行为等多方面的缺陷。大约3/4的患儿合并有精神发育迟滞，半数左右的患儿在青春期可能合并癫痫发作。患儿在社会交往、沟通，尤其是行为方面存在严重的障碍。根据2016年《中国自闭症教育康复行业发展状况报告Ⅱ》蓝皮书公布的数字，我国目前的自闭症人数超过1000万，并以每年十几万的速度激增，由于我国对自闭症的认知较晚，相关政策法规才初步建立，干预体系不健全，干预水平整体低下，缺乏相关专业人员，从而导致了发病率上升，且患儿回归主流社会难度大。
目前，自闭症的常用康复方法有：药物治疗、感觉统合训练、高频音乐疗法、感应疗法、大脑激活教学法、生物疗法、中医及针灸疗法等。近几年随着计算机技术的发展，出现一种利用虚拟现实技术对自闭症患者进行辅助康复训练的方法，该方法的核心步骤是利用头戴式虚拟现实设备与传感器手套采集用户表情信息、体征信息、运动轨迹和训练反馈，再根据用户的各种信息提供不同的训练，根据用户的训练结果确定若干行为权重值，通过权重值评估用户的自闭症康复情况。
然而，上述方法至少存在以下缺陷：
1、由于自闭症患者与普通人在智力水平上的差别，多数自闭症患者智力发展在平均水平线以下，很难在计算机设定好的引导程序下顺利完成训练，因而存在人机交互中的自闭症患者的配合度问题。
2、上述方法通过传感器手套采集训练反馈信息，传感器手套在抓取虚拟物体后并不能对手指的行动进行限制，不能实现真实的抓握反馈，由于自闭症患者本身就在感觉统合上存在问题，因此，通过传感器手套并不能进行有效的训练。
发明内容
本发明提供了一种基于沉浸视觉的训练系统和方法，以解决现有技术存在的受训人员的配合度问题以及训练效果不足的问题。
本发明提供了一种基于沉浸视觉的训练方法，应用于包括沉浸图像服务器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜、第二交互控制器和三维空间定位器的系统，其中，所述第一沉浸视觉眼镜被受训人员佩戴，所述第一交互控制器被所述受训人员握持，所述第二沉浸视觉眼镜被指导人员佩戴，所述第二交互控制器被所述指导人员握持，所述方法包括以下步骤：
所述沉浸图像服务器将第一沉浸视觉图像和第二沉浸视觉图像分别发送至所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜；
所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别显示所述第一沉浸视觉图像和所述第二沉浸视觉图像；
所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，并将所述训练数据发送至所述沉浸图像服务器。
可选地，所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别显示所述第一沉浸视觉图像和所述第二沉浸视觉图像之后，还包括：
所述第一交互控制器检测到所述受训人员的第一操控时，将与所述第一操控对应的第一交互信息发送至所述沉浸图像服务器；所述第二交互控制器检测到所述指导人员的第二操控时，将与所述第二操控对应的第二交互信息发送至所述沉浸图像服务器；
所述沉浸图像服务器根据所述第一交互信息和所述第二交互信息，继续向所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别发送沉浸视觉图像，并继续接收所述第一交互控制器和所述第二交互控制器返回的交互信息，直至完成或中断训练课程。
可选地，所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，包括：
所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的位置、方向和行动轨迹，实时记录所述指导人员和所述受训人员的训练数据。
可选地，所述三维空间定位器将所述训练数据发送至所述沉浸图像服务器之后，还包括：
所述沉浸图像服务器根据所述训练数据，计算所述受训人员的训练结果，将所述训练结果发送至所述第二沉浸视觉眼镜；
所述第二沉浸视觉眼镜显示所述训练结果。
可选地，所述训练数据包括头部位置、视线方向、手部动作和互动结果。
本发明还提供了一种基于沉浸视觉的训练系统，包括沉浸图像服务器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜、第二交互控制器和三维空间定位器，所述第一沉浸视觉眼镜被受训人员佩戴，所述第一交互控制器被所述受训人员握持，所述第二沉浸视觉眼镜被指导人员佩戴，所述第二交互控制器被所述指导人员握持；
其中，所述沉浸图像服务器，用于将第一沉浸视觉图像和第二沉浸视觉图像分别发送至所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜；
所述第一沉浸视觉眼镜，用于显示所述第一沉浸视觉图像；
所述第二沉浸视觉眼镜，用于显示所述第二沉浸视觉图像；
所述三维空间定位器，用于通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，并将所述训练数据发送至所述沉浸图像服务器。
可选地，所述第一交互控制器，用于检测所述受训人员的第一操控，将与所述第一操控对应的第一交互信息发送至所述沉浸图像服务器；
所述第二交互控制器，用于检测所述指导人员的第二操控，将与所述第二操控对应的第二交互信息发送至所述沉浸图像服务器；
所述沉浸图像服务器，还用于根据所述第一交互信息和所述第二交互信息，继续向所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别发送沉浸视觉图像，并继续接收所述第一交互控制器和所述第二交互控制器返回的交互信息，直至完成或中断训练课程。
可选地，所述三维空间定位器，具体用于通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的位置、方向和行动轨迹，实时记录所述指导人员和所述受训人员的训练数据。
可选地，所述沉浸图像服务器，还用于根据所述训练数据，计算所述受训人员的训练结果，将所述训练结果发送至所述第二沉浸视觉眼镜；
所述第二沉浸视觉眼镜，还用于显示所述训练结果。
可选地，所述训练数据包括头部位置、视线方向、手部动作和互动结果。
本发明通过计算机图形图像和辅助交互的沉浸视觉系统以及高拟真度的画面，对传统的自闭症训练方法进行技术提升，为训练提供相应的场景、人人交互机制、虚拟化身和虚拟道具等内容，给受训人员提供身临其境的感受，并根据受训人员的反馈进行下一步训练，使其通过反复体验和训练，获得记忆部分中的训练成果，从而在接触真实世界场景、事物时，对记忆部分中的训练成果进行最大程度的无缝衔接，能够提高受训人员的配合度，提升训练效率和训练效果，降低训练成本，并减少受训人员的风险。
附图说明
图1为本发明实施例中的一种基于沉浸视觉的训练系统的结构示意图；
图2为本发明实施例中的一种基于沉浸视觉的训练方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于沉浸视觉的训练系统，如图1所示，包括沉浸图像服务器101、第一沉浸视觉眼镜102、第一交互控制器103、第二沉浸视觉眼镜104、第二交互控制器105和三维空间定位器106，第一沉浸视觉眼镜102被受训人员佩戴，第一交互控制器103被受训人员握持，第二沉浸视觉眼镜104被指导人员佩戴，第二交互控制器105被指导人员握持。
其中，沉浸图像服务器101，用于将第一沉浸视觉图像和第二沉浸视觉图像分别发送至第一沉浸视觉眼镜102和第二沉浸视觉眼镜104；
具体地，沉浸图像生成服务器101的存储设备上安装有图像生成与互动软件和本地数据库，图像生成与互动软件用于生成第一沉浸视觉图像和第二沉浸视觉图像，本地数据库用于记录受训人员的训练数据。
其中，第一沉浸视觉图像和第二沉浸视觉图像可以是实时渲染的三维图像，表现为高拟真度的三维环境、建筑、动植物、人物角色和三维生成的粒子系统等内容，该内容均符合自然物理属性。
此外，第一沉浸视觉图像和第二沉浸视觉图像还包括全景照片、全景视频、全景动画、图像、文字和照片等内容，或是以上内容的组合。基于训练软件和训练课程的设置，第一沉浸视觉图像和第二沉浸视觉图像可以是相同的图像，也可以是不同的图像。
第一沉浸视觉眼镜102，用于显示第一沉浸视觉图像；
第一交互控制器103，用于检测受训人员的第一操控，将与第一操控对应的第一交互信息发送至沉浸图像服务器101；
第二沉浸视觉眼镜104，用于显示第二沉浸视觉图像；
第二交互控制器105，用于检测指导人员的第二操控，将与第二操控对应的第二交互信息发送至沉浸图像服务器101；
其中，第一交互控制器103和第二交互控制器105上可以设置有多个按键，以供受训人员和指导人员操控。在训练过程中，受训人员可以根据第一沉浸视觉眼镜102显示的沉浸视觉图像，操控第一交互控制器103的按键，相应地，指导人员可以根据第二沉浸视觉眼镜104显示的沉浸视觉图像，操控第二交互控制器105的按键。在受训人员操控不同的按键时，第一交互控制器103向沉浸图像服务器101发送不同的第一交互信息；在指导人员操控不同的按键时，第二交互控制器105向沉浸图像服务器101发送不同的第二交互信息。第一交互控制器103和第二交互控制器105的按键设置方式可以相同，也可以不同。
相应地，上述沉浸图像服务器101，还用于根据第一交互信息和第二交互信息，继续向第一沉浸视觉眼镜102和第二沉浸视觉眼镜104分别发送沉浸视觉图像，并继续接收第一交互控制器103和第二交互控制器105返回的交互信息，直至完成或中断训练课程。
具体地，沉浸图像服务器101接收到第一交互信息和第二交互信息后，可以基于训练软件和训练课程的设置，继续向第一沉浸视觉眼镜102和第二沉浸视觉眼镜104分别发送沉浸视觉图像，相应地，第一沉浸视觉眼镜102和第二沉浸视觉眼镜104分别显示上述沉浸视觉图像，分别为受训人员和指导人员提供互动反馈，并持续上述过程，直至完成或中断训练课程。
三维空间定位器106，用于通过追踪第一沉浸视觉眼镜102、第一交互控制器103、第二沉浸视觉眼镜104和第二交互控制器105的运动状态，记录指导人员和受训人员的训练数据，并将训练数据发送至沉浸图像服务器101。
具体地，三维空间定位器106，具体用于通过追踪第一沉浸视觉眼镜102、第一交互控制器103、第二沉浸视觉眼镜104和第二交互控制器105的位置、方向和行动轨迹，实时记录指导人员和受训人员的训练数据。
本实施例中，三维空间定位器106通过追踪第一沉浸视觉眼镜102、第一交互控制器103、第二沉浸视觉眼镜104和第二交互控制器105的位置、方向和行动轨迹，实时记录指导人员和受训人员的训练数据，并将该训练数据发送至沉浸图像服务器101，记录在沉浸图像服务器101的本地数据库中。
其中，训练数据包括头部位置、视线方向、手部动作和互动结果。
此外，沉浸图像服务器101，还用于根据训练数据，计算受训人员的训练结果，将训练结果发送至第二沉浸视觉眼镜104；
第二沉浸视觉眼镜104，还用于显示训练结果。
本发明实施例通过计算机图形图像和辅助交互的沉浸视觉系统以及高拟真度的画面，对传统的自闭症训练方法进行技术提升，为训练提供相应的场景、人人交互机制、虚拟化身和虚拟道具等内容，给受训人员提供身临其境的感受，并根据受训人员的反馈进行下一步训练，使其通过反复体验和训练，获得记忆部分中的训练成果，从而在接触真实世界场景、事物时，对记忆部分中的训练成果进行最大程度的无缝衔接，能够提高受训人员的配合度，提升训练效率和训练效果，降低训练成本，并减少受训人员的风险。
作为一种优选实施方式，可以根据实际情况，将上述训练系统部署在最小12平方米(3x4米)，净高不低于2.5米的空间，空间内无任何构筑物或家具，可靠墙放置一套电脑桌椅。为避免影响三维空间定位器106的信号，上述空间所在的房间最好不大于10x10米，优选无窗户的房间，若有小窗则需要用窗帘遮挡，地面平整，最好铺设地毯，墙面为不反光的乳胶漆或软包墙面。
此外，在上述空间内为沉浸图像生成服务器101提供220V电源插座，在距地2.1-2.4米的墙面安装三维空间定位器106，三维空间定位器106附近设置有220v电源插座，且在房间内对角安装三维空间定位器106，以便信号覆盖整个房间。相应地，在沉浸图像生成服务器101的图像生成与互动软件内设置房间安全区域，使得指导人员和受训人员遵循沉浸式场景内的虚拟安全区域提示，避免与墙面产生碰撞。
上述部署方式，能够解决场地空间和指导人员短缺的问题，提升训练效率。
基于上述训练系统，本发明实施例提供了一种基于沉浸视觉的训练方法，包括以下步骤：
步骤201，沉浸图像服务器将第一沉浸视觉图像和第二沉浸视觉图像分别发送至第一沉浸视觉眼镜和第二沉浸视觉眼镜；
具体地，指导人员开启沉浸图像服务器、三维空间定位器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜和第二交互控制器后，运行沉浸图像服务器上安装的训练软件，并指导人员根据受训人员的课程进度，从训练软件中选择对应的训练课程。相应地，沉浸图像服务器基于指导人员选择的训练课程，向第一沉浸视觉眼镜和第二沉浸视觉眼镜分别发送与训练课程对应的第一沉浸视觉图像和第二沉浸视觉图像。
本实施例中，沉浸图像生成服务器可以在沉浸视觉眼镜中形成高拟真度、全视野包裹的图像，使指导人员和受训人员有身临其境的效果，指导人员和受训人员在空间中的位移和行为都会真实反映在沉浸视觉图像中。
其中，第一沉浸视觉图像和第二沉浸视觉图像可以是实时渲染的三维图像，表现为高拟真度的三维环境、建筑、动植物、人物角色和三维生成的粒子系统等内容，该内容均符合自然物理属性。
此外，第一沉浸视觉图像和第二沉浸视觉图像还包括全景照片、全景视频、全景动画、图像、文字和照片等内容，或是以上内容的组合。基于训练软件和训练课程的设置，第一沉浸视觉图像和第二沉浸视觉图像可以是相同的图像，也可以是不同的图像。
步骤202，第一沉浸视觉眼镜和第二沉浸视觉眼镜分别显示第一沉浸视觉图像和第二沉浸视觉图像；
其中，第一沉浸视觉眼镜接收到第一沉浸视觉图像后，对第一沉浸视觉图像进行显示，由于第一沉浸视觉眼镜被受训人员佩戴，从而使得受训人员完成从现实空间到沉浸空间的视觉和心理过渡。
此外，指导人员协助受训人员佩戴好第一沉浸视觉眼镜后，让受训人员双手抓握第一交互控制器。指导人员在确认受训人员可以看到画面，听到声音，以及第一交互控制器运动有反应后，佩戴第二沉浸视觉眼镜，手持第二交互控制器，并通过第二沉浸视觉眼镜观看第二沉浸视觉图像。
步骤203，第一交互控制器检测到受训人员的第一操控时，将与第一操控对应的第一交互信息发送至沉浸图像服务器；第二交互控制器检测到指导人员的第二操控时，将与第二操控对应的第二交互信息发送至沉浸图像服务器；
其中，在训练课程的实现过程中，指导人员根据课程中设定的行为和话术与受训人员进行交流。通过第一沉浸视觉眼镜显示的第一沉浸视觉图像和通过第二沉浸视觉眼镜显示的第二沉浸视觉图像，在设定好的范围内分别为受训人员和指导人员提供沉浸视觉中的场景、道具和数字化身，在此过程中，受训人员可以对第一交互控制器执行第一操控，指导人员可以对第二交互控制器执行第二操控，相应地，第一交互控制器将与第一操控对应的第一交互信息发送至沉浸图像服务器，第二交互控制器将与第二操控对应的第二交互信息发送至沉浸图像服务器。
步骤204，沉浸图像服务器根据第一交互信息和第二交互信息，继续向第一沉浸视觉眼镜和第二沉浸视觉眼镜分别发送沉浸视觉图像，并继续接收第一交互控制器和第二交互控制器返回的交互信息，直至完成或中断训练课程；
具体地，沉浸图像服务器接收到第一交互信息和第二交互信息后，可以基于训练软件和训练课程的设置，继续向第一沉浸视觉眼镜和第二沉浸视觉眼镜分别发送沉浸视觉图像，相应地，第一沉浸视觉眼镜和第二沉浸视觉眼镜分别显示上述沉浸视觉图像，分别为受训人员和指导人员提供互动反馈，并持续上述过程，直至完成或中断训练课程。
此外，完成训练课程后，指导人员先摘下自己所佩戴的第二沉浸视觉眼镜，然后协助受训人员摘下所佩戴的第一沉浸视觉眼镜。
步骤205，三维空间定位器通过追踪第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜和第二交互控制器的运动状态，记录指导人员和受训人员的训练数据，并将该训练数据发送至沉浸图像服务器。
具体地，三维空间定位器通过追踪第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜和第二交互控制器的位置、方向和行动轨迹，实时记录指导人员和受训人员的训练数据，并将该训练数据发送至沉浸图像服务器，记录在沉浸图像服务器的本地数据库中，该训练数据包括头部位置、视线方向、手部动作和互动结果。
步骤206，沉浸图像服务器根据训练数据，计算受训人员的训练结果，将训练结果发送至第二沉浸视觉眼镜；
具体地，在训练课程结束后，沉浸图像服务器可以根据训练数据，通过后台计算出受训人员的训练成绩。由于三维空间定位器可以实时、准确、低延迟地反馈指导人员与受训人员的沉浸视觉眼镜和交互控制器的位置，通过算法即可记录指导人员和受训人员在当前沉浸场景中的行为操作和对话，从而为受训人员训练课程的规划提供详实的数据参考。
步骤207，第二沉浸视觉眼镜显示训练结果。
具体地，第二沉浸视觉眼镜可以通过图形、图表和文字等形式，显示受训人员的训练结果，供指导人员了解受训人员训练成果，并确定下一次训练的内容。
本发明实施例通过计算机图形图像和辅助交互的沉浸视觉系统以及高拟真度的画面，对传统的自闭症训练方法进行技术提升，为训练提供相应的场景、人人交互机制、虚拟化身和虚拟道具等内容，给受训人员提供身临其境的感受，并根据受训人员的反馈进行下一步训练，使其通过反复体验和训练，获得记忆部分中的训练成果，从而在接触真实世界场景、事物时，对记忆部分中的训练成果进行最大程度的无缝衔接，能够提高受训人员的配合度，提升训练效率和训练效果，降低训练成本，并减少受训人员的风险。
结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于沉浸视觉的训练方法，其特征在于，应用于包括沉浸图像服务器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜、第二交互控制器和三维空间定位器的系统，其中，所述第一沉浸视觉眼镜被受训人员佩戴，所述第一交互控制器被所述受训人员握持，所述第二沉浸视觉眼镜被指导人员佩戴，所述第二交互控制器被所述指导人员握持，所述方法包括以下步骤：
所述沉浸图像服务器将第一沉浸视觉图像和第二沉浸视觉图像分别发送至所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜；
所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别显示所述第一沉浸视觉图像和所述第二沉浸视觉图像；
所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，并将所述训练数据发送至所述沉浸图像服务器。
2.如权利要求1所述的方法，其特征在于，所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别显示所述第一沉浸视觉图像和所述第二沉浸视觉图像之后，还包括：
所述第一交互控制器检测到所述受训人员的第一操控时，将与所述第一操控对应的第一交互信息发送至所述沉浸图像服务器；所述第二交互控制器检测到所述指导人员的第二操控时，将与所述第二操控对应的第二交互信息发送至所述沉浸图像服务器；
所述沉浸图像服务器根据所述第一交互信息和所述第二交互信息，继续向所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别发送沉浸视觉图像，并继续接收所述第一交互控制器和所述第二交互控制器返回的交互信息，直至完成或中断训练课程。
3.如权利要求1所述的方法，其特征在于，所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，包括：
所述三维空间定位器通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的位置、方向和行动轨迹，实时记录所述指导人员和所述受训人员的训练数据。
4.如权利要求1所述的方法，其特征在于，所述三维空间定位器将所述训练数据发送至所述沉浸图像服务器之后，还包括：
所述沉浸图像服务器根据所述训练数据，计算所述受训人员的训练结果，将所述训练结果发送至所述第二沉浸视觉眼镜；
所述第二沉浸视觉眼镜显示所述训练结果。
5.如权利要求1所述的方法，其特征在于，所述训练数据包括头部位置、视线方向、手部动作和互动结果。
6.一种基于沉浸视觉的训练系统，其特征在于，包括沉浸图像服务器、第一沉浸视觉眼镜、第一交互控制器、第二沉浸视觉眼镜、第二交互控制器和三维空间定位器，所述第一沉浸视觉眼镜被受训人员佩戴，所述第一交互控制器被所述受训人员握持，所述第二沉浸视觉眼镜被指导人员佩戴，所述第二交互控制器被所述指导人员握持；
其中，所述沉浸图像服务器，用于将第一沉浸视觉图像和第二沉浸视觉图像分别发送至所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜；
所述第一沉浸视觉眼镜，用于显示所述第一沉浸视觉图像；
所述第二沉浸视觉眼镜，用于显示所述第二沉浸视觉图像；
所述三维空间定位器，用于通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的运动状态，记录所述指导人员和所述受训人员的训练数据，并将所述训练数据发送至所述沉浸图像服务器。
7.如权利要求6所述的系统，其特征在于，
所述第一交互控制器，用于检测所述受训人员的第一操控，将与所述第一操控对应的第一交互信息发送至所述沉浸图像服务器；
所述第二交互控制器，用于检测所述指导人员的第二操控，将与所述第二操控对应的第二交互信息发送至所述沉浸图像服务器；
所述沉浸图像服务器，还用于根据所述第一交互信息和所述第二交互信息，继续向所述第一沉浸视觉眼镜和所述第二沉浸视觉眼镜分别发送沉浸视觉图像，并继续接收所述第一交互控制器和所述第二交互控制器返回的交互信息，直至完成或中断训练课程。
8.如权利要求6所述的系统，其特征在于，
所述三维空间定位器，具体用于通过追踪所述第一沉浸视觉眼镜、所述第一交互控制器、所述第二沉浸视觉眼镜和所述第二交互控制器的位置、方向和行动轨迹，实时记录所述指导人员和所述受训人员的训练数据。
9.如权利要求6所述的系统，其特征在于，
所述沉浸图像服务器，还用于根据所述训练数据，计算所述受训人员的训练结果，将所述训练结果发送至所述第二沉浸视觉眼镜；
所述第二沉浸视觉眼镜，还用于显示所述训练结果。
10.如权利要求6所述的系统，其特征在于，所述训练数据包括头部位置、视线方向、手部动作和互动结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910483948.XA CN110215373A (zh) | 2019-06-04 | 2019-06-04 | 一种基于沉浸视觉的训练系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910483948.XA CN110215373A (zh) | 2019-06-04 | 2019-06-04 | 一种基于沉浸视觉的训练系统和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110215373A true CN110215373A (zh) | 2019-09-10 |
Family
ID=67819767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910483948.XA Pending CN110215373A (zh) | 2019-06-04 | 2019-06-04 | 一种基于沉浸视觉的训练系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110215373A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106887170A (zh) * | 2017-02-21 | 2017-06-23 | 戴雨霖 | 基于虚拟现实和手势检测的乘坐公交车训练系统 |
| CN107168525A (zh) * | 2017-04-21 | 2017-09-15 | 北京师范大学 | 一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法 |
| CN107340869A (zh) * | 2017-07-07 | 2017-11-10 | 四川云图瑞科技有限公司 | 基于虚幻4引擎技术的虚拟现实交互系统 |
| WO2018175675A1 (en) * | 2017-03-23 | 2018-09-27 | Siemens Aktiengesellschaft | Collaboritive and interactive training in augmented reality |
| KR20180128733A (ko) * | 2017-05-24 | 2018-12-04 | 연세대학교 산학협력단 | 자폐 스펙트럼 장애 치료를 위한 게임 방법 및 이에 관한 기록매체 |
| CN109616179A (zh) * | 2018-12-07 | 2019-04-12 | 山东大学 | 自闭症谱系障碍混合现实康复训练系统及方法 |
-
2019
- 2019-06-04 CN CN201910483948.XA patent/CN110215373A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106887170A (zh) * | 2017-02-21 | 2017-06-23 | 戴雨霖 | 基于虚拟现实和手势检测的乘坐公交车训练系统 |
| WO2018175675A1 (en) * | 2017-03-23 | 2018-09-27 | Siemens Aktiengesellschaft | Collaboritive and interactive training in augmented reality |
| CN107168525A (zh) * | 2017-04-21 | 2017-09-15 | 北京师范大学 | 一种运用精细手势识别装置辅助自闭症儿童配对训练的系统及方法 |
| KR20180128733A (ko) * | 2017-05-24 | 2018-12-04 | 연세대학교 산학협력단 | 자폐 스펙트럼 장애 치료를 위한 게임 방법 및 이에 관한 기록매체 |
| CN107340869A (zh) * | 2017-07-07 | 2017-11-10 | 四川云图瑞科技有限公司 | 基于虚幻4引擎技术的虚拟现实交互系统 |
| CN109616179A (zh) * | 2018-12-07 | 2019-04-12 | 山东大学 | 自闭症谱系障碍混合现实康复训练系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李建: "《虚拟现实（VR）技术与应用》", 31 January 2018, 河南大学出版社 * |
| 程辉明: "《先进电子制造技术》", 31 July 2008, 国防工业出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ofli et al. | Design and evaluation of an interactive exercise coaching system for older adults: lessons learned | |
| US9880621B2 (en) | Generating virtual stimulation devices and illusory sensations using tactile display technology | |
| Imam et al. | Virtual reality rehabilitation from social cognitive and motor learning theoretical perspectives in stroke population | |
| CN109731292B (zh) | 一种基于虚拟现实技术的平衡能力测试与训练系统及方法 | |
| US20130069940A1 (en) | Systems And Methods For Projecting Images Onto An Object | |
| US11996090B2 (en) | System and method for artificial intelligence (AI) assisted activity training | |
| Reiner | The role of haptics in immersive telecommunication environments | |
| CN108919950A (zh) | 基于Kinect的孤独症儿童互动影像装置及方法 | |
| JP2011110215A (ja) | リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| WO2013059227A1 (en) | Interactive physical therapy | |
| Takacs | Special education and rehabilitation: teaching and healing with interactive graphics | |
| Suyanto et al. | Overcome acrophobia with the help of virtual reality and kinect technology | |
| KR20180028033A (ko) | 사용자 환경 기반 가상현실을 이용한 장애인 일상생활 교육 방법 및 이를 위한 장치 | |
| Wellner et al. | Virtual competitors influence rowers | |
| Jund et al. | Impact of frame of reference on memorization in virtual environments | |
| Blome et al. | VReanimate—Non-verbal guidance and learning in virtual reality | |
| WO2022034771A1 (ja) | プログラム、方法、情報処理装置 | |
| Kizony et al. | Immersion without encumbrance: adapting a virtual reality system for the rehabilitation of individuals with stroke and spinal cord injury | |
| CN110215373A (zh) | 一种基于沉浸视觉的训练系统和方法 | |
| Born et al. | Increasing presence in a mixed reality application by integrating a real time tracked full body representation | |
| Zain et al. | Integrating digital games based learning environments with eye gaze-based interaction | |
| Ponder et al. | Interactive scenario immersion: Health emergency decision training in JUST project | |
| Manganas et al. | The just vr tool: An innovative approach to training personnel for emergency situations using virtual reality techniques | |
| Pittarello et al. | Design and evaluation of an educational virtual reality application for learning how to perform on a stage | |
| Gutiérrez-Fernández et al. | An immersive haptic-enabled training simulation for paramedics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |