CN116884286B - 一种基于vr的多人在线配合创伤急救护理规范化培训系统 - Google Patents
一种基于vr的多人在线配合创伤急救护理规范化培训系统 Download PDFInfo
- Publication number
- CN116884286B CN116884286B CN202310641353.9A CN202310641353A CN116884286B CN 116884286 B CN116884286 B CN 116884286B CN 202310641353 A CN202310641353 A CN 202310641353A CN 116884286 B CN116884286 B CN 116884286B
- Authority
- CN
- China
- Prior art keywords
- equipment
- training
- wound
- task
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 156
- 238000012545 processing Methods 0.000 claims abstract description 69
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000000474 nursing effect Effects 0.000 claims abstract description 26
- 238000005516 engineering process Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 239000003814 drug Substances 0.000 claims description 6
- 238000013515 script Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 14
- 208000027418 Wounds and injury Diseases 0.000 description 72
- 206010052428 Wound Diseases 0.000 description 71
- 230000006399 behavior Effects 0.000 description 35
- 230000003993 interaction Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000008733 trauma Effects 0.000 description 2
- 208000004221 Multiple Trauma Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
- G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
- G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供了一种基于VR的多人在线配合创伤急救护理规范化培训系统，用于通过引入VR技术，来为医护人员提供一个高效且更新维护便捷的多人在线配合创伤急救护理规范化培训环境，从而可以显著提升医护人员的创伤急救培训效果。系统包括：教师端的处理设备，用于针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理；管理端的服务器设备，用于根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；学员端的VR设备，用于根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训。
Description
技术领域
本申请涉及医院培训领域，具体涉及一种基于VR的多人在线配合创伤急救护理规范化培训系统。
背景技术
在医院的工作中，涉及到创伤急救培训，通过平常组织的创伤急救培训，可以锻炼以及保持医护人员对于创伤病人的急救工作的熟悉，以保障在面临真正的创伤急救任务时的表现能够在线，因此其重要意义是相当容易看出来的。
而本申请发明人发现，目前医院的创伤急救培训任务，主要依赖于科室内针对实体模型人进行线下的训练与考核，而这需要协调多方人员的安排，往往比较难统一与协调，主要在以下方面体现出来：1，主要是采用电脑端操作，带入感不高，容易分心；2，难以团队合作，往往属于单人操作，没有团队配合的概念；3，培训案例流程固定化，严重依赖新的案例场景的开发，无法灵活扩展和变化；4，内容不完善，不能满足各岗位的需求；5：线下培训需要大量的前期设备、人员、时间及场地准备，不够灵活。
也就是说，对于参与培训的医院人员而言，现有医院依赖于电脑端操作及线下实际操作的创伤急救培训任务开展形式，存在处理效果有限的问题。
发明内容
本申请提供了一种基于VR的多人在线配合创伤急救护理规范化培训系统，用于通过引入VR技术，来为医护人员提供一个高效且更新维护便捷的多人在线配合创伤急救护理规范化培训环境，从而可以显著提升医护人员的创伤急救培训效果。
第一方面，本申请提供了一种基于VR的多人在线配合创伤急救护理规范化培训系统，系统包括：
教师端的处理设备，用于针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练；
管理端的服务器设备，用于根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
学员端的VR设备，用于根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，VR资源包括场景、道具、角色和任务。
结合本申请第一方面，在本申请第一方面第一种可能的实现方式中，多个的学员端的VR设备之间，通过自组网构成小型局域网环境，在VR环境中进行数据同步和传递，实现多人操作实时的网络同步。
结合本申请第一方面第一种可能的实现方式，在本申请第一方面第二种可能的实现方式中，网络同步具体采用状态同步、实时广播同步和帧同步中的至少一种，网络同步以更少的信息同步量来模拟其他学员的行为为目标。
结合本申请第一方面第二种可能的实现方式，在本申请第一方面第三种可能的实现方式中，状态同步包括以下的处理内容：
当前用户通过学员端的VR设备做出行为控制指令时，提取行为控制指令中的行为状态所需数据；
将行为状态所需数据广播给其他学员端的VR设备，促使通过行为状态所需数据模拟对应角色的行为。
结合本申请第一方面第一种可能的实现方式，在本申请第一方面第四种可能的实现方式中，实时广播同步包括以下处理内容：
当前学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他学员端的VR设备，其他学员端的VR设备根据收到的位置和旋转信息预测当前学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前学员端的VR设备的自身角色。
结合本申请第一方面，在本申请第一方面第五种可能的实现方式中，学员端的VR设备对应角色在VR环境中的空间定位，采用inside-out定位技术，通过设备上的若干个摄像头主动扫描周围的环境，并利用SLAM技术实现一边建立地图一边定位。
结合本申请第一方面，在本申请第一方面第六种可能的实现方式中，管理端的服务器设备在多人任务中有人掉线或者没有参加训练的情况下，通过AI服务自动托管代为完成任务；
管理端的服务器设备利用多线程多任务线技术，实现多人保持自有任务线，其中，个人任务自由度比多人任务自由度更高；
管理端的服务器设备利用结构化数据库，构建药品库、器械库、耗材库、报告库、病人库、场景库、学员库、设备库、伤情库和处置库，在后台管理系统自由搭配不同案例，自动形成庞大的案例库系统；
管理端的服务器设备利用热更新技术，促使脚本、模型和资源动态按需加载。
结合本申请第一方面，在本申请第一方面第七种可能的实现方式中，学员端的VR设备利用TTS系统实现角色之间的语音对话。
第二方面，本申请提供了一种基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法，方法包括：
教师端的处理设备针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练。
管理端的服务器设备根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
学员端的VR设备根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，VR资源包括场景、道具、角色和任务。
结合本申请第二方面，在本申请第二方面第一种可能的实现方式中，多个的学员端的VR设备之间，通过自组网构成小型局域网环境，在VR环境中进行数据同步和传递，实现多人操作实时的网络同步。
结合本申请第二方面第一种可能的实现方式，在本申请第二方面第二种可能的实现方式中，网络同步具体采用状态同步、实时广播同步和帧同步中的至少一种，网络同步以更少的信息同步量来模拟其他学员的行为为目标。
结合本申请第二方面第二种可能的实现方式，在本申请第二方面第三种可能的实现方式中，状态同步包括以下的处理内容：
当前用户通过学员端的VR设备做出行为控制指令时，提取行为控制指令中的行为状态所需数据；
将行为状态所需数据广播给其他学员端的VR设备，促使通过行为状态所需数据模拟对应角色的行为。
结合本申请第二方面第一种可能的实现方式，在本申请第二方面第四种可能的实现方式中，实时广播同步包括以下处理内容：
当前学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他学员端的VR设备，其他学员端的VR设备根据收到的位置和旋转信息预测当前学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前学员端的VR设备的自身角色。
结合本申请第二方面，在本申请第二方面第五种可能的实现方式中，学员端的VR设备对应角色在VR环境中的空间定位，采用inside-out定位技术，通过设备上的若干个摄像头主动扫描周围的环境，并利用SLAM技术实现一边建立地图一边定位。
结合本申请第二方面，在本申请第二方面第六种可能的实现方式中，管理端的服务器设备在多人任务中有人掉线或者没有参加训练的情况下，通过AI服务自动托管代为完成任务；
管理端的服务器设备利用多线程多任务线技术，实现多人保持自有任务线，其中，个人任务自由度比多人任务自由度更高；
管理端的服务器设备利用结构化数据库，构建药品库、器械库、耗材库、报告库、病人库、场景库、学员库、设备库、伤情库和处置库，在后台管理系统自由搭配不同案例，自动形成庞大的案例库系统；
管理端的服务器设备利用热更新技术，促使脚本、模型和资源动态按需加载。
结合本申请第二方面，在本申请第二方面第七种可能的实现方式中，学员端的VR设备利用TTS系统实现角色之间的语音对话。
第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第二方面或者本申请第二方面任一种可能的实现方式提供的方法。
从以上内容可得出，本申请具有以下的有益效果：
针对于创伤急救培训，本申请引入VR技术打造了基于VR的多人在线配合创伤急救护理规范化培训系统，由教师端的处理设备针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，由管理端的服务器设备根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境，由学员端的VR设备根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，在这系统架构中，基于VR技术配置了各端的设备形成了完善的应用场景，以此为医护人员提供一个高效且更新维护便捷的多人在线配合创伤急救护理规范化培训环境，从而可以显著提升医护人员的创伤急救培训效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请基于VR的多人在线配合创伤急救护理规范化培训系统的一种架构示意图；
图2为本申请基于VR的多人在线配合创伤急救护理规范化培训系统的一种实例示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分，是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式，例如多个模块可以结合成或集成在另一个系统中，或一些特征可以忽略，或不执行，另外，所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，模块之间的间接耦合或通信连接可以是电性或其他类似的形式，本申请中均不作限定。并且，作为分离部件说明的模块或子模块可以是也可以不是物理上的分离，可以是也可以不是物理模块，或者可以分布到多个电路模块中，可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
首先，参阅图1，图1示出了本申请基于VR的多人在线配合创伤急救护理规范化培训系统的一种架构示意图，本申请提供的基于VR的多人在线配合创伤急救护理规范化培训系统，从图1中可以看出，主要涉及到三个方面，即教师端的处理设备、管理端的服务器设备和学员端的VR设备。
其中，教师端用于为主持创伤急救培训的医护人员提供主持环境，让其可以为多人在线配合创伤急救护理规范化培训任务进行任务配置处理，完成当前培训任务的初始配置工作。
当然，在培训任务的处理过程中，教师端也是可以持续参与当前培训任务的配置工作的，随实际情况还有实时需求调整即可。
教师端的处理设备具体为UE等终端设备，例如智能手机、平板电脑、个人数字助理(Personal Digital Assistance，PDA)、笔记本电脑、电脑一体机、台式电脑或者智能手环等设备，其既可以采用客户端的形式来搭载本申请所涉及的相关应用程序，也可以采用Web服务的方式，通过浏览器应用程序来加载本申请所涉及的相关应用程序。
管理端的服务器设备，是用来为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境的，其作为创建VR环境和主导创伤急救任务的核心，可以搭载有各种VR环境涉及的三维模型，例如器械、环境、药物、任务(角色)等，还可以存储有培训方案数据，例如流程、计分等，还可以存储有培训学员还有主导教师的相关用户数据，例如权限、培训记录等。
具体的，作为一个实例，还可以参考图2示出的本申请基于VR的多人在线配合创伤急救护理规范化培训系统的一种实例示意图，来进行更为形象的理解。
其中，从图1和图2可以看到的是，对于远程的管理端而言，起到的是复杂的、核心的数据处理工作，且在教师端和学员端之间也可以作为一种数据的中转站，如此，可以实现在时空间方面较为灵活的创伤急救培训效果。
容易理解，在管理端的服务器设备上，由于引入的VR技术所打造的创伤急救培训场景，在表现形式和人机互动上都得到了显著的性能提高，因此则可以按照预先设计的灵活多变的培训需求，便捷地进行更新维护。
学员端的VR设备，同样是用户侧的设备，与教师端的处理设备不同的是，其可以通过VR技术来呈现对应的VR画面，并且可以通过配置的相关传感器，来采集佩戴用户的相关数据，以此实现在VR应用场景中的人机交互。
其中，VR设备具体可以为VR眼镜、VR头盔等具体的VR设备产品，应当理解，VR设备的具体形式是可以灵活配置的，通常随VR技术进行配套使用，且可以直接采用市面上的VR设备产品，因此此处本申请不再展开赘述。
而在本申请具体的急救培训场景下，培训学员通过VR设备，则可以在VR画面呈现的多人在线场景中，与其他学员进行多人在线配合，在显著提高的参与感、代入感的情况下，可以按照创伤急救培训任务的任务内容进行高效的培训。
对于以上的系统架构，在具体应用中，可以采用B/S架构与C/S架构的混合架构，形成教师端、管理端、学员端三个终端形态，实现以创伤急救护理标准化为核心的编辑、管理、考核和交流为一体的综合系统，形成内容丰富、互动性强、易操作、可随时随地接入和符合学习规律的数字系统。
而在上面的基础架构内容下，其工作过程中则主要有以下内容：
1)教师端的处理设备，用于针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练；
可以理解的是，对于每次的创伤急救培训，通常是由教师端通过任务配置处理来完成前期配置，当然还可以涉及到培训过程中的实时配置。
此外，应当理解的是，若是沿用以前的、历史的创伤急救培训的内容，也可以是直接调用以前存储的培训内容，因此，此处的描述角度也可以使从多次的创伤急救培训的整体层面角度出发，而不是仅涉及到单次的或者当前的创伤急救培训。
2)管理端的服务器设备，用于根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
可以理解，在教师端的处理设备完成了当前创伤急救培训的任务配置处理后，管理端则可以根据其内容，学员端/教师端分发相应的任务并搭建VR环境，如此可正式开展当前所涉及的创伤急救培训。
3)学员端的VR设备，用于根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，VR资源包括场景、道具、角色和任务。
对于学员端，可以理解为多人联网系统，每个学员端可以模拟一个当前培训任务所分配的角色，例如系统角色可以配置有LABCD5种供选择，多个学员在同一个的场景中同步所有的操作、设备位置、设备状态、病人状态还有处置结果等。
对于学员端而言，在开展当前所涉及的创伤急救培训时，则可以涉及到从管理端下载所需的VR资源，以此在本地加载培训所需场景，待环境/场景正常后，则可以在教师端的主导下，基于VR环境与其他学员进行多人在线配合，在显著提高的参与感、代入感的情况下，可以按照创伤急救培训任务的任务内容进行高效的培训。
从图1所示实施例可看出，针对于创伤急救培训，本申请引入VR技术打造了基于VR的多人在线配合创伤急救护理规范化培训系统，由教师端的处理设备针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，由管理端的服务器设备根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境，由学员端的VR设备根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，在这系统架构中，基于VR技术配置了各端的设备形成了完善的应用场景，以此为医护人员提供一个高效且更新维护便捷的多人在线配合创伤急救护理规范化培训环境，从而可以显著提升医护人员的创伤急救培训效果。
下面，则从细节层面出发，继续对本申请所提供的基于VR的多人在线配合创伤急救护理规范化培训系统进行更为具体的说明。
作为一种示例性的实现方式，在学员侧，多个的学员端的VR设备之间，还可以通过自组网构成小型局域网环境，在VR环境中进行数据同步和传递，实现多人操作实时的网络同步。
可以理解，此处设置可以利用局域网来进行实时通信急救的培训，以此实现多人操作实时同步，保障多个用户可以在同一个虚拟场景中清晰且实时地看到对方的位置、动作和操作，相较于通过管理端的服务器设备作为中转，数据传输速度的提升可以在提高画面的流畅度的情况下，有助于多用户之间的实时互动，进一步提升培训效果。
进一步的，对于此处涉及的网络同步，作为又一种示例性的实现方式，该网络同步在实际应用中，具体可以采用状态同步、实时广播同步和帧同步中的至少一种(三种方式并不互相排斥，既可以单用，也可以混合使用)，并且，该网络同步还可以以更少的信息同步量来模拟其他学员的行为为目标，以此在不断的测试和实际使用过程中，适配出取得最佳效果的网络同步方案。
通俗来讲，网络同步的目标是在针对多人联机中如何用更少的信息同步量来更为逼真地模拟其他用户的一举一动，让用户在培训过程/VR场景中能够第一时间清晰地知道并看到其他用户的位置、动作和状态。
在该情况下，本申请还在具体的研发工作中，设计了状态同步和实时广播同步两种落地配套方案，其内容具体如下：
一、状态同步
作为又一种示例性的实现方式，本申请在网络同步中所采用的状态同步，具体可以包括以下的处理内容：
当前用户通过学员端的VR设备做出行为控制指令时，提取行为控制指令中的行为状态所需数据；
将行为状态所需数据广播给其他学员端的VR设备，促使通过行为状态所需数据模拟对应角色的行为。
可以理解，本申请认为，用户在VR环境中的角色身上的每个状态，就相当于一个具有固定逻辑的行为模式，这个固定行为模式就像个黑盒，只要给到需要的数据，就能表现出相同的行为，比如翻身状态，就会播放一个翻身动画。
这些行为状态都有一个共同的特点，就是只要给予所需的相同的数据，就能展现出相同画面的个体效果，因此本申请要让这些状态连贯起来拼凑成一个拥有一系列动作的角色，当学员向其角色发送各种各样的指令时，就是在告诉它先触发这个状态再触发那个状态，由于指令中包含了行为状态需要的数据，这些数据就可以广播给每个需要看到的用户，收到这些数据的VR设备就可以通过这些数据去模拟其角色的行为，从而让VR画面看起来像是很多用户在操控自己的角色，起到简洁且高效的同步效果。
二、实时广播同步
作为又一种示例性的实现方式，本申请在网络同步中所采用的实时广播同步，具体可以包括以下处理内容：
当前学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他学员端的VR设备，其他学员端的VR设备根据收到的位置和旋转信息预测当前学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前学员端的VR设备的自身角色。
可以理解，本申请认为，在培训过程中，用户在VR环境中的行动速度和旋转速度在不断地变化，而且频次比较高，如果想要模拟不同用户在VR场景中的位置与旋转角度，就要实时更新这些数据，而对于该部分的数据更新需求，这时上面的状态同步方案则难以满足，由于用户移动的速度和旋转的变化太快、频次太高，因此难以做到拆分同步状态来模拟。
此处实时广播同步方案的主要特点有，位置和旋转信息由VR设备(客户端)决定，VR设备(客户端)将自身用户的位置和旋转信息以广播形发送至其他VR设备(其他用户)，当其他VR设备(其他用户)收到该位置和旋转信息后，据此预测数据对应用户的当前的位置、速度、加速度、旋转速度和旋转加速度，进行模拟和展示。
举例而言，每个VR设备(客户端)会在1秒内向其他VR设备(其他用户)发送60～120次左右自身的位置和旋转信息，为的就是让其他用户在收到广播数据时能更加顺畅的模拟用户在VR环境中的移动旋转的表现，也只有这样才能让其他的VR设备(客户端)不停的更新用户的位置、移动速度和旋转角度。
不过本申请认为，若只是单纯的更新位置和旋转数据，会导致用户在VR画面中不停地闪跳，因此本申请用速度的方式表示它们的移动方式，如此让模拟的运动更为流畅。当收到广播的用户实时数据时，先计算速度、预测速度和加速度，让模拟的用户按速度和加速度的形式在屏幕中运动，而不是只更新位置，这让对应角色在画面中模拟行走的位置和方向时显著得到流畅度的提升。
此外，对于学员端的VR设备对应角色在VR环境中的空间定位，在具体应用中，本申请具体可以采用inside-out定位技术，通过设备上的若干个摄像头主动扫描周围的环境，并利用SLAM技术实现一边建立地图一边定位。
具体来说，空间定位处理，主要是为了在VR场景里实现角色的空间定位，为实现更多的人机交互而服务，其在实现上主要分为outside-in和inside-out两类，前者需要外置多个定位点设备，设备发出红外线等通过三角定位的方法确定佩戴者的位置和移动方向，后者则是利用设备自身，而不依靠外部的传感器等配件，实现虚拟场景里的空间定位，以及更多的人机交互。从应用效果来看，前者比较精准，但放置定点设备不方便，后者则更方便。
以VR眼镜为例，本申请所采用的inside-out定位技术，其利用VR眼镜上的若干个摄像头主动扫描周围的环境，并利用即时定位与地图构建(Simultaneously LocalizationAnd Mapping，SLAM)技术实现一边建立地图一边定位，二者同时进行。
此外，在服务器侧，即管理端的服务器设备，本申请也可以进行更为细致的相关优化配置，具体的，作为又一种示例性的实现方式，有：
1.管理端的服务器设备在多人任务中有人掉线或者没有参加训练的情况下，通过AI服务自动托管代为完成任务，从而可以从整体层面出发，保证整体任务的完成；
2.管理端的服务器设备利用多线程多任务线技术，实现多人保持自有任务线，其中，个人任务自由度比多人任务自由度更高，从而兼顾用户个人和团体的培训需求，且有助于让个人可以在下一个任务之前做好前期准备，如在多人协助上腿托之前，先把腿托拿过来；
3.管理端的服务器设备利用结构化数据库，构建药品库、器械库、耗材库、报告库、病人库、场景库、学员库、设备库、伤情库和处置库，在后台管理系统自由搭配不同案例，自动形成庞大的案例库系统，从而可以显著地提高场景的丰富度以及培训效率；
4.管理端的服务器设备利用热更新技术，促使脚本、模型和资源动态按需加载，从而便于资源的更新以及降低设备的配置要求。
其中，对于此处所涉及的热更新机制，热更新可以包含两个方面，一个是资源的更新，一个是脚本的更新。以Unity3d为例，Unity3d提供热更新的方案就是AssetsBundle(后面简称AB)，类似于压缩文件，相关的资源、代码都可以打成AB包，放到服务器上，然后比对MD5版本，进行热更新，它通过将资源分布在不同的AB包中可以最大程度地减少运行时的内存压力，并且可以有选择地加载内容，比如模型、贴图、预制体、音效和材质球等。
此外，对于学员端的用户体验，本申请也可以在学员可以直接感知到的人机交互方面，进行细节上的优化设计，具体的，作为又一种示例性的实现方式，学员端的VR设备具体可以利用从文本到语音(Text To Speech，TTS)系统实现角色之间的语音对话，例如用来实现病人、医生、护士等角色之间的语音对话，而不是单纯文字提示形式，从而既方便学员的人机交互，也方便在VR环境中实现更佳的代入感，从而促使创伤急救培训取得更加的培训效果。
以上是本申请提供的基于VR的多人在线配合创伤急救护理规范化培训系统的介绍，而在该基于VR的多人在线配合创伤急救护理规范化培训系统的基础上，本申请还从控制方法角度出发，提供了基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法。
可以理解，该方法应用于基于VR的多人在线配合创伤急救护理规范化培训系统，该系统主要包括教师端的处理设备、管理端的服务器设备和学员端的VR设备，对应的，具体可以包括如下步骤：
教师端的处理设备针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练；
管理端的服务器设备根据教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
学员端的VR设备根据任务配置处理的配置内容，从管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，VR资源包括场景、道具、角色和任务。
在一种示例性的实现方式中，多个的学员端的VR设备之间，通过自组网构成小型局域网环境，在VR环境中进行数据同步和传递，实现多人操作实时的网络同步。
在又一种示例性的实现方式中，网络同步具体采用状态同步、实时广播同步和帧同步中的至少一种，网络同步以更少的信息同步量来模拟其他学员的行为为目标。
在又一种示例性的实现方式中，状态同步包括以下的处理内容：
当前用户通过学员端的VR设备做出行为控制指令时，提取行为控制指令中的行为状态所需数据；
将行为状态所需数据广播给其他学员端的VR设备，促使通过行为状态所需数据模拟对应角色的行为。
在又一种示例性的实现方式中，实时广播同步包括以下处理内容：
当前学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他学员端的VR设备，其他学员端的VR设备根据收到的位置和旋转信息预测当前学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前学员端的VR设备的自身角色。
在又一种示例性的实现方式中，学员端的VR设备对应角色在VR环境中的空间定位，采用inside-out定位技术，通过设备上的若干个摄像头主动扫描周围的环境，并利用SLAM技术实现一边建立地图一边定位。
在又一种示例性的实现方式中，管理端的服务器设备在多人任务中有人掉线或者没有参加训练的情况下，通过AI服务自动托管代为完成任务；
管理端的服务器设备利用多线程多任务线技术，实现多人保持自有任务线，其中，个人任务自由度比多人任务自由度更高；
管理端的服务器设备利用结构化数据库，构建药品库、器械库、耗材库、报告库、病人库、场景库、学员库、设备库、伤情库和处置库，在后台管理系统自由搭配不同案例，自动形成庞大的案例库系统；
管理端的服务器设备利用热更新技术，促使脚本、模型和资源动态按需加载。
在又一种示例性的实现方式中，学员端的VR设备利用TTS系统实现角色之间的语音对话。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法的具体工作过程，可以参考如图1对应实施例中基于VR的多人在线配合创伤急救护理规范化培训系统的说明，具体在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请如上面对应实施例中基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法的步骤，具体操作可参考如上面对应实施例中基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法的说明，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(Read Only Memory，ROM)、随机存取记忆体(Random Access Memory，RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请如上面对应实施例中基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法的步骤，因此，可以实现本申请如上面对应实施例中基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法所能实现的有益效果，详见前面的说明，在此不再赘述。
以上对本申请提供的基于VR的多人在线配合创伤急救护理规范化培训系统、基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法以及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (6)
1.一种基于VR的多人在线配合创伤急救护理规范化培训系统，其特征在于，所述系统包括：
教师端的处理设备，用于针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，所述任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练；
管理端的服务器设备，用于根据所述教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
所述学员端的VR设备，用于根据所述任务配置处理的配置内容，从所述管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，所述VR资源包括场景、道具、角色和任务；
多个的所述学员端的VR设备之间，通过自组网构成小型局域网环境，在所述VR环境中进行数据同步和传递，实现多人操作实时的网络同步；
所述网络同步具体采用实时广播同步；
所述实时广播同步包括以下处理内容：
当前所述学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他所述学员端的VR设备，其他所述学员端的VR设备根据收到的位置和旋转信息预测当前所述学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前所述学员端的VR设备的自身角色。
2.根据权利要求1所述的系统，其特征在于，所述学员端的VR设备对应角色在所述VR环境中的空间定位，采用inside-out定位技术，通过设备上的若干个摄像头主动扫描周围的环境，并利用SLAM技术实现一边建立地图一边定位。
3.根据权利要求1所述的系统，其特征在于，所述管理端的服务器设备在多人任务中有人掉线或者没有参加训练的情况下，通过AI服务自动托管代为完成任务；
所述管理端的服务器设备利用多线程多任务线技术，实现多人保持自有任务线，其中，个人任务自由度比多人任务自由度更高；
所述管理端的服务器设备利用结构化数据库，构建药品库、器械库、耗材库、报告库、病人库、场景库、学员库、设备库、伤情库和处置库，在后台管理系统自由搭配不同案例，自动形成庞大的案例库系统；
所述管理端的服务器设备利用热更新技术，促使脚本、模型和资源动态按需加载。
4.根据权利要求1所述的系统，所述学员端的VR设备利用TTS系统实现角色之间的语音对话。
5.一种基于VR的多人在线配合创伤急救护理规范化培训系统的处理方法，其特征在于，所述方法包括：
教师端的处理设备针对多人在线配合创伤急救护理规范化培训任务进行任务配置处理，其中，所述任务配置处理的配置内容包括新建训练、配置训练人员和方案、配对设备、查看训练进度、观看训练人员视角和控制训练；
管理端的服务器设备根据所述教师端的处理设备所进行的任务配置处理的配置内容，为学员端的VR设备配置多人在线配合创伤急救护理规范化培训任务的VR环境；
所述学员端的VR设备根据所述任务配置处理的配置内容，从所述管理端的服务器设备下载VR资源，并在场景初始化进入训练场景后开始进行多人在线配合创伤急救护理规范化培训，其中，所述VR资源包括场景、道具、角色和任务；
多个的所述学员端的VR设备之间，通过自组网构成小型局域网环境，在所述VR环境中进行数据同步和传递，实现多人操作实时的网络同步；
所述网络同步具体采用实时广播同步；
所述实时广播同步包括以下处理内容：
当前所述学员端的VR设备将自身角色的位置和旋转信息以广播形发送至其他所述学员端的VR设备，其他所述学员端的VR设备根据收到的位置和旋转信息预测当前所述学员端的VR设备的自身角色当前的位置、速度和加速度，接着预测旋转速度和旋转加速度，来模拟当前所述学员端的VR设备的自身角色。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求5所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310641353.9A CN116884286B (zh) | 2023-05-29 | 2023-05-29 | 一种基于vr的多人在线配合创伤急救护理规范化培训系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310641353.9A CN116884286B (zh) | 2023-05-29 | 2023-05-29 | 一种基于vr的多人在线配合创伤急救护理规范化培训系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116884286A CN116884286A (zh) | 2023-10-13 |
| CN116884286B true CN116884286B (zh) | 2024-03-19 |
Family
ID=88257524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310641353.9A Active CN116884286B (zh) | 2023-05-29 | 2023-05-29 | 一种基于vr的多人在线配合创伤急救护理规范化培训系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116884286B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106559426A (zh) * | 2016-11-24 | 2017-04-05 | 腾讯科技（深圳）有限公司 | 一种基于帧同步的数据处理方法和服务器以及客户端 |
| CN110796910A (zh) * | 2019-11-13 | 2020-02-14 | 南昌佰米哥物联科技有限公司 | 一种高效应急培训系统和培训方法 |
| CN111105662A (zh) * | 2020-01-06 | 2020-05-05 | 北京市安全生产科学技术研究院 | 一种基于vr的突发事件应急响应实训系统、方法及设备 |
| CN111739377A (zh) * | 2020-07-21 | 2020-10-02 | 北京众绘虚拟现实技术研究院有限公司 | 一种多人互联的情景化急救系统 |
| CN112863281A (zh) * | 2021-01-06 | 2021-05-28 | 中国人民解放军陆军军医大学第一附属医院 | 一种灾害医疗救援交互训练的方法 |
| CN113572814A (zh) * | 2021-06-23 | 2021-10-29 | 北京开云互动科技有限公司 | 一种基于状态预测与校验的多人在线任务数据同步方法 |
| CN114119857A (zh) * | 2021-10-13 | 2022-03-01 | 北京市应急管理科学技术研究院 | 角色化身位置与肢体同步的处理方法、系统及存储介质 |
| CN115311920A (zh) * | 2022-08-05 | 2022-11-08 | 上海曼恒数字技术股份有限公司 | 一种vr实训系统、方法、装置、介质以及设备 |
| CN115393957A (zh) * | 2022-08-23 | 2022-11-25 | 久心医疗科技（苏州）有限公司 | 一种急救培训与考核系统及方法 |
| CN115525156A (zh) * | 2022-10-08 | 2022-12-27 | 陕西服装工程学院 | 一种基于混合现实增强技术的家居展示方法及设备 |
| CN115766809A (zh) * | 2022-11-02 | 2023-03-07 | 国网浙江省电力有限公司嘉兴供电公司 | 一种vr多人协同作业系统 |
| CN115830933A (zh) * | 2022-11-08 | 2023-03-21 | 中国人民解放军海军军医大学 | 一种医护人员急救流程模拟训练监督方法及系统 |
-
2023
- 2023-05-29 CN CN202310641353.9A patent/CN116884286B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106559426A (zh) * | 2016-11-24 | 2017-04-05 | 腾讯科技（深圳）有限公司 | 一种基于帧同步的数据处理方法和服务器以及客户端 |
| CN110796910A (zh) * | 2019-11-13 | 2020-02-14 | 南昌佰米哥物联科技有限公司 | 一种高效应急培训系统和培训方法 |
| CN111105662A (zh) * | 2020-01-06 | 2020-05-05 | 北京市安全生产科学技术研究院 | 一种基于vr的突发事件应急响应实训系统、方法及设备 |
| CN111739377A (zh) * | 2020-07-21 | 2020-10-02 | 北京众绘虚拟现实技术研究院有限公司 | 一种多人互联的情景化急救系统 |
| CN112863281A (zh) * | 2021-01-06 | 2021-05-28 | 中国人民解放军陆军军医大学第一附属医院 | 一种灾害医疗救援交互训练的方法 |
| CN113572814A (zh) * | 2021-06-23 | 2021-10-29 | 北京开云互动科技有限公司 | 一种基于状态预测与校验的多人在线任务数据同步方法 |
| CN114119857A (zh) * | 2021-10-13 | 2022-03-01 | 北京市应急管理科学技术研究院 | 角色化身位置与肢体同步的处理方法、系统及存储介质 |
| CN115311920A (zh) * | 2022-08-05 | 2022-11-08 | 上海曼恒数字技术股份有限公司 | 一种vr实训系统、方法、装置、介质以及设备 |
| CN115393957A (zh) * | 2022-08-23 | 2022-11-25 | 久心医疗科技（苏州）有限公司 | 一种急救培训与考核系统及方法 |
| CN115525156A (zh) * | 2022-10-08 | 2022-12-27 | 陕西服装工程学院 | 一种基于混合现实增强技术的家居展示方法及设备 |
| CN115766809A (zh) * | 2022-11-02 | 2023-03-07 | 国网浙江省电力有限公司嘉兴供电公司 | 一种vr多人协同作业系统 |
| CN115830933A (zh) * | 2022-11-08 | 2023-03-21 | 中国人民解放军海军军医大学 | 一种医护人员急救流程模拟训练监督方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116884286A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109166374B (zh) | 基于虚拟现实技术的教学系统 | |
| CN107340869B (zh) | 基于虚幻4引擎技术的虚拟现实交互系统 | |
| Psotka | Immersive training systems: Virtual reality and education and training | |
| CN100442313C (zh) | 三维虚拟空间模拟器及其系统 | |
| CN107248342A (zh) | 基于虚拟现实技术的三维互动教学系统 | |
| Li | Design of multimedia teaching platform for Chinese folk art performance based on virtual reality technology | |
| CN109686152A (zh) | 一种教育培训系统 | |
| Parmar | Evaluating the effects of immersive embodied interaction on cognition in virtual reality | |
| Zhao et al. | Analysis of the application of virtual reality technology in football training | |
| Greenwood et al. | Augmented reality and mobile learning: theoretical foundations and implementation | |
| Peña-Ríos et al. | Towards the next generation of learning environments: An InterReality learning portal and model | |
| Joslin et al. | Trends in networked collaborative virtual environments | |
| Song et al. | Research on application of VR technology in art design teaching | |
| CN116884286B (zh) | 一种基于vr的多人在线配合创伤急救护理规范化培训系统 | |
| Saraubon et al. | System Design of Mobile Augmented Book. | |
| De Leo et al. | A virtual reality system for the training of volunteers involved in health emergency situations | |
| CN115379278B (zh) | 基于扩展现实（xr）技术沉浸式微课的录制方法及系统 | |
| Zhang et al. | Introducing Massive Open Metaverse Course (MOMC) and Its Enabling Technology | |
| CN117111724A (zh) | 一种用于xr的数据处理方法及系统 | |
| Huang et al. | Application of acupuncture acupoint visual teaching system by neural regulation | |
| Chen | Construction of English Resource Database Based on Virtual Reality Technology | |
| Cho et al. | LOTUS: composing a multi-user interactive tiled display virtual environment | |
| EP4280226A1 (en) | Remote reproduction method, system, and apparatus, device, medium, and program product | |
| Zhang et al. | Virtual Classrooms: Making the Invisible, Visible | |
| Ferdig et al. | Building an augmented reality system for consumption and production of hybrid gaming and storytelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |