CN111427453A

CN111427453A - 一种医疗虚拟现实培训场景下多人协同交互与感知的方法

Info

Publication number: CN111427453A
Application number: CN202010238308.5A
Authority: CN
Inventors: 李笑天; 叶春; 潘嶓
Original assignee: Shanghai Pnx Information Technology Co ltd
Current assignee: Shanghai Pnx Information Technology Co ltd
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2020-07-17

Abstract

一种医疗虚拟现实培训场景下多人协同交互与感知的方法，属交互与感知领域。构建一个由多个客户端和一个服务端构成的多人协同虚拟环境；当某客户端的操作引起物体的空间坐标和方向变化时，该客户端生成Socket子进程，逐帧向服务器发送数据格式信息，服务器的守护进程接收信息后，通过UDP广播方式将数据发送给其他客户端，其他客户端接收到数据后，逐帧同步更新该物体最新空间位置或状态变化，实现所有客户端的协同感知功能。其支持不同医疗角色的多用户同时在同一虚拟手术场景里协同操作和感知，使得任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时地同步给其他用户，进而实现多用户之间的相互感知。适用于医疗虚拟现实培训领域。

Description

一种医疗虚拟现实培训场景下多人协同交互与感知的方法

技术领域

本发明属于虚拟现实培训中的交互与感知领域，尤其涉及一种在医疗虚拟现实培训场景下实现多人协同交互与感知的方法。

背景技术

虚拟现实技术(英文名称：Virtual Reality，缩写为VR)，是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术于一体，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。

随着社会生产力和科学技术的不断发展，各行各业对VR技术的需求日益旺盛。VR技术也取得了巨大进步，并逐步成为一个新的科学技术领域。

目前，现有的医疗虚拟现实培训场景主要分为以下3类：

1、医学理论教学：

将虚拟三维人体、人体器官和虚拟医疗器械等模型，构建医生操作程序，将人体特征模型与各种操作过程有机的结合，并通过人与计算机人机实时交互，为学生学习提供丰富的资源和交互学习环境。

此类培训系统仅仅停留在实现了具有临场感的三维可视化场景，学生通过简单的触碰获取理论知识，且教学内容固定并单一，不能模拟复杂的手术过程。

2、虚拟实验教学：

通过虚拟现实技术既可以虚拟三维人体和器官，还可以模拟医学仪器，为学生提供模拟的实验学习环境，让学生自由的观察、移动和生成人体器官和组织解剖结构；还可以通过人机交互操作，使学生感受和体验视觉反馈。

此类培训系统增加了固定情节模式下的角色与模型的简单交互，但也无法模拟复杂的手术过程。

3、虚拟手术教学：

虚拟手术模拟器可以给学生提供一个多感知性、沉浸性、交互性和构想性的手术虚拟训练环境，学生通过视觉和听觉感受人体多种器官和组织结构，学习各种手术实际操作，体验如何应付各种临床手术的实际情况。虚拟环境还为操作者提供了三维交互工具，可以模拟手术的定位和操作，在高性能计算机环境下，还可以对手术者的操作给出实时的响应，使手术者操作的感觉就像在真实人体上的手术一样，既不会对患者造成生命危险，又可以重现高风险、低概率的手术病例。

但此类培训系统不能实现多人协作，只能单人单岗位学习。

明显地，现有的虚拟医疗培训系统，均只能实现一个人(即通常所说的一个用户)的虚拟环境模拟和操作，没有能够同时提供给多个用户同时参与一个培训项目，并在该培训项目进行时，能够让所有参加该培训项目的参与者，都能够体验、观察或感知到其中一个用户的操作过程，亦无法实现当一个用户对某个物体进行操作时，防止其他用户对此物体进行操作的功能；更无法体现出医疗培训过程中所要求的多岗位，多工种的高协作性。

同时，现有的虚拟医疗培训系统因为不需要考虑多客户端并行、协同和与服务器交互、延迟等问题，技术难度和开发成本都较低，类似于电子游戏中的单机版游戏。

而对于医疗培训过程中所要求的多岗位，多工种的高协作性，现有的虚拟仿真培训系统因无法实现全方位，多角色的协同学习而存在明显的缺陷，不能满足实际使用过程中的需要。

发明内容

本发明所要解决的技术问题是提供一种医疗虚拟现实培训场景下多人协同交互与感知的方法。其采用多人协同虚拟环境(Collaborative Virtual Environment，CVE)技术，更加突出多用户间的“协同”，强调多用户间的“相互感知”，可以支持不同医疗角色的多用户同时在同一虚拟手术场景里协同操作和感知，使得任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时地同步给其他用户，进而实现多用户之间的相互感知。

本发明的技术方案是：提供一种医疗虚拟现实培训场景下多人协同交互与感知的方法，包括在客户端定义用户角色，客户端与服务端之间通过的对应数据传输，由服务端根据客户端的操作，实现虚拟场景的构建或变化；其特征是：

构建一个由N个客户端和一个服务端构成的多人协同虚拟环境；

N个客户端和服务端之间，分别对应地单独进行数据传输或信息交换；

所述的客户端用于实现功能层的功能；

所述的服务端用于实现第一交互层、第二交互层以及数据库的功能；

当某一客户端的操作引起物体的空间坐标和方向变化时，该客户端生成Socket子进程，逐帧向服务器发送上述数据格式信息，服务器的守护进程接收信息后，通过UDP广播的方式将此数据发送给其他客户端，其他客户端接收到数据后，逐帧同步更新该物体的最新空间位置或状态变化，进而实现所有客户端的协同感知功能；

当某个客户端需要操作某个虚拟物体，在触碰到物体时，会先向服务器发送一个操作请求，服务器收到请求后，会在内存中的物体锁定表里检查该物体是否已锁；如果未锁，服务器会先在物体锁定表里增加这个物体的锁定记录，然后向该客户端发出“可操作”的响应；如果此时有另一用户发出操作请求，服务器检查物体锁定表发现此物体已被其他用户锁定，会向发起客户端发出“不可操作”的响应，防止参与协同的多个用户对同一个虚拟物体同时操作而引发操作冲突，进而实现协同并行控制功能；

所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，通过采用协同感知和协同并行控制同步并行的方式，来构建医疗虚拟现实培训场景下的多人协同虚拟环境，实现医疗虚拟现实培训场景下多用户间的“相互感知”功能；

所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，通过对不用用户的角色和权限控制，用户的基本手势和对虚拟空间中物体的各种动作操作，都会发送到服务器端程序并被实时转发给其他人，参与医疗虚拟现实培训场景的多人，直接可以互相感知到对方的操作过程和操作结果，进而实现医疗虚拟现实培训场景下多用户间的协同交互功能。

具体的，其所述功能层的功能至少包括：培训场景、可操作物品模型、用户角色控制、动作手势控制、语音及动画控制以及用户界面。

其第一交互层为业务逻辑层，的第二交互层为空间共享层。

其第一交互层至少包括：用户角色控创建、培训场景同步、并发控制、文字/语音/动画同步、流程控制以及评分系统；

其第二交互层至少包括：物品平空间位置同步。

进一步的，一个客户端将用户角色创建数据、场景变换数据、UI操作数据、动作手势数据、文字/语音/动画变化数据、流程流转数据发送给服务端，实现业务逻辑数据的发送收功能；

服务端对接收到的业务逻辑数据进行处理，并将处理结果分别发送给其他客户端，实现业务逻辑数据的接收、处理及分发功能；

其他客户端接收最新的业务逻辑数据，实现业务逻辑数据的同步；

当一个客户端在虚拟场景中对某一物体进行移动操作时，该用户角色或该客户端所操作物品的空间位置变化数据，从该客户端被发送至服务端，实现用户角色操作物品空间位置变化数据的发送功能；

服务端对接收到的用户角色操作物品空间位置变化数据，进行处理，并将处理结果分别发送给其他客户端，实现用户角色操作物品空间位置变化数据的接收、处理及分发功能；

其他客户端接收最新的该操作物品的空间位置变化数据，进而实现操作物品空间位置的同步。

当任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时同步给其他用户。

进一步的，所述的协同感知包括以下步骤：首先定义虚拟物体的状态和空间数据结构；当某一客户端的操作引起物体的空间坐标和方向变化时，该客户端生成Socket子进程，逐帧向服务器发送上述数据格式信息；服务器的守护进程接收信息后，通过UDP广播的方式将此数据发送给其他客户端；其他客户端接收到数据后，逐帧同步更新该物体的最新空间位置或状态变化，实现所有客户端的协同感知。

进一步的，当某一个客户端需要操作某个虚拟物体，在该用户端触碰到物体时，系统会先向服务器发送一个操作请求；服务器收到该客户端的请求后，在内存中的物体锁定表里检查该物体是否已锁；如果未锁，服务器会先在物体锁定表里增加这个物体的锁定记录，然后向该客户端发出“可操作”的响应；如果此时有第二个客户端发出操作请求，服务器检查物体锁定表发现此物体已被其他用户锁定，会向第二个客户端发出“不可操作”的响应；当某一个客户端操作完物体后，客户端会向服务器发送请求解锁；服务器在物体锁定表里判断是否是该客户端锁定的物体；如果是，就删除这条锁定记录；此时，其他客户端才能申请对此物体的操作请求。

所述医疗虚拟现实培训场景下多人协同交互与感知的方法，通过采用协同感知和协同并行控制的方式，实现多用户端之间的场景数据融通交互，在虚拟现实培训过程中，不同角色的医疗人员可以感知其它操作人员的工作状态，并能通过观察不同物体的空间状态，获知其它操作人员当前行为。

所述医疗虚拟现实培训场景下多人协同交互与感知的方法，采用多人协同虚拟环境技术，体现了多岗位，多工种的高协作性，能够在医疗虚拟现实培训场景下，实现全方位，多角色的协同学习。

与现有技术比较，本发明的优点是：

1.本技术方案使用了多人协同虚拟环境(Collaborative Virtual Environment，CVE)技术，与现有技术相比，更加突出多用户间的“协同”，强调多用户间的“相互感知”，在情景创设、协同工作、高交互性和实时性等方面，具有明显优势；

2.本技术方案通过对不用用户的角色和权限控制，用户的基本手势和对虚拟空间中物体的各种动作操作都会发送到服务器端程序并被实时转发给其他人，参与同一虚拟操作的多个参与者或用户，可以直接可以互相感知到对方的操作过程和操作结果，就如同在现实场景中一样；

3.本技术方案除了虚拟物体的空间位置和状态感知以外，还支持文字、语音和动画等不同媒体类型的协同感知，实现了场景数据融通交互；

4、采用本技术方案后，使得在培训过程中，不同角色的医疗人员可以感知其它操作人员的工作状态(如：正在完成哪项任务、进展到什么程度等)，并能通过观察不同物体的空间状态，获知其它操作人员的当前行为；

5、本技术方案采用多人协同虚拟环境技术，体现了多岗位，多工种的高协作性，能够在医疗虚拟现实培训场景下，实现全方位，多角色的协同学习。

附图说明

图1是本发明的系统框架结构示意图；

图2是本发明的交互工作原理示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

图1中，在硬件层面上，本技术方案中，包括N个客户端和一个服务端，客户端用于实现功能层的功能，服务端用于实现第一交互层(业务逻辑层)、第二交互层(空间共享层)以及数据库的功能。

具体的，功能层的功能至少包括：培训场景、可操作物品模型、用户角色控制、动作手势控制、语音及动画控制以及用户界面(亦称UI界面，User Interface)。

第一交互层至少包括：用户角色控创建、培训场景同步、并发控制、文字/语音/动画同步、流程控制以及评分系统。

第二交互层至少包括：物品平空间位置同步。

数据库至少包括：模型数据库、场景数据库、流程数据库、评分数据库以及其他区数据库。

各个客户端和服务器之间，分别对应地单独进行数据传输或信息交换。

图2中，一个客户端(图中以客户端1来表示)将用户角色创建数据、场景变换数据、UI操作数据、动作手势数据、文字/语音/动画变化数据、流程流转数据发送给服务端，实现业务逻辑数据的发送收功能；

当一个客户端在虚拟场景中对某一物体进行移动操作时，该用户角色(该客户端)所操作物品的空间位置变化数据，从该客户端被发送至服务端，实现用户角色操作物品空间位置变化数据的发送功能；

其他客户端接收最新的该操作物品的空间位置变化数据，实现操作物品空间位置的同步。

通过采用上述系统功能和数据传输模式，任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时同步给其他用户。

本发明的技术方案，使用了多人协同虚拟环境(Collaborative VirtualEnvironment，CVE)技术。该技术更加突出多用户间的“协同”，强调多用户间的“相互感知”，在情景创设、协同工作、高交互性和实时性等方面，具有明显优势。通过对不用用户的角色和权限控制，用户的基本手势和对虚拟空间中物体的各种动作操作都会发送到服务器端程序并被实时转发给其他人，多人直接可以互相感知到对方的操作过程和操作结果，就如同在现实场景中一样。除了虚拟物体的空间位置和状态感知以外，本技术局方案还支持文字、语音和动画等不同媒体类型的协同感知。

具体来说，在本申请的技术方案中，使用了以下2种技术：

1)协同感知技术：

感知是一切行为的开始。虚拟环境也不例外，实现多用户之间的协同感知，是协同虚拟现实系统的基础。协同感知的定义是:取得目前环境之信息，以便其他成员得知其所处的状态，并且据此决定如何进行接下来的工作。

具体的实现为：

首先定义虚拟物体的状态和空间数据结构：

{"RoomID":""，"UserID":""，"ModelID":""，"Transform":{"Rotation":""，"Scale":""，"X":""，"Y":""，"Z":""}}

参数说明：

RoomID：房间ID(不同的培训场景虚拟为不同的房间)；

UserID：用户ID(一个培训场景内不同的接入用户)；

ModelID：虚拟物体ID(虚拟物体的唯一标识)；

Transform：虚拟物体数据；

Rotation：旋转角度；

Scale：缩放比例；

X：空间坐标x值；

Y：空间坐标y值；

Z：空间坐标z值。

当某一客户端的操作引起物体的空间坐标和方向变化时(包括移动、放大、缩小、旋转等)，客户端生成Socket子进程逐帧向服务器发送上述数据格式信息(其中Transform的数值是在不停变化的)，服务器的守护进程接收信息后，通过UDP广播的方式将此数据发送给其他客户端，其他客户端接收到数据后，逐帧同步更新该物体的最新空间位置或状态变化，实现所有客户端的协同感知。

2)协同并行控制技术：

协同并行控制的目的是防止参与协同的多个用户对同一个虚拟物体同时操作而引发操作冲突。解决这个问题的基本方法有对象锁方法和优先级控制法。

当多个客户端同时操作某个虚拟物体时，可能产生操作冲突。系统采用对象锁的方法，当某个客户端需要操作某个虚拟物体，在触碰到物体时，系统会先向服务器发送一个操作请求，请求的数据结构定义如下：

{"RoomID":""，"UserID":""，"ModelID":""，"Lock":"1"}

参数说明：

RoomID：房间ID；

UserID：用户ID；

ModelID：虚拟物体ID；

Lock：1表示请求上锁，0表示请求解锁。

服务器收到请求后，会在内存中的物体锁定表里检查该物体是否已锁。如果未锁，服务器会先在物体锁定表里增加这个物体的锁定记录，然后向该客户端发出“可操作”的响应。如果此时有另一用户发出操作请求，服务器检查物体锁定表发现此物体已被其他用户锁定，会向发起客户端发出“不可操作”的响应。用户操作完物体后(比如手离开物体)，客户端会向服务器发送请求解锁：

{"RoomID":""，"UserID":""，"ModelID":""，"Lock":"0"}

服务器在物体锁定表里判断是否是该客户端锁定的物体，如果是就删除这条锁定记录，此时其他客户端才能申请对此物体的操作请求。

在医疗虚拟现实培训系统中的大部分培训场景里，都会有主治医生、辅助医生、麻醉医生和护士等角色，接受培训的相关人员在系统启动后，要先选择参加的手术培训，再选择自己的角色，然后等待其他用户选择相应角色后同时进入到培训场景。

技术效果1(文字协同感知)：

主治医生要求护士测量虚拟病人血压，护士会按虚拟心电监护仪上测量按钮，测量按钮按下后，护士可以在心电监护仪上看到病人当前的血压数据，同时该数据也实时地同步给了其他客户端，场景内的其他人也能看到此数据。

技术效果2(文字协同感知)：

主治医生可以在自己的UI界面为病人开医嘱，输入医嘱内容提交后，其他人会弹出对话框显示主治医生刚刚开具的医嘱内容。

技术效果3(语音协同感知)：

虚拟病人出现不适，会发出声音“医生，我头有点疼”，这个声音会同步到场景内所有客户端的耳机中，让所有人都能听到。

技术效果4(动画协同感知)：

虚拟病人突然发生抽搐，这个是由客户端控制播放的动画，此动画会同步到场景内所有客户端的当前视野，让所有人都能看到。

技术效果5(物体协同感知)：

医生要求给虚拟病人输液，护士从虚拟桌上拿起虚拟输液包，走到虚拟输液架旁，把输液包挂在输液架上，再拿起输液包上的针头，走到病人旁，扎在病人手背上，在几分钟过后，输液包里的液体体积变少。

这个过程被全程同步，其他人可以看到输液包的移动(移动感知)，桌上输液包消失和输液包挂在输液架上(位置感知)，输液包液体变少(状态感知)，和病人手背上的针头(位置感知)。

技术效果6(物体并行控制)：

医生要求给虚拟病人打针，只有第一个触碰到针筒的用户角色才可以拿起针筒，避免多人同时操作虚拟物体的逻辑错误。

以上效果可以实现场景数据融通交互，使得培训过程中，不同角色的医疗人员可以感知其它操作人员的工作状态(如：正在完成哪项任务、进展到什么程度等)，并能通过观察不同物体的空间状态，获知其它操作人员的当前行为。

如前所述，现有的虚拟医疗培训系统因为不需要考虑多客户端并行、协同和与服务器交互、延迟等问题，技术难度和开发成本都较低，类似于单机版游戏。

而本申请在实现效果上与多人在线角色扮演游戏(MMORPG)类似，但在技术上有明显不同，具体区别如下：

以对实时性要求最高的射击类游戏为例：

*使命召唤OL：玩家本身走的是基于UDP的P2P模式，既“点对点”技术。

*守望先锋：具备一定的确定性的状态同步，所有都走服务器，客户端来说只会进行预测来实现本地操作的及时反馈。

*虚幻引擎：本质和守望先锋的差不多，在物理的演算中能够回退并且重新计算，重新计算物理的方案是牛顿力学。

*穿越火线：带宽消耗上和使命召唤OL很像，所以应该是“P2P”模式。

*和平精英：载具的同步基于主从机制，开车的负责完整的模拟，其他客户端进行导航预测，插值等常规手法，有点区别的就是在即将发生碰撞时所有客户端将会进行物理模拟来达到最好的表现力。

*穿越火线手游：做法很常规，服务器是权威，跑着物理模拟。

上述游戏几乎都是基于纯“状态同步”的。

“状态同步”是指：客户端和服务端都模拟状态变更，客户端将事件发送给服务器后，在本地预测状态变更。服务器收到状态后，在服务器上也做同样的模拟，然后将变化的状态传回给客户端。对于没有变化的对象，客户端保持原有状态(运动或者静止)，对于变化了的对象，客户端以服务器的返回为准。

而本申请采用的技术方案是帧同步。在系统中的每个帧里都会同步用户事件，比如客户端的触碰，拿起等操作，同时虚拟物体的状态变化也是逐帧主动发送给服务器的，经过服务器实时判断、处理和广播之后，逐帧同步到其他客户端实现状态变更。此技术对网络延迟有较高要求，但实现效果最好，非常适合需要精确模拟的系统。

实施例：

培训场景：产科子痫急救演练

参与培训的人员分为4个角色：

角色A：产科主治医生-高年资；

角色B：产科辅助医生-低年资；

角色C：助产士；

角色D：麻醉医生。

系统应用启动后，4位用户在自己的UI界面上都选择“产科子痫急救演练”，然后选择各自的角色，系统自动加载虚拟场景。

虚拟场景为产科急诊室，虚拟物体包括孕妇(已躺在手术床上)，心电仪，胎心仪，输液架，物品桌。物品桌上有输液包，听诊器，打针针筒，抽血针筒，微泵，眼罩，开口钳等物品。

标准剧情如下：

1.所有角色显示病人病史信息：

服务器程序群发文字数据({"RoomID":"001"，"ActionID":"7777"，"Data":{"TextID":"1001"}}})给所有客户端，客户端弹出对话框显示ID为1001对应的文字内容，用户看完后手动关闭对话框。

2.角色C测血压：

角色C按下心电仪上的检测按钮，客户端发送动作ID({"RoomID":"001"，"UserID":"3"，"ActionID":"9000"})给服务器程序，服务器程序群发数据({"RoomID":"001"，"ModelID":"1001"，"Data":{"BloodPressure":"185/115"，"HeartRate":"86"，"Breath":"20"，"O2":"97"}})给所有客户端，所有用户可以在心电仪上看到孕妇的血压、心跳、呼吸和氧饱和度等数据。

3.角色C测胎心：

角色C触碰胎心仪上的胎心探头，客户端发送数据{"RoomID":"001"，"UserID":"3"，"ModelID":"2001"，"Lock":"1"}给服务器验证是否可操作，服务器返回可操作后，角色C可以拿起探头，此时客户端逐帧发送当前探头的坐标数据给服务器:{"RoomID":"001"，"UserID":"3"，"ModelID":"2002"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.01"，"Y":"0.02"，"Z":"0.03"}}，在探头移动过程中，X，Y，Z的值是不断变化的，服务器接收到数据后，实时向其他用户客户端转发该数据，其他客户端主动控制探头移动到接收到数据内的空间位置，因为是逐帧发送和就收的，这样其他用户就能看到探头在很平滑的移动，感知角色C的操作。角色C把探头放到孕妇肚子处，会触发动作发送给服务器：{"RoomID":"001"，"UserID":"3"，"ActionID":"9001"}，服务器群发数据({"RoomID":"001"，"ModelID":"2001"，"Data":{"HeartRate":"140"}})给所有客户端，所有用户可以在胎心仪上看到婴儿的胎心率。角色C把探头放回胎心仪时，发送数据{"RoomID":"001"，"UserID":"3"，"ModelID":"2001"，"Lock":"0"}，解除对探头的锁定。

4.孕妇提示“我头有点疼”：

服务器群发命令{"RoomID":"001"，"ModelID":"1000"，"ActionID":"2001"，"Data":{"VoiceID":"101"，"AnimationID":"201"}}，所有客户端同时播放声音和嘴部动画。

5.角色B进行体格检查：

角色B触碰物品桌上的听诊器，客户端发送数据{"RoomID":"001"，"UserID":"2"，"ModelID":"2003"，"Lock":"1"}给服务器验证是否可操作，服务器返回可操作后，角色B可以拿起听诊器探头，此时客户端逐帧发送当前探头的坐标数据给服务器:{"RoomID":"001"，"UserID":"2"，"ModelID":"2003"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.05"，"Y":"0.06"，"Z":"0.07"}}。角色B把探头放到孕妇心脏处，会触发动作发送给服务器：{"RoomID":"001"，"UserID":"2"，"ActionID":"9002"}，服务器群发数据({"RoomID":"001"，"ModelID":"2003"，"Data":{"HeartRate":"90"})给所有客户端，所有用户可以在心电仪上看到孕妇的心跳数据。角色B把探头放回物品桌上时，发送数据{"RoomID":"001"，"UserID":"2"，"ModelID":"2003"，"Lock":"0"}，解除对探头的锁定。

6.角色A开医嘱：

角色A客户端显示开医嘱UI，角色A开具医嘱(生理盐水100ml+25％硫酸镁20ml静滴，硝苯地平10mg口服)，医嘱数据({"RoomID":"001"，"UserID":"1"，"ActionID":"9003"，"Data":[{"MedicineID":"1001"，"Amount":"1"，"Usage":"1"}，{"MedicineID":"1002"，"Amount":"1"，"Usage":"2"}]})发送给服务器，服务器转发医嘱数据({"RoomID":"001"，"ActionID":"7788"，"Data":[{"MedicineID":"1001"，"Amount":"1"，"Usage":"1"}，{"MedicineID":"1002"，"Amount":"1"，"Usage":"2"}]}})给其他角色客户端显示此医嘱内容。

7.角色C执行医嘱：

角色C从物品桌上拿起输液包，挂在输液架上({"RoomID":"001"，"UserID":"3"，"ModelID":"2004"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.02"，"Y":"0.03"，"Z":"0.04"}})，然后拿起输液包旁边的输液针头，扎在孕妇手臂上({"RoomID":"001"，"UserID":"3"，"ModelID":"2005"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.01"，"Y":"0.02"，"Z":"0.03"}})。其他角色可以看到此过程。

8.角色C执行医嘱：

角色C从物品桌上拿起药瓶，放到孕妇嘴边({"RoomID":"001"，"UserID":"3"，"ModelID":"2006"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.02"，"Y":"0.03"，"Z":"0.04"}})，此时播放孕妇张嘴动画({"RoomID":"001"，"ModelID":"1000"，"ActionID":"2001"，"Data":{"VoiceID":""，"AnimationID":"202"}}，播放药品里药片掉入孕妇嘴中动画({"RoomID":"001"，"ModelID":"2006"，"ActionID":"2001"，"Data":{"VoiceID":""，"AnimationID":"203"}})，播放孕妇闭嘴动画({"RoomID":"001"，"ModelID":"1000"，"ActionID":"2001"，"Data":{"VoiceID":""，"AnimationID":"204"}})。过程通过服务器转发给其他角色展示。

9.孕妇突发抽搐：

服务器通知所有客户端播放孕妇抽搐动画。{"RoomID":"001"，"ModelID":"1000"，"ActionID":"2002"，"Data":{"VoiceID":""，"AnimationID":"205"}}

10.角色D打镇定剂：

角色D从物品桌上拿起打针针筒({"RoomID":"001"，"UserID":"4"，"ModelID":"2007"，"Transform":{"Rotation":"0"，"Scale":"1"，"X":"0.03"，"Y":"0.04"，"Z":"0.05"}})，触碰孕妇手臂{"RoomID":"001"，"UserID":"4"，"ActionID":"9004"}，此时播放打针动画({"RoomID":"001"，"ModelID":"2007"，"ActionID":"2001"，"Data":{"VoiceID":""，"AnimationID":"206"}})。

…后续操作过程略…。

11.显示结束剧情：

每个角色的操作结果会导致不同结束剧情，服务器群发结束剧情数据给每个客户端显示。{"RoomID":"001"，"ActionID":"8888"，"Data":{"EndID":"1001"}}

12.显示评分界面：

服务器为每个角色在场景中所作的操作打分，并将评分结果发送给每个角色。只发送操作错误的记录，客户端根据每个操作的分值按总分100分减扣。数据格式：{"RoomID":"001"，"UserID":"1"，"ActionID":"9999"，"Data":[{"SceneID":"1001"，"ActionID":"9003"，"Score":"1"}，{{"SceneID":"1001"，"ActionID":"9004"，"Score":"5"}]}

通过上述过程，本发明的技术方案，可以实现场景数据融通交互，使得培训过程中，不同角色的医疗人员可以感知其它操作人员的工作状态(如：正在完成哪项任务、进展到什么程度等)，并能通过观察不同物体的空间状态，获知其它操作人员的当前行为。

需要声明的是，本申请的技术方案，不涉及到疾病的诊断和治疗领域，只是提供一种可供多人同时参加的、虚拟环境下的医疗虚拟现实培训系统及培训方法。

综上，本发明的技术方案，采用了多人协同虚拟环境技术，体现了多岗位，多工种的高协作性，能够实现全方位，多角色的协同学习；其更加突出多用户间的“协同”，强调多用户间的“相互感知”，通过对不用用户的角色和权限控制，用户的基本手势和对虚拟空间中物体的各种动作操作都会发送到服务器端程序并被实时转发给其他人，多人直接可以互相感知到对方的操作过程和操作结果，就如同在现实场景中一样。

本发明的技术方案，可以支持不同医疗角色的多用户同时在同一虚拟手术场景里协同操作和感知，任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时同步给其他用户，进而实现了多用户之间的相互感知。

本发明的技术方案，除了虚拟物体的空间位置和状态感知以外，还支持文字、语音和动画等不同媒体类型的协同感知。

本申请的技术方案，支持不同医疗角色的多用户同时在同一虚拟手术场景里协同操作和感知，任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时同步给其他用户，最终实现了多用户之间的相互感知。

本发明可广泛用医疗虚拟现实培训领域。

Claims

1.一种医疗虚拟现实培训场景下多人协同交互与感知的方法，包括在客户端定义用户角色，客户端与服务端之间通过的对应数据传输，由服务端根据客户端的操作，实现虚拟场景的构建或变化；其特征是：

所述的客户端用于实现功能层的功能；

所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，通过采用协同感知和协同并行控制同步并行的方式，来构建医疗虚拟现实培训场景下的多人协同虚拟环境，进而实现医疗虚拟现实培训场景下多用户间的“相互感知”功能；

2.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述功能层的功能至少包括：培训场景、可操作物品模型、用户角色控制、动作手势控制、语音及动画控制以及用户界面。

3.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述的第一交互层为业务逻辑层，所述的第二交互层为空间共享层。

4.按照权利要求3所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述的第一交互层至少包括：用户角色控创建、培训场景同步、并发控制、文字/语音/动画同步、流程控制以及评分系统；

所述的第二交互层至少包括：物品平空间位置同步。

5.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是一个客户端将用户角色创建数据、场景变换数据、UI操作数据、动作手势数据、文字/语音/动画变化数据、流程流转数据发送给服务端，实现业务逻辑数据的发送收功能；

6.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是任何用户在操作虚拟物体时，虚拟物体的状态和连续性变化都会实时同步给其他用户。

7.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述的协同感知包括以下步骤：

首先定义虚拟物体的状态和空间数据结构；

当某一客户端的操作引起物体的空间坐标和方向变化时，该客户端生成Socket子进程，逐帧向服务器发送上述数据格式信息；

服务器的守护进程接收信息后，通过UDP广播的方式将此数据发送给其他客户端；

其他客户端接收到数据后，逐帧同步更新该物体的最新空间位置或状态变化，实现所有客户端的协同感知。

8.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是当某一个客户端需要操作某个虚拟物体，在该用户端触碰到物体时，系统会先向服务器发送一个操作请求；

服务器收到该客户端的请求后，在内存中的物体锁定表里检查该物体是否已锁；

如果未锁，服务器会先在物体锁定表里增加这个物体的锁定记录，然后向该客户端发出“可操作”的响应；

如果此时有第二个客户端发出操作请求，服务器检查物体锁定表发现此物体已被其他用户锁定，会向第二个客户端发出“不可操作”的响应；

当某一个客户端操作完物体后，客户端会向服务器发送请求解锁；

服务器在物体锁定表里判断是否是该客户端锁定的物体；

如果是，就删除这条锁定记录；

此时，其他客户端才能申请对此物体的操作请求。

9.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述医疗虚拟现实培训场景下多人协同交互与感知的方法，通过采用协同感知和协同并行控制的方式，实现多用户端之间的场景数据融通交互，在虚拟现实培训过程中，不同角色的医疗人员可以感知其它操作人员的工作状态，并能通过观察不同物体的空间状态，获知其它操作人员当前行为。

10.按照权利要求1所述的医疗虚拟现实培训场景下多人协同交互与感知的方法，其特征是所述医疗虚拟现实培训场景下多人协同交互与感知的方法，采用多人协同虚拟环境技术，体现了多岗位，多工种的高协作性，能够在医疗虚拟现实培训场景下，实现全方位，多角色的协同学习。