CN116661600A - 基于多视角行为辨识的多人协同外科手术虚拟实训系统 - Google Patents

Abstract

本发明公开一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，涉及手术虚拟实训领域，系统包括：控制模块、用于构建用于进行多人协同外科手术的虚拟环境虚拟环境构建模块、物品交换控制模块、用于多视角采集手术实施者的手术动作信息的动作捕捉模块、用于将手术动作信息同步赋给虚拟环境中的所述虚拟实施者的手术动作同步模块和用于将每一手术实施者的手术动作信息同步发送给各手术实施者的通信模块。本发明构建一个共享的虚拟空间，且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。

Description

基于多视角行为辨识的多人协同外科手术虚拟实训系统

技术领域

本发明涉及手术虚拟实训领域，特别是涉及一种基于多视角行为辨识的多人协同外科手术虚拟实训系统。

背景技术

外科手术是临床治疗的一种重要手段，具有见效快、针对性强等优势，但手术操作复杂且具有一定风险，因此外科医生通常需要长时间的训练与积累，才能达到较高的临床技能。传统手术训练使用人造模型、尸体、动物等作为训练对象，其存在诸多局限和问题：训练成本高、资源稀少、无法实现自主训练等。随着计算机技术的飞速发展，虚拟手术技术的出现成为解决此类问题的有效手段。虚拟手术为用户提供了手术场景的真实再现，通过人机交互模拟手术全过程，虚拟手术仿真系统可以专门针对手术过程中可能发生的各种现象进行仿真模拟，并且可反复操作，不受时间和空间的限制。目前已有将虚拟仿真技术应用于外科实践的研究，这种实践主要是针对学生个人的，用户彼此分离，完成各自的实验。

现阶段的研究团队的研究重点主要是将虚拟仿真技术应用在具体的手术案例上，侧重于手术的执行训练，训练重点是手眼合作和特定任务的必需运动技能，例如抓取、缝合等技能。而通常的外科手术是一个团队合作任务，除了特定的手术场景和操作方式需要进行训练外，还需要进行整体规划，提高手术过程中的团队配合能力，同时增强虚拟实训平台的通用性和扩展性。

因此，本发明提出一种基于多视角行为辨识的多人协同外科手术虚拟实训系统。

发明内容

本发明的目的是提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，可构建一个共享的虚拟空间，允许多个手术实施者在虚拟空间中协同完成仿真的通用外科手术任务，并且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。

为实现上述目的，本发明提供了如下方案：

一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，所述系统包括：控制模块和分别与所述控制模块连接的虚拟环境构建模块、动作捕捉模块、手术动作同步模块、通信模块和物品交换控制模块；

所述虚拟环境构建模块，用于构建用于进行多人协同外科手术的虚拟环境；所述虚拟环境中包括各项手术用物品、与手术实施者对应的虚拟实施者和虚拟手术对象；

所述物品交换控制模块，用于根据所述手术实施者的物品使用请求，控制所述手术用物品的执行手术动作；

所述动作捕捉模块，用于多视角采集所述手术实施者的手术动作信息；

所述手术动作同步模块，用于将所述手术动作信息同步赋给所述虚拟环境中的所述虚拟实施者；

所述通信模块，用于将每一所述手术实施者的手术动作信息同步发送给各所述手术实施者。

可选的，所述系统还包括与所述控制模块连接的运动姿态采集及同步模块；所述运动姿态采集及同步模块用于实时采集所手术实施者的运动姿态并将所述运动姿态同步至所述虚拟实施者。

可选的，所述系统还包括与所述控制模块连接的触发检测模块；所述触发检测模块用于在所述虚拟环境中执行手术操作时，检测所述手术实施者之间、所述手术实施者与所述手术用物品之间是否产生触发操作并判断所述触发操作是否为手术操作所需的交互操作。

可选的，所述系统还包括与所述控制模块连接的手术流程提示模块；所述手术流程提示模块用于在所述虚拟环境中，按照预设的手术流程向所述手术实施者提示不同的手术流程阶段。

可选的，所述动作捕捉模块的硬件结构包括分布于各手术实施者不同方位的摄像装置和设于所述手术实施者不同活动关节的反光装置。

可选的，所述系统采用MirrorNetworking网络框架。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，涉及手术虚拟实训领域，系统包括：控制模块、用于构建用于进行多人协同外科手术的虚拟环境虚拟环境构建模块、物品交换控制模块、用于多视角采集手术实施者的手术动作信息的动作捕捉模块、用于将手术动作信息同步赋给虚拟环境中的所述虚拟实施者的手术动作同步模块和用于将每一手术实施者的手术动作信息同步发送给各手术实施者的通信模块。本发明构建一个共享的虚拟空间，且多视角的实时采集各个手术实施者的动作信息并共享于各个手术实施者之间，从而提高了多人协同外科手术虚拟实训的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统框图；

图2为本发明实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统的设计原理图；

图3为本发明实施例提供的基于多视角行为辨识的多人协同外科手术虚拟实训系统的硬件环境部署示意图；

图4为本发明实施例提供的用户操作示意图；

图5为本发明实施例提供的虚拟环境示意图。

符号说明：

1—控制模块；2—虚拟环境构建模块；3—物品交换控制模块；4—动作捕捉模块；5—手术动作同步模块；6—通信模块；7—运动姿态采集及同步模块；8—触发检测模块；9—手术流程提示模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，通过构建一个共享的虚拟空间，允许多个用户在虚拟空间中协同完成仿真的通用外科手术任务，其中用户可以通过虚拟现实设备单独进行虚拟场景中物品的交互，也可以与其他用户完成复杂任务的协作操作；并且在整个手术流程中，控制模块为所有用户提供实时信息数据，允许多个用户之间相互通信，可以实现资源信息共享以及允许用户自然操纵环境中的对象。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例

如图1和2所示，本实施例提供一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，本系统涉及的硬件设备包括可供用户穿戴的虚拟现实设备以及整套动作捕捉系统，如图3所示，每个用户利用虚拟现实设备体验虚拟实训的外科手术环境，并接收其他用户的数据以进行交互操作；同时动作捕捉系统实时精确地捕捉整个环境中所有用户的动作，将其转化为虚拟世界中的位姿变换，以维护操作者与场景中虚拟替身动作的一致性。

如图4所示，需要多个用户穿戴虚拟现实设备进行协同操作，多个用户的虚拟替身投射到虚拟手术室环境中，用户在真实世界里的动作可以映射到虚拟环境中虚拟替身的动作，用户就可以通过控制虚拟替身在虚拟环境中的行动来完成任务。

用户穿戴的设备为每个用户头戴虚拟现实头盔显示器，并左右手各持一个虚拟现实手柄，同时身后背一个虚拟现实背包作为处理器用；主服务器会在用户的头盔显示器上显示虚拟场景的画面，通过背包中处理器的计算，画面会随着用户的行动实时更新；虚拟现实手柄的扳机键用于用户进行触发操作，当用户在虚拟环境中按下扳机键时，相应的位置会触发事件，使得任务能够进行下去，而对于没有设置触发器的地方，手柄扳机键则不起作用，以保证任务的顺利执行。

因此，所述系统包括：控制模块1(包括处理器和主服务器)和分别与所述控制模块1连接的虚拟环境构建模块2、动作捕捉模块4、手术动作同步模块5、通信模块6和物品交换控制模块3。

其中，所述虚拟环境构建模块2，用于构建用于进行多人协同外科手术的虚拟环境；如图5所示。所述虚拟环境中包括各项手术用物品、与手术实施者对应的虚拟实施者和虚拟手术对象。为每个用户设置了虚拟替身来实现位姿控制和同步以及手术动作的同步控制，使虚拟替身能够在一定程度上还原真实的人体姿态。

手术实施者完成的是多人协作的典型的外科手术任务，多个用户之间通过协同操作完成整个外科手术任务。整个外科手术任务由5-8人完成，就经典的多人协作外科手术而言，需要有主刀医生，一助、二助、麻醉医生、巡回护士、器械师等。本项目将清点器械的步骤交由二助操作，因此整个项目至少由5人完成，最多可由8人完成。。用户(手术实施者)之间能够感知足够的交互信息，例如不同手术者在环境中的位置并实现协同操作。

所述物品交换控制模块3，用于根据所述手术实施者的物品使用请求，控制所述手术用物品的执行手术动作。

所述动作捕捉模块4，用于多视角采集所述手术实施者的手术动作信息。

为了保证更准确的采集手术实施者的手术动作信息，在一定空间范围内安装了动作捕捉硬件系统，并设置动作捕捉需要使用的刚体，系统可以通过多个高分辨率的摄像头获取用户的动作信息，全方面地跟踪记录操作者的各种空间位置以及动作。

在一定物理空间中搭建动作捕捉硬件系统，并在操作者身上设置多个反光球标记点，利用多个光学摄像头全方面地跟踪记录操作者的各种空间位置以及动作，并利用标记反光球进行红外光反射，通过记录光学信息来获取用户的动作信息。

用户穿戴的VR设备外部，在各个主要活动关节处设置反光球装置，可以反射红外光；同时系统在一定空间中配置了多个摄像头，这些摄像头能够从多视角发射红外光，当这些光照射到被捕捉对象上的标记点时，标记点会反射出红外光，并被红外摄像头捕捉到。

手术动作同步模块5，用于将所述手术动作信息同步赋给所述虚拟环境中的所述虚拟实施者。

在Unity中设置Tracker刚体，并建立场景中的对象与动作捕捉系统中绑定刚体的联系，既将刚体在虚拟环境中具象化，之后当动作捕捉系统捕捉到刚体数据时，会通过插件赋值给该对象，引起该对象在Unity引擎界面中的运动。

动作捕捉硬件系统将采集到的数据赋值给虚拟场景中的对象，当场景中的刚体位置与旋转量有变化时，系统接收到实时数据并触发事件，将动作捕捉数据的当前位姿赋予虚拟对象。

所述通信模块6，用于将每一所述手术实施者的手术动作信息同步发送给各所述手术实施者。

所述系统还包括与所述控制模块1连接的运动姿态采集及同步模块7；所述运动姿态采集及同步模块7用于实时采集所手术实施者的运动姿态并将所述运动姿态同步至所述虚拟实施者。

运动姿态采集及同步模块7中的运动姿态的采集也是基于动作捕捉硬件系统实现的。

当用户在相机捕捉区域内走动时，摄像头会利用采集到的红外光信号计算出标记点的位置和运动轨迹，以完成动作的跟踪。用户通过移动手势和头盔显示器位移驱动虚拟替身的位置，利用显示器的朝向来控制虚拟替身的整体方向以及头部的位姿，并通过高度信息调整虚拟人弯腿的程度等细节信息。

手术项目具有触发检测功能，能够检测在任务完成过程中用户之间、用户与手术用物体之间是否发生触发，并判断该触发是属于项目需要的交互操作还是错误触发。因此在本系统中还设有与所述控制模块1连接的触发检测模块8；所述触发检测模块8用于在所述虚拟环境中执行手术操作时，检测所述手术实施者之间、所述手术实施者与所述手术用物品之间是否产生触发操作并判断所述触发操作是否为手术操作所需的交互操作。

所述系统还包括与所述控制模块1连接的手术流程提示模块9；所述手术流程提示模块9用于在所述虚拟环境中，按照预设的手术流程向所述手术实施者提示不同的手术流程阶段。

在用户进入虚拟环境后，为每个用户进行提示，当用户按照提示进行了正确的操作后，系统又会对用户提供新的提示，以推进任务的进行；针对不同角色的用户，系统提示的内容也不一样，本发明中的提示功能能够保证整套任务按照既定流程顺序执行。

提示信息会包含一些简单的术语“电刀游离”、“伤口缝合”等，但由于本项目环境中物品比较明显，流程比较清晰，这些术语能够保证普通使用者也能够理解，并按照要求正常操作。

所述系统采用MirrorNetworking网络框架。采用MirrorNetworking网络框架维护场景的一致性，并在网络框架中设置了一个服务器端和多个客户端，允许服务器端实时共享所有客户端的数据。

本发明中医学外科手术虚拟实训的整体流程为，所有用户首先进入换衣间更换手术服，之后进入器械间取器械，然后进入消毒间对人体和所有器械进行消毒，接着通过无菌通道、无菌间来到手术室，按照提示操作对病人进行经典外科手术；当具体手术操作完成后，用户推着病人来到家属等候区，表示整个手术项目全部完成。

本发明在用户体验方面，可以为操作者提供强烈的沉浸感，并拥有较快的反应速度，让用户有置身于真实的手术环境中；本发明拥有多样化的内容和交互方式，用户可以在虚拟环境中进行不同类型的交互，从而顺利进行整个手术流程；本发明的应用场景十分广泛，可以应用到多种多人协作外科手术中，比如心脏搭桥手术、阑尾切割手术等，具有较强的适用性和较高的应用价值。

与现有技术相比，本发明的有益效果为：

(1)本发明的虚拟实训系统是多人协作的，允许多个用户在同一个虚拟环境中协同执行任务。与现有的单人虚拟项目相比，多人协作的特点能够为手术进行提供更大的灵活性，允许用户进行一些更为复杂的手术项目，从而增强虚拟项目的真实性、合理性。

(2)本发明使用MirrorNetworking网络框架维护场景的一致性，并通过主服务器实时运营维护用户的各项信息。具体来说，服务器能够获得描述变化的数据信息，并分发给多个用户端，每个用户端可以获得其他用户的实时信息，从而顺利完成一些需要多人协作的任务。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种基于多视角行为辨识的多人协同外科手术虚拟实训系统，其特征在于，所述系统包括：控制模块和分别与所述控制模块连接的虚拟环境构建模块、动作捕捉模块、手术动作同步模块、通信模块和物品交换控制模块；

所述虚拟环境构建模块，用于构建用于进行多人协同外科手术的虚拟环境；所述虚拟环境中包括各项手术用物品、与手术实施者对应的虚拟实施者和虚拟手术对象；

所述物品交换控制模块，用于根据所述手术实施者的物品使用请求，控制所述手术用物品的执行手术动作；

所述动作捕捉模块，用于多视角采集所述手术实施者的手术动作信息；

所述手术动作同步模块，用于将所述手术动作信息同步赋给所述虚拟环境中的所述虚拟实施者；

所述通信模块，用于将每一所述手术实施者的手术动作信息同步发送给各所述手术实施者。

2.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述控制模块连接的运动姿态采集及同步模块；所述运动姿态采集及同步模块用于实时采集所手术实施者的运动姿态并将所述运动姿态同步至所述虚拟实施者。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述控制模块连接的触发检测模块；所述触发检测模块用于在所述虚拟环境中执行手术操作时，检测所述手术实施者之间、所述手术实施者与所述手术用物品之间是否产生触发操作并判断所述触发操作是否为手术操作所需的交互操作。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括与所述控制模块连接的手术流程提示模块；所述手术流程提示模块用于在所述虚拟环境中，按照预设的手术流程向所述手术实施者提示不同的手术流程阶段。

5.根据权利要求1所述的系统，其特征在于，所述动作捕捉模块的硬件结构包括分布于各手术实施者不同方位的摄像装置和设于所述手术实施者不同活动关节的反光装置。

6.根据权利要求1所述的系统，其特征在于，所述系统采用Mirror Networking网络框架。