CN117357247A - 元宇宙手术规划三维场景建立系统、方法、设备、介质 - Google Patents

Abstract

本发明公开了元宇宙手术规划三维场景建立系统、方法、设备、介质。其中，元宇宙手术规划三维场景建立系统包括：场景建立模块用于建立元宇宙手术规划三维场景，在元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物；数据获取模块用于获取目标对象的医学影像数据，并在目标规划子场景中构建对应于医学影像数据的对象三维模型；手术规划模块用于根据虚拟人物操纵对象三维模型的虚拟动作信号，实现对目标对象的手术规划。本发明借助元宇宙概念实现手术规划，为手术规划提供准确有利的技术支持与保障，支持多人协同完成手术规划，增强用户体验感，使得手术规划过程更便捷、更高效。

Description

元宇宙手术规划三维场景建立系统、方法、设备、介质

技术领域

本发明涉及医疗技术领域，尤其涉及一种元宇宙手术规划三维场景建立系统、方法、设备、介质。

背景技术

目前对于一些手术，例如骨关节置换手术，医护人员在进行手术之前会进行手术规划。骨关节置换手术是目前治疗关节类疾病的有效手段，特别是终末骨关节炎治疗的唯一手段，随着中国社会人口老龄化加剧、关节炎的高患病率及我国手术技术、影像设备、手术设备、医疗信息化水平的提升，关节置换手术数量呈快速增长趋势。而关节置换手术操作复杂，对医生要求较高，一般医生会在手手术依据患者的影像数据(DR平片、CT扫描图像等)测量指定生理参数数据或预判患者关节病灶位置，也有的医生会使用mimics、CAD等工具对CT数据进行手动分割，然后对分割后的骨组织进行特征点标记并进行假体规划来获取较为详细的手术规划方案。但是，当前的这些规划方法较为繁琐、效率较低、划参数精度不高，同时需要医生通过构思想象患者的三维场景，体验感不强，而且不便于多名医生同时会诊讨论。

发明内容

本发明要解决的技术问题是为了克服现有技术中手术规划方法较为繁琐、效率较低且体验感不强的缺陷，提供一种元宇宙手术规划三维场景建立系统、方法、设备、介质。

本发明是通过下述技术方案来解决上述技术问题：

第一方面，提供一种元宇宙手术规划三维场景建立系统，包括：

场景建立模块，用于建立元宇宙手术规划三维场景，在所述元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物；元宇宙手术规划三维场景手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景；

数据获取模块，用于获取目标对象的医学影像数据，并在所述目标规划子场景中构建对应于所述医学影像数据的对象三维模型；

手术规划模块，用于根据所述虚拟人物操纵所述对象三维模型的虚拟动作信号，实现对所述目标对象的手术规划。

可选地，所述场景建立模块包括：

虚拟人物建立单元，用于响应于手术规划请求，在所述元宇宙手术规划三维场景中建立与第一用户的用户动作联动的虚拟人物；

和/或，所述虚拟人物建立单元，用于根据第二用户提供的邀请凭证在所述元宇宙手术规划三维场景中建立与所述第二用户的用户动作联动的虚拟人物；所述邀请凭证根据所述第一用户的邀请请求生成。

可选地，还包括：

权限设置模块，用于响应于所述第一用户的权限授权请求，为所述第二用户设置对应于所述权限授权请求的用户权限。

可选地，所述场景建立模块包括：

切换单元，用于响应于所述虚拟人物的场景切换指令，使所述虚拟人物进入对应于所述场景切换指令的另一目标规划子场景；

或者，所述切换单元，用于按照规划流程节点的顺序依次从多个规划子场景中确定目标规划子场景，当目标事件被触发时，使所述虚拟人物进入所述目标规划子场景。

可选地，前一次展示的目标规划子场景的规划过程数据作为当前展示的目标规划子场景的输入数据；

或者，各个规划子场景共享规划过程数据。

可选地，所述场景建立模块还包括：

子场景建立单元，用于确定用户权限，并使所述虚拟人物进入与所述用户权限相匹配的目标规划子场景。

可选地，还包括：

权限修改模块，用于响应于所述第一用户的权限修改请求，根据所述权限修改请求修改所述第二用户的用户权限。

可选地，所述规划子场景包括以下至少之一：

原始数据仓库子场景、三维模型建立子场景、手术规划子场景、假体仓库子场景和模拟测试子场景。

可选地，所述元宇宙手术规划三维场景还包括手术规划大厅；

所述元宇宙手术规划三维场景建立系统还包括：

登录模块，用于响应于登录请求，在所述手术规划大厅完成用户登录；

和/或，注册模块，用于响应于注册请求，在所述手术规划大厅完成用户注册。

第二方面，提供一种元宇宙手术规划三维场景建立方法，包括：

建立元宇宙手术规划三维场景，在所述元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物；手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景；

获取目标对象的医学影像数据，并在所述目标规划子场景中构建对应于所述医学影像数据的对象三维模型；

根据所述虚拟人物操纵所述对象三维模型的虚拟动作信号，实现对所述目标对象的手术规划。

第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的元宇宙手术规划三维场景建立方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的元宇宙手术规划三维场景建立方法。

本发明的积极进步效果在于：本发明借助元宇宙概念实现手术规划，为手术规划提供准确有利的技术支持与保障，支持多人协同完成手术规划，增强用户体验感，使得手术规划过程更便捷、更高效。

附图说明

图1a为一示例性实施例提供的一种元宇宙手术规划三维场景建立系统的架构示意图；

图1b为一示例性实施例提供的一种元宇宙手术规划三维场景建立系统的模块示意图；

图1c为一示例性实施例提供的另一种元宇宙手术规划三维场景建立系统的模块示意图；

图2为本发明一示例性实施例提供的一种元宇宙手术规划三维场景建立方法的流程图；

图3a为本发明一示例性实施例提供的一种元宇宙手术规划三维场景建立方法构建的元宇宙手术规划三维场景示意图；

图3b为本发明一示例性实施例提供的另一种元宇宙手术规划三维场景建立方法构建的元宇宙手术规划三维场景示意图；

图4为本发明一示例性实施例提供的另一种元宇宙手术规划三维场景建立方法的流程图；

图5为本发明一示例性实施例提供的一种电子设备的结构示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

图1a是一示例性实施例提供的一种元宇宙手术规划三维场景建立系统的架构示意图。如图1a所示，该系统可以包括服务器11和VR(Virtual Reality，虚拟现实)设备，VR设备例如可以是VR眼镜13、VR头盔14等。VR设备与服务器11之间进行交互的网络12，可以包括多种类型的有线或无线网络。服务器11可以为包含一独立主机的物理服务器，或者该服务器11可以为主机集群承载的虚拟服务器。

服务器11在运行过程中，可以运行元宇宙手术规划三维场景建立系统的服务端侧的程序，以实现相关的处理等功能；VR设备在运行过程中，可以展示服务器11创建的元宇宙手术规划三维场景、感知用户的动作并发送给服务器11实现人机交互等功能。从而，通过服务器11与VR设备之间的配合，实现元宇宙手术规划三维场景建立。

图1b为本发明一示例性实施例提供的一种元宇宙手术规划三维场景建立系统的模块示意图，其适用于各类手术的术前规划和术中规划，该元宇宙手术规划三维场景建立系统包括：场景建立模块101、数据获取模块102和手术规划模块103。

场景建立模块101用于建立元宇宙手术规划三维场景，在元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物。

其中，手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景，目标规划子场景为当前展示于用户眼前的场景或者用户当前所处于的场景。

元宇宙手术系统中支持在元宇宙手术规划三维场景建立与多个用户分别实现动作联动的多个虚拟人物，支持多人协同进行手术规划，多角度观摩手术规划过程，且为用户提供沉浸式的手术规划环境，即便用户远程参与，也身临其境，增强用户体验感。

数据获取模块102用于获取目标对象的医学影像数据，并在目标规划子场景中构建对应于医学影像数据的对象三维模型。

在一个实施例中，元宇宙手术规划三维场景中展示多个对象的医学影像数据，用户可以根据实际需求从多个对象中选择目标对象的医学影像数据，以在元宇宙手术规划三维场景中构建对应于医学影像数据的对象三维模型。

关于目标对象的医学影像数据的选择方式，在一种实现方式中，在元宇宙手术规划三维场景中展示对应于各个对象的医学影像数据的标识，将被虚拟人物选中的标识确定为目标对象的医学影像数据，其中标识可以但不限于通过图标和/或文字标识。在一种实现方式中，在元宇宙手术规划三维场景中创建虚拟管理员，虚拟管理员可以与虚拟人物交互，交互方式可以但不限于包括语音交互，虚拟人物告知虚拟管理员有关目标对象的相关信息，例如姓名、编号、年龄、性别中的至少一种，由虚拟管理员从数据库中获取对应的医学影像数据。

手术规划模块103用于根据虚拟人物操纵对象三维模型的虚拟动作信号，实现对目标对象的手术规划。

虚拟人物与用户动作联动，用户通过手势动作即可生成虚拟人物操纵对象三维模型的虚拟动作信号，实现对目标对象的手术规划，操作方便，可以提高规划效率。

在一个实施例中，参见图1c，场景建立模块101包括虚拟人物建立单元1011，虚拟人物建立单元1011响应于手术规划请求，在元宇宙手术规划三维场景中建立与第一用户的用户动作联动的虚拟人物。

第一用户通过佩戴能够连接网络、访问浏览器的相关设备(例如VR眼镜或者VR头盔)，执行相应的操作，例如，通过语音指令或者在浏览器输入相关网址或者启动手术规划APP，场景建立模块101可以展示元宇宙的场景首页，场景首页用于提供用户登录及注册功能。手术规划请求可以基于第一用户的登录请求生成，也可以在对第一用户提供的账号和/或密码验证通过时生成。用户完成登录，即实现元宇宙手术规划三维场景的创建，以及在元宇宙手术规划三维场景中建立与用户动作联动的虚拟人物。

在一个实施例中，虚拟人物建立单元1011用于根据第二用户提供的邀请凭证在元宇宙手术规划三维场景中建立与第二用户的用户动作联动的虚拟人物，该邀请凭证根据第一用户的邀请请求生成。

已经在元宇宙手术规划三维场景中建立联动虚拟人物的第一用户可以邀请其他用户(第二用户)进入元宇宙手术规划三维场景，第一用户可以但不限于通过与其动作联动的虚拟人物触发元宇宙手术规划三维场景中的邀请控件生成邀请请求，或者提供第二用户的账号以生成邀请请求，以使元宇宙手术系统基于该邀请请求生成邀请凭证，并将该邀请凭证发送给第二用户。邀请凭证可以但不限于通过链接网址、二维码、验证码等方式表征。

在接收到邀请凭证的第二用户登录元宇宙手术系统时，系统可以展示是否接受邀请的提示，若第二用户选择接受邀请，则在第一用户创建的元宇宙手术规划三维场景中构建与第二用户动作联动的虚拟人物；若第二用户选择不接受邀请，则创建第二用户自己的元宇宙手术规划三维场景，并在其元宇宙手术规划三维场景中构建与第二用户动作联动的虚拟人物。

在一个实施例中，第一用户邀请第二用户进入元宇宙手术规划三维场景时，还可以为第二用户设置操作权限。具体的，元宇宙手术规划三维场景建立系统还包括权限设置模块104，第一用户通过手势控制与其动作联动的虚拟人物生成权限授权请求，权限设置模块104响应于第一用户的权限授权请求，为第二用户设置对应于权限授权请求的用户权限。用户权限包括规划子场景进入权限、观看权限、规划操作权限、与元宇宙手术系统的交互权限等。

第二用户的用户权限可以与第一用户的用户权限相同，也可以与第一用户的用户权限不同。第二用户的用户权限可以由第一用户通过权限设置模块104配置，也可以由系统自动配置。

在一个实施例中，元宇宙手术规划三维场景建立系统还包括权限修改模块105，权限修改模块105响应于第一用户的权限修改请求，根据权限修改请求修改第二用户的用户权限。在手术规划过程中，第一用户可以根据实际需求对第二用户的权限进行修改。

在一个实施例中，场景建立模块101还包括子场景建立单元1012，子场景建立单元1012用于确定用户权限，并使虚拟人物进入与用户权限相匹配的目标规划子场景。

规划子场景包括以下至少之一：原始数据仓库子场景、三维模型建立子场景、手术规划子场景、假体仓库子场景和模拟测试子场景。

子场景建立单元1012从上述规划子场景中确定出与用户权限相匹配的目标规划子场景，并使该用户的虚拟人物进入确定出的目标规划子场景。

在一个实施例中，场景建立模块101响应于虚拟人物的场景切换指令，使虚拟人物进入对应于场景切换指令的另一目标规划子场景。

举例来说，对于骨关节置换手术规划，假设规划流程节点包括医学影像数据选择节点、三维模型建立节点、手术规划节点、假体选择节点和模拟测试节点，相对应的，参见图3a，元宇宙手术规划三维场景包括原始数据仓库子场景、三维模型建立子场景、手术规划子场景、假体仓库子场景和模拟测试子场景。用户可以根据实际需求发出场景切换指令，场景建立模块101根据场景切换指令从多个规划子场景中确定出目标规划子场景并展示，同时该用户的虚拟人物进入该目标规划子场景。

在一个实施例中，场景建立模块101按照规划流程节点的顺序依次从多个规划子场景中确定目标规划子场景，当目标事件被触发时，使虚拟人物进入目标规划子场景。

举例来说，假设规划流程节点的顺序为：医学影像数据选择节点→三维模型建立节点→手术规划节点→假体选择节点→模拟测试节点，若目标规划子场景为用于实现三维模型建立节点的三维模型建立子场景，当目标事件被触发时，场景建立模块101确定三维模型建立节点的下一流程节点为手术规划节点，则将用于实现手术规划节点的手术规划子场景确定为目标规划子场景，并展示。

其中，目标事件可以根据实际需求自行设置，例如目标规划子场景的展示时长达到时长阈值，或者确定当前目标规划子场景中的手术规划任务已被完成，或者接受到用户的场景切换指令。

原始数据仓库子场景中主要存储患者的医学影像数据，当用户通过手势动作控制虚拟人物进入原始数据仓库子场景后，可以看到原始数据仓库子场景展示的多个对象的医学影像数据，用户可选择目标对象的医学影像数据拖拽进入三维模型建立子场景。

三维模型建立子场景主要实现对医学影像数据进行三维重建，可以但不限于在元宇宙手术规划三维场景中以页面展板的方式呈现三维重建得到的三维模型。用户还可以通过手势动作控制虚拟人物从三维模型建立子场景中选择直线、角度、圆等测量工具，对三维模型进行测量，获取三维模型的相关参数，以股骨三维模型为例，相关参数包括股骨长度、偏心距等。

用户还可以通过手势动作控制虚拟人物提取医学影像数据中的特征参数，生成目标对象的网格模型，并组装成Mesh视图呈现展示，以及确定网格模型的特征关键点。

手术规划子场景主要提供手术规划功能，以骨关节置换手术规划手术为例，用户选择规划类型(髋关节规划或膝关节规划)后，元宇宙手术系统自动根据骨组织的形态及特征关键点，匹配合适的关节假体，将目标关节假体植入对象三维模型，并配准显示植入目标关节假体后的对象三维模型。若用户查看关节假体安装不合适，可自行选择合适的关节假体进行替换，也可以调整关节假体的安装位置。规划调整过程中，元宇宙手术规划三维场景中还可以实时展示当前关节假体位置的各项参数，如前倾角、外展角、覆盖率、下肢长度差等。

模拟测试子场景用于对手术规划结果进行模拟测试，还是以骨关节置换手术规划手术为例，可通过模拟测试查看植入关节假体后的骨组织运动是否会发生碰撞。

需要说明的是，上述子场景的划分仅是举例说明，实际应用中可以根据需求自行设计各个子场景，例如可以将三维模型建立子场景分为模型分割子场景、关键点标记子场景。

整个元宇宙手术规划三维场景也可构建成一家工厂，参见图3b，工厂内部包含一间大厅，三座仓库和四间车间，各个仓库或者车间对应一个规划子场景，用户可以在每一间车间内完成一个独立的手术规划任务，各个车间之间可以是单向串联的，上一个车间(规划子场景)输出的规划过程数据作为下一个车间的输入数据，通过定向的传送门将用户虚拟任务和/或规划过程数据依次在各个车间进行传送。举例来说，阅片车间的数据可定向传送到原始数据仓库，所有车间均可定向传送到测量工具库(即规划工具库)，规划车间可定向传送到假体植入物仓库。各个车间之间采用单向串联的方式可以保证工作流的顺序，减轻用户选择的负担，提升了效率。

在一个实施例中，各个车间(规划子场景)共享规划过程数据。当用户在某个车间对某个规划参数的参数值作调整，其他车间中对应的该规划参数的参数值也会适应性调整。

在一个实施例中，每个手术规划子场景设有对应的虚拟入口，用户通过手势动作控制虚拟人物通进入虚拟入口，即可进入对应的手术规划子场景，实现场景切换。对于不同用户权限的用户，所展示的虚拟入口可以不同，或者相同虚拟入口的进入权限不同。

在一个实施例中，用户登录后，首先展示手术规划大厅。对于受邀用户(第二用户)受邀到手术规划大厅，其能够在大厅内观看手术规划的整体过程与情况。当进一步受邀进入每个房间(或车间)时可以近距离的观看手术规划的过程甚至参与其中。每个房间有通往大厅的门，手术规划大厅中的用户在收到主用户(第一用户和/或已被授予可进一步邀请用户的权限的第二用户)的邀请时，对其展示或者打开对应房间的门，该用户可进入到对应房间；未收到邀请的用户则无法进入对应房间。

在一个实施例中，元宇宙手术系统还提供模式选择功能，主用户可选流程模式或自由模式。流程模式必须完成当前车间的工作后才能前往下一个车间；自由模式可以随意选择进入任一个房间，进行任何操作。

在一个实施例中，在元宇宙手术规划三维场景中规划子场景的切换可以通过通道实现，通道可以是门、连廊、传送点或传送车等形式，通过通道可进入各个手术规划子场景，实现场景切换。

在一个实施例中，元宇宙手术规划三维场景中还可以展示操作说明，以便于用户了解如何执行手势动作以实现自己想要的操作效果，完成手术规划。其中，操作说明的展示方式可以通过动画、文字、语音及其结合的方式，本发明实施例对此不作特别限定。

在一个实施例中，还可以保存手术规划的过程数据。具体的，用户可以通过手势动作控制虚拟人物获取虚拟存储卡，并将手术规划过程中的过程数据，例如，三维模型、模拟测试数据等，存储于该虚拟存储卡中，以供后续观摩、学习调取使用。

图2为本发明一示例性实施例提供的一种元宇宙手术规划三维场景建立方法的流程图，该手术规划方法应用于元宇宙手术系统，适用于各类手术的术前规划和术中规划，参见图2，该手术规划方法包括以下步骤：

步骤201、建立元宇宙手术规划三维场景，在所述元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物。

手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景，目标规划子场景为当前展示于用户眼前的场景或者用户当前所处于的规划子场景。

元宇宙手术系统中支持在元宇宙手术规划三维场景建立与多个用户分别实现动作联动的多个虚拟人物，支持多人协同进行手术规划，多角度观摩手术规划过程，且为用户提供沉浸式的手术规划环境，即便用户远程参与，也身临其境，增强用户体验感。

在一个实施例中，基于第一用户的手术规划请求建立与用户动作联动的虚拟人物。具体的，响应于手术规划请求，在元宇宙手术规划三维场景中建立与第一用户的用户动作联动的虚拟人物。

第一用户通过佩戴能够连接网络、访问浏览器的相关设备(例如VR眼镜或者VR头盔)，执行相应的操作，例如，通过语音指令或者在浏览器输入相关网址或者启动手术规划APP，元宇宙手术系统即展示元宇宙的场景首页，场景首页用于提供用户登录及注册功能。手术规划请求可以基于第一用户的登录请求生成，也可以在对第一用户提供的账号和/或密码验证通过时生成。用户完成登录，即实现元宇宙手术规划三维场景的创建，以及在元宇宙手术规划三维场景中建立与用户动作联动的虚拟人物。

在另一种实现方式中，根据第一用户执行的相应操作，元宇宙手术系统可直接创建元宇宙手术规划三维场景，该元宇宙手术规划三维场景可以是手术规划场景大厅，第一用户可以在手术规划场景大厅中实现用户登录及注册功能。

在一个实施例中，用户登录的过程中还可以确定用户权限，在所述元宇宙手术规划三维场景中，用户可进入的区域、可获取相关工具、可利用相关工具进行的操作类型与所述用户权限相匹配。举例来说，假设用户A具有手术规划操作的权限，则用户A可进入对应目标规划子场景，可获取手术规划工具，并利用手术规划工具进行手术规划；而用户B只具有手术规划观摩的权限，不具有规划操作的权限，则该用户仅能进入对应目标规划子场景进行观摩，而无法获取以及操作手术规划工具；

在一个实施例中，基于邀请凭证建立虚拟人物。具体的，根据第二用户提供的邀请凭证在元宇宙手术规划三维场景中建立与第二用户的用户动作联动的虚拟人物。其中，邀请凭证根据第一用户的邀请请求生成。

已经在元宇宙手术规划三维场景中建立联动虚拟人物的第一用户可以邀请其他用户(第二用户)进入元宇宙手术规划三维场景，第一用户可以但不限于通过与其动作联动的虚拟人物触发元宇宙手术规划三维场景中的邀请控件生成邀请请求，或者提供第二用户的账号以生成邀请请求，以使元宇宙手术系统基于该邀请请求生成邀请凭证，并将该邀请凭证发送给第二用户。邀请凭证可以但不限于通过链接网址、二维码、验证码等方式表征。

在接收到邀请凭证的第二用户登录元宇宙手术系统时，系统可以展示是否接受邀请的提示，若第二用户选择接受邀请，则在第一用户创建的元宇宙手术规划三维场景中构建与第二用户动作联动的虚拟人物；若第二用户选择不接受邀请，则创建第二用户自己的元宇宙手术规划三维场景，并在其元宇宙手术规划三维场景中构建与第二用户动作联动的虚拟人物。

在一个实施例中，第一用户邀请第二用户进入元宇宙手术规划三维场景时，还可以为第二用户设置操作权限。具体的，第一用户通过手势控制与其动作联动的虚拟人物生成权限授权请求，元宇宙手术系统响应于第一用户的权限授权请求，为第二用户设置对应于权限授权请求的用户权限，用户权限包括规划子场景进入权限、观看权限、规划操作权限、与元宇宙手术系统的交互权限等。

第二用户的用户权限可以与第一用户的用户权限相同，也可以与第一用户的用户权限不同。第二用户的用户权限可以由第一用户配置，也可以由系统配置。在手术规划过程中，还可以根据第一用户发起的权限修改请求修改第二用户的用户权限。

步骤202、获取目标对象的医学影像数据，并在元宇宙手术规划三维场景中构建对应于医学影像数据的对象三维模型。

在一个实施例中，元宇宙手术规划三维场景中展示多个对象的医学影像数据，第一用户可以根据实际需求从多个对象中选择目标对象的医学影像数据，以在元宇宙手术规划三维场景中构建对应于医学影像数据的对象三维模型。

关于目标对象的医学影像数据的选择方式，在一种实现方式中，在元宇宙手术规划三维场景中展示对应于各个对象的医学影像数据的标识，将被虚拟人物选中的标识确定为目标对象的医学影像数据，其中标识可以但不限于通过图标和/或文字标识。在一种实现方式中，在元宇宙手术规划三维场景中创建虚拟管理员，虚拟管理员可以与虚拟人物交互，交互方式可以但不限于包括语音交互，虚拟人物告知虚拟管理员有关目标对象的相关信息，例如姓名、编号、年龄、性别中的至少一种，由虚拟管理员从数据库中获取对应的医学影像数据。

步骤203、根据虚拟人物操纵对象三维模型的虚拟动作信号，实现对目标对象的手术规划。

虚拟人物与用户动作联动，用户通过手势动作即可生成虚拟人物操纵对象三维模型的虚拟动作信号，实现对目标对象的手术规划，操作方便，可以提高规划效率。

在一个实施例中，手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景；手术规划方法还包括：响应于虚拟人物的场景切换指令，在元宇宙手术规划三维场景中展示对应于场景切换指令的目标规划子场景。

举例来说，对于骨关节置换手术规划，假设规划流程节点包括医学影像数据选择节点、三维模型建立节点、手术规划节点、假体选择节点和模拟测试节点，相对应的，参见图3a，元宇宙手术规划三维场景包括原始数据仓库子场景、三维模型建立子场景、手术规划子场景、假体仓库子场景和模拟测试子场景。用户可以根据实际需求发出场景切换指令，系统根据场景切换指令从多个规划子场景中确定出目标规划子场景并展示。

在一个实施例中，按照规划流程节点的顺序依次从多个规划子场景中确定目标规划子场景，当目标事件被触发时，展示目标规划子场景。

举例来说，假设规划流程节点的顺序为：医学影像数据选择节点→三维模型建立节点→手术规划节点→假体选择节点→模拟测试节点，若目标规划子场景为用于实现三维模型建立节点的三维模型建立子场景，当目标事件被触发时，确定三维模型建立节点的下一流程节点为手术规划节点，则将用于实现手术规划节点的手术规划子场景确定为目标规划子场景，并展示。

其中，目标事件可以根据实际需求自行设置，例如目标规划子场景的展示时长达到时长阈值，或者确定当前目标规划子场景中的手术规划任务已被完成，或者接受到用户的场景切换指令。

原始数据仓库子场景中主要存储患者的医学影像数据，当用户通过手势动作控制虚拟人物进入原始数据仓库子场景后，可以看到原始数据仓库子场景展示的多个对象的医学影像数据，用户可选择目标对象的医学影像数据拖拽进入三维模型建立子场景。

三维模型建立子场景主要实现对医学影像数据进行三维重建，可以但不限于在元宇宙手术规划三维场景中以页面展板的方式呈现三维重建得到的三维模型。用户还可以通过手势动作控制虚拟人物从三维模型建立子场景中选择直线、角度、圆等测量工具，对三维模型进行测量，获取三维模型的相关参数，以股骨三维模型为例，相关参数包括股骨长度、偏心距等。

用户还可以通过手势动作控制虚拟人物提取医学影像数据中的特征参数，生成目标对象的网格模型，并组装成Mesh视图呈现展示，以及确定网格模型的特征关键点。

手术规划子场景主要提供手术规划功能，以骨关节置换手术规划手术为例，用户选择规划类型(髋关节规划或膝关节规划)后，元宇宙手术系统自动根据骨组织的形态及特征关键点，匹配合适的关节假体，将目标关节假体植入对象三维模型，并配准显示植入目标关节假体后的对象三维模型。若用户查看关节假体安装不合适，可自行选择合适的关节假体进行替换，也可以调整关节假体的安装位置。规划调整过程中，元宇宙手术规划三维场景中还可以实时展示当前关节假体位置的各项参数，如前倾角、外展角、覆盖率、下肢长度差等。

模拟测试子场景用于对手术规划结果进行模拟测试，还是以骨关节置换手术规划手术为例，可通过模拟测试查看植入关节假体后的骨组织运动是否会发生碰撞。

需要说明的是，上述子场景的划分仅是举例说明，实际应用中可以根据需求自行设计各个子场景，例如可以将三维模型建立子场景分为模型分割子场景、关键点标记子场景。

整个元宇宙手术规划三维场景也可构建成一家工厂，参见图3b，工厂内部包含一间大厅，三座仓库和四间车间，各个仓库或者车间对应一个规划子场景，用户可以在每一间车间内完成一个独立的手术规划任务，各个车间之间可以是单向串联的，上一个车间(规划子场景)输出的规划过程数据作为下一个车间的输入数据，通过定向的传送门将用户虚拟任务和/或规划过程数据依次在各个车间进行传送。举例来说，阅片车间的数据可定向传送到原始数据仓库，所有车间均可定向传送到测量工具库(即规划工具库)，规划车间可定向传送到假体植入物仓库。各个车间之间采用单向串联的方式可以保证工作流的顺序，减轻用户选择的负担，提升了效率。

在一个实施例中，各个车间(规划子场景)共享规划过程数据。当用户在某个车间对某个规划参数的参数值作调整，其他车间中对应的该规划参数的参数值也会适应性调整。

在一个实施例中，每个手术规划子场景设有对应的虚拟入口，用户通过手势动作控制虚拟人物通进入虚拟入口，即可进入对应的手术规划子场景，实现场景切换。对于不同用户权限的用户，所展示的虚拟入口可以不同，或者相同虚拟入口的进入权限不同。

在一个实施例中，用户登录后，首先展示手术规划大厅。对于受邀用户(第二用户)受邀到手术规划大厅，其能够在大厅内观看手术规划的整体过程与情况。当进一步受邀进入每个房间(或车间)时可以近距离的观看手术规划的过程甚至参与其中。每个房间有通往大厅的门，手术规划大厅中的用户在收到主用户(第一用户和/或已被授予可进一步邀请用户的权限的第二用户)的邀请时，对其展示或者打开对应房间的门，该用户可进入到对应房间；未收到邀请的用户则无法进入对应房间。

在一个实施例中，元宇宙手术系统还提供模式选择功能，主用户可选流程模式或自由模式。流程模式必须完成当前车间的工作后才能前往下一个车间；自由模式可以随意选择进入任一个房间，进行任何操作。

在一个实施例中，在元宇宙手术规划三维场景中规划子场景的切换可以通过通道实现，通道可以是门、连廊、传送点或传送车等形式，通过通道可进入各个手术规划子场景，实现场景切换。

在一个实施例中，元宇宙手术规划三维场景中还可以展示操作说明，以便于用户了解如何执行手势动作以实现自己想要的操作效果，完成手术规划。其中，操作说明的展示方式可以通过动画、文字、语音及其结合的方式，本发明实施例对此不作特别限定。

在一个实施例中，还可以保存手术规划的过程数据。具体的，用户可以通过手势动作控制虚拟人物获取虚拟存储卡，并将手术规划过程中的过程数据，例如，三维模型、模拟测试数据等，存储于该虚拟存储卡中，以供后续观摩、学习调取使用。

下面以目标对象为骨组织，进行骨关节置换手术规划手术为例，对元宇宙手术规划三维场景建立过程作进一步虚拟动作信号说明，参见图4，该手术规划方法包括以下步骤：

步骤401、在元宇宙手术规划三维场景中建立与用户动作联动的虚拟人物。

其中，步骤401的具体实现方式与步骤201的实现方式类似，此处不再赘述。

步骤402、生成对应于骨组织三维模型的骨组织网格模型，并确定骨组织网格模型的特征关键点。

骨组织三维模型也即对象三维模型。

步骤402中，用户可以通过手势动作控制虚拟人物进入三维模型建立子场景，选择预进行手术规划的病患的医学影像数据，以在三维模型建立子场景中建立对应于该医学影像数据的骨组织三维模型，生成对应于骨组织三维模型的骨组织网格模型，并确定骨组织网格模型的特征关键点。

用户可以通过手势动作控制虚拟人物对骨组织三维模型进行平移、旋转、缩放、调整等基本操作。

在一个实施例中，元宇宙手术系统通过网格生成模型生成骨组织网格模型。具体的，将医学影像数据输入预先训练的网格生成模型，并根据网格生成模型生成对应于骨组织三维模型的骨组织网格模型。其中，网格生成模型采用训练样本对神经网络训练得到。

在一个实施例中，元宇宙手术系统通过关键点确定模型确定骨组织网格模型的特征关键点。具体的，将骨组织网格模型数据输入预先训练的关键点确定模型，根据关键点确定模型确定骨组织网格模型的特征关键点。其中，关键点确定模型采用训练样本对神经网络训练得到。

步骤403、根据特征关键点确定与骨组织三维模型相匹配的候选关节假体。

在一个实施例中，元宇宙手术系统基于特征关键点从关节假体库中匹配出与骨组织三维模型相匹配的候选关节假体，并展示给用户，供用户自行选择所需的关节假体。通过自动初步筛选，将明显不合适的关节假体排除，可以减小用户选择关节假体的范围，提高效率。

步骤404、根据虚拟动作信号从候选关节假体中选择目标关节假体。

用户通过手势动作控制虚拟人物即可实现从候选关节假体中选择目标关节假体。

步骤405、将目标关节假体植入骨组织三维模型，并配准显示植入目标关节假体后的骨组织三维模型。

用户还可通过手势动作控制虚拟人物对植入骨组织三维模型的目标关节假体的位姿进行调整。

步骤406、对植入目标关节假体后的骨组织三维模型进行运动模拟，确定骨组织三维模型包含的各骨组织子模型是否会发生碰撞。

用户进入模拟测试子场景即可对骨组织三维模型进行运动模拟，确定骨组织三维模型包含的各骨组织子模型是否会发生碰撞，以便于提前识别规划效果。若规划效果不理想，用户可通过手势动作控制虚拟人物重新选择目标关节假体并植入骨组织三维模型。

用户也可以通过手势动作控制虚拟人物对目标关节假体的尺寸、形态等属性参数进行调整，以在关节假体库中的关节假体不符合要求时，自行设计所需的关节假体。

在一个实施例中，还可以在元宇宙手术规划三维场景中显示植入目标关节假体后的对象三维模型的生理参数；生理参数包括以下至少之一：目标关节假体的前倾角、目标关节假体的外展角、目标关节假体的覆盖率、下肢长度差、偏心距，以便于用户实时了解手术规划情况。

图5为本发明一示例实施例示出的一种电子设备的结构示意图，示出了适于用来实现本发明实施方式的示例性电子设备60的框图。图5显示的电子设备60仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备60可以以通用计算设备的形式表现，例如其可以为服务器设备。电子设备60的组件可以包括但不限于：上述至少一个处理器61、上述至少一个存储器62、连接不同系统组件(包括存储器62和处理器61)的总线63。

总线63包括数据总线、地址总线和控制总线。

存储器62可以包括易失性存储器，例如随机存取存储器(RAM)621和/或高速缓存存储器622，还可以进一步包括只读存储器(ROM)623。

存储器62还可以包括具有一组(至少一个)程序模块624的程序工具625(或实用工具)，这样的程序模块624包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

处理器61通过运行存储在存储器62中的计算机程序，从而执行各种功能应用以及数据处理，例如上述任一实施例所提供的方法。

电子设备60也可以与一个或多个外部设备64(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口65进行。并且，模型生成的电子设备60还可以通过网络适配器66与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器66通过总线63与模型生成的电子设备60的其它模块通信。应当明白，尽管图中未示出，可以结合模型生成的电子设备60使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所提供的方法。

其中，可读存储介质可以采用的更具体可以包括但不限于：便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。

在可能的实施方式中，本发明实施例还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行实现上述任一实施例的方法。

其中，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码，所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (12)

1.一种元宇宙手术规划三维场景建立系统，其特征在于，包括：

场景建立模块，用于建立元宇宙手术规划三维场景，在所述元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物；元宇宙手术规划三维场景手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景；

数据获取模块，用于获取目标对象的医学影像数据，并在所述目标规划子场景中构建对应于所述医学影像数据的对象三维模型；

手术规划模块，用于根据所述虚拟人物操纵所述对象三维模型的虚拟动作信号，实现对所述目标对象的手术规划。

2.根据权利要求1所述的元宇宙手术规划三维场景建立系统，其特征在于，所述场景建立模块包括：

虚拟人物建立单元，用于响应于手术规划请求，在所述元宇宙手术规划三维场景中建立与第一用户的用户动作联动的虚拟人物；

和/或，所述虚拟人物建立单元，用于根据第二用户提供的邀请凭证在所述元宇宙手术规划三维场景中建立与所述第二用户的用户动作联动的虚拟人物；所述邀请凭证根据所述第一用户的邀请请求生成。

3.根据权利要求2所述的元宇宙手术规划三维场景建立系统，其特征在于，还包括：

权限设置模块，用于响应于所述第一用户的权限授权请求，为所述第二用户设置对应于所述权限授权请求的用户权限。

4.根据权利要求1所述的元宇宙手术规划三维场景建立系统，其特征在于，所述场景建立模块包括：

切换单元，用于响应于所述虚拟人物的场景切换指令，使所述虚拟人物进入对应于所述场景切换指令的另一目标规划子场景；

或者，所述切换单元，用于按照规划流程节点的顺序依次从多个规划子场景中确定目标规划子场景，当目标事件被触发时，使所述虚拟人物进入所述目标规划子场景。

5.根据权利要求4所述的元宇宙手术规划三维场景建立系统，其特征在于，前一次展示的目标规划子场景的规划过程数据作为当前展示的目标规划子场景的输入数据；

或者，各个规划子场景共享规划过程数据。

6.根据权利要求1所述的元宇宙手术规划三维场景建立系统，其特征在于，所述场景建立模块还包括：

子场景建立单元，用于确定用户权限，并使所述虚拟人物进入与所述用户权限相匹配的目标规划子场景。

7.根据权利要求3所述的元宇宙手术规划三维场景建立系统，其特征在于，还包括：

权限修改模块，用于响应于所述第一用户的权限修改请求，根据所述权限修改请求修改所述第二用户的用户权限。

8.根据权利要求1所述的元宇宙手术规划三维场景建立系统，其特征在于，所述规划子场景包括以下至少之一：

原始数据仓库子场景、三维模型建立子场景、手术规划子场景、假体仓库子场景和模拟测试子场景。

9.根据权利要求1所述的元宇宙手术规划三维场景建立系统，其特征在于，所述元宇宙手术规划三维场景还包括手术规划大厅；

所述元宇宙手术规划三维场景建立系统还包括：

登录模块，用于响应于登录请求，在所述手术规划大厅完成用户登录；

和/或，注册模块，用于响应于注册请求，在所述手术规划大厅完成用户注册。

10.一种元宇宙手术规划三维场景建立方法，其特征在于，包括：

建立元宇宙手术规划三维场景，在所述元宇宙手术规划三维场景中建立目标规划子场景以及与用户动作联动的虚拟人物；手术规划过程包括多个规划流程节点，各个规划流程节点对应一规划子场景；

获取目标对象的医学影像数据，并在所述目标规划子场景中构建对应于所述医学影像数据的对象三维模型；

根据所述虚拟人物操纵所述对象三维模型的虚拟动作信号，实现对所述目标对象的手术规划。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求10所述的元宇宙手术规划三维场景建立方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求10所述的元宇宙手术规划三维场景建立方法。