CN113963108A - 基于混合现实的医学图像协同方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种基于混合现实的医学图像协同方法，包括：采集原始医学图像数据，生成对应的三维医学模型数据；根据第一用户的创建场景指令，将三维医学模型数据发送给第一混合现实设备，渲染生成第一可视化场景；根据第二用户的进入场景指令，将三维医学模型数据发送给第二混合现实设备，渲染生成第二可视化场景；根据同步空间锚点命令，在第一、第二混合现实设备中同步显示第一可视化场景；根据第一、第二用户的模型操作指令，对三维医学模型进行交互操作。本发明还提供一种基于混合现实的医学图像协同装置及电子设备。借此，本发明能够让医生与患者全方位看到身体里的病变情况，多用户协同时可以更准确、迅速地交互医疗信息，可准确完成远程诊断。

Description

基于混合现实的医学图像协同方法、装置及电子设备

技术领域

本发明涉及医学图像处理技术领域，尤其涉及一种基于混合现实的医学图像协同方法、装置及电子设备。

背景技术

医学图像三维重建是通过计算机图形学、数字图像处理技术、计算机可视化以及人机交互等技术，把二维的医学图像序列转换为三维图像在屏幕上显示出来，并根据需要为用户提供交互处理手段的理论、方法和技术。但是，现有医学图像处理技术中，医生只能进行简单诊断，无法让患者感知身体里的病变情况。另外，对于异地的患者，因为存在距离远、数据不准、难以接触等问题，往往容易造成一些诊断偏差，增加手术变数，从而无法准确地完成远程诊断，耽误了最佳救治时间。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于混合现实的医学图像协同方法、装置及电子设备，其能够让医生与患者全方位看到身体里的病变情况，并且多用户协同时可以更准确、迅速地交互医疗信息，可准确完成远程诊断。

为了解决上述技术问题，本发明是这样实现的：

第一方面，本发明实施例提供了一种基于混合现实的医学图像协同方法，包括：

采集原始医学图像数据，生成对应的三维医学模型数据；

根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中渲染生成包括三维医学模型的第一可视化场景；

根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中渲染生成包括所述三维医学模型的第二可视化场景；

根据所述第二混合现实设备的同步空间锚点命令，获取所述第一可视化场景的第一空间信息和所述第二可视化场景的第二空间信息，并根据所述第一空间信息同步校准所述第二空间信息，在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景；

根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作。

根据本发明所述的方法，所述根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中渲染生成包括三维医学模型的第一可视化场景，包括：

根据所述第一用户的创建场景指令，创建虚拟房间并选择需要加载的所述三维医学模型数据和场景数据；

根据所述第一用户的进入房间指令，将所述三维医学模型数据和所述场景数据发送给所述第一混合现实设备，由所述第一混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第一可视化场景；

所述根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中渲染生成包括所述三维医学模型的第二可视化场景，包括：

根据至少一个所述第二用户的进入场景指令，将所述虚拟房间对应的所述三维医学模型数据和所述场景数据发送给所述第二混合现实设备，由所述第二混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第二可视化场景。

根据本发明所述的方法，所述将所述虚拟房间对应的所述三维医学模型数据和所述场景数据发送给所述第二混合现实设备，包括：

将所述虚拟房间对应的所述三维医学模型数据和所述场景数据，通过Socket通信发送给所述第二混合现实设备。

根据本发明所述的方法，所述根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作，包括：

根据所述第一用户的第一模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述三维医学模型进行同步操作；

根据所述第二用户的第二模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述三维医学模型进行同步操作。

根据本发明所述的方法，所述第一可视化场景中包括检测空间；

所述在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，所述方法还包括：

当所述检测空间收到所述第一用户的第一触碰指令，所述第一用户获得所述三维医学模型的操作权限，所述第二用户失去对所述三维医学模型的操作权限；

当所述检测空间收到所述第二用户的第二触碰指令，所述第二用户获得所述三维医学模型的操作权限，所述第一用户失去对所述三维医学模型的操作权限。

根据本发明所述的方法，所述在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，所述方法还包括：

根据所述第一用户的第一场景编辑指令，对所述第一混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述第一可视化场景进行同步编辑操作；

根据所述第二用户的第二场景编辑指令，对所述第二混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述第一可视化场景进行同步编辑操作。

根据本发明所述的方法，所述第一混合现实设备和所述第二混合现实设备是Hololens设备。

根据本发明所述的方法，所述方法应用于数据云平台。

第二方面，本发明实施例提供了一种基于混合现实的医学图像协同装置，用于实现上述基于混合现实的医学图像协同方法，所述装置包括：

数据生成模块，用于采集相应的原始医学图像数据，生成对应的三维医学模型数据；

第一场景生成模块，根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中生成包括三维医学模型的第一可视化场景；

第二场景生成模块，用于根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中生成包括所述三维医学模型的第二可视化场景；

场景同步模块，用于接收所述第二用户的同步空间锚点命令，获取所述第一可视化场景的第一空间信息和所述第二可视化场景的第二空间信息，并根据所述第一空间信息同步校准所述第二空间信息，在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景；

模型操作模块，用于根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作。

第三方面，本发明实施例提供了一种电子设备，包括存储介质、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述的基于混合现实的医学图像协同方法。

在本发明实施例中，本发明提出了基于混合现实技术的多用户医学图像协同技术，首先混合现实技术可让医生与患者全方位看到身体里的病变情况，并且多用户协同可以更准确、迅速地交互医疗信息，增强对病灶的大小、分布、形态、空间位置的真实感知。另外，本发明可以帮助原有的异地医疗设备更加准确地传递信息，从而准确完成远程诊断。

附图说明

图1是本发明实施例提供的基于混合现实的医学图像协同方法的流程示意图；

图2是本发明另一实施例提供的基于混合现实的医学图像协同方法的流程示意图；

图3是本发明实施例提供的基于混合现实的医学图像协同装置的结构示意图；

图4是本发明实施例提供的电子设备的结构示意图；

图5是本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的，本说明书中针对“一个实施例”、“实施例”、“示例实施例”等的引用，指的是描述的该实施例可包括特定的特征、结构或特性，但是不是每个实施例必须包含这些特定特征、结构或特性。此外，这样的表述并非指的是同一个实施例。进一步，在结合实施例描述特定的特征、结构或特性时，不管有没有明确的描述，已经表明将这样的特征、结构或特性结合到其它实施例中是在本领域技术人员的知识范围内的。

此外，在说明书及后续的权利要求当中使用了某些词汇来指称特定组件或部件，所属领域中具有通常知识者应可理解，制造商可以用不同的名词或术语来称呼同一个组件或部件。本说明书及后续的权利要求并不以名称的差异来作为区分组件或部件的方式，而是以组件或部件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求书中所提及的“包括”和“包含”为一开放式的用语，故应解释成“包含但不限定于”。以外，“连接”一词在此系包含任何直接及间接的电性连接手段。间接的电性连接手段包括通过其它装置进行连接。

下面结合附图，通过具体的实施例及其应用场景，对本发明实施例提供的基于混合现实的医学图像协同方法进行详细地说明。

图1是本发明实施例提供的基于混合现实的医学图像协同方法的流程示意图，所述方法包括步骤有：

步骤S101，采集原始医学图像数据，生成对应的三维医学模型数据。

可选地，采集患者的待诊断部位的原始医学图像数据，所述原始医学图像数据常为二维图像数据，根据所述二维图像数据生成对应的三维医学模型数据。

步骤S102，根据第一用户的创建场景指令，将三维医学模型数据发送给第一混合现实设备，在第一混合现实设备中渲染生成包括三维医学模型的第一可视化场景。

步骤S103，根据至少一个第二用户的进入场景指令，将三维医学模型数据发送给第二混合现实设备，在第二混合现实设备中渲染生成包括三维医学模型的第二可视化场景。

可选地，第一混合现实设备和第二混合现实设备是Hololens设备，即在Hololens设备中渲染生成包括三维医学模型的可视化场景。

步骤S104，根据第二混合现实设备的同步空间锚点命令，获取第一可视化场景的第一空间信息(World Anchor)和第二可视化场景的第二空间信息，并根据第一空间信息同步校准第二空间信息，在第一混合现实设备和第二混合现实设备中同步显示第一可视化场景。

步骤S105，根据第一用户和/或第二用户的模型操作指令，对第一可视化场景中的三维医学模型进行交互操作，可实现多人协同模型交互。

可选地，所述基于混合现实的医学图像协同方法应用于数据云平台，即首先要搭建数据云平台。第一用户、第二用户需要登录数据云平台才能发送指令，如第一用户登录数据云平台后，发送创建场景指令；第二用户登录数据云平台后，发送进入场景指令。

可选地，第一用户可以是第一医师，第二用户可以是至少一个患者或者至少一个第二医师。也就是说，第一医师、患者或者第二医师可以对三维医学模型进行同步操作。

可选地，根据第一用户的第一模型操作指令，对第一可视化场景中的三维医学模型进行平移、旋转或缩放操作等，并将操作信息同步传输到第二混合现实设备，由第二混合现实设备对三维医学模型进行同步操作。

可选地，根据第二用户的第二模型操作指令，对第一可视化场景中的三维医学模型进行平移、旋转或缩放操作等，并将操作信息同步传输到第一混合现实设备，由第一混合现实设备对三维医学模型进行同步操作。

混合现实技术(MR，Mixed Reality)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。本发明提出基于混合现实技术的多用户医学图像协同设计平台，首先混合现实技术可让医生与患者全方位看到身体里的病变情况，并且多用户协同可以更准确、迅速地交互医疗信息，增强对病灶的大小、分布、形态、空间位置的真实感知。另外，本发明可以帮助原有的异地医疗设备更加准确地传递信息，从而准确完成远程诊断。

图2是本发明另一实施例提供的基于混合现实的医学图像协同方法的流程示意图，包括步骤有：

步骤S201，采集原始医学图像数据，生成对应的三维医学模型数据。

可选地，采集患者的待诊断部位的原始医学图像数据，所述原始医学图像数据为二维图像数据，根据所述二维图像数据生成对应的三维医学模型数据。

步骤S202，根据第一用户的创建场景指令，创建虚拟房间并选择需要加载的三维医学模型数据和场景数据。

可选地，第一用户登录数据云平台，进入大厅后创建房间，然后选择需要加载的数据场景。

步骤S203，根据第一用户的进入房间指令，将三维医学模型数据和场景数据发送给第一混合现实设备，由第一混合现实设备解析三维医学模型数据和场景数据，并渲染生成包括三维医学模型的第一可视化场景。

可选地，第一用户选择进入房间后，数据云平台将三维医学模型数据和场景数据发送给第一混合现实设备，第一混合现实设备程序自动开始下载数据并解析数据网格模型，在hololens渲染模型并创建第一可视化场景。

步骤S204，根据至少一个第二用户的进入场景指令，将虚拟房间对应的三维医学模型数据和场景数据发送给第二混合现实设备，由第二混合现实设备解析三维医学模型数据和场景数据，并渲染生成包括三维医学模型的第二可视化场景。

可选地，至少一个第二用户登录数据云平台，进入大厅后查询房间信息，选择第一用户创建的虚拟房间，进行Socket通信交互第二用户获取需要同步的三维医学模型数据和场景数据，选择进入房间后，数据云平台将虚拟房间对应的三维医学模型数据和场景数据发送给第二混合现实设备，第二混合现实设备的程序自动开始下载数据并解析数据网格模型，在hololens渲染模型并创建第二可视化场景。

可选地，第一混合现实设备和第二混合现实设备是Hololens设备。

可选地，将虚拟房间对应的三维医学模型数据和场景数据，通过Socket通信发送给第二混合现实设备。

步骤S205，根据第二混合现实设备的同步空间锚点命令，获取第一可视化场景的第一空间信息和第二可视化场景的第二空间信息，并根据第一空间信息同步校准第二空间信息，在第一混合现实设备和第二混合现实设备中同步显示第一可视化场景。

可选地，第二混合现实设备自动向数据云平台发送同步空间锚点命令，获取第一用户的第一空间信息并同步校准。

可选地，第一可视化场景中包括检测空间。在第一混合现实设备和第二混合现实设备中同步显示第一可视化场景之后，还包括：

当检测空间收到第一用户的第一触碰指令，第一用户获得三维医学模型的操作权限，第二用户失去对三维医学模型的操作权限。

当检测空间收到第二用户的第二触碰指令，第二用户获得三维医学模型的操作权限，第一用户失去对三维医学模型的操作权限。

可选地，第一可视化场景内的模型四周都生成一个矩形的检测空间，可进行碰撞检测。当用户触碰到检测空间，当前用户获取三维医学模型的所有权，其它用户不能操作该三维医学模型。

步骤S206，根据第一用户和/或第二用户的模型操作指令，对第一可视化场景中的三维医学模型进行交互操作，可实现多人协同模型交互。

可选地，所述基于混合现实的医学图像协同方法应用于数据云平台，即首先要搭建数据云平台。第一用户、第二用户需要登录数据云平台才能发送指令，如第一用户登录数据云平台后，发送创建场景指令；第二用户登录数据云平台后，发送进入场景指令。

可选地，第一用户可以是第一医师，第二用户可以是至少一个患者或者至少一个第二医师。也就是说，第一医师、患者或者第二医师可以对三维医学模型进行同步操作。

可选地，根据第一用户的第一模型操作指令，对第一可视化场景中的三维医学模型进行平移、旋转或缩放操作等，并将操作信息同步传输到第二混合现实设备，由第二混合现实设备对三维医学模型进行同步操作。

可选地，根据第二用户的第二模型操作指令，对第一可视化场景中的三维医学模型进行平移、旋转或缩放操作等，并将操作信息同步传输到第一混合现实设备，由第一混合现实设备对三维医学模型进行同步操作。

可选地，进入数据场景的每个用户都可以单独对三维医学模型进行平移、旋转、缩放等操作，并通过消息传输同步当前房间内所有用户模型的状态。

步骤S207，根据第一用户和/或第二用户的的场景编辑指令，对的第一可视化场景进行编辑操作。

可选地，根据第一用户的第一场景编辑指令，对第一混合现实设备显示的第一可视化场景进行编辑操作，并将编辑操作信息同步传输到第二混合现实设备，由第二混合现实设备对第一可视化场景进行同步编辑操作。

可选地，根据第二用户的第二场景编辑指令，对第二混合现实设备显示的第一可视化场景进行编辑操作，并将编辑操作信息同步传输到第一混合现实设备，由第一混合现实设备对第一可视化场景进行同步编辑操作。

可选地，所述第一可视化场景可设有各种场景辅助工具，用户选择场景辅助工具可进行场景编辑操作，包括但不限于：1、手部菜单工具，控制大厅隐藏/显示、设置界面隐藏/显示、模型复位、模型操作模式切换、同步功能。2、大厅界面，提供创建房间、房间列表、进入房间功能。3、设置界面，提供灯光增加、模型方位切换、模型隐藏/显示、模型透明度设置功能等。

本发明具有如下有益效果：

1、通过计算机计算可进行三维全息重建，实现多维度、任意角度、全息影像化和感知交互化的一种呈现交互形式，通过硬件终端的交互技术拓展人的视觉感知能力，实现虚拟物体的真实再现，能达到触手可及的人机交互效果。

2、借助全息/虚拟现实显示影像数据，可进行手术操作的实时导航，让医生充分了解病变及其周围血管、脏器等组织、器官的情况，精准判断病变周围空间结构关系；便于医生团队针对疑难复杂病例，开展术前规划、手术方案设计和演练等，从而更好完成手术，减少医疗意外，保障患者安全。

3、远程会诊。允许多人同步观看相同的全息影像场景，参与者均可对模型进行移动、旋转、调整颜色、改变透明度等场景编辑操作，实现高效的实时交互与共享。

本发明实施例提供的基于混合现实的医学图像协同方法，首先混合现实技术可让医生与患者全方位看到身体里的病变情况，并且多用户协同可以更准确、迅速地交互医疗信息，增强对病灶的大小、分布、形态、空间位置的真实感知。另外，本发明可以帮助原有的异地医疗设备更加准确地传递信息，从而准确完成远程诊断。

需要说明的是，本发明实施例提供的基于混合现实的医学图像协同方法，执行主体可以为电子设备、基于混合现实的医学图像协同装置，或者该基于混合现实的医学图像协同装置中的用于执行基于混合现实的医学图像协同方法的控制模块。本发明实施例中以基于混合现实的医学图像协同装置执行基于混合现实的医学图像协同方法为例，说明本发明实施例提供的基于混合现实的医学图像协同装置。

图3是本发明实施例提供的基于混合现实的医学图像协同装置的结构示意图，用于实现如图1～图2所示的基于混合现实的医学图像协同方法，所述基于混合现实的医学图像协同装置300包括：

数据生成模块301，用于采集相应的原始医学图像数据，生成对应的三维医学模型数据。

第一场景生成模块302，根据第一用户的创建场景指令，将三维医学模型数据发送给第一混合现实设备，在第一混合现实设备中生成包括三维医学模型的第一可视化场景。

第二场景生成模块303，用于根据至少一个第二用户的进入场景指令，将三维医学模型数据发送给第二混合现实设备，在第二混合现实设备中生成包括三维医学模型的第二可视化场景。

场景同步模块304，用于接收第二用户的同步空间锚点命令，获取第一可视化场景的第一空间信息和第二可视化场景的第二空间信息，并根据第一空间信息同步校准第二空间信息，在第一混合现实设备和第二混合现实设备中同步显示第一可视化场景。

模型操作模块305，用于根据第一用户和/或第二用户的模型操作指令，对第一可视化场景中的三维医学模型进行交互操作。

可选地，所述第一场景生成模块302，包括：

创建房间子模块，用于根据所述第一用户的创建场景指令，创建虚拟房间并选择需要加载的所述三维医学模型数据和场景数据；

第一场景生成子模块，用于根据所述第一用户的进入房间指令，将所述三维医学模型数据和所述场景数据发送给所述第一混合现实设备，由所述第一混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第一可视化场景。

可选地，所述第二场景生成模块303，用于根据至少一个所述第二用户的进入场景指令，将所述虚拟房间对应的所述三维医学模型数据和所述场景数据发送给所述第二混合现实设备，由所述第二混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第二可视化场景。

可选地，所述第二场景生成模块303用于将所述虚拟房间对应的所述三维医学模型数据和所述场景数据，通过Socket通信发送给所述第二混合现实设备。

可选地，所述模型操作模块305，包括：

第一模型操作子模块，用于根据所述第一用户的第一模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述三维医学模型进行同步操作；

第二模型操作子模块，用于根据所述第二用户的第二模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述三维医学模型进行同步操作。

可选地，所述第一可视化场景中包括检测空间；

所述装置300还包括：

第一碰撞检测模块，用于在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，当所述检测空间收到所述第一用户的第一触碰指令，所述第一用户获得所述三维医学模型的操作权限，所述第二用户失去对所述三维医学模型的操作权限；

第二碰撞检测模块，用于在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，当所述检测空间收到所述第二用户的第二触碰指令，所述第二用户获得所述三维医学模型的操作权限，所述第一用户失去对所述三维医学模型的操作权限。

可选地，所述装置300还包括：

第一场景编辑模块，用于根据所述第一用户的第一场景编辑指令，对所述第一混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述第一可视化场景进行同步编辑操作；

第二场景编辑模块，用于根据所述第二用户的第二场景编辑指令，对所述第二混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述第一可视化场景进行同步编辑操作。

可选地，所述第一混合现实设备和所述第二混合现实设备是Hololens设备。

可选地，所述装置300应用于数据云平台。

本发明实施例中的基于混合现实的医学图像协同装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明实施例不作具体限定。

本发明实施例中的基于混合现实的医学图像协同装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本发明实施例不作具体限定。

本发明实施例提供的基于混合现实的医学图像协同装置能够实现图基于混合现实的医学图像协同的方法实施例实现的各个过程，为避免重复，这里不再赘述。

本发明实施例提供的基于混合现实的医学图像协同装置，首先混合现实技术可让医生与患者全方位看到身体里的病变情况，并且多用户协同可以更准确、迅速地交互医疗信息，增强对病灶的大小、分布、形态、空间位置的真实感知。另外，本发明可以帮助原有的异地医疗设备更加准确地传递信息，从而准确完成远程诊断。

可选的，如图4所示，本发明实施例还提供一种电子设备500，包括处理器501，存储器502，存储在存储器502上并可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述图1～图2所示的基于混合现实的医学图像协同方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本发明实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图5是实现本发明实施例的一种电子设备的硬件结构示意图。

该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。

应理解的是，本发明实施例中，射频单元601可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器610处理；另外，将上行的数据发送给基站。通常，射频单元601包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元601还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元603还可以提供与电子设备600执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元603包括扬声器、蜂鸣器以及受话器等。

输入单元604用于接收音频或视频信号。应理解的是，本发明实施例中，输入单元604可以包括图形处理器(GraphicsProcessing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。

电子设备600还包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板6061的亮度，接近传感器可在电子设备600移动到耳边时，关闭显示面板6061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器605还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板6061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板6061。

用户输入单元607可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板6071附近的操作)。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

接口单元608为外部装置与电子设备600连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元608可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部装置之间传输数据。

存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器609可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器610是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器609内的软件程序和/或模块，以及调用存储在存储器609内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器610可包括一个或多个处理单元；优选的，处理器610可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。

本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图5中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备(例如手环、眼镜)、以及计步器等。

本发明实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述基于混合现实的医学图像协同方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。

本发明实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述基于混合现实的医学图像协同方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本发明实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本发明实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于混合现实的医学图像协同方法，其特征在于，包括：

采集原始医学图像数据，生成对应的三维医学模型数据；

根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中渲染生成包括三维医学模型的第一可视化场景；

根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中渲染生成包括所述三维医学模型的第二可视化场景；

根据所述第二混合现实设备的同步空间锚点命令，获取所述第一可视化场景的第一空间信息和所述第二可视化场景的第二空间信息，并根据所述第一空间信息同步校准所述第二空间信息，在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景；

根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作。

2.根据权利要求1所述的方法，其特征在于，所述根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中渲染生成包括三维医学模型的第一可视化场景，包括：

根据所述第一用户的创建场景指令，创建虚拟房间并选择需要加载的所述三维医学模型数据和场景数据；

根据所述第一用户的进入房间指令，将所述三维医学模型数据和所述场景数据发送给所述第一混合现实设备，由所述第一混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第一可视化场景；

所述根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中渲染生成包括所述三维医学模型的第二可视化场景，包括：

根据至少一个所述第二用户的进入场景指令，将所述虚拟房间对应的所述三维医学模型数据和所述场景数据发送给所述第二混合现实设备，由所述第二混合现实设备解析所述三维医学模型数据和所述场景数据，并渲染生成包括所述三维医学模型的所述第二可视化场景。

3.根据权利要求2所述的方法，其特征在于，所述将所述虚拟房间对应的所述三维医学模型数据和所述场景数据发送给所述第二混合现实设备，包括：

将所述虚拟房间对应的所述三维医学模型数据和所述场景数据，通过Socket通信发送给所述第二混合现实设备。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作，包括：

根据所述第一用户的第一模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述三维医学模型进行同步操作；

根据所述第二用户的第二模型操作指令，对所述第一可视化场景中的所述三维医学模型进行平移、旋转或缩放操作，并将操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述三维医学模型进行同步操作。

5.根据权利要求1所述的方法，其特征在于，所述第一可视化场景中包括检测空间；

所述在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，所述方法还包括：

当所述检测空间收到所述第一用户的第一触碰指令，所述第一用户获得所述三维医学模型的操作权限，所述第二用户失去对所述三维医学模型的操作权限；

当所述检测空间收到所述第二用户的第二触碰指令，所述第二用户获得所述三维医学模型的操作权限，所述第一用户失去对所述三维医学模型的操作权限。

6.根据权利要求1所述的方法，其特征在于，所述在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景之后，所述方法还包括：

根据所述第一用户的第一场景编辑指令，对所述第一混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第二混合现实设备，由所述第二混合现实设备对所述第一可视化场景进行同步编辑操作；

根据所述第二用户的第二场景编辑指令，对所述第二混合现实设备显示的所述第一可视化场景进行编辑操作，并将编辑操作信息同步传输到所述第一混合现实设备，由所述第一混合现实设备对所述第一可视化场景进行同步编辑操作。

7.根据权利要求1所述的方法，其特征在于，所述第一混合现实设备和所述第二混合现实设备是Hololens设备。

8.根据权利要求1所述的方法，其特征在于，所述方法应用于数据云平台。

9.一种基于混合现实的医学图像协同装置，其特征在于，用于实现如权利要求1～8任一项所述的基于混合现实的医学图像协同方法，所述装置包括：

数据生成模块，用于采集相应的原始医学图像数据，生成对应的三维医学模型数据；

第一场景生成模块，根据第一用户的创建场景指令，将所述三维医学模型数据发送给第一混合现实设备，在所述第一混合现实设备中生成包括三维医学模型的第一可视化场景；

第二场景生成模块，用于根据至少一个第二用户的进入场景指令，将所述三维医学模型数据发送给第二混合现实设备，在所述第二混合现实设备中生成包括所述三维医学模型的第二可视化场景；

场景同步模块，用于接收所述第二用户的同步空间锚点命令，获取所述第一可视化场景的第一空间信息和所述第二可视化场景的第二空间信息，并根据所述第一空间信息同步校准所述第二空间信息，在所述第一混合现实设备和所述第二混合现实设备中同步显示所述第一可视化场景；

模型操作模块，用于根据所述第一用户和/或第二用户的模型操作指令，对所述第一可视化场景中的所述三维医学模型进行交互操作。

10.一种电子设备，包括存储介质、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述的基于混合现实的医学图像协同方法。

Images