CN113995525A - 可切换视角的基于混合现实的医疗场景同步操作系统及存储介质 - Google Patents

Abstract

本发明涉及一种可切换视角的基于混合现实的医疗场景同步操作系统，它的组成包括：第一混合现实设备、第二混合现实设备；第一混合现实设备和第二混合现实设备内分别呈现内容显示模块；第一混合现实设备和第二混合现实设备通过标识信息形成网络通信通道；第一混合现实设备和第二混合现实设备的内容显示模块在网络通信通道内同步呈现可操作的医疗场景；第一混合现实设备和第二混合现实设备在网络通信通道内实现语音通讯；第一混合现实设备或第二混合现实设备可同步显示任意一方设备视角范围内内容显示模块显示的医疗场景。本发明将患者虚拟三维模型融合混合现实技术，在远程医疗方面创新应用，为医生和患者提供高质量、高效率的医疗辅助服务。

Description

可切换视角的基于混合现实的医疗场景同步操作系统及存储 介质

技术领域

本发明属于信息化医疗器械领域，具体地说，涉及一种可切换视角的基于混合现实的医疗场景同步操作系统。

背景技术

远程医疗的有效实施是解决医疗行业医疗资源区域间布局不合理，结构不平衡，发展不充分问题的有效措施之一，优质医院的专家可以通过远程会诊的方式，解决偏远地区疑难杂症以及重症患者首诊精确确诊的问题；通过远程指导的方式，解决急症患者的紧急治疗问题，为急症患者争取更多的黄金救治的时间。

目前远程医疗不能有效实施的主要技术原因如下：

1、远程诊断在设备和患者医疗资料呈现方式方面存在限制因素。

一方面不同科室或异地的医疗专家需要借助远程通讯设备和场地开展远程会诊，场地和设备的使用会受到限制，不能随时开展远程会诊；

另一方面，远程会诊共享的患者资料通常使用的是CT或核磁设备产生的二维图像，只有影像科或相关科室医生可以在脑中准确进行三维重建，诊断病情，而有些疑难杂症或重症患者的会诊往往需要其他科室的医生共同诊断，患者的二维图像并不能给其他科室医生判断病情带来有价值的参考；

再者，随着三维重建技术的日益成熟，虚拟三维模型在医疗领域已广泛应用，但虚拟三维模型的应用在状态及视角呈现，以及对其进行输入和操作等方面的功能优势还有待进一步挖掘和提高，至使远程医疗能够适用的医疗场景有限，不能广泛应用和实施。

2、远程手术指导还未发挥实质作用，远程专家不能以实操医生的视角精准指导手术操作。目前远程专家只能依靠观看手术时近距离录制的病灶视频，结合患者的CT或核磁数据或患者的虚拟三维模型，对比着去判断和指导手术，并不能以实操医生的视角看到病灶所处的位置和角度，判断手术操作是否准确，精准指导下一步操作，给实操医生带来执行困惑或操作误导，增加手术风险，还容易错过紧急措施的实施时机；专家的视线在观看视频和患者数据之间频繁切换，也会增加专家构建指导方案的时间和难度。

、专业壁垒是患者与医生之间存在沟通障碍的主要原因，二维的CT或核磁数据并不能使患者很准确的了解病情及治疗方案，医患沟通不顺畅会影响治疗效果，加深医患矛盾，给医生就诊带来极大困扰。

发明内容

为解决上述技术问题，本发明提供一种可切换视角的基于混合现实的医疗场景同步操作系统，将患者虚拟三维模型融合混合现实技术，在医疗领域，尤其是在远程会诊，远程手术指导方面创新应用，为医生和患者提供高质量、高效率的医疗辅助服务。

本发明是通过以下技术方案实现的：

可切换视角的基于混合现实的医疗场景同步操作系统，其组成包括：第一混合现实设备、第二混合现实设备；

所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备和所述第二混合现实设备在所述网络通信通道内实现语音通讯；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的医疗场景。

进一步的，所述内容显示模块连接模型数据处理模块，获取虚拟三维模型的初始状态，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：虚拟三维模型初始状态。

进一步的，所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行第一状态变化到第二状态的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型从第一状态变化为第二状态的过程。

进一步的，所述内容显示模块连接模型配准处理模块，获取模型配准处理模块对虚拟三维模型执行配准指令所产生的虚拟三维模型状态变化的过程；所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程。

进一步的，所述内容显示模块连接模型数据处理模块，获取对虚拟三维模型输入辅助标线指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：在所述虚拟三维模型上输入辅助标线的过程。

进一步的，虚拟三维模型初始状态包含：

虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图，所述虚拟三维模型的显示方向与所述人体体位示意图保持一致；

或虚拟三维模型以及其特性参数；

或虚拟三维模型以及其各组成结构的特性参数；

或基于混合现实效果显示的带有辅助标线的虚拟三维模型呈现在人体实际病灶部位的状态。

进一步的，所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行颜色、爆炸、旋转、缩放、位移指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：

虚拟三维模型从第一颜色变化为第二颜色的过程；

或虚拟三维模型从整体结构爆炸分解为分体结构的过程；

或虚拟三维模型沿x轴、y轴、z轴旋转的过程；

或虚拟三维模型放大或缩小的过程；

或虚拟三维模型从第一位置位移到第二位置的过程。

进一步的，所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程包括：

S1：导入虚拟三维模型；

S2：调整所述人体体位示意图，使虚拟三维模型的体位与患者实际体位保持一致；

S3：所述模型数据处理模块获取所述虚拟三维模型的第一空间坐标信息；

S4:在所述模型配准处理模块中设定，所述内容显示模块内显示的虚拟三维模型的空间坐标与所述第一混合现实设备或所述第二混合现实设备扫描到的标记物空间坐标一致；

S5：使用所述第一混合现实设备或第二混合现实设备扫描患者实际病灶位置上放置的标记物；

S6：所述模型配准处理模块获取所述标记物空间坐标；

S7：所述模型配准处理模块将所述虚拟三维模型的空间坐标修改成与所述标记物的空间坐标一致，使所述虚拟三维模型生成第二空间坐标；

S8：所述模型配准处理模块将所述虚拟三维模型的第二空间坐标信息发送给所述模型数据处理模块；

S9：所述模型数据处理模块获取所述虚拟三维模型的第二空间坐标信息；

S10：所述模型数据处理模块控制虚拟三维模型按照所述第二空间坐标信息完成空间位置的改变，实现虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合。

进一步的，在虚拟三维模型上输入辅助标线的过程包括：

S1：在虚拟三维模型上选定辅助标线起点所在的面，为第一标记面；

S2：在所述第一标记面上选定第一标记点；

S3：在空间内选定任意一点为第二标记点；

S4：沿所述第一标记点向所述第二标记点的位置输入辅助标线；

S5：以所述第一标记点为固定点，调整所述第二标记点的空间位置，确定所述辅助标线的角度和位置。

进一步的，所述内容显示模块连接患者信息管理模块，获取患者病理信息，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：患者的病理信息。

进一步的，所述内容显示模块连接数据处理模块，获取所述数据处理模块记录的操作信息，并生成操作记录，保存在所述第一混合现实设备和所述第二混合现实设备中。

进一步的，所述第一混合现实设备或所述第二混合现实设备分别与智能终端建立通信连接。

可切换视角的基于混合现实的医疗场景同步操作系统的可读存储介质，

所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：

在所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的内容。

有益效果

1、本发明所涉及的硬件设备组成比较简单，操作比较方便，仅需要服务器，混合现实设备，以及网络通信设施即可，异地医生可以随时建立网络通信通道，在任何环境、地点都可以使用混合现实设备完成远程指导或远程会诊，不会受固定场地和固定设备的限制，具有较高的灵活性，尤其适用于异地使用。

2、本发明使用的混合现实设备，可以实现虚拟三维模型与实际场景叠加显示的视觉效果，可以为不同科室医生提供可视化的显示效果以供诊断或指导参考。

3、本发明深度挖掘虚拟三维模型在医疗场景中的功能应用，通过使虚拟三维模型与实际患者病灶位置匹配，在虚拟三维模型上输入辅助标线的过程同步显示在混合现实设备中，供专家以第一视角进行远程指导和远程诊断时使用，拓展了远程医疗适用的医疗场景，使远程医疗在临床上可以被有效应用。

4、本发明在远程手术指导中应用，医生或专家通过混合现实设备中呈现的患者病灶部位的虚拟三维模型与实际病灶匹配重合并叠加在一起的画面，可以以操作者的第一视角预先判断病灶内部结构以及风险区域，提供精准、及时的远程指导；操作医生按照专家在患者病灶虚拟三维模型上输入的辅助标线执行手术，可以缩短手术时间，降低手术风险，进一步提升患者对医疗服务的满意度。

5、本发明在医患沟通中应用，医生和患者在混合现实设备中可以同步看到被三维重建的患者病灶位置，医生在虚拟三维模型上输入辅助标线制定治疗方案的过程，也可以被患者清楚的看到并理解和接受，因此更加配合治疗，有效解决医患沟通之间存在的专业壁垒问题。

附图说明

附图1为本发明的逻辑结构示意图；

附图2为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型初始状态的逻辑结构图；

附图3为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型从第一状态变化为第二状态的过程的逻辑结构图；

附图4为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程的逻辑结构图；

附图5为本发明第一混合现实设备和第二混合现实设备同步显示在所述虚拟三维模型上输入辅助标线过程的逻辑结构图；

附图6示出本发明虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图；

附图7为本发明虚拟三维模型与人体体位示意图建立显示方向对应关系的实施方法流程图；

附图8为本发明第一混合现实设备和第二混合现实设备同步显示对虚拟三维模型执行颜色、爆炸、旋转、缩放、位移所产生的虚拟三维模型状态变化过程的逻辑结构图；

附图9为本发明在虚拟三维模型上输入辅助标线的流程图；

附图10为在脊柱虚拟三维模型上输入辅助标线的示意图。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

附图1为本发明的逻辑结构示意图，结合附图1说明本实施例；

可切换视角的基于混合现实的医疗场景同步操作系统，其组成包括：第一混合现实设备、第二混合现实设备；

所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备和所述第二混合现实设备在所述网络通信通道内实现语音通讯；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的医疗场景。

本发明所指的第一混合现实设备和第二混合现实设备，是指可以在设备中实现：将真实世界和虚拟世界混合在一起，产生新的可视化环境，环境中同时包含了物理实体与虚拟信息，而且能实现虚拟与真实之间的部分保留与自由切换，虚拟物体的相对位置，不随混合现实设备的移动而移动。

所述第一混合现实设备和所述第二混合现实设备至少包含处理器，存储器，传感器，麦克风和高清摄像头，混合现实场景显示屏。

所述第一混合现实设备和所述第二混合现实设备包含但不局限于混合现实眼镜，混合现实头盔。

所述第一混合现实设备作为输入端，包含至少一台混合现实设备。

本实施例中所指的输入端是指：向混合现实设备输入虚拟三维模型或真实环境场景或虚拟三维模型与真实环境场景重叠显示的一方。

所述第二混合现实设备作为输出端，包含至少一台混合现实设备。

本实施例中所指的输出端是指：通过混合现实设备加载或打开使其显示虚拟三维模型或真实环境场景或虚拟三维模型与真实环境场景重叠显示的一方。

所述内容显示模块在所述第一混合现实设备或所述第二混合现实设备的显示屏幕中显示。

本实施例的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送数据信息；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并实时接收所述网络通信通道内的数据信息，以确保所述第一混合现实设备和所述第二混合现实设备内显示的数据信息实时同步。

所述标识信息可以为具有排列规则的编码信息，编码信息可以由创建时间+患者信息组成，创建时间由年月日时分秒毫秒组成。

所述患者信息由患者的身份信息或所在科室信息或所属医院信息或主治医生信息，通过加密方式自动生成的属于该患者的唯一标识信息组成。

这种编码规则使标识信息具有唯一性，可以避免标识信息的重复。

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现的可操作的医疗场景，包括但不局限于虚拟三维模型，或虚拟三维模型与真实环境重合显示的场景。

本实施例所指的虚拟三维模型可以是根据患者CT或核磁的dicom数据，按照1：1比例实例化重建的患者三维模型，例如患者的脑部三维模型，脊柱三维模型，肾脏三维模型；

也可以是在患者实例化的三维模型上做好辅助标线的三维模型，便于将治疗方案清晰地呈现出来，让观看者一目了然；

也可以是按照实体医疗器械或医疗设备1：1比例实例化重建的医疗器械或医疗设备三维模型，例如手术刀的三维模型，椎弓根钉的三维模型，手术钳的三维模型，手术机器人的三维模型等，这种情况适用于医院开展新型医疗器械的培训使用，操作者通过对设备或器械的三维模型操作练习，来学习和掌握新设备或新器械的使用方法。

本实施例所指的真实环境可以是患者本人或患者本人置于医院的任意环境中；

也可以是手术室，检查室或医院的任意空间环境内；

本实施例所指的医疗场景包括但不局限于以下场景：

为患者病灶实施手术的场景；

或将患者病灶的虚拟三维模型置于真实患者病灶位置呈现的虚实叠加的混合现实效果的手术场景；

或将患者虚拟三维模型置于虚拟手术环境中实施操作练习的场景。

对于可同步操作的医疗场景为患者病灶实施手术的场景的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送为患者病灶实施手术过程的连续图像信息；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并实时接收所述网络通信通道内的为患者病灶实施手术过程的连续图像信息，实现所述第一混合现实设备和所述第二混合现实设备内同步显示为患者病灶实施手术过程的连续图像信息。

对于可同步操作的医疗场景为，将患者病灶的虚拟三维模型置于真实患者病灶位置呈现的虚实叠加的混合现实效果的手术场景，的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送患者病灶的虚拟三维模型，以及真实患者病灶位置的连续图像信息；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并实时接收所述网络通信通道内的患者病灶的虚拟三维模型，以及真实患者病灶位置的连续图像信息，实现所述第一混合现实设备和所述第二混合现实设备内同步显示患者病灶的虚拟三维模型与真实患者病灶位置的连续图像叠加显示的图像信息。

对于可同步操作的医疗场景为，将患者虚拟三维模型置于虚拟手术环境中实施手术操作练习的场景，的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送患者虚拟三维模型，以及搭建虚拟手术环境所需要的各种虚拟三维模型；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并实时接收所述网络通信通道内的患者病灶的患者虚拟三维模型以及搭建虚拟手术环境所需要的各种虚拟三维模型，实现所述第一混合现实设备和所述第二混合现实设备内同步显示患者虚拟三维模型，以及搭建虚拟手术环境所需要的各种虚拟三维模型。

通过医疗场景的同步显示，医生可以通过同步显示的医疗场景信息以操作医生的视角给出准确的手术指导和精准的首诊诊断；

虚拟三维模型在虚拟手术环境中的应用，可以达到仿真练习的培训效果，可以使培训学员以第一视视角，身临其境般的熟悉操作流程，掌握操作要点，提高培训效果。

实施例二

附图2为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型初始状态的逻辑结构图，结合附图2说明本实施例；

根据实施例一所述的可切换视角的基于混合现实的医疗场景同步操作系统，进一步地，所述内容显示模块连接模型数据处理模块，获取虚拟三维模型的初始状态，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：虚拟三维模型初始状态。

所述虚拟三维模型的初始状态，包含虚拟三维模型的空间坐标，体积、尺寸，结构组成，颜色，透明度等能够体现虚拟三维模型特性的参数信息。

所述模型数据处理模块的作用是，在所述第一混合现实设备中获取虚拟三维模型的初始状态信息，并接收输入指令，对虚拟三维模型进行初始状态改变的操作。

输入指令可以通过所述第一混合现实设备给予，也可以通过其他智能终端给予，其他智能终端包含平板端、手机端、电脑端，通过其他智能终端给予输入指令的前提条件是，所述第一混合现实设备与其他智能终端建立通信连接。

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：虚拟三维模型初始状态的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型，所述虚拟三维模型包含初始状态信息；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并实时接收所述网络通信通道内的虚拟三维模型以及所述虚拟三维模型包含的初始状态信息，实现所述第一混合现实设备和所述第二混合现实设备内同步显示虚拟三维模型以及所述虚拟三维模型包含的初始状态信息。

实施例三

附图3为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型从第一状态变化为第二状态的过程的逻辑结构图，结合附图3说明本实施例；

根据实施例一所述的可切换视角的基于混合现实的医疗场景同步操作系统，所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行第一状态变化到第二状态的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型从第一状态变化为第二状态的过程。

所述虚拟三维模型的第一状态是对虚拟三维模型输入控制指令之前的状态。

包括虚拟三维模型的初始状态。

所述虚拟三维模型的第二状态是虚拟三维模型执行控制指令后呈现的状态。

本实施例的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的虚拟三维模型；

所述第一混合现实设备和所述第二混合现实设备的所述模型数据处理模块获取虚拟三维模型的第一状态信息，所述第一状态信息包含虚拟三维模型的空间坐标，体积、尺寸，结构组成，颜色，透明度等能够体现虚拟三维模型特性的参数信息；

所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块同步显示所述虚拟三维模型的第一状态；

触发所述第一混合现实设备或其他智能终端发出对虚拟三维模型从第一状态变为第二状态的操作指令，由所述第一混合现实设备的所述模型数据处理模块获取操作指令，并执行操作指令，使虚拟三维模型完成第一状态信息的改变，并向所述服务器发送所述虚拟三维模型的第二状态信息，所述第二混合现实设备的模型数据处理模块在所述网络通信通道内接收所述虚拟三维模型的第二状态信息，并将所述虚拟三维模型的第二状态同步显示在所述第二混合现实设备的内容显示模块内；

所述虚拟三维模型在服务器端从第一状态变化为第二状态的过程，被同在所述网络通信通道内的所述第一混合现实设备和所述第二混合现实设备的内容显示模块同步显示。

本实施例可以根据医疗场景自定义设定混合现实设备对虚拟三维模型的操作权限，需要多人互动或可以由非指定人对虚拟三维模型操作的，例如培训教学使用时，可以将第一混合现实设备和所述第二混合现实设备都设定有操作权限；

对于只能由现场医生或指导专家操作的医疗场景，例如远程指导，远程会诊，可以将指定的混合现实设备设定操作权限，其他混合现实设备设定只能观看的权限。

本实施例在医生与患者沟通病情使用时，在所述第一混合现实设备和所述第二混合现实设备中同步的虚拟三维模型可以是患者的虚拟三维模型，医生佩戴第一混合现实设备，患者佩戴第二混合现实设备，医生可以通过患者的虚拟三维模型以及其初始状态信息，与患者讲解病情，描述治疗方案，患者通过观看实例化的虚拟三维模型，可以清晰了解自己的病情，理解并接受治疗方案，从而打破医患之间存在的沟通壁垒，避免医患沟通不畅通而引发的医患纠纷。

本实施例在远程诊断中使用，本地医院医生佩戴第一混合现实设备，异地专家或其他科室专家佩戴第二混合现实设备，设备中同步显示患者的虚拟三维模型，通过这种多科室联合远程会诊的形式，得出精确的首诊诊断，可以有效解决优质医疗资源匮乏地区无法及时有效作出首诊诊断的难题。

本实施例在医疗培训中使用，培训教师佩戴第一混合现实设备，学员佩戴第二混合现实设备，设备中同步显示医疗器械虚拟三维模型或患者病灶的虚拟三维模型或教学器官的虚拟三维模型，集演示，操作，同步于一体的远程教学模式，可以打破地域的限制，实现异地教学，从根本上助力解决医疗教育资源分布不均匀的问题。

实施例四

附图4为本发明第一混合现实设备和第二混合现实设备同步显示虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程的逻辑结构图，结合附图4说明本实施例；

根据实施例三所述的可切换视角的基于混合现实的医疗场景同步操作系统， 进一步地，所述内容显示模块连接模型配准处理模块，获取模型配准处理模块对虚拟三维模型执行配准指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程。

本实施例的实现过程如下：

本实施例中所指的虚拟三维模型包含但不局限于患者病灶位置的三维模型；

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像；

基于混合现实技术，所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块在所述网络通信通道内同步显示：虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像产生叠加的图像；

此时，所述内容显示模块中显示的所述虚拟三维模型，与患者实际病灶位置的连续图像之间的位置关系及呈现的视觉效果，或者为部分重合叠加的视觉效果，或者为全部重合叠加的视觉效果或者为无重合叠加的视觉效果；

触发所述第一混合现实设备或其他智能终端发送对虚拟三维模型执行配准的指令，由所述第一混合现实设备的所述模型配准处理模块获取该指令，并执行配准指令，使虚拟三维模型与患者实际病灶位置匹配重合，同时，向所述服务器发送所述虚拟三维模型，在与患者实际病灶位置重合匹配后的状态信息，以及患者实际病灶位置的连续图像，所述第二混合现实设备的模型数据处理模型在所述网络通信通道内接收所述虚拟三维模型，在与患者实际病灶位置重合匹配后的状态信息，以及患者实际病灶位置的连续图像，并基于混合现实技术，将所述虚拟三维模型重合叠加显示在患者实际病灶位置的连续图像上的图像同步显示在所述第二混合现实设备的内容显示模块内；

所述虚拟三维模型重合叠加显示在患者实际病灶位置的连续图像上，并与患者实际病灶位置重合匹配的过程，被同在所述网络通信通道内的所述第一混合现实设备和所述第二混合现实设备的内容显示模块同步显示。

本实施例在远程手术指导中应用时，异地的专家可以通过选择手术操作医生的视角，精准地指导异地操作医生执行手术操作，看到患者虚拟三维模型精准匹配到患者实际病灶位置的叠加图像，可以辅助医生透过虚拟三维模型看到真实患者病灶的内部结构，并快速作出避开风险操作的指示。

实施例五

附图5为本发明第一混合现实设备和第二混合现实设备同步显示在所述虚拟三维模型上输入辅助标线过程的逻辑结构图，结合附图5说明本实施例；

根据实施例三所述的可切换视角的基于混合现实的医疗场景同步操作系统， 所述内容显示模块连接模型数据处理模块，获取对虚拟三维模型输入辅助标线指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：在所述虚拟三维模型上输入辅助标线的过程。

本实施例的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的虚拟三维模型实时状态信息；

所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块在所述网络通信通道内同步显示：虚拟三维模型的实时状态；

触发所述第一混合现实设备或其他智能终端发出对虚拟三维模型输入辅助标线的指令，由所述第一混合现实设备的的所述模型数据处理模块在所述网络通信通道内获取该指令，并执行输入辅助标线的指令，使虚拟三维模型的状态产生变化，并向所述服务器发送所述虚拟三维模型状态变化后的信息，所述第二混合现实设备的模型数据处理模型在所述网络通信通道内接收所述虚拟三维模型状态变化后的信息，并将状态变化后的虚拟三维模型同步显示在所述第二混合现实设备的内容显示模块；

在所述虚拟三维模型上输入辅助标线致使虚拟三维模型状态改变的过程，被同在所述网络通信通道内的所述第一混合现实设备和所述第二混合现实设备的内容显示模块同步显示。

本实施例适用于远程手术指导、远程培训教学以及远程诊断：

将输入辅助标线的过程同步在第一混合现实设备和第二混合现实设备中，异地医生专家或培训专家可以通过对虚拟三维模型输入辅助标线的方式，作出手术规划或指导方案或演示方案，被指导或学习的另一方可以同步看到辅助标线作用在虚拟三维模型上的过程，使之清晰有效的掌握指导方案，并通过佩戴混合现实设备，使虚拟三维模型及辅助标线与真实患者病灶以叠加的视觉效果呈现在眼前，医生或学生可以进一步地参照虚拟三维模型及辅助标线与真实患者病灶叠加的视觉效果，按照辅助标线实施手术操作或判断诊断结果或进行模拟练习，使远程手术指导进一步精准并且可被有效地实施应用；

使远程诊断过程可以被清晰的呈现，对于医生精准出具诊断结果以及积累诊断经验有巨大帮助；

使远程培训教学过程更容易被学生所理解和接受，可以有效增强教学效果，提高学生的学习效率以及参与度和兴趣度。

另外要说明的是，本实施例中涉及的第一混合现实设备和第二混合现实设备，可以自定义进行权限设定，可以为混合现实设备设定输入辅助标线的操作权限。

实施例六

附图6示出本发明虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图；

附图7为本发明虚拟三维模型与人体体位示意图建立显示方向对应关系的实施方法流程图；结合附图6、附图7说明本实施例；

根据实施例二所述的可切换视角的基于混合现实的医疗场景同步操作系统，虚拟三维模型初始状态包含：

虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图，所述虚拟三维模型的显示方向与所述人体体位示意图保持一致；

或虚拟三维模型以及其特性参数；

或虚拟三维模型以及其各组成结构的特性参数；

或基于混合现实效果显示的带有辅助标线的虚拟三维模型呈现在人体实际病灶部位的状态。

本实施例所述虚拟三维模型的初始状态，除了包含虚拟三维模型的空间坐标，体积、尺寸，结构组成，颜色，透明度等能够体现虚拟三维模型特性的参数信息外，还包含虚拟三维模型各组成结构的空间坐标，体积、尺寸，颜色，透明度等能够体现各组成结构特性的参数信息，以及：

虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图；

在混合现实设备中呈现的患者病灶位置的虚拟三维模型可能只是身体的局部器官或组织，单纯对虚拟三维模型进行操作，很难使虚拟三维模型的显示状态精确地与身体体位保持一致，并且调整虚拟三维模型的角度及方向使其与身体体位保持一致会需要很长时间，并且还存在匹配误差，导致带有术前规划方案的虚拟三维模型在术中不能被有效地参考和应用；远程手术指导的专家也不能通过虚拟三维模型进行术中辅助参考，无法提供准确的术中指导方案；因此，我们在虚拟三维模型的显示界面上设置了与其显示方向匹配的人体体位示意图，通过虚拟三维模型与所述人体体位示意图建立的显示方向对应关联关系，判断虚拟三维模型的显示方向；

所述虚拟三维模型与人体体位示意图建立显示方向对应关系的实施方法如下：

S1：在模型数据处理模块中导入人体体位示意图，所述人体体位示意图为人体的三维立体模型，为所述人体的三维立体模型分别设定显示平面：

以面部所在平面为第一平面，也作为基准面；

以面部的后方，即脑后部所在平面为第二平面，也作为后面；

以面部的左侧方向，即左耳所在平面为第三平面；

以面部的右侧方向，即右耳所在平面为第四平面；

以面部的上方，即头顶所在平面为第五平面；

以面部的下方，即脚底所在的平面为第六平面；

S2：设定虚拟三维模型上传时的初始显示方向，初始显示方向与所述人体体位示意图的显示平面保持一致；

当所述人体体位示意图显示第一平面，即基准面，上传虚拟三维模型时，以所述人体体位示意图显示的第一平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

当所述人体体位示意图显示第二平面，上传虚拟三维模型时，以所述人体体位示意图显示的第二平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

当所述人体体位示意图显示第三平面，上传虚拟三维模型时，以所述人体体位示意图显示的第三平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

当所述人体体位示意图显示第四平面，上传虚拟三维模型时，以所述人体体位示意图显示的第四平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

当所述人体体位示意图显示第五平面，上传虚拟三维模型时，以所述人体体位示意图显示的第五平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

当所述人体体位示意图显示第六平面，上传虚拟三维模型时，以所述人体体位示意图显示的第六平面为参照面，设定虚拟三维模型在该参照面方向显示的状态为初始显示方向；

以泌尿外科肾脏结构为例，在上传肾脏结构的虚拟三维模型时，该虚拟三维模型可以有多种显示方向，我们需要确定该虚拟三维模型的初始显示方式，我们以人体体位示意图的基准面为参照面，将肾脏结构的虚拟三维模型的显示方式调整到在该参照面下的显示状态，然后设定这个显示状态为肾脏结构的虚拟三维模型的初始显示方向；

S3：设定虚拟三维模型的空间坐标变化与所述人体体位示意图的空间坐标变化保持一致。

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图，的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图；

所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块在所述网络通信通道内同步显示：虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图。

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：基于混合现实效果显示的带有辅助标线的虚拟三维模型呈现在人体实际病灶部位的状态，的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送带有辅助标线的虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的带有辅助标线的虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像；

基于混合现实技术，所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块在所述网络通信通道内同步显示：带有辅助标线的虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际病灶位置的连续图像产生叠加的图像。

本实施例在手术指导或手术实操中应用较多，也具有良好的应用价值；

尤其是在泌尿外科的肾脏结石手术中，医生在确定结石位置时，会出现如下困扰：

由于肾脏具有肾小盏这种构造特殊的中空结构，导致在通过肾脏虚拟三维模型，确定结石具体位置时，无法判别结石是否存在于肾小盏结构中，在取石手术时，医生需要先去确定结石是否存在于肾小盏中，然后再实施手术；由于取石手术属于微创手术，医生只能通过屏幕显示的内镜图像，然而，身体组织内壁具有类似的纹理结构，单纯参考内镜图像很难使医疗器械准确、快速的进入肾小盏。

为了解决这个困扰，远程专家可以根据患者肾脏的CT或核磁片子三维重建患者肾脏的虚拟三维模型，并根据实操经验，在肾脏虚拟三维模型上输入辅助标线，再将带有辅助标线的肾脏虚拟三维模型呈现在人体实际病灶部位，基于混合现实技术，呈现出带有辅助标线的肾脏虚拟三维模型与人体实际病灶部位叠加显示的视觉效果，方便医生参考辅助标线规划的路径进行操作。

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：基于混合现实效果显示的带有辅助标线的肾脏虚拟三维模型呈现在人体实际病灶部位的状态，的实现过程如下：

远程专家作为输入端，使用所述第一混合现实设备，所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送带有辅助标线的肾脏虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际肾脏病灶位置的连续图像；

操作医生作为输出端，使用所述第二混合现实设备，所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的带有辅助标线的肾脏虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际肾脏病灶位置的连续图像；

基于混合现实技术，所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块在所述网络通信通道内同步显示：带有辅助标线的肾脏虚拟三维模型，和所述第一混合现实设备自带的高清摄像头采集的患者实际肾脏病灶位置的连续图像产生叠加的图像；

带有辅助标线的虚拟三维模型的作用是，在混合现实技术的应用基础上，与真实患者实际病灶位置叠加显示，并呈现在操作医生的眼前，引导医生使用医疗器械沿着辅助标线规划的操作路径，精准、快速地实施手术。

实施例七

附图8为本发明第一混合现实设备和第二混合现实设备同步显示对虚拟三维模型执行颜色、爆炸、旋转、缩放、位移所产生的虚拟三维模型状态变化过程的逻辑结构图，结合附图8说明本实施例；

根据实施例三所述的可切换视角的基于混合现实的医疗场景同步操作系统， 所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行颜色、爆炸、旋转、缩放、位移指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：

虚拟三维模型从第一颜色变化为第二颜色的过程；

或虚拟三维模型从整体结构爆炸分解为分体结构的过程；

或虚拟三维模型沿x轴、y轴、z轴旋转的过程；

或虚拟三维模型放大或缩小的过程；

或虚拟三维模型从第一位置位移到第二位置的过程。

本实施例的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息，并向所述服务器发送虚拟三维模型；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息，所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道，并接收所述网络通信通道内的虚拟三维模型；

所述第一混合现实设备和所述第二混合现实设备的所述模型数据处理模块获取虚拟三维模型的第一颜色信息或整体结构信息或第一位置信息或第一显示比例信息；

所述第一混合现实设备和所述第二混合现实设备的所述内容显示模块同步显示所述虚拟三维模型的第一颜色，或整体结构，或第一位置或第一显示比例；

触发所述第一混合现实设备或其他智能终端发出对虚拟三维模型操作的指令，该指令包含：

虚拟三维模型从第一颜色变化为第二颜色；

或虚拟三维模型从整体结构爆炸分解为分体结构；

或虚拟三维模型沿x轴、y轴、z轴旋转至第二位置；

或虚拟三维模型放大或缩小至第二显示比例；

或虚拟三维模型从第一位置位移到第二位置；

由所述第一混合现实设备的所述模型数据处理模块在所述网络通信通道内获取操作指令，并执行操作指令，使虚拟三维模型完成第一颜色信息或整体结构信息或第一位置信息或显示比例信息的改变，并向所述服务器发送所述虚拟三维模型的第二颜色信息，或分体结构信息，或第二位置角度信息，或第二显示比例信息，或第二位置信息，所述第二混合现实设备的模型数据处理模块在所述网络通信通道内接收所述虚拟三维模型的第二颜色信息，或分体结构信息，或第二位置角度信息，或第二显示比例信息，或第二位置信息，并将所述虚拟三维模型的第二颜色，或分体结构，或第二位置角度，或第二显示比例，或第二位置同步显示在所述第二混合现实设备的内容显示模块内；

所述虚拟三维模型在服务器端从第一颜色变化为第二颜色的过程，或整体结构爆炸分解为分体结构的过程，或沿x轴、y轴、z轴旋转至第二位置角度的过程，或放大或缩小至第二显示比例的过程，或从第一位置位移到第二位置的过程，被同在所述网络通信通道内的所述第一混合现实设备和所述第二混合现实设备的内容显示模块同步显示。

实施例八

根据实施例4和实施例6所述的可切换视角的基于混合现实的医疗场景同步操作系统，所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程包括：

S1:导入虚拟三维模型；

S2:调整所述人体体位示意图，使虚拟三维模型的体位与患者实际体位保持一致；

S3:所述模型数据处理模块获取所述虚拟三维模型的第一空间坐标信息；

S4:在所述模型配准处理模块中设定，所述内容显示模块内显示的虚拟三维模型的空间坐标与所述第一混合现实设备或所述第二混合现实设备扫描到的标记物空间坐标一致；

所述标记物放置在患者病灶部位；

所述标记物可以是附着有二维码图案的支架或粘贴或任意可以固定在患者病灶位置处的载体；

所述二维码图案轮廓要清晰，颜色要与载体的颜色有较大的差异，尺寸不小于6cm×6cm，所述附着有二维码图案的载体可以为1个；

所述标记物还可以是粘附在患者病灶位置附近的网格贴膜，所述网格贴膜由横线和纵线平均分布形成的均匀网格组成，横线和纵线的颜色要与贴膜的颜色具有明显差异，网格的尺寸不大于2cm×2cm；

S5:使用所述第一混合现实设备或第二混合现实设备扫描患者实际病灶位置上放置的标记物；

S6:所述模型配准处理模块获取所述标记物的空间坐标；

S7:所述模型配准处理模块将所述虚拟三维模型的空间坐标修改成与所述标记物的空间坐标一致，使所述虚拟三维模型生成第二空间坐标；

S8:所述模型配准处理模块将所述虚拟三维模型的第二空间坐标信息发送给所述模型数据处理模块；

S9:所述模型数据处理模块获取所述虚拟三维模型的第二空间坐标信息；

S10:所述模型数据处理模块控制虚拟三维模型按照所述第二空间坐标信息完成空间位置的改变，实现虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合。

实施例九

附图9为本发明在虚拟三维模型上输入辅助标线的流程图，结合附图9说明本实施例；

根据实施例五所述的可切换视角的基于混合现实的医疗场景同步操作系统，在虚拟三维模型上输入辅助标线的过程包括：

S1:在虚拟三维模型上选定辅助标线起点所在的面，为第一标记面；

S2:在所述第一标记面上选定第一标记点；

S3:在空间内选定任意一点为第二标记点；

S4:沿所述第一标记点向所述第二标记点的位置输入辅助标线；

S5:以所述第一标记点为固定点，调整所述第二标记点的空间位置，确定所述辅助标线的角度和位置。

进一步的，所述辅助标线设置有以1毫米为计量单位的测量、显示功能，可以测量并显示辅助标线的长度，测量并显示辅助标线上的点与点之间的长度。

在脑部虚拟三维模型的血肿位置输入辅助标线的过程如下：

需要说明的是，本实施例并不涉及疾病的诊断或治疗方法；

在脑部虚拟三维模型上选定辅助标线起点为脑顶部中心点所在的面，为第一标记面；

在第一标记面上选定脑顶部中心点为第一标记点；

在脑部虚拟三维模型的内部，选定血肿的中心位置为第二标记点；

沿脑顶部中心点，即第一标记点向所述血肿的中心位置，即第二标记点，输入辅助标线，辅助标线为直线；

此时在脑部虚拟三维模型上形成以脑顶部中心点为起点，以血肿中心位置为终点的第一辅助标线；

在脑部虚拟三维模型上选定辅助标线起点为左耳中心点所在的面，为第一标记面；

在第一标记面上选定左耳中心点为第一标记点；

在脑部虚拟三维模型的内部，选定血肿的中心位置为第二标记点；

沿左耳中心点，即第一标记点向所述血肿的中心位置，即第二标记点，输入辅助标线，辅助标线为直线；

此时在脑部虚拟三维模型上形成以左耳中心点为起点，以血肿中心位置为终点的第二辅助标线；

在脑部虚拟三维模型上选定辅助标线起点为右耳中心点所在的面，为第一标记面；

在第一标记面上选定右耳中心点为第一标记点；

在脑部虚拟三维模型的内部，选定血肿的中心位置为第二标记点；

沿右耳中心点，即第一标记点向所述血肿的中心位置，即第二标记点，输入辅助标线，辅助标线为直线；

此时在脑部虚拟三维模型上形成以右耳中心点为起点，以血肿中心位置为终点的第三辅助标线。

在脑部虚拟三维模型上形成的所述第一辅助标线，所述第二辅助标线，所述第三辅助标线可以辅助医生判断血肿的实际相对位置，最大幅度的降低手术误差，将脑部虚拟三维模型与患者相应病灶部位精准匹配后，参照可视化的辅助标线，可以有效规避操作上的视觉盲区，降低医生在脑中重建模型并想象血肿位置的操作难度，降低手术风险。

附图10为在脊柱虚拟三维模型上输入辅助标线的示意图；

结合附图10说明，在脊柱虚拟三维模型的打钉位置输入辅助标线的过程如下：

在脊柱虚拟三维模型上选定辅助标线起点，在脊柱虚拟三维模型上找到椎弓根结构，并在椎弓根结构上选定进钉点，进针点所在的面，为第一标记面；

将在第一标记面上的进钉点选定为第一标记点；

在第一标记面外的空间内任一位置选定第二标记点；

沿所述进钉点向所述第二标记点输入辅助标线，辅助标线为直线；

可以把辅助标线作为椎弓根钉进入椎弓根的规划路线；

通过观察辅助标线与椎弓根模型结构之间形成的倾角和浸入深度，调整所述第二标记点的空间位置，可以确定辅助标线的最终位置，医生可以参照辅助标线，选定出钉点，并作出钉点标记；

在脊柱虚拟三维模型上输入辅助标线，可以帮助医生在术前规划好进钉点与出钉点，在患者脊柱虚拟三维模型与患者病灶部位精准匹配后，医生可以参照辅助标线和已经规划好的进钉点和出钉点执行手术操作，节约手术时间，降低手术难度，提高手术成功率；

同时，在手术培训方面应用，也可以让实习医生参考虚拟三维模型上输入的辅助标线进行手术演练，通过反复练习熟悉操作路径和进钉点，出钉点的选取，可以有效增强手术培训效果。

实施例十

根据实施例一所述的可切换视角的基于混合现实的医疗场景同步操作系统， 所述内容显示模块连接患者信息管理模块，获取患者病理信息，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：患者的病理信息；

本实施例的实现过程如下：

所述第一混合现实设备与服务器建立通讯连接，形成标识信息；

所述第一混合现实设备与所述第二混合现实设备建立通信连接，并向第二混合现实设备发送所述标识信息；

所述第二混合现实设备通过向所述服务器发送所述标识信息，与所述服务器和所述第一混合现实设备建立网络通信通道；

所述第一混合现实设备向患者信息管理模块发送患者信息，并请求获取该患者的病理信息，所述患者信息管理模块将获取到的患者病理信息发送到所述第一混合现实设备；

所述第一混合现实设备将获取的患者病理信息通过已建立的网络通信通道发送至服务器；

所述第二混合现实设备接收所述网络通信通道内的患者病理信息，实现所述第一混合现实设备和所述第二混合现实设备内同步显示患者病理信息；

所述患者的病理信息可以和所述医疗场景同时显示，方便医生随时调取患者病理信息进行诊断参考。

实施例十一

根据实施例一所述的可切换视角的基于混合现实的医疗场景同步操作系统，所述内容显示模块连接数据处理模块，获取所述数据处理模块记录的操作信息，并生成操作记录，保存在所述第一混合现实设备和所述第二混合现实设备中；

所述操作记录包括：

所述第一混合现实设备与所述第二混合现实设备，所述服务器建立网络通信通道的信息，包含标识信息；建立时间；第一混合现实设备的设备信息；第二混合现实设备的设备信息；网络通信通道的持续时间；

对所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的操作过程；

对所述虚拟三维模型输入辅助标线的操作过程；

对虚拟三维模型从第一颜色变化为第二颜色的操作过程；

或对虚拟三维模型从整体结构爆炸分解为分体结构的操作过程；

或对虚拟三维模型沿x轴、y轴、z轴旋转的操作过程；

或对虚拟三维模型放大或缩小的操作过程；

或对虚拟三维模型从第一位置位移到第二位置的操作过程；

对患者病理信息的操作过程；

本实施例可以在每次诊断或手术指导应用结束后，生成操作记录，存于设备中，供医生或学习人员查看和学习使用。

实施例十二

根据实施例一所述的可切换视角的基于混合现实的医疗场景同步操作系统，所述第一混合现实设备或所述第二混合现实设备分别与智能终端建立通信连接，所述智能终端包含平板端或手机端或电脑端。

进一步的，本发明还提供一种可切换视角的基于混合现实的医疗场景同步操作系统的可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现：

在所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的内容；

所述计算机可读介质包括但不局限于：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.可切换视角的基于混合现实的医疗场景同步操作系统，其组成包括：第一混合现实设备、第二混合现实设备；其特征在于：

所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备和所述第二混合现实设备在所述网络通信通道内实现语音通讯；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的医疗场景。

2.根据权利要求1所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接模型数据处理模块，获取虚拟三维模型的初始状态，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：虚拟三维模型初始状态。

3.根据权利要求1所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行第一状态变化到第二状态的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型从第一状态变化为第二状态的过程。

4.根据权利要求3所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接模型配准处理模块，获取模型配准处理模块对虚拟三维模型执行配准指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程。

5.根据权利要求3所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接模型数据处理模块，获取对虚拟三维模型输入辅助标线指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：在所述虚拟三维模型上输入辅助标线的过程。

6.根据权利要求2所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

虚拟三维模型初始状态包含：

虚拟三维模型以及与虚拟三维模型显示方向匹配的人体体位示意图，所述虚拟三维模型的显示方向与所述人体体位示意图保持一致；

或虚拟三维模型以及其特性参数；

或虚拟三维模型以及其各组成结构的特性参数；

或基于混合现实效果显示的带有辅助标线的虚拟三维模型呈现在人体实际病灶部位的状态。

7.根据权利要求3所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接模型数据处理模块，获取模型数据处理模块对虚拟三维模型执行颜色、爆炸、旋转、缩放、位移指令所产生的虚拟三维模型状态变化的过程；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：

虚拟三维模型从第一颜色变化为第二颜色的过程；

或虚拟三维模型从整体结构爆炸分解为分体结构的过程；

或虚拟三维模型沿x轴、y轴、z轴旋转的过程；

或虚拟三维模型放大或缩小的过程；

或虚拟三维模型从第一位置位移到第二位置的过程。

8.根据权利要求4和权利要求6所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合匹配的过程包括：

S1：导入虚拟三维模型；

S2：调整所述人体体位示意图，使虚拟三维模型的体位与患者实际体位保持一致；

S3：所述模型数据处理模块获取所述虚拟三维模型的第一空间坐标信息；

S4:在所述模型配准处理模块中设定，所述内容显示模块内显示的虚拟三维模型的空间坐标与所述第一混合现实设备或所述第二混合现实设备扫描到的标记物空间坐标一致；

S5：使用所述第一混合现实设备或第二混合现实设备扫描患者实际病灶位置上放置的标记物；

S6：所述模型配准处理模块获取所述标记物空间坐标；

S7：所述模型配准处理模块将所述虚拟三维模型的空间坐标修改成与所述标记物的空间坐标一致，使所述虚拟三维模型生成第二空间坐标；

S8：所述模型配准处理模块将所述虚拟三维模型的第二空间坐标信息发送给所述模型数据处理模块；

S9：所述模型数据处理模块获取所述虚拟三维模型的第二空间坐标信息；

S10：所述模型数据处理模块控制虚拟三维模型按照所述第二空间坐标信息完成空间位置的改变，实现虚拟三维模型在所述第一混合现实设备或第二混合现实设备中的位置与患者实际病灶位置重合。

9.根据权利要求5所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

在虚拟三维模型上输入辅助标线的过程包括：

S1：在虚拟三维模型上选定辅助标线起点所在的面，为第一标记面；

S2：在所述第一标记面上选定第一标记点；

S3：在空间内选定任意一点为第二标记点；

S4：沿所述第一标记点向所述第二标记点的位置输入辅助标线；

S5：以所述第一标记点为固定点，调整所述第二标记点的空间位置，确定所述辅助标线的角度和位置。

10.根据权利要求1所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接患者信息管理模块，获取患者病理信息，所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现：患者的病理信息。

11.根据权利要求1所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述内容显示模块连接数据处理模块，获取所述数据处理模块记录的操作信息，并生成操作记录，保存在所述第一混合现实设备和所述第二混合现实设备中。

12.根据权利要求1所述的可切换视角的基于混合现实的医疗场景同步操作系统，其特征在于：

所述第一混合现实设备或所述第二混合现实设备分别与智能终端建立通信连接。

13.可切换视角的基于混合现实的医疗场景同步操作系统的可读存储介质，所述可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现：

在所述第一混合现实设备和所述第二混合现实设备内分别呈现内容显示模块；

所述第一混合现实设备分别与服务器、所述第二混合现实设备通过标识信息形成网络通信通道；

所述第一混合现实设备和所述第二混合现实设备的内容显示模块在所述网络通信通道内同步呈现可操作的医疗场景；

所述第一混合现实设备或所述第二混合现实设备可同步显示任意一方设备视角范围内所述内容显示模块显示的内容。

Images