CN114334096A - 基于医学影像的术中辅助显示方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种基于医学影像的术中辅助显示方法及装置、设备及存储介质，所述方法包括：根据获取到的目标CT影像信息，生成三维重建模型；根据所述三维重建模型，生成不同人体组织对应的虚拟组织；在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。以用于辅助手术，提高手术效率。

Description

基于医学影像的术中辅助显示方法、装置及存储介质

技术领域

本发明涉及CDN技术领域，尤涉及一种基于医学影像的术中辅助显示方法、装置、设备及存储介质。

背景技术

以色列RealView在完成了世界上第一个对介入心脏病学中的实时3D全息成像进行评估的人体临床试验后，2019年推出第一款医疗全息产品，旨在支持使用3D成像的介入临床程序的所有阶段。全息显示器已经过人体工程学设计，用于所有临床环境，如介入室、混合手术室和诊断诊所。

美国Zebra Imaging公司设计了ZScape桌面式全息显示系统作为医学学生在缺少尸体时解剖尸体的替代方法。借助该系统，学生可以导航整个身体，研究呼吸或心血管系统等不同身体部位。

发明人发现，上述产品在对手术进行辅助显示时，会存在如下问题：

头戴显示器的全息显示方案无法在术中达到无菌要求，且通常是用于手术前，无法实际应用于手术中；而裸眼全息仅能提供单个部位或者器官的重建显示效果，但不便于对于术中可能涉及的复杂的多器官之间的关系机进行清晰地了解，无法确定手术路径的规划。由此，亟需一种基于医学影像的术中辅助显示方法，以用于辅助手术，提高手术效率。

发明内容

有鉴于此，本发明提供了一种基于医学影像的术中辅助显示方法、装置、设备及存储介质。

第一方面，本发明实施例提供一种基于医学影像的术中辅助显示方法，所述方法包括如下步骤：

根据获取到的目标CT影像信息，生成三维重建模型；

根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

在一个实施方式中，所述基于医学影像的术中辅助显示方法还包括：

识别所述用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；

其中，所述接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息，包括：

实时采集所述用户手持手术器械进行模拟手术的过程图像，在所述三维重建模型中生成与之相一致的模拟手术过程信息。

在一个实施方式中，所述基于医学影像的术中辅助显示方法还包括：

接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

在一个实施方式中，所述目标CT影像信息中携带有贴片标记，其中，所述贴片标记为在进行人体CT扫描时贴附在人体相应位置处的光学标记贴片在影像上的点位；所述方法还包括：

在进行实际手术过程中，利用摄像机采集人体图像；

将所述摄像机捕捉到的贴片位置与所述目标CT影像信息中的贴片标记进行位置配准；

在配准完成后，基于所述摄像机坐标系与空间坐标系下的转换关系，得到CT影像信息中的所述摄像机的坐标系与真实空间坐标系的转换关系，并实现对三维重建模型在真实世界位置的换算；

基于换算结果，在所述摄像机真实坐标位置相对于三维重建模型在真实世界位置发生改变时，确定对应CT影像信息中的所述摄像机的坐标信息，并根据所述CT影像信息中的所述摄像机的坐标信息，渲染显示内容。

在一个实施方式中，所述根据获取到的目标CT影像信息，生成三维重建模型，包括：

利用所述目标CT影像信息对所述虚拟组织进行分割，得到不同虚拟组织的影像信息；

对分割后的虚拟组织进行颜色标定和名称标记，其中，不同虚拟组织标定的颜色不同。

第二方面，本发明实施例提供一种基于医学影像的术中辅助显示装置，所述装置包括如下模块：

第一生成模块，用于根据获取到的目标CT影像信息，生成三维重建模型；

第二生成模块，用于根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

第三生成模块，用于在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

记录模块，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

显示模块，用于在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

第三方面，本发明实施例提供一种基于医学影像的术中辅助显示系统，包括：

影像处理器，用于根据获取到的目标CT影像信息，生成三维重建模型；根据所述三维重建模型，生成不同人体组织对应的虚拟组织；在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

裸眼3D显示器，与所述影像处理器连接，用于显示虚拟手术器械以及对所三维重建模型中的目标虚拟组织的模拟手术过程；

识别模块，与所述影像处理器连接，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术；

融合显示屏，与所述影像处理器连接，在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

在一个实施方式中，所述识别模块包括：

手势识别模块，用于识别用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；并识别用于进行模拟手术的虚拟手术器械；

语音识别模块，用于接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

第四方面，本发明实施例提供一种计算机设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而实现第一方面任一项所述的基于医学影像的术中辅助显示方法。

第五方面，本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现第一方面任一项所述的基于医学影像的术中辅助显示方法。

本发明实施例提供的基于医学影像的术中辅助显示方法、装置、设备及存储介质，至少具有如下有益效果：

本发明实施例提供的基于医学影像的术中辅助显示方法、装置、设备及存储介质，能够使医生在手术环境下，直观且准确的查看待手术部位的解剖结构，在术前即可清晰了解手术路径的实际情况，有助于提升手术成功率，提高手术效果，降低手术并发症风险。满足术中无菌要求。生成不同人体组织对应的虚拟组织，便于对于术中可能涉及的复杂的多器官之间的关系机进行清晰地了解，以便确定较为准确的手术路径，并对复杂的多器官和手术规划路径进行显示，便于提升手术成功率，提高手术效果，提高手术可行性判的准确性。通过裸眼3D全息显示，在满足在无菌要求的同时，得以实时展示，并可满足从不同角度、距离进行观看，减少在术中观察的限制，进而进一步地提高了辅助效率，提高手术效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于医学影像的术中辅助显示方法流程图；

图2为本发明实施例提供的一种基于医学影像的术中辅助显示系统的结构示意图；

图3为本发明实施例提供的另一种基于医学影像的术中辅助显示方法流程图；

图4为本发明实施例提供的一种基于医学影像的术中辅助显示装置的框图；

图5为本发明实施例提供的一种基于医学影像的术中辅助显示计算机设备的框图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚地了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行。

实施例1

参见图1所示，本发明实施例提供一种基于医学影像的术中辅助显示方法，所述方法包括如下步骤：

步骤S101、根据获取到的目标CT影像信息，生成三维重建模型；

步骤S102、根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

步骤S103、在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

步骤S104、接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

步骤S105、在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

在上述实施方式中，参见图2所示，在对患者手术前进行CT扫描，在患者待手术区域周围贴上光学标记贴片，将得到的CT影像信息导入医学影像处理器，根据获取到的目标CT影像信息，通过医学影像处理器进行三维重建模型，并生成不同人体组织对应的虚拟组织。通过使用基于深度学习的肝脏分割模块进行肝脏的自动分割，使用基于阈值分割算法的骨骼分割模块进行肋骨、脊椎的分割，使用基于交互的三维图割算法进行肿瘤、胆囊的分割，使用基于自适应区域增长的算法进行肝周围动脉、静脉的分割，使用基于包围盒算法的模块进行皮肤分割，使用基于阈值与三维图割算法的模块进行肌肉、脂肪的分割，所有分割的区域均采用不同标签值进行标记，并对每个标记与相应的语音指令关联，并且，对于动静脉、胆囊，赋予高风险标签，以此生成不同人体组织对应的虚拟组织。

在模拟手术时，将三维重建模型中对应不同人体组织对应的虚拟组织根据实际模拟手术需求进行显示，通过裸眼3D显示器进行显示，其中裸眼3D显示器为Looking Glass显示器，Looking Glass显示器是一款裸眼(非头戴)3D显示设备。在开始模拟手术时，在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；并同步到对应的裸眼3D显示器进行显示，即同步到Looking Glass显示器。换句话说，即就是，在开始进行模拟手术时，显示器中同步显示虚拟手术器械。其中所述虚拟手术器械，例如虚拟手术穿刺针，缝合线等。在进行虚拟手术过程中，具体地，可以通过持控制器及能于空间内同时追踪Looking Glass显示器与控制器的定位系统，即对应实现虚拟现实。进而接收用户对虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息。示例性地，开始进行模拟手术，操作控制器手柄，Looking Glass显示器中同步显示对应的虚拟手术器械，其中手术器械可以选用，换句话说，即就是三维重建模型中生成用于进行模拟手术的虚拟手术器械可以对应各种类型的现实手术器械，其可以通过对应的指令选择目标虚拟手术器械。对应通过对控制器手柄的实时追踪定位，进行记录虚拟手术路径，例如对进行穿刺手术，则对控制手柄进行追踪，实时记录虚拟穿刺针的穿入路径，在医生确认完成穿刺后，将穿刺路径显示于Looking Glass显示器中，可以将穿刺路径与三维重建结果相融合。进一步地，医生在虚拟手术穿刺过程中还可以对应的控制指令对手术路径进行微调(如“向轴向倾斜5°)，并保存为最终穿刺路径。

在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。具体地，开始正式手术前，患者躺在手术台上，露出腹部待手术区域以及患者待手术区域周围贴上的光学标记贴片，医生将可移动融合显示屏，其中可移动融合显示屏为OLED透明显示屏。对准手术区域进行初始化，可移动融合显示屏通过配置的摄像机捕捉手术区域图像，根据光学标记贴片的角点特征识别标记点，然后根据光学标记贴片的角点方向特征以及位置特征，使用基于迁移学习的教师-学生网络混合模型进行CT影像中的标记点集与摄像机图像中的标记点集的配准。完成配准后，基于预先标定的摄像机坐标系与可移动融合显示屏坐标系在空间坐标系下的转换关系，得到CT影像坐标系与真实空间坐标系的转换关系，从而实现对三维重建模型在真实世界位置的换算。可移动融合显示屏中显示当前可移动融合显示屏所面向部位的三维模型，显示的视角为对应可移动融合显示屏上的摄像机观察视角。通过移动融合显示屏，医学影像处理器根据可移动融合显示屏回传的三维空间位移信息，结合融合显示屏的测距信息进行校正，得到可移动融合显示屏在三维重建模型空间中的位置，从而得到实时的渲染内容，回传给可移动融合显示屏进行显示。

在上述实施方式中，能够使医生在手术环境下，直观且准确的查看待手术部位的解剖结构，在术前即可清晰了解手术路径的实际情况，有助于提升手术成功率，提高手术效果，降低手术并发症风险。满足术中无菌要求。生成不同人体组织对应的虚拟组织，便于对于术中可能涉及的复杂的多器官之间的关系机进行清晰地了解，以便确定较为准确的手术路径，并对复杂的多器官和手术规划路径进行显示，便于提升手术成功率，提高手术效果，提高手术可行性判的准确性。通过裸眼3D全息显示，在满足在无菌要求的同时，得以实时展示，并可满足从不同角度、距离进行观看，减少在术中观察的限制，进而进一步地提高了辅助效率，提高手术效率。

在一个实施方式中，所述基于医学影像的术中辅助显示方法还包括：

识别所述用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；

其中，所述接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息，包括：

实时采集所述用户手持手术器械进行模拟手术的过程图像，在所述三维重建模型中生成与之相一致的模拟手术过程信息。

在一个实施方式中，参见图3所示，所述基于医学影像的术中辅助显示方法还包括：

步骤S106、接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

通过语音控制，提高交互性能，减少接触，进一步地提高了辅助显示的效率。对位置进行纠偏提高手术路径规划的准确性，进而进一步地提高手术效率。

在一个实施方式中，所述目标CT影像信息中携带有贴片标记，其中，所述贴片标记为在进行人体CT扫描时贴附在人体相应位置处的光学标记贴片在影像上的点位；所述方法还包括：

在进行实际手术过程中，利用摄像机采集人体图像；

将所述摄像机捕捉到的贴片位置与所述目标CT影像信息中的贴片标记进行位置配准；在配准完成后，基于所述摄像机坐标系与空间坐标系下的转换关系，得到CT影像信息中的所述摄像机的坐标系与真实空间坐标系的转换关系，并实现对三维重建模型在真实世界位置的换算；

基于换算结果，在所述摄像机真实坐标位置相对于三维重建模型在真实世界位置发生改变时，确定对应CT影像信息中的所述摄像机的坐标信息，并根据所述CT影像信息中的所述摄像机的坐标信息，渲染显示内容。

在上述实施方式中，具体地，开始正式手术前，患者躺在手术台上，露出腹部待手术区域以及患者待手术区域周围贴上的光学标记贴片，医生将可移动融合显示屏，对准手术区域进行初始化，其中可移动融合显示屏为OLED透明显示屏。可移动融合显示屏通过配置的摄像机捕捉手术区域图像，根据光学标记贴片的角点特征识别标记点，然后根据光学标记贴片的角点方向特征以及位置特征，使用基于迁移学习的教师-学生网络混合模型进行CT影像中的标记点集与摄像机图像中的标记点集的配准。完成配准后，基于预先标定的摄像机坐标系与可移动融合显示屏坐标系在空间坐标系下的转换关系，得到CT影像坐标系与真实空间坐标系的转换关系，从而实现对三维重建模型在真实世界位置的换算。可移动融合显示屏中显示当前可移动融合显示屏所面向部位的三维模型，显示的视角为对应可移动融合显示屏上的摄像机观察视角。通过移动融合显示屏，医学影像处理器根据可移动融合显示屏回传的三维空间位移信息，结合融合显示屏的测距信息进行校正，得到可移动融合显示屏在三维重建模型空间中的位置，从而得到实时的渲染内容，回传给可移动融合显示屏进行显示。

在一个实施方式中，所述根据获取到的目标CT影像信息，生成三维重建模型，包括：

利用所述目标CT影像信息对所述虚拟组织进行分割，得到不同虚拟组织的影像信息；

对分割后的虚拟组织进行颜色标定和名称标记，其中，不同虚拟组织标定的颜色不同。

具体地，对于动静脉、胆囊等虚拟组织赋予高风险颜色标定。

通过对不同组织对应的虚拟影像信息，进行分割并进行标定和标记，便于选择性地显示对应的虚拟组织，减少其它无关的虚拟组织的影像，还可以通过对应的颜色更加醒目地显示对应虚拟组织的重要性，在手术时起到警示作用，进一步地提高了术中辅助显示的效率。例如可以至显示目标病灶，或者只显示胆囊与血管等，同时显示手术路径进行参考。进一步地，还可以将特定虚拟组织的特定位置的二维重采样切片显示到阅片显示器上。

在一个实施方式中，采用自动分割算法分割皮肤、骨骼以及主要的大型脏器如肺、心脏、肝、肾脏、胃等，所有分割均自动设置名称标记及对应的语音控制标记；采用半自动分割算法对血管、病灶等精细目标进行分割，所有分割均自动设置名称标记及对应的语音控制标记；对所有分割结果，医生可手动进行修补，去除过分割区域，弥补欠分割区域；对所有分割的初始结果，进行顶点删减与面片平滑，去除内部顶点，形成表面结构模型，并以不同颜色进行显示，同时记录模型与原图三维空间的对应关系；完成三维重建后，将形成两个模型，一个用于显示的光滑表面的三维模型，一个对原图进行分割的全信息模型，全信息模型是由原图以及分割的标记所组成。可通过语音指令切换显示三维模型与全信息模型，进行显示，当显示全信息模型时，可根据标注情况，通过语音指令控制所显示的内容范围，如隐藏部分器官组织等。进一步地，医学影像处理器，通过HDMI连接灰度阅片显示器，可通过语音指令，使阅片显示器显示对应区域的二维重采样切片，并可通过对应控制指令控制采样角度，同时提高采样切片的清晰度。

本发明实施例提供基于一种基于医学影像的术中辅助显示系统，包括：

影像处理器，用于根据获取到的目标CT影像信息，生成三维重建模型；根据所述三维重建模型，生成不同人体组织对应的虚拟组织；在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

裸眼3D显示器，与所述影像处理器连接，用于显示虚拟手术器械以及对所三维重建模型中的目标虚拟组织的模拟手术过程；

识别模块，与所述影像处理器连接，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术；

融合显示屏，与所述影像处理器连接，在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

在一个实施方式中，所述识别模块包括：

手势识别模块，用于识别用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；并识别用于进行模拟手术的虚拟手术器械；

语音识别模块，用于接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

进一步地，手势识别模块包含KINECT深度相机与X64架构的处理器，具备对手部位置、姿势的实时识别，并可同时识别多个手势，还支持识别特定手术器械如穿刺针的手柄、手术刀等。

进一步地，语音识别模块包含全向麦克风与X64架构的处理器，处理器通过5G与云端语音识别服务相连，具备将语音转换为文字后，再转换为指定的指令的功能，输出为具体的指令，包括移动、开启、关闭、切换，所有指令均可附加具体参数，如“移动，向上10mm”、“切换，显示下一层”等。

进一步地，光学标记贴片为采用高密度非金属材质的三角形图案。

实施例2

参见图4所示，本发明实施例提供一种基于医学影像的术中辅助显示装置，所述装置包括如下模块：

第一生成模块41，用于根据获取到的目标CT影像信息，生成三维重建模型；

第二生成模块42，用于根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

第三生成模块43，用于在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

记录模块44，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

显示模块45，用于在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

本申请实施例提供的基于医学影像的术中辅助显示装置，可用于如上实施例1中执行的基于医学影像的术中辅助显示方法，相关细节参考上述方法实施例，其实现原理和技术效果类似，在此不再赘述。

需要说明的是：上述实施例中提供的基于医学影像的术中辅助显示装置在进行基于医学影像的术中辅助显示时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于医学影像的术中辅助显示装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于医学影像的术中辅助显示装置与基于医学影像的术中辅助显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

实施例3

本发明实施例还提供了一种计算机设备，该设备可以是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算设备。如图5所示，该设备可以包括，但不限于，处理器和存储器，其中处理器和存储器可以通过总线或者其他方式连接。

处理器可以为中央处理器(Central Processing Unit，CPU)也可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(GraphicsProcessing Unit，GPU)、嵌入式神经网络处理器(Neural-network Processing Unit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中基于医学影像的术中辅助显示方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例1中的基于医学影像的术中辅助显示方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器中，当被所述处理器执行时，执行上述基于医学影像的术中辅助显示方法。

本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于医学影像的术中辅助显示方法。其中，所述非暂态计算机可读存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述非暂态计算机可读存储介质还可以包括上述种类的存储器的组合。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、计算机设备或非暂态计算机可读存储介质均可涉及或包含计算机程序产品。

因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

显然，以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于医学影像的术中辅助显示方法，其特征在于，包括：

根据获取到的目标CT影像信息，生成三维重建模型；

根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

2.根据权利要求1所述的基于医学影像的术中辅助显示方法，其特征在于，还包括：

识别所述用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；

其中，所述接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息，包括：

实时采集所述用户手持手术器械进行模拟手术的过程图像，在所述三维重建模型中生成与之相一致的模拟手术过程信息。

3.根据权利要求2所述的基于医学影像的术中辅助显示方法，其特征在于，还包括：

接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

4.根据权利要求2所述的基于医学影像的术中辅助显示方法，其特征在于，所述目标CT影像信息中携带有贴片标记，其中，所述贴片标记为在进行人体CT扫描时贴附在人体相应位置处的光学标记贴片在影像上的点位；所述方法还包括：

在进行实际手术过程中，利用摄像机采集人体图像；

将所述摄像机捕捉到的贴片位置与所述目标CT影像信息中的贴片标记进行位置配准；

在配准完成后，基于所述摄像机坐标系与空间坐标系下的转换关系，得到CT影像信息中的所述摄像机的坐标系与真实空间坐标系的转换关系，并实现对三维重建模型在真实世界位置的换算；

基于换算结果，在所述摄像机真实坐标位置相对于三维重建模型在真实世界位置发生改变时，确定对应CT影像信息中的所述摄像机的坐标信息，并根据所述CT影像信息中的所述摄像机的坐标信息，渲染显示内容。

5.根据权利要求2所述的基于医学影像的术中辅助显示方法，其特征在于，所述根据获取到的目标CT影像信息，生成三维重建模型，包括：

利用所述目标CT影像信息对所述虚拟组织进行分割，得到不同虚拟组织的影像信息；

对分割后的虚拟组织进行颜色标定和名称标记，其中，不同虚拟组织标定的颜色不同。

6.一种基于医学影像的术中辅助显示装置，其特征在于，包括：

第一生成模块，用于根据获取到的目标CT影像信息，生成三维重建模型；

第二生成模块，用于根据所述三维重建模型，生成不同人体组织对应的虚拟组织；

第三生成模块，用于在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；

记录模块，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

显示模块，用于在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

7.一种基于医学影像的术中辅助显示系统，其特征在于，包括：

影像处理器，用于根据获取到的目标CT影像信息，生成三维重建模型；根据所述三维重建模型，生成不同人体组织对应的虚拟组织；在所述三维重建模型中生成用于进行模拟手术的虚拟手术器械；接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术，并记录所述模拟手术过程信息；

裸眼3D显示器，与所述影像处理器连接，用于显示虚拟手术器械以及对所三维重建模型中的目标虚拟组织的模拟手术过程；

识别模块，与所述影像处理器连接，用于接收用户对所述虚拟手术器械的操作指令，执行对所三维重建模型中的目标虚拟组织的模拟手术；

融合显示屏，与所述影像处理器连接，在进行实际手术过程中，显示所述模拟手术过程信息，以供用户进行手术指导。

8.根据权利要求7所述的基于医学影像的术中辅助显示系统，其特征在于，所述识别模块包括：

手势识别模块，用于识别用户的手部位置，在所述三维重建模型中生成相匹配的模拟手；并识别用于进行模拟手术的虚拟手术器械；

语音识别模块，用于接收用户的语音命令，其中，所述语音命令用于对所述模拟手术过程的模拟手术位置进行纠偏。

9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-3所述的基于医学影像的术中辅助显示方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-3所述的基于医学影像的术中辅助显示方法。

Images