CN112215961A - 一种基于3d人脑模型的手术辅助系统及方法 - Google Patents

Abstract

本发明尤其涉及一种基于3D人脑模型的手术辅助系统及方法；使用CT机采集患者脑部的数据，将数据导入分析软件中，进行模型建立并赋予颜色与不透明度，规划在3D人脑模型上的穿刺靶点、进入点和穿刺路径，然后将处理好的模型文件上传至头戴式混合现实设备，通过头戴式混合现实设备中的手势控制功能将虚拟标记精确地叠加到3D人脑模型上完成全息投影和刚性配准；本发明提供的基于3D人脑模型的手术辅助系统及方法，采用高性能的图形处理器以及相关软件进行数据分析与三维重建，利用混合现实设备展示患者信息与手术方案，为辅助手术定位与导航提供一种简单、直观且成本较低的解决方案。

Description

一种基于3D人脑模型的手术辅助系统及方法

技术领域

本发明涉及医疗手术技术领域，具体涉及一种基于3D人脑模型的手术辅助 系统及方法。

背景技术

目前在医学方面，3D打印的病灶组织的模型技术已经日渐成熟，该技术的 产生与发展促使医学领域正向微创化，精准化方向发展，使得手术安全得到了 更好的保障。该项技术的主要过程是通过CT扫描得到DICOM图像，采用高性 能的图形处理服务器以及相关软件进行数据处理，三维重建，再通过工业的3D 打印机采用合适的材料，精确3D打印制作，得到等比例的三维模型。医生通过 对3D打印的模型进行观察分析，进一步进行病情的诊断和后续治疗方案的制定。

现有技术中现代神经导航系统可以在三个成像平面同时提供模型上实时位 置的反馈，当这些系统与配备有投射系统的显微镜相配合时，它们可以以增强 现实的方式描绘3D人脑模型的表面投影或三维模型，但是由于导航和支持AR 的显微镜设备都价格昂贵且体积较大，而且操作要求较高，为了实现低成本便 携式的AR导航，本发明提供的基于3D人脑模型的手术辅助系统及方法，采用 高性能的图形处理器以及相关软硬件进行数据处理，三维重建，将二维影像或 重建模型与3D人脑模型相应角度照片进行重叠，通过对3D打印的模型进行观 察分析，进行病情的诊断和后续治疗方案的制定，提供一种简单、直观且成本较低的解决方案。

发明内容

本发明要解决的问题是提供一种简单、直观且成本较低的基于3D人脑模型 的手术辅助系统，包括：

(1)数据获取模块：获取病人的原始数据；

(2)模型构建模块：对原始数据进行建模，并生成模拟手术方案；

(3)数据传输模块：将(2)中建立的模型文件与模拟手术方案上传至混 合现实设备中；

(4)混合现实渲染模块：搭载在混合现实设备上的混合现实渲染模块将(2) 中建立的模型文件与模拟手术方案投影到3D人脑模型上。

进一步的，所述混合现实设备为头戴式混合现实设备。

进一步的，在模拟手术过程中，所述混合现实渲染模块可以通过手势控制 调整模型文件中的模拟手术位置，使之与3D人脑模型相匹配。

一种基于3D人脑模型的手术辅助方法，包括如下步骤：

S1、采集数据：使用CT机采集患者脑部的数据；

S2、数据处理：将步骤S1中的数据导入分析软件中，进行建立模型并赋予 颜色，并规划在3D人脑模型上的穿刺靶点、进入点和穿刺路径；

S3、混合现实渲染：将经步骤S2处理好的模型文件上传至头戴式混合现实 设备；

S4、混合现实指导的操作程序：通过头戴式混合现实设备中的手势控制功 能将虚拟标记精确地叠加到3D人脑模型上完成全息投影和刚性配准。

进一步的，所述步骤S1中使用CT机采集患者脑部的数据用于全息投影和 3D人脑模型之间的刚性配准和矫正。

进一步的，所述步骤S3中的头戴式混合现实设备为Hololens混合现实设备。

进一步的，经所述骤S2处理好的模型文件为三维全息投影模型。

借由上述方案，本发明至少具有以下优点：

简单高效的解决了对3D人脑模型内定位困难且不够精确的问题，提供一种 简单、直观且成本较低的解决方案。

混合现实技术(Mixed Reality，MR)是AR技术的进一步发展，该技术利 用全息投影，通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用 户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。MR技术能让 操作者同时保持与真实世界和虚拟世界的联系，并根据自身的需要及所处情境 调整操作。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术 手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例详细说明 如后。

具体实施方式

对本发明的具体实施方式作进一步详细描述，以下实施例用于说明本发明， 但不用来限制本发明的范围。

本发明的核心关键点是提出了医疗三维重建系统与模拟手术融合系统，现 有的技术方案，或是单纯的医疗三维重建，或是单纯的对模型进行VR与MR 的显示，没有进一步的模拟手术，更没有将模型重建和模拟手术系统二者直接 融合。本发明可以将二者进行融合，在三维重建之后，可以方便的通过混合现 实设备与相关软件将二维影像或重建模型与患者相应角度照片进行重叠，从而 透过混合现实设备完成脑组织内部结构的可视化，从而提供外科解剖结构的透 明视图，进入模拟手术系统中进行操作，首先保证了医生观察到模型的精准度。 其次可通过模拟手术实操，获得更好的方便用户的体验。

对患者的头部进行CT扫描，CT扫描之前在患者头部的相应部位贴上(通 常超过4个)粘性心电图凝胶电极，这些标记用于全息投影和3D人脑模型之间 的刚性配准以及校准，采集到的CT数据，利用本发明提供的基于3D人脑模型 的手术辅助系统，将其导入本系统和3D人脑模型中，进行后续的处理操作。

利用本发明提供的系统中的模型构建模块对CT数据进行分析和处理，针对 3D人脑模型上的不同部位，分别采用不同的建模方法，包括但不仅限于以下几 种：

(1)骨骼：

针对骨骼的三维重建主要依据CT图像中的灰度值。设置灰度值的上限与下 限，选取所有符合条件的像素点，并进行三维重建。根据CT采集的过程，需要 去除建模结果中的背板等非骨骼部分，得到最终的骨骼重建结果；

(2)皮肤：

针对皮肤的三维重建主要依靠布尔运算获取模型整体的最外层结构。首先， 调整图像灰度值的选取上下限以选中图像中人体内部所有的像素点，作为第一 组像素点；然后，将这些像素点向内缩减两个像素宽，得到第二组像素点；将 这两组像素点进行减法运算，剩下的像素表示皮肤的像素。基于这些像素进行 三维重建，获取重建好的皮肤模型；

(3)血肿：

首先将像素点的选取范围限制在血肿区域周围，防止根据灰度值选取像素 点时选取到多余的部分。然后，设置灰度的选取条件，选取表示血肿的像素点。 在CT切片中检查选取的像素，确保没有多余的像素被选中。最后，基于选中的 像素进行重建，获取血肿模型；

(4)标记点：

从CT图像上看，标记点的灰度值与骨骼的灰度值较为相似，在选取表示骨 骼的像素点时，通常会将标记点一并选中。在构建骨骼模型的过程中时需要将 这些部分删除，而在重建标记点模型的过程中，则是删除表示骨骼等结构的像 素，仅保留表示标记点的像素，并利用这些像素进行三维重建。

一般情况下，重建这些模型组件即可较好地使用本发明所涉及的方法，但 根据实际情况，也可能需要对其他部分进行重建，此时应参照或结合上述模型 部件的重建方法，对需要处理的部分进行分析重建。

在模型重建模块中，可以添加其他组件来表示手术方案。在CT图像中分别 设置在3D人脑模型上的穿刺靶点与穿刺进入点的位置，连接两点并向3D人脑 模型外方向延长一定长度，以该连线为中心构建底面直径为2mm圆柱体来表示 穿刺路径。查看该路径是否经过重要组织结构，如果经过则需要调整，保证穿 刺路径可以避开3D人脑模型内的重要结构，不会脑损伤。

利用数据传输模块，将重建获得的模型文件和设计好的手术计划模型一起 上传至头戴式混合现实设备Hololens中，并利用本发明涉及的系统中的混合现 实渲染模块进行渲染，手术计划的全息投影即可以通过小型计算机屏幕的高分 辨率透镜来显现。

实施人员从始至终穿着Hololens，全息投影的所有操作是通过使用手势和语 音与设备交互来实现，通过手势控制和语音操作将投影的模型进行平移和旋转， 将虚拟电极片模型精确地叠加到它们的物理对应物上(如电极片)，自此，全 息投影与3D人脑模型的刚性配准完成。根据手术路径的全息投影引导钻孔，如 果在钻孔过程中发生了位移，视野内电极片可供校准。手术医生根据术前计划 的深度和方向在3D人脑模型中植入穿刺管，过程中使用保持导管与穿刺路径模 型重合。

模型配准以后的观察效果，隔着3D人脑模型的表面就可以看到内部的效果； 在传统方法下，只能依靠实施人员通过在皮肤表面绘制辅助线估算穿刺的方向 和进入点，需要较多的经验积累。

实际的穿刺管和模型里设计的路径，两者重叠起来，就能保证实际穿刺的 路径比较精准。

本发明与现有的经验性方法相比，在其过程中加入了一个混合现实技术作 为辅助，即把模拟手术前构建好的模型投影到现实场景并与病人实际身体叠加， 达到模拟的效果。

以上仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于 本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以 做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (7)

1.一种基于3D人脑模型的手术辅助系统，其特征在于，包括：

(1)数据获取模块：获取病人的原始数据；

(2)模型构建模块：对原始数据进行建模，并生成模拟手术方案；

(3)数据传输模块：将(2)中建立的模型文件与模拟手术方案上传至混合现实设备中；

(4)混合现实渲染模块：搭载在混合现实设备上的混合现实渲染模块将(2)中建立的模型文件与模拟手术方案投影到3D人脑模型上。

2.根据权利要求1所述的基于3D人脑模型的手术辅助系统，其特征在于：所述混合现实设备为头戴式混合现实设备。

3.根据权利要求1所述的基于3D人脑模型的手术辅助方法，其特征在于：在模拟手术过程中，所述混合现实渲染模块可以通过手势控制调整模型文件中的模拟手术位置，使之与3D人脑模型相匹配。

4.根据权利要求1所述的一种基于3D人脑模型的手术辅助方法，其特征在于，包括如下步骤：

S1、采集数据：使用CT机采集患者脑部的数据；

S2、数据处理：将步骤S1中的数据导入分析软件中，进行建立模型并赋予颜色，并规划在3D人脑模型上的穿刺靶点、进入点和穿刺路径；

S3、混合现实渲染：将经步骤S2处理好的模型文件上传至头戴式混合现实设备；

S4、混合现实指导的操作程序：通过头戴式混合现实设备中的手势控制功能将虚拟标记精确地叠加到3D人脑模型上完成全息投影和刚性配准。

5.根据权利要求4所述的基于3D人脑模型的手术辅助方法，其特征在于：所述步骤S1中使用CT机获取的患者人脑部的数据用于全息投影和3D人脑模型之间的刚性配准和矫正。

6.根据权利要求4所述的基于3D人脑模型的手术辅助系统及方法，其特征在于：所述步骤S3中的头戴式混合现实设备为Hololens混合现实设备。

7.根据权利要求4所述的基于3D人脑模型的手术辅助系统的方法，其特征在于：经所述骤S2处理好的模型文件为三维全息投影模型。