CN109758230B - 一种基于增强现实技术的神经外科手术导航方法和系统 - Google Patents

Abstract

本发明提供了一种基于增强现实技术的神经外科手术导航方法和系统，该方法包括：S1、术前准备：导入病人的术前医学影像，将多种模态的影像进行融合；制定手术计划；S2、自动配准：确定世界坐标系；求解影像坐标系与世界坐标系之间的空间变换关系；S3、跟踪引导：将影像空间中的手术计划映射到世界坐标系，根据增强现实眼镜相对于世界坐标系的实时位姿，将手术计划叠加显示在增强现实眼镜所观察到的病人头部中，并且在增强现实眼镜移动时，手术计划保持与病人头部的相对位置不变。该系统包括：增强现实眼镜和工作站。本发明无需空间定位装置及跟踪器，免于该装置占据手术室内空间；通过增强现实眼镜直接跟踪手术器械，避免了空间定位装置与跟踪器之间的光学遮挡问题，且医生无需在显示器与病人之间切换视线；自动配准使得该系统操作简便。

Description

一种基于增强现实技术的神经外科手术导航方法和系统

技术领域

本发明涉及计算机辅助医疗技术领域，具体地，涉及一种基于增强现实技术的神经外科手术导航方法和系统。

背景技术

神经外科手术前，医生在病人的计算机断层成像(CT)或核磁共振成像(MRI)等医学影像中，制定手术计划。术中，利用手术导航系统，医学影像空间与真实病人空间配准后，将病人空间中的手术器械的位置映射到医学影像空间，并实时跟踪手术器械的位置，将手术器械显示在医学影像中。医生在手术导航系统的显示器中可以看到手术器械相对于病人体内结构的实时位置，从而，引导医生按照手术计划准确实施手术。手术导航系统使得一些手术可以通过微创的形式完成，在不采取大面积开颅的情况下，医生依然能够确定手术器械在颅内的位置。

传统上用于神经外科的手术导航系统具有一个空间定位装置和几个跟踪器。空间定位装置通常是双目红外光学相机，跟踪器是由3-4个红外反光球以特定分布形状构成的，固定于病人头部固定架和不同手术器械。空间定位装置通过对跟踪器进行定位来获取病人和手术器械的位置。通常空间定位装置具有较大的体积，需要占据手术室内一定的空间。且在使用手术导航系统时，空间定位装置与各个跟踪器之间不能有光学遮挡，否则病人或相应的手术器械位置不能被实时跟踪。

使用传统的手术导航系统进行术中引导时，医生调整手术器械的位置，同时在显示器中观察手术器械与病人生理结构之间的相对位置，因而需要视线在显示器和病人之间不停切换。已有技术例如中国发明专利公开CN107536643A提出增加平板电脑、增强现实头盔或眼镜等显示装置，将医学影像及手术计划叠加到真实病人场景中显示，从而克服传统手术导航系统这一不足。但这些已有技术中的手术导航系统仍然需要光学空间定位装置，并且通过在增加的显示设备上固定跟踪器，来定位显示设备的空间位置，增加了手术导航系统装置的复杂度。

发明内容

本发明的目的是针对现有技术的不足，提供一种灵活性好、方便易用的小体积神经外科手术导航系统，能够以增强现实的方式提供术中引导。

根据本发明的一个方面，提供了一种基于增强现实技术的神经外科手术导航方法，包括以下步骤：

S1、术前准备：术前在工作站中，导入病人的术前医学影像，将多种模态的影像进行融合；制定手术计划；

S2、自动配准：确定世界坐标系；求解影像坐标系与世界坐标系之间的空间变换关系；

S3、跟踪引导：经自动配准后，将影像空间中的手术计划映射到世界坐标系，根据增强现实眼镜相对于世界坐标系的实时位姿，将手术计划叠加显示在增强现实眼镜所观察到的病人头部图像中，并且在增强现实眼镜移动时，手术计划保持与病人头部的相对位置不变。

优选的，所述确定世界坐标系包括：当病人头部大致在增强现实眼镜的视野中心时，将任意位姿的增强现实眼镜坐标系作为世界坐标系，增强现实眼镜在空间中的运动均以该世界坐标系为参考；所述增强现实眼镜的摄像头获取的图像均可解算到世界坐标系中。

优选的，所述自动配准中求解影像坐标系与世界坐标系之间的空间变换关系包括：

增强现实摄像头获取具有重叠区域且覆盖头部的一系列图像，同时读取拍摄这些图像时增强现实眼镜的摄像头拍摄位姿；

根据所述一系列图像和对应的摄像头拍摄位姿，根据多视角立体视觉重建算法，重建病人场景点云；

在所述病人场景点云中提取病人头部表面点云，通过点云配准算法与所述术前医学影像中三维重建得到的病人头部表面图像进行配准。

优选的，所述一系列图像包括20张图像。

优选的，所述步骤S3进一步包括：在所述增强现实眼镜中，将病人头部表面点云以一定的透明度叠加在真实病人头部图像。

优选的，当病人头部发生移动时，更新所述配准。

优选的，所述增强现实眼镜的视频记录功能，可以从术者视角全程记录手术。

根据本发明的一个方面，提供了一种基于增强现实技术的神经外科手术导航系统，该系统包括增强现实眼镜和工作站；

所述工作站包括：医学影像处理模块、手术规划模块、视觉处理模块、配准模块、跟踪引导模块、通信模块以及可视化模块；其中，

医学影像处理模块用于导入术前医学影像、不同模态影像之间融合以及影像的三维重建；

手术规划模块用于记录和生成手术计划；

通信模块用于工作站和增强现实眼镜的通信，将增强现实眼镜获取的场景图像和位姿数据传输给工作站，并将工作站处理后的可视化数据传输给增强现实眼镜；

视觉处理模块用于将增强现实眼镜获取的二维图像进行处理和三维重建；

配准模块用于完成术前医学影像空间与术中病人空间的配准；

跟踪引导模块根据增强现实眼镜的实时位姿计算术前手术计划正确显示的视角，同时监测病人头部是否发生移动；

可视化模块用于渲染虚拟场景，用于在增强现实眼镜中显示。

优选的，所述增强现实眼镜至少具有一个两百万以上像素的光学摄像头、多个环境感知摄像头、深度相机；具有空间位置和姿态传感功能以及无线通信功能，空间位姿传感功能通过惯性测量单元结合同时建图与定位技术实现；具有视频记录功能。

本发明具有以下优点：

1、与原有手术导航系统相比，无需双目红外光学相机的空间定位装置及其配套的跟踪器，免于该装置占据手术室内空间。通过增强现实眼镜直接跟踪手术器械，避免了原有空间定位装置与跟踪器之间的光学遮挡问题。在配准环节，无需人工安装的基准点，且可实现配准的自动过程，提高了手术导航系统的易用性。

2、利用增强现实技术将术前医学影像及手术计划叠加到真实病人场景中，给医生提供了直观的观察方式。医生无需在手术导航系统的显示器与病人之间切换视线，从而更专注地投入在手术操作中。

3、增强现实眼镜的摄像头可以从术者视角全程记录手术，方便了手术的记录，有利于对手术经验积累、分享和教学。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1是该发明的神经外科手术导航系统构成和主要坐标系示意图。

图2是该发明提出的神经外科手术导航系统主要工作流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

如图1所示，本发明的一个方面提供了一种基于增强现实技术的神经外科手术导航系统。该系统包括增强现实头盔或眼镜(3)、和工作站(1)。

增强现实头盔或眼镜(3)至少具有一个两百万以上像素的光学摄像头、多个环境感知摄像头、可具有深度相机；具有空间位置和姿态(位姿)传感功能以及无线通信功能，空间位姿传感功能可以通过惯性测量单元结合同时建图与定位(SLAM)技术实现；具有视频记录功能。后文将增强现实头盔或眼镜简称为增强现实眼镜。

工作站(1)用来运行手术导航系统软件。

手术导航系统软件可以由医学影像处理模块、手术规划模块、视觉处理模块、配准模块、跟踪引导模块、通信模块以及可视化模块构成。医学影像处理模块具有导入术前医学影像、不同模态影像之间融合以及影像的三维重建功能；手术规划模块的功能是记录和生成由医生确定的手术计划；通信模块用于工作站和增强现实眼镜的通信，将增强现实眼镜获取的场景图像和位姿数据传输给工作站，并将工作站处理后的可视化数据传输给增强现实眼镜；视觉处理模块用于将增强现实眼镜摄像头获取的二维图像进行处理和三维重建；配准模块用于完成术前医学影像空间与术中病人空间的配准；跟踪引导模块的功能是根据增强现实眼镜的实时位姿计算术前手术计划正确显示的视角，同时监测病人头部是否发生移动；可视化模块的功能是渲染虚拟场景，用于在增强现实眼镜中显示。

本发明的另一个方面提供了一种基于增强现实技术的神经外科手术导航方法。该方法即系统工作流程包括以下步骤：

S1、术前准备：术前在手术导航系统软件中，导入病人的术前医学影像(2)，将多种模态的影像进行融合；制定手术计划(5)。

术中，术者佩戴增强现实眼镜，打开视频记录功能。

S2、自动配准：

确定世界坐标系，当病人头部大致在增强现实眼镜的视野中心时，将任意位姿的增强现实眼镜坐标系作为世界坐标系，增强现实眼镜在空间中的运动均以该世界坐标系为参考；

求解影像坐标系与世界坐标系之间的空间变换关系。包括：术者绕着病人头部观察，增强现实摄像头获取具有重叠区域且尽可能大范围覆盖头部的一系列图像，同时读取拍摄这些图像时增强现实眼镜的位姿。已知图像和对应的摄像头拍摄位姿，根据多视角立体视觉重建算法，可以重建病人场景点云。在场景点云中自动提取病人头部表面点云，通过点云配准算法与医学影像中三维重建得到的病人头部表面进行配准。

S3、跟踪引导：经配准后，将影像空间中的手术计划映射到世界坐标系，从而根据增强现实眼镜相对于世界坐标系的实时位姿，将手术计划叠加显示在增强现实眼镜所观察到的病人头部图像中，并且增强现实眼镜移动，手术计划保持与病人头部的相对位置不变。医生可同时看到真实空间的手术器械和虚拟空间的手术计划，从而达到手术导航的目的。同时，将病人头部表面点云以一定的透明度叠加在真实病人头部，一旦病人头部发生移动，二者产生了不重叠区域，则更新配准。

实施例1

以应用在神经外科立体定向脑电电极置入手术为例，术前采集病人的医学影像。医生通过本发明中的手术导航系统软件中的医学影像处理模块导入多模态医学影像并进行融合，通过手术规划模块在医学影像中制定手术路径，即由入点和靶点构成的线性路径，病人的影像坐标系记作{I}，手术路径点为

本实施例采用的增强现实眼镜具有一个两百万像素的摄像头(a)、多个环境感知摄像头(b)和一个惯性测量单元。利用多个环境感知摄像头(b)实现同时定位与建图(SLAM)技术，结合惯性测量单元，可以准确获取增强现实眼镜实时位姿T_AR。并且，经标定后，增强现实眼镜坐标系{AR}与摄像头(a)坐标系重合。术中，医生佩戴增强现实眼镜。病人头部大致在增强现实眼镜的视野中心时，将增强现实眼镜坐标系{AR}作为世界坐标系{W}，此后增强现实眼镜相对于世界坐标系{W}的位姿记作

增强现实眼镜获取的图像由手术导航系统软件的通信模块传回工作站进行处理。该实施例中，增强现实眼镜通过WiFi与工作站进行无线通信。摄像头(a)具有视频记录功能。

医生绕病人头部观察，摄像头(a)随着增强现实眼镜绕着病人头部采集20张图像，并记录采集图像时的位姿

利用系统软件视觉处理模块中的多视角立体视觉重建算法，可以重建出手术场景的三维点云。在该三维点云中，可以利用病人头部的形态信息，自动提取病人头部表面的三维点云。由于图像的位姿是相对于世界坐标系(W}的，所以得到的三维点云也是在世界坐标系{W}中表示的，记作

医学影像中可以通过阈值的方法提取病人头部表面，在影像坐标系{I}中记作

利用系统软件配准模块中的全局点云配准算法将

与

配准，得到配准结果，即最终影像坐标系{I}到世界坐标系{W}的空间变换关系

将手术路径点变换到世界坐标系{W}中，

增强现实眼镜的虚拟场景中，系统软件可视化模块根据手术路径点

绘制线性手术路径。将虚拟场景的显示视角设置为增强现实眼镜的真实观察视角，由增强现实眼镜相对于世界坐标系{W}的位姿

得到。在系统软件的跟踪引导模块中，显示视角随着增强现实眼镜的移动而更新。从而，在增强现实眼镜中呈现出将虚拟场景中的手术路径叠加到真实场景中病人头部的显示效果。并且，从不同角度观察，手术路径相对于病人头部的位置将保持不变。

同时，在真实场景中可以观察到手术器械，医生可以持手术器械按照叠加在病人头部的手术路径进行定位，从而达到术中引导医生按照术前手术计划定位手术路径的目的。

为了监测手术过程中病人头部是否发生了移动，将配准后的影像表面

与手术路径同时叠加显示在虚拟场景中，影像表面应该与真实病人头部重合。如果产生不重叠区域，则重新执行配准并更新配准结果。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种基于增强现实技术的神经外科手术导航系统，其特征在于，

该系统包括增强现实眼镜和工作站；

所述工作站包括：医学影像处理模块、手术规划模块、视觉处理模块、配准模块、跟踪引导模块、通信模块以及可视化模块；其中，

医学影像处理模块用于导入术前医学影像、不同模态影像之间融合以及影像的三维重建；

手术规划模块用于记录和生成手术计划；

通信模块用于工作站和增强现实眼镜的通信，将增强现实眼镜获取的场景图像和位姿数据传输给工作站，并将工作站处理后的可视化数据传输给增强现实眼镜；

视觉处理模块用于将增强现实眼镜获取的二维图像进行处理和三维重建；

配准模块用于完成术前医学影像空间与术中病人空间的自动配准；

跟踪引导模块根据增强现实眼镜的实时位姿计算术前手术计划正确显示的视角，同时监测病人头部是否发生移动；

可视化模块用于渲染虚拟场景，用于在增强现实眼镜中显示；该系统的工作原理，包括以下步骤：

S1、术前准备：导入病人的术前医学影像，将多种模态的影像进行融合；制定手术计划；

S2、自动配准：确定世界坐标系；求解影像坐标系与世界坐标系之间的空间变换关系；

S3、跟踪引导：经自动配准后，将影像空间中的手术计划映射到世界坐标系，根据增强现实眼镜相对于世界坐标系的实时位姿，将手术计划叠加显示在增强现实眼镜所观察到的病人头部图像中，并且在增强现实眼镜移动时，手术计划保持与病人头部的相对位置不变；

所述步骤S2自动配准中确定世界坐标系包括：当病人头部大致在增强现实眼镜的视野中心时，将任意位姿的增强现实眼镜坐标系作为世界坐标系，增强现实眼镜在空间中的运动均以该世界坐标系为参考；所述增强现实眼镜的摄像头获取的图像均可解算到世界坐标系中；

所述步骤S2自动配准中求解影像坐标系与世界坐标系之间的空间变换关系包括：

增强现实摄像头获取具有重叠区域且覆盖头部的一系列图像，同时读取拍摄这些图像时增强现实眼镜的摄像头拍摄位姿；

根据所述一系列图像和对应的摄像头拍摄位姿，利用多视角立体视觉重建算法，重建病人场景点云；

在所述病人场景点云中提取病人头部表面点云，通过点云配准算法与所述术前医学影像中三维重建得到的病人头部表面进行配准。

2.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航系统，其特征在于，

所述步骤S3跟踪引导包括：

在所述增强现实眼镜的虚拟场景中，可视化模块绘制手术计划；并将虚拟场景的显示视角设置为增强现实眼镜的真实观察视角，该视角由增强现实眼镜相对于世界坐标系的位姿得到；在跟踪引导模块中，显示视角随着增强现实眼镜的移动而更新。

3.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航系统，其特征在于，

所述步骤S3进一步包括：在所述增强现实眼镜中，将所述病人头部表面点云以一定的透明度叠加在真实病人头部图像，一旦病人头部发生移动，二者产生了不重叠区域，则更新配准。

4.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航系统，其特征在于，

所述增强现实眼镜至少具有一个两百万以上像素的光学摄像头、多个环境感知摄像头、深度相机。

5.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航系统，其特征在于，

所述增强现实眼镜具有空间位置和姿态传感功能以及无线通信功能，空间位姿传感功能通过惯性测量单元结合同时建图与定位技术实现；具有视频记录功能。

6.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航系统，其特征在于，

所述一系列图像包括20张图像。

Images