CN115919461A - 一种基于slam的手术导航方法 - Google Patents

Abstract

本发明公开了一种基于SLAM的手术导航方法，系统包括医学图像扫描装置、双目内窥镜、计算机处理软件和显示装置。术前扫描手术部位获取扫描图像，并通过计算机软件进行三维重建；手术中通过双目内窥镜获取图像，使用双目SLAM进行实时建图；对于初始关键帧帧图像，先进行双目匹配，后通过标志点法与术前三维模型进行配准，建立世界坐标系；在内窥镜移动过程中，关键帧经过双目匹配后，根据SLAM提供的位姿信息，自动与三维模型配准，实时显示相机运动轨迹及当前镜头场景在手术部位的位置，并提供大视野拼接图像作为导航的有益信息，本发明设备简单，操作方便，为当前精准化与微创化的外科手术提供了新的技术方法。

Description

一种基于SLAM的手术导航方法

技术领域

本发明涉及内窥镜技术领域，具体涉及一种基于SLAM的手术导航方法。

背景技术

在微创手术过程中，医生需要知道当前内窥镜头在手术部位的精确位置，以引导手术进行。一般的手术导航方法采用术中实时CT技术，这要求在手术过程中有专用的影像设备、无影床及较大的手术室环境配套，设备要求高，操作难度大。当前，也有很多定位跟踪技术应用于手术导航系统中。机械定位法需要医生人工调整，并在患者组织上钻孔、打钉、安装固定装置，给患者造成一定创伤。超声波定位跟踪操作简单，但其定位精度不稳定，易受环境影响。而电磁定位技术，对工作空间中的金属物体十分敏感，影响精度。

 基于计算机视觉的三维可视化导航，如SLAM技术，在一般场景中取得了重要成就。 而在微创手术这种微小场景下，需要保证建图的稠密度，依靠单目内窥镜SLAM建图得到的结果无法满足需求。3D内窥镜技术的发展为视觉SLAM在微创手术导航的应用提供了支持。

发明内容

针对现有技术的不足，本发明提出了一种基于SLAM的手术导航方法。

本发明的一种基于SLAM的手术导航方法，包括使用双目内窥镜进行手术操作，利用SLAM方法实时构建器官三维场景，并通过SLAM的视觉里程计，进行当前帧与术前三维结构的实时配准，实时显示当前三维场景；同时将当前三维场景与原先场景自动拼接，获取更大视场，该方法具体包括如下步骤：

S1：术前手术部位三维结构获取，包括在手术前，通过CT或MRI技术对手术部位进行扫描，获取手术部位的三维结构；

S2：双目内窥镜图像SLAM建图，包括在手术时，使用双目内窥镜进行操作，对双目图像进行SLAM实时建图，得到三维重建结构；

S3：首个关键帧初始配准，包括在三维结构和双目内窥镜图像SLAM建图首个关键帧的三维重建结构上选取若干个特征点，进行三维配准；

S4：世界坐标系的建立，包括对双目内窥镜三维重建所得的三维重建结构进行变换，同乘配准得到变换矩阵，使三维结构和三维重建结构在同一世界坐标系下；

S5：关键帧双目匹配，包括对双目内窥镜图像SLAM建图选取的关键帧，进行双目匹配；

S6：镜头场景在三维结构中实时显示，包括依靠ICP变换矩阵和SLAM计算的关键帧视觉里程计，自动将当前帧的三维重建结构与原始的三维结构自动配准；

S7：三维场景实时拼接，包括双目内窥镜移动时当前三维重建图与之前的三维重建图自动拼接，形成大视场全景图像。

作为优选，所述步骤S2中的双目内窥镜图像SLAM建图，包括以下子步骤：

S2.1：对左右图像分别提取ORB特征点，对左右图像进行立体匹配；

S2.2：进行地图初始化，进行局部地图跟踪；

S2.3：在局部建图时，判定当前图像帧是否为关键帧；若是关键帧，则记录帧信息以及经位姿计算得到的位姿信息；若不是关键帧则跳过当前图像帧；

S2.4：最后进行局部BA优化、闭环检测和全局BA优化。

作为优选，所述步骤S3中的首个关键帧初始配准，包括以下子步骤：

S3.1：在手术开始及SLAM初始化后，对首个关键帧进行立体匹配，生成局部三维结构；

S3.2：在影像三维结构和首帧局部三维结构上分别选取3-5个特征点，以影像三维结构为目标点云，以首帧三维结构为源点云，进行三维配准，得到变换矩阵。

作为优选，所述步骤S4中的世界坐标系的建立，具体包括：

以影像三维结构的坐标系为世界坐标系，将双目内窥镜SLAM建图得到的三维重建结构进行变换，以此得到统一的坐标系。

作为优选，所述步骤S5中的关键帧双目匹配，具体为：

 对于在双目内窥镜SLAM建图时得到的关键帧, 进行双目匹配 ，得到各位点的稠密点云。

作为优选，所述步骤S6中的镜头场景在三维结构中实时显示，具体为：

在双目内窥镜SLAM建图实时得到关键帧的三维结构及位姿变换信息后，依靠ICP变换矩

阵和SLAM计算的关键帧视觉里程计，将当前镜头下的三维结构与术前结构进行自动配准。

作为优选，所述步骤S7中的三维场景实时拼接，具体为：

首个关键帧进行双目匹配，生成三维结构；对于后续关键帧重建的三维结构，直接利用SLAM计算的位姿进行配准、拼接，并叠加在原先的三维结构，从而形成内窥镜运动轨迹下的完整三维场景，扩大视场。

本发明主要依靠双目内窥镜进行操作，根据双目视频进行SLAM建图，依靠SLAM选取关键帧，计算其视觉里程计得到变换矩阵，通过深度学习方法进行双目匹配得到深度图，从而实现当前镜头下三维场景与术前扫描三维结构的实时配准，实现场景的SLAM重建，引导医生进行手术操作，设备简单，操作方便，为当前精准化与微创化的外科手术提供了新的技术方法，提高了图像重建的实时性和准确性。

附图说明

图1是本发明实施例1的基于SLAM的手术导航方法的流程图；

图2是本发明实施例1的胃模型术前三维扫描图；

图3是本发明实施例1的SLAM稀疏建图；

图4是本发明实施例1内窥镜首个关键帧手动与扫描三维结果配准的结果；

图5是本发明实施例1实时显示当前内窥镜的镜头在手术部位的具体位置；

图6是本发明实施例1实时内窥图像三维拼接后观察到的场景。

具体实施方法

下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明的一种基于SLAM的手术导航方法，包括使用双目内窥镜进行手术操作，利用SLAM方法实时构建器官三维场景，并通过SLAM的视觉里程计，进行当前帧与术前三维结构的实时配准，实时显示当前三维场景；同时将当前三维场景与原先场景自动拼接，获取更大视场，该方法具体包括如下步骤：

S1：术前手术部位三维结构获取，包括在手术前，通过CT或MRI技术对手术部位进行扫描，获取手术部位的三维结构；

S2：双目内窥镜图像SLAM建图，包括在手术时，使用双目内窥镜进行操作，对双目图像进行SLAM实时建图，得到三维重建结构；

S3：首个关键帧初始配准，包括在三维结构和双目内窥镜图像SLAM建图首个关键帧的三维重建结构上选取若干个特征点，进行三维配准；

S4：世界坐标系的建立，包括对双目内窥镜三维重建所得的三维重建结构进行变换，同乘配准得到变换矩阵，使三维结构和三维重建结构在同一世界坐标系下；

S5：关键帧双目匹配，包括对双目内窥镜图像SLAM建图选取的关键帧，进行双目匹配；

S6：镜头场景在三维结构中实时显示，包括依靠ICP变换矩阵和SLAM计算的关键帧视觉里程计，自动将当前帧的三维重建结构与原始的三维结构自动配准；

S7：三维场景实时拼接，包括双目内窥镜移动时当前三维重建图与之前的三维重建图自动拼接，形成大视场全景图像。

作为优选，所述步骤S2中的双目内窥镜图像SLAM建图，包括以下子步骤：

S2.1：对左右图像分别提取ORB特征点，对左右图像进行立体匹配；

S2.2：进行地图初始化，进行局部地图跟踪；

S2.3：在局部建图时，判定当前图像帧是否为关键帧；若是关键帧，则记录帧信息以及经位姿计算得到的位姿信息；若不是关键帧则跳过当前图像帧；

S2.4：最后进行局部BA优化、闭环检测和全局BA优化。

其中，所述步骤S3中的首个关键帧初始配准，包括以下子步骤：

S3.1：在手术开始及SLAM初始化后，对首个关键帧进行立体匹配，生成局部三维结构；

S3.2：在影像三维结构和首帧局部三维结构上分别选取3-5个特征点，以影像三维结构为目标点云，以首帧三维结构为源点云，进行三维配准，得到变换矩阵。

其中，所述步骤S4中的世界坐标系的建立，具体包括：

以影像三维结构的坐标系为世界坐标系，将双目内窥镜SLAM建图得到的三维重建结构进行变换，以此得到统一的坐标系。

其中，所述步骤S5中的关键帧双目匹配，具体为：

 对于在双目内窥镜SLAM建图时得到的关键帧, 进行双目匹配 ，得到各位点的稠密点云。

其中，所述步骤S6中的镜头场景在三维结构中实时显示，具体为：

在双目内窥镜SLAM建图实时得到关键帧的三维结构及位姿变换信息后，依靠ICP变换矩

阵和SLAM计算的关键帧视觉里程计，将当前镜头下的三维结构与术前结构进行自动配准。

其中，所述步骤S7中的三维场景实时拼接，具体为：

首个关键帧进行双目匹配，生成三维结构；对于后续关键帧重建的三维结构，直接利用SLAM计算的位姿进行配准、拼接，并叠加在原先的三维结构，从而形成内窥镜运动轨迹下的完整三维场景，扩大视场。

实施例1

如图1所示，本发明的一种基于SLAM的手术导航方法，包括如下步骤：

S1：术前手术部位三维结构获取；

本实施例采用CT或MRI等技术，在手术前，对患者的手术部位进行扫描。扫描后经计算机处理，得到手术部位的三维结构。然后在此三维结构上规划手术路径，图2是扫描得到的术前手术部位的三维结构。

S2：双目内窥镜图像SLAM建图；

对双目内窥镜进行标定；

在手术过程中，对于双目内窥镜收集到的视频，使用SLAM进行实时建图。本实施例采用ORB-SLAM2进行建图，具体流程为：

首先输入双目内窥镜左右相机拍到的图像，对左右图像分别提取ORB特征点，对左右图进行立体匹配。

然后进行地图初始化，进行局部地图跟踪。

在局部建图时，判定当前图像帧是否为关键帧。若是关键帧，则记录帧信息以及经位姿计算得到的位姿信息。

最后进行局部BA优化，闭环检测和全局BA优化。

本步骤能得到手术部位的稀疏图像，并计算当前内窥镜镜头在手术部位的位置，标注在稀疏图像上。如图3 ，上面是由手术部位特征点构成的稀疏图像，下面的黑点是关键帧的相机位姿，由线连接，构成内窥镜的运动轨迹。

S3：首个关键帧初始配准；

首先，在手术开始及SLAM初始化后，对首个关键帧进行立体匹配，生成局部三维结构。

然后由医生在影像三维结构和首帧局部三维结构上分别选取3-5个标记点，以影像三维结构为目标点云，以首帧三维结构为源点云，进行三维配准。得到的变换矩阵记为。

如图4是双目内窥镜首个关键帧经过标记点后与扫描三维结果配准得到的结果。

S4：世界坐标系的建立；

以影像三维结构的坐标系为世界坐标系。将双目内窥镜SLAM建图得到三维结构均进行T₀变换，以此得到统一的坐标系。

S5：关键帧双目匹配；

对于在SLAM建图时得到的关键帧， … ， 进行双目匹配 ，得到各位点的稠密点云。

本实施例采用基于StereoNet的深度学习双目匹配方法。

首先构建内窥镜数据集，通过双目内窥镜获得左右图像作为输入，通过扫描仪得到该位点的三维图像，转化为深度图，并作为模型的真值。

经过大量数据集的训练后，输入左右图像，模型能预测深度图。

在实际应用中，输入关键帧的左右图像，模型输出关键帧的深度图，并转化为三维点云。

经过分析，使用StereoNet 得到深度图的准确性和实时性远大于SGBM（Semi-global block matching）等常规双目匹配方法。

S6：镜头场景在三维结构中实时显示；

在双目SLAM实时得到关键帧， …的三维结构及位姿变化信息 ， …后，当前镜头下的三维结构与术前结构进行自动配准，

=

 在显示器上显示当前镜头的三维点云与术前三维结果配准后的结果，以告知医生内窥镜在体内的具体位置，引导手术进行。图5显示当前内窥镜的镜头在手术部位的具体位置。

S7：三维场景实时拼接；

首个关键帧进行双目匹配，生成三维结构。对于后续关键帧重建的三维结构，直接利用SLAM计算的位姿进行配准、拼接，并叠加在原先的三维结构，从而形成内窥镜运动轨迹下的完整三维场景，扩大视场。图6为三维拼接后图像视场变大。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于SLAM的手术导航方法，其特征在于：包括使用双目内窥镜进行手术操作，利用SLAM方法实时构建器官三维场景，并通过SLAM的视觉里程计，进行当前帧与术前三维结构的实时配准，实时显示当前三维场景；同时将当前三维场景与原先场景自动拼接，获取更大视场，该方法具体包括如下步骤：

S1：术前手术部位三维结构获取，包括在手术前，通过CT或MRI技术对手术部位进行扫描，获取手术部位的三维结构；

S2：双目内窥镜图像SLAM建图，包括在手术时，使用双目内窥镜进行操作，对双目图像进行SLAM实时建图，得到三维重建结构；

S3：首个关键帧初始配准，包括在三维结构和双目内窥镜图像SLAM建图首个关键帧的三维重建结构上选取若干个特征点，进行三维配准；

S4：世界坐标系的建立，包括对双目内窥镜三维重建所得的三维重建结构进行变换，同乘配准得到变换矩阵，使三维结构和三维重建结构在同一世界坐标系下；

S5：关键帧双目匹配，包括对双目内窥镜图像SLAM建图选取的关键帧，进行双目匹配；

S6：镜头场景在三维结构中实时显示，包括依靠ICP变换矩阵和SLAM计算的关键帧视觉里程计，自动将当前帧的三维结构与三维影像自动配准；

S7：三维场景实时拼接，包括双目内窥镜移动时当前三维重建图与之前的三维重建图自动拼接，形成大视场全景图像。

2.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S2中的双目内窥镜图像SLAM建图，包括以下子步骤：

S2.1：对左右图像分别提取ORB特征点，对左右图像进行立体匹配；

S2.2：进行地图初始化，进行局部地图跟踪；

S2.3：在局部建图时，判定当前图像帧是否为关键帧；若是关键帧，则记录帧信息以及经位姿计算得到的位姿信息；若不是关键帧则跳过当前图像帧；

S2.4：最后进行局部BA优化、闭环检测和全局BA优化。

3.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S3中的首个关键帧初始配准，包括以下子步骤：

S3.1：在手术开始及SLAM初始化后，对首个关键帧进行立体匹配，生成局部三维结构；

S3.2：在影像三维结构和首帧局部三维结构上分别选取3-5个特征点，以影像三维结构为目标点云，以首帧三维结构为源点云，进行三维配准，得到变换矩阵。

4.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S4中的世界坐标系的建立，具体包括：

以影像三维结构的坐标系为世界坐标系，将双目内窥镜SLAM建图得到的三维重建结构进行变换，以此得到统一的坐标系。

5.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S5中的关键帧双目匹配，具体为：对于在双目内窥镜SLAM建图时得到的关键帧, 进行双目匹配，得到各位点的稠密点云。

6.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S6中的镜头场景在三维结构中实时显示，具体为：

在双目内窥镜SLAM建图实时得到关键帧的三维结构及位姿变换信息后，依靠ICP变换矩阵和SLAM计算的关键帧视觉里程计，将当前镜头下的三维结构与术前结构进行自动配准。

7.根据权利要求书1所述的一种基于SLAM的手术导航方法，其特征在于：所述步骤S7中的三维场景实时拼接，具体为：

首个关键帧进行双目匹配，生成三维结构；对于后续关键帧重建的三维结构，直接利用SLAM计算的位姿进行配准、拼接，并叠加在原先的三维结构，从而形成内窥镜运动轨迹下的完整三维场景，扩大视场。

Images