CN115645044A - 一种基于无标记物的口腔种植图像叠加方法 - Google Patents

Abstract

本发明涉及一种基于无标记物的口腔种植图像叠加方法。首先获取患者的CBCT数据，通过三维重建得到所需要的三维模型；利用轮廓提取和匹配算法完成跟踪初始化，然后利用特征提取查询2D关键点的描述子并建立图像之间的对应关系；利用2D‑3D位置估计算法求解当前相机位姿，然后将牙颌三维虚拟模型渲染出来。本发明不需要口腔种植手术中常见的标记物，在减轻患者不适感的同时提供了包括虚拟种植体，虚拟种植路径，种植区域周围关键解剖结构等的图像增强，有助于医生更好地完成口腔种植手术。

Description

一种基于无标记物的口腔种植图像叠加方法

技术领域

本发明涉及增强现实领域，具体涉及一种基于无标记物的口腔种植图像叠加方法。

背景技术

增强现实技术是一种计算机视觉技术，它通过将虚拟物体整合到真实空间中来增强对现实世界的感知。增强现实技术提供了真实环境之外的虚拟信息，从而在各个领域开辟了新的可能性。增强现实系统一般分为以下三个模块：注册模块、跟踪模块、显影模块，注册模块的作用是将三维虚拟模型与真实环境进行对齐；跟踪模块的作用是在相机或者追踪对象运动的情况下,能够精准的获取对应的位置和姿态；显影模块的作用是利用渲染接口将三维虚拟模型实时显示在当前画面的正确位置。增强现实可以将真实世界与虚拟信息无缝衔接，将用户置于模拟和真实的三维数字环境中。

手术导航系统有着“外科之眼”的美誉，其功能是为外科医生提供手术病灶区域的影像信息，定位病灶位置，尽可能地减少患者创伤，从而提升手术的安全性、精确性与成功率。因此，手术导航系统已逐步成为外科手术中不可或缺的手术引导设备。手术导航系统的工作流程主要分为术前规划，术中导航，术后评价三个阶段。

在医学领域，增强现实因其独特的优势而被应用于各种外科手术中。利用增强现实开发出的手术导航系统，可以使虚拟器官与真实场景进行融合，在手术中实时给予了医生病灶信息和手术指导，同时，可以根据手术实际情况，及时调整术前规划。随着计算机视觉技术的蓬勃发展，越来越多的外科手术导航系统利用了增强现实技术，如神经外科、普外科、骨科、颌面外科等，取得了不错的效果。但是在口腔颌面外科中，一般采用有标记物的方法来实现增强现实效果，标记物往往具有侵入性，易造成患者的不适感和劳累感。而且口腔种植手术具有手术空间狭小的特点，在本就狭小的空间使用体积较大的光学标记物，大大影响了手术器械的操作空间。

发明内容

本发明的目的在于提供一种基于无标记物的口腔种植图像叠加方法，通过无标记物的方式将虚拟种植体、种植路径、周围重要解剖结构等进行数字显影，可以直观地将种植的情况实时通过屏幕展示给医生，给医生提供视觉上的引导，降低对先验知识的依赖，也降低术后并发症的风险。

为实现上述目的，本发明的技术方案是：一种基于无标记物的口腔种植图像叠加方法，包括以下步骤：

步骤S1、获取患者的CBCT医学影像数据，三维重建得到包括牙颌、上颌窦、下牙槽神经的三维模型，然后通过术前规划软件得到虚拟种植体的三维虚拟模型；

步骤S2、提取牙颌的边缘轮廓特征并与当前帧图像进行匹配完成跟踪初始化；

步骤S3、提取当前帧图像的特征点并与初始帧图像进行匹配，然后利用2D-3D位姿估计算法求解相机当前位姿；

步骤S4、分别设置三维虚拟模型的颜色和不透明度，利用求解得到的位姿，将三维虚拟模型渲染在图像正确的位置。

在本发明一实施例中，所述步骤S1具体为：

利用坐式CT机进行锥形束射线立体断层摄影技术（CBCT）扫描，得到患者的CBCT医学影像数据；针对所获取的医学影像数据，通过阈值分割算法将所需要的区域提取出来，然后进行三维重建得到三维模型；

通过阈值分割算法提取牙齿和颌骨的CT范围，去除上下颌骨的连接处的像素点，通过区域生长算法提取出上、下颌骨；

通过阈值分割算法提取上颌窦和下牙槽神经的CT范围，去除掉连接处的像素点，通过区域生长算法提取出上颌窦和下牙槽神经；

通过阈值分割算法提取牙齿的CT范围，由于颌骨和牙齿阈值有重合，去除与颌骨连接处的像素点，通过区域生长算法从颌骨中提取出牙齿；

在术前规划软件中规划好手术路径和虚拟种植体的位置，得到虚拟种植体的三维虚拟模型。

在本发明一实施例中，所述步骤S2具体为：

将牙齿的三维模型的二维投影利用边缘轮廓提取算法进行提取，然后在每一帧中对当前帧图像的指定感兴趣区域也进行轮廓提取，并对两个轮廓进行匹配，当结果小于预定阈值时，跟踪初始化完成。

在本发明一实施例中，所述步骤S3具体为：

利用特征提取算法提取当前帧图像的特征点和描述子，并利用特征匹配算法与初始帧图像的特征进行匹配，初始帧图像在线下完成2D-3D匹配；然后利用2D-3D位姿估计算法实时求解相机的当前的位置和姿态。

在本发明一实施例中，所述步骤S4具体为：

编写增强现实系统程序，创建增强现实虚拟相机并将数据导入至增强现实系统；

将此前得到的三维虚拟模型加入增强现实系统，为包括牙齿、上颌窦、下牙槽神经、虚拟种植体的三维虚拟模型分别设置不同的颜色和不透明度；

将设置好的增强现实系统导入到增强现实设备终端中，运行程序，利用实时得到的相机位姿将三维虚拟模型显影到屏幕正确的位置上，医生通过屏幕观察患者种植部位的术前规划路径、虚拟种植体以及周围的重要解剖结构。

本发明还提供了一种基于无标记物的口腔种植图像叠加系统，包括图像轮廓提取和匹配模块，图像特征点提取和匹配模块，位姿计算模块和图像叠加模块；

所述图像轮廓提取和匹配模块用于提取牙颌三维虚拟模型二维投影的边缘轮廓，然后与当前帧图像轮廓进行匹配，完成跟踪初始化；

所述图像特征点提取和匹配模块用于提取当前帧图像的特征点，并与初始帧的特征点进行匹配；

所述位姿计算模块是利用位姿估计算法进行2D-3D求解，得到相机当前的平移向量和旋转矩阵；

所述图像叠加模块是利用底层为OpenGL的渲染库，利用位姿计算模块实时求解的相机位姿，将包括牙齿、上颌窦、下牙槽神经、虚拟种植体的三维虚拟模型显示在屏幕正确的位置上的。

相较于现有技术，本发明具有以下有益效果：

本发明采用无标记物的方法，将虚拟种植体、种植路径和周围重要解剖结构在手术中进行了实时显示，相比于现在口腔种植手术导航系统采用的有标记的方式，可以显著地降低患者的不适感和劳累感，并且减小了标记物对手术器械操作空间的限制。

附图说明

图1是本发明一实施例中的方法流程图；

图2是本发明一实施例中的上颌图像叠加效果图；

图3是本发明一实施例中的下颌图像叠加效果图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明一种基于无标记物的口腔种植图像叠加方法，包括以下步骤：

步骤S1、获取患者的CBCT医学影像数据，三维重建得到包括牙颌、上颌窦、下牙槽神经的三维模型，然后通过术前规划软件得到虚拟种植体的三维虚拟模型；

步骤S2、提取牙颌的边缘轮廓特征并与当前帧图像进行匹配完成跟踪初始化；

步骤S3、提取当前帧图像的特征点并与初始帧图像进行匹配，然后利用2D-3D位姿估计算法求解相机当前位姿；

步骤S4、分别设置三维虚拟模型的颜色和不透明度，利用求解得到的位姿，将三维虚拟模型渲染在图像正确的位置。

本发明还提供了一种基于无标记物的口腔种植图像叠加系统，包括图像轮廓提取和匹配模块，图像特征点提取和匹配模块，位姿计算模块和图像叠加模块；

所述图像轮廓提取和匹配模块用于提取牙颌三维虚拟模型二维投影的边缘轮廓，然后与当前帧图像轮廓进行匹配，完成跟踪初始化；

所述图像特征点提取和匹配模块用于提取当前帧图像的特征点，并与初始帧的特征点进行匹配；

所述位姿计算模块是利用位姿估计算法进行2D-3D求解，得到相机当前的平移向量和旋转矩阵；

所述图像叠加模块是利用底层为OpenGL的渲染库，利用位姿计算模块实时求解的相机位姿，将包括牙齿、上颌窦、下牙槽神经、虚拟种植体的三维虚拟模型显示在屏幕正确的位置上的。

以下为本发明一具体实施实例。

请参照图1-3，本发明提供一种基于无标记物的口腔种植图像叠加方法，包括以下步骤：

步骤S1、利用坐式CT机进行锥形束射线立体断层摄影技术（CBCT）扫描获得患者的医学影像数据，然后将数据导入医学三维软件中，利用口腔各种组织之间的阈值差异，利用阈值分割算法分离所需要的组织模型。

优选的，人体颌骨的阈值一般选取550-1800，上颌骨和下颌骨在CT图像上会存在像素点相互连接的情况，这是需要去除这些连接点，然后利用区域增长算法分离上下颌骨，利用相同的方法提取出上颌窦和下牙槽神经，将它们分别导出成stl文件。在口腔种植术前规划软件中，根据以上模型，规划种植路径，设置虚拟种植体的深度和角度，然后得到虚拟种植体的三维模型。

步骤S2、

将牙齿的三维虚拟模型的二维投影利用边缘轮廓提取算法进行提取，然后将轮廓投影到当前帧图像中。对于每一帧图像，指定一个最小包围矩形大一些的区域作为指定感兴趣区域，然后在感兴趣区域内对其进行轮廓提取，对两个轮廓利用轮廓匹配算法进行匹配，

当结果小于一定阈值时，跟踪初始化完成。

步骤S3、

在跟踪开始之前利用特征提取算法提取初始帧图像的一些自然特征点并且得到其三维坐标，然后对于每一帧图像，利用特征提取算法提取每一帧的特征点，然后利用特征匹配算法将当前帧图像特征点与初始帧图像特征点进行匹配，利用优化算法过滤杂点和匹配错误的点。匹配完成之后，利用2D-3D匹配算法求解相机当前的平移向量和旋转矩阵。

步骤S4、

创建增强现实虚拟相机，将特征信息和S1步骤制作的包括部分牙颌、上颌窦、下牙槽神经、虚拟种植体等三维模型导入到增强现实系统中，设置其不同的颜色和不透明度。优选的，在本实施例中，牙齿的RGB值为251,245,26,不透明度为100，上颌窦的RGB值为81,32,84,不透明度为100，下牙槽神经的RGB值为117,80,204,不透明度为100，虚拟种植体的RGB值为0,150,266,不透明度为50。

最后将设置好的增强现实系统导入到增强现实设备终端中，运行程序，利用实时求解得到的相机平移向量和旋转矩阵将以上虚拟模型显影到屏幕正确的位置上，医生可以通过屏幕观察患者种植部位的术前规划路径、虚拟种植体以及周围的重要解剖结构。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于无标记物的口腔种植图像叠加方法，其特征在于，包括以下步骤：

步骤S1、获取患者的CBCT医学影像数据，三维重建得到包括牙颌、上颌窦、下牙槽神经的三维模型，然后通过术前规划软件得到虚拟种植体的三维虚拟模型；

步骤S2、提取牙颌的边缘轮廓特征并与当前帧图像进行匹配完成跟踪初始化；

步骤S3、提取当前帧图像的特征点并与初始帧图像进行匹配，然后利用2D-3D位姿估计算法求解相机当前位姿；

步骤S4、分别设置三维虚拟模型的颜色和不透明度，利用求解得到的位姿，将三维虚拟模型渲染在图像正确的位置。

2.根据权利要求1所述的一种基于无标记物的口腔种植图像叠加方法，其特征在于，所述步骤S1具体为：

利用坐式CT机进行锥形束射线立体断层摄影技术扫描，得到患者的CBCT医学影像数据；针对所获取的医学影像数据，通过阈值分割算法将所需要的区域提取出来，然后进行三维重建得到三维模型；

通过阈值分割算法提取牙齿和颌骨的CT范围，去除上下颌骨的连接处的像素点，通过区域生长算法提取出上、下颌骨；

通过阈值分割算法提取上颌窦和下牙槽神经的CT范围，去除掉连接处的像素点，通过区域生长算法提取出上颌窦和下牙槽神经；

通过阈值分割算法提取牙齿的CT范围，由于颌骨和牙齿阈值有重合，去除与颌骨连接处的像素点，通过区域生长算法从颌骨中提取出牙齿；

在术前规划软件中规划好手术路径和虚拟种植体的位置，得到虚拟种植体的三维虚拟模型。

3.根据权利要求1所述的一种基于无标记物的口腔种植图像叠加方法，其特征在于，所述步骤S2具体为：

将牙齿的三维模型的二维投影利用边缘轮廓提取算法进行提取，然后在每一帧中对当前帧图像的指定感兴趣区域也进行轮廓提取，并对两个轮廓进行匹配，当结果小于预定阈值时，跟踪初始化完成。

4.根据权利要求1所述的一种基于无标记物的口腔种植图像叠加方法，其特征在于，所述步骤S3具体为：

利用特征提取算法提取当前帧图像的特征点和描述子，并利用特征匹配算法与初始帧图像的特征进行匹配，初始帧图像在线下完成2D-3D匹配；然后利用2D-3D位姿估计算法实时求解相机的当前的位置和姿态。

5.根据权利要求1所述的一种基于无标记物的口腔种植图像叠加方法，其特征在于，所述步骤S4具体为：

编写增强现实系统程序，创建增强现实虚拟相机并将数据导入至增强现实系统；

将此前得到的三维虚拟模型加入增强现实系统，为包括牙齿、上颌窦、下牙槽神经、虚拟种植体的三维虚拟模型分别设置不同的颜色和不透明度；

将设置好的增强现实系统导入到增强现实设备终端中，运行程序，利用实时得到的相机位姿将三维虚拟模型显影到屏幕正确的位置上，医生通过屏幕观察患者种植部位的术前规划路径、虚拟种植体以及周围的重要解剖结构。

6.一种基于无标记物的口腔种植图像叠加系统，其特征在于，包括图像轮廓提取和匹配模块，图像特征点提取和匹配模块，位姿计算模块和图像叠加模块；

所述图像轮廓提取和匹配模块用于提取牙颌三维虚拟模型二维投影的边缘轮廓，然后与当前帧图像轮廓进行匹配，完成跟踪初始化；

所述图像特征点提取和匹配模块用于提取当前帧图像的特征点，并与初始帧的特征点进行匹配；

所述位姿计算模块是利用位姿估计算法进行2D-3D求解，得到相机当前的平移向量和旋转矩阵；

所述图像叠加模块是利用底层为OpenGL的渲染库，利用位姿计算模块实时求解的相机位姿，将包括牙齿、上颌窦、下牙槽神经、虚拟种植体的三维虚拟模型显示在屏幕正确的位置上的。

Images