CN112885436B

CN112885436B - 一种基于增强现实三维成像的牙科手术实时辅助系统

Info

Publication number: CN112885436B
Application number: CN202110210441.4A
Authority: CN
Inventors: 刘春煦
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-02-25
Filing date: 2021-02-25
Publication date: 2021-11-30
Anticipated expiration: 2041-02-25
Also published as: CN112885436A

Abstract

本发明公开的一种基于增强现实三维成像的牙科手术实时辅助系统，通过医学影像系统、三维重建模块、手术规划模块、匹配定位模块、动作捕捉系统和AR显示系统在手术全过程中进行辅助，实时的三维显示和动态捕捉跟踪，当患者体位或组织运动时，比如摇头，张口等，三维虚拟影像也会实时改变位置，实现完全“贴附”的效果，并通过AR显示系统同时将三维真实影像和三维虚拟影像实时显示在同一界面，使得手术过程可以实现“透视”功能，手术过程中更容易找到病灶部位，更容易找到理想的植入位点或理想的切开切除角度方向；增加手术精准度，牙科和颌面外科对精度的要求非常高，本发明提供的辅助系统相比于传统手术精度更高。

Description

一种基于增强现实三维成像的牙科手术实时辅助系统

技术领域

本发明涉及牙科手术辅助技术领域，具体涉及一种基于增强现实三维成像的牙科手术实时辅助系统。

背景技术

目前所有的手术技术，包括牙科的手术，都是裸眼下进行，现在也有使用放大镜或内窥镜的技术，但是手术过程中，无法得知组织内部的具体结构和实际构造。很多时候要依靠于医生的经验进行手术；这也是医生的经验非常宝贵，而青年医生难以被人信任的原因。比如肿瘤的切除，需要小心的剥离外部正常组织，判断到肿瘤的距离；比如牙科种植手术，需要凭借经验判断牙槽骨的高度，宽度，从而判断种植的方向，深度。

目前医学影像技术飞速发展，在牙科运用最广泛的就是CBCT。CBCT足以获取颌面部我们所需要的所有解剖组织，包括上颌窦，下牙槽神经管，上下颌骨，各个牙神经等。而且三维重建技术也可以让CBCT数据重建为三维模型，可视化提升。但是医学影像技术只能用于诊断，大概判断手术区域的位置，距离等，无法真正辅助手术全过程。

目前最新的，运用医学影像辅助手术的技术叫做导航技术(Image GuidedSurgery)。导航可以识别患者术区的位置，手术器械的位置，并将这两个位置转移至计算机，与医学影像进行匹配拟合。然后在显示器上，能显示出手术器械相对于患者的实时位置，也可以通过医学影像看到组织内部的信息。但是这种技术虽然解决了手术过程中，看不见组织内部的问题，但是医生要不断的从患者到屏幕进行切换，增加了操作难度，二维的图像也缺乏直观性，在匹配患者术区的位置、手术器械的位置以及医学影像三者过程中，更容易产生交互匹配出现的误差。

增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。这个技术目前慢慢的在娱乐，工业中进行使用，以后势必代替传统的荧屏显示，一副眼镜就能显示逼真的三维图像，而在牙科领域，这个技术就可以实现医生在手术时，不仅可以看见患者的牙体，口内黏膜，还能通过AR看见内部的如牙髓腔的位置大小以辅助根管治疗和牙体预备；看见上下颌骨的宽度高度以辅助牙科种植手术；看见鼻窦、神经、血管等以辅助其他的颌面部手术以及复杂的种植手术。

发明内容

为克服上述技术的缺陷，本发明提供一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，包括：医学影像系统、动作捕捉系统、数据处理系统和AR显示系统；所述数据处理系统包括：三维重建模块、手术规划模块、匹配定位模块和动作跟踪模块；

医学影像系统采集手术需求和患者的三维医学影像数据，并发送给数据处理系统；

三维重建模块基于手术需求和患者的三维医学影像数据对手术部位各组织进行三维重建得到三维虚拟影像，三维重建装置将三维虚拟影像发送给手术规划模块；

手术规划模块基于手术需求和三维虚拟影像通过三维建模软件对三维虚拟影像进行虚拟手术并将手术过程和手术痕迹保存在三维虚拟影像中；

动作捕捉系统实时检测患者的物理状态和手术状态并将患者的物理状态信息和手术状态的三维数据作为三维真实影像发送给动作跟踪模块；

匹配定位模块先对三维虚拟影像和三维真实影像进行匹配实现医学影像定位；再根据三维真实影像实时更新三维虚拟影像，使得二者完成融合；

动作跟踪模块识别三维真实影像的坐标变化，并依据三维真实影像的坐标系的变化同步改变三维虚拟影像的坐标；

AR显示系统同时将三维真实影像和三维虚拟影像实时显示在同一界面。

本方案工作原理：现有的医学导航技术中，显示器上能显示出手术器械相对于患者的实时位置，也可以通过医学影像看到组织内部的信息，但是这种技术虽然解决了手术过程中看不见组织内部的问题，但是医生要不断的从患者到屏幕进行切换，增加了操作难度，且二维的图像也缺乏直观性，在匹配患者术区的位置、手术器械的位置以及医学影像三者过程中很容易产生交互匹配出现的误差。本方案提供的基于增强现实三维成像的牙科手术实时辅助系统，利用AR增强现实进行三维影像的牙科及口腔颌面部手术辅助系统；该系统通过AR显示系统同时将三维真实影像和三维虚拟影像实时显示在同一界面，医生在手术过程中可以直接看到精准叠加在患者体内的三维虚拟影像，包括各个重要的解剖结构、虚拟手术过程和手术痕迹，而且可以多方位观察，测量，剖面图；方便医护人员在同一界面进行三维真实影像和三维虚拟影像的比对，提高操作精度。

另一方面本方案的三维成像的牙科手术实时辅助系统提供了手术规划模块，手术前手术规划模块根据手术需求进行手术过程的模拟，根据多次的模拟手术过程，能使手术操作者进行该手术过程的多次训练，手术规划完成的痕迹会一同显示在AR眼镜中，如植入体，切割面等，可以帮助术中找到预先设计好的手术路径；手术过程中也可以在手术规划模块中进行模拟手术操作，便于医护人员及时了解判断手术状况，提高手术精度，手术过程中更容易找到病灶部位，更容易找到理想的植入位点或理想的切开切除角度方向，以指导实际的切除、植入或截取等临床操作。

进一步优化方案为，患者的三维医学影像数据包括：CT，CBCT或MRI。

进一步优化方案为，获得三维虚拟影像具体过程为：

基于手术需求和患者的三维医学影像数据，使用医学三维重建技术，根据各组织的类型和密度，对手术部位进行三维重建；

对手术部位不同组织进行区别颜色渲染；

将区别颜色渲染后的三维虚拟影像保存为基本三维格式文件。

进一步优化方案为，所述医学三维重建技术包括但不限于：虚拟内镜技术，容积漫游技术，表面阴影遮盖。

三维重建装置使用三维重建技术包括虚拟内镜技术(VE)，容积漫游技术(VRT)，表面阴影遮盖(SSD)，根据手术需求，组织的类型和密度进行三维重建，这些组织包括上下颌骨，牙，牙髓，上颌窦，下牙槽神经管，根据不同手术的需求，进行选择性的三维重建，通过颜色渲染区分不同组织，并保存为基本三维格式文件如.stl或.obj。

进一步优化方案为，手术规划模块包括模拟操作模块，模拟操作模块用于对三维虚拟影像进行模拟组织临床操作，模拟组织临床操作至少包括：切割、切除、植入或截取。手术规划模块使用三维建模软件(可以是牙科专业软件如3shape，exocad或工业软件如Materialise Magics，meshmixer)对已经重建完成的三维虚拟影像进行包括新建植入体(或内置植入体数据库)的虚拟植入，布尔运算，切割，位置变换，三维雕刻等虚拟的手术全流程，即在三维模型上通过三维建模技术进行手术并保留手术的过程或痕迹以指导实际的切除、植入或截取等临床操作，并导出种植规划为通用三维格式文件如.stl或.obj。

进一步优化方案为，患者的物理状态包括：患者手术部位及其相关部位的位置，外形，大小和距离。

利用摄像装置，红外(或紫外)装置，雷达扫描装置集成的动作捕捉系统，扫描患者位置，外形，大小，距离，即进行姿态评估(Pose Estimation)

进一步优化方案为，实现医学影像定位的方法为：

根据患者的物理状态信息和手术状态三维数据提取患者身上的特征点记录并学习；(通过算法SURF，ORB，FERN等提取患者身上的特征点记录并学习)

三维真实影像和三维虚拟影像都以患者的颌面部中心为原点建立坐标系；

通过AR眼镜或AR显示器，进行以下操作，利用相似度量算法和搜索算法来识别、对比三维真实影像中牙冠外形和三维虚拟影像中的牙冠外形，改变三维虚拟影像中的三维数据，使三维虚拟影像与三维真实影像进行匹配，实现虚拟医学影像的定位。

进一步优化方案为，动作捕捉系统包括影像装置和扫描装置；

固定安装的影像装置获取患者的静态三维真实影像，并传送给数据处理系统中的匹配定位模块，完成三维真实影像和三维虚拟影像的匹配；

扫描装置实施捕捉患者的动作，并传送给数据处理系统中的动作跟踪模块，通过运动跟踪算法计算出三维真实影像的坐标变化，然后同时对应改变三维虚拟影像的坐标。

进一步优化方案为，所述AR显示系统为AR眼镜或AR显示器。

这里影像装置先获取三维真实影像，操作者通过在AR显示系统上观测三维真实影像和三维虚拟影像，操作匹配定位模块进行三维真实影像和三维虚拟影像的匹配，最后再由扫描装置配合动作跟踪模块对三维真实影像进行捕捉和跟踪。

进一步优化方案为，所述三维建模软件包括但不限于：3shape、exocad、Materialise Magics和meshmixer。

利用位置固定的摄影装置，红外(或紫外)装置，雷达扫描装置集成的扫动作捕捉系统，检测及捕捉患者的运动，再配合运动跟踪算法实现精准的患者的运动捕捉和定位，然后计算出实际图像的坐标变化，并同样改变虚拟三维数据的坐标，将变化后的坐标传至AR眼镜或AR显示器，完成实时的动作捕捉及追踪。所以当患者改变颌面部位置或进行动作时，虚拟的三维医学影像能够实时做同样的运动，从而实现虚拟影像和实际影像的实时融合。

本发明与现有技术相比，具有如下的优点和有益效果：

1.本发明提出的一种基于增强现实三维成像的牙科手术实时辅助系统，通过医学影像系统、三维重建模块、手术规划模块、匹配定位模块、动作捕捉系统和AR显示系统在手术全过程中进行辅助，实时的三维显示和动态捕捉跟踪，当患者体位或组织运动时，比如摇头，张口等，三维虚拟影像也会实时改变位置，实现完全“贴附”的效果，并通过AR显示系统同时将三维真实影像和三维虚拟影像实时显示在同一界面，使得手术过程可以实现“透视”功能，手术过程中更容易找到病灶部位，更容易找到理想的植入位点或理想的切开切除角度方向；结合手术规划，在AR眼镜中同时也能显现出术前预设计的手术位点，切割平面，植入体位置，给实际手术提供指导。

2.本发明提出的一种基于增强现实三维成像的牙科手术实时辅助系统，强化了医学影像的能效，使医学影像不仅具有传统的诊断功能，而且具有手术实时辅助功能；结合术前的手术规划设计，通过AR实时显示能更好的在术中依照手术规划方案进行手术操作；增加手术精准度，牙科和颌面外科对精度的要求非常高，本发明提供的辅助系统相比于传统手术精度更高。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。

图1是基于增强现实三维成像的牙科手术实时辅助系统结构图；

图2是系统数据处理流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例1

如图1和图2所示，一种基于增强现实三维成像的牙科手术实时辅助系统，包括：医学影像系统、动作捕捉系统、数据处理系统和AR显示系统；所述数据处理系统包括：三维重建模块、手术规划模块、匹配定位模块和动作跟踪模块；

患者的三维医学影像数据包括：CT，CBCT或MRI。

获得三维虚拟影像具体过程为：

对手术部位不同组织进行区别颜色渲染；

所述医学三维重建技术包括但不限于：虚拟内镜技术，容积漫游技术，表面阴影遮盖。

患者的物理状态包括：患者手术部位及其相关部位的位置，外形，大小和距离。

实现医学影像定位的方法为：

根据患者的物理状态信息和手术状态三维数据提取患者身上的特征点记录并学习；

利用相似度量算法和搜索算法来识别、对比三维真实影像中牙冠外形和三维虚拟影像中的牙冠外形，改变三维虚拟影像中的三维数据，使三维虚拟影像与三维真实影像进行对位匹配，实现医学影像的定位。

所述动作捕捉系统包括影像装置和扫描装置；

所述AR显示系统为AR眼镜或AR显示器。

所述三维建模软件包括但不限于：3shape、exocad、Materialise Magics和meshmixer。

手术规划模块包括模拟操作模块，模拟操作模块用于对三维虚拟影像进行模拟组织临床操作，模拟组织临床操作至少包括：切割、切除、植入或截取。

实施例2

本例以牙科最常见的口腔种植手术作为例子阐述AR增强现实实时三维成像辅助下的口腔种植手术：

拍摄患者的CBCT，对CBCT中的牙，牙槽骨，下牙槽神经管，上颌窦腔进行三维重建，并进行不同组织的区别渲染；

手术规划模块使用3shape Implant Studio进行种植手术规划模拟，在数据库中选择成品的牙种植体三维模型，并将其以合适的位置，角度，深度放入三维重建的牙槽骨三维模型中，注意避开邻牙和神经管，达到最理想的种植位点。然后将三维重建的模型和种植手术规划的种植体模型分别再进行不同的颜色渲染并导出位通用三维格式.obj文件。

固定好扫动作捕捉系统，使期能拍摄到整个患者的头部，并在AR眼镜中良好成像，将扫动作捕捉系统得到的数据和三维重建及种植规划后的.obj文件一起在AR眼镜中显示。

将开口器放入患者口中，动作捕捉系统扫描获取牙冠信息，然后对比三维重建颌骨模型上的牙冠信息，完成三维虚拟影像和三维真实影像的医学影像定位匹配。

若匹配失败或无法识别牙冠，通过手动标记实际图像的牙冠和三维重建颌骨模型上的对应牙冠(即标记实际点11牙，三维数据上的11牙，作为一组；然后12牙，13牙……)标记3组以上，然后对系统通过手动匹配后，匹配定位模块再进行计算完成最佳匹配。

匹配定位模块再自动完成运动跟踪，显示装置将完成融合的三维真实影像和三维虚拟影像实时显示在同一界面。

医生带上AR眼镜，调节不同组织虚拟图像的透明度，使其能清楚看见实际图像组织的情况下，能看见内部的虚拟颌骨，虚拟下牙槽神经管，以及规划后的虚拟的牙种植体。

通过调节不同组织虚拟图像的颜色渲染，使其适应当下的光线切复合医生的视觉习惯。

医生带着AR眼镜，按照规划中虚拟植体所显示的位置，方向和深度的指导，通过神经管，上颌窦腔，虚拟影像进行安全距离的规避，从而的完成种植手术的一系列操作，包括切龈，定点，先锋钻定为，扩孔，骨皮质成形，种植体植入。

实施例3

本例以牙科最复杂的口腔种正颌术来阐述AR增强现实实时三维成像辅助下的口腔正颌手术。

拍摄患者的CBCT，对CBCT中的牙，牙槽骨，下牙槽神经管，上颌窦腔进行三维重建并进行不同组织的区别渲染；

正颌手术规划：使用工业三维建模软件Materialise Magics进行手术规划，首先排列牙列相对位置，使其达到临床理想的咬合状态，且符合较好的侧面审美标准，然后对比移前后对颌骨，避开重要血管神经，找到理想的截骨平面，使用切割工具截取然后移动前端颌骨至排列好的牙列位置上，然后将三维重建的模型和种植手术规划的种植体模型分别进行不同的颜色渲染并导出为基本三维格式.obj文件。

将开口器放入患者口中，扫动作捕捉系统获取牙冠信息，然后对比三维重建颌骨模型上的牙冠信息，完成三维虚拟影像和三维真实影像的医学影像定位匹配。

系统自动完成运动跟踪

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，包括：医学影像系统、动作捕捉系统、数据处理系统和AR显示系统；所述数据处理系统包括：三维重建模块、手术规划模块、匹配定位模块和动作跟踪模块；

AR显示系统同时将三维真实影像和三维虚拟影像实时显示在同一界面；

所述动作捕捉系统包括影像装置和扫描装置；

固定安装的影像装置获取患者的静态三维真实影像，并传送给数据处理系统中的匹配定位模块，完成三维真实影像和三维虚拟影像的匹配

扫描装置实施捕捉患者的动作，并传送给数据处理系统中的动作跟踪模块，通过运动跟踪算法计算出三维真实影像的坐标变化，然后同时对应改变三维虚拟影像的坐标；

所述手术规划模块包括模拟操作模块，模拟操作模块用于对三维虚拟影像进行模拟组织临床操作，模拟组织临床操作至少包括：切割、切除、植入或截取。

2.根据权利要求1所述的一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，患者的三维医学影像数据包括：CT，CBCT或MRI。

3.根据权利要求1所述的一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，获得三维虚拟影像具体过程为：

对手术部位不同组织进行区别颜色渲染；

4.根据权利要求3所述的一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，所述医学三维重建技术包括但不限于：虚拟内镜技术，容积漫游技术，表面阴影遮盖。

5.根据权利要求1所述的一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，患者的物理状态包括：患者手术部位及其相关部位的位置，外形，大小和距离。

6.根据权利要求1所述的一种基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，实现医学影像定位的方法为：

7.根据权利要求1所述的基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，所述AR显示系统为AR眼镜或AR显示器。

8.根据权利要求1所述的基于增强现实三维成像的牙科手术实时辅助系统，其特征在于，所述三维建模软件包括但不限于：3shape、exocad、Materialise Magics和meshmixer。