CN112972027A - 一种利用混合现实技术的正畸微种植体植入定位方法 - Google Patents

Abstract

本发明涉及一种利用混合现实技术的正畸微种植体植入定位方法，包括：S1，采集数据，建立包含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型；S2，在三维数字化牙颌模型上进行虚拟正畸微种植体植入设计，输出带有虚拟正畸微种植体位置设计信息及植入辅助标记的三维数字化牙颌模型；S3，将带有虚拟正畸微种植体的三维数字化牙颌模型导入混合现实头戴式显示器；S4，利用软件及光学跟踪设备，使三维虚拟影像与口内现实配准；S5，根据三维虚拟影像上的虚拟正畸微种植体定位真实微种植体的植入位点、方向及深度。本发明可辅助正畸微种植体植入定位，其方便直观、操作简便、定位准确，可降低技术敏感性，执行安全可靠，且利于医患沟通。

Description

一种利用混合现实技术的正畸微种植体植入定位方法

技术领域

本发明涉及正畸技术领域，尤其涉及一种利用混合现实技术的正畸微种植体植入定位方法。

背景技术

正畸是对牙齿、颌骨、颅面的畸形进行诊断分析，通过对畸形的颌骨或牙齿施加力的作用，最终达到平衡稳定、功能美观目标的治疗过程。支抗是正畸治疗中抵抗矫治力反作用力的结构，包括牙齿、牙弓、口唇肌肉或颅面骨骼，支抗的设计与控制对最终矫治效果至关重要。微型种植体支抗是一项口腔正畸治疗的新技术，即通过种植体对需要移动的牙齿、牙弓加力，其反作用力为颌骨，因此可有效解决支抗牙移位问题，并具有体积小、植入部位灵活、价格低廉、不依赖患者配合等诸多优点。

近年来，随着影像技术的进步，锥形束计算机体层摄影术(cone-beamcomputedtomography，以下简称CBCT)的应用使口腔牙颌面组织解剖测量更为精准，并利于直观观察牙根形态位置、牙槽骨骨量等信息，为临床诊断和治疗提供了重要支持，在正畸、种植领域均有广泛应用。

混合现实（mixed reality，MR）技术是近年来出现的一种新兴技术，可以将数字化信息与现实环境混合，从而产生同时包含了物理实体和虚拟信息的新型可视化环境，实现虚拟、现实无缝对接和信息实时交互，本质上是增强现实（augmented reality, AR）和虚拟现实（virtual reality, VR）的结合。与传统增强现实相比，混合现实可通过HoloLens空间站等头戴式设备，将虚拟信息叠加投射于现实场景，实现精确导航。

三维虚拟模型的显示可通过头戴式三维显示器（HMD）、原位透视融合显示系统等实现。

三维环境中的注册跟踪技术，即虚拟模型与现实场景的精准叠加、跟踪是混合现实技术应用于手术导航的核心。目前，临床上使用的注册方法可分为基于标志点的患者－影像注册方法和无需标记的患者-影像注册方法。前者可通过人工标志物等实现，后者则可通过三维表面匹配方法等实现。另外，还可利用交互手势，手动实现注册过程。

正畸微种植体植入术式虽较种植手术简单，但在实际临床植入过程中，常发生微种植体损伤邻牙牙周膜及牙根、微种植体穿入上颌窦及微种植体周围炎等并发症，导致种植体松动脱落、支抗控制失败，延长治疗时间、增加患者痛苦。同时，正畸微种植体的初期稳定性也与皮质骨厚度、松质骨密度等密切相关，而临床中可通过种植钉与骨面成角的变化来增加其在皮质骨内长度，提升微种植体成功率。Deguchi等通过三维CT的研究发现：微种植体的植入部位是影响微种植体稳定性的重要因素。因此，微种植体植入位置、角度的准确设计和精确执行对微种植体支抗成功率至关重要。

目前，临床多采用直视方式植入正畸微种植体，以上颌后牙区为例，即肉眼多角度观察后利用探针进行定位，从两邻牙牙根之间、膜龈联合处或其合方，参考文献所述标准，在约距离牙槽嵴顶5-6mm的位置、与牙体长轴成30-45°角植入。在实际操作中，但由于后牙区光线不足、软组织干扰、操作空间有限，直视植入误差较大，操作困难，易引起相关并发症，对低年资医师有较大挑战。整体而言，对正畸微种植体定位植入研究仍多停留在二维基础上，测量误差大、准确性低，技术敏感性高。

正畸微种植体体积较小，其植入手柄装置较传统种植体手机简易、微型，应用于传统种植体领域的混合现实导航装置，如光学跟踪定位仪器（Polaris Vicra, NDI Inc.，加拿大）等不易直接迁移使用。且正畸微种植体植入部位灵活多变，其植入操作较传统种植体植入技术亦存在较大差异。

发明内容

本发明为了解决上述技术问题提供一种利用混合现实技术的正畸微种植体植入定位方法。

本发明通过下述技术方案实现：

一种利用混合现实技术的正畸微种植体植入定位方法，通过对需要植入微种植体的正畸患者进行CBCT扫描及口扫，实现患者上下颌骨及牙齿、牙根等数据的三维数字重建与整合；在此基础上利用软件设计微种植体类型规格、植入位点、植入方向及深度，保证植入的微种植体位于近远中向、垂直向安全区内，使其在具有良好初期稳定性的同时，避免邻牙牙根、牙周膜或上颌窦的损伤或种植体周围炎的发生；同时，利用混合现实技术对微种植体临床植入进行三维方向的辅助定位，保障植入过程的位点、角度、深度相对准确，即保障定位设计的可靠执行。

与现有技术相比，本发明具有以下有益效果：

1，本发明可辅助正畸微种植体植入定位，其定位设计准确、安全，执行可靠；

2，本发明操作简便，降低技术敏感性：利用混合现实技术，三维虚拟数字影像可直接重叠在患者口内同样位置，并伴随显示虚拟辅助延长线、虚拟深度定位等植入辅助标记，给医师提供微种植体植入位点、方向、深度等信息，即可按术前设计角度和位点直接植入微种植体，无需额外目测定位；同时，虚拟辅助延长线有助于医师进一步明确植入角度，其上带有的虚拟深度定位则有助于医师准确判断微种植体植入深度，降低了微种植体植入操作的技术敏感性，使低年资医师亦可准确植入微种植体，避免因定位误差、角度误差、深度误差等导致微种植体接触牙根、上颌窦引起并发症，或导致微种植体松动脱落、支抗丧失；

3，与三维导板引导相比，本发明省时省力，且可避免软组织干扰等问题：有研究表明，通过制作包含固位和引导隧道的微种植体植入导板，可使正畸微种植体支抗准确地达到最佳植入部位，从而有效降低微种植体支抗的失败率；但是，三维导板设计制作复杂、耗时费力，且存在固位不良引起导板移位、患者张口度不佳、软组织增生干扰等问题，影响其可靠性和可操作性；而本发明利用混合现实技术进行定位辅助引导，则避免了上述问题，还可直观参考软组织轮廓形态，并减少了实验室和技工操作的时间财力消耗及椅旁操作时间。

4，方便直观：本发明实现了正畸微种植体设计植入位点与现实中患者口内情况直接准确重叠，且利用注册跟踪技术，虚拟模型的位置和角度可根据病人体位和头戴设备的移动而移动，避免了多次手动重叠的繁琐与误差；另外，混合现实技术可同时提供三维虚拟影像和虚拟延长线、虚拟深度标记等二维辅助信息，便于术者准确直观观察及操作；同时，如HoloLens等头戴式设备的使用，使术者不必参考额外的电脑平面，避免了不停切换视野所造成的手眼协同问题。

5，利于医患沟通：正畸微种植体虽相对微创，但仍是一种侵入性操作，可能刺激种植体周围组织出现炎症、疼痛反应，且存在出现一定并发症的风险，故患者易产生紧张、焦虑情绪，对微种植体支抗植入治疗出现抗拒心理；本发明通过计算机数字化设计微种植体植入位点、方向、深度并利用混合现实技术显示，可使患者直观了解微种植体植入方案，利于进行术前谈话、医患沟通。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例一

本实施例公开的利用混合现实技术的正畸微种植体植入定位方法，包括以下步骤：

1，采集数据，建立三维数字化牙颌模型。

1.1使用口内扫描仪对患者口内进行扫描，利用软件（如3Shape TRIOS，Copenhagen，Denmark）前期处理，自动除噪、填补空洞，上下颌咬合点拟合匹配，转化为与患者真实牙列1:1关系且带有软组织形态的三维数字化牙颌模型；

1.2对患者全牙列及上下颌骨进行CBCT扫描，获取上下颌骨及牙根等CBCT影像资料；

1.3将步骤1.2中通过CBCT三维扫描获得的数据以DICOM标准格式导入步骤1.1中所获得的三维数字化牙颌模型进行整合，用计算机软件（如Mimics 7.10 医学图像重建软件）行三维重建，生成包含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型。

，利用软件自动测量分析，结合临床需要，进行正畸微种植体植入设计。具体包括以下步骤：

2.1，将步骤1.3中获得的包含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型三维重建数据读入计算机软件（如Galaxis, Sirona, Bensheim,Germany或OnDemand 3D; Cybermed,Seoul, Korea）测量分析，根据患者牙槽骨、牙根、上颌窦及软组织情况，以上颌后牙区微种植体植入为例，按距离牙槽嵴顶5mm～7 mm、与牙长轴或骨面呈30°角、近远中向位于安全区（正畸微种植体支抗植入的近远中向安全区应大于微种植体直径以及双侧牙周膜宽度和微种植体周围骨量之和）的原则，选择合适规格正畸微种植体，在此三维数字化牙颌模型上进行虚拟正畸微种植体植入设计；

2.2，临床医生根据实际情况，可对带有虚拟正畸微种植体设计的三维数字化牙颌模型进行全方位旋转观察，检查确认软件设计的微种植体植入位点、方向、深度并高亮显示，同时生成植入方向辅助延长线、植入深度辅助标记等二维参考信息；

2.3 ，输出带有正畸微种植体植入位置、深度、角度等高亮显示规划信息的三维数字化牙颌模型及相应二维虚拟延长线、虚拟深度辅助标记等参考信息。

，将带有正畸微种植体植入位置、深度、角度等规划信息的数字化牙颌模型导入混合现实头戴式显示器。

本实施例中混合现实头戴式显示器选用HoloLens。当然也可选用其他类型的混合现实头戴式显示器，比如索尼、Virtual Research、Cybermind、SiliconMicroDisplay、爱视代、爱普生、卡尔蔡司等公司生产的头显设备。

Hololens硬件：

微软Hololens是一款基于Windows10的增强现实头戴设备（HMD），也是一款完全独立的头戴式计算机。它具有蓝牙和Wi-Fi连接功能，并由全息处理单元HPU供电，有2GB RAM和64GB固态存储，还配备了一个惯性测量单元、四个环境感知摄像机、混合现实捕捉、四个麦克风、一个环境光传感器和两个能够自动校准瞳孔距离的高清显示器。

其中，3D摄像机和环境感应摄像头主要用于识别用户的手势、提取识别物中的特征信息以及对周围的空间环境进行映射并将这些信息传输给全息处理器（HPU）确定自身的位置。惯性测量单元则可实时确定使用者头部的加速度和角速度。最终，HPU 结合惯性测量单元与摄像头提供的信息时时评估用户姿态，并将图像输出给全息显示器，最终将虚拟模型投射在空间环境中。

Hololens软件：

本实施例使用开发版Hololens，操作系统为Windows10。

软件主要功能为导入并在Hololens中显示数字化牙颌模型、提供三维注册方法用于将虚拟模型和真实的器官叠加显示。

4、利用软件（如MR、AR软件）及光学跟踪设备，使用跟踪注册技术进行注册与校准，使虚拟影像和口内现实准确对应。

目前常用的注册技术包括基于识别图的注册技术、无标记注册技术、手动注册技术等。

本实施例采用基于点云模型的无标记注册技术进行注册与校准。基于点云模型的注册技术是一种基于模型的无标记注册技术，它不需要在真实环境中放置标志物，也避免了基于自然特征的无标记技术中在缺少纹理环境中跟踪注册失败的问题。通过摄像机、RGB-D相机等方式在患者牙列实体拾取或恢复重建环境点云，同时在带有微种植体植入位点、角度参考信息的虚拟数字化牙颌模型上提取模型点云，然后将两组点云进行配准，计算出最优的空间变化矩阵。HoloLens混合现实系统可利用如最近迭代点（ICP）算法，对环境点云和模型点云进行配准，实时获取相机位姿矩阵，完成跟踪注册。具体而言，此技术还可分为粗匹配和精确配准两阶段。

在另一个实施例中也可采用基于交互手势的手动注册技术。Hololens所具有的3D摄像机和环境感应摄像头可识别医师的手势。注册时，Hololens的视野范围内识别特定手势，与虚拟模型进行交互，移动虚拟模型在世界坐标系下的位置使其与真实模型对齐，从而确定虚拟模型坐标系到摄像机坐标系的转换矩阵，实现三维虚拟模型和真实模型的叠加显示。

，根据三维数字化牙颌模型上植入的虚拟正畸微种植体定位，三维方向确定植入位点、方向，完成种植操作。

术者佩戴Hololens后，经上一步注册过程，使带有虚拟正畸微种植体植入位点、角度、深度参考信息的三维数字化牙颌模型与患者口内实体牙列、颌骨组织准确重叠，且病人体位或头戴式显示器的移动不会影响坐标系的初始对应关系。

作为正畸微种植体植入引导，术者可根据三维数字化牙颌模型的三维虚拟影像中的虚拟正畸微种植体位点直接定位真实微种植体植入位点，并根据模型中的虚拟设计植入方向、辅助延长线方向手动比对植入角度，确定植入位点、方向准确，并借助虚拟深度辅助标记确定植入深度，在完善术前准备的基础上，完成种植操作。

实施例二

本实施例使用基于识别图的注册技术，实现虚拟影像和口内现实准确对应。本实施例的正畸微种植体植入定位方法具体包括以下步骤：

1，采集数据，建立三维数字化牙颌模型。

，识别图的安置及使用。

1.11，患者初次就诊时，用硅橡胶制作患者理想颌位咬合关系咬合板，咬合板设计具有足够固位力，保证术中不会发生移位，并不干扰手术操作；

1.12，在咬合板上固定连接识别图标志物，此标志物可被混合现实头戴式设备识别为基准点。调整标志物位置，使其既便于为混合现实环境感应摄像头所采集，又不干扰临床操作。

1.13，患者佩戴带有标记物的咬合板（标志物复合体）进行CBCT扫描（如GE64 排VCT，通用公司，美国）及口内扫描（如3Shape TRIOS，Copenhagen，Denmark），获取带有标志物复合体、上下颌骨的CBCT数据资料及口内三维牙颌模型影像资料，将三者导入图形工作站进行三维重建及拟合。

微种植体植入术前，患者需再次佩戴带有识别图的咬合板，识别图代表待注册区域，借助头戴式设备及软件（如AR Toolkit及Vuforia插件）完成跟踪注册过程，即使带有微种植体植入位点、角度、深度参考信息的虚拟数字化牙颌模型与患者口内实体牙列、颌骨组织准确重叠，且病人体位或头戴式显示器的移动不会影响坐标系的初始对应关系。

，CT扫描与三维重建。

1.21使用口内扫描仪对患者口内进行扫描，利用软件（如3Shape TRIOS，Copenhagen，Denmark）前期处理，自动除噪、填补空洞，上下颌咬合点拟合匹配，转化为与患者真实牙列1:1关系且带有软组织形态的三维数字化牙颌模型；

1.22对患者全牙列及上下颌骨进行CBCT扫描，获取上下颌骨及牙根等CBCT影像资料；

1.23将步骤1.22中通过CBCT三维扫描获得的数据以DICOM标准格式导入步骤1.21中所获得的三维数字化牙颌模型进行整合，用计算机软件（如Mimics 7.10 医学图像重建软件）行三维重建，生成包含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型。

，利用软件自动测量分析，结合临床需要，进行正畸微种植体植入设计，同时生成植入方向辅助延长线、植入深度辅助标记等二维参考信息；

3，将带有正畸微种植体植入位置、深度、角度等规划信息及二维参考信息的数字化牙颌模型导入混合现实头戴式显示器。

4、利用软件及光学跟踪设备，使用基于识别图的注册技术进行注册与校准，使虚拟影像和口内现实准确对应。

如使用HoloLens作为混合现实头戴式显示器，由通过基于识别图的识别技术完成三维注册过程，此技术可通过Unity软件及Vuforia插件实现。

术前，患者重新佩戴好带有识别图的咬合板，识别图代表待注册区域。利用SLAM算法，Hololens环境感应摄像头拍摄场景，采集识别图上特征点，识别世界坐标信息，通过点对之间匹配关系，计算摄像机与真实场景之间的六自由度位置姿度信息，获取世界坐标系、HoloLens摄像机坐标系、虚拟模型坐标系以及二维显示器坐标系之间的矩阵转换关系，使带有微种植体植入位点、角度、深度等参考信息的虚拟数字化牙颌模型与患者口内实体牙列、颌骨组织准确重叠，且病人体位或头戴式显示器的移动不会影响坐标系的初始对应关系。

5、根据三维数字化牙颌模型上植入的虚拟正畸微种植体定位及辅助信息，三维方向确定植入位点、方向、深度，完成种植操作。

术者佩戴Hololens后，经上一步注册过程，使带有虚拟正畸微种植体植入位点、角度、深度等参考信息的三维数字化牙颌模型与患者口内实体牙列、颌骨组织准确重叠，且病人体位或头戴式显示器的移动不会影响坐标系的初始对应关系。

作为正畸微种植体植入引导，术者可根据三维数字化牙颌模型的三维虚拟影像中的虚拟正畸微种植体位点直接定位真实微种植体植入位点，并根据模型中的虚拟设计植入方向、辅助延长线方向手动比对植入角度，确定植入位点、方向准确，并借助虚拟深度辅助标记确定植入深度，在完善术前准备的基础上，完成种植操作。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种利用混合现实技术的正畸微种植体植入定位方法，其特征在于：包括以下步骤：

S1，采集数据，建立包含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型；

S2，在S1建立的三维数字化牙颌模型上进行虚拟正畸微种植体植入设计，输出带有虚拟正畸微种植体位置设计信息及植入辅助标记的三维数字化牙颌模型；

S3，将带有虚拟正畸微种植体位置设计信息及植入辅助标记的三维数字化牙颌模型导入混合现实头戴式显示器；

S4，利用软件及光学跟踪设备，使用跟踪注册技术，使三维数字化牙颌模型的三维虚拟影像与口内现实配准；

S5，根据三维虚拟影像上的虚拟正畸微种植体位置设计信息及植入辅助标记定位真实微种植体的植入位点、方向及深度。

2.根据权利要求1所述的利用混合现实技术的正畸微种植体植入定位方法，其特征在于：所述S1通过锥形束CT、口内三维扫描获得牙根、牙冠及咬合信息，结合工程软件建立含牙根信息、上下颌骨信息、软组织信息的三维数字化牙颌模型。

3.根据权利要求1所述的利用混合现实技术的正畸微种植体植入定位方法，其特征在于：所述S4中使用的跟踪注册技术为基于识别图标志物的跟踪注册技术；

所述S4之前还包括识别图安置，所述识别图安置包括以下步骤：

a，用硅橡胶制作患者理想颌位咬合关系咬合板；

b，在咬合板上固定连接识别图标志物，所述识别图标志物可被软件识别；

c，患者佩戴带有识别图标志物的咬合板，进行常规牙列口扫，将带有所述识别图标志物的咬合板信息一并采集；

所述S4包括：患者佩戴好带有识别图标志物的咬合板，识别图标志物代表待注册区域；混合现实头戴式显示器感应摄像头拍摄场景，采集识别图标志物上特征点，识别世界坐标信息，通过点对之间匹配关系，计算摄像机与真实场景之间的六自由度位置姿度信息，获取世界坐标系、摄像机坐标系、虚拟模型坐标系以及二维显示器坐标系之间的矩阵转换关系，使三维数字化牙颌模型的三维虚拟影像与患者口内实体牙列重叠。

4.根据权利要求1所述的利用混合现实技术的正畸微种植体植入定位方法，其特征在于：所述S4中使用的跟踪注册技术为基于点云模型的无标记注册技术。

5.根据权利要求1所述的利用混合现实技术的正畸微种植体植入定位方法，其特征在于：所述S4中使用的跟踪注册技术为基于交互手势的手动注册技术。

6.根据权利要求1所述的利用混合现实技术的正畸微种植体植入定位方法，其特征在于：使用HoloLens作为混合现实头戴式显示器。