CN112826615B - 正畸治疗中基于混合现实技术的透视术区的显示方法 - Google Patents
正畸治疗中基于混合现实技术的透视术区的显示方法 Download PDFInfo
- Publication number
- CN112826615B CN112826615B CN202110314015.5A CN202110314015A CN112826615B CN 112826615 B CN112826615 B CN 112826615B CN 202110314015 A CN202110314015 A CN 202110314015A CN 112826615 B CN112826615 B CN 112826615B
- Authority
- CN
- China
- Prior art keywords
- image
- orthodontic
- patient
- mixed reality
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005516 engineering process Methods 0.000 title claims abstract description 31
- 238000002594 fluoroscopy Methods 0.000 title claims abstract description 21
- 210000000214 mouth Anatomy 0.000 claims abstract description 58
- 230000036346 tooth eruption Effects 0.000 claims abstract description 50
- 210000004513 dentition Anatomy 0.000 claims abstract description 47
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000003550 marker Substances 0.000 claims description 36
- 238000002513 implantation Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000007408 cone-beam computed tomography Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 23
- 239000011521 glass Substances 0.000 claims description 15
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000005484 gravity Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 210000004872 soft tissue Anatomy 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000000576 coating method Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 239000011248 coating agent Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 2
- 238000010422 painting Methods 0.000 claims 1
- 210000000332 tooth crown Anatomy 0.000 claims 1
- 230000008569 process Effects 0.000 description 24
- 230000000694 effects Effects 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 11
- 210000004746 tooth root Anatomy 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 4
- 229910001361 White metal Inorganic materials 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000007943 implant Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 210000001847 jaw Anatomy 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 239000010969 white metal Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009500 colour coating Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000004086 maxillary sinus Anatomy 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000000049 pigment Substances 0.000 description 2
- 229920003023 plastic Polymers 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 241000962283 Turdus iliacus Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003054 facial bone Anatomy 0.000 description 1
- 238000011049 filling Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- RYZCLUQMCYZBJQ-UHFFFAOYSA-H lead(2+);dicarbonate;dihydroxide Chemical compound [OH-].[OH-].[Pb+2].[Pb+2].[Pb+2].[O-]C([O-])=O.[O-]C([O-])=O RYZCLUQMCYZBJQ-UHFFFAOYSA-H 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000276 neural tube Anatomy 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011896 sensitive detection Methods 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
- A61C7/002—Orthodontic computer assisted systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
- A61C19/00—Dental auxiliary appliances
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明提供一种正畸治疗中基于混合现实技术的透视术区的显示方法，辅助医生实时观测肉眼看不见的解剖信息及毗邻组织关系，避免在手术中仅依赖经验判断对患者术区进行操作。更具体的，本发明所涉及的正畸治疗中基于混合现实技术的透视术区的显示方法包括：构建患者口腔牙列的虚拟图像的图像构建步骤；实时采集并定位追踪患者术区牙列图像的定位追踪步骤；将所述虚拟图像与实时采集的所述患者术区牙列真实图像进行实时配准的图像配准步骤；以及，将在实时采集的真实图像中不可见的所述虚拟图像的至少一部分融合显示在实时采集的所述患者术区牙列真实图像上的混合现实步骤。
Description
技术领域
本发明涉及计算机视觉和医学图像处理技术领域，具体地，涉及一种正畸治疗中基于混合现实技术的透视术区的显示方法,更具体地，涉及一种正畸治疗中基于混合现实技术的正畸微螺钉植入导航显示方法。
背景技术
正畸治疗是通过各种矫正装置调整面部骨骼、牙齿之间的协调性以矫正牙齿咬合错位畸形的科学。正畸治疗过程中，医生需要使用辅助装置提供施力的固定源，帮忙拉动牙齿移动。微螺钉，又名支抗钉，是由钛合金或不锈钢制作的特殊微小骨钉。正畸医生将其植入患者骨内，可提供稳定可靠的绝对固定源，且具有不依赖患者配和，体积小巧，生物相容性好等优势，因而在临床中广泛使用。
微螺钉植入属于小型外科手术，存在损伤牙根的风险。然而目前医生往往只能根据术前 CBCT 图像的阅读和认识来进行操作， 无法实时地看到术中埋藏在下颌骨内组织结构和毗邻关系，如牙根位置，数目和形态，下齿槽神经血管束的走行等。无经验者稍有不慎就有可能在植入微螺钉时对牙根造成不可复性的损伤。有经验者也有可能会判断或操作失误，因而增加了手术的风险。
目前，医生采用辅助定位法如结合 X 射线片判断植入部位两牙根之间的距离，并通过在口内放置金属丝定位装置引导植入。然而，二维影像只能观测到一个平面，并不能精确定位。采用术前牙颌锥形束影像设计三维导板引导正畸微螺钉植入近年来较为流行，但导板的结构相对复杂，当微螺钉需要植入于牙列末端狭小空间（如第一第二磨牙之间，腭侧牙槽间隔等部位），这时候实体的导板将侵占本就十分紧张的手术空间，妨碍微螺钉的顺利植入，操作不便。另外，实体导板的设计和加工增加了时间成本和材料消耗。
混合现实技术（AR：Augmented Reality）将计算机生成的虚拟物体或场景实时准确叠加并显示到真实场景中，以增强使用者对真实世界的观察。混合现实技术相比传统手术导航具有直观、沉浸感强、医生手眼一致等优点。将混合现实技术应用于正畸医疗方面，有助于正畸医疗方式向着个体化、精确化、微创化发展，对口腔医疗方式有显著地积极促进作用，而目前国内外尚未见混合现实技术在口腔正畸领域的应用。
现有技术文献
专利文献1：中国专利CN 109785374 A。
发明内容
发明所要解决的技术问题
本发明从临床实际需求出发，并具体以正畸微螺钉植入导航为例，提供一种正畸治疗中基于混合现实技术的透视术区的显示方法，以解决：术前虚拟图像的构建，包括例如重要解剖结构的分割问题；术中虚-实图像配准；混合现实中的多空间转化等问题。实现将患者牙根、神经管、上颌窦信息虚拟叠加至医务人员视野中，医务人员利用能够在视野范围内同时获取真实环境图像与所构建的虚拟图像的混合现实设备产生实时“透视术区”的效果，使手术路径清晰，缩短手术时间, 避免损伤牙根, 降低初学者或基层医院医生在进行微创性正畸手术时的难度和潜在风险。
解决问题所采取的技术方案
为解决上述技术问题，本发明提供了一种正畸治疗中基于混合现实技术的透视术区的显示方法，其包括以下步骤：步骤S1，建立患者手术区域的虚拟影像；步骤S2，在手术区域选取定位标记；步骤S3，获取患者三维口腔扫描图像；步骤S4，构建带托槽的虚拟图像；步骤S5，实时采集术区牙列图像；步骤S6，图像配准，求解配准点间的最优变换；步骤S7，虚拟图像和真实术区图像在混合现实设备视窗中融合显示。
外科导航手术中往往通过光学定位系统进行定位，本发明基于不共面的正畸托槽及外周彩色增强标记物做术中真实图像的实时定位追踪。由于光学定位相机与所跟踪的物体间具有各项异性，定位设备自身无法克服定位误差，空间定位误差会累积到手术导航配准中，导致导航系统误差加大。本发明通过Yolo神经网络算法检测带有彩色增强标记物的特定托槽，计算3个或以上不公面的托槽的坐标信息，以确定患者术区牙列真实图像的空间坐标系。
本发明利用虚拟图像和术区同时存在的正畸托槽信息进行点对配准，将虚拟和实现图像融合。基于开源矩阵运算Eigen库，通过最小二乘估计定理实现图像配准。手术前，获取带托槽数据的牙列信息；手术过程中，患者佩戴开口器，使术区牙列尽可能暴露于摄像机前。首先在患者牙齿区域，使用正畸托槽作为定位，选取单颌牙列（上颌或下颌）中3个或以上的正畸托槽，构成不共面的多个配准点。在所述正畸托槽周围彩色增强标记物的辅助下，双目立体摄像机进行术区真实图像的采集，确定所选取的多个配准点的空间坐标。通过配准点工具在牙列模型上按照相同顺序提取相同位置的配准点在虚拟的三维数字化模型空间下的坐标。采用最小二乘估计法，计算两组坐标之间的配准变换矩阵，求解配准点间最优变换。首先分别计算两个点云的质心，然后计算各点相对于质心的位移向量，进行SVD分解，然后计算旋转矩阵和点云间的位移，从而获得二者之间的配准变换矩阵，实现虚拟配准点到实际配准点的配准，并对虚拟信息模型进行图像叠加，最终实现虚拟和现实图像的配准。整个配准过程是自动，实时执行的，配准结果显示在医生所使用的混合现实设备中。
在上述技术方案中，本发明还提供基于标志符控制的分水岭算法实现CBCT图像的牙列自动分割，包括牙冠和牙根信息；基于Yolo网络检测算法识别正畸托槽以及托槽外围彩色增强标记物进行术区牙列的实时定位与追踪，以及虚拟图像和现实图像的实时配准；基于可以使现实图像和虚拟图像同时显示在使用者的视野范围内的混合现实设备作为显示设备，例如，基于 HoloLens眼镜作为混合现实设备。相比于固定放置、体积较大的混合现实设备，头戴式HoloLens眼镜具有灵活、轻便等优势适合口腔临床的操作特点，便于临床开展使用。
本发明的范围仅由后续权利要求书所限定，在任何程度上均不受发明内容章节的陈述所限。
发明效果
本发明通过混合现实设备将虚拟牙列模型与术中患者口腔混合叠加与术者视窗中，提供了一种不依赖于经验判断的，高效安全的微创性口腔正畸手术的透视显示方法。
附图说明
图1为本发明正畸手术中基于混合现实的显示方法的操作流程图；
图2为本发明在术区选取配准点的操作流程图；
图3为本发明配准点的选取流程图；
图4为本发明常用牙齿矫正用正畸托槽的结构；
图5（a）~图5（h）为本发明改进的牙齿矫正用正畸托槽的结构示例；
图6为本发明Yolo算法检测网络结构图；
图7（a）~图7（c）为本发明采用多点配准时的原理图；
图8为本发明混合现实设备标定相关坐标系的转化；
图9为本发明混合现实相关坐标系的转化；
图10为本发明术中混合现实显示的透视效果图。
具体实施方式
本发明基于混合现实技术，为医生提供一种能够在口腔手术过程中透视术区的显示方法。具体以在正畸植入手术中为医生实现患者口腔术区牙根结构的透视显示为例，辅助医生完成正畸微螺钉的植入导航手术。在术前，本发明基于CBCT图像和三维口腔扫描数据，构建患者口腔牙列虚拟图像；在术中，通过双目相机实时定位追踪患者术区牙列图像；将所述虚拟图像与实时采集的所述患者术区牙列图像实时配准；并将所述虚拟图像和实时采集的所述患者术区牙列图像融合结果显示在混合现实设备中，使得医生能够获取隐藏在颌骨内肉眼不可见的牙根信息。例如，医生可以佩戴HoloLens全息眼镜等能够同时在使用者眼镜视窗中显示现实场景与虚拟图像的设备，或能够在现实场景中的指定位置显示虚拟图像或虚拟模型的设备作为混合现实设备，使得初学者也能透视术区解剖结构，避免盲操作，并且有效地规避了有经验的医生可能发生的误判。
下面参考附图，对本发明的基于混合现实的正畸微螺钉植入导航方法进行说明。参考附图1，本发明的基于混合现实的微螺钉植入导航方法包括以下步骤：
在步骤S1中，本发明首先需要获取正畸患者的手术区域牙齿虚拟影像。通常情况下可以直接采用临床医疗装置，如医院常用的计算机X射线断层摄影机等，拍摄患者手术区域的牙齿的锥形束计算机X射线体层摄影图像(Cone Beam Computed Tomography, 以下简称CBCT图像)，针对获取的CBCT图像进行正畸患者牙列数据的分割。
本发明采用标记控制的分水岭算法进行图像中牙列的分割和三维建模。具体来说，由于牙齿密度大，在CBCT图像中呈高强度阻射影，牙齿与周围组织，例如骨松质和空气，在边界处阻射强度明显下降。利用该特点采用高斯滤波构造梯度图像以增强边界从而获得正畸微螺钉植入区域的虚拟影像。进而基于标志符控制的分水岭算法实现CBCT图像中三维牙列的分割，建立牙列的三维虚拟模型。提取牙列.stl表面数据并形成点云格式文件。
在现有的将虚拟影像与现实术区图像混合显示的手术中，例如基于CT图像、MRI图像（Magnetic Resonance Imaging，磁共振图像）的颅脑、脊柱手术导航手术中，通常需要在人体表面放置额外的标记物，比如在患者体表粘贴标记物或在患者骨组织中植入带有标记的装置，以获得精准的虚拟与现实空间的图像配准。而植入标记物的流程引入了常规手术操作中额外的繁复操作，同时可能为患者带来常规手术历程中额外的痛苦。
在口腔医疗方面，背景技术现有专利文献1中公开了一种牙科增强现实手术导航的自动实时无标记图像配准方法，其具体公开了一种牙科医疗中通过不设定额外的标记物来进行虚拟图像与现实术区图像配准的方法。该发明理论上在不依赖额外引入的人工标记的情况下就能将三维模型与立体图像进行匹配，直接实现虚拟现实图像融合。然而，在手术过程中，正畸患者会无意识地或在医生要求下有意识地进行头部位置变动，同时，在手术过程中，术区组织也会随着手术的进行发生移动等，因此在实际使用中，无标记的虚实配准方法的精度不足，不能满足临床操作及保障治疗的精度。
基于上述问题，在步骤S2中，本发明利用正畸患者口内已粘接的正畸托槽进行虚拟图像和现实场景的配准，在无需引入额外标记物的基础上，保障了配准的准确性。具体来说，本发明在对患者手术区域拍摄完CBCT图像后，在步骤S21中，医务人员需要在正畸患者手术区域粘贴用于矫正的正畸托槽。在步骤S22中，医务人员依据正畸托槽的选取原则，在粘贴好的正畸托槽中选取多个不共面的正畸托槽作为图像配准用标记物，正畸托槽所在的点称为配准点。针对一个微螺钉植入点，本发明选取4个配准点组成配准点组。但是，本发明的选取方式仅为优选的示例性方案，在实际使用过程中，医务人员仅需要选取至少3个或3个以上不共面的正畸托槽作为图像配准用标记物即可。在步骤S23中，医务人员可以将所选取的作为标记物的正畸托槽进行标示。
现在参照附图3对本发明对于配准点或配准点组的选取进行说明，医务人员在配准点选取时需要遵循以下选取原则：
首先，所选取的配准点组要围绕目标点分布。目标点为医生在手术过程中所选中的患者术区微螺钉植入的操作位置。通常情况下，在手术开始之前，医务人员会针对特定患者预先确定牙齿矫正的阶段性计划，即预先设定的牙齿矫正方案。例如，针对固定的矫正方案，确定当前阶段牙齿正畸所需要植入的各个微螺钉在患者手术区域中的位置，微螺钉的植入位置称为目标点。针对一个目标点，尽量以目标点为中心选取各向分布均匀的不共面的4个配准点作为一个实际应用的配准点组，以便于减小图像配准过程中的误差。
其次，所选取的配准点组的分布范围要尽量大。在围绕一个目标点的一定手术区域中，在各向分布均匀的情况下，尽量选取分布范围较大的配准点的组合作为实际应用的配准点组。优选地，将目标点作为配准点组中4个配准点所组成的空间立体几何图形的重心或近似重心。优选地，将目标点作为配准点组中4个配准点所组成的空间立体几何图形的几何中心。
最后，所选取的配准点组中的配准点不共面。通常情况下，所选取的配准点组中的4个配准点要求不共面，但是，如果所针对的目标点是配准点组的几何中心，则要求配准点组中的4个配准点尽量不共面即可。
通常情况下，医务人员可以人为的依据经验，结合上述选取原则进行针对某一目标点的配准点组的选取，也可以借助于计算机等辅助计算装置支援配准点组的选取。
具体的，在一种实施方式中，医务人员通过口腔扫描装置获取粘贴好的各个正畸托槽的空间位置信息
（
，
，
），并将此信息传输到辅助计算装置。辅助计算装置在口腔扫描模型的基础上在口腔中对称建系，并且在显示部件中显示建系后的口腔扫描模型。辅助计算装置还具备输入部件，例如鼠标、键盘或触摸屏等。医务人员通过输入部件将预先设定的牙齿矫正方案中选定的微螺钉植入点作为目标点输入辅助计算装置。辅助计算装置在口腔空间坐标系中将目标点的位置表示出来显示在显示部件，目标点位置信息为B（x，y，z）。对于本文的目标点位置信息可以选取恰当地微螺钉植入部位，对于本文的配准点的位置信息可以选取粘贴好后的托槽的几何中心或重心在空间坐标系中的位置信息，或者也可以选取微螺钉恰当植入后牙龈表面的创口点的位置信息以及粘贴好的托槽上的某一特定点的位置信息，本文选取方案仅为示例性，不做具体限定。
在一种实施方式中，针对一个目标点，医务人员通过输入部件人为的选取显示部件上的4个点作为配准点，组成配准点组，后续混合现实的过程中始终以这4个点作为该目标点的配准点组进行配准。
在另一种实施方式中，针对一个目标点，医务人员预先将上述配准点组的选取原则作为设定条件输入辅助计算装置中，在选取时，医务人员仅通过输入部件选取目标点的位置B（x，y，z），由辅助计算装置提供作为恰当的配准点组选取方案。具体的，辅助计算装置例如在确定位置B（x，y，z）后，根据预先设定的距离d和D来进行数个配准点组的评价。距离d为目标点位置与配准点组中各个配准点位置之间的距离，距离D为配准点组的重心位置与目标点位置之间的距离。对于d和D的具体数值合理即可，例如可以设定为：d取自区间[0，2.5]，D取自区间[0，1]，单位均为厘米。
在另一种实施方案中，由于一个矫正方案中，同一阶段可能包含数个需要植入的微螺钉，即包含数个目标点。医务人员为提高植入效率，希望能够不间断的对数枚微螺钉进行植入操作，因此就需要针对数个目标点同时选取配准点组，即，要求以一个矫正方案的某一阶段中患者口腔内手术区域的全部植入位置为目标点组，获取以针对此目标点组中的各个目标点的配准点组为元素的配准点组集合
。此时，医务人员需要借助于计算机等辅助计算装置支援配准点组的选取。在相邻两个目标点的配准点组的选取过程中，可以优先选取共有的配准点组成配准点组集合，以此来降低整体图像的配准误差。辅助计算装置可以通过显示部件提示多种候选配准点组集合的方案供医务人员选择，也可以仅提供一个最优解作为配准点组集合，医务人员也可以考虑到手术操作空间等问题，在手术开始前或后续手术过程中考虑到组织变动等问题手动地对辅助计算装置自动选取的配准点、配准点组或配准点组集合进行调整，辅助计算装置可以对调整后的选区方案重新评价并显示评价结论。
在步骤S23中，医务人员可以将所选取的作为标记物的正畸托槽进行标示，以便于后续配准过程中减少计算量，提高配准效率。在外科手术的导航进程中往往通过光学定位系统对上述4个配准点进行定位。但是由于光学定位相机与所跟踪的物体间具有各项异性，定位设备自身无法克服定位误差，因此空间定位误差会累积到手术导航配准中，最终导致导航系统误差加大。为减小配准的系统误差并高效定位，本发明通过利用Yolo网络检测算法识别正畸托槽以及托槽外围彩色增强标记物，进行术区牙列的实时定位与追踪。
具体的，在本发明的一种实施方式中，医务人员在患者的口腔上颌或下颌选取不共面的4个正畸托槽作为配准点进行配准定位，为增强机器识别的敏感度，医生在已选取的作为定位正畸托槽上放置不同颜色的彩色结扎橡皮圈，替换临床较常使用的透明或灰色结扎橡皮圈。将这4个正畸托槽外周更换为不同颜色的彩色结扎橡皮圈后，Yolo网络在检测带有彩色结扎圈的托槽时，能够根据不同颜色准确获取特定托槽的托槽信息，高饱和度的颜色使得机器能够更加准确地计算出配准点位置信息，计算不共面的四个托槽的坐标信息，进而确定真实牙齿空间坐标系，不需要再进行额外的各个特定托槽的顺序判断。
在另一种实施方案中，医务人员也可以在患者的口腔上颌或下颌选取不共面的4个正畸托槽作配准定位，同时将这4个正畸托槽外周更换为相同颜色的彩色结扎橡皮圈。在本发明利用Yolo网络进行检测时，仅对牙齿托槽及外围特征进行形状概括，用于缩小定位追踪的范围。为了进一步获得更加精准的坐标信息，需要将区域中的特定配准点的颜色信息转换为饱和度信息，即将托槽位置信息从RGB空间转换到HSV空间。因此，医务人员在对选定的正畸托槽进行标示时，也可以仅采用饱和度较高的明亮颜色橡皮圈对托槽进行标示，以取代通常的透明或灰色结扎橡皮圈。
在另一种实施方案中，医务人员也可以采用具有特殊形状构造的正畸托槽来取代在传统正畸托槽四周结扎橡皮圈的方式。具体的，参照附图4，常见的正畸托槽体部为平行四边形或长方形结构，中间具备尺寸为0.018-0.022 * 0.028 英寸的槽沟。但是，单纯具备对称结构的正畸托槽可能不利于配准以及后续实时定位追踪，因此也可以采用特制的具有增强标记物的正畸托槽。具体来说，可以采用附图5（a）~图5（h）所示的具有增强标记物的正畸托槽取代单纯使用传统的方形四翼正畸托槽的方案，以获得更好的实时配准和定位追踪效果。特制的正畸托槽包括用于将其固定在牙齿表面的基板、固连于基板的一侧的托槽体，以及彩色的增强标记物，即结扎在正畸托槽四周的彩色橡皮圈、或后述涂覆于正畸托槽的彩色涂层、或后述覆盖正畸托槽的彩色外壳，或后述从正畸托槽向外延伸的彩色标记；托槽体包括平行于基板且贯通托槽体的用于穿过弓丝的槽沟和用于固定弓丝的托槽翼，托槽翼位于托槽体上侧且向外延伸，或覆盖所述槽沟。
在图5（a）所示的一种正畸托槽的实施例中，医务人员可以利用全部彩色或部分结构为彩色的正畸托槽取代现有的银白色金属制托槽。如图5（a）所示，可以选择使用正畸托槽的四翼为高饱和度的红色的特制正畸托槽用以增强标记效果、或仅在托槽翼外侧表面涂抹或覆盖高饱和度的彩色涂层作为增强标记物，用以替代常见的银白色金属制托槽。在牙齿矫正过程中，医务人员根据矫正拉力、材质强度、日常美观等方面的考虑通常会建议患者使用银白色的金属制托槽、白色的陶瓷制托槽或无色透明的塑料制托槽。然而，上述三种托槽的颜色饱和度较低，在双目相机采集图像时与周围牙齿的对比度较低，可以采用颜色饱和度较高的正畸托槽取代传统的白色或银白色托槽，医务人员可以实现确定彩色托槽的结构尺寸，以此就能够轻松地确定托槽的坐标信息。
在图5（b）所示的一种正畸托槽的实施例中，医务人员可以选择在普通的四翼正畸托槽的十字形交叉的槽沟外表面涂抹或覆盖暂时性的高饱和度彩色颜料或涂层作为增强标记物，用以有效提高图像采集和配准的灵敏度，增强识别效果。如图5（b）所示的正畸托槽的另一优化方案为在涂覆有彩色涂层的十字形交叉的槽沟中心利用与彩色涂层对比度强的颜色标示出交叉点的位置。在双目相机拍摄过程中，直接定位交叉点的坐标即为正畸托槽的中心坐标。另外，为辅助双目相机的识别，医务人员可以用饱和度较高且不易脱落的彩色涂料辅助交叉点的标示，或仅在手术过程中用可食用的色素等对交叉点进行短暂标记，并在完成一个微螺钉的植入后将颜色擦除即可。
在图5（c）所示的一种正畸托槽的实施例中，医务人员可以对常规的金属制正畸托槽附加彩色托槽外壳作为增强标记物。在临床治疗过程中，饱和度较高的全彩色正畸托槽虽然有利于手术操作，但患者为了日常美观通常更希望选择无色透明的塑料制正畸托槽作为日常佩戴的款式。因此，在通用的正畸托槽尺寸已知的情况下，可以采用附加彩色托槽外壳的方式仅在微螺钉植入手术过程中辅助双目相机确定正畸托槽坐标。
在图5（d）所示的另一种正畸托槽的实施例中，医务人员可以采用在正畸托槽上附加增强标记物的方式增强标识效果和图像捕捉灵敏度。由于圆的四周任一点到中心的距离都是相等的，在双目相机拍摄图像时，可以仅随机采集圆形增强标记物圆周上的三个点即可确定中心坐标，而对于方形标记物则必须借助于完整采集整个标记物的四周轮廓才能够确定中心的坐标，因此，所选择的增强标记物优选为圆形增强标记物。在一种实施方式中，所选择的圆形增强标记物可以是圆形的正畸托槽彩色外壳。在另一种实施方式中，由于同一系统的正畸托槽往往都是整体配套使用的，附加的增强标记物比如也可以是暂时粘接在正畸托槽上的增强标记物，如舌侧扣或其他自行设计的圆形标记物，其仅用于在正畸植入操作中以区别其他已粘接的正畸托槽，在完成手术使命后可以轻松将其取下。
另外，图5（e）和图5（f）分别给出了使用上述方形或圆形彩色外壳作为增强标记物的进一步优化的实施方式，即在附加的方形或圆形增强标记物上绘制不对称的图案的实施例。
具体的，参照图5（e）所示的实施例，在四翼正畸托槽的彩色外壳上绘制有由线段op,线段pq，线段rp组成的箭头形图案。其中，线段op与线段rp之间的夹角以及线段rp和线段pq之间的夹角均为18°~65°，且优选两夹角为角度差为15度以上的不同角度。在配准过程中，由于彩色图像不对称，与双目相机中拍摄到的正畸托槽相对应的角度配准正确的情况有且仅有一种。因此，采用不对称的彩色图像可以有效减少在定位以及配准过程中的运算量，获得更好的实时效果。
参照图5（f）所示的实施例，在覆盖的圆形彩色外壳上绘制有不对称图案。在圆形彩色外壳的圆心处标出点o，从圆周上选取至少3个点a，b，c，从所选取的点a，b，c分别向圆心o绘制扇形，所绘制的扇形以oa，ob，oc为对应圆心角的角平分线，并且，所绘制的扇形所对应的圆心角为4°~7°。将所绘制的扇形以与彩色外壳对比度高的颜色填充，组成向圆心延伸并由外到内逐渐变细的彩色锥形射线。优选地，如图5（f）所示，角平分线oa与角平分线ob之间的夹角为161°~166°，角平分线oc与角平分线ob分别位于角平分线oa反向延长线的异侧，且角平分线oc与角平分线oa之间的夹角为126°~132°。在进行实际应用的验证过程中，选取图5（f）所示的绘制有不对称的彩色图形的彩色外壳覆盖正畸托槽时，双目相机的图像识别效果远远优于普通的金属制银白色正畸托槽。同时，由于明确标示出了圆心位置，机器视觉识别准确率和实时追踪效果均得到大幅提高。
除上述附加的增强标记物的示例外，在图5（g）和图5（h）所示的正畸托槽的实施例中，医生可以采用在手术时暂时性的附加于正畸托槽周围的增强标记物来辅助图像采集和定位。具体的，医生可以在植入手术时利用刚性的正畸托槽进行向外延伸的彩色标记的固位，例如利用橡皮筋等柔性结构或在正畸托槽外周附加刚性结构延伸出用于加强识别的彩色标记。彩色标记应选取中心点明确的形状，如附图5（g）所示的十字型彩色标记，或选取中心点明确且不对称的形状，如图5（h）所示的扇形彩色标记。
另外，在其他实施方案中，为提高机器视觉识别率，获得更好的实际使用效果，也可以使用不规则形状的正畸托槽，例如参照上述彩色外壳的设计方案将正畸托槽的形状也做成非对称的，以取代常规的长方形的四翼托槽。
在步骤S3中，医务人员需要获取粘贴好正畸托槽后的患者口腔中的图像信息，并且将粘贴好的正畸托槽的托槽数据与牙根数据进行整合。具体来说，前述对患者拍摄的CBCT图像中并不包含正畸托槽的信息，因此需要再次获取患者口腔内的包含托槽信息在内的手术区域的图像信息。
本发明采用无创的三维口腔扫描仪获取局部牙冠、托槽以及结扎的彩色橡皮圈信息。具体的，可以采用医院常备的大型口腔扫描装置或便携的小型口腔扫描设备完成三维口扫，获得对于患者口腔内部牙齿、正畸托槽以及牙龈等软组织的精确扫描结果，并将获取的口腔扫描数据保存为与前述三维虚拟模型的牙列信息一样的.stl格式信息。
在步骤S4中，将口腔扫描图像与CBCT图像配准，构建包括患者的牙冠信息、牙根信息以及托槽信息在内的虚拟图像，并保存为.stl格式的点云格式数据。
具体来说，在前述步骤S1中，对患者拍摄CBCT图像以获取患者的整个口腔中牙齿的牙列信息，其中包括了暴露于软组织外的牙冠信息和隐藏于颌骨内的牙根信息。在前述步骤S2中，医务人员根据预先设定的矫正方案以及患者自身意见，选取恰当地正畸托槽并完成粘贴。粘贴好正畸托槽后，在步骤S3中对患者口腔内部进行三维口腔扫描，获得患者口腔内的图像信息，其中包括患者口腔中的软组织信息，牙冠信息和与之相关联的正畸托槽信息。
在正畸微螺钉的植入过程中，医务人员最为关心的是颌骨内的肉眼不可见的牙根信息与所植入的微螺钉的位置信息。基于CBCT图像，医务人员可以将牙冠信息与牙根信息相关联，而基于三维口腔扫描图像，医务人员可以将牙冠信息与托槽信息相关联，将上述关联信息结合起来，采用最小二乘估计定理配准，即可获得托槽信息与牙根信息之间的关联。基于此，手术过程中医务人员眼中的用于与手术区域实时图像进行叠加的完整的三维虚拟图像得以构建。在微螺钉植入过程中，医务人员始终利用所选定的正畸托槽的位置信息来与微螺钉植入位置信息相关联。
在步骤S5中，医务人员需要在手术过程中将双目摄像头对准手术区域，利用Yolo网络检测带有彩色增强标记物的托槽的坐标位置。具体的，在术前，选取单颌牙列（上颌或下颌）中三颗或三颗以上不共面牙齿上正畸托槽作为配准点进行定位，以此来保证3颗牙齿上的托槽不共线，即可控制平移，旋转，缩放等空间的自由度。根据实际情况，也可以选取术区内更多数目的正畸托槽作为配准点，以减少定位误差。
参照前述配准点或配准点组的选取原则，医务人员需要选取术区暴露范围内尽可能分散的牙齿。在选取时，上颌、下颌分别选取一定数目的牙齿，并且尽量选择在水平向或垂直向排列明显不齐的牙齿。这些选取牙齿上的正畸托槽在后续图像检测中形成“包围盒”。按照实际术区牙齿暴露量，以下按4颗牙齿托槽描述。
当双目立体摄像机采集术区图像时，采用Yolo网络检测正畸托槽及外围特征。相比较于其他R-CNN系列的神经网络算法，Yolo神经网络算法提供了另外一种目标检测的思路，将目标检测的问题转化成一个机器学习中的回归（Regression）问题。根据给定的输入图像，直接在图像的多个位置上回归出目标的包围盒（bounding box）以及其分类类别。作为一种典型的“一阶段”目标检测算法，Yolo算法可以采用单个卷积神经网络来预测多个包围盒和类别概率，一次性预测多个盒的位置和类别，一次性即可快速完成对目标的定位和识别，实现端到端的目标检测和识别——这是R-CNN等其他类型的目标检测算法所不能完成的。另外，实际验证过程中，Yolo网络在定位识别背景时准确率更高，较少出现假阳性的情况。Yolov3相对擅长于处理小物件，选取该算法恰好顺应了正畸托槽尺寸小的特定。该算法检测速度灵敏，可以达到实时要求，准确率也能满足实验要求。
本发明使用卷积神经网络来实现Yolo算法，Yolov3的主干网络是一个Darknet-53网络，其余网络层是作为检测网络新加入的，网络结构如附图6所示。
整个系统流程如下：首先将输入图片缩放成416x416的尺寸，送入Darknet-53特征提取网络，该网络对图像分别提取13x13、26x26、52x52三个不同尺度的特征图，然后将图像分割成对应尺度大小的网格。每个单元网格负责检测那些中心点落在该格子内的目标。特征图中的每个单元网格都会预测四个包围盒，每个包围盒都会预测三类数据：包围盒的位置和大小、置信度和各个类别。其中，置信度包含两个方面，一是这个边界框含有目标的可能性大小，二是这个边界框的准确度。网络预测得到三个不同尺度的输出特征图（13*13*255、26*26*255、52*52*255），采用多尺度对不同大小的目标进行检测，越精细的网格就可以检测出越精细的物体。再对预测出的包围盒得分排序与非极大抑制筛选，筛选出单元网格给出的预测牙托槽类别的概率值最大的包围盒，最终得到选取的四个正畸托槽所在的四个包围盒。
Yolo网络得到的四个包围盒只能用来大致定位，缩小范围，还需要再通过颜色信息计算重心点。由于正畸托槽上有不同颜色的增强标记物，在包围盒内将RGB颜色色彩空间转变为HSV饱和度色彩空间，在颜色空间中检测正畸托槽的部分，采用阈值分割提取重心，计算正畸托槽的重心，在双目立体摄像机的左右两幅图像中都按照上述方法抽取重心，使用三角化算法计算三维坐标，从而获得手术空间下患者牙齿区域三个标记点的三维坐标，指定其中任一标记点为原点，对点坐标相减获得的向量进行正交化及求外积，确定真实牙齿空间坐标系
。由于根据Yolo网络得到的四个包装盒检测出的点无法知道点的顺序，在下一步配准过程中需要对四个坐标点排列组合
种可能性，计算误差最小的顺序。
在双目摄像机视野下，将配准点作为Marker识别，确定患者术区解剖结构牙齿坐标系
相对于双目相机坐标系
的位姿，实现基于光学的术中定位和追踪。
在步骤S6中，使用配准点工具在牙列模型上按照相同顺序提取相同位置的配准点在虚拟的三维数字化模型空间下的坐标。采用最小二乘估计定理，计算两组坐标之间的配准变换矩阵，求解配准点间最优变换。配准点配准算法使用开源矩阵运算Eigen库，通过最小二乘估计定理实现。手术前，通过前述步骤S1至步骤S4获取带托槽数据的完整牙列信息，构件三维虚拟模型；手术过程中，患者佩戴开口器，使术区牙列尽可能暴露于摄像机前，在前述步骤S5中通过双目摄像机实时拍摄患者口腔手术区域的实时图像，以完成定位与追踪。
在一种实施方式中，采取4点配准的方式进行虚拟图像与实时术区图像的配准。具体的，首先在患者牙齿区域使用正畸托槽作为定位，选取单颌牙列（上颌或下颌）中4颗牙齿上粘贴的正畸托槽的槽沟中心作为配准点，构成包含不共面的4个配准点的配准点组。在双目立体摄像机的追踪下，在实际的手术区域采集4个配准点的坐标；然后使用配准点工具在三维虚拟牙列模型上按照相同顺序提取相同位置4个配准点在虚拟的三维数字化模型空间下的坐标。采用最小二乘估计定理，计算两组坐标之间的配准变换矩阵，求解配准点间最优变换。具体的，首先分别计算两个点云的质心，然后计算各点相对于质心的位移向量，进行SVD分解，然后计算旋转矩阵和点云间的位移，从而获得二者之间的配准变换矩阵，实现虚拟配准点到实际配准点的配准，并对三维虚拟模型进行图像叠加，最终实现虚拟和现实图像的配准。整个配准过程是自动执行的，配准结果会显示在医生佩戴的HoloLens眼镜中。
在这种以4个点作为配准点进行图像配准的方式中，需要预先选取目标点附近的4个正畸托槽作为配准点，要求4个配准点不共面且分布位置不对称。当双目相机拍摄到的预先标示的配准点时，对拍摄到的4个配准点进行定位，将获取的坐标分别于三维虚拟模型中的配准点的坐标进行排列组合，选取误差最小的组合即视为正确的配准结果。
具体的，记术前拍摄的患者CBCT图像的空间坐标系为
，根据前述步骤S5中定位追踪环节，双目相机确定的真实牙齿坐标系为
，在Unity中进行牙列模型的构建，记建模软件中牙齿的模型坐标系为
，通过最小二乘估计定理需要确定CBCT空间坐标系
相对于双目相机视野中真实牙齿空间坐标系
的位姿
。
用最小二乘估计定理对配准点之间的位姿变换关系进行估算，配准原理如下：假设前述所得到的虚拟图像和现实场景为两组点云，记两组配准点点集，即虚拟图像中的托槽的坐标集和现实中患者口内托槽坐标集。在各自坐标系下的坐标分别为源点集（sourcepoints）
、目标点集（target points）
，且两个点集中配准点按照序号一一对应，配准点数量为𝑛。点集之间存在以下转换关系
=R
+T+
，其中，R是旋转矩阵，T是位移向量，
是噪声向量。
针对两组点集，求解两组点集之间的最优变换实际上就是求取合适的旋转变换矩阵R和平移变换矩阵T对源点集进行变换，使得变换后的源点集中的点与目标点集中的对应点之间的距离误差达到最小，即解决算式的优化问题：
首先分别求两组点集数据的质心，设源点集的质心为
，目标点集的质心为
，其中：
然后分别求解源点集与目标点集中各点相对于质心的位移向量，设源点集中的点相对于其质心的位移向量为
，目标点集中的点相对于其质心的位移向量为
，其中：
利用各集合中的点相对于其质心的位移向量，计算H矩阵：
对H矩阵进行奇异值分解（SVD）：
基于矩阵U和V，计算最优旋转矩阵R和相应的平移变换矩阵T：
对牙齿做以上配准处理，即可得到CBCT坐标系
相对于真实牙齿坐标系
的变换矩阵
。
在另一种实施方式中，采用多点配准的方式进行虚拟图像与实时术区图像的配准。具体的，在虚拟三维模型构建时，通过CBCT图像和口腔扫描图像获取患者口腔内的完整三维虚拟模型，进而获取口腔内所有正畸托槽的位置信息，即获取口腔中所有可用配准点的坐标。在手术过程中，通过双目相机实时地对患者口腔中的手术区域进行拍摄，逐个获取拍摄区域内每个配准点的坐标，将拍摄到的这部分区域中的全部配准点的坐标与三维虚拟模型中的所有配准点的坐标进行匹配，排列组合后选取误差最小的一组解作为配准结果的最优解，完成虚拟模型图像与双目相机图像的配准，并在医务人员眼中的混合叠加显示。
在选取多个配准点进行图像配准的实施方式中，也可以不辅助彩色橡皮圈进行配准点的定位，而采用常规的透明或灰色橡皮圈。彩色橡皮圈有助于增强识别标记物的灵敏度，更加精准的确定正畸托槽的中心坐标，但是在目标点较少且针对拍摄区域所有配准点均进行配准时，可以通过选取所有拍摄到的正畸托槽的相同区域，例如所有四翼托槽左上角的托槽翼，及两两相邻的正畸托槽之间的位置关系将系统误差有效降低，即使不借助彩色橡皮圈也能够实现虚拟图像与实时术区图像的配准。
具体来说，参照附图7（a），在虚拟牙列模型构建完成后，可以对每相邻的n个正畸托槽确定其特有的形状，医务人员可以通过辅助计算设备的输入部件限定n≥3，且n≤N，其中，N可以是患者口腔内的牙齿总数或人为输入的小于口腔中牙齿总数的正整数。在对所拍摄到的所有配准点进行配准时，可以将N设定为患者口腔中的牙齿总数。在手术过程中，需要将双目相机固定在与患者口腔保持相对静止的位置。假设双目相机拍摄到的患者口腔局部包括3个正畸托槽，即采集到的3个配准点，则可以将前述的n设定为3。参照附图7（a）和图7（b）所示，将n设定为3的情况下，患者口腔中正畸托槽所组成的空间图形集合中包括△ABC、△CDE、△EFG。参照图7（c），当拍摄到3个正畸托槽时，在不通过定位各个配准点的坐标进行顺序配准的情况下，直接利用训练好的神经网络获取3个配准点所组成的空间图形信息，即△CDE。将获取到的空间图形信息与前述拍摄到的完整牙列中的两两相邻的3个配准点所形成的空间图形的集合中的元素进行配准，可以判断出所拍摄到的配准点组所组成的空间图形对应于空间图形集合中的△CDE。基于此，即使不使用任何色彩标记正畸托槽，也可以在手术进行过程中轻松完成图像配准。
本发明基于正畸托槽及配合使用的增强标记物做定位，在不引入临床额外操作的基础上实现虚拟和现实图像的实时配准。同时，本发明基于 HoloLens眼镜作为混合现实设备，相比于固定放置、体积较大的混合现实设备，头戴式HoloLens眼镜具有灵活、轻便等优势适合口腔临床的操作特点，便于临床开展使用。患者牙列的虚拟图像和真实术区图像在HoloLens全息眼镜视窗中融合显示。
具体来说，本发明采用HoloLens眼镜作为混合现实设备，在步骤S7中，基于机器人手眼标定原理，对HoloLens进行虚实空间标定，将HoloLens坐标系与双目相机坐标系建立联系，进而与真实环境建立关系，在真实空间指定位置叠加虚拟信息。
对于每一个全息应用，HoloLens都会为其建立一个对应的虚拟场景空间坐标系。该坐标系建立于全息应用程序启动之初，并伴随在应用的整个生命周期中。该坐标系是虚拟场景下的世界坐标系（以下简称虚拟世界坐标系），并保持其建立之初的定义而固定在空间中。但虚拟世界坐标系在真实环境中并无实际的参照，难以获知该坐标系与真实环境的关系，进而在现实空间指定位置叠加虚拟物体。
除虚拟世界坐标系外，HoloLens还拥有一个表征自身位姿的局部坐标系，大致位于佩戴者头部附近，通过内置于设备中的摄像头、陀螺仪等传感元件，HoloLens能够感知到自身在空间中的平移和旋转。
如图8和图9所示，记HoloLens的虚拟世界坐标系为
，局部坐标系为
，HoloLens上固定的Marker坐标系为
，相机坐标系为
，定位追踪模块根据牙齿上托槽信息确定的坐标系为
，CT坐标系为
，Unity中牙齿的模型坐标系为
。
混合现实模块主要包含HoloLens标定与混合现实两大功能，二者均依赖于PC与HoloLens间的UDP网络通信。
HoloLens标定过程基于机器人手眼标定原理。首先在Unity环境下开发用于增强现实的应用程序，并借助Visual Studio部署至HoloLens中。在HoloLens上固定一个Marker，并对Marker进行注册，该Marker坐标系为
。将HoloLens静置于双目相机视野下，采集HoloLens上Marker相对于相机坐标系的位姿，记为
；同时PC通过网络通信向HoloLens发送相应的位姿采集指令，HoloLens接收到指令后将自身局部坐标系
相对于虚拟场景全局坐标系
的位姿传回PC端，该位姿矩阵记为
。
改变HoloLens在相机视野下的位姿，重复上一步，获得N(N>3)组
与
。记标定需要解算的相机坐标系
相对于虚拟世界坐标系
的位姿为
，Marker坐标系相对于HoloLens局部坐标系的位姿为
。对于任意
，均满足：
多组等式联立可以将
当作中间变量消去，对于
且
，有：
相关坐标系转换关系如图所示。令 
，
，
，则上式转化为机器人手眼标定中求解
齐次矩阵方程组的经典问题，从而确定相机坐标系
相对于HoloLens虚拟世界坐标系
的位姿
。在获知HoloLens与双目相机坐标系的映射关系后，以双目相机坐标系为参考，可以计算出任意相机坐标系下已知位姿的物体在虚拟空间下的位姿表达。
将牙齿区域尽可能暴露于双目摄像机前，利用前面的定位追踪模块，可以确定真实牙齿空间坐标系
相对于相机坐标系
的位姿
；而根据前面的图像配准模块，我们获得了CT坐标系
相对于真实牙齿坐标系
的变换矩阵
；当将CT数据分割重建的stl格式模型经MeshLab软件导出成Unity支持的.obj格式后，在将其导入Unity工程时，可以确定Unity中牙齿的模型坐标系
相对于CT坐标系
的位姿为
。则
相对于
的位姿可由下式计算：
由此确定HoloLens世界坐标系
与真实环境的关系，进而在现实空间指定位置叠加虚拟物体，以实现透视术区的效果，向医生显示原真实空间不可见的解剖结构信息。将位姿数据通过网络通信实时发送给HoloLens，HoloLens据此更新显示牙齿虚拟模型，即实现了牙齿的混合现实。
参照图10，手术开始前，医生根据预先确定好的治疗方案确定目标点位置，即正畸微螺钉的植入位置。医生在术中佩戴头戴式混合现实设备，例如本发明中的HoloLens眼镜，在视野范围内通过肉眼获取现实图像，现实图像即为手术区域中目标点附近的患者口腔图像。外置的双目相机对患者口腔中目标点附近的配准点进行捕捉，实时完成配准和定位追踪。在头戴式的HoloLens眼镜的视窗中，通过CBCT图像和三维口腔扫描建立起来的虚拟图像，即三维牙列得以完整的显示。通过双目相机视野范围内的四周结扎彩色橡皮圈的正畸托槽作为标记物，虚拟的三维牙列和医生肉眼获取的术区现实图像进行实时配准并叠加显示。以此，医生可以利用肉眼透过HoloLens眼镜的视窗实时获取患者牙龈以下的、现实图像中肉眼不可见的牙根信息。参照视野范围内的牙根信息，初学者或经验不足的医生也可以轻松地完成正畸微螺钉的植入操作，而不需要依赖经验判断患者牙根的生长情况。
相比于固定放置、体积较大的混合现实设备，头戴式HoloLens眼镜具有灵活、轻便等优势。口腔医生可以在操作空间内自由活动，在不同角度、不同位置下进行操作，该技术适合口腔临床的操作特点。虚拟图像中的牙冠和真实手术场景中采集到的牙冠配准后，虚实图像在医生所佩戴的HoloLens全息眼镜视窗中融合显示。但HoloLens的运算能力较弱，因此将计算量大的程序模块以及多空间映射关系转换放在计算机图形工作站中完成，HoloLens接收最终计算得到的位姿数据，实现混合现实显示。使医务人员可透视不可见的龈下牙根，神经以及上颌窦等结构。
应当理解的是，本领域技术人员在考虑本发明所公开的内容后，将容易想到本发明的其它可行的实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。本发明并不局限于上面已经描述的内容，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (19)
1.一种正畸治疗中基于混合现实技术的透视术区的显示装置，包括：
图像构建模块，用于构建患者口腔牙列的虚拟图像；
定位追踪模块，用于实时采集并定位追踪患者术区牙列真实图像；
图像配准模块，用于将所述虚拟图像与实时采集的所述患者术区牙列真实图像进行实时配准；
混合现实模块，用于将在实时采集的真实图像中不可见的所述虚拟图像的至少一部分融合显示在实时采集的所述患者术区牙列真实图像上；
其中，图像构建模块包括：
第一图像获取模块，用于获取患者口腔内牙列的牙根图像和牙冠图像；
定位标记模块，在患者口腔内选取并标示定位标记；
第二图像获取模块，用于获取患者口腔内牙列的牙冠图像和定位标记图像；
整合模块，整合所述第一图像获取模块和所述第二图像获取模块获取的图像，构建所述虚拟图像；
其中，在对所述定位标记进行标示时，利用患者口腔内牙冠上已粘贴的正畸托槽，根据选取原则，在粘贴好的所述正畸托槽中选取3个或以上的所述正畸托槽作为所选定的所述定位标记；
所述选取原则包括：
围绕目标点选取所述定位标记，
多个所述定位标记不共面；
其中，所述目标点为正畸植入手术中医生所选中的患者术区的操作位置。
2.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述第一图像获取模块中，针对患者口腔拍摄CBCT图像，采用标记控制的分水岭算法进行所述CBCT图像中牙列的分割和三维建模，获取所述CBCT图像中的牙冠图像和牙根图像。
3.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
所述目标点为正畸微螺钉植入位置。
4.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
所述定位标记为围绕所述目标点选取的4个不共面的所述正畸托槽。
5.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
对被选定为所述定位标记的所述正畸托槽的标示包括在所述定位标记周围设置增强标记物；
所述增强标记物为不同颜色的彩色结扎橡皮圈，或者相同颜色的彩色结扎橡皮圈。
6.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
对被选定为所述定位标记的所述正畸托槽的标示包括使用全部或部分结构为彩色的正畸托槽，或对正畸托槽的全部或部分结构涂抹或覆盖彩色涂层。
7.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
对被选定为所述定位标记的所述正畸托槽的标示包括对正畸托槽附加彩色托槽外壳、或对正畸托槽附加临时配置的标记物。
8.根据权利要求1所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述第二图像获取模块中，通过三维口腔扫描获得对于患者口腔内部牙齿、正畸托槽以及牙龈软组织的扫描图像，并将获取的三维口腔扫描获得的数据保存为与所述第一图像获取模块中获取的牙列图像一样格式的数据。
9.根据权利要求8所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述整合模块中，将所述第一图像获取模块获取的CBCT图像与所述第二图像获取模块获取的三维口腔扫描图像进行整合，构建包括患者的所述牙根图像和所述正畸托槽图像在内的所述虚拟图像，并保存为点云格式数据。
10.根据权利要求9所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述定位追踪模块中，将通过双目相机采集到的患者术区口腔内的真实图像作为Yolo神经网络算法的目标检测用图像，使用卷积神经网络来实现Yolo神经网络算法，利用Yolo神经网络算法同时检测患者术区口腔内的多个作为所述定位标记的所述正畸托槽的位置，实时定位和追踪患者的所述正畸托槽信息。
11.根据权利要求10所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
所述Yolo神经网络算法检测出视野内所述正畸托槽的轮廓信息，通过对被选定为所述定位标记的所述正畸托槽的标示，所述Yolo神经网络算法实时定位被选定为所述定位标记的所述正畸托槽的坐标信息。
12.根据权利要求10或11所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
当在所述正畸托槽外围结扎彩色橡皮圈时，所述Yolo神经网络算法检测所述双目相机视野内的所述彩色橡皮圈，并将视野内的患者术区牙列真实图像在HSV颜色空间内采用阈值分割提取重心，获得所述正畸托槽的坐标信息。
13.根据权利要求12所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
根据所述坐标信息获取真实术区空间坐标系相对于所述双目相机坐标系的位姿。
14.根据权利要求10所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述图像配准模块中，在术中将所述虚拟图像与实时采集的所述患者术区牙列真实图像进行配准，选取所述正畸托槽为所述定位标记，利用最小二乘估计法求解图像坐标系间的最优变换矩阵。
15.根据权利要求14所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
选取4个不共面的正畸托槽作为所述定位标记，根据所述双目相机追踪到的4个所述定位标记的坐标和在所述虚拟图像中三维口腔扫描模型中相同顺序相同位置的4个所述正畸托槽的坐标，利用最小二乘估计法求解坐标点间的最优变换矩阵。
16.根据权利要求15所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
求解所述最优变换矩阵即为解决下述算式的优化问题：
首先分别求两组点集数据的质心，设源点集的质心为
，目标点集的质心为
，其中：
然后分别求解源点集与目标点集中各点相对于质心的位移向量，设源点集中的点相对于其质心的位移向量为
，目标点集中的点相对于其质心的位移向量为
，其中：
利用各集合中的点相对于其质心的位移向量，计算H矩阵：
对H矩阵进行奇异值分解（SVD）：
基于矩阵U和V，计算最优旋转矩阵R和相应的平移变换矩阵T：
做以上配准处理，即可得到CBCT坐标系
相对于真实牙齿坐标系
的变换矩阵
。
17.根据权利要求14所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
选取术中所述双目相机视野内所有所述正畸托槽为所述定位标记，逐个获取每个所述定位标记的坐标，将拍摄到的全部定位标记的坐标与所述虚拟图像中三维口腔扫描模型中的所有所述正畸托槽的坐标进行匹配，排列组合后选取误差最小的一组解作为实时图像配准的最优解。
18.根据权利要求14所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
在所述混合现实模块中，将所述虚拟图像和所述患者术区牙列真实图像在混合现实设备视窗中融合显示，在真实空间指定位置叠加虚拟图像信息。
19.根据权利要求17所述的正畸治疗中基于混合现实技术的透视术区的显示装置，其特征在于：
所述混合现实设备为HoloLens全息眼镜。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110314015.5A CN112826615B (zh) | 2021-03-24 | 2021-03-24 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110314015.5A CN112826615B (zh) | 2021-03-24 | 2021-03-24 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112826615A CN112826615A (zh) | 2021-05-25 |
| CN112826615B true CN112826615B (zh) | 2022-10-14 |
Family
ID=75930524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110314015.5A Active CN112826615B (zh) | 2021-03-24 | 2021-03-24 | 正畸治疗中基于混合现实技术的透视术区的显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112826615B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114052951B (zh) * | 2021-06-01 | 2024-03-08 | 上海交通大学医学院附属第九人民医院 | 基于图像识别的托槽精准定位方法、装置、系统、终端及介质 |
| CN113491533B (zh) * | 2021-07-07 | 2022-05-03 | 北京大学口腔医学院 | 辅助装置、辅助装置组件及口内三维图形的获取方法 |
| CN113842227B (zh) * | 2021-09-03 | 2024-04-05 | 上海涞秋医疗科技有限责任公司 | 医疗辅助三维模型定位匹配方法、系统、设备及介质 |
| CN114219897B (zh) * | 2021-12-20 | 2024-04-30 | 山东大学 | 一种基于特征点识别的牙齿正畸结果预测方法及系统 |
| CN115409156B (zh) * | 2022-04-11 | 2023-12-12 | 四川大学 | 用于正畸教学的托槽位置智能评估方法、装置及系统 |
| CN115349967B (zh) * | 2022-08-19 | 2024-04-12 | 首都医科大学附属北京口腔医院 | 一种显示方法、装置、电子设备及计算机可读存储介质 |
| CN115645044A (zh) * | 2022-11-04 | 2023-01-31 | 福州大学 | 一种基于无标记物的口腔种植图像叠加方法 |
| CN116993794B (zh) * | 2023-08-02 | 2024-05-24 | 德智鸿(上海)机器人有限责任公司 | 一种增强现实手术辅助导航的虚实配准方法和装置 |
| CN116737031A (zh) * | 2023-08-10 | 2023-09-12 | 吉林大学 | 一种基于混合现实的牙根信息可视化系统及方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN211863018U (zh) * | 2019-12-03 | 2020-11-06 | 北京柏惠维康科技有限公司 | 一种牙科手术辅助装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5692896A (en) * | 1995-03-15 | 1997-12-02 | Minnesota Mining And Manufacturing Co. | Light-transmissive orthodontic bracket wth alignment and indentification marking |
| US8435033B2 (en) * | 2010-07-19 | 2013-05-07 | Rainbow Medical Ltd. | Dental navigation techniques |
| CN108210098A (zh) * | 2018-01-16 | 2018-06-29 | 浙江工业大学 | 基于增强现实的人机协作机器人种牙方法及人机协作机器人种牙系统 |
| CN108742898B (zh) * | 2018-06-12 | 2021-06-01 | 中国人民解放军总医院 | 基于混合现实的口腔种植导航系统 |
| US11049276B2 (en) * | 2018-06-29 | 2021-06-29 | Industrial Technology Research Institute | Positioning guidance method and system for tooth brackets |
-
2021
- 2021-03-24 CN CN202110314015.5A patent/CN112826615B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN211863018U (zh) * | 2019-12-03 | 2020-11-06 | 北京柏惠维康科技有限公司 | 一种牙科手术辅助装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112826615A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112826615B (zh) | 正畸治疗中基于混合现实技术的透视术区的显示方法 | |
| US11559377B2 (en) | Augmented reality enhancements for dental practitioners | |
| ES2717447T3 (es) | Creación asistida por ordenador de una preparación de diente habitual usando análisis facial | |
| US8805048B2 (en) | Method and system for orthodontic diagnosis | |
| CN107529968B (zh) | 用于观察口腔内部的装置 | |
| US11229503B2 (en) | Implant surgery guiding method | |
| EP1808129B1 (en) | Cross section information detection device | |
| US10265149B2 (en) | Method and system for modeling the mandibular kinematics of a patient | |
| Fortin et al. | Computer-assisted dental implant surgery using computed tomography | |
| US7156655B2 (en) | Method and system for comprehensive evaluation of orthodontic treatment using unified workstation | |
| EP1027681A1 (en) | Method and apparatus for generating 3d models from medical images | |
| US9936166B2 (en) | Method for planning a dental treatment | |
| US20040029068A1 (en) | Method and system for integrated orthodontic treatment planning using unified workstation | |
| CN112451151B (zh) | 一种利用混合现实技术的正畸模型建立方法 | |
| US20170143445A1 (en) | Method and apparatus for operating a dental diagnostic image generation system | |
| CN112972027A (zh) | 一种利用混合现实技术的正畸微种植体植入定位方法 | |
| CN113034557B (zh) | 一种正畸前后腭皱襞的配准方法及设备 | |
| TWI397402B (zh) | 植牙植體方位規劃暨植牙鑽孔導引板設計之整合方法 | |
| CN112545650A (zh) | 一种用于牙科的导航定位方法及系统 | |
| 김성하 | Accuracy evaluation of an augmented reality navigation system for orthognathic surgery using electromagnetic tracking | |
| Tasios | Three-dimensional evaluation of the soft-tissue changes due to class III double-jaw orthognathic surgery: A retrospective study | |
| CN115645044A (zh) | 一种基于无标记物的口腔种植图像叠加方法 | |
| Zhao et al. | Multimodal Registration of Dental and Facial Images | |
| WO2020121270A1 (en) | System and method for dynamic augmented reality imaging of an anatomical site |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |