CN116421341A - 正颌手术规划方法、设备、存储介质和手术导航系统 - Google Patents

正颌手术规划方法、设备、存储介质和手术导航系统 Download PDF

Info

Publication number
CN116421341A
CN116421341A CN202310405971.3A CN202310405971A CN116421341A CN 116421341 A CN116421341 A CN 116421341A CN 202310405971 A CN202310405971 A CN 202310405971A CN 116421341 A CN116421341 A CN 116421341A
Authority
CN
China
Prior art keywords
dimensional
model
orthognathic
patient
dental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310405971.3A
Other languages
English (en)
Inventor
程梦佳
杨阳
赵涵江
庄瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Imt Medical Technology Co ltd
Original Assignee
Shanghai Imt Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Imt Medical Technology Co ltd filed Critical Shanghai Imt Medical Technology Co ltd
Priority to CN202310405971.3A priority Critical patent/CN116421341A/zh
Publication of CN116421341A publication Critical patent/CN116421341A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61C—DENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C7/00—Orthodontics, i.e. obtaining or maintaining the desired position of teeth, e.g. by straightening, evening, regulating, separating, or by correcting malocclusions
    • A61C7/002—Orthodontic computer assisted systems
    • A61C2007/004—Automatic construction of a set of axes for a tooth or a plurality of teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Dentistry (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了一种正颌手术规划方法，包括，构建正颌手术设计算法，用以预测输出经过正颌手术的患者的术后虚拟三维牙颌面模型；构建术后面貌预测算法，根据术后虚拟三维牙颌面模型及患者术前三维面部图像预测患者的术后三维面貌；根据对术后面貌的客观、主观评价，修改初始设计的正颌手术方案，并获得新的术后面貌预测，依次类推。正颌手术设计算法还包括对三维牙颌面模型的虚拟截骨，正颌手术方案的截骨术式的效果生成在三维牙颌面模型上。三维牙颌面模型的构建方法是，通过患者头颅CT数据、光学牙模、面部三维图像，采用分割和/或配准算法，构建三维牙颌面模型。

Description

正颌手术规划方法、设备、存储介质和手术导航系统
技术领域
本发明属于面部整形技术领域，特别涉及一种正颌手术规划方法、设备、存储介质和手术导航系统。
背景技术
牙颌面畸形(Dento-maxillofacial deformity),又称骨性错
Figure BDA0004181385330000011
畸形，其发病率约为5％，是临床常见疾病。患者常伴有咬合、咀嚼等功能障碍及面部畸形，严重影响身心健康，需要正颌-正畸联合治疗。正颌-正畸联合治疗涉及正颌手术(Orthognathic surgery)，正颌手术是通过上、下颌骨截骨，移动牙骨段来矫正颌骨、牙列及面部畸形，并且获得良好咬合关系。但由于牙颌面畸形个体差异大、复杂多样，为了实现理想的面形和咬合功能，需要提出个体化的最佳治疗方案。
发明内容
本发明实施例之一，一种个体化正颌手术规划方法，该方法包括，
构建正颌手术设计算法，用以预测输出如果按照手术设计方案进行正颌手术，患者的术后牙颌面三维模型；
构建术后面貌预测算法，根据所述术后牙颌面模型及患者术前面部三维图像预测患者的术后面貌；
根据对所述术后面貌的客观、主观评价，修改正颌手术设计方案，并获得新的术后面貌预测，依次类推，不断进行修正以获得满意的术后面貌预测。
所述正颌手术设计算法还包括在三维牙颌面模型的截骨模拟，所述正颌手术方案的截骨术式的效果生成体现在所述三维牙颌面模型上。
本发明实施例的有益效果在于，通过建立精准的三维牙颌面模型，根据正颌手术设计算法和术后面貌预测算法，预测患者正颌手术方案与相应的术后面貌，对术后面貌的客观、主观评价可反馈至正颌手术设计算法模型，修正初始的手术设计方案，实现个体化的精确的正颌手术规划。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1根据本发明实施例之一的牙颌面2D掩模示意图。
图2根据本发明实施例之一的牙颌面3D结构示意图。
图3根据本发明实施例之一的光学牙模与重建牙列融合示意图。
图4根据本发明实施例之一的面部三维重建示意图。
图5根据本发明实施例之一的牙颌面模型构建方法示意图。
图6根据本发明实施例之一的面部解剖标志点示意图。
图7根据本发明实施例之一截骨平面示意图。
图8根据本发明实施例之一的正颌手术设计算法模型示意图。
图9根据本发明实施例之一的面部骨、软组织重建模型示意图。
图10根据本发明实施例之一的正颌规划系统示意图。
图11根据本发明实施例之一的截骨导板示意图。
图12根据本发明实施例之一的牙骨段定位导板示意图。
图13根据本发明实施例之一的3D打印钛板示意图。
具体实施方式
数字化技术的飞速发展为医学提供了新的诊疗手段，通过虚拟手术规划(VirtualSurgical Planning,VSP)与3D打印导板技术的结合，可以实现针对患者的个体化、精准化外科手术治疗。因而，在数字化正颌外科中，可以通过采集牙颌面畸形患者颌骨、牙列等多种影像数据，渲染重建个体化三维牙颌面虚拟模型，在此基础上模拟上、下颌骨截骨，并且进行牙骨段的移动，探索、设计最佳的患者术后颌骨形态，并借助3D打印导板完成规划方案的术中实现。
在数字化正颌外科流程中，三维数据的加工处理贯穿始终，包括分割、配准、关键点标注等基本操作，而这多个环节目前仍需要人工完成，这些步骤不仅耗费临床医师大量时间，且其中累积的人工误差会最终影响手术效果。除了显而易见地在未来会有自动化技术替代的人工步骤外，数字化正颌虚拟手术设计中的医疗决策部分，即确定患者诊断、术式及牙骨段移动向量，是最复杂、最具价值的关键步骤，该决策部分对于手术效果起到关键作用。
在这个过程中，正颌手术规划最为关键并且最难掌握，需要同时确定手术方式与相应牙骨段移动的方向及移动量。同时，正颌手术规划需要多重考量：不仅要基于影像数据评估颌骨、牙列的形态及位置异常，还要通过临床检查评估面部形态特点，预判手术对患者面貌的改变，再结合患者个性特征，多方面反复衡量，最终形成个体化手术方案。由此可见，为牙颌面畸形患者设计术后正常颌骨形态并规划正颌手术方案，这一过程非常复杂且具有经验依赖性。手术的设计直接关乎术后面形，面形预判失误或对面形改善预期的不同，容易导致术后效果不佳。因此，需要提出一种客观、高效的方法来分析患者复杂异构的临床数据、追求个体化正颌手术设计最优解、并实现精准面貌预测，这对牙颌面畸形的诊疗具有重要意义。
通常来说，正颌手术规划设计的依据来源于医师对患者牙、颌骨、面部软组织三维形态的全面分析。其中，可能涉及头影测量分析(Cephalometry analysis)。头影测量分析是一种人为提取影像数据特征以客观评价牙颌面畸形的方法，通过在颅颌面三维影像上人工标注解剖标志点，测量角度、线距等指标来反映牙齿、颌骨的大小、形态及相对位置关系，从而提示三维空间(垂直向、矢状向、水平向)颌骨、牙齿异常。
实践中，由于三维头影测量指标众多，其与手术方案间具有错综复杂的非线性关系，难以量化指导手术设计。原因之一，正颌手术设计的难点在于，确定术式的同时还要量化牙骨段的移动，仅依据头影测量指标数值进行手术设计难免遗漏部分重要的影像结构信息，进而限制了模型的预测性能。
如果通过三维形变预测颌骨形态，预测过程中其牙齿、牙列形态也同时发生了改变，因此该预测模型无法满足临床上对咬合重建精确度的要求，更无法直接用于手术导板设计与打印，限制了其临床应用。此外，上述研究也未考虑患者面部软组织形态特点及个性特征信息对手术设计的影响。面部软组织形态及特点(如鼻唇角大小、唇形态、微笑露龈量等)、患者个性特征(性别、年龄、身高、体重、民族等)以及主观审美均是不能忽略的手术设计参考因素。因此，为进一步提升正颌手术设计及手术方案决策预测的精确度，建模分析应纳入更加全面的患者特征信息，即包含牙颌面影像数据及其他临床特征信息的异构多模态数据。
仅对患者术前异构多模态数据进行建模分析，该模型对手术方案的预测能力只能无限接近于正颌专家，如果能基于所预测手术方案重建术后面貌，用以反馈优化原手术方案，即可实现决策的进一步优化。准确预判颌骨移动对面部软组织变化的影响是正颌手术设计的一大难点，目前缺少准确的可视化面貌预测方法，无法有效指导手术设计，同时造成医患沟通不畅，容易导致医疗矛盾发生。
临床医师一直在探索牙列或骨组织的移动与软组织改变的关系，试图寻找其中规律以辅助诊疗。多数研究是通过临床测量患者软、硬组织标志点移动量，经统计分析拟合线性函数关系，但面部软组织是非均质、各向异性的弹性材料，其形变条件复杂，这类研究所考虑形变维度及范围局限，得到的数学关系可靠性低。
有学者基于质子张量弹簧模型(Mass Tensor Model，MTM)对软组织进行物理建模以预测三维面部形变。物理建模分析法适用场景广，但计算量大，且目前面部软组织物理建模未考虑解剖结构的非均质特性，又缺乏真实生物力学参数，因此限制了预测结果的准确度。申请人前期研究即聚焦在颌面部软组织生物力学参数获取以及颌面软组织多层次虚拟仿真物理模型的构建，所构建模型在软组织穿刺、切割形变模拟中实现了准确的力反馈及形变预测，但尝试在更大范围的正颌术后三维面貌预测时，计算规模扩大近300倍，网格难以有效收敛，因而无法满足面貌预测的精确度。
有报道称，利用Tensor Flow网络框架，选取正颌手术中下颌骨前移患者，由下颌骨前移距离及旋转角度预测术后唇、颏部软组织形变量，并通过术前面部三维立体摄影(3DMD)进行术后面貌重建，与前述MTM物理建模方法相比，该研究获得了较好的预测结果。但该模型只以下颌骨移动单一向量预测面貌改变，存在面中线附近软组织预测较精确，而其余部位精度差的问题，并且该模型在各类手术复杂场景中的表现未知。因此，建立精确的三维面貌预测重建方法、实现正颌术后面部三维形态预测是达成个性化正颌手术设计这一目标的研究重点及难点。
由上可见，手术设计与面貌预测都离不开对牙颌面影像的分析，而近年来，牙颌面畸形患者临床影像记录呈现三维化趋势：如通过颅颌面CT分割、重建获取的患者虚拟头颅模型，通过激光扫描获取的牙列虚拟三维模型(简称光学牙模)，通过三维立体摄影技术拍摄的面部立体照片等。其中，CT所记录的牙列精度远不及光学牙模，为满足虚拟设计中对咬合重建精确度的要求，虚拟手术设计时，通常将光学牙模配准至骨组织模型中替换原有牙列；CT记录的面部软组织也不如3dMD三维立体摄影精确(受患者平卧位影响，拍摄时间长，患者呼吸或微动影响软组织精确度，并且CT缺少色泽、纹理信息)。牙颌面影像三维化给临床诊疗带来双向影响：一方面，医师获取的患者影像数据更加全面客观，为更精准的手术设计提供了可能；但另一方面，医师需要分析的数据量也急剧膨胀，超出医生及现有技术的处理能力，故而许多数据没有得到充分的利用(如面部三维立体摄影)来为患者提供更优的治疗方案。因此，设计针对牙颌面三维影像的特征提取算法具有重要的临床及研究意义，也是实现个性化正颌手术设计、术后面貌预测重建的前提和基础。
根据一个或者多个实施例，一种正颌手术规划方法，包括步骤，S100.收集患者全头颅CT数据、上下牙列模型、面部三维摄影及其他患者特征信息；
S200.基于自动分割与自动配准技术构建虚拟三维牙颌面精准模型；
S300.牙颌面精准模型的测量分析；
S400.疾病的自动诊断与治疗术式判断；
S500.虚拟三维牙颌面精准模型的自动截骨；
S600.预测牙骨段移动向量以形成个体化的、具有正常颌骨形态的虚拟三维头颅模型；
S700.基于手术规划的术后三维头颅模型可用于预测患者术后面貌，指导手术导板设计制作，转移手术规划至实际手术中，对接手术导航系统或手术机器人完成对患者的颌骨截骨及移动。
以下对各步骤的具体流程加以详细说明。
S100，收集患者样本数据，包括患者全头颅CT数据、上下牙列模型、面部三维摄影及其他患者特征信息。样本数据对于患者的纳入标准为，诊断为牙颌面畸形，治疗计划中要进行正颌手术的患者，并且能够获得该患者治疗前治疗后都有影像数据。。每例样本包含患者特征信息、以及三类影像数据，包括：全头颅CT数据、患者光学牙模、面部三维摄影。如表1所示，表1是样本数据类别及具体项目。
表1
Figure BDA0004181385330000061
S200，基于自动分割与自动配准技术构建虚拟三维牙颌面精准模型。
精准的三维牙颌面模型是完成准确分析和治疗设计的前提，由于前述原因，CT无法提供精确的牙冠形态以及面部空间结构，因此构建虚拟三维牙颌面精准模型需要使用三类影像数据(包括全头颅CT数据、患者光学牙模、面部三维摄影)，通过分割与配准技术，彼此取长补短，完成最终患者个体化的虚拟牙颌面精准模型的构建。具体步骤如下：
S201，基于CT数据，分割出不同解剖结构，类别包括不同的骨块(上颅骨、下颌骨、颈椎、舌骨)、全部牙齿、面部软组织及下牙槽神经管。分割意味着在CT的每一个层面，标注出属于某个特定解剖结构的区域(标注区域称为2Dmask)。已有软件的分割算法是采用阈值分割以及区域增长算法，该方法无法区分头颅的不同骨块及牙齿这样精细的结构。因此设计基于深度学习算法的自动分割技术(使用Unet，Vnet等2D，3D分割模型)辅助分割过程，生成上述各个解剖结构在每一个CT层面的2D mask。在软件集成中，可通过区域增长功能、擦除功能、涂抹功能、裁剪功能等方式进行修改。如图1所示，是牙颌面各个解剖结构的2Dmask，不同颜色表示不同解剖结构。
S202，通过计算每个解剖结构的所有2D mask，重建生成各个解剖结构的虚拟三维模型(3D object)。其中，上颅骨和下颌骨是最终目标需要的牙颌面精准模型中“颌”部分。如图2所示是牙颌面各个解剖结构的3D object，不同颜色表示不同解剖结构。
S203，精准牙齿结构的形成。光学牙模能记录高精确度的牙冠形态，光学牙模获取方式有二种：
第一种是通过印模材料在患者口内印模获取上下颌全部牙齿的形态，倒模制作石膏模型重现患者上下牙列，再使用模型激光扫描仪扫描石膏模型获取数字化的牙模三维数据；
第二种是直接使用口内激光扫描仪在患者口内扫描获取其上下颌牙列形态的数据，以上两种方式获取的表达牙列三维形状的数字化数据均为STL格式，在以下简称为光学牙模。当然，可以理解的是，也可以使用其他方式获得的精确的牙齿形态作为牙模数据。
由于光学牙模无牙齿根部的数据，CT中分割重建的牙齿牙冠形态不够精确，因此设计深度学习算法，拼接光学牙模的牙冠与CT中的牙根部分，构建具有精确解剖结构的上下颌全部牙齿结构，至此完成牙颌面精准模型中“牙”部分的构建。在这里，本步骤的核心特点在于，通过对CT牙齿部位进行分割，同时对牙模数据进行分割，通过获得的牙齿信息，筛选出关键点，通过距离最优方法或者刚性配准法进行配准。如图3所示是光学牙模与CT重建牙列融合的过程示意。
S204，对于精准面部的形成过程。使用三维模型扫描设备对患者面部进行扫描，获得患者面部三维图像。该三维图像会比CT分割重建的面部软组织具有更加精确的空间结构，并且有色泽纹理信息。因此，通过设计基于深度学习的自动配准技术，以患者软组织移动度小的额部、颧骨部皮肤为基准，将面部三维摄影的空间坐标转换至与CT重建的面部软组织基本一致的位置。通过刚性配准或者距离最优方法，对CT重建的软组织进行着色，微调。完成牙颌面精准模型中“面”部分的构建。如图4所示是CT重建软组织与面部三维摄影配准过程示意。
S205，对于三类数据进行融合。融合CT重建的上颅骨及下颌骨、同时来源于CT和光学牙模的上下颌牙齿结构、配准后的面部三维立体摄影，即完成虚拟牙颌面精准模型的构建，数据格式为STL或点云。如图5所示是由前述三类影像数据的获取及虚拟牙颌面精准模型构建模式图。
S300，牙颌面精准模型的测量分析。
首先根据目标任务及临床三维测量知识体系，选择以下关键解剖标志点，如图6所示。这些解剖标志点可以是临床常用的标志点，用于进一步测量分析，而测量指标是可以根据临床实践需求来定义。在虚拟三维牙颌面精准模型上完成每个解剖标志点的标注，导出关键解剖标志点的标签(Label)及空间坐标(x,y,z)信息(XML格式)。设计基于深度学习的点云关键点(Pointnet++等点分割算法或Unet，Vnet等2D，3D分割算法寻找关键点)识别算法，由样本数据训练驱动，实现自动标注关键点的任务。同时在软件中可实现拖动调节关键点的位置，以便医生修改。
基于标注的牙颌面解剖标志点，设计三维空间测量体系，定义以角度、线距为主的各类测量指标，以表示牙齿、颌骨、面部各解剖结构间的相对位置关系，实现牙颌面空间结构特征的量化，并保存测量数值。如图6所示是牙性、骨性及面部软组织解剖标志点示意图。
S400，对于头颅点云畸形分类预测和术式决策。
设计点云分类算法，基于虚拟牙颌面精准模型，三维测量数值以及患者其他特征信息预测诊断以及治疗术式。牙颌面畸形的诊断包括对上颌骨、下颌骨、颏部、咬合平面4个重要结构的发育畸形情况的判断(涵盖三个维度)。另外，正颌手术具有多种上、下颌骨截骨方式，上颌骨截骨术式包括Le Fort I型，高位Le Fort I型，根尖下截骨以及各类分块术式；下颌骨包括双侧下颌支矢状劈开术，体部截骨术，根尖下截骨术，颏成型术等，不同术式产生不同的牙骨段分块，医师可以根据患者牙颌面畸形特点，灵活搭配选择上、下颌术式，重新定位牙骨段，以适应患者矫正需求。因此，诊断与治疗术式是关系紧密的两个预测任务，可同时采用一个点云分类算法完成预测。这里可以通过点云或者CT数据进行分类，可以借助Pointenet++或Resnet3D等模型。
S500，虚拟三维牙颌面精准模型的自动截骨。
根据预测结果确定好治疗术式后，即可在虚拟三维牙颌面模型上模拟截骨。传统方式中，截骨由人工标注多个点来构建截骨平面，调整角度及位置，避开重要解剖结构，利用平面完成骨块切割与分开。该方法耗时且难度高。因此设计基于深度学习的点云平面重建算法(通过重建生成的STL或者CT使用深度学习方法进行分割(Pointnet++或者Unet，Vnet等2D,3D分割模型)，并通过平面拟合的方式确定分割平面)，该算法首先能够根据指定术式完成骨块预分割，基于预分割结果拟合生成相应的截骨平面，从而实现快速自动生成截骨平面。预期成果中，医师指定术式后，相应的截骨平面会在虚拟牙颌面模型中自动生成，然后医师可根据自己偏好或患者个体情况微调截骨平面的位置，确定好后，实施截骨。虚拟牙颌面模型即被分为多个骨块，每个骨块可以在三维空间自由移动，可模拟实际手术情况。如图7所示是截骨平面示意，图中的上半部分图为上颌骨Le Fort I型截骨。
S600，正颌手术智能设计模型：预测牙骨段的移动向量以形成个体化的、具有正常颌骨形态的虚拟三维头颅模型。
完成截骨后的牙颌面精准模型具备了移动骨块的条件。确定移动向量是设计正常颌骨形态最核心的部分，设计的颌骨形态及位置需同时满足牙列咬合关系重建以及面形恢复的要求。
正颌手术智能设计模型输入为完成截骨的虚拟三维牙颌面精准模型、三维测量指标以及患者其他特征信息，输出为完成上下牙骨段移动的牙颌面模型，即具有正常颌骨形态的牙颌面模型。
牙骨段重新定位位置的预测基于由粗到细(coarse to fine)的方式：
首先粗略预测大致的移动向量，目的是预测的骨块位置满足面形恢复的要求。这一步是基于与面形相关性高的关键解剖标志点移动向量来评估骨块移动是否满足面形恢复的要求。
第二步是精细预测，目的是精细调整上下颌骨间的位置关系，以满足上下牙列咬合重建的要求。这一步的实现可尝试两个方案：
一是通过计算上下颌牙列的形态以及接触关系，计算获取上下牙列处于最大尖窝交错关系的位置，形成终末咬合，同时对上下颌的牙骨段位置进行微调。
二是直接将医生手动匹配的终末咬合数据配准至上下颌的牙骨段来校准虚拟牙颌面模型中的咬合关系。经过两步预测，形成具有正常颌骨形态的虚拟牙颌面模型(点云或STL数据)，该模型既能满足最佳功能性咬合关系的重建，也能满足对面部畸形形态的恢复。
使用深度学习方法对手术方案的偏移量进行预测，模型的输入包括牙模、CT、分割后的STL、术式判断等数据中的一种或者几种组合，模型的输出包括X，Y，Z方向上的旋转角度和偏移量。同时在软件中可通过对X、Y、Z方向上的旋转角度和偏移量进行调节，辅助医生进行手术方案的设计。如图8所示是正颌手术智能设计模型的任务及输入输出。
S700，规划术后三维牙颌面模型临床用途。
规划的术后三维头颅模型是实际手术的依据，实际手术应该尽量复刻虚拟手术规划的术后效果。转移手术设计至实际手术中的方式包括手术导板、手术导航或手术机器人等方式。理想情况下，患者术后的颌骨形态应与设计的颌骨形态一致。因此基于设计的颌骨形态，也可以预测患者术后的面貌。
S701，当术后三维头颅模型用于预后预测，即预测患者术后面貌，有两种方法。
方法一：
三维空间中，骨移动引起的软组织形变表现在多个方向。且由于软组织形变边界条件复杂，且不同区域间互相影响，基于骨块移动的面部软组织预测非常困难。因此可以将分解三维空间中骨-软组织的移动-形变关系为多对功能映射点间关系，以牙、骨硬组织的关键点的移动向量为自变量，求解面部软组织形变。求解过程分为两步，先以上文标注的牙颌面解剖标志点为基础，通过一定的采样方法在骨组织及软组织各获取一个点集合，将骨组织与软组织邻近的点联结为功能映射点，从而构建形变功能映射框架；再基于功能映射框架与临床真实样本，通过回归模型实现软组织形变量的精确预测与面貌重建。具体阐述如下：
为寻找功能映射点，首先对虚拟手术系统中的骨、软组织模型拓扑结构进行预处理：以三角面片划分骨模型与面部软组织模型表面拓扑结构，代表骨模型的三角形网格表示为S，其顶点为{V}＝{V1，V2，...，Vn}；代表软组织的三角形网格表示为S′，其顶点为{V}′＝{V′1，V′2，...，V′n}，三角面片的顶点{V}与{V}′为可能的功能映射点集合所在，由于骨组织为刚体，软组织为弹性材料，形变复杂，为减少计算量，对骨组织网格进行适当减量，软组织网格进行增量优化以满足复杂形变计算要求，如图9所示。以上文标注的关键牙颌面解剖标志点为基础，通过在关键解剖标志点周围不同密度的采样，获取骨组织和软组织的点的集合(点的数量从1000至10000不等)，接着，对比术前术后骨-软组织位置关系，分析寻找骨-软组织形变高度相关的关联点结为功能映射点关系{Vr}，即{Vr}＝{V1V′1，V2V′2，...，VnV′n}。“高度相关”判定的标准可基于分析结果中符合条件的关联点数量调整。统计分析时，如Vn满足条件的映射点V′n为多个，则选择方向最接近的点为其功能映射点，最终完成骨-软组织形变功能映射框架建立。在模型训练过程中，寻找能够实现面貌精确预测的最少的点集合。图9对虚拟仿真系统中骨、软组织模型的网格重新划分，骨组织网格稀疏且大，软组织网格密集且小。
基于临床真实样本(接受正颌手术的患者术前术后虚拟牙颌面精准模型)，以功能映射点为移动-形变中位置向量关系求解的基本单元。构建神经网络回归模型，输入为{Vr}原始坐标、骨模型中{V1，V2，...，Vn}移动向量，患者个性特征(BMI，体脂，年龄，性别)，输出为软组织模型中{V′1，V′2，...，V′n}移动向量，实现对软组织三维方向形变量精准预测，并结合术前三维立体摄影，通过对原始网格结构或点云进行形变，完成术后三维面貌重建。
方法二：
采用数据驱动的方式，以术前CT，重建的STL，手术方案中的偏移量，术前三维摄影数据等，作为深度学习模型的输入，术后面貌作为模型的输出，建立一个端到端的术后面貌预测算法模型。
术后三维面貌预测重建可与正颌手术智能设计模型结合，以对术后面貌的客观评价为变量，建立反馈优化机制，对原始手术方案进行调整优化。图10是本发明实施例基于术后面貌预测算法模型(或者称为术后面貌预测重建模型)和正颌手术设计算法模型(或者称为正颌手术智能设计模型)的正颌手术规划系统示意图，反映了术后面貌预测算法模型与正颌手术设计算法模型之间的关系。
S702，术后三维头颅牙颌面模型可用于手术导板设计制作，即转移手术规划至实际手术中。
手术导板是转移手术方案至实际手术中的重要方式，手术导板包括截骨导板及牙骨段定位导板，辅助主刀医生完成精准的治疗。手术导板的设计也是基于设计好的颌骨形态来三维设计并打印。如图11是截骨导板。图12基于牙列形态的牙骨段定位导板。图13是3D打印钛板，具有牙骨段定位与坚强内固定的双重作用，基于截骨线附近骨形态设计制作。
S703，术后三维头颅牙颌面模型可用于接入手术导航系统或手术机器人，即通过精准手术治疗，完成颌骨截骨及移动。
将术前及术后的头颅影像输入手术导航系统或手术机器人软件，可以研究导航或机器人辅助下的截骨与牙骨段重新定位，有望获得比人工更精确的手术治疗。
应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (13)

1.一种正颌手术规划方法，其特征在于，该方法包括，
构建正颌手术设计算法，用以预测输出经过正颌手术的患者的术后虚拟三维牙颌面模型；
构建术后面貌预测算法，根据所述术后虚拟三维牙颌面模型及患者术前三维面部图像预测患者的术后三维面貌；
根据对所述术后面貌的客观、主观评价，修改初始设计的正颌手术方案，并获得新的术后面貌预测，依次类推。
2.根据权利要求1所述的正颌手术规划方法，其特征在于，所述正颌手术设计算法还包括对三维牙颌面模型的虚拟截骨，所述正颌手术方案的截骨术式的效果生成在所述三维牙颌面模型上。
3.根据权利要求2所述的正颌手术规划方法，其特征在于，所述三维牙颌面模型的构建方法是，通过患者头颅CT数据、光学牙模、面部三维图像，采用分割和/或配准算法，构建所述三维牙颌面模型。
4.根据权利要求3所述的正颌手术规划方法，其特征在于，所述三维牙颌面模型的构建方法进一步包括，
基于所述头颅CT数据，针对上颅骨、下颌骨、颈椎、舌骨、全部牙齿、面部软组织及下牙槽神经管，分割出不同解剖结构；
生成各个解剖结构在每一个CT数据层面的2D掩模；
根据所有CT数据层面的2D掩模，重建生成头颅三维模型的解剖结构。
5.根据权利要求4所述的正颌手术规划方法，其特征在于，所述三维牙颌面模型的构建方法进一步包括，
将患者的光学牙模的牙冠与根据CT数据重建的牙根进行拼接，构建具有解剖结构的上、下颌全部牙齿结构。
6.根据权利要求5所述的正颌手术规划方法，其特征在于，所述三维牙颌面模型的构建方法进一步包括，
将根据CT数据重建的患者面部软组织数据与患者面部三维数据进行配准，通过配准对患者面部软组织数据进行调整。
7.根据权利要求3所述的正颌手术规划方法，其特征在于，在所述牙颌面模型上标注解剖标志点，根据标注的牙颌面解剖标志点建立的三维测量坐标，表示牙齿、颌骨、面部各解剖结构间的相对位置关系，实现量化的牙颌面空间结构特征。
8.根据权利要求1所述的正颌手术规划方法，其特征在于，所述术后牙颌面模型包括预测的移动后的牙骨段位置，牙骨段位置预测考虑两个因素，一个是满足患者面形恢复的要求，一个是满足患者上下牙列咬合重建的要求。
9.根据权利要求8所述的正颌手术规划方法，其特征在于，所述术后牙颌面模型用于正颌手术导板的涉及制作。
10.根据权利要求8所述的正颌手术规划方法，其特征在于，所述术后牙颌面模型用于接入手术导航系统或者手术机器人。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～10中任一项所述的正颌手术规划方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～10中任一项所述的正颌手术规划方法。
13.一种正颌手术导航系统，其特征在于，所述正颌手术导航系统包括存储器，该存储器存储有正颌手术设计算法、术后面貌预测算法，以及
耦合到所述存储器的处理器，该处理器被配置为执行存储在所述存储器中的程序指令，所述处理器执行以下操作：
通过正颌手术设计算法预测输出正颌手术方案设计，体现为患者的正颌术后虚拟三维牙颌面模型；
通过术后面貌预测算法，根据术后虚拟牙颌面三维模型及患者术前面部三维图像输出预测的患者的术后三维面貌；
根据对所述术后面貌的主观、客观评价，修改初始设计的正颌手术方案，并获得新的术后面貌预测。
CN202310405971.3A 2023-04-17 2023-04-17 正颌手术规划方法、设备、存储介质和手术导航系统 Pending CN116421341A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310405971.3A CN116421341A (zh) 2023-04-17 2023-04-17 正颌手术规划方法、设备、存储介质和手术导航系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310405971.3A CN116421341A (zh) 2023-04-17 2023-04-17 正颌手术规划方法、设备、存储介质和手术导航系统

Publications (1)

Publication Number Publication Date
CN116421341A true CN116421341A (zh) 2023-07-14

Family

ID=87082931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310405971.3A Pending CN116421341A (zh) 2023-04-17 2023-04-17 正颌手术规划方法、设备、存储介质和手术导航系统

Country Status (1)

Country Link
CN (1) CN116421341A (zh)

Similar Documents

Publication Publication Date Title
JP7110120B2 (ja) 歯科修復物の形状、位置及び向きの少なくとも１つの推定方法
US20200350059A1 (en) Method and system of teeth alignment based on simulating of crown and root movement
RU2725280C1 (ru) Приспособления и методы планирования ортодонтического лечения
US20200305808A1 (en) Automated Tooth Localization, Enumeration, and Diagnostic System and Method
CN1998022B (zh) 用来驱动用于正颌手术的治疗计划的方法及其器械
KR101590330B1 (ko) 형상 정보를 얻기 위한 방법
US11734825B2 (en) Segmentation device and method of generating learning model
Koch et al. A framework for facial surgery simulation
CN111274666B (zh) 一种数字化牙齿位姿变化量的设计、模拟排牙方法及装置
CN110147647B (zh) 基于颞下颌关节稳定性的牙颌骨三维数字建模方法
CN109767841B (zh) 一种基于颅颌面三维形态数据库的相似模型检索方法及装置
US10898298B1 (en) Systems and methods for determining orthodontic treatment
CN110236673B (zh) 一种基于数据库的双侧颌骨缺损重建术前设计方法及装置
CN112785609A (zh) 一种基于深度学习的cbct牙齿分割方法
KR102373429B1 (ko) 연조직 기준점 결정 방법 및 시스템, 그리고 수술 후의 보정 연조직 기준점 예측 방법 및 시스템
CN112201349A (zh) 一种基于人工智能的正畸手术方案生成系统
CN111275808B (zh) 一种牙齿正畸模型的建立方法及装置
WO2023179699A1 (zh) 基于面型参数生成颞下颌关节髁突运动包络面方法和装置
US11488305B2 (en) Segmentation device
CN115170531A (zh) 一种下颌阻生智齿图像处理方法及系统
CN116421341A (zh) 正颌手术规划方法、设备、存储介质和手术导航系统
CN114022611B (zh) 单侧正锁合下颌骨功能单元的形态学测量分析系统、方法及应用
CN114463328B (zh) 一种自动化正畸难度系数评估方法
KR20230041560A (ko) 인공신경망 학습을 통한 하치조 신경 추론 장치 및 방법
Van De Lande 3D statistical shape analysis of the face in Apert syndrome

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination