CN115409811A - 基于曲率增强的牙齿模型重建方法、装置、设备和介质 - Google Patents

基于曲率增强的牙齿模型重建方法、装置、设备和介质 Download PDF

Info

Publication number
CN115409811A
CN115409811A CN202211066715.8A CN202211066715A CN115409811A CN 115409811 A CN115409811 A CN 115409811A CN 202211066715 A CN202211066715 A CN 202211066715A CN 115409811 A CN115409811 A CN 115409811A
Authority
CN
China
Prior art keywords
tooth model
tooth
model
curvature
crown
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211066715.8A
Other languages
English (en)
Inventor
沈定刚
方宇
崔智铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShanghaiTech University
Original Assignee
ShanghaiTech University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShanghaiTech University filed Critical ShanghaiTech University
Priority to CN202211066715.8A priority Critical patent/CN115409811A/zh
Publication of CN115409811A publication Critical patent/CN115409811A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明提供一种基于曲率增强的牙齿模型重建方法、装置、设备和介质，通过获取一患者在同一时段的CBCT图像与口内扫描数据；分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。本申请从CBCT图像中生成高质量的牙齿模型。只需要将CBCT图像这一种数据输入到训练好的网络中，就能得到每颗牙齿的高质量牙齿模型。这不仅能提高牙齿正畸的诊疗效率，而且还能应用到数字正畸系统中，快速地为每位病人设计牙齿的排列方案，进而安排具体的牙齿矫正计划。

Description

基于曲率增强的牙齿模型重建方法、装置、设备和介质
技术领域
本发明涉及数字牙齿正畸技术领域。尤其是涉及一种基于曲率增强的牙齿模型重建方法、装置、设备和介质。
背景技术
随着计算机辅助技术的发展，数字牙科系统已广泛应用于牙科医院及诊所进行口腔疾病诊断、临床手术修复、治疗计划拟订和术后治疗评估。在数字牙齿正畸的诊疗过程中，CBCT图像常用于患者牙齿模型的重建，它能同时采集到牙冠和牙根信息。然而，由于CBCT图像的分辨率较低，基于CBCT图像生成的牙冠通常会丢失重要的几何表面细节，不能满足临床精准治疗计划的需要。因此在目前的临床实践中，CBCT图像通常与口内扫描仪捕获的高分辨率口内扫描模型相结合。但扫描并结合两种数据的过程非常耗时，而且受到患者状况和采集设备的影响和限制，经常无法为同一位患者采集这两种成对的数据。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于曲率增强的牙齿模型重建方法、装置、设备和介质，用于解决现有技术中CBCT图像与口内扫描模型的采集与融合存在的不足。
为实现上述目的及其他相关目的，本发明提供一种基于曲率增强的牙齿模型重建方法，所述方法包括：获取一患者在同一时段的CBCT图像与口内扫描数据；分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
于本发明的一实施例中，所述通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型，包括：预估所述牙冠模型与牙齿模型中的对应点，并基于最小二乘法进行迭代计算；计算所述牙冠模型与牙齿模型间顶点的距离，通过去掉距离小于预设值的点以去除牙齿模型中的牙冠部分，并替换为口内扫描数据的牙冠模型；采用泊松表面重建算法填补配准后的牙齿模型的侧面裂缝，以补齐配准后的牙齿模型曲面的缺失部分并形成封闭曲面。
于本发明的一实施例中，所述基于曲率增强隐函数网络包括：实例分割模块，用于从CBCT图像中检测并分割出每颗牙齿的牙齿模型；曲面重建模块，用于基于隐函数的表示方式以重建牙齿模型；曲率增强模块，用于增强牙冠部分局部几何特征的学习。
于本发明的一实施例中，所述基于隐函数的表示方式以重建牙齿模型，包括：将实例分割模块得到的每颗牙齿的牙齿模型和标注的CBCT图像的牙齿模型堆叠到一起，输入到编码器中得到多尺度的特征图；获取多个访问点，并在所述特征图上采样，以得到每个访问点的多尺度特征；将每个访问点的多尺度特征输入到作为分类器的多层感知机中，得到每个访问点在表面内外的二分类，以作为三维形状的隐函数表示。
于本发明的一实施例中，所述方法还包括：训练阶段时在牙齿的表面附近以高斯分布来采样访问点和/或测试阶段时在空间中均匀地获取多个密集的点作为访问点；通过Marching Cubes算法将空间划分为离散的三维体素，在每个三维体素中通过三角面片来提取等值面，以得到完整的显式曲面表示。
于本发明的一实施例中，所述增强牙冠部分局部几何特征的学习，包括：对于配准后的牙齿模型的每个顶点用KNN找到它距离最近的若干访问点；基于各访问点的多尺度特征进行加权平均，以得到各所述顶点的特征；将各所述顶点的特征输入到作为回归器的多层感知机中，以预测各所述顶点的曲率值。
为实现上述目的及其他相关目的，本发明提供一种基于曲率增强的牙齿模型重建装置，所述装置包括：获取模块，用于获取一患者在同一时段的CBCT图像与口内扫描数据；配准模块，用于分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；优化模块，用于基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
为实现上述目的及其他相关目的，本发明提供一种计算机设备，所述设备包括：存储器与处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现如上所述的方法。
为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的方法。
如上所述，本发明的一种基于曲率增强的牙齿模型重建方法、装置、设备和介质，通过获取一患者在同一时段的CBCT图像与口内扫描数据；分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
具有以下有益效果：
本申请从CBCT图像中生成高质量的牙齿模型。只需要将CBCT图像这一种数据输入到训练好的网络中，就能得到每颗牙齿的高质量牙齿模型。这不仅能提高牙齿正畸的诊疗效率，而且还能应用到数字正畸系统中，快速地为每位病人设计牙齿的排列方案，进而安排具体的牙齿矫正计划。
附图说明
图1显示为本发明于一实施例中基于曲率增强的牙齿模型重建方法的流程示意图。
图2显示为本发明于一实施例中基于曲率增强的牙齿模型重建的场景示意图。
图3显示为本发明于一实施例中牙冠模型与牙齿模型配准的场景示意图。
图4显示为本发明于一实施例中基于曲率增强隐函数网络的模型示意图。
图5显示为本发明于一实施例中不同重建结果的对比示意图。
图6显示为本发明于一实施例中基于曲率增强的牙齿模型重建装置的模块示意图。
图7显示为本发明于一实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本申请主要应用于数字牙齿正畸。牙齿正畸是对牙齿施加外力来进行矫正，而根据每位患者不同的情况需要制定不同的诊疗方案，临床上需要考虑的因素有以下几点：第一点是口腔的牙弓曲线，来观察牙齿的排列是否整齐；第二点是牙根与牙槽骨之间的位置关系，确保对牙齿施加的外力不会超出它的生长界限；第三点是上下两排牙齿之间的咬合情况，主要是观察牙齿的牙冠部分，来确保矫正后上下两排牙齿能够很好地咬合。
对于牙齿正畸，需要用到CBCT图像和口内扫描模型这两种模态的数据。但扫描并结合这两种数据比较繁琐和费时，而且受到仪器设备及病人情况的限制，经常无法获取到同一病人成对的两种模态的数据。
为了解决这个问题，本申请主要关注这个问题并提出了一种基于人工智能方法的曲率增强隐函数网络，仅从使用较为广泛的CBCT图像中生成既有牙根信息、又包含具有细粒度牙冠细节的高质量牙齿模型，这对于提高牙齿正畸的诊疗效率非常重要。
如图1所示，展示本发明于一实施例中的基于曲率增强的牙齿模型重建方法的流程示意图。如图所述，所述方法包括：
步骤S101：获取一患者在同一时段的CBCT图像与口内扫描数据。
在数字牙科领域，CBCT图像是一种重要的三维影像数据，在临床上的应用最为广泛。数字牙科系统需要对患者的牙齿和骨骼进行三维模型重建，以实现直接在系统中快速地进行口腔正畸的诊疗方案设计。因此，基于CBCT图像的牙齿识别与实例分割一直是数字牙齿正畸的诊断和治疗中最基本的步骤和最热门的研究课题，已经有许多传统算法通过设计用于从背景组织进行牙齿分割的手工特征来进行探索。目前，研究人员基于人工智能中的深度学习方法，近年来设计了多种新兴的网络模型，也在此基础上取得了稳定和出色的实验结果。在计算机辅助技术中，以CBCT的牙齿分割为基础，可以容易地通过传统的计算机图形学方法，生成牙齿的三维模型。然而由于成像技术和辐射暴露的限制，CBCT图像的空间分辨率相对较低，常见的体素大小在0.2-1.0mm之间，这虽然足够观察到牙齿的完整形状轮廓和牙根特征，但仍不足以观察到牙冠表面精细的几何细节，很难用于判断咬合情况，因此本申请需要设计新的方式来得到高质量牙齿模型。
由于CBCT数据的分辨率较低，通过分割得到的牙冠部分无法达到口内扫描模型的精度，很难判断上下排牙齿的咬合情况。因此在牙齿正畸科，医生通常会将CBCT图像与另一种模态的数据相结合，即口内扫描模型，来观察和分析患者上下颌的咬合关系。
口内扫描仪是一种新兴的探入式光学扫描头，通过投射光源激光或结构光来扫描对象，可以直接在患者的口腔中获取牙齿、牙龈、黏膜等软硬组织的高精度表面三维形状及纹理信息，并通过软件处理生成三维模型。这种直接的数字扫描相比传统的石膏模型和印膜技术，省去了大量繁琐的传统步骤，降低了人力成本和材料的消耗，显著地简化了临床操作流程并提高了效率，还可以实现利用计算机辅助进行模型分析、修复体制作和治疗设计等。近年来，口内扫描仪因其高效和便利性得到了一定的推广使用，基于口内扫描模型的牙冠实例分割也取得了一定的进展。
对于这两种模态的数据，CBCT图像通过多年的发展已得到较为广泛的使用，它能同时采集到牙根和牙冠信息，但它的分辨率较低，因此很难去观察牙冠部分的细节去判断咬合关系，所以临床上就可以结合口内扫描模型得到的精细牙冠作为补充。
需要说明的是，由于两种数据采集自不同厂商的设备，结合时容易存在空间位置不对齐的问题。因此，本申请需要这两种成对的数据是同一时间段对同一位患者采集的。
如图2所示，展示为本申请于一实施例中基于曲率增强的牙齿模型重建的场景示意图。如图所示展示了本申请所要解决的目标，即仅从CBCT图像生成高质量牙齿模型。本申请的方案是使用口内扫描模型中获得的高精度牙冠模型，来引导网络从CBCT图像中生成高质量牙齿模型，进而能在此基础上直接为每位病人设计牙齿的排列方案，进而安排具体的矫正计划和设计矫正器。
步骤S102：分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型。
由于CBCT图像和口内扫描数据是同一时间段对同一位患者采集的，牙齿之间保持了刚性的状态，因此本申请通过刚性ICP算法进行配准，把来自口内扫描数据的牙冠模型配准到CBCT的牙齿模型上。
如图3所示，展示为本申请于一实施例中牙冠模型与牙齿模型配准的场景示意图。如图所示，本申请结合CBCT图像和口内扫描数据的方法，以此构建高精度牙齿模型来监督网络训练。整个构建过程由三个步骤组成。
首先，对于成对的CBCT图像及口内扫描模型，在CBCT图像上标注牙齿模型，并在口内扫描模型上标注牙冠模型。
然后，应用刚性ICP算法将牙冠模型配准到牙齿模型上，从而对齐这两个模型。
最后，去除从CBCT图像中获取的牙齿模型的牙冠部分，并使用泊松表面重建算法将其剩余的牙根部分与从口内扫描模型中提取的牙冠模型合并。通过这种方式，最终生成的牙齿模型就能同时具有牙根信息和高质量的牙冠细节，可以用于监督网络的训练。
于本申请一实施例中，所述通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型，包括：
A、预估所述牙冠模型与牙齿模型中的对应点，并基于最小二乘法进行迭代计算；
B、计算所述牙冠模型与牙齿模型间顶点的距离，通过去掉距离小于预设值的点以去除牙齿模型中的牙冠部分，并替换为口内扫描数据的牙冠模型；
C、采用泊松表面重建算法填补配准后的牙齿模型的侧面裂缝，以补齐配准后的牙齿模型曲面的缺失部分并形成封闭曲面。
于本实施例中，ICP配准首先估计两个模型中的对应点，再基于最小二乘法进行迭代计算。配准后，需要把CBCT牙齿模型上的牙冠部分替换为口内扫描模型的牙冠模型，具体来说是通过计算这两个模型间顶点的距离，去掉距离较近的点，来去除CBCT牙齿模型的牙冠部分。这样在牙齿的侧面会有一条裂缝，因此最后本申请采用了泊松表面重建算法填补上了这条裂缝。泊松表面重建是一种基于隐函数的重建方法，将曲面离散的样本点转化为连续可积的表面函数，从而能补齐曲面的缺失部分并形成封闭曲面。这样最终就合成了本申请需要的高质量牙齿模型。
步骤S103：基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
为了有效地表示高质量牙齿模型中精细的三维形状，本申请选用了隐函数作为其表示方式。它定义在连续空间中，能够表示任意分辨率的三维形状，而且可以用于学习不同拓扑结构的精细曲面。它主要是对于空间中的任意三维坐标点，判断该坐标点是在曲面内还是在曲面外，通过对坐标进行二分类的方式来隐式地表示曲面。只要在连续的空间中取足够多的点去做这种二分类判断，就能逐渐地在空间中生成界限，从而隐式地形成曲面。因此，隐函数网络对于形状恢复、形状补全和超分辨率重建都取得了出色的性能，其中一项开创性的经典工作是通过深度神经网络学习有符号距离场(SDF)，可以通过测量点到形状表面的距离来约束生成的几何形状。研究人员随后还提出了一种改进的隐函数网络来预测多尺度特征的连续输出。尽管这些方法已经在三维的合成数据集上体现了出色的性能，但用于重建真实数据中精细复杂的几何形状仍然非常具有挑战性，尤其是我们的高质量牙齿模型中的牙冠部分。
于本申请一实施例中，所述基于曲率增强隐函数网络包括：
实例分割模块，用于从CBCT图像中检测并分割出每颗牙齿的牙齿模型；
曲面重建模块，用于基于隐函数的表示方式以重建牙齿模型；
曲率增强模块，用于增强牙冠部分局部几何特征的学习。
如图4所示，展示为本申请于一实施例中基于曲率增强隐函数网络的模型示意图。如图所示，网络结构主要包含三个部分，包括：1)实例分割模块，用于从CBCT图像中检测并分割出每颗牙齿，2)曲面重建模块，基于隐函数的表示方式生成高质量的牙齿模型，3)曲率增强模块，增强网络对于牙冠部分局部几何细节的学习。图中的实线箭头表示训练和测试的流程，虚线箭头仅用于训练。使用足量的成对数据训练好该网络后，在测试或者使用阶段，我们仅需输入CBCT图像就能重建出高质量的牙齿模型。
具体来说，本申请的目标是只从CBCT图像中生成高质量牙齿模型，为此设计的网络结构主要分为三个模块。
第一部分是实例分割模块，首先对CBCT图像做牙齿的实例分割，具体来说本申请先检测出每颗牙齿的位置，然后再对每颗牙齿进行分割。
第二部分是曲面重建模块，这部分的设计受隐函数网络的启发。
于本申请一实施例中，所述基于隐函数的表示方式以重建牙齿模型，包括：
A、将实例分割模块得到的每颗牙齿的牙齿模型和标注的CBCT图像的牙齿模型堆叠到一起，输入到编码器中得到多尺度的特征图；
B、获取多个访问点，并在所述特征图上采样，以得到每个访问点的多尺度特征；
C、将每个访问点的多尺度特征输入到作为分类器的多层感知机中，得到每个访问点在表面内外的二分类，以作为三维形状的隐函数表示。
具体来说，本申请把实例分割模块得到的每颗牙齿的图片和标注的CBCT图像的牙齿模型堆叠到一起，输入到编码器中得到多尺度的特征图。然后在连续空间中取一些访问点，把这些点在得到的特征图上采样，得到每个点的多尺度特征。最后把每个点的多尺度特征输入到作为分类器的多层感知机中，得到每个点在表面内外的二分类，作为三维形状的隐函数表示。
于本申请一实施例中，所述方法还包括：
A、训练阶段时在牙齿的表面附近以高斯分布来采样访问点和/或测试阶段时在空间中均匀地获取多个密集的点作为访问点；
B、通过Marching Cubes算法将空间划分为离散的三维体素，在每个三维体素中通过三角面片来提取等值面，以得到完整的显式曲面表示。
其中，对于访问点的采样，本申请在训练阶段会在牙齿的表面附近以高斯分布来采样访问点，希望点分布在牙齿表面，特别是在牙冠表面附近；而在测试阶段就在空间中均匀地取一些密集的点，然后通过Marching Cubes算法来得到显式曲面，也就是本申请希望得到的高质量牙齿模型。
本申请所述的Marching Cubes是一种三维面绘制算法，将空间划为离散的三维体素，在每个体素中通过三角面片来提取等值面，最后得到完整的曲面表示。我们通过这两个模块，就能得到牙齿模型的初步重建结果。
在实验研究中，本申请发现牙冠表面的几何细节非常丰富。如果只通过表面内外二分类的方式去学习，得到的牙齿模型在牙冠的曲面还是缺乏一些几何特征，比如表面局部的形状变化。因此本申请设计了网络的第三部分，曲率增强模块。
第三部分是曲率增强模块，曲率在三维曲面上是一种很重要的几何特征，可以表示局部的弯曲程度和形状变化。而本申请最为关注的牙冠部分就有这种非常丰富的形状变化，因此我们想针对这一点设计网络，让它在训练时能有效地学习到曲率这个特征。
于本申请一实施例中，所述增强牙冠部分局部几何特征的学习，包括：
A、对于配准后的牙齿模型的每个顶点用KNN找到它距离最近的若干访问点；
B、基于各访问点的多尺度特征进行加权平均，以得到各所述顶点的特征；
C、将各所述顶点的特征输入到作为回归器的多层感知机中，以预测各所述顶点的曲率值。
具体来说，对于真实模型上的每个顶点，本申请用KNN找到它距离最近的几个访问点，基于他们的多尺度特征做加权平均，来得到这个顶点的特征。然后将这个特征输入到作为回归器的多层感知机中，预测各所述顶点的曲率值。本申请希望通过这个模块来加强曲面重建的训练，让网络能学习到牙冠上更精细的局部变化和几何细节，这样重建得到的牙齿模型就能有更精细的牙冠细节。
如图5所示，展示为不同重建结果的对比示意图。如图所示，以三颗牙齿为例展示了其重建结果，第一列为基于CBCT图像的手工标注，第二列为基于CBCT图像的牙齿分割结果，第三及第四列为其他隐函数网络的表面重建结果，第五列为本申请设计的方法的重建结果，最后一列为结合CBCT图像和口内扫描模型的高质量牙齿模型。从图中可以发现，基于CBCT的牙齿标注可以生成基本牙齿形状，但由于CBCT图像的分辨率有限，很多牙冠上的细节无法观察或进行精确的标注。对于基于隐函数的表面重建方法，可以观察到OccNet基于坐标学习产生的牙齿表面过于光滑，只能重建出整体的大致形状；IFNet使用多尺度特征提取，可以产生更具有细粒度的表面，然而由于CBCT图像和牙齿模型之间的域间隙较大，重建结果中存在许多噪声。
值得注意的是，本申请设计的方法的重建结果都与高质量牙齿模型更加匹配，其中无论是整体的形状还是牙冠表面的局部几何细节都可以很好地重建，表明了本申请设计的重建方法的有效性。
整体来说，本申请提出了一种曲率增强的隐函数网络，用于从CBCT图像中生成高质量的牙齿模型。只需要将CBCT图像这一种数据输入到训练好的网络中，就能得到每颗牙齿的高质量牙齿模型。这不仅能提高牙齿正畸的诊疗效率，而且还能应用到数字正畸系统中，快速地为每位病人设计牙齿的排列方案，进而安排具体的牙齿矫正计划。
如图6所示，展示本发明于一实施例中的基于曲率增强的牙齿模型重建装置的模块示意图，如图所示，所述基于曲率增强的牙齿模型重建装置600包括：
获取模块601，用于获取一患者在同一时段的CBCT图像与口内扫描数据；
配准模块602，用于分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；
优化模块603，用于基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
可以理解的是，所述装置600通过各模块的运行，能够实现如图1所述的基于曲率增强的牙齿模型重建方法。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，优化模块603可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上优化模块603的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图7所示，展示本发明于一实施例中的计算机设备的结构示意图，如图所示，所述计算机设备700包括：存储器701、及处理器702。所述存储器701存储有计算机程序，所述处理器702执行所述计算机程序序实现如图1所述的基于曲率增强的牙齿模型重建方法。
所述存储器701可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
所述处理器702可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
于本发明的一实施例中，一种计算机可读存储介质，其上存储有数据传输程序，该数据传输程序被处理器执行时实现如图1所述的基于曲率增强的牙齿模型重建方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的图像处理程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
这些计算机程序程序也可装载到计算机或其他可编程数据处理设备上，使在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
综上所述，本发明提供一种基于曲率增强的牙齿模型重建方法、装置、设备和介质，可有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种基于曲率增强的牙齿模型重建方法，其特征在于，所述方法包括：
获取一患者在同一时段的CBCT图像与口内扫描数据；
分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；
基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
2.根据权利要求1所述的基于曲率增强的牙齿模型重建方法，其特征在于，所述通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型，包括：
预估所述牙冠模型与牙齿模型中的对应点，并基于最小二乘法进行迭代计算；
计算所述牙冠模型与牙齿模型间顶点的距离，通过去掉距离小于预设值的点以去除牙齿模型中的牙冠部分，并替换为口内扫描数据的牙冠模型；
采用泊松表面重建算法填补配准后的牙齿模型的侧面裂缝，以补齐配准后的牙齿模型曲面的缺失部分并形成封闭曲面。
3.根据权利要求1所述的基于曲率增强的牙齿模型重建方法，其特征在于，所述基于曲率增强隐函数网络包括：
实例分割模块，用于从CBCT图像中检测并分割出每颗牙齿的牙齿模型；
曲面重建模块，用于基于隐函数的表示方式以重建牙齿模型；
曲率增强模块，用于增强牙冠部分局部几何特征的学习。
4.根据权利要求3所述的基于曲率增强的牙齿模型重建方法，其特征在于，所述基于隐函数的表示方式以重建牙齿模型，包括：
将实例分割模块得到的每颗牙齿的牙齿模型和标注的CBCT图像的牙齿模型堆叠到一起，输入到编码器中得到多尺度的特征图；
获取多个访问点，并在所述特征图上采样，以得到每个访问点的多尺度特征；
将每个访问点的多尺度特征输入到作为分类器的多层感知机中，得到每个访问点在表面内外的二分类，以作为三维形状的隐函数表示。
5.根据权利要求4所述的基于曲率增强的牙齿模型重建方法，其特征在于，所述方法还包括：
训练阶段时在牙齿的表面附近以高斯分布来采样访问点和/或测试阶段时在空间中均匀地获取多个密集的点作为访问点；
通过Marching Cubes算法将空间划分为离散的三维体素，在每个三维体素中通过三角面片来提取等值面，以得到完整的显式曲面表示。
6.根据权利要求4所述的基于曲率增强的牙齿模型重建方法，其特征在于，所述增强牙冠部分局部几何特征的学习，包括：
对于配准后的牙齿模型的每个顶点用KNN找到它距离最近的若干访问点；
基于各访问点的多尺度特征进行加权平均，以得到各所述顶点的特征；
将各所述顶点的特征输入到作为回归器的多层感知机中，以预测各所述顶点的曲率值。
7.一种基于曲率增强的牙齿模型重建装置，其特征在于，所述装置包括：
获取模块，用于获取一患者在同一时段的CBCT图像与口内扫描数据；
配准模块，用于分别标注CBCT图像的牙齿模型和口内扫描数据的牙冠模型，通过刚性ICP算法将口内扫描数据的牙冠模型配准到CBCT图像的牙齿模型；
优化模块，用于基于曲率增强隐函数网络精细配准后的牙齿模型中牙冠的三维形状，以供得到高质量牙齿模型。
8.一种计算机设备，其特征在于，所述设备包括：存储器与处理器；所述存储器存储有计算机程序，所述处理器执行所述计算机程序实现如权利要求1-6中任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-6中任意一项所述的方法。
CN202211066715.8A 2022-09-01 2022-09-01 基于曲率增强的牙齿模型重建方法、装置、设备和介质 Pending CN115409811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211066715.8A CN115409811A (zh) 2022-09-01 2022-09-01 基于曲率增强的牙齿模型重建方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211066715.8A CN115409811A (zh) 2022-09-01 2022-09-01 基于曲率增强的牙齿模型重建方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN115409811A true CN115409811A (zh) 2022-11-29

Family

ID=84163822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211066715.8A Pending CN115409811A (zh) 2022-09-01 2022-09-01 基于曲率增强的牙齿模型重建方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN115409811A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830287A (zh) * 2023-02-20 2023-03-21 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质
CN117670956A (zh) * 2023-12-07 2024-03-08 北京瑞医博科技有限公司 牙齿边界的自动提取方法、图像矫正方法及牙齿治疗系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830287A (zh) * 2023-02-20 2023-03-21 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质
CN115830287B (zh) * 2023-02-20 2023-12-12 汉斯夫(杭州)医学科技有限公司 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质
CN117670956A (zh) * 2023-12-07 2024-03-08 北京瑞医博科技有限公司 牙齿边界的自动提取方法、图像矫正方法及牙齿治疗系统

Similar Documents

Publication Publication Date Title
US11651494B2 (en) Apparatuses and methods for three-dimensional dental segmentation using dental image data
US11735306B2 (en) Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches
Zanjani et al. Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans
CN112200843B (zh) 一种基于超体素的cbct与激光扫描点云数据牙齿配准方法
CN115409811A (zh) 基于曲率增强的牙齿模型重建方法、装置、设备和介质
CN107203998B (zh) 一种对锥束ct图像进行牙列分割的方法
CN113223010B (zh) 口腔图像多组织全自动分割的方法和系统
KR20190044067A (ko) 하이브리드 메시 세분화를 위한 방법 및 시스템
KR20190037241A (ko) 치열 메시 브레이스 제거를 위한 방법 및 시스템
CN108648283B (zh) 牙齿分割方法及装置
Tian et al. Efficient computer-aided design of dental inlay restoration: a deep adversarial framework
CN115619773B (zh) 一种三维牙齿多模态数据配准方法及系统
CN112515787B (zh) 一种三维牙颌数据分析方法
US20240058105A1 (en) Augmentation of 3d surface of dental site using 2d images
Chen et al. Hierarchical CNN-based occlusal surface morphology analysis for classifying posterior tooth type using augmented images from 3D dental surface models
Du et al. Mandibular canal segmentation from CBCT image using 3D convolutional neural network with scSE attention
Tian et al. Efficient tooth gingival margin line reconstruction via adversarial learning
Ben-Hamadou et al. 3DTeethSeg'22: 3D Teeth Scan Segmentation and Labeling Challenge
Kim et al. Automatic registration of dental CT and 3D scanned model using deep split jaw and surface curvature
Chen et al. Quantification of tooth displacement from cone-beam computed tomography images
CN116524118B (zh) 基于三维牙齿cbct数据和口腔扫描模型的多模态渲染方法
WO2024097286A1 (en) Method, system, and computer program for generating 3d models of dentures in occlusion conditions
Li et al. A fine-grained orthodontics segmentation model for 3D intraoral scan data
Dhar et al. Automatic tracing of mandibular canal pathways using deep learning
US20240144598A1 (en) Method, system, and computer program for generating 3d models of dentures in occlusion conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination