CN116468848A - 三维牙齿模型重建方法、装置、电子设备和存储介质 - Google Patents

三维牙齿模型重建方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116468848A
CN116468848A CN202310220596.5A CN202310220596A CN116468848A CN 116468848 A CN116468848 A CN 116468848A CN 202310220596 A CN202310220596 A CN 202310220596A CN 116468848 A CN116468848 A CN 116468848A
Authority
CN
China
Prior art keywords
image
tooth
model
instance
segmentation image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310220596.5A
Other languages
English (en)
Inventor
刘昱
刘洪澎
李小辉
王利峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yake Wisdom Beijing Technology Co ltd
Original Assignee
Yake Wisdom Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yake Wisdom Beijing Technology Co ltd filed Critical Yake Wisdom Beijing Technology Co ltd
Priority to CN202310220596.5A priority Critical patent/CN116468848A/zh
Publication of CN116468848A publication Critical patent/CN116468848A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明提供一种三维牙齿模型重建方法、装置、电子设备和存储介质，该方法包括：获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。本发明能够将扫描精度较高却缺少牙根模型的第一实例分割图像与包含牙冠、牙根但牙冠扫描精度较低的第二实例分割图像进行自动配准和拼接，得到目标口腔区域中每颗牙齿的完整且准确的三维模型，为医生诊断牙根位置提供的准确的参考信息，提高了诊断效率。

Description

三维牙齿模型重建方法、装置、电子设备和存储介质
技术领域
本发明涉及医学影像处理技术领域，尤其涉及一种三维牙齿模型重建方法、装置、电子设备和存储介质。
背景技术
在口腔医学中，三维牙齿模型重建是牙科患者临床评估的重要诊断辅助手段。获取完整且准确的三维牙齿模型对于临床诊断、方案制定和医患沟通具有重要意义。例如在牙齿矫正和重新排列过程中，如果仅参考牙冠信息而不考虑牙根位置，便难以判断由于牙齿移动可能导致的牙根碰撞和对下颌神经管的损伤，这可能导致面瘫、骨吸收或皮质骨的开窗等严重治疗后遗症。
目前常见的三维牙齿模型重建方法主要有CBCT(Cone Beam CT，锥形束计算机断层成像术)成像和口腔扫描成像(简称口扫成像)。
CBCT成像是通过发射扇形X射线束穿过牙齿，获取牙齿内部各个截断面上的图像切片，然后堆叠这些切片以获得牙齿的3D表示。CBCT成像方法速度快，但扫描精度低，约为100-200μm，并且还会受到金属伪影的影响使得图像失真，导致对于牙冠采集到的CBCT图像保真度不足。
对于牙冠3D图像的采集通常使用口扫成像，口扫成像是通过三维光学扫描设备例如蓝色发光二极管、蓝色激光技术等采集单个位置的三维点云数据，然后在口内相机移动过程中，不断将不同位置采集到的三维点云数据拼接，最终形成完整的三维数据模型。口扫模型精度高，目前最高可达6.9μm。然而，三维光学扫描设备只能采集口腔内部的表面信息(得到的模型称为口扫模型)，仅可用于进一步分离得到精确的牙冠和牙龈软组织信息，无法获取牙齿内部结构信息，例如牙根的位置形状。
综上所述，目前的牙齿建模方案中，牙冠和牙龈软组织信息可通过精准的口腔光学扫描数据进行三维重建，而牙根的位置形状仅可通过CBCT成像获取，可见，目前的口腔三维重建还不能得到完整且准确的牙齿整体模型。
发明内容
本发明提供一种三维牙齿模型重建方法、装置、电子设备和存储介质，用以解决现有技术中牙齿3D模型不完整或完整牙齿扫描图像扫描精度不足的缺陷，实现获取完整且准确的牙根、牙冠整体模型。
本发明提供一种三维牙齿模型重建方法，包括：
获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；所述目标口腔区域中包括至少一颗牙齿；
基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线；
基于所述牙根牙冠分割线，将所述第二实例分割图像分割为第二牙冠模型和第二牙根模型；
将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型。
根据本发明提供的一种三维牙齿模型重建方法，所述第一实例分割图像是按照如下步骤得到的，包括：
采集针对目标口腔区域的预处理后的口扫数据；
将所述预处理后的口扫数据输入第一神经网络模型中，得到所述第一神经网络模型输出的关于各颗牙齿的所述第一实例分割图像；
所述第一神经网络模型是利用口扫训练样本及其对应的第一分割标记，对基于PointNet网络结构改进的神经网络模型进行训练后得到的。
根据本发明提供的一种三维牙齿模型重建方法，所述第二实例分割图像是按照如下步骤得到的，包括：
采集针对所述目标口腔区域的预处理后的CBCT数据；
将所述CBCT数据输入第二神经网络模型中，得到所述第二神经网络模型输出的关于各颗牙齿的所述第二实例分割图像；
所述第二神经网络模型是利用CBCT训练样本及其对应的第二分割标记，对V-Net神经网络模型进行训练后得到的。
根据本发明提供的一种三维牙齿模型重建方法，所述基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线，包括：
计算所述第一实例分割图像中所有牙齿实例的边缘点，得到第一边缘点集；
将所述第一实例分割图像与所述第二实例分割图像进行配准，计算所述第一边缘点集中的每个点在所述第二实例分割图像上对应的最近对应点，得到第二边缘点集；
以所述第二边缘点集构成的连线作为所述牙根牙冠分割线。
根据本发明提供的一种三维牙齿模型重建方法，所述基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，包括：
基于预设标记点，调整第二实例分割图像的位置，以使所述第一实例分割图像上的第一参考点集与所述第二实例分割图像上的第二参考点集之间的平均距离最小，得到粗配准后的结果；所述预设标记点为所述第一实例分割图像与颌骨模型上对应的固定点；
在所述粗配准后的结果上搜索所述第一实例分割图像与所述第二实例分割图像之间的最邻近点对，调整所述第二实例分割图像的位置，以使所述第一实例分割图像与所述第二实例分割图像上的最邻近点对之间的距离满足预设误差条件。
根据本发明提供的一种三维牙齿模型重建方法，所述将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型，包括：
依次在所述第一实例分割图像中第一边缘点集中的每个点与所述第二牙根模型中第二边缘点集中的对应点之间建立新三角面片，得到所述目标口腔区域中每颗牙齿的完整牙齿三维模型。
本发明还提供一种三维牙齿模型重建装置，包括：
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述三维牙齿模型重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述三维牙齿模型重建方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述三维牙齿模型重建方法。
本发明提供的三维牙齿模型重建方法、装置、电子设备和存储介质，通过获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；目标口腔区域中包括至少一颗牙齿；基于第一实例分割图像与第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。本发明能够将扫描精度较高却缺少牙根模型的第一实例分割图像与包含牙冠、牙根但牙冠扫描精度较低的第二实例分割图像进行自动配准和拼接，得到目标口腔区域中每颗牙齿的完整且准确的三维模型，为医生诊断牙根位置提供的准确的参考信息，提高了诊断效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的三维牙齿模型重建方法的应用环境示意图；
图2是本发明提供的三维牙齿模型重建方法的流程示意图；
图3是第一实例分割图像中的单颗牙齿的牙冠三维示意图；
图4是第二实例分割图像中的单颗牙齿的牙根三维示意图；
图5是第二实例分割图项经过分割后的单颗牙齿的牙根和牙冠三维示意图；
图6是经过缝补后的单颗牙齿完整三维示意图；
图7为经过缝补重建后的目标口腔区域中全部牙齿的完整三维示意图；
图8为包含第一分割标记的口扫模型；
图9为包含第二分割标记的CBCT模型；
图10是本发明提供的三维牙齿模型重建装置的结构示意图；
图11是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合图1-图11描述本发明的具体实施方式。
本申请实施例提供的三维牙齿模型重建方法，可以应用于如图1所示的应用环境中。其中，终端101通过网络与服务器102进行通信。数据存储系统可以存储服务器102需要处理的数据。数据存储系统可以集成在服务器102上，也可以放在云上或其他网络服务器上。其中，终端101可以但不限于是各种口腔图像采集设备，例如三维光学扫描设备或CBCT扫描设备等。服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种三维牙齿模型重建方法，以该方法应用于图1中的服务器102为例进行说明，包括以下步骤：
步骤201，获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；所述目标口腔区域中包括至少一颗牙齿；
其中，目标口腔区域是指需要获取牙齿三维图像的口腔区域，例如可以是整个口腔的上下排牙齿或单排牙齿，还可以是部分牙齿区域，该目标口腔区域至少包括一颗牙齿。实例分割图像是指对一副图像中的感兴趣目标进行边缘检测并将各个目标的边缘标记出来后的图像，用以区分图像中不同的目标对象，例如对包含多颗牙齿的图像进行实例分割后得到了包含每颗牙齿轮廓分割线的图像，即为实例分割图像。
具体地，服务器102获取对目标口腔区域的第一实例分割图像和第二实例分割图像，其中，第一实例分割图像为利用口扫数据进行实例分割后的图像，由于口扫数据为口腔内部的表面信息，利用口扫数据进行实例分割后的图像基本是牙冠实例图像。第二实例分割图像为利用CBCT数据进行实例分割后的图像，为包含各个整颗牙齿的CBCT实例分割图像。
步骤202，基于上述第一实例分割图像和第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线。
其中，配准是指将不同来源、不同角度得到的同一物体的模型放在同一坐标系下进行调整，使得这两个模型或多个模型中，具有相同几何特征或相同属性的部分在相同坐标系下的坐标值也一致的过程。
具体地，由于第一实例分割图像以及第二实例分割图像上都已经包含了每颗牙齿的轮廓线，尤其是第一实例分割图像上均为牙冠部分，如图3所示，图3中展示了第一实例分割图像上单颗牙齿的边缘轮廓，因此很容易在第一实例分割图像上得知牙冠与牙根之间的分割线。因此，本发明首先将第一实例分割图像与第二实例分割图像进行配准，基于牙冠模型(即第一实例分割图像)上的边缘点，进一步推算得到第二实例分割图像上的对应边缘点，将第二实例分割图像上的对应边缘点连接后得到牙根牙冠分割线。
步骤203，基于上述牙根牙冠分割线，将上述第二实例分割图像分割为第二牙冠模型和第二牙根模型；
其中，第二牙冠模型中包括CBCT图像中各颗牙齿的牙冠部分，第二牙根模型包括CBCT图像中各颗牙齿的牙根部分，如图4所示。
具体地，在上述第二实例分割图像(即CBCT实例分割图像)上基于上述牙根牙冠分割线，将每颗牙齿分割为牙冠部分和牙根部分，如图5所示；目标口腔区域中全部牙齿的牙冠部分构成第二牙冠模型，全部牙齿的牙根部分构成第二牙根模型。
步骤204，将上述第一实例分割图像与上述第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。
具体地，将上述第一实例分割图像(即目标口腔区域的口扫分割图像，仅包含牙冠部分)与上述分割得到的第二牙根模型进行缝补拼接，得到目标口腔区域的完整牙齿三维模型，如图6和图7所示，图6为经过缝补后的单颗牙齿的完整三维示意图；图7为经过缝补重建后的目标口腔区域中全部牙齿的完整三维示意图。
上述实施例，通过获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；目标口腔区域中包括至少一颗牙齿；基于第一实例分割图像与第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。本实施例能够将扫描精度较高却缺少牙根模型的第一实例分割图像与包含牙冠、牙根但牙冠扫描精度较低的第二实例分割图像进行自动配准和拼接，得到目标口腔区域中每颗牙齿的完整且准确的三维模型，为医生诊断牙根位置提供的准确的参考信息，提高了诊断效率。
在一实施例中，上述第一实例分割图像是按照如下步骤得到的，包括：采集针对目标口腔区域的预处理后的口扫数据，将预处理后的口扫数据输入第一神经网络模型中的，得到第一神经网络模型输出的关于各颗牙齿的第一实例分割图像；上述第一神经网络模型是利用口扫训练样本及其对应的第一分割标记，对基于PointNet网络结构改进的神经网络模型进行训练后得到的。
其中，PointNet网络是一种直接处理点云的新型神经网络，在本发明中，可利用PointNet网络对口扫数据(也即点云数据)进行实例分割。
具体地，首先针对目标口腔区域采集到的原始点云数据进行预处理，预处理包括修剪，即将原始点云数据导入Geomagic进行修剪，删除多余的粘膜部分和错误扫描部分，以及删除智齿部分(由于智齿扫描不完全)，得到整齐的口扫模型(即预处理后的口扫数据)；然后将预处理后的口扫数据输入训练后的第一神经网络模型中，得到第一神经网络模型输出的关于各颗牙齿的第一实例分割图像，即第一实例分割图像上包含有各颗牙齿的轮廓分割线。
上述第一神经网络模型是利用口扫训练样本及其对应的第一分割标记，对基于PointNet网络结构改进的神经网络模型进行训练后得到的。具体地，本实施例中，口扫训练样本采用A医院提供的130个病人的口扫模型(每个口扫模型都包括上下颌口扫数据)，口扫数据使用3D扫描仪(3Shape，精度6.9μm)采集得到并导出为标准三角语言(stereolithography，STL)格式的3D数字化模型，并且将样本集随机划分为训练集、验证集和测试集3类，同时删除患者的所有个人信息；由于每个口扫模型均包含300,000个以上的三角面片，无法在深度学习的训练和测试阶段直接使用这样精细的模型，会导致显卡显存不足，出现计算过慢甚至无法进行训练等问题，因此需要在保持拓扑结构的前提下简化为包含6,000个三角面片的简化口扫模型；另外，在经验丰富的牙医指导下，在每个简化口扫模型通过软件程序标注为包含不同位置牙齿以及牙龈共15类实例，每类实例使用分割标记进行区分，统称为第一分割标记，如图8所示。将上述预处理后的口扫训练样本输入基于PointNet网络结构改进的神经网络模型，并将各个口扫训练样本对应的已经标注的实例作为标签对基于PointNet网络结构改进的神经网络模型进行有监督训练，得到训练后的第一神经网络模型。
上述实施例，通过对目标口腔区域的预处理后的口扫数据进行分割得到第一实例分割图像，为后续得到完整而准确的牙齿三维模型提供数据基础。进一步地，通过预处理后的口扫数据对基于PointNet网络结构改进的神经网络模型进行训练得到训练后的第一神经网络模型，为后续实现口扫模型的实例分割提供前提条件。
在一实施例中，上述第二实例分割模型是按照如下步骤得到的，包括：采集针对目标口腔区域的预处理后的CBCT数据；将CBCT数据输入第二神经网络模型中，得到第二神经网络模型输出的关于各颗牙齿的第二实例分割图像；第二神经网络模型是利用CBCT训练样本及其对应的第二分割标记，对V-Net神经网络模型进行训练后得到的。
其中，V-Net神经网络模型是是基于全卷积神经网络设计的3D图像分割网络。
具体地，采集针对目标口腔区域的原始CBCT数据，将原始CBCT数据输入训练后的第二神经网络模型得到第二实例分割图像。其中，训练后的第二神经网络模型通过如下方式得到的：和上述对口扫数据对应地，本发明采集的原始CBCT数据是与上述口扫数据一致的患者的数据，即A医院提供的130个病人的CBCT数据，同样被分为训练集、验证集和测试集3类。原始CBCT数据由HighRes3D生产的CBCT扫描仪获得，采用MONOCHROME2成像标准。每个CBCT数据集由多个二维CBCT切片组成，DICOM文件格式。宽度和高度均为640像素。切片数为320像素。此外，体素的物理尺寸在宽度、高度和深度方面相同，体素间距均为0.25mm。对于CBCT训练样本的标记过程是：需要再获得上述口扫数据的实例分割结果(即牙冠样本分割结果)后，将牙冠样本分割结果与从相应的CBCT数据中重建得到的表面模型进行配准，利用配准得到的位置对应关系获取包含单颗牙的局部CBCT数据，每个局部CBCT数据的大小为144*96*96，在这样的数据上进行手动标记，得到包含第二分割标记的CBCT数据，如图9所示，用于后续深度学习的训练。将预处理后的CBCT训练数据输入V-Net神经网络模型，并利用包含第二分割标记的CBCT数据作为标签对V-Net神经网络模型进行有监督训练，得到训练后的神经网络模型。
上述实施例，通过对目标口腔区域的预处理后的CBCT数据进行分割得到第二实例分割图像，为后续得到完整而准确的牙齿三维模型提供数据基础。进一步地，通过预处理后的CBCT数据对V-Net神经网络模型进行训练得到训练后的第一神经网络模型，为后续实现CBCT数据的实例分割提供前提条件
在一实施例中，上述步骤202，包括：计算第一实例分割图像中所有牙齿实例的边缘点，得到第一边缘点集Aset；将第一实例分割图像与第二实例分割图像进行配准，计算第一边缘点集Aset中的每个点在配准后的第二实例分割图像上对应的最近对应点，得到第二边缘点集Bset；以第二边缘点集Bset构成的连线作为牙根牙冠分割线。
具体地，计算第一实例分割图像(即基于口扫数据得到的牙冠分割模型)中的所有牙齿实例的边缘点，得到第一边缘点集Aset；将第一实例分割图像(牙冠分割模型)与第二实例分割图像(CBCT分割模型)进行配准，在配准后的图像上，计算第一边缘点集Aset中的每个点在配准后的第二实例分割图像上对应的最近对应点，得到第二边缘点集Bset，以第二边缘点集Bset构成的连线作为牙根牙冠分割线。
上述实施例，通过将第一实例分割图像与第二实例分割图像进行配准后，对应得到牙根牙冠分割线，能够为后续对CBCT数据进行分割得到准确的牙根三维图像提供参考依据。
在一实施例中，上述步骤202包括：基于预设标记点，调整第二实例分割图像的位置，以使第一实例分割图像上的第一参考点集与第二实例分割图像上的第二参考点集之间的平均距离最小，得到粗配准后的结果；预设标记点为第一实例分割图像与颌骨模型上对应的固定点；在粗配准后的结果上搜索第一实例分割图像与第二实例分割图像之间的最邻近点，调整第二实例分割图像的位置，以使第一实例分割图像与第二实例分割图像上的最邻近点满足预设误差函数。
其中，预设标记点是第一实例分割图像与颌骨模型上对应的固定点；
具体地，本发明首先使用marchingcubes算法将第二实例分割图像(即CBCT分割图像)重建为三角面片模型，然后分别在第一实例分割图像(即口扫分割图像)与重建的颌骨模型选取位置对应的三个点作为预设标记点；然后，应用landmark方法进行粗配准：基于预设标记点，调整第二实例分割图像的位置，以使第一实例分割图像上的第一参考点集与第二实例分割图像上的第二参考点集之间的平均距离最小，得到粗配准后的结果；最后，对粗配准后的结果再进行ICP(Iterative Closest Point，最近点迭代算法)算法进行精确配准，ICP算法通过求取源点云和目标点云之间的对应点对，基于对应点对构造旋转平移矩阵，并利用所求矩阵，将源点云变换到目标点云的坐标系下，估计变换后源点云与目标点云的误差函数，若误差函数值大于预设阈值，则继续迭代进行上述运算直到误差函数值满足预设误差要求。在本发明中，在上述粗配准的基础上，搜索上述第一实例分割图像与第二实例分割图像之间的最邻近点对，通过预设旋转平移矩阵调整第二实例分割图像的位置，以使第一实例分割图像与第二实例分割图像上的最邻近点对之间的距离满足预设误差条件。
上述实施例，通过粗配准过程和精细配准过程将第一实例分割图像和第二实例分割图像上的牙齿位置进行精准对应，为后续获取牙冠牙根分割线提供先决条件。
在一实施例中，上述步骤204包括：依次在第一实例分割图像中第一边缘点集中的每个点与第二牙根模型中第二边缘点集中的对应点之间建立新三角面片，得到目标口腔区域中每颗牙齿的完整牙齿三维模型。
具体地，本实施例针对上述第一实例分割图像中第一边缘点集Aset构成的连线与第二牙根模型上第二边缘点集Bset之间进行缝补，得到缝补完成后的完整牙齿三维模型。
上述实施例，通过缝补算法，将第一实例分割图像(即基于口扫数据的牙冠分割模型)与位置对应的第二牙根模型(即基于CBCT数据的牙根分割模型)进行缝补，得到完整且精度较高的完整牙齿三维模型，提高了医生的工作效率，为医生诊断患者的牙齿治疗方案提供清晰准确的参考依据。
下面对本发明提供的三维牙齿模型重建装置进行描述，下文描述的三维牙齿模型重建装置与上文描述的三维牙齿模型重建方法可相互对应参照。
在一个实施例中，如图10所示，提供了一种三维牙齿模型重建装置，包括：实例分割模块1001、图像配准模块1002、第二实例分割图像分割模块1003和三维模型融合模块1004，其中，
实例分割模块1001，用于获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；所述目标口腔区域中包括至少一颗牙齿；
图像配准模块1002，用于基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线；
第二实例分割图像分割模块1003，用于基于所述牙根牙冠分割线，将所述第二实例分割图像分割为第二牙冠模型和第二牙根模型；
三维模型融合模块1004，用于将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型。
上述三维牙齿模型重建装置，能够将扫描精度较高却缺少牙根模型的第一实例分割图像与包含牙冠、牙根但牙冠扫描精度较低的第二实例分割图像进行自动配准和拼接，得到目标口腔区域中每颗牙齿的完整且准确的三维模型，为医生诊断牙根位置提供的准确的参考信息，提高了诊断效率。
在其中一个实施例中，上述实例分割模块1003，进一步用于：
采集针对目标口腔区域的预处理后的口扫数据；将所述预处理后的口扫数据输入第一神经网络模型中，得到所述第一神经网络模型输出的关于各颗牙齿的所述第一实例分割图像；所述第一神经网络模型是利用口扫训练样本及其对应的第一分割标记，对基于PointNet网络结构改进的神经网络模型进行训练后得到的。
在其中一个实施例中，上述实例分割模块1003，进一步用于：
采集针对所述目标口腔区域的预处理后的CBCT数据；将所述CBCT数据输入第二神经网络模型中，得到所述第二神经网络模型输出的关于各颗牙齿的所述第二实例分割图像；所述第二神经网络模型是利用CBCT训练样本及其对应的第二分割标记，对V-Net神经网络模型进行训练后得到的。
在其中一个实施例中，上述图像配准模块1002，进一步用于：
计算所述第一实例分割图像中所有牙齿实例的边缘点，得到第一边缘点集；将所述第一实例分割图像与所述第二实例分割图像进行配准，计算所述第一边缘点集中的每个点在所述第二实例分割图像上对应的最近对应点，得到第二边缘点集；以所述第二边缘点集构成的连线作为所述牙根牙冠分割线。
在其中一个实施例中，上述图像配准模块1002，还用于：
基于预设标记点，调整第二实例分割图像的位置，以使所述第一实例分割图像上的第一参考点集与所述第二实例分割图像上的第二参考点集之间的平均距离最小，得到粗配准后的结果；所述预设标记点为所述第一实例分割图像与颌骨模型上对应的固定点；在所述粗配准后的结果上搜索所述第一实例分割图像与所述第二实例分割图像之间的最邻近点对，调整所述第二实例分割图像的位置，以使所述第一实例分割图像与所述第二实例分割图像上的最邻近点对之间的距离满足预设误差条件。
在其中一个实施例中，上述三维模型融合模块1004，进一步用于：
依次在所述第一实例分割图像中第一边缘点集中的每个点与所述第二牙根模型中第二边缘点集中的对应点之间建立新三角面片，得到所述目标口腔区域中每颗牙齿的完整牙齿三维模型。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行三维牙齿模型重建方法，该方法包括：获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；目标口腔区域中包括至少一颗牙齿；基于第一实例分割图像与第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的三维牙齿模型重建方法，该方法包括：获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；目标口腔区域中包括至少一颗牙齿；基于第一实例分割图像与第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的三维牙齿模型重建方法，该方法包括：获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；目标口腔区域中包括至少一颗牙齿；基于第一实例分割图像与第二实例分割图像的牙齿位置对应关系，将第一实例分割图像与第二实例分割图像进行配准，得到牙根牙冠分割线；基于牙根牙冠分割线，将第二实例分割图像分割为第二牙冠模型和第二牙根模型；将第一实例分割图像与第二牙根模型进行融合，得到目标口腔区域的完整牙齿三维模型。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维牙齿模型重建方法，其特征在于，包括：
获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；所述目标口腔区域中包括至少一颗牙齿；
基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线；
基于所述牙根牙冠分割线，将所述第二实例分割图像分割为第二牙冠模型和第二牙根模型；
将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型。
2.根据权利要求1所述的三维牙齿模型重建方法，其特征在于，所述第一实例分割图像是按照如下步骤得到的，包括：
采集针对目标口腔区域的预处理后的口扫数据；
将所述预处理后的口扫数据输入第一神经网络模型中，得到所述第一神经网络模型输出的关于各颗牙齿的所述第一实例分割图像；
所述第一神经网络模型是利用口扫训练样本及其对应的第一分割标记，对基于PointNet网络结构改进的神经网络模型进行训练后得到的。
3.根据权利要求2所述的三维牙齿模型重建方法，其特征在于，所述第二实例分割图像是按照如下步骤得到的，包括：
采集针对所述目标口腔区域的预处理后的CBCT数据；
将所述CBCT数据输入第二神经网络模型中，得到所述第二神经网络模型输出的关于各颗牙齿的所述第二实例分割图像；
所述第二神经网络模型是利用CBCT训练样本及其对应的第二分割标记，对V-Net神经网络模型进行训练后得到的。
4.根据权利要求1所述的三维牙齿模型重建方法，其特征在于，所述基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线，包括：
计算所述第一实例分割图像中所有牙齿实例的边缘点，得到第一边缘点集；
将所述第一实例分割图像与所述第二实例分割图像进行配准，计算所述第一边缘点集中的每个点在所述第二实例分割图像上对应的最近对应点，得到第二边缘点集；
以所述第二边缘点集构成的连线作为所述牙根牙冠分割线。
5.根据权利要求4所述的三维牙齿模型重建方法，其特征在于，所述基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，包括：
基于预设标记点，调整第二实例分割图像的位置，以使所述第一实例分割图像上的第一参考点集与所述第二实例分割图像上的第二参考点集之间的平均距离最小，得到粗配准后的结果；所述预设标记点为所述第一实例分割图像与颌骨模型上对应的固定点；
在所述粗配准后的结果上搜索所述第一实例分割图像与所述第二实例分割图像之间的最邻近点对，调整所述第二实例分割图像的位置，以使所述第一实例分割图像与所述第二实例分割图像上的最邻近点对之间的距离满足预设误差条件。
6.根据权利要求5所述的三维牙齿模型重建方法，其特征在于，所述将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型，包括：
依次在所述第一实例分割图像中第一边缘点集中的每个点与所述第二牙根模型中第二边缘点集中的对应点之间建立新三角面片，得到所述目标口腔区域中每颗牙齿的完整牙齿三维模型。
7.一种三维牙齿模型重建装置，其特征在于，所述装置包括：
实例分割模块，用于获取关于目标口腔区域的第一实例分割图像和第二实例分割图像；所述目标口腔区域中包括至少一颗牙齿；
图像配准模块，用于基于所述第一实例分割图像与所述第二实例分割图像的牙齿位置对应关系，将所述第一实例分割图像与所述第二实例分割图像进行配准，得到牙根牙冠分割线；
第二实例分割图像分割模块，用于基于所述牙根牙冠分割线，将所述第二实例分割图像分割为第二牙冠模型和第二牙根模型；
三维模型融合模块，用于将所述第一实例分割图像与所述第二牙根模型进行融合，得到所述目标口腔区域的完整牙齿三维模型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述三维牙齿模型重建方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维牙齿模型重建方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述三维牙齿模型重建方法。
CN202310220596.5A 2023-03-08 2023-03-08 三维牙齿模型重建方法、装置、电子设备和存储介质 Pending CN116468848A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310220596.5A CN116468848A (zh) 2023-03-08 2023-03-08 三维牙齿模型重建方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310220596.5A CN116468848A (zh) 2023-03-08 2023-03-08 三维牙齿模型重建方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116468848A true CN116468848A (zh) 2023-07-21

Family

ID=87183162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310220596.5A Pending CN116468848A (zh) 2023-03-08 2023-03-08 三维牙齿模型重建方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116468848A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140272772A1 (en) * 2013-03-14 2014-09-18 Ormco Corporation Registering shape data extracted from intra-oral imagery to digital reconstruction of teeth for determining position and orientation of roots
CN105447908A (zh) * 2015-12-04 2016-03-30 山东山大华天软件有限公司 基于口腔扫描数据和cbct数据的牙列模型生成方法
CN106504331A (zh) * 2016-09-27 2017-03-15 西安科技大学 基于三维模型检索的牙齿建模方法
CN108335318A (zh) * 2018-03-26 2018-07-27 北京正齐口腔医疗技术有限公司 牙冠和牙根融合的方法及装置
CN108665533A (zh) * 2018-05-09 2018-10-16 西安增材制造国家研究院有限公司 一种通过牙齿ct图像和三维扫描数据重建牙列的方法
WO2021174479A1 (zh) * 2020-03-05 2021-09-10 深圳先进技术研究院 一种口腔正畸治疗前后牙齿移动量计算方法和装置
CN115457198A (zh) * 2022-08-30 2022-12-09 先临三维科技股份有限公司 牙齿模型生成方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140272772A1 (en) * 2013-03-14 2014-09-18 Ormco Corporation Registering shape data extracted from intra-oral imagery to digital reconstruction of teeth for determining position and orientation of roots
CN105447908A (zh) * 2015-12-04 2016-03-30 山东山大华天软件有限公司 基于口腔扫描数据和cbct数据的牙列模型生成方法
CN106504331A (zh) * 2016-09-27 2017-03-15 西安科技大学 基于三维模型检索的牙齿建模方法
CN108335318A (zh) * 2018-03-26 2018-07-27 北京正齐口腔医疗技术有限公司 牙冠和牙根融合的方法及装置
CN108665533A (zh) * 2018-05-09 2018-10-16 西安增材制造国家研究院有限公司 一种通过牙齿ct图像和三维扫描数据重建牙列的方法
WO2021174479A1 (zh) * 2020-03-05 2021-09-10 深圳先进技术研究院 一种口腔正畸治疗前后牙齿移动量计算方法和装置
CN115457198A (zh) * 2022-08-30 2022-12-09 先临三维科技股份有限公司 牙齿模型生成方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
JP7168644B2 (ja) 口腔内画像の選択及びロック
JP7289026B2 (ja) ハイブリッドメッシュセグメンテーションのための方法及び装置
CN109785374B (zh) 一种牙科增强现实手术导航的自动实时无标记图像配准方法
JP7386215B2 (ja) 歯列メッシュ矯正具除去のための方法および装置
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
US11734825B2 (en) Segmentation device and method of generating learning model
CN106572831A (zh) 口内扫描期间关注区域的识别
US20220084267A1 (en) Systems and Methods for Generating Quick-Glance Interactive Diagnostic Reports
US20220361992A1 (en) System and Method for Predicting a Crown and Implant Feature for Dental Implant Planning
CN115457198A (zh) 牙齿模型生成方法、装置、电子设备和存储介质
WO2023274690A1 (en) Non-invasive periodontal examination
Jang et al. Fully automatic integration of dental CBCT images and full-arch intraoral impressions with stitching error correction via individual tooth segmentation and identification
US20220358740A1 (en) System and Method for Alignment of Volumetric and Surface Scan Images
CN116468848A (zh) 三维牙齿模型重建方法、装置、电子设备和存储介质
US20210104039A1 (en) Segmentation device
CN117058309B (zh) 一种基于口腔成像的图像生成方法及系统
US20230013902A1 (en) System and Method for Correcting for Distortions of a Diagnostic Image
EP4280155A1 (en) Improved manufacturing of dental implants based on digital scan data alignment
US20230309800A1 (en) System and method of scanning teeth for restorative dentistry
US20230419631A1 (en) Guided Implant Surgery Planning System and Method
US20230051400A1 (en) System and Method for Fusion of Volumetric and Surface Scan Images
WO2024121067A1 (en) Method and system for aligning 3d representations
CN117788747A (zh) 一种口扫数据与cbct融合的牙冠三维重建方法
KR20230041560A (ko) 인공신경망 학습을 통한 하치조 신경 추론 장치 및 방법
WO2023192652A1 (en) System and method of scanning teeth for restorative dentistry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination