CN115953583B - 基于迭代边界优化和深度学习的牙齿分割方法及系统 - Google Patents

基于迭代边界优化和深度学习的牙齿分割方法及系统 Download PDF

Info

Publication number
CN115953583B
CN115953583B CN202310243798.1A CN202310243798A CN115953583B CN 115953583 B CN115953583 B CN 115953583B CN 202310243798 A CN202310243798 A CN 202310243798A CN 115953583 B CN115953583 B CN 115953583B
Authority
CN
China
Prior art keywords
tooth
point cloud
boundary
cloud data
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310243798.1A
Other languages
English (en)
Other versions
CN115953583A (zh
Inventor
周元峰
庄少杰
魏广顺
刘东旭
徐杰汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202310243798.1A priority Critical patent/CN115953583B/zh
Publication of CN115953583A publication Critical patent/CN115953583A/zh
Application granted granted Critical
Publication of CN115953583B publication Critical patent/CN115953583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及深度学习和图像处理技术领域，公开了基于迭代边界优化和深度学习的牙齿分割方法及系统；方法包括：获取待分割的口腔扫描点云数据；对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；将得到的数据输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，继续分割直至迭代次数超过设定阈值，输出最终预测的牙齿边界。本发明能够实现高精度的牙齿边界分割。

Description

基于迭代边界优化和深度学习的牙齿分割方法及系统
技术领域
本发明涉及深度学习和图像处理技术领域，特别是涉及基于迭代边界优化和深度学习的牙齿分割方法及系统。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
数字化正畸是将患者口腔内的真实情况以数字化数据呈现、分析、并产生正畸流程的过程。一般地，患者在初诊阶段，会拍摄锥形束CT、口腔X光曲面断层片等影像数据，用于观察从外部不易观察的牙根、牙槽骨、软组织的形态或病变情况；此外，患者会被要求制作口腔模型，分为传统的基于咬合倒模的石膏实物模型，和更为现代化的利用口腔扫描设备重建得到的口腔三维模型（以下简称“口扫模型”）。实物石膏模型会通过三维扫描设备数字化为三维模型。由于石膏模型具有制备周期长、易损坏、不易大量保存等缺点，越来越多的口腔医院选择使用更快捷的口腔扫描设备对患者的口腔进行数字化建模。
拥有了患者的口腔数据后，数字化正畸软件会对这些原始数据进行数据的分割、分析。基于口扫数据的牙齿分割是数字化正畸的基础，它的目的是将口扫模型中的牙齿部分与牙龈部分进行分离，并从中分割、分类出单颗牙齿，以便后续的针对牙齿的正畸过程设计。传统的人工牙齿分割方法，需要技师划出牙齿、牙龈的边界，并指定该牙齿的编号。传统的自动牙齿分割方法，通常基于曲率进行边界确定，这是由于牙齿与牙龈交界处、牙齿之间的交界处通常会存在较大的曲率，即位于该区域的点法向变化较快，这是一项重要且显著的特征。传统方法受限于模型本身的质量好坏，若存在口扫模型噪声、牙齿与牙龈交界处较为模糊等情况，传统方法则较难精准地确定边界，导致牙齿分割不准确，进而影响后续的正畸流程。
随着计算机硬件设备以及机器学习算法地迅猛发展，数据驱动的机器学习医学影像处理方法逐渐成为相关学者的研究重点。深度神经网络具有强大的数据分布拟合能力，通过学习海量数据中的特征，能够较为准确地对未知数据进行推理。现代图形处理器（GPU）能够在数毫秒内完成一次大型神经网络的推理，极大地促进了深度学习在各行各业的应用。然而直接使用深度学习的精准牙齿分割依旧是一个非常具有挑战性的工作。使用GPU进行数据推理，需要将数据由宿主机内存转移至GPU显存中，而显存相对于宿主机内存更小且更难扩展，因此对原本庞大的数据进行压缩是很有必要的。以点云或Mesh表示的三维口扫模型，在输入到神经网络前，通常会被降采样到一个较小的固定顶点数，这就导致降采样的模型丢失了原始模型的边界细节信息。在低分辨率模型的牙齿分割结果映射回原始模型时，会出现边界不平滑甚至预测错误的情况。
发明内容
为了解决现有技术的不足，本发明提供了基于迭代边界优化和深度学习的牙齿分割方法及系统，基于正畸治疗过程中获取的三维口扫点云数据，进行数据降采样得到低分辨率的代理数据，对代理数据进行牙齿预分割；根据预分割结果寻找原始高精度模型的牙齿边界点云，并输入到深度神经网络进行高精度边界分割；将高精度边界分割结果映射到代理数据，并重复边界获取及分割过程，直到边界的变化收敛到某一阈值。
第一方面，本发明提供了基于迭代边界优化和深度学习的牙齿分割方法；
基于迭代边界优化和深度学习的牙齿分割方法，包括：
获取待分割的口腔扫描点云数据；
对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；
根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回上一步，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
第二方面，本发明提供了基于迭代边界优化和深度学习的牙齿分割系统；
基于迭代边界优化和深度学习的牙齿分割系统，包括：
获取模块，其被配置为：获取待分割的口腔扫描点云数据；
降采样模块，其被配置为：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
第一预测模块，其被配置为：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
划分模块，其被配置为：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
第二预测模块，其被配置为：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；
输出模块，其被配置为：根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回上一步，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
与现有技术相比，本发明的有益效果是：
基于正畸治疗过程中获取的三维口扫点云数据，进行数据降采样得到低分辨率的代理数据，对代理数据进行牙齿预分割；根据预分割结果寻找原始高精度模型的牙齿边界点云，并输入到深度神经网络进行高精度边界分割；将高精度边界分割结果映射到代理数据，并重复边界获取及分割过程，直到边界的变化收敛到某一阈值。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实例一的本方法的概要流程图；
图2为实例一所使用牙齿类别及其对应的标签；
图3为实例一所使用方法的具体细节流程图；
图4为实例一所使用模型坐标系说明图；
图5为实例一所使用的口扫模型标签预测模块；
图6为实例一所使用的牙齿边界选定示意图；
图7为实例一所使用的牙齿边界标签预测模块；
其中，图2中，11表示左上侧中切牙、12表示左上侧后切牙、13表示左上侧尖牙、14表示左上侧第一前磨牙、15表示左上侧第二前磨牙、16表示左上侧第一磨牙、17表示左上侧第二磨牙、18表示左上侧第三磨牙；
21表示右上侧中切牙、22表示右上侧后切牙、23表示右上侧尖牙、24表示右上侧第一前磨牙、25表示右上侧第二前磨牙、26表示右上侧第一磨牙、27表示右上侧第二磨牙、28表示右上侧第三磨牙；
31表示右下侧中切牙、32表示右下侧后切牙、33表示右下侧尖牙、34表示右下侧第一前磨牙、35表示右下侧第二前磨牙、36表示右下侧第一磨牙、37表示右下侧第二磨牙、38表示右下侧第三磨牙；
41表示左下侧中切牙、42表示左下侧后切牙、43表示左下侧尖牙、44表示左下侧第一前磨牙、45表示左下侧第二前磨牙、46表示左下侧第一磨牙、47表示左下侧第二磨牙、48表示左下侧第三磨牙。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
实施例一
本实施例提供了基于迭代边界优化和深度学习的牙齿分割方法；
如图1所示，基于迭代边界优化和深度学习的牙齿分割方法，包括：
S101：获取待分割的口腔扫描点云数据；
S102：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
S103：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
S104：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
S105：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；如图6所示；
S106：根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回上一步S105，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
进一步地，所述S101：获取待分割的口腔扫描点云数据，是通过口腔扫描设备对用户的口腔内部进行扫描，或者采用口腔扫描设备对用户的咬合倒模石膏进行扫描得到的。
示例性地，使用扫描咬合倒模石膏模型的三维网格模型，网格文件为off格式，首先根据顶点拓扑连接关系计算顶点的法向数据，选取off文件的顶点作为点云，按照
Figure SMS_1
格式进行存储。
将上、下颌口扫模型水平翻转至统一位姿，形成切牙在前、磨牙在后、牙齿咬合面向上的姿态。该过程是为了确保深度学习方法不会因为模型发生翻转变化导致预测失败。
模型的标准位姿采用LPS坐标系，即患者由右至左为
Figure SMS_2
轴正方向，患者由前至后为
Figure SMS_3
轴正方向，患者由底至顶方向为/>
Figure SMS_4
轴正方向。在此坐标系下，患者的下颌咬合平面法向在理想情况下应指向/>
Figure SMS_5
方向；由舌根指向切牙的方向在理想情况下应指向/>
Figure SMS_6
方向；患者的上颌咬合平面法向在理想情况下应指向/>
Figure SMS_7
方向；由舌根指向切牙的方向在理想情况下应指向/>
Figure SMS_8
方向。
如图4所示，当口扫设备扫描出的模型处于LPS坐标系下时，只需将上颌绕
Figure SMS_9
轴旋转/>
Figure SMS_10
，就能使上下颌处于相同位姿。
将口扫模型的点云进行尺寸归一化。计算口扫点云中所有点的
Figure SMS_11
、/>
Figure SMS_12
、/>
Figure SMS_13
分量的平均值，得到该点云的质心；再选择所有点中与质心最大的距离作为半径。对所有点减去质心坐标，除以半径，得到尺寸归一化的口扫点云。
进一步地，所述S102：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据，具体是通过最远点采样方式实现点云数据的降采样处理，得到代理点云数据。
示例性地，所述S102：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据，具体是：
由于口扫模型能够展现足够丰富的口腔内部信息，其网格顶点数通常为7万以上，甚至数十万。
然而，将原始口扫模型输入至网络中，会占用大量的显存及计算时间，且不同模型间点数的差异导致无法使用小批量样本（mini-batch）进行网络训练，给模型训练带来更低的稳定性。
因此，将模型统一降采样至16000个点，在保证保留了尽量多的模型几何特征的同时，大幅降低运算量和显存占用。
降采样使用最远点采样算法（Farthest Point Sampling），即在模型表面随机选择一个点作为起始点，计算所有点到起始点距离，从中选择距离最远的点，再计算所有点到起始点和最远点这两个点的距离，从中选择距离这两个点最远的点，直到选出需要的个数为止。相比随机采样，最远点采样相对能得到更大的采集区域，并使得点云中的点分布更加均匀，有利于网络的训练。
进一步地，如图3所示，所述S103：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签，其中，训练后的第一牙齿边界分割模型，用于对代理点云数据进行牙齿特征提取，对提取的牙齿特征通过插值上采样方式进行特征传播至原始点云尺寸，然后对传播的牙齿特征采用多层感知机进行分类得到牙齿预测标签。
进一步地，如图5所示，所述S103：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签，其中，训练后的第一牙齿边界分割模型，其网络结构包括：
依次连接的特征提取模块、特征传播模块、第一卷积层、第一归一化层和第一激活函数层。
进一步地，所述特征提取模块采用依次连接的第一点集抽象层Set Abstraction、第二点集抽象层Set Abstraction和第三点集抽象层Set Abstraction来实现。
示例性地，Set Abstraction层用于对输入的点云进行降采样，降采样步骤包括：最远点采样和聚合特征；其中，最远点采样，是指确定若干中心点；聚合特征，是指将中心点周围固定半径内的点的特征通过PointNet聚合到中心点上，实现整体点云的降采样。
进一步地，所述特征传播模块，采用依次连接的第一特征传播层FeaturePropagation、第二特征传播层Feature Propagation和第三特征传播层FeaturePropagation来实现。
特征传播层Feature Propagation数量与点集抽象层Set Abstraction层数量相同，通过三近邻插值的方式，将低分辨率的点云极其特征插值到高分辨率的点云，并拼接Set Abstraction过程中与该高分辨率点云相同分辨率的点云的特征，一起送入PointNet，完成一次特征传播Feature Propagation操作，实现特征融合。
进一步地，所述第一点集抽象层Set Abstraction的输出端与第三特征传播层Feature Propagation的输入端连接；
所述第二点集抽象层Set Abstraction的输出端与第二特征传播层FeaturePropagation的输入端连接；
所述第三点集抽象层Set Abstraction的输出端与第一特征传播层FeaturePropagation的输入端连接。
示例性地，点集抽象层Set Abstraction，来源于Charles R. Qi等人于2017年发表的论文《Qi C R, Yi L, Su H, et al. Pointnet++: Deep hierarchical featurelearning on point sets in a metric space[J]. Advances in neural informationprocessing systems, 2017, 30.》。Set Abstraction使用最远点采样方法，在输入模型中采集固定点数的点作为中心点，并在中心点周围固定半径内采样若干点数，组成一个分组，该分组拥有中心点局部的特征，使得网络可以关注到局部信息。再对分组中的点使用PointNet提取特征，并使用最大池化将特征聚合到中心点上，完成对点云的局部特征提取操作。PointNet++使用多层Set Abstraction，使得输入点云由稠密到稀疏、由分散特征到聚集特征，实现点云的局部、全局信息融合。
PointNet来源于Charles R. Qi等人于2017年发表的论文《Qi C R, Su H, Mo K,et al. Pointnet: Deep learning on point sets for 3d classification andsegmentation[C]//Proceedings of the IEEE conference on computer vision andpattern recognition. 2017: 652-660.》，使用最大池化MaxPool1D进行点云特征提取是其处理点云数据最突出的思路，主要针对了点云数据的特点——无序性；由于点云具有无序性，需要处理点云的模型应具有置换不变性，即将相同的点云打乱顶点顺序输入到网络中，其输出也应是相同的；因此PointNet则选取1D卷积（全连接层）作为每个点的特征提取，因为全连接层会对所有点做相同的计算，然后再使用MaxPool最大池化得到输出。这样便能够解决点云深度学习网络所需要的输入置换不变性问题。
在本实例中，使用三层点集抽象层Set Abstraction，将输入的点云分别降采样至2048、256、64个点，分别在0.05、0.1、0.2的半径范围内采样16、32、64个点，并分别通过
Figure SMS_14
、/>
Figure SMS_15
、/>
Figure SMS_16
的共享权重的多层感知机（其中
Figure SMS_17
符号表示将某点具有的/>
Figure SMS_18
维特征，通过多层感知机升维至/>
Figure SMS_19
维）。
具体地，PointNet++通过特征回传（特征传播Feature Propagation结构），使用3近邻插值方法，将融合后的特征插值回上一层的点云中，并与上一层点云在SetAbstraction后的特征进行拼接，融合了该层的局部特征。将特征经过多层感知机得到上一层点云的最终特征。经过多次特征回传，原始点云就拥有了融合局部和全局的逐点特征。
Feature Propagation结构是《Qi C R, Yi L, Su H, et al. Pointnet++: Deephierarchical feature learning on point sets in a metric space[J]. Advances inneural information processing systems, 2017, 30.》论文正文的第5页，3.4节标题：“3.4 Point Feature Propagation for Set Segmentation”。
在本实例中，使用三层Feature Propagation结构，从最后一层开始，分别通过
Figure SMS_20
、/>
Figure SMS_21
、/>
Figure SMS_22
的共享权重的多层感知机，使得原始点云的每个点由6维升维到128维。
预测点云的逐点分类标签。将每个点的128维特征，经过
Figure SMS_23
的多层感知机，预测出每个点可能属于牙龈（标签为0），或牙齿（标签为1~32），如图2所示。
示例性地，S103包括：对于代理点云，经过4层Set Abstraction，分别降采样至4096、1024、256、64个点，每次Set Abstraction结构进行降采样会将设定半径范围内的其他点特征，通过最大池化聚合到降采样后的点上，以此实现点云的置换不变性、旋转不变性。利用点云注意力机制，增强聚合后的特征，并通过插值上采样后送入PointNet实现特征回传至输入点云；将上述输入点云经过一维卷积，对每个点回归为一个33维向量，表示该点是否是牙龈还是编号为1~32的牙齿。
进一步地，所述S103：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签，其中，训练后的第一牙齿边界分割模型，其训练过程包括：
构建第一训练集；所述第一训练集，为已知牙齿标签的点云数据；
将第一训练集，输入到第一牙齿边界分割模型中，对第一牙齿边界分割模型进行训练，当第一牙齿边界分割模型的第一损失函数值不再下降时，停止训练，得到训练后的第一牙齿边界分割模型。
进一步地，所述第一损失函数，采用交叉熵损失函数来实现。
在本实例中所使用的监督数据为标记的逐点标签，损失函数使用逐点的交叉熵损失函数，表示为：
Figure SMS_24
其中，
Figure SMS_25
为输入点云，/>
Figure SMS_26
为标记的逐点标签，/>
Figure SMS_27
为网络预测的逐点标签。
进一步地，所述S104：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据，具体包括：
S104-1：对代理点云数据建立K-D树，K-D树用来加速代理点云数据中点的近邻查询；
S104-2：利用所述K-D树，求代理点云数据中每个点设定半径范围内的近邻点；将近邻点内同时包含牙齿及非牙齿预测标签的点，视为当前牙齿的初始边界点云数据；从而依次找出所有牙齿的初始边界点云；
S104-3：建立与代理点云长度相等的标签数组，并将初始边界点云的所有点在标签数组中的元素值标记为1；
通过对标签数组进行3近邻插值，得到插值后的标签数组，选择插值后的标签数组内值大于0.5的点为密集边界点云；
S104-4：对密集边界点云及牙齿点云进行降采样，得到牙齿特征点云数据；将密集边界点云作为牙齿边界点云数据。
示例性地，所述S104：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据，具体包括：
构造牙齿边界点云数据。处于边界上的点，其邻域内包含1种以上数量的标签。利用该性质，对输入的16000点数的代理点云构造K-D树，并利用K-D树查询各点的16邻域内的其他点。对于任一编号为
Figure SMS_28
的预测牙齿，统计16000个点中，邻域内同时拥有/>
Figure SMS_29
与非/>
Figure SMS_30
标签的点，作为该牙齿边界点。由于代理点云是通过最远点采样得到的，因此点分布较为均匀，对任一点取16近邻，邻域的包围球的大小也会相对固定，则边界的宽度会较为一致。
采样得到边界点云后，标记该边界内属于该牙齿的点为1，否则为0。这会作为一项先验特征，按照
Figure SMS_31
格式一同输入到第二牙齿分割模中。其中，/>
Figure SMS_32
为该点的预测标签。类似地，使用最远点采样法从边界及该牙齿的点云中采样得到稀疏的牙齿特征点云，按照/>
Figure SMS_33
格式一同输入到第二牙齿边界分割模型中。
K-D树，英文全称：k-dimensional tree，是在k维欧几里德空间组织点的数据结构。k-d树是每个叶子节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分割成两个半空间。节点左边的子树代表在超平面左边的点，节点右边的子树代表在超平面右边的点。选择超平面的方法如下：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。这样，超平面可以用该x值来确定，其法线为x轴的单位向量。
示例性地，S104-1：所述对代理点云建立K-D树，具体包括：
K-D树具有二叉搜索树的形态，二叉搜索树上的每个结点都对应 k 维空间内的一个点。其每个子树中的点都在一个 k 维的超长方体内，这个超长方体内的所有点也都在这个子树中。
假设已经知道 k 维空间内的 n 个不同的点的坐标，要将其构建成一棵 k-DTree，步骤如下：
S104-11：若当前超长方体中只有一个点，返回这个点；
S104-12：选择一个维度，将当前超长方体按照这个维度分成两个超长方体；
S104-13：选择切割点：在选择的维度上选择一个点，这一维度上的值小于这个点的归入一个超长方体（左子树），其余的归入另一个超长方体（右子树）；
S104-14：将选择的点作为这棵子树的根节点，递归对分出的两个超长方体构建左右子树，维护子树的信息。
示例性地，所述S104-2：利用所述K-D树，求代理点云中每个点设定半径范围内的近邻点，具体包括：
K-D树是通过一种二分搜索-回溯的方式来搜索最近邻的。首先使用类似于二分搜索的方式从根节点开始向下搜索，直到找到叶子节点，期间将访问过的节点都加入到一个栈(Stack)中，同时记录最短距离；找到叶子节点后开始回溯，依次从栈中弹出之前的访问过的节点，判断以待查询点为球心，当前最短距离为半径的超球面，与分割面是否有相交，如果相交则进入该节点的另一个分支，继续执行二分搜索，直到搜索到叶子节点，以此循环往复，直到超球面与分割面没有相交。
示例性地，所述将初始边界点云的所有点在标签数组中的值标记为1，具体包括：若代理点云中序号为1、3、5的点是初始边界点云中的点，则标签数组内序号为1、3、5的元素设为1，其他设为0。
进一步地，所述S105：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签，训练后的第二牙齿边界分割模型，包括：
密集边界点云和牙齿特征点云分别进行特征提取，分别得到边界特征和牙齿特征；
采用注意力机制分别对边界特征和牙齿特征进行增强处理；
将增强后的所有特征经过三层共享权重的多层感知机，预测出每个点属于牙齿或牙龈。
进一步地，如图7所示，所述S105：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签，训练后的第二牙齿边界分割模型，结构包括：
并列的第一分支和第二分支；
所述第一分支，包括：依次连接的第二卷积层、第二归一化层、第二激活函数层、第三卷积层、第三归一化层、第三激活函数层、第一注意力机制层、第二注意力机制层、第三注意力机制层、第四注意力机制层、第一拼接器、第一最大池化层；
其中，第一注意力机制层的输出端、第二注意力机制层的输出端、第三注意力机制层的输出端以及第四注意力机制层的输出端均与第一拼接器的输入端连接，第一拼接器的输出端与第一最大池化层的输入端连接；
所述第二分支，包括：依次连接的第四卷积层、第四归一化层、第四激活函数层、第五卷积层、第五归一化层、第五激活函数层、第五注意力机制层、第六注意力机制层、第七注意力机制层、第八注意力机制层、第二拼接器、第二最大池化层；
其中，第五注意力机制层的输出端、第六注意力机制层的输出端、第七注意力机制层的输出端以及第八注意力机制层的输出端，均与第二拼接器的输入端连接，第二拼接器的输出端与第二最大池化层的输入端连接；
其中，第一拼接器的输出端、第一最大池化层的输出端、第二最大池化层的输出端，均与第一LBR层的输入端连接，第一LBR层的输出端与第二LBR层的输入端连接，第二LBR层的输出端与第三LBR层的输入端连接，第三LBR层的输出端输出最终的牙齿边界标签。
进一步地，所述第一拼接器与第二拼接器，均采用并联拼接的方式进行拼接。
进一步地，所述第一LBR层、第二LBR层和第三LBR层的内部结构是一样的。
进一步地，所述第一LBR层的内部结构，包括：依次连接的一个1维卷积（Conv1D）、一个1维批归一化（BatchNorm1D）及一个线性整流单元ReLU。
进一步地，所述第一LBR层的内部结构，LBR中的L表示线性层Linear，B表示批归一化层BatchNormalization，R表示线性整流单元ReLU。
进一步地，所述S105：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签，训练后的第二牙齿边界分割模型，训练过程包括：
构建第二训练集；所述第二训练集为，已知牙齿边界标签的牙齿点云数据；
将训练后的第一牙齿边界分割模型与待训练的第二牙齿边界分割模型进行连接，得到牙齿分割总模型，将训练后的第一牙齿边界分割模型的输出值牙齿边界点云数据和牙齿点云数据，作为待训练的第二牙齿边界分割模型的输入值；
将第二训练集，输入到牙齿分割总模型中，对牙齿分割总模型进行训练，当牙齿分割总模型的第二损失函数值不再下降时，停止训练，得到训练后的牙齿分割总模型，也得到了训练后的第二牙齿边界分割模型。
进一步地，所述第二损失函数，采用逐点的二分类交叉熵损失函数，可以表示为：
Figure SMS_34
；
其中，
Figure SMS_35
为输入点云，/>
Figure SMS_36
为标记的逐点标签，/>
Figure SMS_37
为网络预测的逐点标签，/>
Figure SMS_38
为输入点云/>
Figure SMS_39
中的第/>
Figure SMS_40
个点。
第一分支使用基于注意力机制的点云特征提取网络Point Cloud Transformer提取边界点云特征，融合牙齿点云特征，并预测牙齿、非牙齿二分类。
具体地，Point Cloud Transformer（PCT）来源于论文《Guo M H, Cai J X, Liu ZN, et al. Pct: Point cloud transformer[J]. Computational Visual Media, 2021,7: 187-199.》。Transformer的所有操作均可并行执行与顺序无关，理论上讲，可以替代CNN计算中的卷积运算，并且有更好的通用性。PCT的核心思想是通过使用Transformer的固有顺序不变性来避免定义点云数据的顺序，以及通过注意力机制来进行特征学习。PCT旨在将输入点转换到一个新的高维特征空间，该空间可以表征点之间的语义相似性，为点云处理任务提供基础。PCT的编码器首先将输入坐标嵌入到一个新的特征空间中。然后将嵌入的特征输入4个堆叠的注意力模块，学习每个点的语义性的丰富且有区别的表示，然后用一个线性层生成输出特征。总体而言，PCT的编码器与原始Transformer的设计理念几乎相同，只是位置嵌入被丢弃了，因为点的坐标已经包含了这一信息。
PCT使用的注意力模块与原始注意力机制有一定区别。受图卷积网络启发，将Transformer用于点云时，使用Offset-Attention（OA）模块替换Self-Attention（SA）模块可以获得更好的网络性能。OA层由逐元素之间的Self-Attention特征和输入特征的差（偏移）得到。偏移量再传给LBR，以代替原始版本中使用的SA特征。原始注意力机制可以表示为：
Figure SMS_41
；
Figure SMS_42
；
其中，
Figure SMS_43
为输入的特征向量，/>
Figure SMS_44
为共享可学习的线性转换，PCT中的OA表示为：
Figure SMS_45
；
其中，
Figure SMS_46
为输出的特征向量。
实验表明，PCT具有良好的语义特征学习能力，适用于不规则的点云。因此PCT可以实现良好的边界分割效果。
在本实例中，使用两次LBR编码器将输入的边界点云及特征嵌入至高维空间。其中LBR层包含一个1维卷积（Conv1D）、一个1维批归一化（BatchNorm1D）及一个线性整流单元（ReLU）。两次LBR依次将得到的具有7维特征的边界点云数据升维至128维和256维。
接着，将特征向量经过4次Offset-Attention偏移注意力模块，得到4组256维特征向量。接着拼接这4组特征向量，并经过
Figure SMS_47
维的LBR层，得到经过线性变换的1024维融合特征。
对于牙齿特征点云，使用相同的网络结构，得到另一1024维特征向量。分别对融合特征进行最大池化操作，对牙齿特征进行最大池化操作，并与融合特征拼接得到3072维特征向量。最后，经过
Figure SMS_48
的LBR，得到逐点的二维预测标签，其中，0标签表示非牙齿点，1标签表示牙齿点；/>
Figure SMS_49
表示特征通道尺寸的变化，即从3072降至512，然后，降至64，最后，降至2。
将边界点云分类映射回原点云标签序列：
由于实施过程中，边界点云中不可避免地会包含其它不属于该边界的牙齿点云，而其它牙齿的点的标签应被预测为0。直接使用边界点云在原口扫模型点云上的索引进行标签替换，会出现其它牙齿的标签被覆盖为0的情况。因此使用对比-更新的标签更新方法。令
Figure SMS_50
为原始口扫模型点云标签序列，/>
Figure SMS_51
为标签为/>
Figure SMS_52
的牙齿边界点云原始标签，/>
Figure SMS_53
为标签为/>
Figure SMS_54
的牙齿边界点云预测标签。其中，/>
Figure SMS_55
为牙齿的FDI标签表示法，而/>
Figure SMS_56
为0或1的遮罩表示。标签的更新方法可以表示为：/>
Figure SMS_57
；
Figure SMS_58
；
其中，
Figure SMS_60
表示对于编号为/>
Figure SMS_62
的牙齿边界点云，原始点云标签预测为非/>
Figure SMS_64
、但边界预测为牙齿的点，需要更新它们的标签为/>
Figure SMS_61
；/>
Figure SMS_63
表示对于编号为/>
Figure SMS_65
的牙齿边界点云，原始点云标签预测为/>
Figure SMS_66
、但边界预测为非牙齿/>
Figure SMS_59
的点，需要更新它们的标签为0。
记录
Figure SMS_67
中发生了标签变化的点的数量，记为标签的更新量。
迭代优化边界，直到标签的更新量小于上一次标签更新量的一半，除第一次，则边界分割趋于稳定，输出最终的口扫点云预测标签。其中输入的预测标签为更新完成的原始点云标签序列。
根据所得预测标签进行牙齿边界分割和特征点云采样，并结合标定数据，进行边界分类网络训练。迭代地将边界分割结果应用至原始口扫模型分割结果上，形成具有高精度牙齿边界的分割结果。
实施例二
本实施例提供了基于迭代边界优化和深度学习的牙齿分割系统；
基于迭代边界优化和深度学习的牙齿分割系统，包括：
获取模块，其被配置为：获取待分割的口腔扫描点云数据；
降采样模块，其被配置为：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
第一预测模块，其被配置为：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
划分模块，其被配置为：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
第二预测模块，其被配置为：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；
输出模块，其被配置为：根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回第二预测模块，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
此处需要说明的是，上述获取模块、降采样模块、第一预测模块、划分模块、第二预测模块和输出模块对应于实施例一中的步骤S101至S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于迭代边界优化和深度学习的牙齿分割方法，其特征是，包括：
获取待分割的口腔扫描点云数据；
对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
其中，训练后的第一牙齿边界分割模型，用于对代理点云数据进行牙齿特征提取，对提取的牙齿特征通过插值上采样方式进行特征传播至原始点云尺寸，然后对传播的牙齿特征采用多层感知机进行分类得到牙齿预测标签；
训练后的第一牙齿边界分割模型，其网络结构包括：依次连接的特征提取模块、特征传播模块、第一卷积层、第一归一化层和第一激活函数层；
所述特征提取模块采用依次连接的第一点集抽象层Set Abstraction、第二点集抽象层Set Abstraction和第三点集抽象层Set Abstraction来实现；
所述特征传播模块，采用依次连接的第一特征传播层Feature Propagation、第二特征传播层Feature Propagation和第三特征传播层Feature Propagation来实现；
基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；
训练后的第二牙齿边界分割模型，包括：
密集边界点云和牙齿特征点云分别进行特征提取，分别得到边界特征和牙齿特征；
采用注意力机制分别对边界特征和牙齿特征进行增强处理；
将增强后的所有特征经过三层共享权重的多层感知机，预测出每个点属于牙齿或牙龈；
训练后的第二牙齿边界分割模型，结构包括：
并列的第一分支和第二分支；
所述第一分支，包括：依次连接的第二卷积层、第二归一化层、第二激活函数层、第三卷积层、第三归一化层、第三激活函数层、第一注意力机制层、第二注意力机制层、第三注意力机制层、第四注意力机制层、第一拼接器、第一最大池化层；
其中，第一注意力机制层的输出端、第二注意力机制层的输出端、第三注意力机制层的输出端以及第四注意力机制层的输出端均与第一拼接器的输入端连接，第一拼接器的输出端与第一最大池化层的输入端连接；
所述第二分支，包括：依次连接的第四卷积层、第四归一化层、第四激活函数层、第五卷积层、第五归一化层、第五激活函数层、第五注意力机制层、第六注意力机制层、第七注意力机制层、第八注意力机制层、第二拼接器、第二最大池化层；
其中，第五注意力机制层的输出端、第六注意力机制层的输出端、第七注意力机制层的输出端以及第八注意力机制层的输出端，均与第二拼接器的输入端连接，第二拼接器的输出端与第二最大池化层的输入端连接；
其中，第一拼接器的输出端、第一最大池化层的输出端、第二最大池化层的输出端，均与第一LBR层的输入端连接，第一LBR层的输出端与第二LBR层的输入端连接，第二LBR层的输出端与第三LBR层的输入端连接，第三LBR层的输出端输出最终的牙齿边界标签；
根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回上一步，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
2.如权利要求1所述的基于迭代边界优化和深度学习的牙齿分割方法，其特征是，将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签，其中，训练后的第一牙齿边界分割模型，其训练过程包括：
构建第一训练集；所述第一训练集，为已知牙齿标签的点云数据；
将第一训练集，输入到第一牙齿边界分割模型中，对第一牙齿边界分割模型进行训练，当第一牙齿边界分割模型的第一损失函数值不再下降时，停止训练，得到训练后的第一牙齿边界分割模型。
3.如权利要求1所述的基于迭代边界优化和深度学习的牙齿分割方法，其特征是，基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据，具体包括：
对代理点云数据建立K-D树，K-D树用来加速代理点云数据中点的近邻查询；
利用所述K-D树，求代理点云数据中每个点设定半径范围内的近邻点；将近邻点内同时包含牙齿及非牙齿预测标签的点，视为当前牙齿的初始边界点云数据；从而依次找出所有牙齿的初始边界点云；
建立与代理点云长度相等的标签数组，并将初始边界点云的所有点在标签数组中的元素值进行标记；通过对标签数组进行近邻插值，得到插值后的标签数组，选择插值后的标签数组内值大于设定阈值的点为密集边界点云；
对密集边界点云及牙齿点云进行降采样，得到牙齿特征点云数据；将密集边界点云作为牙齿边界点云数据。
4.如权利要求1所述的基于迭代边界优化和深度学习的牙齿分割方法，其特征是，将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签，训练后的第二牙齿边界分割模型，训练过程包括：
构建第二训练集；所述第二训练集为，已知牙齿边界标签的牙齿点云数据；
将训练后的第一牙齿边界分割模型与待训练的第二牙齿边界分割模型进行连接，得到牙齿分割总模型，将训练后的第一牙齿边界分割模型的输出值牙齿边界点云数据和牙齿点云数据，作为待训练的第二牙齿边界分割模型的输入值；
将第二训练集，输入到牙齿分割总模型中，对牙齿分割总模型进行训练，当牙齿分割总模型的第二损失函数值不再下降时，停止训练，得到训练后的牙齿分割总模型，也得到了训练后的第二牙齿边界分割模型。
5.如权利要求1所述的基于迭代边界优化和深度学习的牙齿分割方法，其特征是，获取待分割的口腔扫描点云数据，是通过口腔扫描设备对用户的口腔内部进行扫描，或者采用口腔扫描设备对用户的咬合倒模石膏进行扫描得到的。
6.如权利要求1所述的基于迭代边界优化和深度学习的牙齿分割方法，其特征是，对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据，具体是通过最远点采样方式实现点云数据的降采样处理，得到代理点云数据。
7.采用如权利要求1-6任一项所述的基于迭代边界优化和深度学习的牙齿分割方法的基于迭代边界优化和深度学习的牙齿分割系统，其特征是，包括：
获取模块，其被配置为：获取待分割的口腔扫描点云数据；
降采样模块，其被配置为：对待分割的口腔扫描点云数据进行降采样处理，得到代理点云数据；
第一预测模块，其被配置为：将代理点云数据输入到训练后的第一牙齿边界分割模型中，得到预测的牙齿标签；
划分模块，其被配置为：基于预测的牙齿标签，将代理点云数据划分为牙齿边界点云数据和牙齿特征点云数据；
第二预测模块，其被配置为：将牙齿边界点云数据和牙齿特征点云数据，均输入到训练后的第二牙齿边界分割模型中，得到预测的牙齿边界标签；
输出模块，其被配置为：根据预测的牙齿边界标签，将代理点云数据重新划分为牙齿边界点云数据和牙齿特征点云数据，返回第二预测模块，直至迭代次数超过设定阈值，输出最终预测的牙齿边界。
CN202310243798.1A 2023-03-15 2023-03-15 基于迭代边界优化和深度学习的牙齿分割方法及系统 Active CN115953583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310243798.1A CN115953583B (zh) 2023-03-15 2023-03-15 基于迭代边界优化和深度学习的牙齿分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310243798.1A CN115953583B (zh) 2023-03-15 2023-03-15 基于迭代边界优化和深度学习的牙齿分割方法及系统

Publications (2)

Publication Number Publication Date
CN115953583A CN115953583A (zh) 2023-04-11
CN115953583B true CN115953583B (zh) 2023-06-20

Family

ID=85903386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310243798.1A Active CN115953583B (zh) 2023-03-15 2023-03-15 基于迭代边界优化和深度学习的牙齿分割方法及系统

Country Status (1)

Country Link
CN (1) CN115953583B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116631634B (zh) * 2023-07-19 2023-09-19 南京铖联激光科技有限公司 一种基于点云深度学习的可摘全口义齿的智能设计方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436211A (zh) * 2021-08-03 2021-09-24 天津大学 一种基于深度学习的医学图像活动轮廓分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10997727B2 (en) * 2017-11-07 2021-05-04 Align Technology, Inc. Deep learning for tooth detection and evaluation
CN112989954B (zh) * 2021-02-20 2022-12-16 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
US20220398738A1 (en) * 2021-06-15 2022-12-15 Imagoworks Inc. Method for automated tooth segmentation of three dimensional scan data using deep learning and computer readable medium having program for performing the method
CN114219897B (zh) * 2021-12-20 2024-04-30 山东大学 一种基于特征点识别的牙齿正畸结果预测方法及系统
CN115205469A (zh) * 2022-09-06 2022-10-18 汉斯夫(杭州)医学科技有限公司 基于cbct的牙齿与牙槽骨重建方法、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436211A (zh) * 2021-08-03 2021-09-24 天津大学 一种基于深度学习的医学图像活动轮廓分割方法

Also Published As

Publication number Publication date
CN115953583A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
Zhou et al. Efficient skeletonization of volumetric objects
CN113454637A (zh) 使用深度学习对非欧式3d数据集的自动语义分割
EP2598034B1 (en) Adaptive visualization for direct physician use
Zanjani et al. Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans
EP3591616A1 (en) Automated determination of a canonical pose of a 3d dental structure and superimposition of 3d dental structures using deep learning
CA3109245A1 (en) Automated orthodontic treatment planning using deep learning
WO2021155230A1 (en) Teeth segmentation using neural networks
CN115953583B (zh) 基于迭代边界优化和深度学习的牙齿分割方法及系统
CN113052955B (zh) 一种点云补全方法、系统及应用
Zanjani et al. Mask-MCNet: Instance segmentation in 3D point cloud of intra-oral scans
CN101080747A (zh) 来自单纯形网格的高质量的精确的曲面三角剖分
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
CN117115132A (zh) 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法
WO2022232559A1 (en) Neural network margin proposal
CN115471663A (zh) 基于深度学习的三阶段牙冠分割方法、装置、终端及介质
CN110827283B (zh) 基于卷积神经网络的头颈血管分割方法及装置
Coudron et al. Semantic extraction of permanent structures for the reconstruction of building interiors from point clouds
Ben-Hamadou et al. 3DTeethSeg'22: 3D Teeth Scan Segmentation and Labeling Challenge
CN115409811A (zh) 基于曲率增强的牙齿模型重建方法、装置、设备和介质
Singh et al. TeethU 2 Net: a deep learning-based approach for tooth saliency detection in dental panoramic radiographs
Tiator et al. Point cloud segmentation: Solving a perceptual grouping task with deep reinforcement learning
Liu et al. TUCNet: A channel and spatial attention-based graph convolutional network for teeth upsampling and completion
CN113506302B (zh) 一种交互式对象更新方法、装置及处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant