CN114066772A - 一种基于transformer编码器的牙体点云补全方法及系统 - Google Patents

一种基于transformer编码器的牙体点云补全方法及系统 Download PDF

Info

Publication number
CN114066772A
CN114066772A CN202111419107.6A CN202111419107A CN114066772A CN 114066772 A CN114066772 A CN 114066772A CN 202111419107 A CN202111419107 A CN 202111419107A CN 114066772 A CN114066772 A CN 114066772A
Authority
CN
China
Prior art keywords
point cloud
tooth
dental
distance
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111419107.6A
Other languages
English (en)
Inventor
贾修一
朱浩宇
廖文和
张长东
刘婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202111419107.6A priority Critical patent/CN114066772A/zh
Publication of CN114066772A publication Critical patent/CN114066772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Abstract

本发明公开了一种基于transformer编码器的牙体点云补全方法及系统，包括：S1、对不完整牙体点云进行处理，并根据得到的聚类中心
Figure DDA0003376230210000011
和局部特征
Figure DDA0003376230210000012
得到特征矩阵
Figure DDA0003376230210000013
S2、对聚类中心
Figure DDA0003376230210000014
和围绕各关键点的局部特征
Figure DDA0003376230210000015
进行编码，挖掘出用于描述缺失部位牙齿的潜在向量
Figure DDA0003376230210000016
并从潜在向量
Figure DDA0003376230210000017
预测出缺失牙齿的低分辨率点云Yc；S3、将低分辨率点云Yc和潜在向量
Figure DDA0003376230210000018
结合构成重构特征
Figure DDA0003376230210000019
从
Figure DDA00033762302100000110
和Yc恢复出高分辨率点云Yf，组合Yc和Yf得到最终牙体点云Ypred；S4、通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全网络的训练；S5、对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。通过广泛的实验证明了本方法的有效性，并应用在了不完整牙体的点云补全上。

Description

一种基于transformer编码器的牙体点云补全方法及系统
技术领域
本发明涉及医学图像处理技术，具体地，涉及一种基于transformer编码器的牙体点云补全方法及系统。
背景技术
口腔健康越来越受到关注，同时人们对于专业、高质量的牙科护理的需求也越来越高，在这一需求下，口腔内扫描仪(IOS)获取的高精度3D牙科模型在CAD口腔诊断中发挥着重要作用。此外，使用以深度神经网络为代表的人工智能技术对牙科模型进行处理、解决牙科问题逐渐成为了数字医疗诊断的主流方法。在口腔医学领域，缺牙补全是一个重要问题，我们需要预测出病人缺失的牙齿，补全牙体以便于后续临床应用，本文所述方法借助深度神经网络的强大学习能力来解决上述问题。
3D模型有多种表现形式，其中点云是最简单的表征。但是点云的无序性、关联性、置换不变性这些性质给神经网络的困难带来了困难，在PointNet和PointNet++使用深度神经网络实现了点云分割和点云分类之后，点云深度学习逐渐成为了一个热门研究领域，同时在数字医疗领域的应用也越来越广泛。点云补全(Point Cloud Completion)技术应运而生，它从不完整牙体点云数据出发估计完整点云，达到补全的目的。
传统的点云补全方法往往基于点云中可以提取出的结构先验信息，如对称性信息或者语义信息，通过此先验信息设计算法对不完整牙体点云进行补全。但是这样的方法只能处理缺失率很低并且结构特征显著的不完整牙体点云。随着研究人员的深入，用于点云分析和生成的深度学习方法也逐渐涌现，已经有诸如PCN、GRNet、PF-Net等一系列优秀框架。这些点云补全方法以不完整牙体点云作为输入，基于深度神经网络学习点云中的结构信息，得到完整的点云作为输出，可以有效解决由于离散化表示导致的内存占用高和点云伪影问题。同时，由于点云的无序性和置换不变性，传统的卷积操作无法直接在点云上应用，深度神经网络的设计仍然面临很大挑战。比如，现有的点云补全框架太过于关注点云的整体特征而忽视了点云内部的局部几何信息，导致这些框架补全后的完整点云偏向于某个相似形状，无法体现个体的特征，直接应用在牙体点云数据集上会丢失很多牙齿细节，从而不具备临床意义。
发明内容
发明目的：本发明的一个目的是提供一种基于transformer编码器的牙体点云补全方法，在关注点云全局特征的同时最大程度地确保补全牙齿的细节。
本发明的另一个目的是提供一种基于transformer编码器的牙体点云补全系统。
技术方案：本发明的一种基于transformer编码器的牙体点云补全方法，包括以下步骤：
S1、使用动态图卷积神经网络DGCNN对统一尺度后的牙体点云数据集处理，得到聚类中心
Figure BDA0003376230190000021
并提取出
Figure BDA0003376230190000022
中关键点的局部特征
Figure BDA0003376230190000023
并根据聚类中心
Figure BDA0003376230190000024
和局部特征
Figure BDA0003376230190000025
得到特征矩阵
Figure BDA0003376230190000026
S2、利用transformer编码器对聚类中心
Figure BDA0003376230190000027
和围绕各关键点的局部特征
Figure BDA0003376230190000028
进行编码，挖掘出用于描述缺失部位牙齿的潜在向量
Figure BDA0003376230190000029
，使用一个多层感知机MLP从潜在向量
Figure BDA00033762301900000210
预测出缺失牙齿的低分辨率点云Yc；
S3、将低分辨率点云Yc和潜在向量
Figure BDA00033762301900000211
结合构成重构特征
Figure BDA00033762301900000212
使用多尺度点云生成器从
Figure BDA00033762301900000213
和Yc恢复出高分辨率点云Yf，组合Yc和Yf得到最终牙体点云Ypred；
S4、通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全模型的训练；
S5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。
进一步的，步骤S1包括以下步骤：
S11、设牙体点云数据集为S＝{(x1,y1),(x2,y2),...,(xL,yL)}，其中，xi表示不完整牙体点云，yi表示对应缺失牙齿金标准，i＝1,…,L，L表示数据集中样本数量；使用最远点采样FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度相同的牙体点云数据集；
S12、使用动态图卷积神经网络DGCNN对步骤S11最终得到的统一尺度后的牙齿点云数据集进行聚类，得到聚类中心
Figure BDA00033762301900000214
，该聚类中心
Figure BDA00033762301900000215
包含若干关键点坐标，同时提取出围绕各关键点的局部特征
Figure BDA00033762301900000216
S13、使用两个不同的多层感知机MLP分别对
Figure BDA00033762301900000217
和
Figure BDA00033762301900000218
处理，并将处理结果相加在一起作为不完整牙体点云的特征；不完整牙体点云的特征矩阵为：
Figure BDA0003376230190000031
其中，其中
Figure BDA0003376230190000032
和
Figure BDA0003376230190000033
分别是处理
Figure BDA0003376230190000034
和
Figure BDA0003376230190000035
的第一多层感知机和第二多层感知机，
Figure BDA0003376230190000036
表示不完整牙体点云的特征矩阵。
进一步的，步骤S2具体为：
transformer编码器根据步骤S1中获取的特征矩阵
Figure BDA0003376230190000037
按照聚类中心
Figure BDA0003376230190000038
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构；聚类中心
Figure BDA0003376230190000039
提供语义特征信息和编码器学习结构特征信息，把语义特征信息和编码器学习结构特征信息结合起来，将transformer编码器的结果作为潜在向量
Figure BDA00033762301900000310
该潜在向量描述了缺失部位的几何结构和数值范围；接着使用一个多层感知机从潜在向量
Figure BDA00033762301900000311
中预测出低分辨率点云Yc；潜在向量
Figure BDA00033762301900000312
和低分辨率点云Yc的表达式为：
Figure BDA00033762301900000313
Figure BDA00033762301900000314
其中，
Figure BDA00033762301900000315
是特征矩阵，
Figure BDA00033762301900000316
是用于预测低分辨率点云Yc的第三多层感知机。
进一步的，步骤S3具体为：
多尺度点云生成器包括第四多层感知机和第五多层感知机，首先，将步骤S2得到的潜在向量
Figure BDA00033762301900000317
和低分辨率点云从第一维度连接在一起作为重建特征
Figure BDA00033762301900000318
第四多层感知机从
Figure BDA00033762301900000319
预测出分辨率较高的中间点云，然后将中间点云与
Figure BDA00033762301900000320
进一步按第一维度连接在一起，作为第五多层感知机的输入，第五多层感知机预测出高分辨率点云Yf，最后将Yf和Yc按第一维度拼接在一起作为最终的预测点云Ypred；重建特征
Figure BDA00033762301900000321
和最终的预测点云Ypred的公式表示为：
Figure BDA00033762301900000322
Figure BDA00033762301900000323
其中，
Figure BDA00033762301900000324
表示重建特征，
Figure BDA00033762301900000325
和
Figure BDA00033762301900000326
分别表示第四多层感知机和第五多层感知机，
Figure BDA00033762301900000327
表示矩阵连接操作。
进一步的，步骤S4具体为：
使用切夫距离来描述两个牙体点云之间的距离，切夫距离计算公式如下：
Figure BDA0003376230190000041
其中，S1和S2表示两个牙体点云，CD(S1,S2)表示牙体点云S1和S2的切夫距离，x和y分别表示隶属于点云S1和S2的点坐标，切夫距离的计算复杂度是
Figure BDA0003376230190000042
用损失函数表示牙体点云补全模型的目标函数，并完成牙体补全模型的训练；
通过切夫距离计算损失函数为：
Figure BDA0003376230190000043
其中，α是用于平衡两项的权重参数，CD(Yc,Ygt)表示低分辨率点云与金标准之间的距离，αCD(Ypred,Ygt)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节。
进一步的，步骤S5具体为：
使用步骤S4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，使用选择切夫距离、推土机距离和F-score作为评价指标对牙齿补全结果进行评价；其中切夫距离包括两种形式：CD-l1和CD-l2，CD-l1使用L1范数来计算两个点之间的切夫距离，CD-l2使用L2范数来计算两个点之间的切夫距离，推土机距离的计算公式如下：
Figure BDA0003376230190000044
其中，S1和S2表示两个牙体点云，EMD(S1,S2)表示牙体点云S1和S2的推土机距离，φ表示从S1和S2之间的双向映射，用于最小化对应点之间的距离。
F-score被定义为预测结果的精度和召回率之间的调和平均值。
本发明的一种基于transformer编码器的牙体点云补全系统，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度牙体点云，并将尺度统一后的不完整牙体点云进行聚类，得到聚类中心
Figure BDA0003376230190000045
，同时提取出围绕聚类中心中的关键点的局部特征
Figure BDA0003376230190000046
，然后将
Figure BDA0003376230190000047
和
Figure BDA0003376230190000048
分别处理并相加得到不完整牙体点云的特征矩阵
Figure BDA0003376230190000051
；编码模块根据获取的特征矩阵
Figure BDA0003376230190000052
按照
Figure BDA0003376230190000053
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构，
Figure BDA0003376230190000054
提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将编码器的结果作为潜在向量
Figure BDA0003376230190000055
，然后从
Figure BDA0003376230190000056
中预测出低分辨率点云Yc；多尺度点云生成器通过潜在向量
Figure BDA0003376230190000057
和低分辨率点云Yc预测出高分辨率点云Yf，将Yf和Yc组合在一起作为最终的预测牙体点云Ypred；牙体补全模型训练模块通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估牙齿补全结果。
优选的，编码模块包括transformer编码器和多层感知机，多层感知机用于对transformer编码器输出的结果进行预测得到低分辨率点云Yc。
本发明的一种基于transformer编码器的牙体点云补全装置，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行上述一种基于transformer编码器的牙体点云补全方法的步骤。
本发明的一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于transformer编码器的牙体点云补全方法的步骤。
有益效果：与现有技术相比，本发明将transformer编码器应用到牙齿点云补全中，使用transformer中的自注意力机制来平衡点云中三维几何关系带来的归纳偏置，通过挖掘缺失牙齿的潜在特征向量来建模局部关系，并且使用一种从粗糙到精细的方式来生成最终点云。除此之外，本发明设计的损失函数强调了低分辨率点云中的关键点所表示的全局特征，可以在关注点云全局特征的同时最大程度地确保补全牙齿的细节。通过广泛的实验证明了本方法的有效性，并应用在了不完整牙体的点云补全上。且在真实的缺牙数据集上进行实验，可以得出本发明提出的方法具有较好性能的结论。
附图说明
图1是本发明方法流程图；
图2是本发明点云补全网络框架图。
图3是本发明点云补全方法的效果对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
如图1和图2所示，一种基于transformer编码器的牙体点云补全方法，包括以下步骤：
S1、使用动态图卷积神经网络DGCNN对不完整牙体点云进行处理，得到聚类中心
Figure BDA0003376230190000061
并提取出
Figure BDA0003376230190000062
中关键点的局部特征
Figure BDA0003376230190000063
；并根据聚类中心
Figure BDA0003376230190000064
和局部特征
Figure BDA0003376230190000065
得到特征矩阵
Figure BDA0003376230190000066
具体过程如下：
设牙体点云数据集为S＝{(x1,y1),(x2,y2),...,(xL,yL)}，其中，xi表示不完整牙体点云，yi表示对应缺失牙齿金标准，i＝1,…,L，L表示数据集中样本数量。首先使用最远点采样FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度点云，得到尺度相同的牙体点云数据集。然后使用动态图卷积神经网络DGCNN对不完整牙体点云进行聚类，得到聚类中心
Figure BDA0003376230190000067
该聚类中心
Figure BDA0003376230190000068
包含若干关键点坐标，同时提取出围绕各关键点的局部特征
Figure BDA0003376230190000069
最后使用两个不同的多层感知机MLP对
Figure BDA00033762301900000610
和
Figure BDA00033762301900000611
分别处理，并将处理结果相加在一起作为不完整牙体点云的特征。不完整牙体点云的特征矩阵为：
Figure BDA00033762301900000612
其中，其中
Figure BDA00033762301900000613
和
Figure BDA00033762301900000614
分别是处理
Figure BDA00033762301900000615
和
Figure BDA00033762301900000616
的第一多层感知机和第二多层感知机，
Figure BDA00033762301900000617
表示将其处理结果相加的得到的特征矩阵，即不完整牙体点云的特征矩阵。
S2、利用几何结构敏感的transformer编码器对聚类中心
Figure BDA00033762301900000618
和围绕各关键点的局部特征
Figure BDA00033762301900000619
进行编码，挖掘出可以描述缺失部位牙齿的潜在向量
Figure BDA00033762301900000620
，使用一个多层感知机MLP从潜在向量V预测出缺失牙齿的低分辨率点云Yc；
具体过程如下：
Transformer中的自注意力用于解决训练不完整牙体点云数据时候存在的归纳偏置问题，同时本发明设计了几何敏感模块，可以更好地建模点云中的几何结构。几何结构敏感transformer编码器由六个连续的模块构成，编码器根据步骤S1中获取的特征矩阵
Figure BDA0003376230190000071
按照聚类中心
Figure BDA0003376230190000072
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构。聚类中心
Figure BDA0003376230190000073
提供语义特征信息和编码器学习结构特征信息，本发明把两种信息结合起来，将编码器的结果作为潜在向量
Figure BDA0003376230190000074
该潜在向量描述了缺失部位的几何结构和数值范围。接着使用一个多层感知机从潜在向量
Figure BDA0003376230190000075
中预测出低分辨率点云Yc。潜在向量
Figure BDA0003376230190000076
和低分辨率点云Yc的表达式为：
Figure BDA0003376230190000077
Figure BDA0003376230190000078
其中，
Figure BDA0003376230190000079
是步骤S1得到的特征矩阵，
Figure BDA00033762301900000710
是用于预测低分辨率点云Yc的第三多层感知机。
S3、将低分辨率点云Yc和潜在向量
Figure BDA00033762301900000711
结合构成重构特征
Figure BDA00033762301900000712
使用多尺度点云生成器从
Figure BDA00033762301900000713
和Yc恢复出高分辨率点云Yf，组合Yc和Yf得到最终牙体点云Ypred；
具体过程如下：
多尺度点云生成器由两个相似的第四多层感知机和第五多层感知机组成，该生成器用一种从粗糙到精细的方式来恢复最终的高分辨率点云。首先，将步骤S2得到的潜在向量
Figure BDA00033762301900000714
和低分辨率点云Yc从第一维度连接在一起作为重建特征
Figure BDA00033762301900000715
，第四多层感知机从
Figure BDA00033762301900000716
预测出分辨率较高的中间点云，然后将中间点云与
Figure BDA00033762301900000717
进一步从第一维度连接在一起，作为第五多层感知机的输入，第五多层感知机预测出高分辨率点云Yf，最后将Yf和Yc从第一维度连接在一起作为最终的预测牙体点云Ypred。重建特征
Figure BDA00033762301900000718
和最终的预测点云Ypred的公式表示为：
Figure BDA00033762301900000719
Figure BDA00033762301900000720
其中，
Figure BDA00033762301900000721
表示重建特征，
Figure BDA00033762301900000722
和
Figure BDA00033762301900000723
分别表示多尺度点云生成器中的第四多层感知机和第五多层感知机，
Figure BDA00033762301900000724
表示矩阵连接操作。
S4、通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全模型的训练；
具体过程如下：
本方法使用切夫距离(Chamfer Distance)来描述两个牙体点云之间的距离，切夫距离计算公式如下：
Figure BDA0003376230190000081
其中，S1和S2表示两个牙体点云，CD(S1,S2)表示牙体点云S1和S2的切夫距离，x和y分别表示隶属于点云S1和S2的点坐标。切夫距离的计算复杂度是
Figure BDA0003376230190000082
，可以极大缩短本方法的训练时间。如步骤S3所述，用一种从粗糙到精细的方式得到最终的点云，用点云补全网络的损失函数表示牙体点云补全模型的目标函数，并完成牙体补全模型的训练；
本发明点云补全网络的损失函数包含以下两个部分：
Figure BDA0003376230190000083
其中，α是用于平衡两项的权重参数。第一项计算低分辨率点云与金标准之间的距离，即CD(Yc,Ygt)表示低分辨率点云与金标准之间的距离；第二项计算最终预测点云与金标准之间的距离，即αCD(Ypred,Ygt)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节，这样设计损失函数增加了特征点的比重，使得最终模型可以在关注点云全局特征的同时最大程度地确保补全牙齿的细节。
在本实施例牙体补全模型的训练中，我们使用5469个示例作为训练集，640个示例作为测试集，所有的代码均用PyTorch实现，网络中所有的模块使用ADAM优化器，初始的学习率设置为0.0001，每经过40个回合学习率衰减70％，设置批次大小为64，总训练回合为500回合，通过最小化目标函数，在两块NVIDIA RTX3090上完成模型的训练。
S5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。
具体过程如下：
使用步骤S4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，本方法选择切夫距离、推土机距离(Earth MoverDistance)和F-score作为评价指标，其中使用切夫距离的两种形式：CD-l1和CD-l2。CD-l1使用L1范数来计算两个点之间的距离，CD-l2使用L2范数来计算两个点之间的距离。推土机距离的计算公式如下：
Figure BDA0003376230190000091
其中，S1和S2表示两个牙体点云，EMD(S1,S2)表示牙体点云S1和S2的推土机距离，φ表示从S1和S2之间的双向映射，用于最小化对应点之间的距离。
F-score被定义为预测结果的精度和召回率之间的调和平均值；精度是指与金标准相比预测对的点除以金标准所有的点，召回率是指与输入相比预测对的点除以输入中所有的点。
本方法使用以上四个指标对补全结果进行评价，选取四个点云补全领域比较有代表性的算法：Point Completion Network(PCN)、Point Fractal Network(PF-Net)、Variational Relational Point Completion Network(VRCNet)、Geometry-AwareTransformers(PoinTr)，指标结果如表1所示，本发明方法在CD-l1、CD-l2、EMD和F-score四个指标上均取得了最佳结果，表明本发明的补全结果与真实结果更为接近。图3所示为与四个算法的视觉对比结果，可以看出来，本发明补全结果可以较为精细地恢复牙体形状，避免了一定程度上的噪音，与金标准更为接近。
表1牙体点云补全指标结果
Figure BDA0003376230190000092
本发明的一种基于transformer编码器的牙体点云补全系统，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度点云，并将尺度统一后的不完整牙体点云使用动态图卷积神经网络DGCNN进行聚类，得到聚类中心
Figure BDA0003376230190000101
，同时提取出围绕聚类中心中的关键点的局部特征
Figure BDA0003376230190000102
，然后将
Figure BDA0003376230190000103
和
Figure BDA0003376230190000104
分别处理并相加得到不完整牙体点云的特征
Figure BDA0003376230190000105
；编码模块包括transformer编码器和多层感知机，transformer编码器根据获取的特征
Figure BDA0003376230190000106
按照
Figure BDA0003376230190000107
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构，
Figure BDA0003376230190000108
提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将transformer编码器的结果作为潜在向量
Figure BDA0003376230190000109
，多层感知机从
Figure BDA00033762301900001010
中预测出低分辨率点云Yc；多尺度点云生成器通过潜在向量
Figure BDA00033762301900001011
和低分辨率点云Yc预测出高分辨率点云Yf，将Yf和Yc组合在一起作为最终的预测点云Ypred；牙体补全模型训练模块通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估补全结果。
一种基于transformer编码器的牙体点云补全装置，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行上述一种基于transformer编码器的牙体点云补全方法的步骤。
一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述一种基于transformer编码器的牙体点云补全方法的步骤。

Claims (10)

1.一种基于transformer编码器的牙体点云补全方法，其特征在于，包括以下步骤：
S1、使用动态图卷积神经网络DGCNN对统一尺度后的牙体点云数据集处理，得到聚类中心
Figure FDA0003376230180000011
并提取出
Figure FDA0003376230180000012
中关键点的局部特征
Figure FDA0003376230180000013
并根据聚类中心
Figure FDA0003376230180000014
和局部特征
Figure FDA0003376230180000015
得到特征矩阵
Figure FDA0003376230180000016
S2、利用transformer编码器对聚类中心
Figure FDA0003376230180000017
和围绕各关键点的局部特征
Figure FDA0003376230180000018
进行编码，挖掘出用于描述缺失部位牙齿的潜在向量
Figure FDA0003376230180000019
使用一个多层感知机MLP从潜在向量
Figure FDA00033762301800000110
预测出缺失牙齿的低分辨率点云Yc；
S3、将低分辨率点云Yc和潜在向量
Figure FDA00033762301800000111
结合构成重构特征
Figure FDA00033762301800000112
使用多尺度点云生成器从
Figure FDA00033762301800000113
和Yc恢复出高分辨率点云Yf，组合Yc和Yf得到最终牙体点云Ypred；
S4、通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全模型的训练；
S5、使用训练好的牙体补全模型对测试数据进行补全，得到完整牙体点云，并使用指标进行评价。
2.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤S1包括以下步骤：
S11、设牙体点云数据集为S＝{(x1,y1),(x2,y2),...,(xL,yL)}，其中，xi表示不完整牙体点云，yi表示对应缺失牙齿金标准，i＝1,…,L，L表示数据集中样本数量；使用最远点采样FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度相同的牙体点云数据集；
S12、使用动态图卷积神经网络DGCNN对步骤S11最终得到的统一尺度后的牙齿点云数据集进行聚类，得到聚类中心
Figure FDA00033762301800000114
该聚类中心
Figure FDA00033762301800000115
包含若干关键点坐标，同时提取出围绕各关键点的局部特征
Figure FDA00033762301800000116
S13、使用两个不同的多层感知机MLP分别对
Figure FDA00033762301800000117
和
Figure FDA00033762301800000118
处理，并将处理结果相加在一起作为不完整牙体点云的特征；不完整牙体点云的特征矩阵为：
Figure FDA00033762301800000119
其中，其中
Figure FDA00033762301800000120
和
Figure FDA00033762301800000121
分别是处理
Figure FDA00033762301800000122
和
Figure FDA00033762301800000123
的第一多层感知机和第二多层感知机，
Figure FDA00033762301800000124
表示不完整牙体点云的特征矩阵。
3.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法及系统，其特征在于，步骤S2具体为：
transformer编码器根据步骤S1中获取的特征矩阵
Figure FDA0003376230180000021
按照聚类中心
Figure FDA0003376230180000022
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构；聚类中心
Figure FDA0003376230180000023
提供语义特征信息和编码器学习结构特征信息，把语义特征信息和编码器学习结构特征信息结合起来，将transformer编码器的结果作为潜在向量
Figure FDA0003376230180000024
该潜在向量描述了缺失部位的几何结构和数值范围；接着使用一个多层感知机从潜在向量
Figure FDA0003376230180000025
中预测出低分辨率点云Yc；潜在向量
Figure FDA0003376230180000026
和低分辨率点云Yc的表达式为：
Figure FDA0003376230180000027
Figure FDA0003376230180000028
其中，
Figure FDA0003376230180000029
是特征矩阵，
Figure FDA00033762301800000210
是用于预测低分辨率点云Yc的第三多层感知机。
4.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤S3具体为：
多尺度点云生成器包括第四多层感知机和第五多层感知机，首先，将步骤S2得到的潜在向量
Figure FDA00033762301800000211
和低分辨率点云从第一维度连接在一起作为重建特征
Figure FDA00033762301800000212
第四多层感知机从
Figure FDA00033762301800000213
预测出分辨率较高的中间点云，然后将中间点云与
Figure FDA00033762301800000214
进一步按第一维度连接在一起，作为第五多层感知机的输入，第五多层感知机预测出高分辨率点云Yf，最后将Yf和Yc按第一维度拼接在一起作为最终的预测点云Ypred；重建特征
Figure FDA00033762301800000215
和最终的预测点云Ypred的公式表示为：
Figure FDA00033762301800000216
Figure FDA00033762301800000217
其中，
Figure FDA00033762301800000218
表示重建特征，
Figure FDA00033762301800000219
和
Figure FDA00033762301800000220
分别表示第四多层感知机和第五多层感知机，
Figure FDA00033762301800000221
表示矩阵连接操作。
5.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤S4具体为：
使用切夫距离来描述两个牙体点云之间的距离，切夫距离计算公式如下：
Figure FDA0003376230180000031
其中，S1和S2表示两个牙体点云，CD(S1,S2)表示牙体点云S1和S2的切夫距离，x和y分别表示隶属于点云S1和S2的点坐标，切夫距离的计算复杂度是
Figure FDA0003376230180000032
用损失函数表示牙体点云补全网络的目标函数，并完成牙体补全模型的训练；
通过切夫距离计算损失函数为：
Figure FDA0003376230180000033
其中，α是用于平衡两项的权重参数，CD(Yc,Ygt)表示低分辨率点云与金标准之间的距离，αCD(Ypred,Ygt)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了全局特征信息，高分辨率点云保证了补全牙体的细节。
6.根据权利要求1所述的一种基于transformer编码器的牙体点云补全方法，其特征在于，步骤S5具体为：
使用步骤S4训练好的牙体补全模型，对测试样本进行预测，补全缺失部位的牙齿，为了评估牙齿补全结果的表现，使用选择切夫距离、推土机距离和F-score作为评价指标对牙齿补全结果进行评价；其中切夫距离包括两种形式：CD-l1和CD-l2，CD-l1使用L1范数来计算两个点之间的切夫距离，CD-l2使用L2范数来计算两个点之间的切夫距离，推土机距离的计算公式如下：
Figure FDA0003376230180000034
其中，S1和S2表示两个牙体点云，EMD(S1,S2)表示牙体点云S1和S2的推土机距离，φ表示从S1和S2之间的双向映射，用于最小化对应点之间的距离。
F-score被定义为预测结果的精度和召回率之间的调和平均值。
7.一种基于transformer编码器的牙体点云补全系统，其特征在于，包括数据处理模块、编码模块、多尺度点云生成器、牙体补全模型训练模块和测试评估模块，其中，数据处理模块将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不同尺度牙体点云，并将尺度统一后的不完整牙体点云进行聚类，得到聚类中心
Figure FDA0003376230180000041
同时提取出围绕聚类中心中的关键点的局部特征
Figure FDA0003376230180000042
然后将
Figure FDA0003376230180000043
和
Figure FDA0003376230180000044
分别处理并相加得到不完整牙体点云的特征矩阵
Figure FDA0003376230180000045
编码模块根据获取的特征矩阵
Figure FDA0003376230180000046
按照
Figure FDA0003376230180000047
中的关键点坐标进行查询，然后通过线性层的特征聚合和最大池化来进一步学习局部几何结构，
Figure FDA0003376230180000048
提供语义特征信息和编码器学习结构特征信息，并把两种信息结合起来，将编码器的结果作为潜在向量
Figure FDA0003376230180000049
然后从
Figure FDA00033762301800000410
中预测出低分辨率点云Yc；多尺度点云生成器通过潜在向量
Figure FDA00033762301800000411
和低分辨率点云Yc预测出高分辨率点云Yf，将Yf和Yc组合在一起作为最终的预测牙体点云Ypred；牙体补全模型训练模块通过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全网络的训练；测试评估模块根据测试样本的预测结果补全缺失部位的牙齿，并评估牙齿补全结果。
8.根据权利要求7所述的一种基于transformer编码器的牙体点云补全系统，其特征在于，编码模块包括transformer编码器和多层感知机，多层感知机用于对transformer编码器输出的结果进行预测得到低分辨率点云Yc。
9.一种基于transformer编码器的牙体点云补全装置，其特征在于，包括存储器和处理器，其中：
存储器，用于存储能够在处理器上运行的计算机程序；
处理器，用于在运行所述计算机程序时，执行如权利要求1-6任一项所述一种基于transformer编码器的牙体点云补全方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被至少一个处理器执行时实现如权利要求1-6任一项所述一种基于transformer编码器的牙体点云补全方法的步骤。
CN202111419107.6A 2021-11-26 2021-11-26 一种基于transformer编码器的牙体点云补全方法及系统 Pending CN114066772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111419107.6A CN114066772A (zh) 2021-11-26 2021-11-26 一种基于transformer编码器的牙体点云补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111419107.6A CN114066772A (zh) 2021-11-26 2021-11-26 一种基于transformer编码器的牙体点云补全方法及系统

Publications (1)

Publication Number Publication Date
CN114066772A true CN114066772A (zh) 2022-02-18

Family

ID=80276381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111419107.6A Pending CN114066772A (zh) 2021-11-26 2021-11-26 一种基于transformer编码器的牙体点云补全方法及系统

Country Status (1)

Country Link
CN (1) CN114066772A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463328A (zh) * 2022-04-11 2022-05-10 四川大学 一种自动化正畸难度系数评估方法
CN115878861A (zh) * 2023-02-07 2023-03-31 东南大学 一种针对图数据补全的集成式关键节点组的选择方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463328A (zh) * 2022-04-11 2022-05-10 四川大学 一种自动化正畸难度系数评估方法
CN115878861A (zh) * 2023-02-07 2023-03-31 东南大学 一种针对图数据补全的集成式关键节点组的选择方法

Similar Documents

Publication Publication Date Title
CN111627019B (zh) 一种基于卷积神经网络的肝脏肿瘤分割方法及系统
WO2021009258A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
CN114066772A (zh) 一种基于transformer编码器的牙体点云补全方法及系统
CN110111885B (zh) 属性预测方法、装置、计算机设备及计算机可读存储介质
CN113808075B (zh) 一种基于深度学习的两阶段舌象识别方法
WO2023044605A1 (zh) 极端环境下脑结构的三维重建方法、装置及可读存储介质
CN113744275B (zh) 一种基于特征变换的三维cbct牙齿图像的分割方法
CN114612660A (zh) 一种基于多特征融合点云分割的三维建模方法
CN114565738A (zh) 一种基于局部几何一致性与特征一致性的点云补全方法
CN116110597A (zh) 一种基于数字孪生的患者病症类别智能分析方法及装置
CN115601352A (zh) 基于多模态自监督的医学影像分割方法
CN116469561A (zh) 一种基于深度学习的乳腺癌生存预测方法
CN116913459B (zh) 基于深度卷积网络控制门模型的用药推荐方法及系统
CN116958958A (zh) 基于图卷积双流形状先验自适应类别级物体姿态估计方法
JP2023505676A (ja) 機械学習方法のデータ拡張
CN117115132A (zh) 一种基于改进U-Net模型的口腔CBCT影像牙齿及软组织分割模型方法
CN117094925A (zh) 一种基于点代理增强和逐层上采样的猪体点云补全方法
CN114972250A (zh) 一种牙科图像分割方法
CN113593007B (zh) 一种基于变分自编码的单视图三维点云重建方法及系统
KR102432766B1 (ko) 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법
CN115271033A (zh) 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
CN115100306A (zh) 针对胰腺区域的四维锥束ct成像方法和装置
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN117911418B (zh) 基于改进yolo算法的病灶检测方法、系统及存储介质
CN114638745B (zh) 一种基于多借鉴信息的医学影像智能转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination