CN112017196B - 基于局部注意力机制的三维牙齿模型网格分割方法 - Google Patents

基于局部注意力机制的三维牙齿模型网格分割方法 Download PDF

Info

Publication number
CN112017196B
CN112017196B CN202010875598.4A CN202010875598A CN112017196B CN 112017196 B CN112017196 B CN 112017196B CN 202010875598 A CN202010875598 A CN 202010875598A CN 112017196 B CN112017196 B CN 112017196B
Authority
CN
China
Prior art keywords
local
grid
tooth model
dimensional tooth
grids
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010875598.4A
Other languages
English (en)
Other versions
CN112017196A (zh
Inventor
高陈强
张凌明
赵悦
黄思翔
钱志华
谢承娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202010875598.4A priority Critical patent/CN112017196B/zh
Publication of CN112017196A publication Critical patent/CN112017196A/zh
Application granted granted Critical
Publication of CN112017196B publication Critical patent/CN112017196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Abstract

本发明涉及医学图像处理与计算机视觉领域，具体涉及一种基于局部注意力机制的三维牙齿模型网格分割方法，包括：采用训练好的三维牙齿模型分割网络对三维牙齿模型中的每一个三角形网格进行判断分类，确定每一个三角形网格所在的区域属于牙龈还是某一颗牙齿，准确找到三维牙齿模型中每颗牙齿所在的完整区域，从而对三维牙齿模型进行准确分割。本发明能够有效提高牙齿边缘以及相邻牙齿等低特征识别度区域的分割准确率。

Description

基于局部注意力机制的三维牙齿模型网格分割方法
技术领域
本发明涉及医学图像处理与计算机视觉领域，具体涉及一种基于局部注意力机制的三维牙齿模型网格分割方法。
背景技术
随着数字化技术的发展，数字化口腔技术正在快速改变口腔医学领域的传统诊断模式，其中计算机辅助治疗系统更是广泛应用于口腔领域，而从患者的数字化三维牙齿模型中准确分割出牙齿部分是计算机辅助治疗系统的重要基础，其分割的结果能协助医生对患者牙齿进行移动、重排列等操作以模拟正畸后的治疗效果，同时还能为牙齿种植导板设计、3D生物打印种植体、以及患者后续的治疗计划的制定提供了重要的参考信息。不同与普通的2D图像，三维牙齿模型本质3D点云或者网格组成的非机构化数据，其分割存在以下几个难点：
(1)不同人的牙齿模型形状差异大，因此基于几何特征的传统分割方法往往鲁棒性较差；
(2)患者的牙齿往往存在排列拥挤、错位等现象，从而导致牙齿边界不明显；
(3)部分患者还存在牙齿缺失的情况，以及扫描过程中产生的噪声都给分割任务带来了额外的挑战
传统的三维牙齿模型分割方法通常利用预定义的空间几何特征如曲率、法向量等作为牙齿分割的参考信息，这些方法大致可分为基于曲率的方法(curvature-basedmethod)、基于轮廓线的方法(contour-line-based method)、基于谐波场的方法(harmonic-field-based method)等。这些传统方法虽然比较直观，但十分依赖先验知识，同时需要一定的人工交互，因此无法实现全自动的分割且分割性能易受到主观因素的影响。部分基于深度学习的三维牙齿模型分割方法由于不能有效地提取局部的细节语义信息，因此在牙齿边缘和相邻牙齿区域容易出现过分割或者欠分割现象。
发明内容
为了解决上述问题，本发明提供一种基于局部注意力机制的三维牙齿模型网格分割方法。
一种基于局部注意力机制的三维牙齿模型网格分割方法，包括以下步骤：
采用训练好的三维牙齿模型分割网络对三维牙齿模型中的每一个三角形网格进行判断分类，确定每一个三角形网格所在的区域属于牙龈还是某一颗牙齿，准确找到三维牙齿模型中每颗牙齿所在的完整区域，从而对三维牙齿模型进行准确分割；
三维牙齿模型分割网络先训练后使用，训练好的三维牙齿模型分割网络自动计算出最符合三维牙齿模型几何特征的权重分配，并基于注意力机制对三维牙齿模型进行局部特征的提取，三维牙齿模型分割网络的训练过程包括：
S1、根据原始三维牙齿模型中的三角形网格的三个顶点坐标计算三角形网格的中心点坐标，将三角形网格的中心点作为该三角形网格的空间信息，将原始三维牙齿模型中的三角形网格的顶点坐标和中心点坐标进行归一化处理；
S2、采用最远距离下采样FPS从原始三维牙齿模型中的所有网格数据中选取K个中心网格，以每个中心网格作为中心选取K个距离中心网格最近的网格一起构建局部区域，得到K个局部区域；
S3、对K个局部区域进行局部特征提取，得到K个局部区域的局部特征信息；
S4、将得到的K个局部区域的局部特征信息作为K个中心网格的特征信息，舍弃局部网格，保留K个中心网格；
S5、将K个中心网格以及K个中心网格的特征信息作为下一次下采样的的输入，令K＝K/2，再采用最远距离下采样FPS从保留的中心网格中选取K个中心网格，以每个中心网格作为中心构建局部区域，得到K个局部区域；重复执行步骤S3-S5，直到剩余的中心网格数量为原始三维牙齿模型网格个数的1/16时停止下采样，得到三维牙齿模型的多尺度局部特征信息；
S6、利用上采样将现有的网格数据逐步恢复至原始个数，并将每次上采样新恢复网格mj的第一阶段的特征信息fj new与步骤S5获取的多尺度局部特征信息进行融合学习，得到融合学习的结果，将融合学习的结果作为新恢复网格mj的最终特征信息；
S7、重复步骤S6的上采样操作，直到三维牙齿模型中的网格数量恢复到输入的原始三维牙齿模型的网格数量后，将最后一次上采样新恢复网格的最终特征信息输入到三维牙齿模型分割网络的多层感知器中，三维牙齿模型分割网络利用多层感知器进行网格级别的分割结果预测，得到预测结果，把预测结果和真实结果进行损失函数值计算，然后将计算出的损失函数值反馈给三维牙齿模型分割网络，三维牙齿模型分割网络利用Adma优化器对三维牙齿模型分割网络进行网络参数的调整，得到调整参数后的三维牙齿模型分割网络；
S8、再将最后一次上采样新恢复网格的最终特征信息输入到调整参数后的三维牙齿模型分割网络中，多次迭代训练网络，并每次计算三维牙齿模型分割网络的损失函数值，当三维牙齿模型分割网络训练的损失函数值变化连续10轮小于0.0001时，即表示三维牙齿模型分割网络基本收敛，停止迭代训练过程，得到训练好的三维牙齿模型分割网络。
进一步的，对K个局部区域进行局部特征提取，得到K个局部区域的局部特征信息包括以下步骤：
S31、对于任一局部区域，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，得到该局部区域内中心网格增强后的特征向量fi c和每个局部网格增强后的特征向量flocal；
S32、将每个局部网格增强后的特征向量flocal与中心网格增强后的特征向量fi c的差值、每个局部网格的中心点坐标信息(即网格在整个数据空间的绝对位置信息)、每个局部网格与中心网格的欧式距离(即网格在其所属局部区域的相对位置信息)、中心网格的中心点坐标四部分同时输入到三维牙齿模型分割网络的权重学习模块中，三维牙齿模型分割网络的权重学习模块根据局部网格的空间分布自动计算符合三维牙齿模型几何特征的局部网格权重分布；
S33、基于计算出的局部网格权重分布，将每个局部区域内所有局部网格的权重向量进行聚合处理，得到代表该局部区域的局部特征信息；
S34、对每个局部区域进行上述S31-S33处理，最终得到K个局部区域的局部特征信息。
进一步的，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，具体包括：
对局部网格进行空间信息增强包括：对于局部网格
Figure BDA0002652588760000041
首先将局部网格
Figure BDA0002652588760000042
通过多层感知器进行空间信息增强处理，其空间信息增强的计算方式为：
Figure BDA0002652588760000043
其中，
Figure BDA0002652588760000044
表示局部网格
Figure BDA0002652588760000045
空间信息增强结果，
Figure BDA0002652588760000046
表示中心网格
Figure BDA0002652588760000047
的中心点坐标，
Figure BDA0002652588760000048
表示局部网格的中心点坐标，
Figure BDA0002652588760000049
表示局部网格的中心点和中心网格
Figure BDA00026525887600000410
的中心点的坐标差值，
Figure BDA00026525887600000411
表示向量拼接操作，MLP表示多层感知器操作；
然后将
Figure BDA00026525887600000412
和局部网格
Figure BDA00026525887600000413
本身的原始特征信息fj进行特征拼接后通过多层感知器进行特征融合学习，得到
Figure BDA00026525887600000414
更丰富的语义特征，特征融合学习过程如下：
Figure BDA00026525887600000415
其中，fj local表示网格
Figure BDA00026525887600000416
进行融合学习后的新特征向量；
将上述空间信息增强处理和特征融合学习处理应用于所有的局部网格，得到每个局部网格增强后的特征向量flocal；
对中心网格进行空间信息增强包括：对于中心网格
Figure BDA00026525887600000417
将中心网格fi c直接通过多层感知器，获得中心网格增强后的特征向量，计算公式如下：
fi c＝MLP(fi)
其中，fi c表示中心网格
Figure BDA0002652588760000051
增强后的特征信息。
进一步的，局部网格权重的计算方式如下：
对于局部网格
Figure BDA0002652588760000052
其权重向量αj的计算公式为：
Figure BDA0002652588760000053
其中，αj表示局部网格
Figure BDA0002652588760000054
的权重向量，MLP表示多层感知器操作，
Figure BDA0002652588760000055
表示中心网格的中心点坐标，
Figure BDA0002652588760000056
表示局部网格的中心点坐标，fj local为局部网格
Figure BDA0002652588760000057
增强后的特征向量，fi c表示中心网格
Figure BDA0002652588760000058
增强后的特征向量。
进一步的，所述聚合处理包括：将每个局部区域内所有局部网格的权重向量进行加权求和，计算公式如下所示：
Figure BDA0002652588760000059
其中，G表示聚合后的局部特征信息，k表示局部网格的数量，αj表示局部网格
Figure BDA00026525887600000510
的权重向量，⊙哈达玛乘积，fj local表示局部网格
Figure BDA00026525887600000511
增强后的特征信息，fi c表示中心网格
Figure BDA00026525887600000512
增强后的特征信息。
进一步的，上采样的次数与之前进行的下采样的次数相同，每次上采样会恢复出新的网格，获取新恢复网格的特征向量，步骤如下：
S61、对距离新恢复网格mj最近的3个现有网格特征向量求平均，得到新恢复网格mj的第一阶段特征信息fj new，如下所示：
Figure BDA00026525887600000513
其中，fi为距离网格mj最近的三个已有网格的特征向量；
S62、将新恢复网格mj被舍弃前的特征信息fj old(即新恢复网格mj在下采样前的特征信息)与新恢复网格mj的第一阶段的特征信息fj new进行融合学习，得到最终融合学习的结果，并将最终融合学习的结果作为新恢复网格mj的最终特征信息。
进一步的，融合学习方式为：
Figure BDA0002652588760000062
其中，fj表示最终融合学习的结果，将fj作为网格mj的最终特征信息，MLP表示多层感知器操作，fj new表示新恢复网格mj的第一阶段的特征信息，fj old表示网格mj在下采样之前的特征信息。
进一步的，损失函数值的数学表达如下：
Figure BDA0002652588760000061
其中，Loss表示损失函数值，n表示整个牙齿模型中的网格总数，yi为网格mi的真实分割标签，p(xi)为网络的预测分割标签。
本发明的有益效果：
1.本发明利用空间信息增强模块对局部区域内的局部网格进行空间信息增强，并将增强后的结果与网格原始特征信息进行融合学习，这使得每个局部网格的特征中既包含该网格相对于整个数据空间的绝对位置信息，也包含其所在局部区域内的相对位置信息，能很好的解决每个人牙齿形状差异较大而带来的分割问题，增强了三维牙齿模型分割网络的泛化能力，并同时对后续的注意力机制具有促进作用。
2.本发明基于注意力机制对三维牙齿模型进行局部特征提取，并且三维牙齿模型分割网络根据数据本身的空间分布自己学习出最符合牙齿模型几何特征的权重分布，因此在进行特征聚合时很好地保留了原始数据中的局部语义信息，有效提高牙齿边缘以及相邻牙齿等低特征识别度区域的分割准确率。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为本发明实施例的三维牙齿模型分割网络结构示意图；
图2为本发明实施例的整体流程示意图；
图3为本发明实施例的局部特征提取模块结构示意图；
图4为本发明实施例的三维牙齿模型示例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的整体分割网络结构示意图如图1所示，整个三维牙齿模型分割网络的训练可分为局部特征提取阶段和特征信息逆向传播阶段。在局部特征提取阶段，三维牙齿模型分割网络首先对三维牙齿模型中的网格数据进行局部空间区域构建，然后在每个局部区域内进行空间信息增强和基于注意力机制的特征信息聚合，获取每个局部区域内的局部特征信息。在特征信息逆向传播阶段，三维牙齿模型分割网络通过上采样逐步恢复到原始的网格数量，同时将两个阶段得到的网格特征信息进行融合学习。最后三维牙齿模型分割网络进行网格级别的分割预测，得到预测结果。
一种基于局部注意力机制的三维牙齿模型分割方法，如图2所示，包括但不限于以下步骤：
S1：一个三维牙齿模型的原始数据中包括十几万个三角形网格，考虑其含有大量的冗余信息，本发明把原始数据送入网络之前，首先对原始的三维牙齿模型进行随机下采样以减少三维牙齿模型中网格数量，从而降低三维牙齿模型分割网络对硬件资源的要求。在完成随机下采样后，再根据三维牙齿模型中的三角形网格的顶点坐标进行空间信息提取和归一化处理。
三维牙齿模型中每个网格均是由三个顶点构成的三角形网格，如图4所示，原始数据中三角形网格的每个顶点都具有坐标信息。获取三维牙齿模型中每个三角形网格的三个顶点坐标信息，根据三个顶点的x轴、y轴、z轴的坐标值计算网格的中心点坐标。例如，对于网格mi，其中心点pi的坐标为：
Figure BDA0002652588760000081
其中xi，yi，zi分别表示网格顶点的三个坐标值。
将网格的顶点坐标和中心点坐标进行归一化处理，使每个坐标值的范围为(-1,1)。将中心点pi作为网格mi的空间信息，三个顶点坐标作为每个网格的初始特征信息。将三维牙齿模型中每个网格的空间信息和初始特征信息输入到整个三维牙齿分割网络的多层感知器中。
S2：采用最远距离下采样(Farthest Point Sampling,FPS)从三维牙齿模型中的所有网格数据中选取K个中心网格，以每个中心网格作为中心选取K个距离中心网格最近的网格一起构建局部区域，得到K个局部区域。
最远距离下采样包括以下过程：
1.先随机选择一个网格m1作为第1个被采样的网格；
2.在整个数据空间中，选择距离m1最远的网格m2作为第2个被采样的网格；
3.在整个数据空间中，选择除了m1外距离m2最远的网格m3作为第3个被采样的网格；
4.以此类推，最后直到下采样出K个网格为止。
在最远距离下采样结束后，得到了K个中心网格，然后以每个中心网格
Figure BDA0002652588760000082
的中心点坐标
Figure BDA0002652588760000083
为中心，在整个数据空间内选择k个距离中心网格最近其他网格作为局部网格集合，这k个局部网格与该中心网格
Figure BDA0002652588760000084
共同组成一个局部区域。完成上述步骤后，得到K个局部区域。(后续的网格特征学习将在每个局部区域的基础上进行。一切与空间距离相关的计算都是使用网格的中心点坐标作为参考。)
S3、完成局部区域的构建后，对K个局部区域进行局部特征提取，得到K个局部区域的局部特征信息，局部特征提取模块的结构示意图如图3所示。
具体包括以下过程：
S31、对于任一局部区域，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，得到该局部区域内中心网格增强后的特征向量fi c和每个局部网格增强后的特征向量flocal。
进一步的，在一个可选的实施例中，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，具体包括：
对局部网格进行空间信息增强包括：对于局部网格
Figure BDA0002652588760000091
首先将局部网格
Figure BDA0002652588760000092
通过多层感知器进行空间信息增强处理，利用空间信息增强公式计算局部网格的空间信息增强结果，空间信息增强的计算方式为：
Figure BDA0002652588760000093
其中，
Figure BDA0002652588760000094
表示局部网格
Figure BDA0002652588760000095
空间信息增强结果，
Figure BDA0002652588760000096
表示中心网格的中心点坐标，
Figure BDA0002652588760000097
表示局部网格的中心点坐标，
Figure BDA0002652588760000098
两点的坐标差值，
Figure BDA0002652588760000099
表示向量拼接操作(Concatenate)，MLP表示多层感知器操作。
然后将局部网格
Figure BDA00026525887600000910
空间信息增强结果
Figure BDA00026525887600000911
和局部网格
Figure BDA00026525887600000912
本身的初始特征信息fj(即局部网格
Figure BDA00026525887600000913
三个顶点的坐标)进行特征拼接后进行融合学习，以得到
Figure BDA00026525887600000914
更丰富的语义特征，融合学习过程如下：
Figure BDA00026525887600000915
其中，fj local表示网格
Figure BDA00026525887600000916
进行融合学习后的新特征向量；
将上述空间信息增强处理和特征融合学习处理应用于所有的局部网格，得到每个局部网格增强后的特征向量flocal；
对中心网格进行空间信息增强包括：对于中心网格
Figure BDA00026525887600000917
将中心网格fi c直接通过多层感知器，获得中心网格增强后的特征向量，计算公式如下：
fi c＝MLP(fi)
其中，fi c表示中心网格
Figure BDA00026525887600000918
增强后的特征信息。
S32、将每个局部网格增强后的特征向量flocal与中心网格增强后的特征向量fi c的差值、每个局部网格的中心点坐标信息(即每个局部网格在整个数据空间的绝对位置信息，对于局部网格
Figure BDA00026525887600000919
绝对位置信息即为网格
Figure BDA00026525887600000920
中心点坐标值
Figure BDA0002652588760000101
)、每个局部网格与中心网格的欧式距离(即每个局部网格在其所属局部区域的相对位置信息，对于局部网格
Figure BDA0002652588760000102
相对位置信息为
Figure BDA0002652588760000103
中心点坐标
Figure BDA0002652588760000104
与所在局部区域的中心网格
Figure BDA0002652588760000105
的中心点坐标
Figure BDA0002652588760000106
的坐标差值
Figure BDA0002652588760000107
)、中心网格的中心点坐标四部分同时输入到三维牙齿模型分割网络的权重学习模块中，三维牙齿模型分割网络的权重学习模块基于注意力机制和局部网格的空间分布自动计算符合三维牙齿模型几何特征的局部网格权重分布。局部网格权重的计算方式如下：对于局部网格
Figure BDA0002652588760000108
其权重向量αj的计算公式为：
Figure BDA0002652588760000109
其中，αj表示局部网格
Figure BDA00026525887600001010
的权重向量，MLP表示多层感知器操作，
Figure BDA00026525887600001011
表示中心网格的中心点坐标，
Figure BDA00026525887600001012
表示局部网格的中心点坐标，fj local为局部网格
Figure BDA00026525887600001013
增强后的特征向量，fi c表示中心网格
Figure BDA00026525887600001014
增强后的特征向量。
S33、基于计算出的局部网格权重分布，将每个局部区域内所有局部网格的权重向量进行聚合处理，得到代表该局部区域的局部特征信息。
进一步的，所述聚合处理包括：将每个局部区域内所有局部网格的权重向量进行加权求和，计算公式如下所示：
Figure BDA00026525887600001015
其中，G表示聚合后的局部特征信息，k表示局部网格的数量，αj表示局部网格
Figure BDA00026525887600001016
的权重向量，⊙哈达玛乘积，fj local表示局部网格
Figure BDA00026525887600001017
增强后的特征信息，fi c表示中心网格
Figure BDA00026525887600001018
增强后的特征信息。
S34、对每个局部区域进行上述S31-S33处理，最终得到K个局部区域的局部特征信息。
S4、将得到的K个局部区域的局部特征信息作为K个中心网格的特征信息，将其他局部网格暂时舍弃，保留K个中心网格，由于局部网格的舍弃操作，数据中的网格个数也随着重复的下采样操作而越来越少。
S5、将K个中心网格以及K个中心网格的特征信息作为下一次下采样的的输入，令K＝K/2，再采用最远距离下采样FPS从保留的中心网格中选取K个中心网格，以每个中心网格作为中心构建局部区域，得到K个局部区域；重复执行步骤S3-S5，直到剩余的中心网格数量为原始输入网格数量的1/16时停止下采样，即局部特征提取阶段结束，并得到三维牙齿模型的多尺度局部特征信息。
S6、利用上采样将现有的网格数据逐步恢复至原始个数，上采样的次数与之前进行的下采样的次数相同，且每次上采样会恢复出新的网格，在每次上采样恢复出新网格时，获取新恢复网格的特征向量，新恢复网格的特征向量的获取有如下两个步骤：
1.通过对距离新恢复网格mj最近的3个现有网格特征向量求平均，得新恢复网格mj的第一阶段特征信息fj new，如下所示：
Figure BDA0002652588760000111
其中，fi为距离网格mj最近的三个已有网格的特征向量。
2.将新恢复网格mj被舍弃前的特征信息(即步骤S5获取的多尺度局部特征信息)与新恢复网格mj的第一阶段的特征信息fj new进行融合学习，得到最终融合学习的结果，并将最终融合学习的结果作为新恢复网格mj的最终特征信息(参与三维牙齿模型分割网络后续的计算)。其融合学习方式为：
Figure BDA0002652588760000112
其中，fj old表示网格mj在下采样之前的特征信息，fj表示其最终融合学习的结果，并将其作为网格mj的最终特征信息参与三维牙齿模型分割网络后续的计算。
重复上述步骤的上采样操作，直到网格数据中的网格数量恢复到输入网格的数量。
S7、将最后一次上采样新恢复网格的最终特征信息输入到三维牙齿模型分割网络的多层感知器中，三维牙齿模型分割网络利用多层感知器进行网格级别的分割结果预测，得到预测结果，输出的预测结果为l维的概率预测向量，l表示任务所需要的分割类别种数，最终选择概率最大的类别作为该网格的分割类别。然后把预测结果和真实结果进行损失函数值计算，然后将计算出的损失函数值反馈给三维牙齿模型分割网络，三维牙齿模型分割网络利用Adma优化器对三维牙齿模型分割网络进行网络参数的调整，得到调整参数后的三维牙齿模型分割网络。
再将最后一次上采样新恢复网格的最终特征信息输入到调整参数后的三维牙齿模型分割网络中，多次迭代的训练网络，并每次计算三维牙齿模型分割网络的损失函数值，当三维牙齿模型分割网络训练的损失函数值变化连续10轮小于0.0001时，即表示三维牙齿模型分割网络基本收敛，停止迭代训练过程，得到训练好的三维牙齿模型分割网络。
进一步的，三维牙齿模型分割网络的损失函数为交叉熵损失函数，其数学表达如下：
Figure BDA0002652588760000121
其中，n表示整个牙齿模型中的网格总数，yi为网格mi的真实分割标签，p(xi)为三维牙齿模型分割网络的预测分割标签。
采用训练好的三维牙齿模型分割网络对三维牙齿模型中的每一个三角形网格进行判断分类，三维牙齿模型分割网络最终会输出每一个网格的分类预测向量，对于任意网格mi，分类预测向量的维数为8，对应三维牙齿模型中可能的8个分割类别(牙龈和7种由国际标准命名的牙齿种类)，选择向量中数值最大(即概率最大)的维度所对应的类别作为网格mi的最终分类结果。当确定完每一个三角形网格所在的区域属于牙龈还是某一颗牙齿后，即可准确找到三维牙齿模型中每颗牙齿所在的完整区域，从而对三维牙齿模型进行准确分割。
当介绍本申请的各种实施例的元件时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-0nly Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，包括以下步骤：
采用训练好的三维牙齿模型分割网络对三维牙齿模型中的每一个三角形网格进行判断分类，确定每一个三角形网格所在的区域属于牙龈还是某一颗牙齿，准确找到三维牙齿模型中每颗牙齿所在的完整区域，从而对三维牙齿模型进行准确分割；
三维牙齿模型分割网络先训练后使用，训练好的三维牙齿模型分割网络自动计算出最符合三维牙齿模型几何特征的权重分配，并基于注意力机制对三维牙齿模型进行局部特征的提取，三维牙齿模型分割网络的训练过程包括：
S1、根据原始三维牙齿模型中的三角形网格的三个顶点坐标计算三角形网格的中心点坐标，将三角形网格的中心点作为该三角形网格的空间信息，将原始三维牙齿模型中的三角形网格的顶点坐标和中心点坐标进行归一化处理；
S2、采用最远距离下采样FPS从原始三维牙齿模型中的所有网格数据中选取K个中心网格，以每个中心网格作为中心选取K个距离中心网格最近的网格一起构建局部区域，得到K个局部区域；
S3、对K个局部区域进行局部特征提取，得到K个局部区域的局部特征信息；
S4、将得到的K个局部区域的局部特征信息作为K个中心网格的特征信息，舍弃局部网格，保留K个中心网格；
S5、将K个中心网格以及K个中心网格的特征信息作为下一次下采样的输入，令K＝K/2，再采用最远距离下采样FPS从保留的中心网格中选取K个中心网格，以每个中心网格作为中心构建局部区域，得到K个局部区域；重复执行步骤S3-S5，直到剩余的中心网格数量为原始三维牙齿模型网格个数的1/16时停止下采样，得到三维牙齿模型的多尺度局部特征信息；
S6、利用上采样将现有的网格数据逐步恢复至原始个数，并将每次上采样新恢复网格mj的第一阶段的特征信息fj new与步骤S5获取的多尺度局部特征信息进行融合学习，得到融合学习的结果，将融合学习的结果作为新恢复网格mj的最终特征信息；
S7、重复步骤S6的上采样操作，直到三维牙齿模型中的网格数量恢复到输入的原始三维牙齿模型的网格数量后，将最后一次上采样新恢复网格的最终特征信息输入到三维牙齿模型分割网络的多层感知器中，三维牙齿模型分割网络利用多层感知器进行网格级别的分割结果预测，得到预测结果，把预测结果和真实结果进行损失函数值计算，然后将计算出的损失函数值反馈给三维牙齿模型分割网络，三维牙齿模型分割网络利用Adma优化器对三维牙齿模型分割网络进行网络参数的调整，得到调整参数后的三维牙齿模型分割网络；
S8、再将最后一次上采样新恢复网格的最终特征信息输入到调整参数后的三维牙齿模型分割网络中，多次迭代训练网络，并每次计算三维牙齿模型分割网络的损失函数值，当三维牙齿模型分割网络训练的损失函数值变化连续10轮小于0.0001时，即表示三维牙齿模型分割网络基本收敛，停止迭代训练过程，得到训练好的三维牙齿模型分割网络。
2.根据权利要求1所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，对K个局部区域进行局部特征提取，得到K个局部区域的局部特征信息包括以下步骤：
S31、对于任一局部区域，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，得到该局部区域内中心网格增强后的特征向量fi c和每个局部网格增强后的特征向量flocal；
S32、将每个局部网格增强后的特征向量flocal与中心网格增强后的特征向量fi c的差值、每个局部网格的中心点坐标信息、每个局部网格与中心网格的欧式距离、中心网格的中心点坐标四部分同时输入到三维牙齿模型分割网络的权重学习模块中，三维牙齿模型分割网络的权重学习模块根据局部网格的空间分布自动计算符合三维牙齿模型几何特征的局部网格权重分布；
S33、基于计算出的局部网格权重分布，将每个局部区域内所有局部网格的权重向量进行聚合处理，得到代表该局部区域的局部特征信息；
S34、对每个局部区域进行上述S31-S33处理，最终得到K个局部区域的局部特征信息。
3.根据权利要求2所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，对中心网格和局部区域内的每个局部网格分别进行空间信息增强处理，具体包括：
对局部网格进行空间信息增强包括：对于局部网格
Figure FDA0003365854690000031
首先将局部网格
Figure FDA0003365854690000032
通过多层感知器进行空间信息增强处理，其空间信息增强的计算方式为：
Figure FDA0003365854690000033
其中，
Figure FDA0003365854690000034
表示局部网格
Figure FDA0003365854690000035
空间信息增强结果，
Figure FDA0003365854690000036
表示中心网格
Figure FDA0003365854690000037
的中心点坐标，
Figure FDA0003365854690000038
表示局部网格的中心点坐标，
Figure FDA0003365854690000039
表示局部网格的中心点和中心网格
Figure FDA00033658546900000310
的中心点的坐标差值，
Figure FDA00033658546900000311
表示向量拼接操作，MLP表示多层感知器操作；
然后将rj lo和局部网格
Figure FDA00033658546900000313
本身的原始特征信息fj进行特征拼接后通过多层感知器进行特征融合学习，得到
Figure FDA00033658546900000314
更丰富的语义特征，特征融合学习过程如下：
Figure FDA00033658546900000315
其中，fj local表示网格
Figure FDA00033658546900000316
进行融合学习后的新特征向量；
将上述空间信息增强处理和特征融合学习处理应用于所有的局部网格，得到每个局部网格增强后的特征向量flocal；
对中心网格进行空间信息增强包括：对于中心网格
Figure FDA00033658546900000317
将中心网格fi c直接通过多层感知器，获得中心网格增强后的特征向量，计算公式如下：
fi c＝MLP(fi)
其中，fi c表示中心网格
Figure FDA0003365854690000041
增强后的特征信息。
4.根据权利要求2所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，局部网格权重的计算方式如下：
对于局部网格
Figure FDA0003365854690000042
其权重向量αj的计算公式为：
Figure FDA0003365854690000043
其中，αj表示局部网格
Figure FDA0003365854690000044
的权重向量，MLP表示多层感知器操作，
Figure FDA0003365854690000045
表示中心网格的中心点坐标，
Figure FDA0003365854690000046
表示局部网格的中心点坐标，fj local为局部网格
Figure FDA0003365854690000047
增强后的特征向量，fi c表示中心网格
Figure FDA0003365854690000048
增强后的特征向量。
5.根据权利要求2所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，所述聚合处理包括：将每个局部区域内所有局部网格的权重向量进行加权求和，计算公式如下所示：
Figure FDA0003365854690000049
其中，G表示聚合后的局部特征信息，k表示局部网格的数量，αj表示局部网格
Figure FDA00033658546900000410
的权重向量，⊙哈达玛乘积，fj local表示局部网格
Figure FDA00033658546900000411
增强后的特征信息，fi c表示中心网格
Figure FDA00033658546900000412
增强后的特征信息。
6.根据权利要求1所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，上采样的次数与之前进行的下采样的次数相同，每次上采样会恢复出新的网格，获取新恢复网格的特征向量，步骤如下：
S61、对距离新恢复网格mj最近的3个现有网格特征向量求平均，得到新恢复网格mj的第一阶段特征信息fj new，如下所示：
Figure FDA0003365854690000051
其中，fi为距离网格mj最近的三个已有网格的特征向量；
S62、将新恢复网格mj在下采样前的特征信息fj old与新恢复网格mj的第一阶段的特征信息fj new进行融合学习，得到最终融合学习的结果，并将最终融合学习的结果作为新恢复网格mj的最终特征信息。
7.根据权利要求6所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，融合学习方式为：
Figure FDA0003365854690000052
其中，fj表示最终融合学习的结果，将fj作为网格mj的最终特征信息，MLP表示多层感知器操作，fj new表示新恢复网格mj的第一阶段的特征信息，fj old表示网格mj在下采样之前的特征信息，
Figure FDA0003365854690000053
表示向量拼接操作。
8.根据权利要求1所述的一种基于局部注意力机制的三维牙齿模型网格分割方法，其特征在于，损失函数值的数学表达如下：
Figure FDA0003365854690000054
其中，Loss表示损失函数值，n表示整个牙齿模型中的网格总数，yi为网格mi的真实分割标签，p(xi)为网络的预测分割标签。
CN202010875598.4A 2020-08-27 2020-08-27 基于局部注意力机制的三维牙齿模型网格分割方法 Active CN112017196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010875598.4A CN112017196B (zh) 2020-08-27 2020-08-27 基于局部注意力机制的三维牙齿模型网格分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010875598.4A CN112017196B (zh) 2020-08-27 2020-08-27 基于局部注意力机制的三维牙齿模型网格分割方法

Publications (2)

Publication Number Publication Date
CN112017196A CN112017196A (zh) 2020-12-01
CN112017196B true CN112017196B (zh) 2022-02-22

Family

ID=73503640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010875598.4A Active CN112017196B (zh) 2020-08-27 2020-08-27 基于局部注意力机制的三维牙齿模型网格分割方法

Country Status (1)

Country Link
CN (1) CN112017196B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112785609B (zh) * 2021-02-07 2022-06-03 重庆邮电大学 一种基于深度学习的cbct牙齿分割方法
CN112989954B (zh) * 2021-02-20 2022-12-16 山东大学 基于深度学习的三维牙齿点云模型数据分类方法及系统
CN112991557A (zh) * 2021-04-25 2021-06-18 广东工业大学 应用于点云分析模型的局部中心最近点采样方法及装置
CN114219897B (zh) * 2021-12-20 2024-04-30 山东大学 一种基于特征点识别的牙齿正畸结果预测方法及系统
CN117095145B (zh) * 2023-10-20 2023-12-19 福建理工大学 一种牙齿网格分割模型的训练方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402448B2 (en) * 2017-06-28 2019-09-03 Google Llc Image retrieval with deep local feature descriptors and attention-based keypoint descriptors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002098B1 (en) * 2012-01-25 2015-04-07 Hrl Laboratories, Llc Robotic visual perception system
CN109872306A (zh) * 2019-01-28 2019-06-11 腾讯科技（深圳）有限公司 医学图像分割方法、装置和存储介质
CN111047548A (zh) * 2020-03-12 2020-04-21 腾讯科技（深圳）有限公司 姿态变换数据处理方法、装置、计算机设备和存储介质
CN111489358A (zh) * 2020-03-18 2020-08-04 华中科技大学 一种基于深度学习的三维点云语义分割方法

Also Published As

Publication number Publication date
CN112017196A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN112017196B (zh) 基于局部注意力机制的三维牙齿模型网格分割方法
JP7376233B2 (ja) ピクセルワイズ分類器による２ｄフロアプランのセマンティックセグメンテーション
US20190080456A1 (en) Method and system for performing segmentation of image having a sparsely distributed object
CN111612754B (zh) 基于多模态图像融合的mri肿瘤优化分割方法及系统
US9152926B2 (en) Systems, methods, and media for updating a classifier
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110599500B (zh) 一种基于级联全卷积网络的肝脏ct图像的肿瘤区域分割方法及系统
US20230043026A1 (en) Learning-based active surface model for medical image segmentation
CN103839223A (zh) 图像处理方法及装置
CN113689402A (zh) 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
JP7294788B2 (ja) ３ｄ配置のタイプに応じた２ｄ画像の分類
CN111652317A (zh) 基于贝叶斯深度学习的超参数图像分割方法
Zhou et al. Refine-net: Normal refinement neural network for noisy point clouds
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN111915626B (zh) 心脏超声图像的心室区域自动分割方法、装置及存储介质
Nayan et al. Mediastinal lymph node detection and segmentation using deep learning
Karungaru et al. Automatic human faces morphing using genetic algorithms based control points selection
CN116468702A (zh) 黄褐斑评估方法、装置、电子设备及计算机可读存储介质
CN115018780A (zh) 一种融合全局推理和mlp架构的甲状腺结节分割方法
JP2016146132A (ja) 形状特徴抽出方法、形状特徴抽出処理装置、形状記述方法及び形状分類方法
CN115100115A (zh) 一种器官图像分割的方法、装置、设备及存储介质
CN110796680B (zh) 一种基于相似模板更新的目标跟踪方法和装置
CN112862786A (zh) Cta影像数据处理方法、装置及存储介质
CN112949656B (zh) 水下地形匹配定位方法、设备及计算机存储介质
CN116468940B (zh) 一种基于深度学习的感知增强与运动判断算法、存储介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant