CN115761125A - 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 - Google Patents
基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 Download PDFInfo
- Publication number
- CN115761125A CN115761125A CN202211429540.2A CN202211429540A CN115761125A CN 115761125 A CN115761125 A CN 115761125A CN 202211429540 A CN202211429540 A CN 202211429540A CN 115761125 A CN115761125 A CN 115761125A
- Authority
- CN
- China
- Prior art keywords
- tooth
- point
- point cloud
- jaw
- orthodontic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 230000007613 environmental effect Effects 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 44
- 230000006870 function Effects 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000009616 inductively coupled plasma Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 claims description 5
- 210000000214 mouth Anatomy 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 239000003086 colorant Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 16
- 230000002860 competitive effect Effects 0.000 abstract description 3
- 238000013519 translation Methods 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明公开了一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，该方法首先搭建齿科数字化正畸网络，在该网络中建立基于点云注意力的全局特征提取模块以及针对单个牙齿的局部特征提取模块，并将两者进行融合，提升了环境特征的鲁棒性，改善了正畸网络的辨识能力，同时设计了齿间碰撞损失函数，对正畸后不同牙齿位置之间的相对关系进行了约束，从而解决了正畸后牙齿之间可能存在的碰撞问题；与其他先进方法相比，本发明方法具有可观的竞争力。
Description
技术领域
本发明涉及齿科数字化正畸技术，具体涉及一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法。
背景技术
齿科数字化技术近年来发展迅速。自动化正畸工作可以简化正畸过程，降低人工正畸成本，同时，患者可以提前预览到矫正后牙齿的外观，从而做出进一步的决定。最近，基于深度学习的正畸方法取得了重大进展。然而，这些方法没有显式地考虑正畸后牙齿之间存在的碰撞问题，从而使得正畸后牙齿与人工正畸牙齿的结果存在一定差距。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法。
本发明的目的是通过以下技术方案来实现的：一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，该方法包括以下步骤：
(1)搭建齿科数字化正畸网络，该网络中包含用于提取颚特征的全局特征提取模块，以及用于提取单个牙齿特征的局部特征提取模块；对得到的全局特征和局部特征通过特征融合模块进行融合，得到融合特征，最后通过回归网络得到每个牙齿当前位姿相对于正畸后位姿的变换参数；具体包括以下子步骤：
(1.1)口腔扫描得到颚3D模型，实例分割得到每个牙的3D模型；
(1.2)数据预处理：提取每个牙3D模型的网格顶点并进行下采样，得到相应的点云数据，该数据包含每个点的三维坐标，接着对数据中的每个三维坐标点执行去中心化操作，即求颚的质心坐标，牙齿所有点坐标减去该质心坐标，实现去中心化；将质心坐标作为特征添加到特征融合模块中；
(1.3)搭建用于提取颚特征的全局特征提取模块，该模块由特征粗提取模块和点云注意力模块组成；
所述特征粗提取模块的输入为整个颚的去中心化的三维点云坐标向量，经过全连接网络提取颚特征向量；
所述点云注意力模块的输入为特征粗提取模块得到的颚特征向量，输出为相同维度的全局特征，相较于输入特征，全局特征能够捕获不同牙齿之间的全局依赖关系，因而具有更为鲁棒的上下文感知能力；具体为：将粗提取模块得到的颚特征向量输入两个网络分支，其一为通道分支，用于挖掘不同特征维度之间的关系信息，其二为几何分支，用于编码牙齿本身的几何特征，将这两个分支的输出进行融合后，通过Sigmoid函数映射得到注意力图，将该注意力图与当前模块的输入特征进行相乘，得到环境特征；将环境特征与当前模块的输入特征进行相加，得到全局特征；
(1.4)搭建用于提取单个牙齿特征的局部特征提取模块，该模块由PointNet和特征传播模块(Feature Propagation Module,FPM)组成；
所述PointNet从点的无序性出发，设计了具有置换不变性的点云特征提取网络；所述PointNet的输入为每个牙齿的去中心化的三维点云坐标向量，输出为该牙齿的牙齿特征向量；
所述FPM基于门控图神经网络；针对序列任务，该网络在传统图神经网络的基础上添加了门控单元，实现了网络中不同结点之间信息的选择性流动；所述FPM对上下颚分别建立一张牙齿图，该牙齿图由牙齿结点的集合，用于连接不同牙齿结点的无向边的集合，牙齿结点对应的特征向量的集合，超级结点的集合，以及超级结点对应的特征向量的集合组成；所述超级结点是用于实现不同颚之间信息交互的逻辑上的结点，上下颚各一个超级结点；该牙齿图用于建模同一个颚中相邻牙齿之间、同一个颚中的左右对称位置牙齿之间、每一个牙齿和它的对颚的超级节点之间、以及两个超级节点之间的关系；将PointNet提取得到的牙齿特征向量输入FPM，作为牙齿图中牙齿特征向量的初始值，用零向量作为超级结点对应特征向量的初始值，FPM执行K次迭代更新，每次迭代T步，得到每个牙齿的局部特征；
其中，K是牙齿图中结点对应特征向量的迭代更新次数，T是每次更新过程中不同结点之间信息流动的次数，N(v)是与第v个结点相邻的结点集合，
是第v个牙齿在第k次迭代过程中与其第ω个相邻结点之间的可学习参数，mv k,t+1是第v个牙齿在第k次迭代过程中的第t+1步对应的临时特征向量，hv k,t是第v个牙齿在第k次迭代过程中的第t步对应的特征向量，xv是原始特征，GRU(Gate Recurrent Unit)是循环神经网络中的一种，克服了传统循环神经网络难以处理较长序列任务的问题，x′v是最终精细后的局部特征。
(1.5)将颚的全局特征、颚的质心特征以及牙齿的局部特征进行级联融合，得到融合特征；
(1.6)构建回归网络，将融合特征输入回归网络，得到每个牙齿当前位姿相对于正畸后位姿的变换参数；
(2)利用训练集训练所述正畸网络，损失函数包括几何重建损失、几何空间关系损失以及齿间碰撞损失；所述齿间碰撞损失用于惩罚不同牙齿之间的空间占用冲突；所述几何重建损失用于保证重建结果与真实结果在单个牙齿几何上的一致性；所述几何空间关系损失用于约束不同牙齿之间的空间位置关系；将正畸网络预测的变换参数与真实位姿变换参数GT一起输入损失函数，通过梯度反向传播更新网络参数；
(3)将待正畸的牙模网格数据进行数据预处理后输入训练好的正畸网络，得到正畸前相对于正畸后的牙齿6D姿态向量参数θ＝{rx,ry,rz,tx,ty,tz}，分别对应旋转和平移操作在3维坐标系中的参数；将旋转参数通过如下函数映射得到旋转矩阵R：
其中，
I是单位矩阵。最终预测得到的矫正后牙齿点云模型为：
X*＝Rp+c+t
其中，c是对应牙齿的中心点坐标，p是输入牙齿点云模型中对应牙齿所含的点，t＝(tx,ty,tz)是平移操作在3个坐标轴上对应的截距。
进一步地，步骤(1.1)中，牙齿实例分割采用了高效率的3D-BoNet，对于输入的3D数据，该方法采用anchor-free的方式预测每个实例的边界框和分割掩码。
进一步地，损失函数的实现具体为：
a)对于正畸后每个牙的点云实例，计算其余牙齿点云实例中每一个点到该点云实例表面的最近距离，这里的距离采用欧氏距离进行度量；同时将所有牙齿点云体素化，获得每个牙齿对应的符号距离场(SDF)；根据符号距离场中除目标牙齿外的其余牙齿每个点的取值来判断该点是否在目标牙齿所属范围内；如果取值为正，说明该点不在目标牙齿所属范围内，此时无碰撞，如果取值为负，则说明该点在目标牙齿所属范围内，此时存在碰撞，使用该点到目标牙齿表面的距离来惩罚碰撞；此外，为了加速训练，考虑到排列相对整齐的牙齿之间不会存在某个牙齿和距离该牙齿较远的牙齿之间产生碰撞的情况，因此在设计齿间碰撞损失时只判断了每个牙齿与其相邻牙齿之间是否存在碰撞问题；齿间碰撞损失Lcollision公式如下：
其中，Nu是总的牙齿个数，固定为32，n是需要进行碰撞判断的牙齿个数，在本实施例中取3，这意味着，对于每个牙齿，只需判断与该牙齿在同一个颚上相邻的两个牙齿，以及与该牙齿不在同一个颚上，但能够相互咬合的一个牙齿，f函数用于调整损失函数的鲁棒性：
I是指示函数，
是第i个牙齿中的第ci个点到第j个牙齿最近表面的距离。
b)由于在正畸治疗过程中，几乎不会造成牙齿的形变，因而几何重建损失保证了重建结果与真实结果在单个牙齿几何上的一致性，几何重建损失Lrecon公式如下：
其中，V是所有牙齿点云的集合，v是集合V中的一个元素，Xv *是正畸后牙齿点云中的点，
是真实正畸结果，
是
对应的坐标矩阵，
指的是在真实正畸点云实例中，搜索与正畸后牙齿点云实例中的每个点距离最近的点的函数，Π是全局刚体变换函数，这里使用ICP算法将正畸后牙齿点云实例与对应的真实正畸牙齿点云实例进行配准，||·||S是平滑的L1范数。
c)几何空间关系损失用于约束不同牙齿之间的空间位置关系，几何空间关系损失Lspatial公式如下：
其中，Ω是牙齿图中的结点集合，Q(q)是结点q的相邻结点和其对颚结点的并集，
是结点q对应的点集，
是结点e对应的点集，
表示点集S1中的每一个点与在点集S2中距离该点最近的点的差值，以及点集S2中的每一个点与在点集S1中距离该点最近的点的差值的并集，由于两个点集之间的距离不会超过某个阈值σ，因此将
的取值截断至[-σ,σ]，并将截断后的
记作
将几何重建损失、几何空间关系损失以及齿间碰撞损失相结合，得到总损失函数L如下：
L＝Lcollision+Lrecon+Lspatial。
进一步地，步骤(1.3)中，点云注意力模块的具体实现为：通道分支将颚特征fpnt在点数维度上做平均池化AvgPool，然后通过多层感知机MLP进一步学习通道之间的相互依赖关系，最后将MLP的输出结果同fpnt进行相乘，得到加权后的特征fchan：
fchan＝MLP(AvgPool(fpnt))fpnt
几何分支采用PointNet去掉最后的池化层后的网络，提取得到的特征记作fgeo；
将通道分支和几何分支得到的特征进行线性融合，再使用Sigmoid函数映射得到注意力图Att，将注意力图Att与颚特征fpnt进行逐点相乘，得到环境特征；为了防止由于网络层数较深导致的梯度问题，将环境特征同颚特征fpnt进行相加(残差连接)，得到颚的全局特征frefined：
Att＝Sigmoid(fchan+fgeo)
frefined＝Att·fpnt+fpnt。
进一步地，所述正畸网络采用端到端的训练方式。
进一步地，所述正畸网络在训练阶段采用GPU进行运算。
进一步地，本发明采用Shining 3D牙齿数据集作为齿科数字化正畸网络的训练集。Shining3D牙齿数据集包含1205个利用3D扫描设备扫描患者口腔重建3D牙模，并保存为STL格式的网格数据，其中训练集、验证集和测试集分别包含1005、100和100个样本。每个样本来自随机选择的牙科医院患者，并进行了脱敏操作以确保不会泄露隐私。每个网格由不同数量的顶点和边组成。标定人员总共分成两组，每组三人，进行数据的标定和验证，以确保正确性。如果两组的标注结果不一致，则请另一人进行最终检查。Shining 3D牙齿数据集的度量标准包括ADD、旋转AUC和平移AUC。
ADD是配准后的预测结果与真实正畸后的牙齿模型之间的点对平均距离：
其中，M和M'分别是手工正畸后和自动正畸后得到的3D牙齿点云模型中的点的集合，x和x'是相应集合中的点，R和T分别是旋转和平移矩阵，ICP表示使用ICP算法进行配准，该指标越小表明预测结果越精准。
统计旋转或平移误差小于某一阈值的比例，在实验中，该阈值取{0.5，1.0}，以阈值集合为横轴，误差为纵轴，将形如(阈值,误差)的二维点坐标描绘在同一张图上，连接各点得到PCT曲线(Percentage Curve)，该曲线下方与横轴围成的面积便是对应的AUC，该指标越大表明预测结果越精准。
相比于现有技术，本发明具有的有益效果为：
(1)提出齿科数字化正畸网络，利用点云注意力学习整个颚中各个点之间的依赖性，充分挖掘不同牙齿之间存在的上下文关系，从而提升了PointNet对于齿科数据的特征提取能力，同时也可以减轻正畸后牙齿之间的碰撞程度。
(2)针对正畸后牙齿之间可能存在的碰撞问题，设计了齿间碰撞损失函数，能够有效度量牙齿之间的碰撞程度，并对牙齿之间的相对位置关系进行约束，从而进一步减轻了正畸后牙齿之间的碰撞程度。
(3)在Shining 3D牙齿数据集上的实验结果表明，与其他先进方法相比，本发明方法具有可观的竞争力。
附图说明
图1是本发明实施例提供的齿科数字化正畸的挑战说明示意图；
图2是本发明实施例提供的整体框架示意图；
图3是本发明实施例在Shining 3D牙齿数据集上的正畸结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例提供一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，设计了齿间碰撞损失函数，能够有效度量牙齿之间的碰撞程度，并对牙齿之间的相对位置关系进行约束，设计了点云注意力模块，将牙齿点云中的通道信息和几何信息进行融合，提升了颚特征的鲁棒性，改善了正畸网络的辨识能力；该方法具体包括以下步骤：
(1)搭建齿科数字化正畸网络，该网络中包含用于提取颚特征的全局特征提取模块，以及用于提取单个牙齿特征的局部特征提取模块；对得到的全局特征和局部特征通过特征融合模块进行融合，得到融合特征，最后通过回归网络得到每个牙齿当前位姿相对于正畸后位姿的变换参数；具体包括以下子步骤：
(1.1)口腔扫描得到颚3D模型，实例分割得到每个牙的3D模型；具体地，牙齿实例分割采用了高效率的3D-BoNet，对于输入的3D数据，该方法采用anchor-free的方式预测每个实例的边界框和分割掩码；
(1.2)数据预处理：提取每个牙3D模型的网格顶点并进行下采样，得到相应的点云数据，该数据包含每个点的三维坐标，接着对数据中的每个三维坐标点执行去中心化操作，即求颚的质心坐标，牙齿所有点坐标减去该质心坐标，实现去中心化；将质心坐标作为特征添加到特征融合模块中；
(1.3)搭建用于提取颚特征的全局特征提取模块，该模块由特征粗提取模块和点云注意力模块组成；
所述特征粗提取模块的输入为整个颚的去中心化的三维点云坐标向量，经过全连接网络提取颚特征向量；
所述点云注意力模块的输入为特征粗提取模块得到的颚特征向量，输出为相同维度的全局特征，相较于输入特征，全局特征能够捕获不同牙齿之间的全局依赖关系，因而具有更为鲁棒的上下文感知能力；具体为：将粗提取模块得到的颚特征向量输入两个网络分支，其一为通道分支，用于挖掘不同特征维度之间的关系信息，其二为几何分支，用于编码牙齿本身的几何特征，将这两个分支的输出进行融合后，通过Sigmoid函数映射得到注意力图，将该注意力图与当前模块的输入特征进行相乘，得到环境特征；将环境特征与当前模块的输入特征进行相加，得到全局特征；
(1.4)搭建用于提取单个牙齿特征的局部特征提取模块，该模块由PointNet和特征传播模块(Feature Propagation Module,FPM)组成；
所述PointNet从点的无序性出发，设计了具有置换不变性的点云特征提取网络；所述PointNet的输入为每个牙齿的去中心化的三维点云坐标向量，输出为该牙齿的牙齿特征向量；
所述FPM基于门控图神经网络；针对序列任务，该网络在传统图神经网络的基础上添加了门控单元，实现了网络中不同结点之间信息的选择性流动；所述FPM对上下颚分别建立一张牙齿图，该牙齿图由牙齿结点的集合，用于连接不同牙齿结点的无向边的集合，牙齿结点对应的特征向量的集合，超级结点的集合，以及超级结点对应的特征向量的集合组成；所述超级结点是用于实现不同颚之间信息交互的逻辑上的结点，上下颚各一个超级结点；该牙齿图用于建模同一个颚中相邻牙齿之间、同一个颚中的左右对称位置牙齿之间、每一个牙齿和它的对颚的超级节点之间、以及两个超级节点之间的关系；将PointNet提取得到的牙齿特征向量输入FPM，作为牙齿图中牙齿特征向量的初始值，用零向量作为超级结点对应特征向量的初始值，FPM执行K次迭代更新，每次迭代T步，得到每个牙齿的局部特征；
其中，K是牙齿图中结点对应特征向量的迭代更新次数，T是每次更新过程中不同结点之间信息流动的次数，N(v)是与第v个结点相邻的结点集合，
是第v个牙齿在第k次迭代过程中与其第ω个相邻结点之间的可学习参数，mv k,t+1是第v个牙齿在第k次迭代过程中的第t+1步对应的临时特征向量，hv k,t是第v个牙齿在第k次迭代过程中的第t步对应的特征向量，xv是原始特征，GRU(Gate Recurrent Unit)是循环神经网络中的一种，克服了传统循环神经网络难以处理较长序列任务的问题，x′v是最终精细后的局部特征。
(1.5)将颚的全局特征、颚的质心特征以及牙齿的局部特征进行级联融合，得到融合特征；
(1.6)构建回归网络，将融合特征输入回归网络，得到每个牙齿当前位姿相对于正畸后位姿的变换参数；
(2)利用训练集训练所述正畸网络，损失函数包括几何重建损失、几何空间关系损失以及齿间碰撞损失；所述齿间碰撞损失用于惩罚不同牙齿之间的空间占用冲突；所述几何重建损失用于保证重建结果与真实结果在单个牙齿几何上的一致性；所述几何空间关系损失用于约束不同牙齿之间的空间位置关系；将正畸网络预测的变换参数与真实位姿变换参数GT一起输入损失函数，通过梯度反向传播更新网络参数；
(3)将待正畸的牙模网格数据进行数据预处理后输入训练好的正畸网络，得到正畸前相对于正畸后的牙齿6D姿态向量参数θ＝{rx,ry,rz,tx,ty,tz}，分别对应旋转和平移操作在3维坐标系中的参数；将旋转参数通过如下函数映射得到旋转矩阵R：
其中，
I是单位矩阵。最终预测得到的矫正后牙齿点云模型为：
X*＝Rp+c+t
其中，c是对应牙齿的中心点坐标，p是输入牙齿点云模型中对应牙齿所含的点，t＝(tx,ty,tz)是平移操作在3个坐标轴上对应的截距。
进一步地，损失函数的实现具体为：
a)对于正畸后每个牙的点云实例，计算其余牙齿点云实例中每一个点到该点云实例表面的最近距离，这里的距离采用欧氏距离进行度量；同时将所有牙齿点云体素化，获得每个牙齿对应的符号距离场(SDF)；根据符号距离场中除目标牙齿外的其余牙齿每个点的取值来判断该点是否在目标牙齿所属范围内；如果取值为正，说明该点不在目标牙齿所属范围内，此时无碰撞，如果取值为负，则说明该点在目标牙齿所属范围内，此时存在碰撞，使用该点到目标牙齿表面的距离来惩罚碰撞；此外，为了加速训练，考虑到排列相对整齐的牙齿之间不会存在某个牙齿和距离该牙齿较远的牙齿之间产生碰撞的情况，因此在设计齿间碰撞损失时只判断了每个牙齿与其相邻牙齿之间是否存在碰撞问题；齿间碰撞损失Lcollision公式如下：
其中，Nu是总的牙齿个数，固定为32，n是需要进行碰撞判断的牙齿个数，在本实施例中取3，这意味着，对于每个牙齿，只需判断与该牙齿在同一个颚上相邻的两个牙齿，以及与该牙齿不在同一个颚上，但能够相互咬合的一个牙齿，f函数用于调整损失函数的鲁棒性：
I是指示函数，
是第i个牙齿中的第ci个点到第j个牙齿最近表面的距离。
b)由于在正畸治疗过程中，几乎不会造成牙齿的形变，因而几何重建损失保证了重建结果与真实结果在单个牙齿几何上的一致性，几何重建损失Lrecon公式如下：
其中，V是所有牙齿点云的集合，v是集合V中的一个元素，Xv *是正畸后牙齿点云中的点，X是真实正畸结果，
是Xv *对应的坐标矩阵，
指的是在真实正畸点云实例中，搜索与正畸后牙齿点云实例中的每个点距离最近的点的函数，Π是全局刚体变换函数，这里使用ICP算法将正畸后牙齿点云实例与对应的真实正畸牙齿点云实例进行配准，||·||S是平滑的L1范数。
c)几何空间关系损失用于约束不同牙齿之间的空间位置关系，几何空间关系损失Lspatial公式如下：
其中，Ω是牙齿图中的结点集合，Q(q)是结点q的相邻结点和其对颚结点的并集，
是结点q对应的点集，
是结点e对应的点集，
表示点集S1中的每一个点与在点集S2中距离该点最近的点的差值，以及点集S2中的每一个点与在点集S1中距离该点最近的点的差值的并集，由于两个点集之间的距离不会超过某个阈值σ，因此将
的取值截断至[-σ,σ]，并将截断后的
记作
将几何重建损失、几何空间关系损失以及齿间碰撞损失相结合，得到总损失函数L如下：
L＝Lcollision+Lrecon+Lspatial。
进一步地，步骤(1.3)中，点云注意力模块的具体实现为：通道分支将颚特征fpnt在点数维度上做平均池化AvgPool，然后通过多层感知机MLP进一步学习通道之间的相互依赖关系，最后将MLP的输出结果同fpnt进行相乘，得到加权后的特征fchan：
fchan＝MLP(AvgPool(fpnt))fpnt
几何分支采用PointNet去掉最后的池化层后的网络，提取得到的特征记作fgeo；
将通道分支和几何分支得到的特征进行线性融合，再使用Sigmoid函数映射得到注意力图Att，将注意力图Att与颚特征fpnt进行逐点相乘，得到环境特征；为了防止由于网络层数较深导致的梯度问题，将环境特征同颚特征fpnt进行相加(残差连接)，得到颚的全局特征frefined：
Att＝Sigmoid(fchan+fgeo)
frefined＝Att·fpnt+fpnt。
本实施例提供的齿科数字化正畸方法可以实现自动化的正畸过程，并且能够有效降低正畸后牙齿之间的碰撞程度。采用本实施方式对牙齿3D网格数据中的牙齿进行正畸的过程包括训练和测试两个部分。
图1是本发明实施例提供的齿科数字化正畸的挑战说明示意图；目前的齿科数字化正畸方法没有显式地考虑正畸后牙齿之间存在的碰撞问题，从而使得正畸后牙齿与人工正畸牙齿的结果存在一定差距。
图2是本发明实施例提供的齿科数字化正畸方法整体框架示意图。
使用添加随机扰动的方式来进行在线数据增强，包括旋转、平移等操作。每个牙齿模型共计32颗牙齿，对于有缺失的牙齿模型，设置标志位来保证缺失部分编号对应的牙齿不对网络作出贡献。对于每颗牙齿，从网格中随机采样100个点，生成对应点云；对于每个颚，随机采样400个点，生成对应点云。在训练过程中，使用Adam优化器，权重衰减为0.00001，初始学习率为0.0001，采用循环学习率衰减策略，batch size设置为2，epoch设置为200，整个网络在2080Ti显卡上进行训练。
本实施例中测试方法具体为：给定测试牙模文件，将训练得到的齿科数字化正畸网络执行一次前向传播得到基于本实施例提出的齿科数字化正畸网络的测试结果。实验结果表明，本方法的ADD为0.578，旋转AUC为0.599，平移AUC为0.805。
图3是本发明实施例在Shining 3D牙齿数据集上的正畸结果示意图，虚线框突出显示了不同方法输出的正畸结果之间的差异。结果表明，本发明提出的方法与其他先进的自动正畸方法相比更具有竞争力。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，包括以下步骤：
(1)搭建齿科数字化正畸网络，该网络中包含用于提取颚特征的全局特征提取模块，以及用于提取单个牙齿特征的局部特征提取模块；对得到的全局特征和局部特征通过特征融合模块进行融合，得到融合特征，最后通过回归网络得到每个牙齿当前位姿相对于正畸后位姿的变换参数；具体包括以下子步骤：
(1.1)口腔扫描得到颚3D模型，实例分割得到每个牙的3D模型；
(1.2)数据预处理：提取每个牙3D模型的网格顶点并进行下采样，得到相应的点云数据，该数据包含每个点的三维坐标，接着对数据中的每个三维坐标点执行去中心化操作，即求颚的质心坐标，牙齿所有点坐标减去该质心坐标，实现去中心化；将质心坐标作为特征添加到特征融合模块中；
(1.3)搭建用于提取颚特征的全局特征提取模块，该模块由特征粗提取模块和点云注意力模块组成；
所述特征粗提取模块的输入为整个颚的去中心化的三维点云坐标向量，经过全连接网络提取颚特征向量；
所述点云注意力模块的输入为特征粗提取模块得到的颚特征向量，输出为相同维度的全局特征，具体为：将粗提取模块得到的颚特征向量输入两个网络分支，其一为通道分支，用于挖掘不同特征维度之间的关系信息，其二为几何分支，用于编码牙齿本身的几何特征，将这两个分支的输出进行融合后，通过Sigmoid函数映射得到注意力图，将该注意力图与当前模块的输入特征进行相乘，得到环境特征；将环境特征与当前模块的输入特征进行相加，得到全局特征；
(1.4)搭建用于提取单个牙齿特征的局部特征提取模块，该模块由PointNet和特征传播模块组成；
所述PointNet从点的无序性出发，设计了具有置换不变性的点云特征提取网络；所述PointNet的输入为每个牙齿的去中心化的三维点云坐标向量，输出为该牙齿的牙齿特征向量；
所述特征传播模块基于门控图神经网络，对上下颚分别建立一张牙齿图，所述牙齿图由牙齿结点的集合，用于连接不同牙齿结点的无向边的集合，牙齿结点对应的特征向量的集合，超级结点的集合，以及超级结点对应的特征向量的集合组成；所述超级结点是用于实现不同颚之间信息交互的逻辑上的结点，上下颚各一个；所述牙齿图用于建模同一个颚中相邻牙齿之间、同一个颚中的左右对称位置牙齿之间、每一个牙齿和它的对颚的超级节点之间、以及两个超级节点之间的关系；将PointNet提取得到的牙齿特征向量输入特征传播模块，作为牙齿图中牙齿特征向量的初始值，用零向量作为超级结点对应特征向量的初始值，通过网络的迭代更新得到每个牙齿的局部特征；
(1.5)将颚的全局特征、颚的质心特征以及牙齿的局部特征进行级联融合，得到融合特征；
(1.6)构建回归网络，将融合特征输入回归网络，得到每个牙齿当前位姿相对于正畸后位姿的变换参数；
(2)利用训练集训练所述正畸网络，损失函数包括几何重建损失、几何空间关系损失以及齿间碰撞损失；所述齿间碰撞损失用于惩罚不同牙齿之间的空间占用冲突；所述几何重建损失用于保证重建结果与真实结果在单个牙齿几何上的一致性；所述几何空间关系损失用于约束不同牙齿之间的空间位置关系；将正畸网络预测的变换参数与真实位姿变换参数一起输入损失函数，通过梯度反向传播更新网络参数；
(3)将待正畸的牙模网格数据进行数据预处理后输入训练好的正畸网络，得到正畸前相对于正畸后的变换参数，结合正畸前的牙齿点云模型得到的正畸后的牙齿点云模型。
2.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，步骤(1.1)中，牙齿实例分割采用3D-BoNet，对于输入的3D数据，采用anchor-free的方式预测每个实例的边界框和分割掩码。
3.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，所述齿间碰撞损失的实现具体为：
对于正畸后每个牙的点云实例，计算其余牙齿点云实例中每一个点到该点云实例表面的最近距离；同时将所有牙齿点云体素化，获得每个牙齿对应的符号距离场；根据符号距离场中除目标牙齿外的其余牙齿每个点的取值来判断该点是否在目标牙齿所属范围内；如果取值为正，说明该点不在目标牙齿所属范围内，此时无碰撞，如果取值为负，则说明该点在目标牙齿所属范围内，此时存在碰撞，使用该点到目标牙齿表面的距离来惩罚碰撞；齿间碰撞损失Lcollision公式如下：
其中，Nu是总的牙齿个数，n是需要进行碰撞判断的牙齿个数，f函数用于调整损失函数的鲁棒性，I是指示函数，
是第i个牙齿中的第ci个点到第j个牙齿最近表面的距离。
4.如权利要求3所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，在设计齿间碰撞损失时只判断每个牙齿与其相邻牙齿之间是否存在碰撞问题，即对于每个牙齿，只需判断与该牙齿在同一个颚上相邻的两个牙齿，以及与该牙齿不在同一个颚上，但能够相互咬合的一个牙齿。
5.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，所述几何重建损失保证了重建结果与真实结果在单个牙齿几何上的一致性，几何重建损失Lrecon公式如下：
其中，V是所有牙齿点云的集合，v是集合V中的一个元素，Xv *是正畸后牙齿点云中的点，
是真实正畸结果，
是Xv *对应的坐标矩阵，
指的是在真实正畸点云实例中，搜索与正畸后牙齿点云实例中的每个点距离最近的点的函数，Π是全局刚体变换函数，使用ICP算法将正畸后牙齿点云实例与对应的真实正畸牙齿点云实例进行配准，||·||S是平滑的L1范数。
6.如权利要求5所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，所述几何空间关系损失用于约束不同牙齿之间的空间位置关系，几何空间关系损失Lspatial公式如下：
其中，Ω是牙齿图中的结点集合，Q(q)是结点q的相邻结点和其对颚结点的并集，
是结点q对应的点集，
是结点e对应的点集，
表示点集S1中的每一个点与在点集S2中距离该点最近的点的差值，以及点集S2中的每一个点与在点集S1中距离该点最近的点的差值的并集，由于两个点集之间的距离不会超过某个阈值σ，因此将
的取值截断至[-σ,σ]，并将截断后的
记作
7.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，步骤(1.3)中，点云注意力模块的具体实现为：通道分支将颚特征fpnt在点数维度上做平均池化AvgPool，然后通过多层感知机MLP进一步学习通道之间的相互依赖关系，最后将MLP的输出结果同fpnt进行相乘，得到加权后的特征fchan；
几何分支采用PointNet去掉最后的池化层后的网络，提取得到的特征记作fgeo；
将通道分支和几何分支得到的特征进行线性融合，再使用Sigmoid函数映射得到注意力图Att，将注意力图Att与颚特征fpnt进行逐点相乘，得到环境特征；将环境特征同颚特征fpnt进行相加，得到颚的全局特征frefined。
8.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，所述正畸网络采用端到端的训练方式。
9.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，所述正畸网络在训练阶段采用GPU进行运算。
10.如权利要求1所述的基于点云注意力和齿间碰撞损失的齿科数字化正畸方法，其特征在于，采用Shining 3D牙齿数据集作为正畸网络的训练集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429540.2A CN115761125A (zh) | 2022-11-15 | 2022-11-15 | 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211429540.2A CN115761125A (zh) | 2022-11-15 | 2022-11-15 | 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115761125A true CN115761125A (zh) | 2023-03-07 |
Family
ID=85371407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211429540.2A Withdrawn CN115761125A (zh) | 2022-11-15 | 2022-11-15 | 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115761125A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830317A (zh) * | 2024-03-05 | 2024-04-05 | 天津医科大学口腔医院 | 基于图像处理的正畸自动检测方法及系统 |
-
2022
- 2022-11-15 CN CN202211429540.2A patent/CN115761125A/zh not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117830317A (zh) * | 2024-03-05 | 2024-04-05 | 天津医科大学口腔医院 | 基于图像处理的正畸自动检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
| CN108510532B (zh) | 基于深度卷积gan的光学和sar图像配准方法 | |
| CN104063702B (zh) | 一种基于遮挡修复和局部相似性匹配的三维步态识别方法 | |
| GB2581758A (en) | Human hair style generation method based on multi-feature search and deformation | |
| CN109949215B (zh) | 一种低剂量ct图像模拟方法 | |
| KR102347496B1 (ko) | 방사선 치료 계획 수립을 위한 인공지능 기반의 장기 및 종양 이미지 분할 시스템 및 방법 | |
| EP3905194A1 (en) | Pose estimation method and apparatus | |
| CN108154104A (zh) | 一种基于深度图像超像素联合特征的人体姿态估计方法 | |
| CN112686898B (zh) | 一种基于自监督学习的放疗靶区自动分割方法 | |
| JP2020052543A (ja) | 形状補完装置、形状補完学習装置、方法、及びプログラム | |
| CN112085740A (zh) | 基于三维牙颌模型的牙齿快速分割方法 | |
| CN115761125A (zh) | 基于点云注意力和齿间碰撞损失的齿科数字化正畸方法 | |
| CN116993926B (zh) | 单视图人体三维重建方法 | |
| CN117854155A (zh) | 一种人体骨骼动作识别方法及系统 | |
| CN112686202A (zh) | 一种基于3d重建的人头识别方法及系统 | |
| CN117788810A (zh) | 一种无监督语义分割的学习系统 | |
| CN116342800B (zh) | 一种多模态位姿优化的语义三维重建方法及系统 | |
| CN115830287A (zh) | 基于激光口扫与cbct重建的牙齿点云融合方法、设备及介质 | |
| CN116342385A (zh) | 文本图像超分辨率网络的训练方法、装置以及存储介质 | |
| US11836936B2 (en) | Method for generating a digital data set representing a target tooth arrangement | |
| CN113538278B (zh) | 基于可变形卷积的深度图补全方法 | |
| CN109118483A (zh) | 一种标签质量检测方法及装置 | |
| Ingole et al. | Medical image registration using genetic algorithm | |
| Zhang et al. | Object detection and grabbing based on machine vision for service robot | |
| CN113901938A (zh) | 基于牙齿3d点云的身份识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230307 |
|
| WW01 | Invention patent application withdrawn after publication |