CN115719404A - 基于点云理解的自动排牙方法、装置、设备及存储介质 - Google Patents
基于点云理解的自动排牙方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115719404A CN115719404A CN202211458231.8A CN202211458231A CN115719404A CN 115719404 A CN115719404 A CN 115719404A CN 202211458231 A CN202211458231 A CN 202211458231A CN 115719404 A CN115719404 A CN 115719404A
- Authority
- CN
- China
- Prior art keywords
- tooth
- point cloud
- pose
- result
- automatic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000003860 storage Methods 0.000 title claims description 11
- 238000005457 optimization Methods 0.000 claims abstract description 28
- 210000004513 dentition Anatomy 0.000 claims abstract description 26
- 230000036346 tooth eruption Effects 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 23
- 238000007408 cone-beam computed tomography Methods 0.000 claims abstract description 16
- 230000004931 aggregating effect Effects 0.000 claims abstract description 15
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 18
- 230000009466 transformation Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 206010061274 Malocclusion Diseases 0.000 abstract description 6
- 238000012937 correction Methods 0.000 abstract description 3
- 210000004746 tooth root Anatomy 0.000 description 13
- 238000013135 deep learning Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 210000000332 tooth crown Anatomy 0.000 description 2
- 208000010392 Bone Fractures Diseases 0.000 description 1
- 206010065687 Bone loss Diseases 0.000 description 1
- 208000008312 Tooth Loss Diseases 0.000 description 1
- 206010044048 Tooth missing Diseases 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001055 chewing effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例涉及牙齿矫正技术领域，特别涉及一种基于点云理解的自动排牙方法、装置、设备及介质，该方法包括以下步骤：基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据；基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。本申请提供的基于点云理解的自动排牙方法，能够根据错颌畸形患者的原始牙列自动计算相应的目标位姿，提高了自动排牙结果的准确度。
Description
技术领域
本申请实施例涉及牙齿矫正技术领域，特别涉及一种基于点云理解的自动排牙方法、装置、设备及存储介质。
背景技术
正畸排牙是指对错颌畸形患者的牙列目标位进行规划，是口腔正畸诊疗中的关键步骤。对于目前临床正畸的制订治疗方案以及诊断性排牙过程，首先需要医生对患者进行口内扫描，将结果发送至矫治厂家，而后矫治厂家的技师根据医生给出的具体指导要求完成排牙，为得出最终的治疗方案，需要医生和技师进行多次沟通和可行性分析及尝试。自动排牙的实现能提升数字化正畸治疗的自动化水平，能够缩短上述流程从而节省大量医患时间。
现有的自动排牙方法通常采用自动排牙深度学习网络得到牙齿的目标位。然而，对于基于深度学习自动排牙方法，通过扫描得到的非透视数据训练网络，仅包括牙冠，不具有牙龈覆盖下的牙根和牙槽骨的信息，因此训练后的网络输出的排牙结果中存在不完全符合上述要求的问题。另外，在牙齿间距不当、牙齿缺失的情况下，也会导致期望牙列与治疗前后牙齿数量一致的理想牙列的分布有一定差异，预测误差较大。
发明内容
本申请实施例提供一种基于点云理解的自动排牙方法、装置、设备及存储介质，根据错颌畸形患者的原始牙列自动计算相应的目标位姿，提高自动排牙结果的准确度。
为解决上述技术问题，第一方面，本申请实施例提供一种基于点云理解的自动排牙方法，包括：基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据；基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。
一些示例性实施例中，基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果，包括：对牙齿特征进行序列化编码，并根据牙齿的邻接关系构建动态图；为每颗牙齿分配一个能够进行网络学习的嵌入节点，对动态图进行全局池化处理后，输入动态图推荐网络，对牙齿特征进行聚合和更新，得到位姿预测结果。
一些示例性实施例中，采用式(1)对所述牙齿特征进行聚合和更新：
其中，
为每个嵌入节点；
表示来自相邻节点的信息，k为更新的时间步；Update和Aggregate均为可导函数，Aggregate聚合相邻节点的信息，Update对信息进行响应，更新嵌入节点。
一些示例性实施例中，基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果，包括：基于聚合和更新后的牙齿特征，得到位姿变换矩阵；根据每颗牙齿的序列化编码获取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位置进行调整；基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
一些示例性实施例中，位姿变换矩阵通过采用多层感知机将节点的特征嵌入映射为李群旋转量和三维平移量，计算得到位姿变换矩阵。
一些示例性实施例中，基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果，包括：将前一次迭代中的位姿预测值视为对目标位姿的近似估计，使用迭代最近点方法获取误差后，将误差反馈到网络中作为下一次迭代的输入的一部分，对网络的参数进行迭代优化。
第二方面，本申请提供了一种自动排牙装置，其特征在于，包括：依次连接的数据预处理模块、特征提取模块、特征传播模块和位姿预测模块；数据预处理模块用于对锥形束计算机断层扫描图像进行分割，得到二值分割结果；并对二值分割结果进行重建，得到牙齿三维模型；再通过牙齿三维模型，得到牙齿点云；特征提取模块包括注意力机制的卷积网络，用于提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；特征传播模块基于动态图推荐方法，对所述牙齿特征进行聚合和更新，得到位姿预测结果；位姿预测模块包括迭代优化模块，用于迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
一些示例性实施例中，位姿预测模块还包括特征转换模块；特征转换模块将所述牙齿特征嵌入映射为李群旋转量和三维平移量，计算得牙齿位姿变换矩阵；再根据每颗牙齿的序列化编码读取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位姿进行移动和优化。
另外，本申请还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述基于点云理解的自动排牙方法。
另外，本申请还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于点云理解的自动排牙方法。
本申请实施例提供的技术方案至少具有以下优点：
本申请实施例提供一种基于点云理解的自动排牙方法、装置、设备及存储介质，该方法包括：基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据；基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。本申请提供的自动排牙方法，通过注意力机制的图卷积网络提取牙齿特征，以及通过动态图推荐方法对牙齿特征进行聚合和更新，并通过迭代优化方法对位姿预测结果进行优化，提升了自动排牙结果的准确度。另外，对于牙齿缺失、后续需要佩戴或种植义齿的情况，本申请提供的自动排牙方法中可以通过在原始输入中预先插入虚拟义齿的三维模型，排牙结束后再将其从输出牙列中删除，实现为义齿预留空位的功能。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
图1为本申请一实施例提供的一种基于点云理解的自动排牙方法的流程示意图；
图2为本申请一实施例提供的基于点云理解的自动排牙深度学习网络结构图；
图3为本申请一实施例提供的特征传播模块对相邻牙齿的聚合和更新的流程示意图；
图4为本申请一实施例提供的一种基于点云理解的自动排牙装置的结构示意图；
图5为本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
由背景技术可知，目前现有的自动排牙方法，排牙结果的预测误差较大。
随着近年人工智能领域的快速发展，出现了基于深度学习的自动排牙方法。有相关技术提出的自动排牙深度学习网络TANet由以下五个模块组成：(1)预处理模块：对口腔扫描影像进行牙齿分割和归一化计算；(2)特征提取模块：使用点云处理网络PointNet对分割后的牙齿进行特征提取；(3)特征传播模块：使用门控图神经网络GGSNN将牙齿特征传播到存在先验位置关系的其他牙齿上；(4)装配器模块：对特征进行拼接后，使用多层感知机将其映射为牙齿的移动量，由此给出牙齿的目标位。还有相关技术提出的自动排牙深度学习网络PSTN与TANet相似，使用PointNet和PointNet++网络作为编码器对牙齿进行特征提取，使用多层感知机作为解码器，网络根据对期望目标位的学习输出牙齿的目标位。
除基于深度学习的方法外，还有基于计算机辅助设计技术/计算机辅助制造技术的排牙方法，它们主要依靠人工排牙。相关技术的排牙方法虽然能够得到预测的牙齿位姿，但是未考虑到牙根位姿、牙齿间距不当以及牙齿缺失的问题。
在口腔正畸学中，理想正畸目标位对牙根的位置和姿态有提出专门的要求，包括牙根之间的平行度和牙根与牙槽骨之间的距离关系。然而现有基于深度学习的自动排牙方法使用通过扫描得到的非透视数据训练网络，仅包括牙冠，不具有牙龈覆盖下的牙根和牙槽骨的信息，因此训练后的网络输出的排牙结果中存在不完全符合上述要求的问题。
另外，在理想牙列中，牙齿需要相互紧密接触。由于深度学习网络在推断时与人工金标准相比有一定的误差，造成了其自动排牙结果中牙齿的间距过大，导致不够美观或咀嚼感受较差，或一定程度的穿模，即牙齿重叠，在实际治疗的实施中不可行。虽然TANet中通过条件引入加权算法尝试解决这一问题，但效果不佳。
此外，临床中错颌畸形患者的牙列可能存在骨裂或恒牙脱落缺失的问题，或者因牙列拥挤需要通过拔牙产生足够移动空间，导致该类型的期望牙列与治疗前后牙齿数量一致的理想牙列的分布有一定差异，加之训练集样本可能不均衡，因此牙齿缺失的情形需要加以特别考虑。
为解决上述技术问题，本申请实施例提供一种基于点云理解的自动排牙方法，包括：基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据；基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。本申请提供的基于点云理解的自动排牙方法，能够根据错颌畸形患者的原始牙列自动计算相应的目标位姿，提高了自动排牙结果的准确度。
下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
参看图1，本申请实施例提供了一种基于点云理解的自动排牙方法，包括以下步骤：
步骤S1、基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据。
步骤S2、基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量。
步骤S3、基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果。
步骤S4、基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。
在步骤S1中，如图2所示，从锥形束计算机断层扫描图像中分割牙齿，并转换为三维点云，经数据增强后作为网络的输入。由于相比于只含有牙冠的口腔扫描影像，锥形束计算机断层扫描图像能提供含有牙根的完整牙齿，所以对锥形束计算机断层扫描图像进行分割，将二值分割结果重建为牙齿三维模型，再对三维模型的顶点进行输出点数一致的下采样，获取牙齿点云。随机平移和旋转牙齿点云，以扩充数据集的规模。
步骤S2主要是对牙齿特征的提取。图卷积网络已经在多种任务上表现了从不规则结构的图数据结构中学习知识的可靠能力，包括基于频域或空间域的图卷积网络的三维形状识别和分割算法，将点或其他基本单元的空间关系定义为图并提取和聚合其拓扑特征，其中一些研究还使用了注意力机制以提取更具细粒度的几何特征。
现有基于深度学习的自动排牙方法使用局部细粒度特征提取能力有限的PointNet提取牙齿特征。在双流图卷积网络的基础上，本发明通过构造图注意力机制模块，以计算牙列全局特征向量和牙齿的局部特征向量。输入的原始错颌牙列点云统一设置为N*1000个点，其中N为牙齿数量。输出的全局和局部特征向量的通道数分别为512和32。
步骤S3主要是对牙齿特征进行聚合和更新。在一些实施例中，步骤S3中基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果，包括：对牙齿特征进行序列化编码，并根据牙齿的邻接关系构建动态图；为每颗牙齿分配一个能够进行网络学习的嵌入节点，对动态图进行全局池化处理后，输入动态图推荐网络，对牙齿特征进行聚合和更新，得到位姿预测结果。
如图3所示，本申请提出了基于动态图推荐方法的图传播模块，以聚合和更新相邻牙齿的特征，由于输入牙齿已经经过实例分割，因此可以对其进行序列化编码。用于牙齿序列化编码的方法可以是任意一种，本实施例根据FDI通用牙位表示法，将所有牙齿分别编码为11-17(右上颌)，21-27(左上颌)，31-37(左下颌)，41-47(右下颌)。根据牙齿的邻接关系构建图。对于每颗牙齿分配一个可学习的嵌入节点，经全局池化后输入动态图推荐网络，以更新和进一步聚合特征。
在一些实施例中，采用式(1)对所述牙齿特征进行聚合和更新：
即特征传播的表达式如式(1)所示，其中，
为每个嵌入节点；
表示来自相邻节点的信息，k为更新的时间步；Update和Aggregate均为可导函数，Aggregate聚合相邻节点的信息，Update对信息进行响应，更新嵌入节点。
在一些实施例中，步骤S4中基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果，包括：基于聚合和更新后的牙齿特征，得到位姿变换矩阵；根据每颗牙齿的序列化编码获取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位置进行调整；基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
在一些实施例中，位姿变换矩阵通过采用多层感知机将节点的特征嵌入映射为李群旋转量和三维平移量，计算得到位姿变换矩阵。
在一些实施例中，基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果，包括：将前一次迭代中的位姿预测值视为对目标位姿的近似估计，使用迭代最近点方法获取误差后，将误差反馈到网络中作为下一次迭代的输入的一部分，对网络的参数进行迭代优化。具体的，迭代优化方法主要是基于无监督的置信度评分和相应的参数优化方法，迭代地缩小网络训练过程中的位姿预测误差，从而改善牙齿位姿结果。
参看图4，本申请提供了一种自动排牙装置，包括：依次连接的数据预处理模块101、特征提取模块102、特征传播模块103和位姿预测模块104；数据预处理模块101用于对锥形束计算机断层扫描图像进行分割，得到二值分割结果；并对二值分割结果进行重建，得到牙齿三维模型；再通过牙齿三维模型，得到牙齿点云；特征提取模块102包括注意力机制的卷积网络，用于提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；特征传播模块103基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；位姿预测模块104包括迭代优化模块1041，用于迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
需要说明的是，特征提取模块102的输入不仅可以是牙齿点云，还而已变更为三角网格模型。本申请的特征提取模块102可以通过与现有的牙齿分割任务上取得优秀效果的MeshSegNet网络结合而得到扩展。本申请的特征提取模块102的输入为单一模态，即牙齿点云。作为另一个实施例，也可以将特征提取模块102的输入改为多模态并行的形式，包括原始锥形束计算机断层扫描图像、口内扫描图像和其他种类的牙齿三维模型，如三角网格模型。网络由此能够从多分支中并行地学习牙齿特征提取。含有原始锥形束计算机断层扫描图像和口内扫描影像有助于实现端到端的学习，可以完善自动排牙的临床应用的流程。
在一些实施例中，如图4所示，位姿预测模块还包括特征转换模块1042；特征转换模块1042将牙齿特征嵌入映射为李群旋转量和三维平移量，计算得牙齿位姿变换矩阵；再根据每颗牙齿的序列化编码读取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位姿进行移动和优化。
本申请的自动排牙方法通过构造图注意力机制模块和基于动态图推荐方法的图传播模块，提升了网络对牙齿点云特征的提取和传播能力。此外，位姿预测模块104中的迭代优化模块1041能在网络训练过程中使用先前的位姿预测值逐步缩小位姿预测误差，提升了算法对于训练集不均衡样本的鲁棒性。其次，对于牙齿缺失、后续需要佩戴或种植义齿的情况，在本发明中可以通过在原始输入中预先插入虚拟义齿的三维模型，排牙结束后再将其从输出牙列中删除，实现为义齿预留空位的功能。
本申请提供的自动排牙方法以及深度学习网络已在排牙数据集上进行了训练和测试。输出结果的准确度使用与现有基于深度学习的自动排牙方法一致的性能度量，包括牙齿预测位姿与人工排牙金标准之间的平均距离误差ADD、平移量误差ΔTavg、旋转量误差Δθavg和用于综合表示移动量误差的余弦相似度CSA。实验结果显示，本申请提供的深度学习网络输出的自动排牙结果的准确度优于现有的自动排牙方法。
由以上技术方案，本申请实施例提供一种基于点云理解的自动排牙方法、装置、设备及存储介质，该方法包括：基于锥形束计算机断层扫描图像，获取牙齿点云；牙齿点云包括含有牙根的完整牙齿的三维点云数据；基于牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；基于动态图推荐方法，对牙齿特征进行聚合和更新，得到位姿预测结果；基于聚合和更新后的牙齿特征以及迭代优化方法，对位姿预测结果进行优化，得到目标位姿结果。本申请提供的自动排牙方法，通过注意力机制的图卷积网络提取牙齿特征，以及通过动态图推荐方法对牙齿特征进行聚合和更新，并通过迭代优化方法对位姿预测结果进行优化，提升了自动排牙结果的准确度。另外，对于牙齿缺失、后续需要佩戴或种植义齿的情况，本申请提供的自动排牙方法中可以通过在原始输入中预先插入虚拟义齿的三维模型，排牙结束后再将其从输出牙列中删除，实现为义齿预留空位的功能。
本申请提出了一种基于点云理解的自动排牙方法，与现有同类方法相比，本申请的自动排牙方法通过构造图注意力机制模块和基于动态图推荐方法的图传播模块提升了网络对牙齿点云特征的提取和传播能力；使用锥形束计算机断层扫描图像分割得到的含有牙根的完整牙齿的三维点云数据对网络进行训练，克服了同类方法不考虑牙根位姿的缺陷；引入了迭代优化方法以优化自动排牙结果中牙齿的位姿，提升了算法对于训练集不均衡样本的鲁棒性。
参考图5，本申请另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。
其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。
处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。
本申请另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
Claims (10)
1.一种基于点云理解的自动排牙方法，其特征在于，包括：
基于锥形束计算机断层扫描图像，获取牙齿点云；所述牙齿点云包括含有牙根的完整牙齿的三维点云数据；
基于所述牙齿点云数据以及注意力机制的图卷积网络，提取牙齿特征；所述牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；
基于动态图推荐方法，对所述牙齿特征进行聚合和更新，得到位姿预测结果；
基于聚合和更新后的牙齿特征以及迭代优化方法，对所述位姿预测结果进行优化，得到目标位姿结果。
2.根据权利要求1所述的基于点云理解的自动排牙方法，其特征在于，所述基于动态图推荐方法，对所述牙齿特征进行聚合和更新，得到位姿预测结果，包括：
对所述牙齿特征进行序列化编码，并根据牙齿的邻接关系构建动态图；
为每颗牙齿分配一个能够进行网络学习的嵌入节点，对所述动态图进行全局池化处理后，输入动态图推荐网络，对所述牙齿特征进行聚合和更新，得到位姿预测结果。
3.根据权利要求2所述的基于点云理解的自动排牙方法，其特征在于，采用式(1)对所述牙齿特征进行聚合和更新：
其中，
为每个嵌入节点；
表示来自相邻节点的信息，k为更新的时间步；Update和Aggregate均为可导函数，Aggregate聚合相邻节点的信息，Update对信息进行响应，更新嵌入节点。
4.根据权利要求2所述的基于点云理解的自动排牙方法，其特征在于，所述基于聚合和更新后的牙齿特征以及迭代优化方法，对所述位姿预测结果进行优化，得到目标位姿结果，包括：
基于聚合和更新后的牙齿特征，得到位姿变换矩阵；
根据每颗牙齿的序列化编码获取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位置进行调整；
基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
5.根据权利要求4所述的基于点云理解的自动排牙方法，其特征在于，所述位姿变换矩阵通过采用多层感知机将节点的特征嵌入映射为李群旋转量和三维平移量，计算得到位姿变换矩阵。
6.根据权利要求4所述的基于点云理解的自动排牙方法，其特征在于，所述基于迭代优化方法，迭代地缩小所述位姿预测结果的误差，得到目标位姿结果，包括：
将前一次迭代中的位姿预测值视为对目标位姿的近似估计，使用迭代最近点方法获取误差后，将所述误差反馈到网络中作为下一次迭代的输入的一部分，对网络的参数进行迭代优化。
7.一种自动排牙装置，其特征在于，包括：依次连接的数据预处理模块、特征提取模块、特征传播模块和位姿预测模块；
所述数据预处理模块用于对锥形束计算机断层扫描图像进行分割，得到二值分割结果；并对所述二值分割结果进行重建，得到牙齿三维模型；再通过所述牙齿三维模型，得到牙齿点云；
所述特征提取模块包括注意力机制的卷积网络，用于提取牙齿特征；所述牙齿特征包括牙列全局特征向量和牙齿的局部特征向量；
所述特征传播模块基于动态图推荐方法，对所述牙齿特征进行聚合和更新，得到位姿预测结果；
所述位姿预测模块包括迭代优化模块，用于迭代地缩小所述位姿预测结果的误差，得到目标位姿结果。
8.根据权利要求7所述的自动排牙装置，其特征在于，所述位姿预测模块还包括特征转换模块；所述特征转换模块将所述牙齿特征嵌入映射为李群旋转量和三维平移量，计算得牙齿位姿变换矩阵；再根据每颗牙齿的序列化编码读取牙齿的三维模型，将位姿变换加载到相对应的牙齿上，对牙齿位姿进行移动和优化。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一所述的基于点云理解的自动排牙方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一所述的基于点云理解的自动排牙方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211458231.8A CN115719404A (zh) | 2022-11-21 | 2022-11-21 | 基于点云理解的自动排牙方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211458231.8A CN115719404A (zh) | 2022-11-21 | 2022-11-21 | 基于点云理解的自动排牙方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115719404A true CN115719404A (zh) | 2023-02-28 |
Family
ID=85255769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211458231.8A Pending CN115719404A (zh) | 2022-11-21 | 2022-11-21 | 基于点云理解的自动排牙方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115719404A (zh) |
-
2022
- 2022-11-21 CN CN202211458231.8A patent/CN115719404A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11735306B2 (en) | Method, system and computer readable storage media for creating three-dimensional dental restorations from two dimensional sketches | |
| JP7451406B2 (ja) | 深層学習法を使用する自動３ｄ歯根形状予測 | |
| US8938113B2 (en) | Adaptive visualization for direct physician use | |
| US20210322136A1 (en) | Automated orthodontic treatment planning using deep learning | |
| CN113454637A (zh) | 使用深度学习对非欧式3d数据集的自动语义分割 | |
| US20180028294A1 (en) | Dental cad automation using deep learning | |
| CN111862171B (zh) | 基于多视图融合的cbct与激光扫描点云数据牙齿配准方法 | |
| CN111685899A (zh) | 基于口内图像和三维模型的牙齿正畸治疗监测方法 | |
| CN112150472A (zh) | 基于cbct的三维颌骨图像分割方法、装置及终端设备 | |
| CN112785609B (zh) | 一种基于深度学习的cbct牙齿分割方法 | |
| CN112150473A (zh) | 基于ct的三维颌骨图像分割建模方法、装置及终端设备 | |
| CN112308861B (zh) | 一种牙齿牙龈分割方法、牙齿分割方法和电子设备 | |
| Ben-Hamadou et al. | 3DTeethSeg'22: 3D Teeth Scan Segmentation and Labeling Challenge | |
| CN113554607A (zh) | 一种牙体检测模型、生成方法及牙体分割方法 | |
| CN116524118B (zh) | 基于三维牙齿cbct数据和口腔扫描模型的多模态渲染方法 | |
| CN117153394A (zh) | 一种预测恒牙发育的方法及系统 | |
| CN115719404A (zh) | 基于点云理解的自动排牙方法、装置、设备及存储介质 | |
| WO2024108341A1 (zh) | 基于点云理解的自动排牙方法、装置、设备及存储介质 | |
| CN116385474B (zh) | 基于深度学习的牙齿扫描模型分割方法、装置、电子设备 | |
| CN117853716A (zh) | 一种牙颌模型的建构方法、装置、电子设备及存储介质 | |
| US20240029380A1 (en) | Integrated Dental Restoration Design Process and System | |
| TW202416910A (zh) | 整合式牙齒復原設計方法及系統 | |
| Chafi et al. | 3D generation of dental crown bottoms using context learning | |
| CN115938544A (zh) | 基于网格特征深度学习的口腔正畸自动排牙方法和系统 | |
| Li et al. | A Cloud Collaborative Healthcare Platform Based on Deep Learning in The Segmentation of Maxillary Sinus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |