CN113674286B - 基于跨图注意力机制和代价函数学习的牙模点云分割方法 - Google Patents
基于跨图注意力机制和代价函数学习的牙模点云分割方法 Download PDFInfo
- Publication number
- CN113674286B CN113674286B CN202111012399.1A CN202111012399A CN113674286B CN 113674286 B CN113674286 B CN 113674286B CN 202111012399 A CN202111012399 A CN 202111012399A CN 113674286 B CN113674286 B CN 113674286B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- graph
- cost function
- normal
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 107
- 230000006870 function Effects 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000007246 mechanism Effects 0.000 title claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims abstract description 6
- 230000008447 perception Effects 0.000 claims abstract description 6
- 230000003993 interaction Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 32
- 238000005259 measurement Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006872 improvement Effects 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 abstract description 6
- 230000001537 neural effect Effects 0.000 abstract description 5
- 238000007405 data analysis Methods 0.000 abstract description 4
- 238000002347 injection Methods 0.000 abstract description 4
- 239000007924 injection Substances 0.000 abstract description 4
- 230000002860 competitive effect Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004763 bicuspid Anatomy 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 210000003464 cuspid Anatomy 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004283 incisor Anatomy 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30036—Dental; Teeth
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于跨图注意力机制和代价函数学习的牙模点云分割方法，该方法首先构建牙模点云分割模型，在该模型中建立异构几何数据的交互图网络，利用跨图注意力机制，探索同个邻接图内、不同邻接图间的局部信息，学习异构几何数据间的依赖性，改善上下文感知特征的辨识能力，解决当前异质几何数据分析仅单独分析每种数据或简单线性组合异质数据忽视异质数据间的语义鸿沟的问题；本发明方法基于神经架构搜索(NeuralArchitecture Search，NAS)，利用自动机器学习(Auto Machine Learning)、进化算法设计代价函数，将代价函数制定为树形结构的原始数学算子，求解与度量函数一致性最高的代价函数，解决代价函数与度量函数的不一致问题。与其他先进方法相比，本发明方法具有可观的竞争力。
Description
技术领域
本发明涉及点云分割技术，具体涉及一种基于跨图注意力机制和代价函数学习的牙模点云分割方法。
背景技术
数字齿科技术近年来发展迅速。牙模点云分割从口腔内或桌面扫描建立的3D模型得到每颗牙齿区域，在数字齿科中起着重要作用，可用于正畸诊断、口腔外科和治疗计划等应用。最近，基于深度学习的3D分割算法取得了重大进展。然而，异构几何数据被单独分析或线性组合，例如，在双流图卷积网络(TSGCNet)中，三角网格的3D坐标和法向量分别通过C-Stream和N-Stream进行分析，忽视了异质数据间的语义鸿沟。此外，分割任务中的代价函数与度量函数存在不一致问题，具体来说，交叉熵用于最小化逐点分类误差，而平均交并比(mean intersection-over-union，mIoU)用于衡量分割结果，由于mIoU不可微的特性，其在训练阶段没有被直接优化。
发明内容
本发明的目的在于针对现有技术的不足，提供一种基于跨图注意力机制和代价函数学习的牙模点云分割方法。
本发明的目的是通过以下技术方案来实现的：一种基于跨图注意力机制和代价函数学习的牙模点云分割方法，该方法包括以下步骤：
(1)构建牙模点云分割模型，在该模型中建立异构几何数据的交互图网络，利用跨图注意力机制学习异构几何数据间的依赖性，从而改善上下文感知特征的辨识能力；
(1.1)数据预处理：提取牙模网格数据的网格顶点并下采样，得到牙模的点云数据，点云数据的每个点由三维坐标与对应的法向量来表达；
(1.2)构建交互图网络，所述交互图网络由若干特征交互层和一个特征融合层级联而成；
所述特征交互层的输入为前一层的三维坐标特征和法向特征，输出为对三维坐标特征和法向特征融合后的新的三维坐标特征和法向特征；具体为：基于K近邻方法，分别利用点云数据的三维坐标特征构造邻接图G1，利用点云数据的法向特征构造邻接图G2；将G1和G2进行如下联合分析：a)利用同个邻接图内、不同邻接图间的局部信息更新点云特征；b)利用跨图注意力机制来进一步聚合局部信息，得到上下文特征；该特征交互过程可通过设置多个特征交互层，从而对上下文特征进行多次迭代直到完成特征交互过程；
所述特征融合层将不同特征交互层输出的上下文特征进行融合，得到分割预测结果；具体为：首先将不同特征交互层输出的上下文特征进行级联，然后通过多层感知机(MLP,Multilayer Perceptron)进行映射变换，分别得到三维位置语义特征和法向语义特征，最后将三维位置语义特征和法向语义特征进行级联，再通过多层感知机进行映射变换得到分割特征，基于分割特征得到分割预测结果；
(2)利用牙模点云分割模型的预测分割结果，搜索与度量函数一致性最高的代价函数；
(2.1)设计代价函数，方法如下：
基于度量函数ξ，在验证集Seval上最大化代价函数L的度量分数f(L,ξ)，公式如下：
s.t.θ*(L)＝argminE[L(Nθ,Strain)]
其中，Strain为训练集，度量函数ξ(Nθ*(L),Seval)的变量Nθ*(L)表示参数为θ*(L)的分割网络，θ*(L)为训练过程中代价函数L值最小时的网络参数，E(·)表示数学期望，Nθ表示参数θ的分割网络，θ为训练过程中的分割网络参数；
(2.2)构建搜索树，树的根结点为树表示的代价函数，叶子节点为输入数据由牙模点云分割模型的预测分割结果以及真实分割结果组成；
(2.3)搜索代价函数，搜索策略采用进化算法中的联赛选择算法，具体如下：
a)创建原始算子集合H，从原始算子集合H中随机选取Kl个原始算子；
b)结合搜索树的根结点和叶子结点，生成包含Kl个代价函数的初始种群；
c)从初始种群中随机选取Tr比例的个体，取出度量分数最高的个体作为父代，并进化产生子代，最后保留最新的Pl个子代作为下一次迭代的种群；
(3)得到检测结果：利用训练集训练所述牙模点云分割模型；测试时将待分割的牙模网格数据进行数据预处理后输入训练好的牙模点云分割模型，得到牙模点云预测分割结果。
进一步地，所述交互图网络的特征交互层的实现具体为：
假设由点云数据的三维坐标特征构造的邻接图为G1(V1,E1)，由法向特征构造的邻接图为G2(V2,E2)，向量表示G1(V1,E1)中与输入的三维坐标特征对应的节点集，/>表示G2(V2,E2)中与输入的法向特征对应的节点集，/>表示G1(V1,E1)中的边集，/>表示G2(V2,E2)中的边集，边的关系利用K近邻(K Nearest Neighbors，KNN)定义；
G1(V1,E1)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为fi 1,l，该节点的第j个邻居节点为/>对应邻居节点特征为/>其中，Lmax为特征交互层的最大层数；
G2(V2,E2)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为fi 2,l，该节点的第j个邻居节点为/>对应邻居节点特征为/>
将G1(V1,E1)和G2(V2,E2)进行以下联合分析：
a)利用同个邻接图内、不同邻接图间的局部信息更新点云特征，公式如下：
其中，[·]表示级联操作，表示利用位置邻接图信息更新后的点云位置特征，/>表示利用法向邻接图信息更新后的点云位置特征，/>表示利用法向邻接图信息更新后的点云法向特征，/>表示利用位置邻接图信息更新后的点云法向特征， 表示需要学习的多层感知机权值矩阵；
b)利用跨图注意力机制来进一步聚合局部信息，利用同个邻接图内、不同邻接图间的反映节点i与相邻节点j的相似度，得到注意力参数αij，具体如下：
假设衡量G1(V1,E1)和G2(V2,E2)的节点/>和相邻节点/>之间的相似度，/>衡量G2(V2,E2)和G1(V1,E1)的节点/>和相邻节点/>之间的相似度，多维度的注意力参数计算公式如下：
其中，W1,l、W2,l表示需要学习的网络参数；sim表示相似度函数；分别表示G1(V1,E1)和G2(V2,E2)中每个特征维度需要学习的变量；/>表示利用位置邻接图信息得到的位置注意力参数，/>表示利用法向邻接图信息得到的位置注意力参数，/>表示利用法向邻接图信息得到的法向注意力参数，/>表示利用位置邻接图信息得到的法向注意力参数；
将注意力参数与更新后的点云特征作元素级相乘，得到同个邻接图内的上下文特征，以及不同邻接图间的上下文特征，公式如下：
其中，⊙表示元素级相乘；表示利用位置邻接图信息得到的位置上下文特征，/>表示利用法向邻接图信息得到的位置上下文特征，/>表示利用法向邻接图信息得到的法向上下文特征，/>表示利用位置邻接图信息得到的法向上下文特征；
聚合当前层的位置特征fi 1,l、以及上述得到的两个位置上下文特征和/>输入多层感知机，得到当前层输出的位置上下文特征/>聚合当前层的法向特征fi 2,l、以及上述得到的两个法向上下文特征/>和/>输入多层感知机，得到当前层输出的法向上下文特征/>其中 表示需要学习的多层感知机权值矩阵。
进一步地，所述搜索树的叶子节点即输入数据由牙模点云分割模型的预测分割结果/>和对应的真实分割结果y组成，并加入1以强化搜索空间的灵活性；所述搜索树的根结点为输出张量o，输出张量o反映了模型预测分割结果与真实分割结果之间的差异，输出张量o中所有元素的均值即为代价函数损失值。
进一步地，所述步骤(2.3)中，在进化之后，产生子代之前，评估度量分数改进量，以过滤掉不理想的代价函数，从而提升搜索效率，具体为：假设从训练集Strain中随机选取包含模型的预测分割结果和对应的真实分割结果{yb}的Bs个样本，是利用代价函数L优化后的模型的预测分割结果，将度量函数ξ转换成用预测分割结果/>和真实分割结果{yb}表达的形式，计算度量分数改进量如果度量分数改进量小于阈值η，则表示相应的代价函数没有潜力，立即删除该代价函数。
进一步地，所述原始算子集合H包括：池化、相加、相乘、取反、取对数、取指数、取平均值、取绝对值、开根号、求逆矩阵等元素运算符和聚合运算符。
进一步地，所述牙模点云分割模型采用端到端End-to-End学习模式。
进一步地，所述牙模点云分割模型训练阶段采用GPU进行计算。
进一步地，所述牙模点云分割模型在交互图网络中选择K＝6、Lmax＝3，MLPu、MLPcMLPfu的层数nu＝2、nc＝3、nfu＝3；在代价函数搜索中选择Kl＝20、Tr＝5％、Pl＝2500、Bs＝5。实验结果表明，当前参数配置优于其他配置。
进一步地，本发明采用Shining 3D牙齿数据集作为牙模点云分割模型的训练集。Shining3D牙齿数据集包含210个从3D扫描牙模重建并表示为PLY格式的网格，其中训练集、验证集和测试集分别包含150、30和30个样本。每个样本来自随机选择的牙科医院患者，并进行了脱敏操作以确保不会泄露隐私。每个网格由不同数量的顶点和面组成。标定人员总共分成两组，每组三人，进行数据的标定和验证，以确保正确性。如果两组的标注结果不一致，则请另一人进行最终检查。每个标定者都使用“cloudCompare”软件标记每颗牙齿的点区域和类别，比如中/侧切牙、1/2尖牙、1/2前磨牙和1/2磨牙。Shining 3D牙齿数据集的度量标准包括平均交并比(mIoU)和平均准确度(mAcc)。
相比于现有技术，本发明具有的有益效果为：
(1)提出牙模点云分割模型，利用跨图注意力机制学习异质几何数据间的依赖性，探索同个邻接图内、不同邻接图间的局部信息，学习异构几何数据间的依赖性，改善上下文感知特征的辨识能力，解决当前异质几何数据分析仅单独分析每种数据或简单线性组合异质数据忽视异质数据间的语义鸿沟的问题。
(2)基于神经架构搜索(Neural Architecture Search，NAS)，利用自动机器学习(Auto Machine Learning)、进化算法设计代价函数，将代价函数制定为树形结构的原始数学算子，求解与度量函数一致性最高的代价函数，解决代价函数与度量函数的不一致问题。
(3)在Shining 3D牙齿数据集上的实验结果表明，与其他先进方法相比，本发明方法具有可观的竞争力。
附图说明
图1是本发明实施例提供的牙模点云分割的挑战说明示意图；
图2是本发明实施例提供的整体框架示意图；
图3是本发明实施例提供的交互图特征交互层实现示意图；
图4是本发明实施例提供的代价函数搜索过程示意图；
图5是本发明实施例在Shining 3D牙齿数据集上的分割结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明实施例提出的一种基于跨图注意力机制和代价函数学习的牙模点云分割方法，该方法首先构建牙模点云分割模型，并在该模型中建立异构几何数据的交互图网络，利用跨图注意力机制，探索同个邻接图内、不同邻接图间的局部信息，学习异构几何数据间的依赖性，改善上下文感知特征的辨识能力，解决当前异质几何数据分析仅单独分析每种数据或简单线性组合异质数据忽视异质数据间的语义鸿沟的问题；本发明方法基于神经架构搜索(Neural Architecture Search，NAS)，利用自动机器学习(Auto MachineLearning)、进化算法设计代价函数，将代价函数制定为树形结构的原始数学算子，求解与度量函数一致性最高的代价函数，解决代价函数与度量函数的不一致问题。该方法具体包括以下步骤：
(1)构建牙模点云分割模型，在该模型中建立异构几何数据的交互图网络，利用跨图注意力机制学习异构几何数据间的依赖性，从而改善上下文感知特征的辨识能力；
(1.1)数据预处理：提取牙模网格数据的网格顶点并下采样，得到牙模的点云数据，点云数据的每个点由三维坐标与对应的法向量来表达；
(1.2)构建交互图网络，所述交互图网络由若干特征交互层和一个特征融合层级联而成；
所述特征交互层的输入为前一层的三维坐标特征和法向特征，输出为对三维坐标特征和法向特征融合后的新的三维坐标特征和法向特征；具体为：基于K近邻(K NearestNeighbors，KNN)方法，定义边的关系，分别利用点云数据的三维坐标特征构造邻接图G1(V1,E1)，利用点云数据的法向特征构造邻接图G2(V2,E2)；向量表示G1(V1,E1)中与输入的三维坐标特征对应的节点集，/>表示G2(V2,E2)中与输入的法向特征对应的节点集，/>表示G1(V1,E1)中的边集，/>表示G2(V2,E2)中的边集；
G1(V1,E1)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为fi 1,l，该节点的第j个邻居节点为/>对应邻居节点特征为/>其中，Lmax为特征交互层的最大层数；
G2(V2,E2)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为fi 2,l，该节点的第j个邻居节点为/>对应邻居节点特征为/>
将G1和G2进行如下联合分析：
a)利用同个邻接图内、不同邻接图间的局部信息更新点云特征，公式如下：
其中，[·]表示级联操作，表示利用位置邻接图信息更新后的点云位置特征，/>表示利用法向邻接图信息更新后的点云位置特征，/>表示利用法向邻接图信息更新后的点云法向特征，/>表示利用位置邻接图信息更新后的点云法向特征， 表示需要学习的多层感知机权值矩阵；
b)利用跨图注意力机制来进一步聚合局部信息，利用同个邻接图内、不同邻接图间的反映节点i与相邻节点j的相似度，得到注意力参数αij，具体如下：
假设衡量G1(V1,E1)和G2(V2,E2)的节点/>和相邻节点/>之间的相似度，/>衡量G2(V2,E2)和G1(V1,E1)的节点和相邻节点/>之间的相似度，多维度的注意力参数计算公式如下：
其中，W1,l、W2,l表示需要学习的网络参数；sim表示相似度函数；分别表示G1(V1,E1)和G2(V2,E2)中每个特征维度需要学习的变量；/>表示利用位置邻接图信息得到的位置注意力参数，/>表示利用法向邻接图信息得到的位置注意力参数，/>表示利用法向邻接图信息得到的法向注意力参数，/>表示利用位置邻接图信息得到的法向注意力参数；
将注意力参数与更新后的点云特征作元素级相乘，得到同个邻接图内的上下文特征，以及不同邻接图间的上下文特征，公式如下：
其中，⊙表示元素级相乘；表示利用位置邻接图信息得到的位置上下文特征，/>表示利用法向邻接图信息得到的位置上下文特征，/>表示利用法向邻接图信息得到的法向上下文特征，/>表示利用位置邻接图信息得到的法向上下文特征；
聚合当前层的位置特征fi 1,l、以及上述得到的两个位置上下文特征和/>输入多层感知机，得到当前层输出的位置上下文特征/>聚合当前层的法向特征fi 2,l、以及上述得到的两个法向上下文特征/>和/>输入多层感知机，得到当前层输出的法向上下文特征/>其中 表示需要学习的多层感知机权值矩阵。
(2)利用牙模点云分割模型的预测分割结果，搜索与度量函数一致性最高的代价函数；
(2.1)设计代价函数，方法如下：
基于度量函数ξ，在验证集Seval上最大化代价函数L的度量分数f(L,ξ)，公式如下：
s.t.θ*(L)＝argminE[L(Nθ,Strain)]
其中，Strain为训练集，度量函数的变量/>表示参数为θ*(L)的分割网络，θ*(L)为训练过程中代价函数L值最小时的网络参数，E(·)表示数学期望，Nθ表示参数θ的分割网络，θ为训练过程中的分割网络参数；
(2.2)构建搜索树，树的根结点为树表示的代价函数，叶子节点为输入数据由牙模点云分割模型的预测分割结果以及真实分割结果组成；所述搜索树的根结点为输出张量o，输出张量o反映了模型预测分割结果与真实分割结果之间的差异，输出张量o中所有元素的均值即为代价函数损失值；
(2.3)搜索代价函数，搜索策略采用进化算法中的联赛选择算法，具体如下：
a)创建原始算子集合H，其中包括：池化、相加、相乘、取反、取对数、取指数、取平均值、取绝对值、开根号、求逆矩阵等元素运算符和聚合运算符。从原始算子集合H中随机选取Kl个原始算子；
b)结合搜索树的根结点和叶子结点，生成包含Kl个代价函数的初始种群；
c)从初始种群中随机选取Tr比例的个体，取出度量分数最高的个体作为父代，并进化产生子代，最后保留最新的Pl个子代作为下一次迭代的种群；
在进化之后，产生子代之前，评估度量分数改进量，以过滤掉不理想的代价函数，从而提升搜索效率，具体为：
假设从训练集Strain中随机选取包含模型的预测分割结果和对应的真实分割结果{yb}的Bs个样本，/>是利用代价函数L优化后的模型的预测分割结果，将度量函数ξ转换成用预测分割结果/>和真实分割结果{yb}表达的形式，计算度量分数改进量/>如果度量分数改进量小于阈值η，则表示相应的代价函数没有潜力，立即删除该代价函数。
(3)得到检测结果：利用训练集训练所述牙模点云分割模型；测试时将待分割的牙模网格数据进行数据预处理后输入训练好的牙模点云分割模型，得到牙模点云预测分割结果。
本实施例提供的牙模点云分割方法可以明确标识牙齿3D网格数据中的牙齿位置、类别，并给出对应掩码，且能应用到牙齿3D网格数据的其他方面。采用本实施方式对牙齿3D网格数据中的牙齿进行分割的过程包括训练和测试两个部分。下面结合附图介绍本实施例所采用的牙模点云分割模型。
图1是本发明实施例提供的牙模点云分割的挑战说明示意图；当前异质几何数据分析仅单独分析每种数据或简单线性组合异质数据，忽视异质数据间的语义鸿沟。
图2是本发明实施例提供的整体框架示意图；
数据增强部分使用平移(3D空间中的[-8,8]体素)、缩放(3D空间中的[0.8,1.2])和旋转(XY空间中的[-180,180]度)。学习率初始化为1.0x10-2，并在epoch数达到30后呈指数衰减，训练初始学习率为1.0x10-2，并在epoch数达到30后呈指数衰减，批次大小为4，整个网络使用随机梯度下降(SGD)优化器进行训练。
本实施例中测试方法具体为：给定测试图像，将训练得到的牙模点云分割模型执行一次前向传播得到基于本实施例提出的牙模点云分割模型的测试结果。
图3是本发明实施例提供的交互图特征交互层实现示意图，为简单起见，本发明只可视化利用邻接图G1、邻接图G2更新邻接图G1的部分，1号线型为利用位置邻接图信息获得位置注意力参数的过程，2号线型为节点更新过程，3号线型为利用法向邻接图信息获得位置注意力参数的过程，虚线框表示级联操作。
图4是本发明实施例提供的代价函数搜索过程示意图。
图5是本发明实施例在Shining 3D牙齿数据集上的分割结果示意图，不同灰度值表示不同的牙齿，虚线框突出显示了不同方法输出的分割结果之间的差异。
结果表明，本发明提出的方法与其他先进的检测方法相比更具有竞争力。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，包括以下步骤：
(1)构建牙模点云分割模型，在该模型中建立异构几何数据的交互图网络，利用跨图注意力机制学习异构几何数据间的依赖性，从而改善上下文感知特征的辨识能力；
(1.1)数据预处理：提取牙模网格数据的网格顶点并下采样，得到牙模的点云数据，点云数据的每个点由三维坐标与对应的法向量来表达；
(1.2)构建交互图网络，所述交互图网络由若干特征交互层和一个特征融合层级联而成；
所述特征交互层的输入为前一层的三维坐标特征和法向特征，输出为对三维坐标特征和法向特征融合后的新的三维坐标特征和法向特征；具体为：基于K近邻方法，分别利用点云数据的三维坐标特征构造邻接图G1，利用点云数据的法向特征构造邻接图G2；将G1和G2进行如下联合分析：a)利用同个邻接图内、不同邻接图间的局部信息更新点云特征；b)利用跨图注意力机制来进一步聚合局部信息，得到上下文特征；该特征交互过程可通过设置多个特征交互层，从而对上下文特征进行多次迭代直到完成特征交互过程；
所述特征融合层将不同特征交互层输出的上下文特征进行融合，得到分割预测结果；具体为：首先将不同特征交互层输出的上下文特征进行级联，然后通过多层感知机进行映射变换，分别得到三维位置语义特征和法向语义特征，最后将三维位置语义特征和法向语义特征进行级联，再通过多层感知机进行映射变换得到分割特征，基于分割特征得到分割预测结果；
(2)利用牙模点云分割模型的预测分割结果，搜索与度量函数一致性最高的代价函数；
(2.1)设计代价函数，方法如下：
基于度量函数ξ，在验证集Seval上最大化代价函数L的度量分数f(L,ξ)，公式如下：
s.t.θ*(L)＝argminE[L(Nθ,Strain)]
其中，Strain为训练集，度量函数的变量/>表示参数为θ*(L)的分割网络，θ*(L)为训练过程中代价函数L值最小时的网络参数，E(·)表示数学期望，Nθ表示参数θ的分割网络，θ为训练过程中的分割网络参数；
(2.2)构建搜索树，树的根结点为树表示的代价函数，叶子节点为输入数据由牙模点云分割模型的预测分割结果以及真实分割结果组成；
(2.3)搜索代价函数，搜索策略采用进化算法中的联赛选择算法，具体如下：
a)创建原始算子集合H，从原始算子集合H中随机选取Kl个原始算子；
b)结合搜索树的根结点和叶子结点，生成包含Kl个代价函数的初始种群；
c)从初始种群中随机选取Tr比例的个体，取出度量分数最高的个体作为父代，并进化产生子代，最后保留最新的Pl个子代作为下一次迭代的种群；
(3)得到检测结果：利用训练集训练所述牙模点云分割模型；测试时将待分割的牙模网格数据进行数据预处理后输入训练好的牙模点云分割模型，得到牙模点云预测分割结果。
2.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述交互图网络的特征交互层的实现具体为：
假设由点云数据的三维坐标特征构造的邻接图为G1(V1,E1)，由法向特征构造的邻接图为G2(V2,E2)，向量表示G1(V1,E1)中与输入的三维坐标特征对应的节点集，/>表示G2(V2,E2)中与输入的法向特征对应的节点集，/>表示G1(V1,E1)中的边集，/>表示G2(V2,E2)中的边集，边的关系利用K近邻定义；
G1(V1,E1)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为/>该节点的第j个邻居节点为/>对应邻居节点特征为/>其中，Lmax为特征交互层的最大层数；
G2(V2,E2)中的第i个节点为其在第l∈{1,2,…,Lmax}层的特征为/>该节点的第j个邻居节点为/>对应邻居节点特征为/>
将G1(V1,E1)和G2(V2,E2)进行以下联合分析：
a)利用同个邻接图内、不同邻接图间的局部信息更新点云特征，公式如下：
其中，[·]表示级联操作，表示利用位置邻接图信息更新后的点云位置特征，表示利用法向邻接图信息更新后的点云位置特征，/>表示利用法向邻接图信息更新后的点云法向特征，/>表示利用位置邻接图信息更新后的点云法向特征， 表示需要学习的多层感知机权值矩阵；
b)利用跨图注意力机制来进一步聚合局部信息，利用同个邻接图内、不同邻接图间的反映节点i与相邻节点j的相似度，得到注意力参数αij，具体如下：
假设衡量G1(V1,E1)和G2(V2,E2)的节点/>和相邻节点之间的相似度，/>衡量G2(V2,E2)和G1(V1,E1)的节点/>和相邻节点/>之间的相似度，多维度的注意力参数计算公式如下：
其中，W1,l、W2,l表示需要学习的网络参数；sim表示相似度函数；分别表示G1(V1,E1)和G2(V2,E2)中每个特征维度需要学习的变量；/>表示利用位置邻接图信息得到的位置注意力参数，/>表示利用法向邻接图信息得到的位置注意力参数，表示利用法向邻接图信息得到的法向注意力参数，/>表示利用位置邻接图信息得到的法向注意力参数；
将注意力参数与更新后的点云特征作元素级相乘，得到同个邻接图内的上下文特征，以及不同邻接图间的上下文特征，公式如下：
其中，⊙表示元素级相乘；表示利用位置邻接图信息得到的位置上下文特征，表示利用法向邻接图信息得到的位置上下文特征，/>表示利用法向邻接图信息得到的法向上下文特征，/>表示利用位置邻接图信息得到的法向上下文特征；
聚合当前层的位置特征fi 1,l、以及上述得到的两个位置上下文特征和/>输入多层感知机，得到当前层输出的位置上下文特征/>聚合当前层的法向特征fi 2,l、以及上述得到的两个法向上下文特征/>和/>输入多层感知机，得到当前层输出的法向上下文特征/>其中 表示需要学习的多层感知机权值矩阵。
3.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述步骤(2.2)中，搜索树的叶子节点即输入数据由牙模点云分割模型的预测分割结果/>和对应的真实分割结果y组成，并加入1以强化搜索空间的灵活性；所述搜索树的根结点为输出张量o，输出张量o反映了模型预测分割结果与真实分割结果之间的差异，输出张量o中所有元素的均值即为代价函数损失值。
4.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述步骤(2.3)中，在进化之后，产生子代之前，评估度量分数改进量，以过滤掉不理想的代价函数，从而提升搜索效率，具体为：假设从训练集Strain中随机选取包含模型的预测分割结果和对应的真实分割结果{yb}的Bs个样本，/>是利用代价函数L优化后的模型的预测分割结果，将度量函数ξ转换成用预测分割结果/>和真实分割结果{yb}表达的形式，计算度量分数改进量/>如果度量分数改进量小于阈值η，则表示相应的代价函数没有潜力，立即删除该代价函数。
5.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述原始算子集合H包括：池化、相加、相乘、取反、取对数、取指数、取平均值、取绝对值、开根号、求逆矩阵等元素运算符和聚合运算符。
6.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述牙模点云分割模型采用端到端End-to-End学习模式。
7.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，所述牙模点云分割模型训练阶段采用GPU进行计算。
8.如权利要求1所述的基于跨图注意力机制和代价函数学习的牙模点云分割方法，其特征在于，采用Shining 3D牙齿数据集作为牙模点云分割模型的训练集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012399.1A CN113674286B (zh) | 2021-08-31 | 2021-08-31 | 基于跨图注意力机制和代价函数学习的牙模点云分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111012399.1A CN113674286B (zh) | 2021-08-31 | 2021-08-31 | 基于跨图注意力机制和代价函数学习的牙模点云分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113674286A CN113674286A (zh) | 2021-11-19 |
| CN113674286B true CN113674286B (zh) | 2023-12-26 |
Family
ID=78547685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111012399.1A Active CN113674286B (zh) | 2021-08-31 | 2021-08-31 | 基于跨图注意力机制和代价函数学习的牙模点云分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113674286B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115731137B (zh) * | 2022-11-29 | 2024-07-26 | 湖北大学 | 一种基于A-EdgeConv的室外大场景点云分割方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106537422A (zh) * | 2014-03-05 | 2017-03-22 | 阿雅斯迪公司 | 用于捕获信息内的关系的系统和方法 |
| CN110110621A (zh) * | 2019-04-23 | 2019-08-09 | 安徽大学 | 基于多特征整合深度学习模型的倾斜摄影点云分类方法 |
| EP3671531A1 (en) * | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210118132A1 (en) * | 2019-10-18 | 2021-04-22 | Retrace Labs | Artificial Intelligence System For Orthodontic Measurement, Treatment Planning, And Risk Assessment |
-
2021
- 2021-08-31 CN CN202111012399.1A patent/CN113674286B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106537422A (zh) * | 2014-03-05 | 2017-03-22 | 阿雅斯迪公司 | 用于捕获信息内的关系的系统和方法 |
| EP3671531A1 (en) * | 2018-12-17 | 2020-06-24 | Promaton Holding B.V. | Semantic segmentation of non-euclidean 3d data sets using deep learning |
| CN110110621A (zh) * | 2019-04-23 | 2019-08-09 | 安徽大学 | 基于多特征整合深度学习模型的倾斜摄影点云分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 多特征融合的三维模型识别与分割;党吉圣;杨军;;西安电子科技大学学报(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113674286A (zh) | 2021-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rahman et al. | Ambiguous medical image segmentation using diffusion models | |
| US11972572B2 (en) | Intraoral scanning system with excess material removal based on machine learning | |
| CN109993825B (zh) | 一种基于深度学习的三维重建方法 | |
| US20220218449A1 (en) | Dental cad automation using deep learning | |
| CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
| CN109919230B (zh) | 基于循环特征金字塔的医学图像肺结节检测方法 | |
| JP2022540634A (ja) | 深層学習に基づく３ｄ点群の物体検出およびインスタンスセグメント化 | |
| KR20210104777A (ko) | 딥 러닝을 이용한 비 유클리드 3d 데이터 세트의 자동 의미론적 분할 | |
| Zanjani et al. | Mask-MCNet: Tooth instance segmentation in 3D point clouds of intra-oral scans | |
| CN113744275B (zh) | 一种基于特征变换的三维cbct牙齿图像的分割方法 | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| WO2022222026A1 (zh) | 医疗诊断缺失数据补全方法及补全装置、电子设备、介质 | |
| CN113674286B (zh) | 基于跨图注意力机制和代价函数学习的牙模点云分割方法 | |
| CN115908297A (zh) | 基于拓扑知识的医学影像中血管分割建模方法 | |
| CN113517030A (zh) | 基于病毒传播网络的基因序列表示学习方法 | |
| CN116797609A (zh) | 全局-局部特征关联融合的肺部ct图像分割方法 | |
| CN116563524B (zh) | 一种基于多视觉记忆单元的扫视路径预测方法 | |
| JPH1166283A (ja) | 画像特徴量の相関抽出方法及び画像検索装置 | |
| Vrček et al. | Reconstruction of short genomic sequences with graph convolutional networks | |
| CN117280356A (zh) | 学习装置、学习方法、图像处理装置和图像处理方法 | |
| CN116385474B (zh) | 基于深度学习的牙齿扫描模型分割方法、装置、电子设备 | |
| Nino-Sandoval et al. | Efficacy of the methods of age determination using artificial intelligence in panoramic radiographs—a systematic review | |
| Shui | Statistical Analysis and Visualisation of 3D Anthropological and Archaeological Materials | |
| Xie et al. | A Mechanical Parts Image Segmentation Method Against Illumination for Industry | |
| CN118864731A (zh) | 一种基于cbct大数据的骨增量形态轮廓优化方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |