CN117455929B - 基于双流自注意力图卷积网络的牙齿分割方法及终端 - Google Patents

基于双流自注意力图卷积网络的牙齿分割方法及终端 Download PDF

Info

Publication number
CN117455929B
CN117455929B CN202311798137.1A CN202311798137A CN117455929B CN 117455929 B CN117455929 B CN 117455929B CN 202311798137 A CN202311798137 A CN 202311798137A CN 117455929 B CN117455929 B CN 117455929B
Authority
CN
China
Prior art keywords
feature
tooth
data
self
normal vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311798137.1A
Other languages
English (en)
Other versions
CN117455929A (zh
Inventor
刘石坚
邹峥
廖胜辉
廖律超
康朝明
吴连杰
许煜濠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University Of Science And Technology
Original Assignee
Fujian University Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University Of Science And Technology filed Critical Fujian University Of Science And Technology
Priority to CN202311798137.1A priority Critical patent/CN117455929B/zh
Publication of CN117455929A publication Critical patent/CN117455929A/zh
Application granted granted Critical
Publication of CN117455929B publication Critical patent/CN117455929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于双流自注意力图卷积网络的牙齿分割方法及终端，基于单牙三角网格数据获取对应的坐标数据和法向量数据，将坐标数据和法向量数据分别通过自注意力图卷积网络单元和感知池化单元进行特征训练，极大程度上消除了不同特征之间的差异性。相比于现有技术中不同特征流进行无差别训练的方法，本发明能够全面利用不同特征之间的关系，使得不同特征之间能够更好地融合计算，从而提高深度学习模型的特征提取精确度，进而提高牙齿分割的精确性。

Description

基于双流自注意力图卷积网络的牙齿分割方法及终端
技术领域
本发明涉及牙齿分割技术领域，尤其涉及一种基于双流自注意力图卷积网络的牙齿分割方法及终端。
背景技术
三角网格（Mesh）是数字世界中表现三维形状最为普遍的方式之一，在计算机辅助口腔医疗中被广泛运用。目前口腔医疗中通常会通过三角网格数据构建患者的全牙模型，再通过对全牙模型进行牙齿分割，从中提取牙颌网格数据后再进一步进行诊断。在传统技术中，对三角网格数据进行分割一般采用深度学习方法，将三角网格数据中面片单元的坐标、法向量等特征拼接后一起输入深度学习模型进行无差别训练。这种方式无法充分提取不同特征之间的关系，对最终三角网格数据的标注与分割结果预测存在很大的影响，最终影响牙齿分割的精确性。
发明内容
本发明所要解决的技术问题是：提供一种基于双流自注意力图卷积网络的牙齿分割方法及终端，提高牙齿分割精确性。
为了解决上述技术问题，本发明采用的技术方案为：
基于双流自注意力图卷积网络的牙齿分割方法，包括：
获取单牙三角网格数据；
根据所述单牙三角网格数据确定坐标数据和所述坐标数据对应的法向量数据；
将所述坐标数据和所述法向量数据输入预设的深度学习模型，所述深度学习模型包括自注意力图卷积网络单元和感知池化单元；
将所述坐标数据通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流；
将所述法向量数据通过所述感知池化单元进行特征训练，得到第二特征流；
根据所述第一特征流和所述第二特征流对所述单牙三角网格数据进行分割，得到目标牙齿。
为了解决上述技术问题，本发明采用的另一种技术方案为：
基于双流自注意力图卷积网络的牙齿分割终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于双流自注意力图卷积网络的牙齿分割方法中的各个步骤。
本发明的有益效果在于：基于单牙三角网格数据获取对应的坐标数据和法向量数据，将坐标数据和法向量数据分别通过自注意力图卷积网络单元和感知池化单元进行特征训练，极大程度上消除了不同特征之间的差异性。相比于现有技术中不同特征流进行无差别训练的方法，本发明能够全面利用不同特征之间的关系，使得不同特征之间能够更好地融合计算，从而提高深度学习模型的特征提取精确度，进而提高牙齿分割的精确性。
附图说明
图1为本发明实施例提供的基于双流自注意力图卷积网络的牙齿分割方法的步骤流程图；
图2为本发明实施例提供的深度学习模型的网络架构图；
图3为本发明实施例提供的齿心点和球型切割面的示意图；
图4为相关技术中全牙三角网格数据简化后的示意图；
图5为本发明实施例提供的自注意力层的操作示意图；
图6为本发明实施例提供的第一自注意力层的操作示意图；
图7为本发明实施例提供的第二自注意力层的操作示意图；
图8为本发明实施例提供的深度学习模式与其他深度学习模型的分割效果对比图；
图9为本发明实施例提供的基于双流自注意力图卷积网络的牙齿分割终端的结构示意图；
标号说明：
200、基于双流自注意力图卷积网络的牙齿分割终端；201、存储器；202、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
请参照图1，本发明实施例提供的基于双流自注意力图卷积网络的牙齿分割方法，包括：
获取单牙三角网格数据；
根据所述单牙三角网格数据确定坐标数据和所述坐标数据对应的法向量数据；
将所述坐标数据和所述法向量数据输入预设的深度学习模型，所述深度学习模型包括自注意力图卷积网络单元和感知池化单元；
将所述坐标数据通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流；
将所述法向量数据通过所述感知池化单元进行特征训练，得到第二特征流；
根据所述第一特征流和所述第二特征流对所述单牙三角网格数据进行分割，得到目标牙齿。
从上述描述可知，本发明的有益效果在于：基于单牙三角网格数据获取对应的坐标数据和法向量数据，将坐标数据和法向量数据分别通过自注意力图卷积网络单元和感知池化单元进行特征训练，极大程度上消除了不同特征之间的差异性。相比于现有技术中不同特征流进行无差别训练的方法，本发明能够全面利用不同特征之间的关系，使得不同特征之间能够更好地融合计算，从而提高深度学习模型的特征提取精确度，进而提高牙齿分割的精确性。
进一步地，所述获取单牙三角网格数据包括：
获取全牙三角网格数据；
通过预设的牙齿切割算法标记所述全牙三角网格数据中各个牙齿对应的齿心点；
获取所述各个牙齿对应的半径数据；
根据所述齿心点和所述半径数据构建球型切割面；
根据所述球型切割面对所述全牙三角网络数据进行切割处理，得到单牙三角网格数据。
由上述描述可知，由于牙齿的形状可近似于球体，因此确定各个牙齿对应的齿心点，即单颗牙齿的中心点，根据齿心点和牙齿半径数据构建球型切割面进行切割能够有效保证单牙三角网格数据的完整性的同时，避免切割过多无效的三角网格数据，降低对计算资源的需求，且无需对全牙三角网格数据进行网格简化，保证了网格数据的完整性。
进一步地，所述单牙三角网格数据包括多个面片单元；
所述获取所述单牙三角网格数据的坐标数据和所述坐标数据对应的法向量数据包括：
获取所述单牙三角网格数据中每个所述面片单元对应的顶点数据；
根据所述顶点数据确定所述每个面片单元对应的坐标数据；
根据所述坐标数据确定所述每个面片单元对应的法向量数据。
由上述描述可知，基于三角网格数据的特性，以三角网格数据中的面片单元作为最小处理单元，分别获取每个面片单元对应的坐标数据和法向量数据，以此作为该面片单元的不同特征，在后续进行分割时，以每个面片单元作为分类对象，基于每个面片单元的特征信息进行分类判断，从而实现牙齿分割效果，有效降低了特征提取的难度和数据量。
进一步地，还包括：
通过K-近邻算法将所述坐标数据进行相邻位置分类，得到所述每个面片单元对应的位置编码；
所述将所述坐标数据通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流包括：
将每个面片单元的所述坐标数据和所述位置编码通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流；
所述将所述法向量数据通过所述感知池化单元进行特征训练，得到第二特征流包括：
将每个面片单元的所述法向量数据和所述位置编码通过所述感知池化单元进行特征训练，得到第二特征流。
由上述描述可知，K-近邻算法将坐标数据进行相邻位置分类，即找到相邻的K个面片单元，并基于感知池化单元和自注意力图卷积网络单元进行特征训练，使得深度学习模型在进行特征提取时会关注面片单元的相邻信息，从而提高面片单元的分类效果，进而提高牙齿分割的精确性。
进一步地，所述自注意力图卷积网络单元包括第一自注意力层和图注意力层；
所述将每个面片单元的所述坐标数据和所述位置编码通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流包括：
将每个面片单元的所述坐标数据和所述位置编码通过所述第一自注意力层进行特征提取，得到全局坐标特征；
将所述全局坐标特征和所述位置编码通过所述图注意力层进行图卷积操作，得到局部坐标特征；
将所述单牙三角网格数据中所有面片单元对应的所述局部坐标特征进行特征拼接，得到第一特征流。
由上述描述可知，将每个面片单元的坐标数据和位置编码通过第一自注意力层提取全局坐标特征，再通过图注意力层从全局坐标特征中提取局部坐标特征。本发明通过第一自注意力层与图注意力层相结合的方式进行特征训练，在确保正确性的前提下对传统计算顺序进行了调整，以有效降低计算的复杂度；同时使得全局特征与局部特征更好地协同合作，提高了第一特征流提取的准确性，从而提高牙齿分割的精确度。
进一步地，所述感知池化单元包括多层感知机和最大池化层；
所述将每个面片单元的所述法向量数据和所述位置编码通过所述感知池化单元进行特征训练，得到第二特征流包括：
将每个面片单元的所述法向量数据和所述位置编码通过所述多层感知机进行特征提取和转换，得到高维法向量特征；
将所述高维法向量特征通过所述最大池化层进行特征采样，得到局部法向量特征；
将所述单牙三角网格数据中所有面片单元对应的所述局部法向量特征进行特征拼接，得到第二特征流。
由上述描述可知，由于法向量数据本身的特征并不明显，因此通过多层感知机得到高维法向量特征，提高第二特征流的特征维度；再通过最大池化层是获取到法向量特征在局部上的最独特特征，以此提高第二特征流提取的准确性，且充分考虑全局特征和局部特征对结果的影响，从而提高了深度学习模型的分割准确性。
进一步地，所述深度学习模型还包括第二自注意力层；
所述根据所述第一特征流和所述第二特征流对所述单牙三角网格数据进行分割，得到目标牙齿包括：
将所述第一特征流和所述第二特征流通过所述第二自注意力层进行特征拼接，得到目标特征流；
根据所述目标特征流对所述单牙三角网格数据进行分割，得到目标牙齿。
由上述描述可知，针对不同特征流的训练结果，通过第二自注意力层进行特征拼接，使得不同特征流在完成归一化操作的同时，将不同特征流对最终牙齿分割结果的贡献度进行调节，从而提高牙齿分割精确性。
进一步地，所述将所述坐标数据和所述法向量数据输入预设的深度学习模型之前，还包括：
将所述坐标数据和所述法向量数据通过T-NET模块进行位置转换，得到对齐空间下的坐标数据和法向量数据。
由上述描述可知，由于输入到深度学习模型中的坐标数据和法向量数据在三维空间中的位置朝向不一，在经过T-NET模块的位置转换后，可以将数据统一到一个对齐空间中，有利于后续模型的训练。
进一步地，所述将所述第一特征流和所述第二特征流通过所述第二自注意力层进行特征拼接，得到目标特征流包括：
将所述第一特征流和所述第二特征流分别进行张量积运算，得到第一特征权重和第二特征权重；
根据所述第一特征权重和所述第二特征权重分别对所述第一特征流和第二特征流进行加权融合，得到目标特征流。
由上述描述可知，通过张量积运算确定不同特征流的权重值，从而基于权重值分别对不同的特征流进行加权融合，以实现对调节不同特征流贡献度的作用。
请参照图9，本发明另一实施例提供的基于双流自注意力图卷积网络的牙齿分割终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于双流自注意力图卷积网络的牙齿分割方法中的各个步骤。
从上述描述可知，本发明的有益效果在于：基于单牙三角网格数据获取对应的坐标数据和法向量数据，将坐标数据和法向量数据分别通过自注意力图卷积网络单元和感知池化单元进行特征训练，极大程度上消除了不同特征之间的差异性。相比于现有技术中不同特征流进行无差别训练的方法，本发明能够全面利用不同特征之间的关系，使得不同特征之间能够更好地融合计算，从而提高深度学习模型的特征提取精确度，进而提高牙齿分割的精确性。
本发明实施例提供了一种基于双流自注意力图卷积网络的牙齿分割方法及终端，可应用于牙齿正畸等计算机辅助口腔医学领域，实现对目标牙齿的精确分割，以下通过具体实施例来说明：
请参照图1至图4，本发明的实施例一为：
基于双流自注意力图卷积网络的牙齿分割方法，包括：
S10、获取单牙三角网格数据。
具体地，步骤S10包括：
S101、获取全牙三角网格数据。
需要说明的是，全牙三角网格数据为包含所有上牙或所有下牙的三角网格数据。
S102、通过预设的牙齿切割算法标记全牙三角网格数据中各个牙齿对应的齿心点。
在一些实施例中，通过TSegNet（一种全牙列分割方法）预先训练一个轻量级预测网络，即可得到预设的牙齿切割算法。牙齿的齿心点即是三维模型中单颗牙齿的中心点，通过该牙齿的三角网格数据计算得出。
S103、获取各个牙齿对应的半径数据。
S104、根据齿心点和半径数据构建球型切割面。
需要说明的是，所述球型切割面的球心为齿心点，其半径为需要切割的目标牙齿的半径数据。
在一些实施例中，半径数据为默认半径数据。具体地，通过3DTeethSeg（牙齿的公共数据集）对单牙数据进行统计得到各个牙齿对应的平均半径值，如表1所示，将平均半径值的1.3倍作为默认半径数据，其中FDI为一种牙齿位置的国际标准编码，以此表示不同位置的牙齿；R为平均半径值。
表1 各个牙齿的平均半径值
在一些实施例中，半径数据为调节半径数据。具体地，通过人机智能交互接口获取用户输入的调节半径数据。如图3中（a）所示，当用户鼠标靠近任意牙齿的齿心点时显示默认半径数据下的球型切割面以展示候选ROI区域，当该牙齿存在异常造成默认半径数据下的球型切割面无法包含完整的单牙三角网格数据时，用户通过鼠标滚轮等数据输入方式对球型切割面的半径数据进行微调后，得到单牙三角网格数据如图3中（b）所示。
S105、根据球型切割面对全牙三角网格数据进行切割处理，得到单牙三角网格数据。其中，单牙三角网格数据即包含目标牙齿完整的三角网格数据。
需要说明的是，目前通过深度学习方法进行牙齿分割所采用的分割数据一般是全牙模型，而对全牙模型进行分割存在以下局限性：第一，全牙分割对计算资源的需求较高；第二，全牙模型通常需要进行网格简化操作，而网格简化可能带来拓扑结构的变化，并常伴随分割边界的异常，如图4所示，图4中的（a）为全牙三角网格数据未简化时的分割边界，图4中的（b）为全牙三角网格数据简化后的分割边界，由此可知牙齿的分割边界相当粗糙。因此，网络简化可能对数据标注和分割结果预测带来难以控制的破坏，从而影响牙齿分割效果。而本发明针对单牙的局部数据进行分割，避免采用全牙模型进行计算处理，降低了数据处理量，同时保证数据的完整性，提高牙齿分割的精确性。
S20、根据单牙三角网格数据确定坐标数据和坐标数据对应的法向量数据。其中，单牙三角网格数据包括多个面片单元。
具体地，步骤S20包括：
S201、获取单牙三角网格数据中每个面片单元对应的顶点数据。
需要说明的是，三角网格数据中面片单元的形状为三角形，因此每个面片单元对应的有三个顶点数据。
S202、根据顶点数据确定每个面片单元对应的坐标数据。
S203、根据坐标数据确定每个面片单元对应的法向量数据。
需要说明的是，针对每个面片单元不同特征（坐标数据和法向量数据）的不同特点进行特征训练，从而获取到比一般通用分割方法更具特点的高维特征信息。
在一种可选的实施方式中，步骤S20与步骤S30之间还包括：
S210、将坐标数据和法向量数据通过T-NET模块进行位置转换，得到对齐空间下的坐标数据和法向量数据。
需要说明的是，通过T-NET模块分别与坐标数据和法向量数据进行矩阵相乘即可得到对齐空间下的坐标数据和法向量数据。
S30、将坐标数据和法向量数据输入预设的深度学习模型，深度学习模型包括自注意力图卷积网络单元和感知池化单元。
S40、将坐标数据通过自注意力图卷积网络单元进行特征训练，得到第一特征流。
S50、将法向量数据通过感知池化单元进行特征训练，得到第二特征流。
在一种可选的实施方式中，在步骤S20与步骤S30之间，还包括：
S220、通过K-近邻算法将坐标数据进行相邻位置分类，得到每个面片单元对应的位置编码。
需要说明的是，X为所有面片单元的集合，xi为第i个面片单元，则K-近邻算法是在X中查找到与xi相邻的K个面片单元，则K-近邻算法即输出xi所对应的K个面片单元的位置编码。
其中，步骤S40包括：
S401、将每个面片单元的坐标数据和位置编码通过自注意力图卷积网络单元进行特征训练，得到第一特征流。
其中，步骤S50包括：
S501、将每个面片单元的法向量数据和位置编码通过感知池化单元进行特征训练，得到第二特征流。
S60、根据第一特征流和第二特征流对单牙三角网格数据进行分割，得到目标牙齿。
请参照图5至图6，本发明的实施例二为：
基于双流自注意力图卷积网络的牙齿分割方法，其与实施例一的不同之处在于：限定了步骤S401与步骤S501的具体实现方式。
上述自注意力图卷积网络单元包括第一自注意力层和图注意力层。
具体地，步骤S401包括：
S4011、将每个面片单元的坐标数据和位置编码通过第一自注意力层进行特征提取，得到全局坐标特征；
需要说明的是，自注意力层的操作包括两类，分别为标量注意力和向量注意力。具体地，标量注意力如公式（1）与图5中（a）所示；向量注意力如公式（2）与图5中（b）所示。
（1）
其中，表示新特征，/>表示第i个输入特征向量，/>、/>和/>表示三个不同的特征变换函数，/>表示正规化操作，公式（1）中/>的注意力权重/>是一个标量。
⊙/>（2）
其中，表示关系函数，/>表示位置编码，/>表示映射函数，⊙表示Hadamard积（即逐元素相乘），公式（2）中/>的注意力权重/>是一个向量。
在本实施例中，、/>和/>的特征变换函数均是采用线性投影实现；/>被定义为；M被定义为多层感知机MLP；/>被定义为/>，其中，/>表示一个包含2个线性层和1层ReLU层的多层感知机MLP，/>和/>分别表示第i个点的坐标和第j个点的坐标。
在本实施例中，第一自注意力层为标量注意力操作，如图6所示。
S4012、将全局坐标特征和位置编码通过图注意力层进行图卷积操作，得到局部坐标特征；
S4013、将单牙三角网格数据中所有面片单元对应的局部坐标特征进行特征拼接，得到第一特征流。
在一些实施例中，得到局部坐标特征之后，将局部坐标特征和位置编码重复进行特征提取和图卷积操作，得到二层局部坐标特征和三层局部坐标特征，将局部坐标特征、二层局部坐标特征和三层局部坐标特征进行特征拼接，得到第一特征流。
需要说明的是，本发明的深度学习模型以TSGCN模型为基础，将TSGCN模型中原有的卷积层替换为第一自注意力层并相应添加了第二自注意力层，从而得到预设的深度学习模型。
上述感知池化单元包括多层感知机和最大池化层。
具体地，步骤S501包括：
S5011、将每个面片单元的法向量数据和位置编码通过多层感知机进行特征提取和转换，得到高维法向量特征；
S5012、将高维法向量特征通过最大池化层进行特征采样，得到局部法向量特征；
S5013、将单牙三角网格数据中所有面片单元对应的局部法向量特征进行特征拼接，得到第二特征流。
在一些实施例中，得到局部法向量特征之后，将局部法向量特征和位置编码重复进行特征提取和特征采样，得到二层局部法向量特征和三层局部法向量特征，将局部法向量特征、二层局部法向量特征和三层局部法向量特征进行特征拼接，得到第一特征流。
请参照图7，本发明的实施例三为：
基于双流自注意力图卷积网络的牙齿分割方法，其与实施例二的不同之处在于：限定了步骤S60的具体实现方式。
上述深度学习模型还包括第二自注意力层。
在本实施例中，第二自注意力层为标量注意力操作，如图7所示。
具体地，步骤S60包括：
S601、将第一特征流和第二特征流通过第二自注意力层进行特征拼接，得到目标特征流。
具体地，步骤S601包括：
S6011、将第一特征流和第二特征流输入第二自注意力层分别进行张量积运算，得到第一特征权重和第二特征权重；
具体为：
；
；
其中，WC表示第一特征权重；WN表示第二特征权重；α和β表示不同的特征变换；表示张量积运算；FC表示第一特征流；FN表示第二特征流。
S6012、根据第一特征权重和第二特征权重分别对第一特征流和第二特征流进行加权融合，得到目标特征流。
具体为：
；
其中，cat表示torch.cat（）函数，torch.cat（）函数用于将两个张量（tensor）按指定维度拼接在一起。
在一些实施例中，先通过Softmax函数将第一特征权重和第二特征权重进行归一化操作后，再分别与第一特征流和第二特征流进行加权融合。由此通过第二自注意力层完成归一化过程的同时，实现不同特征流的贡献度调节。
S602、根据目标特征流对单牙三角网格数据进行分割，得到目标牙齿。
需要说明的是，基于目标特征流对单牙三角网格数据中的每个面片单元进行分类预测，即区分为目标牙齿内的面片单元和目标牙齿外的面片单元，从而实现目标牙齿的分割。
本发明分别以总体准确率（Overall accuracy，OA）、平均交并比(meanIntersection of Union，mIoU)和牙齿分割准确率（Teeth Segmentation Accuracy，TSA）作为评价指标，将本发明的深度学习模型、基准TSGCN模型（时空图卷积网络模型）以及Point Transformer模型（点云自注意力网络模型）进行实验数据比对，其中，实验数据对比结果如表2至表4所示，T1至T4表示目标牙齿1至目标牙齿4；牙齿分割效果如图8所示，图8中的（a）为真实标签，图8中的（b）为基准TSGCN模型，图8中的（c）为Point Transformer模型，图8中的（d）为本发明的深度学习模型。
表2 不同模型的总体准确率对比
表3 不同模型的分割交并比对比
表4 不同模型的分割准确率对比
综合表2至表4以及图8的对比结果可知，本发明的深度学习模型以双特征流为基础网络框架，利用自注意力层在特征处理上能够有效捕捉输入特征各个位置之间的关系，同时将自注意力层与图注意力层进行结合，使得全局特征和局部特征实现协同合作，从而提高深度学习模型进行三维单牙网格分割的精度和鲁棒性，进而在各项评价指标以及分割效果上均优于基准TSGCN模型以及Point Transformer模型。
请参照图9，本发明的实施例四为：
基于双流自注意力图卷积网络的牙齿分割终端200，包括存储器201、处理器202及存储在所述存储器201上并在所述处理器202上运行的计算机程序，所述处理器202执行所述计算机程序时实现实施例一至实施例三所述的基于双流自注意力图卷积网络的牙齿分割方法中的各个步骤。
综上所述，本发明提供的基于双流自注意力图卷积网络的牙齿分割方法及终端，通过牙齿切割算法对全牙三角网格数据进行准确切割后，得到局部的单牙三角网格数据，无需对全牙三角网格数据进行网格简化，保证了网格数据的完整性。同时基于单牙三角网格数据获取对应的坐标数据和法向量数据，将坐标数据和法向量数据分别通过自注意力图卷积网络单元和感知池化单元进行特征训练，极大程度上消除了不同特征之间的差异性。相比于现有技术中不同特征流进行无差别训练的方法，本发明能够全面利用不同特征之间的关系，使得不同特征之间能够更好地融合计算。并且在深度学习模型中，采用自注意力层与图注意力层相结合的方式对坐标数据进行特征训练，使得全局特征与局部特征更好地协同合作。最后，针对不同特征流通过自注意力层的方式实现归一化操作，同时计算每个特征流对应的特征权重后以调节每个特征流的贡献度，从而提高深度学习模型的特征提取精确度，进而提高牙齿分割的精确性。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.基于双流自注意力图卷积网络的牙齿分割方法，其特征在于，包括：
获取单牙三角网格数据；
根据所述单牙三角网格数据确定坐标数据和所述坐标数据对应的法向量数据；
将所述坐标数据和所述法向量数据输入预设的深度学习模型，所述深度学习模型包括自注意力图卷积网络单元和感知池化单元；
将所述坐标数据通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流；
将所述法向量数据通过所述感知池化单元进行特征训练，得到第二特征流；
根据所述第一特征流和所述第二特征流对所述单牙三角网格数据进行分割，得到目标牙齿；
获取单牙三角网格数据包括：
获取全牙三角网格数据；
通过预设的牙齿切割算法标记所述全牙三角网格数据中各个牙齿对应的齿心点；
获取所述各个牙齿对应的半径数据；
根据所述齿心点和所述半径数据构建球型切割面；
根据所述球型切割面对所述全牙三角网格数据进行切割处理，得到单牙三角网格数据；
所述单牙三角网格数据包括多个面片单元；
所述根据所述单牙三角网格数据确定坐标数据和所述坐标数据对应的法向量数据包括：
获取所述单牙三角网格数据中每个所述面片单元对应的顶点数据；
根据所述顶点数据确定所述每个面片单元对应的坐标数据；
根据所述坐标数据确定所述每个面片单元对应的法向量数据；
还包括：
通过K-近邻算法将所述坐标数据进行相邻位置分类，得到所述每个面片单元对应的位置编码；
所述将所述坐标数据通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流包括：
将每个面片单元的所述坐标数据和所述位置编码通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流；
所述将所述法向量数据通过所述感知池化单元进行特征训练，得到第二特征流包括：
将每个面片单元的所述法向量数据和所述位置编码通过所述感知池化单元进行特征训练，得到第二特征流；
所述自注意力图卷积网络单元包括第一自注意力层和图注意力层；
所述将每个面片单元的所述坐标数据和所述位置编码通过所述自注意力图卷积网络单元进行特征训练，得到第一特征流包括：
将每个面片单元的所述坐标数据和所述位置编码通过所述第一自注意力层进行特征提取，得到全局坐标特征；
将所述全局坐标特征和所述位置编码通过所述图注意力层进行图卷积操作，得到局部坐标特征；
将所述单牙三角网格数据中所有面片单元对应的所述局部坐标特征进行特征拼接，得到第一特征流。
2.根据权利要求1所述的基于双流自注意力图卷积网络的牙齿分割方法，其特征在于，所述感知池化单元包括多层感知机和最大池化层；
所述将每个面片单元的所述法向量数据和所述位置编码通过所述感知池化单元进行特征训练，得到第二特征流包括：
将每个面片单元的所述法向量数据和所述位置编码通过所述多层感知机进行特征提取和转换，得到高维法向量特征；
将所述高维法向量特征通过所述最大池化层进行特征采样，得到局部法向量特征；
将所述单牙三角网格数据中所有面片单元对应的所述局部法向量特征进行特征拼接，得到第二特征流。
3.根据权利要求1所述的基于双流自注意力图卷积网络的牙齿分割方法，其特征在于，所述深度学习模型还包括第二自注意力层；
所述根据所述第一特征流和所述第二特征流对所述单牙三角网格数据进行分割，得到目标牙齿包括：
将所述第一特征流和所述第二特征流通过所述第二自注意力层进行特征拼接，得到目标特征流；
根据所述目标特征流对所述单牙三角网格数据进行分割，得到目标牙齿。
4.根据权利要求1所述的基于双流自注意力图卷积网络的牙齿分割方法，其特征在于，所述将所述坐标数据和所述法向量数据输入预设的深度学习模型之前，还包括：
将所述坐标数据和所述法向量数据通过T-NET模块进行位置转换，得到对齐空间下的坐标数据和法向量数据。
5.根据权利要求3所述的基于双流自注意力图卷积网络的牙齿分割方法，其特征在于，所述将所述第一特征流和所述第二特征流通过所述第二自注意力层进行特征拼接，得到目标特征流包括：
将所述第一特征流和所述第二特征流输入所述第二自注意力层分别进行张量积运算，得到第一特征权重和第二特征权重；
根据所述第一特征权重和所述第二特征权重分别对所述第一特征流和第二特征流进行加权融合，得到目标特征流。
6.基于双流自注意力图卷积网络的牙齿分割终端，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5任意一项所述基于双流自注意力图卷积网络的牙齿分割方法中的各个步骤。
CN202311798137.1A 2023-12-26 2023-12-26 基于双流自注意力图卷积网络的牙齿分割方法及终端 Active CN117455929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311798137.1A CN117455929B (zh) 2023-12-26 2023-12-26 基于双流自注意力图卷积网络的牙齿分割方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311798137.1A CN117455929B (zh) 2023-12-26 2023-12-26 基于双流自注意力图卷积网络的牙齿分割方法及终端

Publications (2)

Publication Number Publication Date
CN117455929A CN117455929A (zh) 2024-01-26
CN117455929B true CN117455929B (zh) 2024-03-15

Family

ID=89595194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311798137.1A Active CN117455929B (zh) 2023-12-26 2023-12-26 基于双流自注意力图卷积网络的牙齿分割方法及终端

Country Status (1)

Country Link
CN (1) CN117455929B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
WO2020181974A1 (zh) * 2019-03-14 2020-09-17 杭州朝厚信息科技有限公司 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法
CN115526900A (zh) * 2022-10-23 2022-12-27 西安科技大学 一种基于多重几何特征学习的牙颌网格模型分割方法
CN116051839A (zh) * 2023-01-16 2023-05-02 重庆邮电大学 一种基于多支路融合学习的三维牙齿分割方法
CN117036370A (zh) * 2023-06-14 2023-11-10 中国农业大学 一种基于注意力机制和图卷积的植物器官点云分割方法
CN117095145A (zh) * 2023-10-20 2023-11-21 福建理工大学 一种牙齿网格分割模型的训练方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181974A1 (zh) * 2019-03-14 2020-09-17 杭州朝厚信息科技有限公司 基于人工神经网络的去除牙齿三维数字模型的表面气泡的方法
CN110781799A (zh) * 2019-10-22 2020-02-11 上海商汤智能科技有限公司 车舱内图像处理方法及装置
CN115526900A (zh) * 2022-10-23 2022-12-27 西安科技大学 一种基于多重几何特征学习的牙颌网格模型分割方法
CN116051839A (zh) * 2023-01-16 2023-05-02 重庆邮电大学 一种基于多支路融合学习的三维牙齿分割方法
CN117036370A (zh) * 2023-06-14 2023-11-10 中国农业大学 一种基于注意力机制和图卷积的植物器官点云分割方法
CN117095145A (zh) * 2023-10-20 2023-11-21 福建理工大学 一种牙齿网格分割模型的训练方法及终端

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A fully automatic AI system for tooth and alveolar bone segmentation from cone-beam CT images;Zhiming Cui et al.;《Nature Communications》;20220419;全文 *
MeshSNet: Deep Multi-scale Mesh Feature Learning for End-to-End Tooth Labeling on 3D Dental Surfaces;Chunfeng Lian et al.;《MICCAI 2019: Medical Image Computing and Computer Assisted Intervention – MICCAI 2019》;20191010;第837-845页 *
基于深度学习的三维牙齿模型分割方法研究;张凌明;《中国优秀硕士学位论文全文数据库 基础科学辑》;20231015(第10期);第A006-82页 *
张雅玲 ; 于泽宽 ; 何炳蔚 ; .基于GCNN的CBCT模拟口扫点云数据牙齿分割算法.计算机辅助设计与图形学学报.(07),全文. *

Also Published As

Publication number Publication date
CN117455929A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
WO2022001623A1 (zh) 基于人工智能的图像处理方法、装置、设备及存储介质
WO2019018063A1 (en) FINAL GRAIN IMAGE RECOGNITION
WO2021203865A9 (zh) 分子结合位点检测方法、装置、电子设备及存储介质
Chang et al. A novel content based image retrieval system using k-means/knn with feature extraction
WO2020244075A1 (zh) 手语识别方法、装置、计算机设备及存储介质
Carlier et al. The 2d shape structure dataset: A user annotated open access database
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
Zhou et al. Refine-net: Normal refinement neural network for noisy point clouds
CN115345938B (zh) 基于全局到局部的头影标记点定位方法、设备及介质
CN111091010A (zh) 相似度确定、网络训练、查找方法及装置和存储介质
WO2022184124A1 (zh) 生理电信号分类处理方法、装置、计算机设备和存储介质
CN112926696A (zh) 一种基于注意力图的可解释局部迁移互学习方法
CN111709270B (zh) 一种基于深度图像的三维外形恢复和姿态估计方法和装置
CN113436224B (zh) 一种基于显式构图规则建模的智能图像裁剪方法及装置
CN111914595A (zh) 一种基于彩色图像的人手三维姿态估计方法和装置
Zhou et al. GA-Net: Ghost convolution adaptive fusion skin lesion segmentation network
KR102352942B1 (ko) 객체 경계정보의 주석을 입력하는 방법 및 장치
CN114373539A (zh) 中西医临床数据的处理方法、系统、存储介质及终端
CN117455929B (zh) 基于双流自注意力图卷积网络的牙齿分割方法及终端
CN116958958A (zh) 基于图卷积双流形状先验自适应类别级物体姿态估计方法
Li et al. A structural-constraint 3D point clouds segmentation adversarial method
CN115731240A (zh) 一种分割方法、装置、电子设备及存储介质
Ma et al. SW-UNet: a U-Net fusing sliding window transformer block with CNN for segmentation of lung nodules
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN111210870A (zh) 蛋白质分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Shijian

Inventor after: Kang Chaoming

Inventor after: Zou Zheng

Inventor after: Liao Shenghui

Inventor after: Liao Lvchao

Inventor after: Wu Lianjie

Inventor after: Xu Yuhao

Inventor before: Liu Shijian

Inventor before: Zou Zheng

Inventor before: Liao Shenghui

Inventor before: Liao Lvchao

Inventor before: Kang Chaoming

Inventor before: Wu Lianjie

Inventor before: Xu Yuhao