CN114972250A - 一种牙科图像分割方法 - Google Patents

一种牙科图像分割方法 Download PDF

Info

Publication number
CN114972250A
CN114972250A CN202210577163.0A CN202210577163A CN114972250A CN 114972250 A CN114972250 A CN 114972250A CN 202210577163 A CN202210577163 A CN 202210577163A CN 114972250 A CN114972250 A CN 114972250A
Authority
CN
China
Prior art keywords
feature
convolution
network
characteristic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210577163.0A
Other languages
English (en)
Inventor
王都洋
孟一凡
林小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hansf Hangzhou Medical Technology Co ltd
Original Assignee
Hansf Hangzhou Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hansf Hangzhou Medical Technology Co ltd filed Critical Hansf Hangzhou Medical Technology Co ltd
Priority to CN202210577163.0A priority Critical patent/CN114972250A/zh
Publication of CN114972250A publication Critical patent/CN114972250A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种牙科图像分割方法，属于图像处理、机器学习领域，包括以下步骤：S1、构建牙科图像分割的数据集以及数据增强；S2、设计牙科图像分割算法；S3、牙科图像分割算法训练；S4、牙科图像分割算法推理；本发明建立较多的数据且便于收集，能够充分的利用数据构建出有效的牙齿特征模型，从而进一步的提升口腔健康治理的效率，即能够提升行业中的服务质量和水平；且能够有效的解决现有的方法在提取牙齿CT图像过程中仍然存在获取的牙齿分割图像不完整或者缺失部分牙齿的问题，有效的提升了特征的表达能力。

Description

一种牙科图像分割方法
技术领域
本发明涉及图像处理、机器学习领域，具体是一种牙科图像分割方法。
背景技术
随着经济社会的发展，人民生活水平的提高，口腔健康逐渐成为人们所关注的问题，口腔的健康状况也间接反映了一个国家的居民健康与文明的水平；在国内，口腔健康与牙科矫正行业已经逐渐成为最具发展潜力的行业之一，推动口腔健康行业数字化、信息化的发展已经刻不容缓，牙科图像分割方法主要是对CT口腔图像进行处理，分割出口腔内所有牙齿的分布情况，最终结合口腔中牙齿具体的分布情况进行患牙的综合治理。
人工智能与图像识别技术已经在各行各业发挥出强大的生命力，通过计算机视觉的技术来发现口腔健康问题可以有效降低牙医专家的工作强度，提高了口腔健康治理的效率，提升行业中的服务质量和水平；然而口腔图像的数据较少且难以收集，利用少量数据构建有效的牙齿特征模型是有效利用图像识别技术的关键；此外，现有的方法在提取牙齿CT图像过程中仍然存在获取的牙齿分割图像不完整或者缺失部分牙齿的问题，提升特征的表达能力也是亟待解决的问题，为此，我们提出一种牙科图像分割方法。
发明内容
本发明的目的在于提供一种牙科图像分割方法，它能够建立较多的数据且便于收集，能够充分的利用数据构建出有效的牙齿特征模型，从而进一步的提升口腔健康治理的效率，即能够提升行业中的服务质量和水平；且能够有效的解决现有的方法在提取牙齿CT图像过程中仍然存在获取的牙齿分割图像不完整或者缺失部分牙齿的问题，有效的提升了特征的表达能力。
为解决上述问题，本发明采用如下的技术方案：
一种牙科图像分割方法，包括以下步骤：
S1、构建牙科图像分割的数据集以及数据增强：对收集的CT口腔图像数据进行标注，获取每颗牙齿的外形标注信息以及类别信息；
S2、设计牙科图像分割算法：考虑到口腔CT图像具有边界模糊、梯度复杂的特点，分割算法需要获取较多的高分辨率信息；此外，口腔内部结构相对固定，需要分割的牙齿在人体图像中的分布很具有规律，语义简单明确，低分辨率的信息就可以有效的定位，因此整体的算法网络结构上采取经典的U型网络结构设计，其中，算法主要由特征编码网络和特征解码网络组成，
特征编码网络中使用了一种轻量型的特征提取算子模块，且特征编码网络主要是卷积神经网络结合基于transformer的注意力网络构成，使得提取的特征具有强大的特征表达能力的同时具备全局上下文的信息，算子采用一种特征信息堆叠的形式以此简化卷积神经网络在提取信息的过程中产生冗余信息时的计算量；
具体的实现步骤如下：
A、将输入特征f先采用常规卷积提取一次全量的特征f’；
B、全量的特征f’采用深度卷积进行恒等映射操作，获取恒等映射的信息f”；
C、将全量特征分成两部分叠加到恒等映射的特征上f”，这样就相当于仅仅做了一次常规卷积就获取整个特征信息；
D、将C中的输出特征重复一次A、B操作后输出最后的组合特征；
S3、牙科图像分割算法训练：选用Adma优化算法作为训练迭代时的优化器，将数据以9：1的形式分割成训练集和验证集，同时采用交叉验证的方式进行训练，训练时迭代轮次为e，初始学习率设置为l；
S4、牙科图像分割算法推理：将口腔CT图像输入到算法预测接口中，获取算法输出的分割完成的32颗牙齿分割图像。
作为本发明的一种优选方案，S2中解码网络主要是利用空间多尺度感知卷积来增强前层transformer特征的输出信息，再利用特征融合的方式获取前层具备更大感受野的特征以此增强像素分类的效果，最终提升算法获取32颗牙齿分割结果的准确率。
作为本发明的一种优选方案，S2中空间多尺度感知卷积运算具体操作如下：
a、transformer网络输出的特征大小为[patch,D]，D表示transformer网络输出特征的维度大小，patch为
Figure BDA0003662444480000031
先将特征进行尺度变换操作为
Figure BDA0003662444480000032
获取特征x,然后采用一种特征注意力机制获取赋予卷积注意力计算的权重重要性向量R；
b、之后则对一组卷积核大小为k＝[[k1,k1],[k2,k2],[k3,k3]]的卷积核内权重进行调整，不同大小的卷积的权重都加权上对应索引位置上的权重重要性向量中的值，获得新的一组卷积权重参数[[k′1,k′1],[k′2,k′2],[k′3,k′3]]，然后利用新生产的卷积分别对输入特征进行计算，最终对所有卷积提取的特征进行尺度变换后融合输出作为增强的特征；
c、最后将卷积组中不同大小的卷积提取的特征尺度变换到
Figure BDA0003662444480000033
将三者卷积获取的特征融合，以此增强transformer网络在局部特征提取上的信息缺陷。
作为本发明的一种优选方案，将S2中算子嵌入于残差结构的模块之中，其中轻量特征提取算子模块级联使用N个，使得CT口腔图像在网络中进行2倍、4倍、8倍以及16倍的下采样，最终将输出的特征图分割成
Figure BDA0003662444480000034
个特征小块的形式输入到transformer网络后完成特征编码任务。
作为本发明的一种优选方案，S2中特征解码的工作步骤为：transformer网络先将特征编码网络中输出的特征
Figure BDA0003662444480000041
送入空间多尺度感知卷积算子中，增强前层transformer层特征的局部信息表达能力，然后将其特征进行上采样到特征大小
Figure BDA0003662444480000042
与前层特征编码网络中的下采样特征图大小为
Figure BDA0003662444480000043
的特征进行融合，融合后的特征经过一次卷积操作之后继续上采样到特征大小为
Figure BDA0003662444480000044
与前层特征编码网络同大小的特征图融合，重复上面操作，直到特征图恢复到原图大小，最终经过一次全连接操作后，输出[w,h,32]的特征图，其中32表示32颗实例分割的牙齿。
作为本发明的一种优选方案，赋予卷积注意力的权重重要性向量R的计算方式如下：
R＝[r1,..,rd]＝softmax(Conv(Relu(Conv(avg(x))))) (1)
其中d表示权值重要性向量的维度，x表示输入的特征，avg表示均值池化操作，Conv表示1x1的卷积操作，Relu表示激活函数，softmax表示softmax函数。
作为本发明的一种优选方案，空间多尺度感知卷积的权重
Figure BDA0003662444480000046
计算如下：
Figure BDA0003662444480000045
其中ri表示使用权值重要性向量R中第i个权值，wi表示卷积原本的权重。
相比于现有技术，本发明的优点在于：
本方案建立较多的数据且便于收集，能够充分的利用数据构建出有效的牙齿特征模型，从而进一步的提升口腔健康治理的效率，即能够提升行业中的服务质量和水平；且能够有效的解决现有的方法在提取牙齿CT图像过程中仍然存在获取的牙齿分割图像不完整或者缺失部分牙齿的问题，有效的提升了特征的表达能力。
附图说明
图1为本发明的口腔分割算法网络结构图。
图2为本发明的轻量型的特征提取算子模块的工作流程图。
图3为本发明的空间多尺度感知卷积运算的工作流程图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“顶/底端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“套设/接”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例：
请参阅图1-3，一种牙科图像分割方法，包括以下步骤：
S1、构建牙科图像分割的数据集以及数据增强：对收集的CT口腔图像数据进行标注，获取每颗牙齿的外形标注信息以及类别信息；
S2、设计牙科图像分割算法：考虑到口腔CT图像具有边界模糊、梯度复杂的特点，分割算法需要获取较多的高分辨率信息；此外，口腔内部结构相对固定，需要分割的牙齿在人体图像中的分布很具有规律，语义简单明确，低分辨率的信息就可以有效的定位，因此整体的算法网络结构上采取经典的U型网络结构设计，其中，算法主要由特征编码网络和特征解码网络组成，
特征编码网络中使用了一种轻量型的特征提取算子模块，且特征编码网络主要是卷积神经网络结合基于transformer的注意力网络构成，使得提取的特征具有强大的特征表达能力的同时具备全局上下文的信息，算子采用一种特征信息堆叠的形式以此简化卷积神经网络在提取信息的过程中产生冗余信息时的计算量；
具体的实现步骤如下：
A、将输入特征f先采用常规卷积提取一次全量的特征f’；
B、全量的特征f’采用深度卷积进行恒等映射操作，获取恒等映射的信息f”；
C、将全量特征分成两部分叠加到恒等映射的特征上f”，这样就相当于仅仅做了一次常规卷积就获取整个特征信息；
D、将C中的输出特征重复一次A、B操作后输出最后的组合特征；
S3、牙科图像分割算法训练：选用Adma优化算法作为训练迭代时的优化器，将数据以9：1的形式分割成训练集和验证集，同时采用交叉验证的方式进行训练，训练时迭代轮次为e，初始学习率设置为l；
S4、牙科图像分割算法推理：将口腔CT图像输入到算法预测接口中，获取算法输出的分割完成的32颗牙齿分割图像。
具体的，S2中解码网络主要是利用空间多尺度感知卷积来增强前层transformer特征的输出信息，再利用特征融合的方式获取前层具备更大感受野的特征以此增强像素分类的效果，最终提升算法获取32颗牙齿分割结果的准确率。
具体的，S2中空间多尺度感知卷积运算具体操作如下：
a、transformer网络输出的特征大小为[patch,D]，D表示transformer网络输出特征的维度大小，patch为
Figure BDA0003662444480000071
先将特征进行尺度变换操作为
Figure BDA0003662444480000072
获取特征x,然后采用一种特征注意力机制获取赋予卷积注意力计算的权重重要性向量R；
b、之后则对一组卷积核大小为k＝[[k1,k1],[k2,k2],[k3,k3]]的卷积核内权重进行调整，不同大小的卷积的权重都加权上对应索引位置上的权重重要性向量中的值，获得新的一组卷积权重参数[[k′1,k′1],[k′2,k′2],[k′3,k′3]]，然后利用新生产的卷积分别对输入特征进行计算，最终对所有卷积提取的特征进行尺度变换后融合输出作为增强的特征；
c、最后将卷积组中不同大小的卷积提取的特征尺度变换到
Figure BDA0003662444480000073
将三者卷积获取的特征融合，以此增强transformer网络在局部特征提取上的信息缺陷。
具体的，将S2中算子嵌入于残差结构的模块之中，其中轻量特征提取算子模块级联使用N个，使得CT口腔图像在网络中进行2倍、4倍、8倍以及16倍的下采样，最终将输出的特征图分割成
Figure BDA0003662444480000074
个特征小块的形式输入到transformer网络后完成特征编码任务。
具体的，S2中特征解码的工作步骤为：transformer网络先将特征编码网络中输出的特征
Figure BDA0003662444480000075
送入空间多尺度感知卷积算子中，增强前层transformer层特征的局部信息表达能力，然后将其特征进行上采样到特征大小
Figure BDA0003662444480000076
与前层特征编码网络中的下采样特征图大小为
Figure BDA0003662444480000077
的特征进行融合，融合后的特征经过一次卷积操作之后继续上采样到特征大小为
Figure BDA0003662444480000081
与前层特征编码网络同大小的特征图融合，重复上面操作，直到特征图恢复到原图大小，最终经过一次全连接操作后，输出[w,h,32]的特征图，其中32表示32颗实例分割的牙齿。
具体的，赋予卷积注意力的权重重要性向量R的计算方式如下：
R＝[r1,..,rd]＝softmax(Conv(Relu(Conv(avg(x))))) (1)
其中d表示权值重要性向量的维度，x表示输入的特征，avg表示均值池化操作，Conv表示1x1的卷积操作，Relu表示激活函数，softmax表示softmax函数。
具体的，空间多尺度感知卷积的权重
Figure BDA0003662444480000082
计算如下：
Figure BDA0003662444480000083
其中ri表示使用权值重要性向量R中第i个权值，wi表示卷积原本的权重。
工作原理：
S1、构建牙科图像分割的数据集以及数据增强：对收集的CT口腔图像数据进行标注，获取每颗牙齿的外形标注信息以及类别信息；
S2、设计牙科图像分割算法：考虑到口腔CT图像具有边界模糊、梯度复杂的特点，分割算法需要获取较多的高分辨率信息；此外，口腔内部结构相对固定，需要分割的牙齿在人体图像中的分布很具有规律，语义简单明确，低分辨率的信息就可以有效的定位，因此整体的算法网络结构上采取经典的U型网络结构设计；
算法主要由特征编码网络、解码网络组成，特征编码网络主要是卷积神经网络结合基于transformer的注意力网络构成，使得提取的特征具有强大的特征表达能力的同时具备全局上下文的信息，解码网络主要是利用空间多尺度感知卷积来增强前层transformer特征的输出信息，再利用特征融合的方式获取前层具备更大感受野的特征以此增强像素分类的效果，最终提升算法获取32颗牙齿分割结果的准确率；
特征编码：由于卷积神经网络强大的特征提取性能，不可避免的会给网络带来一定冗余的信息，本文在特征编码网络中使用了一种轻量型的特征提取算子模块，算子采用一种特征信息堆叠的形式以此简化卷积神经网络在提取信息的过程中产生冗余信息时的计算量；
具体的实现步骤如下：
A、将输入特征f先采用常规卷积提取一次全量的特征f’；
B、全量的特征f’采用深度卷积进行恒等映射操作，获取恒等映射的信息f”；
C、将全量特征分成两部分叠加到恒等映射的特征上f”，这样就相当于仅仅做了一次常规卷积就获取整个特征信息；
D、将C的输出特征重复一次A、B操作后输出最后的组合特征；
上述轻量算子嵌入于残差结构的模块之中，其中轻量特征提取算子模块级联使用N个，使得CT口腔图像在网络中进行2倍、4倍、8倍以及16倍的下采样，最终将输出的特征图分割成
Figure BDA0003662444480000091
个特征小块的形式输入到transformer网络后完成特征编码任务；
特征解码：transformer网络先将(1)中输出的特征
Figure BDA0003662444480000092
送入空间多尺度感知卷积算子中，增强前层transformer层特征的局部信息表达能力，然后将其特征进行上采样到特征大小
Figure BDA0003662444480000093
与前层特征编码网络中的下采样特征图大小为
Figure BDA0003662444480000101
的特征进行融合，融合后的特征经过一次卷积操作之后继续上采样到特征大小为
Figure BDA0003662444480000102
与前层特征编码网络同大小的特征图融合，重复上面操作，直到特征图恢复到原图大小，最终经过一次全连接操作后，输出[w,h,32]的特征图，其中32表示32颗实例分割的牙齿；
空间多尺度感知卷积运算具体操作如下：
transformer网络输出的特征大小为[patch,D]，D表示transformer网络输出特征的维度大小，patch为
Figure BDA0003662444480000103
先将特征进行尺度变换操作为
Figure BDA0003662444480000104
获取特征x,然后采用一种特征注意力机制获取赋予卷积注意力计算的权重重要性向量R；
其中赋予卷积注意力的权重重要性向量R的计算方式如下：
R＝[r1,..,rd]＝softmax(Conv(Relu(Conv(avg(x))))) (1)
其中d表示权值重要性向量的维度，x表示输入的特征，avg表示均值池化操作，Conv表示1x1的卷积操作，Relu表示激活函数，softmax表示softmax函数；
之后则对一组卷积核大小为k＝[[k1,k1],[k2,k2],[k3,k3]]的卷积核内权重进行调整，不同大小的卷积的权重都加权上对应索引位置上的权重重要性向量中的值，获得新的一组卷积权重参数[[k′1,k′1],[k′2,k′2],[k′3,k′3]]，然后利用新生产的卷积分别对输入特征进行计算，最终对所有卷积提取的特征进行尺度变换后融合输出作为增强的特征；
空间多尺度感知卷积的权重
Figure BDA0003662444480000105
计算如下：
Figure BDA0003662444480000106
其中ri表示使用权值重要性向量R中第i个权值，wi表示该卷积原本的权重；
最后将卷积组中不同大小的卷积提取的特征尺度变换到
Figure BDA0003662444480000111
将三者卷积获取的特征融合，以此增强transformer网络在局部特征提取上的信息缺陷；
S3、牙科图像分割算法训练：选用Adma优化算法作为训练迭代时的优化器，将数据以9:1的形式分割成训练集和验证集，同时采用交叉验证的方式进行训练，训练时迭代轮次为e，初始学习率设置为l；
S4、牙科图像分割算法推理：将口腔CT图像输入到算法预测接口中，获取算法输出的分割完成的32颗牙齿分割图像。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。

Claims (7)

1.一种牙科图像分割方法，其特征在于，包括以下步骤：
S1、构建牙科图像分割的数据集以及数据增强：对收集的CT口腔图像数据进行标注，获取每颗牙齿的外形标注信息以及类别信息；
S2、设计牙科图像分割算法：考虑到口腔CT图像具有边界模糊、梯度复杂的特点，分割算法需要获取较多的高分辨率信息；此外，口腔内部结构相对固定，需要分割的牙齿在人体图像中的分布很具有规律，语义简单明确，低分辨率的信息就可以有效的定位，因此整体的算法网络结构上采取经典的U型网络结构设计，其中，算法主要由特征编码网络和特征解码网络组成，
特征编码网络中使用了一种轻量型的特征提取算子模块，且特征编码网络主要是卷积神经网络结合基于transformer的注意力网络构成，使得提取的特征具有强大的特征表达能力的同时具备全局上下文的信息，算子采用一种特征信息堆叠的形式以此简化卷积神经网络在提取信息的过程中产生冗余信息时的计算量；
具体的实现步骤如下：
A、将输入特征f先采用常规卷积提取一次全量的特征f’；
B、全量的特征f’采用深度卷积进行恒等映射操作，获取恒等映射的信息f”；
C、将全量特征分成两部分叠加到恒等映射的特征上f”，这样就相当于仅仅做了一次常规卷积就获取整个特征信息；
D、将C中的输出特征重复一次A、B操作后输出最后的组合特征；
S3、牙科图像分割算法训练：选用Adma优化算法作为训练迭代时的优化器，将数据以9：1的形式分割成训练集和验证集，同时采用交叉验证的方式进行训练，训练时迭代轮次为e，初始学习率设置为l；
S4、牙科图像分割算法推理：将口腔CT图像输入到算法预测接口中，获取算法输出的分割完成的32颗牙齿分割图像。
2.根据权利要求1所述的一种牙科图像分割方法，其特征在于：S2中解码网络主要是利用空间多尺度感知卷积来增强前层transformer特征的输出信息，再利用特征融合的方式获取前层具备更大感受野的特征以此增强像素分类的效果，最终提升算法获取32颗牙齿分割结果的准确率。
3.根据权利要求1所述的一种牙科图像分割方法，其特征在于：S2中空间多尺度感知卷积运算具体操作如下：
a、transformer网络输出的特征大小为[patch,D]，D表示transformer网络输出特征的维度大小，patch为
Figure FDA0003662444470000021
先将特征进行尺度变换操作为
Figure FDA0003662444470000022
获取特征x,然后采用一种特征注意力机制获取赋予卷积注意力计算的权重重要性向量R；
b、之后则对一组卷积核大小为k＝[[k1,k1],[k2,k2],[k3,k3]]的卷积核内权重进行调整，不同大小的卷积的权重都加权上对应索引位置上的权重重要性向量中的值，获得新的一组卷积权重参数[[k′1,k′1],[k′2,k′2],[k′3,k′3]]，然后利用新生产的卷积分别对输入特征进行计算，最终对所有卷积提取的特征进行尺度变换后融合输出作为增强的特征；
c、最后将卷积组中不同大小的卷积提取的特征尺度变换到
Figure FDA0003662444470000023
将三者卷积获取的特征融合，以此增强transformer网络在局部特征提取上的信息缺陷。
4.根据权利要求1所述的一种牙科图像分割方法，其特征在于：将S2中算子嵌入于残差结构的模块之中，其中轻量特征提取算子模块级联使用N个，使得CT口腔图像在网络中进行2倍、4倍、8倍以及16倍的下采样，最终将输出的特征图分割成
Figure FDA0003662444470000024
个特征小块的形式输入到transformer网络后完成特征编码任务。
5.根据权利要求1所述的一种牙科图像分割方法，其特征在于：S2中特征解码网络的工作步骤为：transformer网络先将特征编码网络中输出的特征
Figure FDA0003662444470000031
送入空间多尺度感知卷积算子中，增强前层transformer层特征的局部信息表达能力，然后将其特征进行上采样到特征大小
Figure FDA0003662444470000032
与前层特征编码网络中的下采样特征图大小为
Figure FDA0003662444470000033
的特征进行融合，融合后的特征经过一次卷积操作之后继续上采样到特征大小为
Figure FDA0003662444470000034
与前层特征编码网络同大小的特征图融合，重复上面操作，直到特征图恢复到原图大小，最终经过一次全连接操作后，输出[w,h,32]的特征图，其中32表示32颗实例分割的牙齿。
6.根据权利要求3所述的一种牙科图像分割方法，其特征在于：赋予卷积注意力的权重重要性向量R的计算方式如下：
R＝[r1,..,rd]＝softmax(Conv(Relu(Conv(avg(x))))) (1)
其中d表示权值重要性向量的维度，x表示输入的特征，avg表示均值池化操作，Conv表示1x1的卷积操作，Relu表示激活函数，softmax表示softmax函数。
7.根据权利要求3所述的一种牙科图像分割方法，其特征在于：空间多尺度感知卷积的权重
Figure FDA0003662444470000035
计算如下：
Figure FDA0003662444470000036
其中ri表示使用权值重要性向量R中第i个权值，wi表示卷积原本的权重。
CN202210577163.0A 2022-05-25 2022-05-25 一种牙科图像分割方法 Pending CN114972250A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210577163.0A CN114972250A (zh) 2022-05-25 2022-05-25 一种牙科图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210577163.0A CN114972250A (zh) 2022-05-25 2022-05-25 一种牙科图像分割方法

Publications (1)

Publication Number Publication Date
CN114972250A true CN114972250A (zh) 2022-08-30

Family

ID=82956034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210577163.0A Pending CN114972250A (zh) 2022-05-25 2022-05-25 一种牙科图像分割方法

Country Status (1)

Country Link
CN (1) CN114972250A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593304A (zh) * 2024-01-19 2024-02-23 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN117593304B (zh) * 2024-01-19 2024-04-26 山东山科数字经济研究院有限公司 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Similar Documents

Publication Publication Date Title
CN111145170B (zh) 一种基于深度学习的医学影像分割方法
CN112418329B (zh) 一种基于多尺度纹理特征融合宫颈oct图像分类方法及系统
KR20210028226A (ko) 딥 러닝을 사용하여 3d 객체의 정규 자세 및 3d 객체의 중첩을 자동 결정
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN114494296A (zh) 一种基于Unet和Transformer相融合的脑部胶质瘤分割方法与系统
CN112884788B (zh) 基于丰富上下文网络的视杯视盘分割方法及成像方法
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN112633416A (zh) 一种融合多尺度超像素的脑ct图像分类方法
CN114596318A (zh) 一种基于Transformer的乳腺癌磁共振成像病灶分割方法
CN114638852A (zh) 基于cbct图像颌骨、软组织识别与重建的方法、装置及介质
CN114972250A (zh) 一种牙科图像分割方法
CN115294075A (zh) 一种基于注意力机制的octa图像视网膜血管分割方法
CN113456031A (zh) 一种脑状态预测模型的训练装置、预测装置及电子设备
CN116797609A (zh) 全局-局部特征关联融合的肺部ct图像分割方法
CN114066772A (zh) 一种基于transformer编码器的牙体点云补全方法及系统
CN111223113B (zh) 基于双重密集上下文感知网络的核磁共振海马体分割算法
CN116309431B (zh) 一种基于医学影像的视觉解释方法
CN114119558B (zh) 一种自动生成鼻咽癌影像诊断结构化报告方法
CN114863104A (zh) 一种基于标签分布学习的图像分割方法
CN115239740A (zh) 基于GT-UNet的全心分割算法
CN114581459A (zh) 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination