CN114445420B - 编解码结构结合注意力机制的图像分割模型及其训练方法 - Google Patents

编解码结构结合注意力机制的图像分割模型及其训练方法 Download PDF

Info

Publication number
CN114445420B
CN114445420B CN202111657224.6A CN202111657224A CN114445420B CN 114445420 B CN114445420 B CN 114445420B CN 202111657224 A CN202111657224 A CN 202111657224A CN 114445420 B CN114445420 B CN 114445420B
Authority
CN
China
Prior art keywords
decoding
coding
layer
output
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111657224.6A
Other languages
English (en)
Other versions
CN114445420A (zh
Inventor
陈祖国
黄贺俊
陈超洋
卢明
吴亮红
张徐卓
唐志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Science and Technology
Original Assignee
Hunan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Science and Technology filed Critical Hunan University of Science and Technology
Priority to CN202111657224.6A priority Critical patent/CN114445420B/zh
Publication of CN114445420A publication Critical patent/CN114445420A/zh
Application granted granted Critical
Publication of CN114445420B publication Critical patent/CN114445420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种编解码结构结合注意力机制的图像分割模型，包括编码模块、解码模块、编解码连接模块、像素分类层；编码模块包括多个串接的编码单元，解码模块包括多个与编码单元一一对应的解码单元，编解码连接模块用于连接编码模块与解码模块，像素分类层用于为每个像素独立的产生类别概率，得到图像分割结果。本发明的图像分割模型结合SegNet在局部环境信息进行建模的优势和Transformer在学习全局语义关联上的优势，通过加强全局语义关联以改善SegNet在数据集较小时易过拟合的局限性，同时提升了网络分割性能。

Description

编解码结构结合注意力机制的图像分割模型及其训练方法
技术领域
本发明涉及视觉图像处理领域，特别涉及一种编解码结构结合注意力机制的图像分割模型及其训练方法。
背景技术
图像分割是图像识别和计算机视觉的重要组成部分，在各领域中具有广阔的应用场景。在计算机视觉领域，图像分割技术经过长时间的发展可以归纳为两大类：一是基于人工提取特征的传统图像分割方法，二是基于深度学习提取特征的图像分割方法。
基于人工提取特征的图像分割方法如基于阈值的图像分割方法、基于边缘检测的图像分割方法、基于区域的图像分割方法等，但传统算法仅针对特定图像形式且大多存在人为偏差。
深度学习可以从多层网络结构中学习目标特征，其中，卷积神经网络(convolutional neural network，CNN)在各种图像处理问题上都有不错的表现。基于CNN基础上的全卷积网络(fully convolutional network，FCN)及在FCN基础上演变出的其他变体网络(如SegNet和U-Net网络)在图像分割任务中都能获得了更好的效果。SegNet在分割精度和训练效率上优于U-Net，但需要较多的训练数据，否则容易出现过拟合导致测试结果不理想。因而在数据量较小的生物医学图像分割领域常使用U-Net网络。
Transformer是由Vaswani等人提出的，用于机器翻译，此后成为许多自然语言处理(natural language processing，NLP)任务中最先进的方法。近期，Transformer用于视觉图像处理且取得了出色的结果。相关工作证明，当对大量数据进行预训练并迁移到多个中型或小型图像识别基准(ImageNet、CIFAR-100、VTAB等)时，与先进的卷积网络相比，Transformer获得了出色的结果，同时需要大量的计算资源来训练。
现有的SegNet网络可以充分利用图像的局部信息，具有较高的分割精度和训练效率，在多类分割任务中应用广泛，但通常需要较大的训练数据，否则容易过拟合。SegNet是基于卷积层构建的。如图1所示，SegNet网络结构是具有对称结构的编解码网络。编解码模块各有5个紧密块，13个卷积层。每个卷积层均为3×3卷积层，卷积后进行批归一化，激活层使用整流线性单元(ReLU)作为激活函数。编码紧密块之间由最大池化块连接，最大池化块的池化大小为2×2，步长为2，最大池化块保留池化索引传递给上采样块。每进行一次最大池化，特征图分辨率减小一倍，卷积层的深度增加一倍。解码紧密块之间由上采样块连接，上采样块的采样大小为2×2，步长为2，上采样操作以最大池化块传递的池化索引进行。每进行一次上采样，特征图分辨率增加一倍，卷积层深度减小一倍。解码模块还原特征图为输入图像大小，经过像素分类层，生成最终分割结果。
Transformer在图像处理的应用主要使用的是Transformer的编码部分。如图2所示，输入图像被切分并展平为若干个图像块，经输入嵌入操作后由3通道图像变为1通道图像，每个图像块按元素加入位置向量后，再给输入图像拼接一个与图像块相同大小的学习嵌入向量，经过若干层Transformer编码层后，图像尺寸不变，后经分类头输出。Transformer层由多头自注意力层和前馈神经网络层构成，在每个层前应用层归一化，每个层后应用残差连接。多头自注意力层用于将模型分为多个头，形成多个子空间，可以让模型去关注不同方面的信息；前馈神经网络层包含两个全连接层，第一个全连接层将特征维度变为4倍，第二个全连接层将特征维度恢复，前馈神经网络层所包含的非线性激活函数均采用高斯误差线性单元(Gaussian Error Linear Unit,GeLU)，整个前馈神经网络层相当于一个多层感知机。
发明内容
为了解决上述技术问题，本发明提供一种能够改善SegNet在数据集较小时易过拟合的局限性的编解码结构结合注意力机制的图像分割模型，并提供其训练方法。
本发明解决上述问题的技术方案是：一种编解码结构结合注意力机制的图像分割模型，所述图像分割模型采用编解码结构，包括编码模块、解码模块、编解码连接模块、像素分类层；
所述编码模块包括若干个串联的编码单元，除最后一个编码单元外每个编码单元包括依次连接的编码紧密块和最大池化块，最后一个编码单元仅有编码紧密块，每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的编码稠密输出；所述编码稠密输出经过最大池化块进行最大池化后得到当前编码单元的输出，并将其作为下一编码单元的输入；所述最大池化块进行最大池化时保留池化索引；
所述解码模块包括多个与所述编码单元一一对应的解码单元，除第一个解码单元外每个解码单元包括上采样块和解码紧密块第一个解码单元仅有解码紧密块，每个解码紧密块对当前解码单元的输入进行特征提取，得到对应的解码稠密输出；所述解码稠密输出经过上采样块进行上采样得到当前解码单元的输出，并将其作为下一解码单元的输入；每个所述上采样块以对应编码单元的池化索引进行上采样，上采样过程中，将池化索引处的值直接填回原处，其余地方补0；第一解码单元的输入为所述编解码连接模块的输出；其余解码单元的输入为上一解码单元的输出经过所述上采样块的上采样后得到；
所述编解码连接模块的输入端连接所述编码模块，输出端连接所述解码模块，对最后一个编码单元的输出进行特征提取后，得到编解码连接模块的输出，并将其输入至第一个解码单元；
所述像素分类层连接解码模块的输出端，像素分类层的输入为所述解码模块的输出，所述像素分类层为每个像素独立的产生类别概率，得到图像分割结果。
上述编解码结构结合注意力机制的图像分割模型，所述编码紧密块与解码紧密块的结构相同，均采用紧密块；所述紧密块包括若干个卷积层；卷积层用于对紧密块的输入进行逐层提取；每个卷积层的输入为前一卷积层的输出；
所述卷积层，包含卷积操作、归一化和激活函数；
所述卷积操作，用于对卷积层的输入进行特征提取；
所述归一化，用于对所述卷积层输出的分布归一化；
所述激活函数，用于在所述卷积层中来为网络引入非线性变化。
上述编解码结构结合注意力机制的图像分割模型，所述编解码连接模块包括依次连接的线性投影块、位置编码块、若干个Transformer层和特征映射块；
线性投影模块用于将编码模块的输出进行投影；
所述位置编码块用于对Transformer层的输入进行位置编码；
所述Transformer层的输入为所述编码模块的输出经过线性投影模块投影后与所述位置编码块的位置信息相加后得到；
所述特征映射块用于对Transformer层的输出进行特征映射以恢复投影前的结构；
所述Transformer层的输出经过所述特征映射块特征映射后作为编解码连接模块的输出。
上述编解码结构结合注意力机制的图像分割模型，所述Transformer层包括依次连接的多头自注意力层和前馈神经网络层，每个多头自注意力层前应用层归一化，每个多头自注意力层后应用残差连接，每个前馈神经网络层前应用层归一化，每个前馈神经网络层后应用残差连接；
所述多头自注意力层，用于将模型分为多个头，形成多个子空间；
所述前馈神经网络层包含两个全连接层，第一个全连接层将特征维度变为4倍，第二个全连接层将特征维度恢复，前馈神经网络层所包含的非线性激活函数均采用高斯误差线性单元，整个前馈神经网络层相当于一个多层感知机。
一种编解码结构结合注意力机制的图像分割模型的训练方法，包括：
(1)将图像样本数据集按照预设的比例划分为训练集、验证集和测试集；
(2)对图像分割模型权重进行初始化，利用训练集对初始化后的图像分割模型进行迭代训练，不断更新模型的权重，得到最新权重的图像分割模型；
(3)利用验证集对最新权重的图像分割模型进行验证，继续更新图像分割模型的权重，对已训练的权重进行调整，直至模型收敛，将此时的图像分割模型参数作为最终的模型参数用于图像分割。
上述编解码结构结合注意力机制的图像分割模型的训练方法，所述步骤(2)中，采用归一化加随机初始化方法来初始化图像分割模型的权重。
上述编解码结构结合注意力机制的图像分割模型的训练方法，所述步骤(2)中，训练方法的损失函数Ldice表示为：
其中，N为图像像素点的个数，gi为第i个正确分割图像的像素值，ti为第i个训练出的图像的像素值。
上述编解码结构结合注意力机制的图像分割模型的训练方法，所述步骤(2)中，权重更新规律表示为：
其中，表示现在第k层的权重，表示上一次训练时第k层的权重，η表示学习率，表示损失函数对第k层权重求偏导。
本发明的有益效果在于：本发明的图像分割模型结合SegNet在局部环境信息进行建模的优势和Transformer在学习全局语义关联上的优势，通过加强全局语义关联以改善SegNet在数据集较小时易过拟合的局限性，同时提升了网络分割性能。
附图说明
图1为现有SegNet网络模型的整体结构示意图。
图2为现有Transformer模型的编码部分结构示意图。
图3为本发明的图像分割模型的整体结构示意图。
图4为BraTS2019的原始图像和分割结果。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
如图3所示，本申请提供了一种编解码结构结合注意力机制的图像分割模型，采用编解码结构，包括编码模块、解码模块、编解码连接模块、像素分类层；
在本实施例中，编码模块包括5个串联的编码单元，除最后一个编码单元外每个编码单元包括依次连接的编码紧密块和最大池化块，最后一个编码单元仅有编码紧密块；每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的编码稠密输出；编码稠密输出经过最大池化块进行最大池化后得到当前编码单元的输出，并将其作为下一编码单元的输入；最大池化块进行最大池化时会保留池化索引；4个最大池化块池化大小均为2×2，步长为2。
解码模块包括5个与编码单元一一对应的解码单元，本申请中第i个编码单元与第N+1-i解码单元一一对应，其中，N表示编码单元(解码单元)各自的数量。本实施例中，编码单元与解码单元的数量均为5个，其中，第一解码单元与第五编码单元对应；第二解码单元与第四编码单元对应；第三解码单元与第三编码单元对应；第四解码单元与第二编码单元对应；第五解码单元与第一编码单元对应。
除第一个解码单元外每个解码单元包括上采样块和解码紧密块，第一个解码单元仅有解码紧密块，每个解码紧密块对当前解码单元的输入进行特征提取，得到对应的解码稠密输出；解码稠密输出经过上采样块进行上采样得到当前解码单元的输出，并将其作为下一解码单元的输入；每个上采样块以对应编码单元的池化索引进行上采样，上采样过程中，将池化索引处的值直接填回原处，其余地方补0；第一解码单元的输入为编解码连接模块的输出；其余解码单元的输入为上一解码单元的输出经过上采样块的上采样后得到；4个上采样块中，第五解码单元的上采样块采样大小为1×1，步长为1，其余上采样块采样大小为2，步长为2。
在本实施例中，编码紧密块、解码紧密块的结构相同，均采用紧密块，紧密块包含若干个卷积层。
卷积层均采用卷积核相同的标准卷积层，用于对紧密块的输入进行逐层提取；每个卷积层的输入为前一卷积层的输出。本实施例中将标准卷积层的卷积核的大小设为3×3。本实施例中，第一、第二编码单元的编码紧密块中卷积层数量为2，第三、第四编码单元的编码紧密块中卷积层数量为3，第五编码单元的编码紧密块中卷积层数量为4；本实施例中，第一、第二、第三解码单元的解码紧密块中卷积层数量为3，第四、第五解码单元的解码紧密块中卷积层数量为2，将网络性能调整至优选状态。
本实施例中，紧密块中所有卷积层的激活函数都是整流的线性单元(ReLu)激活函数。
编解码连接模块连接第五编码单元与第一解码单元，对第五编码单元的输出进行特征提取后，得到编解码连接模块的输出，并将其输入至第一解码单元；
所述编解码连接模块包括依次连接的线性投影块、位置编码块、4个Transformer层和特征映射块；
线性投影模块用于将编码模块的输出进行投影；
所述位置编码块用于对Transformer层的输入进行位置编码；
所述Transformer层的输入为所述编码模块的输出经过线性投影模块投影后与所述位置编码块的位置信息相加后得到；本实施例中，Transformer层序列长度为4096，嵌入维度为512。
所述特征映射块用于对Transformer层的输出进行特征映射以恢复投影前的结构；
所述Transformer层的输出经过所述特征映射块特征映射后作为编解码连接模块的输出。
所述Transformer层包括依次连接的多头自注意力层和前馈神经网络层，每个多头自注意力层前应用层归一化，每个多头自注意力层后应用残差连接，每个前馈神经网络层前应用层归一化，每个前馈神经网络层后应用残差连接；
所述多头自注意力层，用于将模型分为多个头，形成多个子空间；
所述前馈神经网络层包含两个全连接层，第一个全连接层将特征维度变为4倍，第二个全连接层将特征维度恢复，中间的非线性激活函数均采用高斯误差线性单元，整个前馈神经网络层相当于一个多层感知机。
本实施例中，编解码连接层使用了四个Transformer层，序列长度为4096，嵌入维度为512。
本发明还公开了一种用于上述图像分割模型的训练方法，包括：
(1)将图像样本数据集按照预设的比例划分训练集、验证集和测试集。具体地，将图像样本数据集进行四等分，随机选取一份作为测试集，用于后续对图像分割模型进行测试；将剩余的数据集以3:1的比例划分为训练集和验证集。
(2)采用归一化加随机初始化方法对图像分割模型权重进行初始化，利用训练集对初始化后的图像分割模型进行迭代训练，不断更新模型的权重，得到最新权重的图像分割模型。
训练方法的损失函数Ldice表示为：
其中，N为图像像素点的个数，gi为第i个正确分割图像的像素值，ti为第i个训练出的图像的像素值。
权重更新规律表示为：
其中，表示现在第k层的权重，表示上一次训练时第k层的权重，η表示学习率，表示损失函数对第k层权重求偏导。
(3)利用验证集对最新权重的图像分割模型进行验证，继续更新图像分割模型的权重，对已训练的权重进行调整，直至模型收敛，将此时的图像分割模型参数作为最终的模型参数用于图像分割。
实验验证：
为验证本发明图像分割模型的有效性，本发明采用医学图像数据集进行图像分割实验，并对比本发明的图像分割模型(Seg-Transformer)与现有其他图像分割模型(3D U-Net、V-Net、TransBTS)在同一指标下的分割结果来说明本发明的有效性。在数据集方面，与非医学图像数据集相比，医学图像数据集的获取面临着诸多挑战，如昂贵的图像采集设备、复杂的图像获取方法、耗时的专家注释和隐私问题等。这些都增加了医学影像数据集开发的难度。
实验中使用的三维MRI数据集是由2019年脑肿瘤分割(BraTS)挑战赛提供的。它包含335例患者用于训练，125例用于验证。每个样本由四种模式的脑MRI扫描组成，即原始T1-加权(T1)、对比后T1加权(T1ce)、T2加权(T2)和流体衰减反转恢复(FLAIR)。每种模式的体积为240×240×155的体积，已被调整到同一空间。标签包含4个类别。背景(标签0)，坏死和非增强的肿瘤(标签1)，水肿(标签2)和增强的肿瘤(标签4)。分割的准确性用骰子评分(Dice score，Dice)和豪斯多夫距离(95％)(Hausdorff_95，HD)指标来衡量增强的肿瘤区域(ET，标签1)、肿瘤核心区域(TC，标签1和4)，以及整个肿瘤区域(WT，标签1、2和4)。Dice和HD的表达式如下：
其中，TP为真实值是正确的预测时分为正类的像素个数；FP为真实值是错误的预测时分为正类的像素个数；FN为真实值是错误的像素预测时分为负类的像素个数，X表示预测区域，Y表示真实区域。
图4中(a)(b)分别表示原始图像和Seg-Transformer模型对BraTS2019数据集的分割结果，可以看到Seg-Transformer模型的分割结果在分割内部和分割边缘均表现良好。
3D U-Net、V-Net、TransBTS和Seg-Transformer网络训练BraTS2019数据集所得的性能指标如表1所示。从表1可以看出，对于骰子评分指标而言，Seg-Transformer在增强的肿瘤区域(ET)、肿瘤核心区域(TC)，以及整个肿瘤区域(WT)的表现均优于其他三种网络。对于豪斯多夫距离而言，Seg-Transformer在增强的肿瘤区域(ET)、肿瘤核心区域(TC)，以及整个肿瘤区域(WT)的相较于其他三种网络均有明显的减小，这表明Seg-Transformer网络在分割边缘上的表现明显优于其他三种网络。综上所述，本文提出的Seg-Transformer在两个评价指标上都达到了最好的效果。
表1

Claims (6)

1.一种编解码结构结合注意力机制的图像分割模型，其特征在于，所述图像分割模型采用编解码结构，包括编码模块、解码模块、编解码连接模块、像素分类层；
所述编码模块包括若干个串联的编码单元，除最后一个编码单元外每个编码单元包括依次连接的编码紧密块和最大池化块，最后一个编码单元仅有编码紧密块，每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的编码稠密输出；所述编码稠密输出经过最大池化块进行最大池化后得到当前编码单元的输出，并将其作为下一编码单元的输入；所述最大池化块进行最大池化时保留池化索引；
所述解码模块包括多个与所述编码单元一一对应的解码单元，除第一个解码单元外每个解码单元包括上采样块和解码紧密块，第一个解码单元仅有解码紧密块，每个解码紧密块对当前解码单元的输入进行特征提取，得到对应的解码稠密输出；所述解码稠密输出经过上采样块进行上采样得到当前解码单元的输出，并将其作为下一解码单元的输入；每个所述上采样块以对应编码单元的池化索引进行上采样，上采样过程中，将池化索引处的值直接填回原处，其余地方补0；第一解码单元的输入为所述编解码连接模块的输出；其余解码单元的输入为上一解码单元的输出经过所述上采样块的上采样后得到；
所述编解码连接模块的输入端连接所述编码模块，输出端连接所述解码模块，对最后一个编码单元的输出进行特征提取后，得到编解码连接模块的输出，并将其输入至第一个解码单元；
所述像素分类层连接解码模块的输出端，像素分类层的输入为所述解码模块的输出，所述像素分类层为每个像素独立的产生类别概率，得到图像分割结果；
所述编解码连接模块包括依次连接的线性投影块、位置编码块、若干个Transformer层和特征映射块；
线性投影模块用于将编码模块的输出进行投影；
所述位置编码块用于对Transformer层的输入进行位置编码；
所述Transformer层的输入为所述编码模块的输出经过线性投影模块投影后与所述位置编码块的位置信息相加后得到；
所述特征映射块用于对Transformer层的输出进行特征映射以恢复投影前的结构；
所述Transformer层的输出经过所述特征映射块特征映射后作为编解码连接模块的输出；
所述Transformer层包括依次连接的多头自注意力层和前馈神经网络层，每个多头自注意力层前应用层归一化，每个多头自注意力层后应用残差连接，每个前馈神经网络层前应用层归一化，每个前馈神经网络层后应用残差连接；
所述多头自注意力层，用于将模型分为多个头，形成多个子空间；
所述前馈神经网络层包含两个全连接层，第一个全连接层将特征维度变为4倍，第二个全连接层将特征维度恢复，前馈神经网络层所包含的非线性激活函数均采用高斯误差线性单元，整个前馈神经网络层相当于一个多层感知机。
2.根据权利要求1所述的编解码结构结合注意力机制的图像分割模型，其特征在于，所述编码紧密块与解码紧密块的结构相同，均采用紧密块；所述紧密块包括若干个卷积层；卷积层用于对紧密块的输入进行逐层提取；每个卷积层的输入为前一卷积层的输出；
所述卷积层，包含卷积操作、归一化和激活函数；
所述卷积操作，用于对卷积层的输入进行特征提取；
所述归一化，用于对所述卷积层输出的分布归一化；
所述激活函数，用于在所述卷积层中来为网络引入非线性变化。
3.一种用于权利要求1-2中任一项所述的编解码结构结合注意力机制的图像分割模型的训练方法，其特征在于，包括：
(1)将图像样本数据集按照预设的比例划分为训练集、验证集和测试集；
(2)对图像分割模型权重进行初始化，利用训练集对初始化后的图像分割模型进行迭代训练，不断更新模型的权重，得到最新权重的图像分割模型；
(3)利用验证集对最新权重的图像分割模型进行验证，继续更新图像分割模型的权重，对已训练的权重进行调整，直至模型收敛，将此时的图像分割模型参数作为最终的模型参数用于图像分割。
4.根据权利要求3所述的编解码结构结合注意力机制的图像分割模型的训练方法，其特征在于，所述步骤(2)中，采用归一化加随机初始化方法来初始化图像分割模型的权重。
5.根据权利要求3所述的编解码结构结合注意力机制的图像分割模型的训练方法，其特征在于，所述步骤(2)中，训练方法的损失函数Ldice表示为：
其中，N为图像像素点的个数，gi为第i个正确分割图像的像素值，ti为第i个训练出的图像的像素值。
6.根据权利要求5所述的编解码结构结合注意力机制的图像分割模型的训练方法，其特征在于，所述步骤(2)中，权重更新规律表示为：
其中，表示现在第k层的权重，表示上一次训练时第k层的权重，η表示学习率，表示损失函数对第k层权重求偏导。
CN202111657224.6A 2021-12-31 2021-12-31 编解码结构结合注意力机制的图像分割模型及其训练方法 Active CN114445420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111657224.6A CN114445420B (zh) 2021-12-31 2021-12-31 编解码结构结合注意力机制的图像分割模型及其训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111657224.6A CN114445420B (zh) 2021-12-31 2021-12-31 编解码结构结合注意力机制的图像分割模型及其训练方法

Publications (2)

Publication Number Publication Date
CN114445420A CN114445420A (zh) 2022-05-06
CN114445420B true CN114445420B (zh) 2024-07-26

Family

ID=81366017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111657224.6A Active CN114445420B (zh) 2021-12-31 2021-12-31 编解码结构结合注意力机制的图像分割模型及其训练方法

Country Status (1)

Country Link
CN (1) CN114445420B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
CN115082490B (zh) * 2022-08-23 2022-11-15 腾讯科技（深圳）有限公司 异常预测方法、异常预测模型的训练方法、装置及设备
CN116091842B (zh) * 2023-02-23 2023-10-27 中国人民解放军军事科学院系统工程研究院 一种Vision Transformer模型结构优化系统、方法、介质
CN116523914B (zh) * 2023-07-03 2023-09-19 智慧眼科技股份有限公司 一种动脉瘤分类识别装置、方法、设备、存储介质
CN117392168B (zh) * 2023-08-21 2024-06-04 浙江大学 一种利用单光子钙成像视频数据进行神经解码的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111860528A (zh) * 2020-06-16 2020-10-30 南京邮电大学 基于改进U-Net网络的图像分割模型及训练方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11030782B2 (en) * 2019-11-09 2021-06-08 Adobe Inc. Accurately generating virtual try-on images utilizing a unified neural network framework
US11270447B2 (en) * 2020-02-10 2022-03-08 Hong Kong Applied Science And Technology Institute Company Limited Method for image segmentation using CNN

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111489357A (zh) * 2019-01-29 2020-08-04 广州市百果园信息技术有限公司 一种图像分割方法、装置、设备及存储介质
CN111860528A (zh) * 2020-06-16 2020-10-30 南京邮电大学 基于改进U-Net网络的图像分割模型及训练方法

Also Published As

Publication number Publication date
CN114445420A (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
CN114445420B (zh) 编解码结构结合注意力机制的图像分割模型及其训练方法
CN113077471A (zh) 一种基于u型网络的医学图像分割方法
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
CN115018727B (zh) 一种多尺度图像修复方法、存储介质及终端
CN115132313A (zh) 基于注意力机制的医学影像报告自动生成方法
CN111210382B (zh) 图像处理方法、装置、计算机设备和存储介质
CN117529755A (zh) 图像识别系统中的迁移学习
CN115375604A (zh) 一种基于量子化自编码器的无监督缺陷检测方法
CN117974693B (zh) 图像分割方法、装置、计算机设备和存储介质
CN116189265A (zh) 基于轻量化语义Transformer模型的素描人脸识别方法、装置及设备
CN113781324A (zh) 一种老照片修复方法
CN116823850A (zh) 基于U-Net和Transformer融合改进的心脏MRI分割方法及系统
CN113592008A (zh) 一种基于自编码器的图神经网络机制解决小样本图像分类的系统、方法、设备及存储介质
CN113361656A (zh) 一种特征模型的生成方法、系统、设备及存储介质
CN117095168A (zh) 一种基于改进SwinTransformer的遥感图像分割方法及系统
CN116934593A (zh) 基于语义推理和交叉卷积的图像超分辨率方法及系统
CN116137043A (zh) 一种基于卷积和Transformer的红外图像彩色化方法
Wang et al. Lgvit: Local-global vision transformer for breast cancer histopathological image classification
CN117036368A (zh) 图像数据处理方法、装置、计算机设备和存储介质
CN114565625A (zh) 一种基于全局特征的矿物图像分割方法及装置
CN118552738B (zh) 基于多关系基特征协同和投影融合的多模态语义分割方法
CN113762393B (zh) 模型训练方法、注视点检测方法、介质、装置和计算设备
Yan et al. Iris-LAHNet: a lightweight attention-guided high-resolution network for iris segmentation and localization
Zhu et al. An object detection method based on YOLOv3 on infrared images
CN116794626A (zh) 基于移动窗口和注意力模型的雷达目标识别方法、装置和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant