CN115375711A - 基于多尺度融合的全局上下文关注网络的图像分割方法 - Google Patents
基于多尺度融合的全局上下文关注网络的图像分割方法 Download PDFInfo
- Publication number
- CN115375711A CN115375711A CN202211135634.9A CN202211135634A CN115375711A CN 115375711 A CN115375711 A CN 115375711A CN 202211135634 A CN202211135634 A CN 202211135634A CN 115375711 A CN115375711 A CN 115375711A
- Authority
- CN
- China
- Prior art keywords
- global context
- network
- image segmentation
- training
- scale fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000004927 fusion Effects 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 20
- 238000012795 verification Methods 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 16
- 230000008602 contraction Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 230000006872 improvement Effects 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提出基于多尺度融合的全局上下文关注网络的图像分割方法,包括数据预处理及分类、构建全局上下文关注网络模型、全局上下文关注网络模型训练及图像分割四个步骤，通过对待分割的医学图像进行预处理，并将其划分为不同的数据集，再构建基于多尺度融合的全局上下文关注网络，并将数据集输入全局上下文关注网络进行训练，再利用训练好的网络模型进行图像分割，得到分割后的图像，本发明通过将同一层不同尺度特征进行融合，将更多的空间信息保留下来，提高分割精度，利用全局上下文建模，有效地捕获全局信息，同时将通道注意力机制置于跳跃连接处，融合不同的特征并且有效地提高模型的表征能力，来满足任务中对处理速度和分割精度较高的要求。
Description
技术领域
本发明涉及医学图像分割技术领域，尤其涉及基于多尺度融合的全局上下文关注网络的图像分割方法。
背景技术
医学图像分割的目标是从给定的医学图像中分割出目标所在区域，帮助外科医生在临床上对疾病的诊断和后续治疗做出帮助。因此，医学图像分割成为计算机视觉领域的一个重要应用。由于医学图像的特殊属性，如对比度低使得组织边界模糊不清，机器造成伪影，各组织相似度高，分割的目标形态上差异较大等问题，导致医学图像分割存在一些难点，实现高精度和鲁棒性的分割结果仍然是一项挑战；
近些年来，深度学习逐渐成为计算机视觉各个领域的主流算法，尤其在医学图像分割领域中。目前针对医学图像准确分割的研究主要集中于：集成注意力机制，加入密集连接或者融合残差思想的卷积神经网络。相比于传统的方法，由于卷积神经网络具有很强的表征能力，在各个领域发展迅速。而编码器-解码器网络结构在医学图像领域取得了卓越的表现。随着注意力机制的提出，集成注意力机制的编码器-解码器网络逐渐被应用于医学图像分割，这种网络能够关注到重要的空间和通道信息，抑制不必要的噪声和背景信息，使得分割结果更加准确。此外，密集连接集成不同层的信息，更有利于提取浅层的空间信息和深层的语义信息。而引入残差思想使网络映射对输出的变化更敏感，很好地解决了深度神经网络的退化问题。但多层的卷积操作使得空间细节信息丢失，简单的跳跃连接不能满足恢复丢失的信息，而且卷积神经网络采用的卷积操作是局部的，通常忽略了全局上下文信息，而全局上下文信息能够有效提高分割精度。
为解决上述基于深度学习的医学图像分割算法不能有效捕获全局信息的问题，提出了基于Transformer和卷积相结合的方法。相关研究人员首次将传统的卷积神经网络与Transformer相结合，应用于医学图像分割。一部分研究者将Transformer作为编码器用来提取全局上下文信息，而卷积操作通过恢复局部信息来增强细节。而另外一部分研究者将Transformer和卷积分别作为提取全局和局部信息的两个编码器，再将提取的特征相结合，作为解码器的输入。
这些方法解决了卷积的局限性问题，但仍有一些不足，例如其没有考虑到信息在上采样和下采样的过程中逐渐丢失，简单的跳跃连接已经不能满足分割要求；其二，Transformer用于视觉任务，需要大量数据进行训练，而提出的模块中的自注意力模块是二次复杂度，这使得训练难度大大增加，因此本发明提出基于多尺度融合的全局上下文关注网络的图像分割方法以解决现有技术中存在的问题。
发明内容
针对上述问题，本发明的目的在于提出基于多尺度融合的全局上下文关注网络的图像分割方法，该基于多尺度融合的全局上下文关注网络的图像分割方法具有更好的分割效果的优点，解决现有技术中存在的问题。
为实现本发明的目的，本发明通过以下技术方案实现：基于多尺度融合的全局上下文关注网络的图像分割方法，包括以下步骤：
步骤一、数据预处理及分类
获得待分割的医学图像数据，并对该医学图像数据进行预处理，再对经过预处理后的医学图像数据进行划分，将其划分为训练集数据、验证集数据和测试集数据；
步骤二、构建全局上下文关注网络模型
构建基于多尺度融合的全局上下文关注网络，其包括特征图收缩网络、四个多尺度融合模块、四个全局上下文建模模块、四个通道注意力模块和特征图扩张网络；
步骤三、全局上下文关注网络模型训练
将步骤一中划分的训练集数据输入多尺度融合的全局上下文关注网络内进行训练，并使用交叉熵损失和Dice损失相结合，计算真值与预测值之间的损失，得到学习后的网络模型；
步骤四、图像分割
将步骤一中划分的测试集数据输入步骤三中训练好的网络模型内，进行图像分割，继而得到分割后的图像，并得出评价指标。
进一步改进在于：所述步骤一中预处理包括对医学图像数据分别进行降噪、去除冗余背景、统一尺寸以及标签标注。
进一步改进在于：所述步骤一中对训练集数据和验证集数据进行数据增强，以防止过拟合。
进一步改进在于：所述步骤二中特征图收缩网络与特征图扩张网络之间设有跳跃连接，所述多尺度融合模块、全局上下文建模模块和通道注意力模块设于跳跃连接处。
进一步改进在于：所述步骤二中特征图收缩网络包括自上而下分层设置的五层卷积块和四层最大池化操作，用于对原始图像的特征提取。
进一步改进在于：所述步骤二中多尺度融合模块是利用多个不同卷积核的卷积操作，提取不同的特征，最后将这些特征相加。
进一步改进在于：所述步骤二中全局上下文建模模块用于聚合全局信息，避免因局部信息的局限性影响分割精度。
进一步改进在于：所述步骤二中通道注意力模块的两个输入分别来自上层卷积块的输出和全局上下文建模模块的输出，且通道注意力模块用于关注重要的特征信息，过滤背景和噪声。
进一步改进在于：所述步骤二中特征图扩张网络包括自下而上分层设置的四层卷积块和四层最大池化操作，且特征图扩张网络用于在特征图收缩网络和跳跃连接提供的图像特征信息的基础上，预测出与原始图像尺寸大小相同的分割图像。
进一步改进在于：所述步骤三中，训练的具体步骤为：
S1：将训练集数据分为n批，并初始化权重；
S2：分批次将训练集数据输入构建好的模型内，计算真值与预测值之间的损失；
S3：再将验证集数据输入构建好的模型内，计算真值与预测值之间的损失；
S4：比较验证过程的损失与训练过程的最小损失，若验证过程的损失小于训练过程的最小损失，则保存当前训练的模型并更新网络参数，若大于则继续下一步骤；
S5：判断迭代次数是否为设置的epoch值，若未达到则继续输入训练集训练，若达到设置的epoch值则训练完成，得到学习后的网络模型。
本发明的有益效果为：该基于多尺度融合的全局上下文关注网络的图像分割方法采用了设计的跳跃连接，弥补多次下采样和上采样导致的信息丢失，以解决现有技术中因多次上采样和下采样导致空间细节信息的丢失的问题，同时跳跃连接中包括多尺度特征融合模块，全局上下文建模模块和通道注意力模块，通过将这三个模块连接，从而达到融合不同细节的特征图，并用于全局建模，最后关注和融合重点特征信息，以及过滤背景和噪音，从而取得更好的分割效果。
附图说明
图1是本发明的步骤流程示意图。
图2是本发明的结构示意图。
图3是本发明的多尺度融合模块结构示意图。
图4是本发明的通道注意力模块结构示意图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
根据图1-图4所示，本实施例提出了基于多尺度融合的全局上下文关注网络的图像分割方法，包括以下步骤：
步骤一、数据预处理及分类
获得待分割的医学图像数据，并对该医学图像数据进行预处理，其中，预处理包括对医学图像数据分别进行降噪、去除冗余背景、统一尺寸以及标签标注，再对经过预处理后的医学图像数据进行划分，将其划分为训练集数据、验证集数据和测试集数据，同时对训练集数据和验证集数据进行数据增强，其包括变形缩放、随机翻转、裁剪、添加噪声、旋转、颜色扰动，以防止过拟合；
步骤二、构建全局上下文关注网络模型
构建基于多尺度融合的全局上下文关注网络，如图2所示，其包括特征图收缩网络、四个多尺度融合模块、四个全局上下文建模模块、四个通道注意力模块和特征图扩张网络，其中特征图收缩网络与特征图扩张网络之间设有跳跃连接，所述多尺度融合模块、全局上下文建模模块和通道注意力模块设于跳跃连接处，即跳跃连接间网络是包括多尺度特征融合模块、全局上下文建模模块和通道注意力模块，具体的，其用于补偿上采样和下采样过程中丢失的语义信息；
特征图收缩网络包括自上而下分层设置的五层卷积块和四层最大池化操作，用于对原始图像的特征提取，即用于提取图像的语义特征，其中卷积块是由连续两次卷积核为3×3的卷积、批量归一化、激活函数ReLu组成，其中第一层卷积块只有一个卷积核为3×3的卷积，而最大池化操作的卷积核为3×3，用于进一步提取特征，减少网络参数；
多尺度融合模块是利用多个不同卷积核的卷积操作，提取不同的特征，最后将这些特征相加，如图3所示，多尺度特征融合模块的输入是特征图收缩网络每层卷积块的输出Xi∈RH×W×C(i＝1,2,3,4)，其中，i是第i层卷积块，为了保存不同尺度的特征信息，利用四个相同的步长和不同卷积核的卷积操作生成四个补丁，然后将这些补丁重塑成通道维度分别为D/2、D/4、D/8和D/8，最后将这些序列合并成一个通常的嵌入层Ti作为下一个全局上下文建模模块的输入，在第一层跳跃连接中，这四个卷积核的大小分别是4×4、8×8、16×16和32×32，卷积步长都为4，其数学表达如下公式所示：
其中
表明卷积核为k×k步长为s×s的卷积操作，对于其他三层，利用卷积核分别为4×4和8×8，步长都为4×4的两个卷积操作来减小计算量。其中为了保持补丁大小相同，设置了一定的填充；
全局上下文建模模块用于聚合全局信息，避免因局部信息的局限性影响分割精度，其中，全局上下文建模模块是由Transformer或者Transformer的变体组成，如图2所示，Transformer是由多头自注意力(Multi-Head Self-Attention，MHSA)，多层感知机(Multi-Layer Perceptron，MLP)等组成，可以获取全局上下文的信息，但是多头自注意力是二次复杂度，对于长序列来说，会造成很大的计算量，给训练带来难度，而平均池化(GlobalAverage Pooling)操作是线性的，没有可学习的参数，在跳跃连接部分层中使用池化操作代替原始的多头自注意力，可以很好地提取长序列特征，并且减小计算量，部分层跳跃连接中使用传统的Transformer，Transformer包含两个残差块，第一个残差块包含一个层归一化(Layer Normalization)和多头自注意力，输入Ti通过直接连接shortcut直接将来自输入Ti与主输出相加，得到输出Yi，保留了信息的完整性，同时也增强了网络的表达能力。第二个残差块包含一个层归一化和多层感知机，与第一个残差块相同，输入Yi通过直接连接shortcut(捷径)直接将来自输入Yi与主输出相加，得到输出Qi，修改过的低复杂度的Transformer将第一个卷积块中的多头自注意力换成了平均池化操作，使得二次复杂度变成了线性复杂度；
通道注意力模块的两个输入分别来自上层卷积块的输出和全局上下文建模模块的输出，且通道注意力模块用于关注重要的特征信息，过滤背景和噪声，如图3所示，将全局上下文建模模块的输出Qi经过上采样和3×3的卷积操作，得到Wi与上层卷积块的输出Di一样的大小，Wi和Di分别经过平均池化(Global Average Pooling，Pavg)和最大池化(GlobalMaximum Pooling，Pmax)操作，输出结果分别经过线性操作，分别得到的特征图相加后再把相加后的两个特征图相加，经过Sigmoid激活函数，最后将结果与特征图Wi相乘经过ReLu操作，得到输出特征；
特征图扩张网络包括自下而上分层设置的四层卷积块和四层最大池化操作，其中卷积块同样是由连续两次卷积核为3×3的卷积、批量归一化Batch Normal(BN)、激活函数ReLu组成，而最大池化操作的卷积核为3×3，用于进一步提取特征，减少网络参数，每层卷积块的输入是上一层最大池化造作的输出特征和通道注意力模块的输出特征合并得到的特征，最后一个1×1的卷积操作和Sigmoid激活函数得到最终的预测图，即特征图扩张网络用于在特征图收缩网络和跳跃连接提供的图像特征信息的基础上，预测出与原始图像尺寸大小相同的分割图像；
步骤三、全局上下文关注网络模型训练
将步骤一中划分的训练集数据输入多尺度融合的全局上下文关注网络内进行训练，并使用交叉熵损失和Dice损失相结合，计算真值与预测值之间的损失，得到学习后的网络模型，其中训练的具体步骤为：
S1：将训练集数据分为n批，并初始化权重；
S2：分批次将训练集数据输入构建好的模型内，计算真值与预测值之间的损失；
S3：再将验证集数据输入构建好的模型内，计算真值与预测值之间的损失；
S4：比较验证过程的损失与训练过程的最小损失，若验证过程的损失小于训练过程的最小损失，则保存当前训练的模型并更新网络参数，若大于则继续下一步骤；
S5：判断迭代次数是否为设置的epoch值，若未达到则继续输入训练集训练，若达到设置的epoch值则训练完成，得到学习后的网络模型；
步骤四、图像分割
将步骤一中划分的测试集数据输入步骤三中训练好的网络模型内，进行图像分割，继而得到分割后的图像，并得出评价指标。
在本实施例中，将多尺度融合模块，全局上下文建模模块，注意力机制与U型网络融合，并通过融合不同细节的特征图，获取丰富的空间信息，继而通过在部分层使用池化操作替代高复杂度的自注意力模块，处理输入的长序列，部分层仍然延用传统的Transformer，获取全局上下文特征信息，由此通过这种分层设计，可以在不同层发挥不同的特点，来获取有效的特征图。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：包括以下步骤：
步骤一、数据预处理及分类
获得待分割的医学图像数据，并对该医学图像数据进行预处理，再对经过预处理后的医学图像数据进行划分，将其划分为训练集数据、验证集数据和测试集数据；
步骤二、构建全局上下文关注网络模型
构建基于多尺度融合的全局上下文关注网络，其包括特征图收缩网络、四个多尺度融合模块、四个全局上下文建模模块、四个通道注意力模块和特征图扩张网络；
步骤三、全局上下文关注网络模型训练
将步骤一中划分的训练集数据输入多尺度融合的全局上下文关注网络内进行训练，并使用交叉熵损失和Dice损失相结合，计算真值与预测值之间的损失，得到学习后的网络模型；
步骤四、图像分割
将步骤一中划分的测试集数据输入步骤三中训练好的网络模型内，进行图像分割，继而得到分割后的图像，并得出评价指标。
2.根据权利要求1所述的基于多尺度融合的局上下文关注网络的图像分割方法，其特征在于：所述步骤一中预处理包括对医学图像数据分别进行降噪、去除冗余背景、统一尺寸以及标签标注。
3.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤一中对训练集数据和验证集数据进行数据增强，以防止过拟合。
4.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中特征图收缩网络与特征图扩张网络之间设有跳跃连接，所述多尺度融合模块、全局上下文建模模块和通道注意力模块设于跳跃连接处。
5.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中特征图收缩网络包括自上而下分层设置的五层卷积块和四层最大池化操作，用于对原始图像的特征提取。
6.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中多尺度融合模块是利用多个不同卷积核的卷积操作，提取不同的特征，最后将这些特征相加。
7.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中全局上下文建模模块用于聚合全局信息，避免因局部信息的局限性影响分割精度。
8.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中通道注意力模块的两个输入分别来自上层卷积块的输出和全局上下文建模模块的输出，且通道注意力模块用于关注重要的特征信息，并过滤背景和噪声。
9.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤二中特征图扩张网络包括自下而上分层设置的四层卷积块和四层最大池化操作，且特征图扩张网络用于在特征图收缩网络和跳跃连接提供的图像特征信息的基础上，预测出与原始图像尺寸大小相同的分割图像。
10.根据权利要求1所述的基于多尺度融合的全局上下文关注网络的图像分割方法，其特征在于：所述步骤三中，训练的具体步骤为：
S1：将训练集数据分为n批，并初始化权重；
S2：分批次将训练集数据输入构建好的模型内，计算真值与预测值之间的损失；
S3：再将验证集数据输入构建好的模型内，计算真值与预测值之间的损失；
S4：比较验证过程的损失与训练过程的最小损失，若验证过程的损失小于训练过程的最小损失，则保存当前训练的模型并更新网络参数，若大于则继续下一步骤；
S5：判断迭代次数是否为设置的epoch值，若未达到则继续输入训练集训练，若达到设置的epoch值则训练完成，得到学习后的网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211135634.9A CN115375711A (zh) | 2022-09-19 | 2022-09-19 | 基于多尺度融合的全局上下文关注网络的图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211135634.9A CN115375711A (zh) | 2022-09-19 | 2022-09-19 | 基于多尺度融合的全局上下文关注网络的图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115375711A true CN115375711A (zh) | 2022-11-22 |
Family
ID=84071060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211135634.9A Pending CN115375711A (zh) | 2022-09-19 | 2022-09-19 | 基于多尺度融合的全局上下文关注网络的图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375711A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984574A (zh) * | 2023-03-20 | 2023-04-18 | 北京航空航天大学 | 一种基于循环Transformer的图像信息提取模型、方法及其应用 |
| CN116563707A (zh) * | 2023-05-08 | 2023-08-08 | 中国农业科学院农业信息研究所 | 一种基于图文多模态特征融合的枸杞虫害识别方法 |
| CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN117173713A (zh) * | 2023-07-17 | 2023-12-05 | 厦门国际银行股份有限公司 | 一种基于u型网络的文本篡改检测方法、装置以及设备 |
| CN117522881A (zh) * | 2023-11-06 | 2024-02-06 | 山东省人工智能研究院 | 基于注意力机制和多层级特征融合的心脏图像分割方法 |
-
2022
- 2022-09-19 CN CN202211135634.9A patent/CN115375711A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984574A (zh) * | 2023-03-20 | 2023-04-18 | 北京航空航天大学 | 一种基于循环Transformer的图像信息提取模型、方法及其应用 |
| CN115984574B (zh) * | 2023-03-20 | 2023-09-19 | 北京航空航天大学 | 一种基于循环Transformer的图像信息提取模型、方法及其应用 |
| CN116563707A (zh) * | 2023-05-08 | 2023-08-08 | 中国农业科学院农业信息研究所 | 一种基于图文多模态特征融合的枸杞虫害识别方法 |
| CN116563707B (zh) * | 2023-05-08 | 2024-02-27 | 中国农业科学院农业信息研究所 | 一种基于图文多模态特征融合的枸杞虫害识别方法 |
| CN117173713A (zh) * | 2023-07-17 | 2023-12-05 | 厦门国际银行股份有限公司 | 一种基于u型网络的文本篡改检测方法、装置以及设备 |
| CN116594061A (zh) * | 2023-07-18 | 2023-08-15 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN116594061B (zh) * | 2023-07-18 | 2023-09-22 | 吉林大学 | 一种基于多尺度u形注意网络的地震数据去噪方法 |
| CN117522881A (zh) * | 2023-11-06 | 2024-02-06 | 山东省人工智能研究院 | 基于注意力机制和多层级特征融合的心脏图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111145170B (zh) | 一种基于深度学习的医学影像分割方法 | |
| CN111461232A (zh) | 一种基于多策略批量式主动学习的核磁共振图像分类方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN107492071A (zh) | 医学图像处理方法及设备 | |
| CN109389585B (zh) | 一种基于全卷积神经网络的脑组织提取方法 | |
| CN110930397A (zh) | 一种磁共振图像分割方法、装置、终端设备及存储介质 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN111951288A (zh) | 一种基于深度学习的皮肤癌病变分割方法 | |
| CN114332462B (zh) | 一种针对大脑病变融入注意力机制的mri分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN113298718A (zh) | 一种单幅图像超分辨率重建方法及系统 | |
| CN112884788B (zh) | 基于丰富上下文网络的视杯视盘分割方法及成像方法 | |
| CN111161271A (zh) | 一种超声图像分割方法 | |
| CN112862805B (zh) | 听神经瘤图像自动化分割方法及系统 | |
| CN114202545A (zh) | 一种基于UNet++的低级别胶质瘤图像分割方法 | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| CN117746045A (zh) | 一种Transformer和卷积融合的医学图像分割方法及系统 | |
| CN113538363A (zh) | 一种基于改进U-Net的肺部医学影像分割方法及装置 | |
| Iqbal et al. | LDMRes-Net: Enabling real-time disease monitoring through efficient image segmentation | |
| Yue et al. | Generative Adversarial Network Combined with SE‐ResNet and Dilated Inception Block for Segmenting Retinal Vessels | |
| CN116128890A (zh) | 一种基于自适应融合模块和跨阶段AU-Net网络的病理细胞图像分割方法及其系统 | |
| CN112862089B (zh) | 一种具有可解释性的医学图像深度学习方法 | |
| CN115410032A (zh) | 基于自监督学习的octa图像分类结构训练方法 | |
| CN115330600A (zh) | 一种基于改进srgan的肺部ct图像超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |