CN115249302A - 基于多尺度上下文信息与注意力机制的肠壁血管分割方法 - Google Patents

基于多尺度上下文信息与注意力机制的肠壁血管分割方法 Download PDF

Info

Publication number
CN115249302A
CN115249302A CN202210693989.3A CN202210693989A CN115249302A CN 115249302 A CN115249302 A CN 115249302A CN 202210693989 A CN202210693989 A CN 202210693989A CN 115249302 A CN115249302 A CN 115249302A
Authority
CN
China
Prior art keywords
intestinal wall
attention
blood vessel
context information
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210693989.3A
Other languages
English (en)
Inventor
李胜
董胜
朱润雯
杨文琴
古梦婷
龚歆宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210693989.3A priority Critical patent/CN115249302A/zh
Publication of CN115249302A publication Critical patent/CN115249302A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，构建融合多尺度上下文信息与注意力机制的神经网络，包括特征编码器，特征编码器的多级输出分别通过结合通道注意力模块的跳跃连接、结合改进的轴向注意力模块的多尺度上下文融合模块，得到的多级特征逐次通过解码器模块解码、输出；制作肠壁血管数据集输入神经网络，训练直至神经网络稳定，输入待分割肠壁血管图像后由稳定的神经网络实现肠壁血管分割。本发明极大保存语义信息完整性，提高对粘膜褶皱、血管的分辨能力，更多关注微小血管的结构特征，提高抗干扰能力，缩小高低语义信息差距，增强提取微小血管的能力，更好区分粘膜褶皱与血管，抗干扰能力强。

Description

基于多尺度上下文信息与注意力机制的肠壁血管分割方法
技术领域
本发明涉及图像分析，例如从位像到非位像的技术领域，特别涉及一种人工智能的图像处理的基于多尺度上下文信息与注意力机制的肠壁血管分割方法。
背景技术
结肠镜检查是结直肠疾病诊疗的金标准，但由于结肠镜手术存在侵入性，可能会导致肠道穿孔等并发症，肠道穿孔通常是镜头与肠壁以危险角度发生接触进而破坏肠壁组织造成的，手术中难以及时发现，而如果发生肠道穿孔，肠道内容物可能会进入腹腔，从而引起脓性腹膜炎等疾病，严重的会导致死亡，因此预防肠道穿孔是一个亟需解决的问题。
根据资深内窥镜医生描述，当肠镜镜头触碰到肠壁时，肠壁血管的分布状态会发生改变。因此，医生在进行肠镜手术时可以通过分析图像中血管的分布状态、估计结肠镜头和肠壁之间的相对位置关系，由此预防结肠穿孔的发生。肠壁血管分割能够为后续血管分布状态的判断提供前提条件，因此研究肠壁血管自动分割方法具有重要的工程应用意义。
目前血管分割研究工作大致归结为三种主要方法：第一种是传统的图像处理方法，如基于小波变换、高斯滤波的分割方法等，这些传统方法易受到研究人员的主观因素干扰和过多的人工参与，降低了算法的扩展性；第二种是基于传统的机器学习方法，如利用聚类、AdaBoost算法等方法先实现特征提取，然后再使用分类器进行像素分类；第三种是使用基于卷积神经网络的方法(CNN)进行分割，该方法有效地避免了研究人员的主观因素干扰，同时也能达到较好的分割准确率。
虽然在肠壁血管分割任务中，已有的基于卷积神经网络的方法已经可以获得较好的性能，但是这些方法对肠壁微小血管的提取能力、对肠壁的粘膜褶皱与血管的分辨能力均有不足，同时在肠道中还存在肠道积液、分泌物等干扰，因此肠壁血管分割任务极具有挑战性。
发明内容
本发明解决了现有技术中存在的问题，提供了一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，克服在分割中微小血管的提取能力不足、粘膜褶皱与血管难以区分以及抗干扰能力弱的问题。
本发明所采用的技术方案是，一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，所述方法构建融合多尺度上下文信息与注意力机制的神经网络；
所述神经网络包括特征编码器，所述特征编码器的多级输出分别通过结合通道注意力模块的跳跃连接、结合改进的轴向注意力模块的多尺度上下文融合模块，得到的多级特征逐次通过解码器模块解码、输出；
制作肠壁血管数据集输入所述神经网络，训练直至神经网络稳定，输入待分割肠壁血管图像后由稳定的神经网络实现肠壁血管分割。
本发明中，多尺度上下文融合(Multi-scale Context Fusion,MCF)模块提取多尺度上下文信息可以提高对粘膜褶皱、血管的分辨能力，同时，模块中改进的轴向注意力(Improve Axial Attention,IAA)模块更多地关注微小血管的结构特征，能够提高抗干扰能力；将通道注意力(Channel Attention,CA)模块应用到跳跃连接，使特征编码器中有效的低层信息与解码器高层信息相融合，增强捕获微小血管的能力。
优选地，所述特征编码器包括5个残差块，对于任一输入图像，相邻的残差块间设置有最大池化层；每个残差块输出对应的特征。
本发明中，5个残差块组成的特征编码器，旨在从输入图像中不断提取特征同时解决深层次网络的梯度消失问题，输入图像通过特征编码器的5个残差块后分别得到五个层次的特征；当输入图像进入特征编码器后，细节信息会随着层数的加深而缺失，因此在进行特征解码模块前，将特征编码器最后的输出特征通过设计的多尺度上下文融合模块。
本发明中，图像每经过一次残差块后会进行下采样，这里下采样操作通过最大池化实现。
优选地，任一所述残差块包括两个级联的3×3卷积层和一个1×1卷积层，输入图像同时经过3×3卷积层和1×1卷积层，两个结果像素级相加，经过激活函数ReLU层后输出对应的特征。
优选地，前4个残差块输出的特征通过结合通道注意力模块的跳跃连接，最后一个残差块输出的特征通过结合改进的轴向注意力模块的多尺度上下文融合模块。
优选地，所述结合改进的轴向注意力模块的多尺度上下文融合模块包括两个分支；
第一个分支由3×3标准卷积层和3×3空洞卷积并行结构组成，得到的特征信息通过改进的轴向注意力模块，得到局部上下文信息；
第二个分支由5×5标准卷积层和5×5空洞卷积并行结构组成，得到的特征信息通过改进的轴向注意力模块，得到全局上下文信息；
以局部上下文信息和全局上下文信息之和输出。
优选地，任一所述改进的轴向注意力模块包括1×1卷积层，所述1×1卷积层的输出分别输入垂直方向注意力块和水平方向注意力模块，以垂直方向注意力块和水平方向注意力块的输出相加。
本发明中，标准卷积主要提取目标的局部信息，空洞卷积通过调整空洞率大小、增加感受野大小，获取目标的多尺度信息，这两个分支可以有效地整合局部和全局上下文信息，提高对粘膜褶皱、血管的分辨能力。
本发明中，两个分支得到的特征信息通过改进的轴向注意力模块(IAA)，来构建局部和全局信息的相关性；为了充分利用卷积核的参数，输入特征图先经过1×1卷积，保存相关信息的连续性和完整性，然后分别进入垂直方向和水平方向注意力结构中，该结构分别通过1×1卷积进行形状的重塑、转置以及点乘，聚合不同信息，同时注意力机制的使用可以更多地关注微小血管的结构特征，有效地降低肠道积液、分泌物等因素的干扰，最后垂直方向注意力和水平方向注意力结果通过求和的方式有效地聚合特征图。
优选地，所述结合通道注意力模块的跳跃连接包括并列设置的2个分支；
一个分支用于输出图像纹理特征，包括顺次设置的全局最大池化层、全连接层和Sigmoid函数层；
另一个分支用于输出整体数据特征，包括顺次设置的全局平均池化层、全连接层和Sigmoid函数层；
2个分支的输出相加。
本发明中，将通道注意力模块与跳跃连接结合，在增强模型捕捉微小血管能力的同时也可以大幅缩小高低语义信息差距，由于最大池化可以保留图像纹理特征，全局平均池化可以保留整体的数据特征，所以使用全局最大池化和全局平均池化分别来整合不同的特征信息；据此得到的前4个特征具有更多的微小血管特征且缩小高低语义信息差距。
优选地，所述结合改进的轴向注意力模块的多尺度上下文融合模块的输出经过四层解码器模块恢复特征映射，完成每层解码恢复特征映射后的结果与各层对应的结合通道注意力模块的跳跃连接的输出通道拼接，直至最终的输出结果。
本发明中，转置卷积可以通过自适应映射来恢复更详细的特征信息，因此采用转置卷积来恢复特征映射，经过四层解码器模块恢复特征映射，在完成每层解码恢复特征映射后，将输出与各层对应的跳跃连接模块的输出进行通道拼接，使特征编码器中有效的低层信息与解码器高层信息相融合，增强捕获微小血管的能力；最后特征经过1×1卷积进行通道变换得到最终的输出结果，再利用GroundTruth对输出结果进行深度监督，得到最终的模型。
优选地，所述方法中，采集肠壁图像，对采集的图像进行去除图像中的光斑及去除敏感信息的处理，同时对肠壁图像中的血管(真实图)进行人工标注，制作对应的肠壁血管数据集。
优选地，所述方法中，将肠壁血管数据集随机划分为训练集和测试集，选择梯度下降算法、损失函数，调整学习率后进行训练。
本发明中，使用肠壁血管图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。
本发明涉及一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，构建融合多尺度上下文信息与注意力机制的神经网络，包括特征编码器，所述特征编码器的多级输出分别通过结合通道注意力模块的跳跃连接、结合改进的轴向注意力模块的多尺度上下文融合模块，得到的多级特征逐次通过解码器模块解码、输出；制作肠壁血管数据集输入所述神经网络，训练直至神经网络稳定，输入待分割肠壁血管图像后由稳定的神经网络实现肠壁血管分割。
本发明的有益效果在于：
(1)基于编码-解码器结构，使用残差块组成的特征编码器，防止深层次网络的梯度消失问题，极大保存了语义信息的完整性；
(2)利用MCF模块聚合上下文信息，自适应学习多尺度特征，提高对粘膜褶皱、血管的分辨能力，同时MCF模块中改进的轴向注意力模块可以更多地关注微小血管的结构特征，提高抗干扰能力；
(3)提出将CA模块与跳跃连接结合，通过注意力机制更多的关注微小血管特征，缩小高低语义信息差距；
(4)最终在分割中增强提取微小血管的能力，更好区分粘膜褶皱与血管，抗干扰能力强。
附图说明
图1是本发明的总网络结构图，其中图1(a)是特征编码器中的残差块，图1(b)是特征解码器中的解码器模块；
图2是本发明中多尺度上下文融合模块的结构图；
图3是本发明中多尺度上下文融合模块中改进的轴向注意力模块的结构图；
图4是本发明中跳跃连接中通道注意力模块的结构图；
图5是本发明与对比方法的最终分割结果对比示意图。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，步骤如下：
步骤1：采集肠壁血管图像，并对采集的图像进行去光斑、去除敏感信息的预处理操作，专业医师人工标注血管真实图，制作肠壁血管数据集。
本发明中，此处的真实图和网络模型分割出来的图可以对比并求得相应指标，同时也可以获得两者损失loss优化网络模型。
步骤2：输入肠壁血管数据集X＝{x1,x2,…,xn}，其中X表示数据集中输入的样本，n表示样本数量，
Figure BDA0003701753470000061
表示RGB三通道的输入图像，将数据集输入到提出的神经网络中。
步骤3：设计由5个残差块组成的特征编码器，从步骤2的输入图像中不断提取特征，同时解决深层次网络的梯度消失问题，输入图像通过特征编码器的5个残差块后分别得到五个层次的特征{Wi(x):i＝1,2,...,5}。
如图1(a)所示，每个残差块由两个级联的3×3卷积和一个1×1卷积组成，输入图像同时经过3×3卷积层和1×1卷积，然后将结果进行像素级相加，最后经过一个激活函数ReLU层确保非线性。图像每经过一次残差块后会进行下采样，这里下采样操作通过最大池化实现，输入的特征图x经过一个残差块(如图1(a)所示)和下采样定义如下：
W(x)＝Down(Φ(Conv3×3(Conv3×3(x))+Conv1×1(x))) (1)
式(1)中，Φ表示ReLU激活函数，Conv3×3、Conv1×1分别表示3×3和1×1卷积，Down表示下采样，x为输入特征图。
步骤4：当输入图像进入特征编码器后，细节信息会随着层数的加深而缺失，因此在进行特征解码模块前，将特征编码器最后的输出W5(x)通过设计的MCF模块；
如图2所示，该模块有两个分支，第一个分支由3×3常规卷积和3×3空洞卷积(空洞率为3)并行结构组成，第二个分支由5×5常规卷积和5×5空洞卷积(空洞率为5)并行结构组成；其中常规卷积主要提取目标的局部信息，空洞卷积通过调整空洞率大小，增加感受野大小，获取目标的多尺度信息，这两个分支可以有效地整合局部和全局上下文信息，提高对粘膜褶皱、血管的分辨能力。
之后两个分支得到的特征信息会通过改进的轴向注意力模块，来构建局部和全局信息的相关性。在改进的轴向注意力模块中，为了充分利用卷积核的参数，输入特征图先经过1×1卷积，保存相关信息的连续性和完整性；然后分别进入垂直方向和水平方向注意力结构中，垂直方向注意力结构分别通过三个1×1卷积在垂直方向上进行形状的重塑、转置以及点乘，水平方向注意力结构分别通过三个1×1卷积在水平方向上进行形状的重塑、转置以及点乘，以此聚合不同信息；同时注意力机制的使用可以更多地关注微小血管的结构特征，有效地降低肠道积液、分泌物等因素的干扰；最后垂直方向注意力和水平方向注意力结果通过求和的方式有效地聚合特征图。
步骤5：提出将通道注意力模块与跳跃连接结合，增强模型捕捉微小血管能力，同时也可以大大的缩小高低语义信息差距，由于最大池化可以保留图像纹理特征，全局平均池化可以保留整体的数据特征，所以使用全局最大池化和全局平均池化分别来整合不同的特征信息，然后再经过全连接层FC(k)，最后通过Sigmoid函数从而得到通道注意力权重；全连接层FC(k)使用1×1的一维卷积来实现，令通道注意力模块的输入图像
Figure BDA0003701753470000081
则有如下定义：
Figure BDA0003701753470000082
Figure BDA0003701753470000083
S(x)＝SGAP(x)+SGMP(x) (4)
式中，
Figure BDA0003701753470000084
表示卷积核大小为1×1的一维卷积，σ为Sigmoid激活函数，
Figure BDA0003701753470000085
分别表示两个分支的输出特征图，⊙为矩阵点乘，GAP表示全局平均池化操作，GMP表示全局最大池化操作，S(x)表示通道注意力模块最后的输出。
在步骤1的特征编码器得到的前四个层次特征{Wi(x):i＝1,2,3,4}分别通过通道注意力模块得到特征{Si(x):i＝1,2,3,4}，Si(x)中具有更多的微小血管特征，同时也可以大大的缩小高低语义信息差距。
步骤6：转置卷积可以通过自适应映射来恢复更详细的特征信息，因此采用转置卷积来恢复特征映射，基于转置卷积设计解码器模块，如图1所示，步骤2中MCF模块的输出F(x)要经过四层解码器模块来恢复特征映射，每一层得到的特征为{Fj(x):j＝1,2,3,4}，同时在完成每层解码恢复特征映射后，Fj(x)将与各层对应的跳跃连接模块的输出Si(x)进行通道拼接，使特征编码器中有效的低层信息与解码器高层信息相融合，增强捕获微小血管的能力。
具体过程可定义为Ci,j(x)＝[Si(x),Fj(x)]，其中，i＝1,2,3,4；j＝4,3,2,1，Si(x)为通道注意力模块的输出，Fj(x)为解码器模块的输出，Ci,j表示进行通道拼接后的特征。
最后，特征C1,4(x)经过1×1卷积进行通道变换得到最终的输出结果，再利用GroundTruth对输出结果进行深度监督，得到最终的模型。使用肠壁血管图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。
步骤7：网络模型的训练策略如下：
7.1首先将肠壁血管数据集随机划分为训练集和测试集，肠壁血管图像分辨率大小为560×560；
7.2训练过程中的梯度下降算法选用Adam算法；
7.3选用的损失函数是交叉熵损失(Binary Cross Entropy,BCE)和Dice损失组成的联合损失函数
Figure BDA0003701753470000091
交叉熵损失
Figure BDA0003701753470000092
计算公式如下：
Figure BDA0003701753470000093
式中，yi∈{0,1}、pi∈[0,1]分别代表真实标签值和像素预测概率值。
Dice损失
Figure BDA0003701753470000094
计算公式如下：
Figure BDA0003701753470000095
式中，N为总像素数量，yi∈{0,1}、pi∈[0,1]分别为真实标签值和像素预测概率。
最后，联合损失函数
Figure BDA0003701753470000096
可表示为
Figure BDA0003701753470000097
7.4使用StepLR机制调整学习率，每次送入网络的训练样本批量Bathsize为4，训练次数为200次。
本发明提供一实验例：
(1)实验条件
实验采用一台配置CPU Intel(R)Xeon(R)Gold 6161CPU@2.20GHz2.2GHz(2个处理器)，64GB内存，windows操作系统和2块Nvidia GTX3080Ti显卡的工作站。模型基于PyTorch深度学习框架实现，PyTorch版本为1.8.0，Python版本为3.7。使用ADAM算法来优化总体参数，学习率设置为1e-4。将本专利方法分别与U-Net、CTF-Net、CE-Net以及CS-Net四种医学图像分割方法进行了比较。
(2)实验结果
本发明将提出的方法与U-Net、CTF-Net、CE-Net以及CS-Net网络在相同的数据集上进行了对比实验。对于前景和背景不平衡的肠壁血管分割任务，为了优化模型，本专利使用交叉熵损失和Dice损失组成的联合损失函数。另外，使用医学图像分割中常用的准确率Accuracy、敏感度Sensitivity(也叫召回率Recall)、特异度Specificity、F1-Score指标来对模型进行评估。四个指标分别表示为式(7)、(8)、(9)、(11)：
Figure BDA0003701753470000101
Figure BDA0003701753470000102
Figure BDA0003701753470000103
Figure BDA0003701753470000104
Figure BDA0003701753470000105
其中，TP、TN、FP和FN分别代表真阳性、真阴性、假阳性和假阴性，真阳性表示肠壁血管像素被正确分割，真阴性表示背景像素被正确分割，假阳性表示将背景像素错误分割为血管像素，假阴性表示将血管像素错误分割为背景像素，如表1所示，为其他神经网络与本发明构建的网络的指标对比表；
表1其他神经网络与本发明构建的网络的指标对比表
Figure BDA0003701753470000106
Figure BDA0003701753470000111
从表1中可以看出，本专利提出的模型获得最高的F1分数为73.57％，这说明模型能准确地分割背景和血管，同时也获得最高的准确率、特异度和AUC，分别为94.76％、97.76％、96.33％，这表明本专利可以对抗消除粘膜褶皱、肠道积液等干扰。对比U-Net实验指标，本专利模型的F1分数提高3.86％，准确率提高1.0％，特异度提高0.65％，敏感度提高4.86％，AUC值提高2.2％。总体上说，该数据证明了本专利提出的方法在肠壁血管分割性能上优于其他方法，具有更好的实际工程应用价值。
为了实现上述内容，本发明还通过在介质上存储基于多尺度上下文信息与注意力机制的肠壁血管分割程序，在设备运行时采用基于多尺度上下文信息与注意力机制的肠壁血管分割方法，进而通过向设备输入待分割肠壁血管图像，通过神经网络输出分割后的结果。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述方法构建融合多尺度上下文信息与注意力机制的神经网络；
所述神经网络包括特征编码器，所述特征编码器的多级输出分别通过结合通道注意力模块的跳跃连接、结合改进的轴向注意力模块的多尺度上下文融合模块，得到的多级特征逐次通过解码器模块解码、输出；
制作肠壁血管数据集输入所述神经网络，训练直至神经网络稳定，输入待分割肠壁血管图像后由稳定的神经网络实现肠壁血管分割。
2.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述特征编码器包括5个残差块，对于任一输入图像，相邻的残差块间设置有最大池化层；每个残差块输出对应的特征。
3.根据权利要求2所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：任一所述残差块包括两个级联的3×3卷积层和一个1×1卷积层，输入图像同时经过3×3卷积层和1×1卷积层，两个结果像素级相加，经过激活函数ReLU层后输出对应的特征。
4.根据权利要求2所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：前4个残差块输出的特征通过结合通道注意力模块的跳跃连接，最后一个残差块输出的特征通过结合改进的轴向注意力模块的多尺度上下文融合模块。
5.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述结合提高轴向注意力模块的多尺度上下文融合模块包括两个分支；
第一个分支由3×3标准卷积层和3×3空洞卷积并行结构组成，得到的特征信息通过改进的轴向注意力模块，得到局部上下文信息；
第二个分支由5×5标准卷积层和5×5空洞卷积并行结构组成，得到的特征信息通过改进的轴向注意力模块，得到全局上下文信息；
以局部上下文信息和全局上下文信息之和输出。
6.根据权利要求5所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：任一所述改进的轴向注意力模块先经过1×1卷积层，所述1×1卷积层的输出分别输入垂直方向注意力块和水平方向注意力结构，垂直方向注意力结构分别通过三个卷积在垂直方向上进行形状的重塑、转置以及点乘，水平方向注意力结构分别通过三个卷积在水平方向上进行形状的重塑、转置以及点乘，以此聚合不同信息；最后以垂直方向注意力块和水平方向注意力块的输出相加。
7.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述结合通道注意力模块的跳跃连接包括并列设置的两个分支；
一个分支用于输出图像纹理特征，包括顺次设置的全局最大池化层、全连接层和Sigmoid函数层；
另一个分支用于输出整体数据特征，包括顺次设置的全局平均池化层、全连接层和Sigmoid函数层；
上述两个分支的输出相加。
8.根据权利要求4所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述结合改进的轴向注意力模块的多尺度上下文融合模块的输出经过四层解码器模块恢复特征映射，完成每层解码恢复特征映射后的结果与各层对应的结合通道注意力模块的跳跃连接的输出通道拼接，直至最终的输出结果。
9.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述方法中，采集肠壁血管图像，对采集的图像进行去除图像中的光斑及去除敏感信息的处理，对肠壁血管图像中的血管进行人工标注，制作对应的肠壁血管数据集。
10.根据权利要求1所述的一种基于多尺度上下文信息与注意力机制的肠壁血管分割方法，其特征在于：所述方法中，将肠壁血管数据集随机划分为训练集和测试集，选择梯度下降算法、损失函数，调整学习率后进行训练。
CN202210693989.3A 2022-06-19 2022-06-19 基于多尺度上下文信息与注意力机制的肠壁血管分割方法 Pending CN115249302A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210693989.3A CN115249302A (zh) 2022-06-19 2022-06-19 基于多尺度上下文信息与注意力机制的肠壁血管分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210693989.3A CN115249302A (zh) 2022-06-19 2022-06-19 基于多尺度上下文信息与注意力机制的肠壁血管分割方法

Publications (1)

Publication Number Publication Date
CN115249302A true CN115249302A (zh) 2022-10-28

Family

ID=83697780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210693989.3A Pending CN115249302A (zh) 2022-06-19 2022-06-19 基于多尺度上下文信息与注意力机制的肠壁血管分割方法

Country Status (1)

Country Link
CN (1) CN115249302A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703885A (zh) * 2023-06-30 2023-09-05 南京邮电大学 一种基于Swin Transformer的表面缺陷检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116703885A (zh) * 2023-06-30 2023-09-05 南京邮电大学 一种基于Swin Transformer的表面缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
CN110580704A (zh) 基于卷积神经网络的et细胞图像自动分割方法及系统
CN114399465B (zh) 良恶性溃疡识别方法及系统
CN114782760B (zh) 一种基于多任务学习的胃部疾病图片分类系统
CN113781489B (zh) 一种息肉影像语义分割方法及装置
Souaidi et al. A new automated polyp detection network MP-FSSD in WCE and colonoscopy images based fusion single shot multibox detector and transfer learning
CN112613517A (zh) 内窥镜仪器分割方法、装置、计算机设备及存储介质
Bagheri et al. Deep neural network based polyp segmentation in colonoscopy images using a combination of color spaces
CN114511502A (zh) 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN115249302A (zh) 基于多尺度上下文信息与注意力机制的肠壁血管分割方法
Noor et al. GastroNet: A robust attention‐based deep learning and cosine similarity feature selection framework for gastrointestinal disease classification from endoscopic images
CN115222750A (zh) 基于多尺度融合注意力的遥感图像分割方法及系统
CN116912253B (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
CN112949451B (zh) 通过模态感知特征学习的跨模态目标跟踪方法及系统
Gupta et al. A systematic review of deep learning based image segmentation to detect polyp
CN116935044B (zh) 一种多尺度引导和多层次监督的内镜息肉分割方法
Alam et al. Rat-capsnet: A deep learning network utilizing attention and regional information for abnormality detection in wireless capsule endoscopy
Ghaleb Al-Mekhlafi et al. Hybrid Techniques for Diagnosing Endoscopy Images for Early Detection of Gastrointestinal Disease Based on Fusion Features
Durán López et al. Polyp detection in gastrointestinal images using faster regional convolutional neural network
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
Fan et al. EGFNet: Efficient guided feature fusion network for skin cancer lesion segmentation
CN110516611B (zh) 一种自闭症检测系统及自闭症检测装置
Bulut et al. Polyp Segmentation in Colonoscopy Images using U-Net and Cyclic Learning Rate
Torres et al. Identification of digestive tract abnormalities on endoscopic images
CN116612340B (zh) 一种消化性溃疡部位分类方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination