CN113658201B - 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 - Google Patents

基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 Download PDF

Info

Publication number
CN113658201B
CN113658201B CN202110879728.6A CN202110879728A CN113658201B CN 113658201 B CN113658201 B CN 113658201B CN 202110879728 A CN202110879728 A CN 202110879728A CN 113658201 B CN113658201 B CN 113658201B
Authority
CN
China
Prior art keywords
scale
module
segmentation
polyp
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110879728.6A
Other languages
English (en)
Other versions
CN113658201A (zh
Inventor
汪淼
安兴伟
明东
刘钢
杭伟
李宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110879728.6A priority Critical patent/CN113658201B/zh
Publication of CN113658201A publication Critical patent/CN113658201A/zh
Application granted granted Critical
Publication of CN113658201B publication Critical patent/CN113658201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，所述装置包括：数据预处理模块，用于对结直肠癌息肉图像数据的分辨率进行调整和归一化处理；编码器模块，使用多尺度残差结构的特征提取器和能捕获多尺度感受野的感受野块组件对息肉的多样性特征进行提取；解码器模块，利用密集型多尺度跳跃连接传递上下文信息实现分割细节，通过局部上下文提供的注意力机制完成边界分割；并在上采样过程中使用深监督技术校准，减轻在训练时的梯度消失或爆炸现象。本发明解决了小息肉难以分辨和定位、以及息肉与周围组织边界模糊不清的问题，同时深监督机制的引入优化了网络模型的梯度，加快了网络模型的收敛，缩短了网络模型的训练时间。

Description

基于增强型多尺度特征的深度学习结直肠癌息肉分割装置
技术领域
本发明涉及基于深度学习的图像分割领域，尤其涉及一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置。
背景技术
结直肠癌(colorectal cancer,CRC)是世界上最常见的恶性肿瘤之一，它的死亡率在所有癌症中排名第三。研究表明，多数结直肠癌患者被发现时已经是中晚期伴随着转移，而95％的结直肠癌是由结直肠腺瘤性息肉引起的，整个发展过程大概需要5-10年。在腺瘤性息肉(polyp)阶段将病灶切除，就可以及时预防结直肠癌。因此，息肉的早期检测就显得尤为重要。
结肠镜检查(colonoscopy)被认为是早期检查和切除息肉的最佳诊断工具，是结肠癌筛查的金标准。然而，结肠镜检查质量较低导致漏诊率较高，其中国外息肉的漏诊率为6％-27％，国内的漏诊率约为22.5％。这是由于结肠镜检查需要内窥镜医生手动操作，是一种相对主观的检查方式，进行手术操作医生的技术水平是影响结肠镜检查质量的主要因素。因此，借助人工智能技术开发出一种计算机辅助诊断(computer aided diagnosis，CAD)的装置以辅助内窥镜医生的手术过程是提高结肠镜检查质量的重要手段。
近年来，息肉分割在结直肠癌的诊断和治疗中发挥着重要作用。息肉分割是一种基于结肠镜图像或视频的像素级分类任务，它可以将病变区域清晰地标注，与大肠周围的组织进行区分。然而，息肉分割任务面临着诸多挑战：其一，息肉的大小、形状和颜色等形态学信息具有多样性；其二，息肉与周围组织之间的边界模糊难以分辨。
因此，基于深度学习实现的具有自动和精确分割息肉功能的计算机辅助诊断装置具有重要的临床意义。
发明内容
本发明提供了一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，该装置由数据预处理模块、编码器模块和解码器模块组成，解决了小息肉难以分辨和定位、以及息肉与周围组织边界模糊不清的问题，同时深监督机制的引入优化了网络模型的梯度，加快了网络模型的收敛，缩短了网络模型的训练时间，详见下文描述：
一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，所述装置包括：
数据预处理模块，用于对结直肠癌息肉图像数据的分辨率进行调整和归一化处理；
编码器模块，使用多尺度残差结构的特征提取器和能捕获多尺度感受野的感受野块组件对息肉的多样性特征进行提取；
解码器模块，利用密集型多尺度跳跃连接传递上下文信息实现分割细节，通过局部上下文提供的注意力机制完成边界分割；并在上采样过程中使用深监督技术校准，减轻在训练时的梯度消失或爆炸现象。
其中，所述特征提取器用于提取息肉图像的多样性特征，所述特征提取器由五个编码器块组成，将输出的特征图定义为：
E＝[E1,E2,E3,E4,E5]
其中，E1,E2,E3,E4,E5均为特征。
进一步地，将E3,E4,E5定义为高级特征，在所述高级特征对应的编码器块后加入感受野块组件，获取输出的特征图的多尺度感受野，将感受野块组件的输出特征表示为：
Ri＝RFB(Ei),i＝3,4,5
其中，Ei表示编码器块输出的拥有高级语义的特征，Ri表示具备多尺度感受野的特征。
其中，所述解码器模块包括：多尺度跳跃连接、局部上下文子模块及深监督子模块。
进一步地，所述多尺度跳跃连接为：
上采样过程中使用多尺度跳跃连接传输来自编码器模块的特征，解码器模块的特征定义为：
D＝[D1,D2,D3,D4,D5]
对于每一个特征Di由下述公式得到：
D5＝R5
D4＝⊙(C(↓(E1)),C(↓(E2)),C(↓(R3)),C(R4),C(↑(D5)))
D3＝⊙(C(↓(E1)),C(↓(E2)),C(R3),C(↑(D4)),C(↑(D5)))
D2＝⊙(C(↓(E1)),C(E2),C(↑(D3)),C(↑(D4)),C(↑(D5)))
D1＝⊙(C(E1),C(↑(D2)),C(↑(D3)),C(↑(D4)),C(↑(D5)))
式中，↓(·)表示基于池化的下采样操作，↑(·)表示基于双线性插值的上采样操作，C(·)表示卷积操作，⊙(·)表示复合操作，将得到的通道和尺度大小相同的特征图按照串联形式拼接在一起，使用卷积、ReLU激活函数、批归一化将拼接后的特征图进行融合。
进一步地，所述局部上下文子模块为：
Figure BDA0003191551020000031
Figure BDA0003191551020000032
其中，σ(·)表示Sigmoid函数，pred表示输出的预测图在上采样各阶段的表达，AttenMap表示侧重边界像素的注意力图；
Figure BDA0003191551020000033
表示矩阵逐元素相乘操作，
Figure BDA0003191551020000034
表示矩阵逐元素相加操作，X表示的是解码器的特征图，Xatten表示经过注意力机制强化后的解码器的特征图。
本发明提供的技术方案的有益效果是：
1、现有的一些息肉分割的装置，虽然考虑到了基于多尺度信息来进一步提升息肉分割装置的性能，但这些方法大多数从1～3个方面挖掘息肉的多尺度特征，并没有充分利用多尺度信息和更有效的注意力机制来处理息肉的多样性特征和息肉边界；
2、本发明从5个方面(多尺度跳跃连接、多尺度残差结构的特征提取器、多尺度感受野块、多尺度训练、局部上下文注意力机制)对息肉的多尺度特征信息进行增强，更好地解决了小息肉难以分辨和定位以及息肉与周围组织边界模糊不清的问题；同时深监督机制的引入优化了网络模型的梯度，加快了网络模型的收敛，缩短了网络模型的训练时间；
3、经过实验验证，本发明提出的装置在三个具有挑战性且开源的结直肠癌息肉分割数据集具有比其他发明装置更好的鲁棒性和泛化能力，结合表1～3可以看出本发明所提出的装置在分割性能上的优越表现。
附图说明
图1为本发明装置的整体架构图；
图2为本发明装置的网络模型架构图；
图3为密集型多尺度跳跃连接的原理图；
图4为感受野组件的原理图；
图5为局部上下文注意力模块的实现原理图；
图6为本发明所提出的方法与其他方法的在CVC-ClinicDB数据集上的结果对比图；
图7为本发明所提出的方法与其他方法的在Kvasir-SEG数据集上的结果对比图。
表1是本发明装置对比其他发明在EndoScene数据集上的表现；
表2是本发明装置对比其他发明在CVC-ClinicDB数据集上的表现；
表3是本发明装置对比其他发明在Kvasir-SEG数据集上的表现。
其中，采用了医学图像分割中常用的指标：Dice、mIou、wfm、Sm、maxEm、MAE。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
由于结肠癌息肉具有多样性的特征和模糊边界，那么同时将这两项问题进行有效的处理就成为了精确息肉分割的关键。针对以上问题，本发明实施例提出了一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，该装置由数据预处理模块、编码器模块和解码器模块组成。数据预处理模块，用于结直肠癌息肉图像数据的分辨率调整和归一化处理等操作，经过归一化处理的数据可以促进卷积神经网络的收敛。编码器模块使用具有多尺度残差结构的特征提取器和能捕获多尺度感受野的感受野块组件(receptive fieldblock,RFB)对息肉的多样性特征进行有效且细粒度的提取，可以更好的解决中小息肉难以分辨和定位的问题。解码器模块利用密集型多尺度跳跃连接(multi-scale skipconnection)传递更丰富的上下文信息实现更好的分割细节，然后进一步借助局部上下文模块(local context attention,LCA)提供的注意力机制完成更准确的边界分割，并在上采样过程中使用深监督技术校准网络模型和减轻其在训练时的梯度消失或爆炸现象，加快网络的收敛速度。
一、实验数据集
选择三个开源且具有挑战性的息肉分割数据集(EndoScene,CVC-ClinicDB,Kvasir-SEG)作为本发明的实验数据集。
其中，该数据集包括多种不同大小、颜色和纹理的息肉图像和对应标注的灰度图像(Ground Truth)。
二、数据预处理模块
将原始数据和对应的标注经一系列预处理，主要目的是为了防止大分辨率的息肉图片占据过多的计算资源以及保证不同的特征在神经网络更新时的一致性，加快神经网络模型的收敛速度。
本发明实施例的预处理依次按照以下流程进行：将原始分辨率下的息肉图像和分割标注的灰度图像调整为352×352大小，按照ImageNet数据集的均值和方差对息肉图像进行归一化，将分割标注的灰度图像的像素值进行全局归一化到[0,1]范围。
为了强化神经网络模型在三个原始数据集上的鲁棒性和泛化能力，本发明实施例中使用多尺度训练对图像按照[0.75,1,1.25]的缩放系数代替数据增强方法。
三、编码器模块
由两部分组成：①多尺度表达的骨干网络；②感受野块组件。
3.1多尺度表达的骨干网络
编码器模块(即下采样过程)使用具有多尺度残差结构的Res2Net作为特征提取器提取息肉图像的多样性特征，其中特征提取器由五个编码器块(Encoder-Blocki,i＝1,2,…,5)组成，将这五个编码器块编码后输出的特征图定义为：
E＝[E1,E2,E3,E4,E5] (1)
3.2感受野块组件
在神经网络中较浅层输出是低级特征图，其可以捕获丰富的空间信息和强调目标的边界，但视觉语义不充足；而较深层输出是高级特征图，其视觉语义丰富且拥有较深的感受野，可以体现目标的位置信息。因此，将El＝[E1,E2]定义为低级特征，Eh＝[E3,E4,E5]定义为高级特征。由于高级特征Eh拥有高级语义和更深的感受野，所以在网络结构较深的三个编码器块(Encoder-Block3,Encoder-Block4,Encoder-Block5)后面加入感受野块组件，可以获取到基于原始图像的特征图的多尺度感受野，增强编码器和解码器之间以及网络最深层的特征表示，将感受野块组件的输出特征表示为：
Ri＝RFB(Ei),i＝3,4，5 (2)
式(2)中的RFB表示感受野块组件中由多分支的卷积和空洞卷积组成的复合运算，Ei表示编码器块输出的拥有高级语义的特征，Ri表示具备多尺度感受野的特征。
四、解码器模块
由三部分组成：①多尺度跳跃连接；②局部上下文模块；③深监督。
4.1多尺度跳跃连接
解码器模块(即上采样过程)使用多尺度跳跃连接传输来自编码器的特征。相比于正常的跳跃连接，密集型多尺度跳跃连接使得一个解码器可以同时获得多个编码器输出的特征，因此解码器所拥有的特征是多尺度且丰富的，可以更好的提升分割性能。将解码器的特征定义为：
D＝[D1,D2,D3,D4,D5] (3)
对于每一个特征Di(i＝1,2,3,4,5)其由下述公式得到：
D5＝R5 (4)
D4＝⊙(C(↓(E1)),C(↓(E2)),C(↓(R3)),C(R4),C(↑(D5))) (5)
D3＝⊙(C(↓(E1)),C(↓(E2)),C(R3),C(↑(D4)),C(↑(D5))) (6)
D2＝⊙(C(↓(E1)),C(E2),C(↑(D3)),C(↑(D4)),C(↑(D5))) (7)
D1＝⊙(C(E1),C(↑(D2)),C(↑(D3)),C(↑(D4)),C(↑(D5))) (8)
式(5)～(8)中↓(·)表示基于池化的下采样操作，↑(·)表示基于双线性插值的上采样操作，C(·)表示卷积操作，⊙(·)表示复合操作，即将得到的通道和尺度大小的特征图按照串联形式拼接在一起，然后使用卷积、ReLU激活函数、批归一化将拼接后的特征图进行融合，得到丰富的且多尺度的语义信息特征。
4.2局部上下文模块
解码器模块的多尺度跳跃连接融合了丰富且多尺度的语义特征，提升了多样性息肉的分割效果，但多尺度的特征图在融合过程中也在一定程度上丢失了边界信息。通过使用基于注意力机制的局部上下文模块强化息肉与周围组织的边界轮廓信息，获取更精确的分割结果。局部上下文模块的定义如下：
Figure BDA0003191551020000061
Figure BDA0003191551020000062
其中，式(9)中的σ(·)表示Sigmoid函数，pred表示息肉分割装置输出的预测图在上采样各阶段的表达，AttenMap表示侧重边界像素的注意力图。式(10)中的
Figure BDA0003191551020000071
表示矩阵逐元素相乘操作，
Figure BDA0003191551020000072
表示矩阵逐元素相加操作，X表示的是解码器的特征图[D1,D2,D3,D4]，Xatten表示经过注意力机制强化后的解码器的特征图。
4.3深监督
整个网络模型引入了多尺度跳跃连接这种密集型的拓扑结构后，增加了神经网络反向传播中的梯度，为了减轻梯度爆炸或梯度消失对于网络模型的影响，提升收敛速度，故在分割装置中引入了深监督机制，通过辅助损失函数对网络模型起到校准和剪枝的作用。
五、最终分割的预测结果
将解码器的特征Di和对应的预测值作为局部上下文模块的输入，在上采样过程中逐步获得拥有更准确的息肉特征和更清晰的边界的特征图Di-1，同时利用深监督机制优化网络模型的梯度。最终，特征图D1经过LCA模块强化后得到注意力特征图
Figure BDA0003191551020000074
其通过Sigmoid函数后获得最终分割的预测结果。
本发明实施例通过对结肠镜检查中的内镜图像进行一系列的预处理，如：调整分辨率大小、归一化、多尺度训练等，然后利用具有多尺度残差结构的特征提取器和能捕获多尺度感受野的感受野块组件对息肉的多样性特征进行有效且细粒度的提取，再使用多尺度跳跃连接传递密集且丰富的上下文信息，进一步采用局部上下文注意力机制建立息肉的边界关系，实现精确的边界轮廓提取，最后引入深监督机制优化网络模型的梯度，缩短网络模型的训练时间，加快其收敛速度。
表1
Method mDice mIoU wfm Sm maxEm MAE
U-Net 0.710 0.627 0.684 0.843 0.876 0.022
U-Net++ 0.707 0.624 0.687 0.839 0.898 0.018
SFA 0.467 0.329 0.341 0.640 0.817 0.065
PraNet 0.871 0.797 0.843 0.925 0.972 0.010
ours 0.900 0.834 0.885 0.943 0.969 0.006
表2
Figure BDA0003191551020000073
Figure BDA0003191551020000081
表3
Method mDice mIoU wfm Sm maxEm MAE
U-Net 0.818 0.746 0.794 0.858 0.893 0.055
U-Net++ 0.821 0.743 0.808 0.862 0.910 0.048
ResUNet 0.791 n/a n/a n/a n/a n/a
ResUNet++ 0.813 0.793 n/a n/a n/a n/a
SFA 0.723 0.611 0.670 0.782 0.849 0.075
PraNet 0.898 0.84 0.885 0.915 0.948 0.030
ours 0.897 0.842 0.889 0.915 0.943 0.026
该发明可有效地实现精确、快速、鲁棒性强、泛化能力好的息肉分割任务，并获得客观的社会效益和经济效益。最佳实施方案拟采用专利转让、技术合作或产品开发。基于该发明开发的产品可以应用于辅助临床医生诊断和筛查结直肠腺瘤性息肉，帮助患者及时预防结直肠癌。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，其特征在于，所述装置包括：
数据预处理模块，用于对结直肠癌息肉图像数据的分辨率进行调整和归一化处理；
编码器模块，使用多尺度残差结构的特征提取器和能捕获多尺度感受野的感受野块组件对息肉的多样性特征进行提取；
解码器模块，利用密集型多尺度跳跃连接传递上下文信息实现分割细节，通过局部上下文提供的注意力机制完成边界分割；并在上采样过程中使用深监督技术校准，减轻在训练时的梯度消失或爆炸现象；
所述特征提取器用于提取息肉图像的多样性特征，所述特征提取器由五个编码器块组成，将输出的特征图定义为：
E＝[E1，E2，E3，E4，E5]
其中，E1，E2，E3，E4，E5均为特征；
将E3，E4，E5定义为高级特征，在所述高级特征对应的编码器块后加入感受野块组件，获取输出的特征图的多尺度感受野，将感受野块组件的输出特征表示为：
Ri＝RFB(Ei)，i＝3，4，5
其中，Ei表示编码器块输出的拥有高级语义的特征，Ri表示具备多尺度感受野的特征，RFB表示感受野块组件中由多分支的卷积和空洞卷积组成的复合运算；
所述解码器模块包括：多尺度跳跃连接、局部上下文子模块及深监督子模块；
所述多尺度跳跃连接为：
上采样过程中使用多尺度跳跃连接传输来自编码器模块的特征，解码器模块的特征定义为：
D＝[D1，D2，D3，D4，D5]
对于每一个特征Di由下述公式得到：
D5＝R5
D4＝⊙(C(↓(E1))，C(↓(E2))，C(↓(R3))，C(R4)，C(↑(D5)))
D3＝⊙(C(↓(E1))，C(↓(E2))，C(R3)，C(↑(D4))，C(↑(D5)))
D2＝⊙(C(↓(E1))，C(E2)，C(↑(D3))，C(↑(D4))，C(↑(D5)))
D1＝⊙(C(E1)，C(↑(D2))，C(↑(D3))，C(↑(D4))，C(↑(D5)))
式中，↓(·)表示基于池化的下采样操作，↑(·)表示基于双线性插值的上采样操作，C(·)表示卷积操作，⊙(·)表示复合操作，将得到的通道和尺度大小相同的特征图按照串联形式拼接在一起，使用卷积、ReLU激活函数、批归一化将拼接后的特征图进行融合。
2.根据权利要求1所述的一种基于增强型多尺度特征的深度学习结直肠癌息肉分割装置，其特征在于，所述局部上下文子模块为：
Figure FDA0003671848400000021
Figure FDA0003671848400000022
其中，σ(·)表示Sigmoid函数，pred表示输出的预测图在上采样各阶段的表达，AttenMap表示侧重边界像素的注意力图；
Figure FDA0003671848400000023
表示矩阵逐元素相乘操作，
Figure FDA0003671848400000024
表示矩阵逐元素相加操作，X表示的是解码器的特征图，Xatten表示经过注意力机制强化后的解码器的特征图。
CN202110879728.6A 2021-08-02 2021-08-02 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置 Active CN113658201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110879728.6A CN113658201B (zh) 2021-08-02 2021-08-02 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110879728.6A CN113658201B (zh) 2021-08-02 2021-08-02 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置

Publications (2)

Publication Number Publication Date
CN113658201A CN113658201A (zh) 2021-11-16
CN113658201B true CN113658201B (zh) 2022-07-29

Family

ID=78490953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110879728.6A Active CN113658201B (zh) 2021-08-02 2021-08-02 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置

Country Status (1)

Country Link
CN (1) CN113658201B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842029B (zh) * 2022-05-09 2024-06-18 江苏科技大学 一种融合通道和空间注意力的卷积神经网络息肉分割方法
CN114972760B (zh) * 2022-06-17 2024-04-16 湘潭大学 基于多尺度注意力增强U-Net的电离图自动描迹方法
CN115359066B (zh) * 2022-10-24 2022-12-27 岱川医疗(深圳)有限责任公司 用于内窥镜的病灶检测方法、装置、电子设备及存储介质
CN116958535B (zh) * 2023-04-14 2024-04-16 三峡大学 一种基于多尺度残差推理的息肉分割系统及方法
CN116957968B (zh) * 2023-07-20 2024-04-05 深圳大学 一种消化道内窥镜图像增强方法、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105412A (zh) * 2019-12-30 2020-05-05 郑州大学 一种用于肠道息肉检测识别的智能辅助系统
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法
CN112489061A (zh) * 2020-12-09 2021-03-12 浙江工业大学 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112613517A (zh) * 2020-12-17 2021-04-06 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN112712528A (zh) * 2020-12-24 2021-04-27 浙江工业大学 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105412A (zh) * 2019-12-30 2020-05-05 郑州大学 一种用于肠道息肉检测识别的智能辅助系统
AU2020100200A4 (en) * 2020-02-08 2020-06-11 Huang, Shuying DR Content-guide Residual Network for Image Super-Resolution
CN112150428A (zh) * 2020-09-18 2020-12-29 青岛大学 一种基于深度学习的医学图像分割方法
CN112489061A (zh) * 2020-12-09 2021-03-12 浙江工业大学 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN112613517A (zh) * 2020-12-17 2021-04-06 深圳大学 内窥镜仪器分割方法、装置、计算机设备及存储介质
CN112712528A (zh) * 2020-12-24 2021-04-27 浙江工业大学 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
改进DeepLabv3+网络的肠道息肉分割方法;王亚刚等;《计算机科学与探索》;20191118(第07期);全文 *

Also Published As

Publication number Publication date
CN113658201A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113658201B (zh) 基于增强型多尺度特征的深度学习结直肠癌息肉分割装置
Cai et al. A review of the application of deep learning in medical image classification and segmentation
Yeung et al. Focus U-Net: A novel dual attention-gated CNN for polyp segmentation during colonoscopy
Lal et al. NucleiSegNet: Robust deep learning architecture for the nuclei segmentation of liver cancer histopathology images
CN108268870B (zh) 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN112489061B (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN108198184B (zh) 造影图像中血管分割的方法和系统
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN112258488A (zh) 一种医疗影像病灶分割方法
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
Rahman et al. A new method for lung nodule detection using deep neural networks for CT images
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN114820635A (zh) 联合注意力u形网络和多尺度特征融合的息肉分割方法
CN112150476A (zh) 基于时空判别性特征学习的冠状动脉序列血管分割方法
CN116862877A (zh) 基于卷积神经网络的扫描图像分析系统及其方法
WO2023047118A1 (en) A computer-implemented method of enhancing object detection in a digital image of known underlying structure, and corresponding module, data processing apparatus and computer program
Liu et al. A coarse-to-fine segmentation frame for polyp segmentation via deep and classification features
Feng et al. ConvWin-UNet: UNet-like hierarchical vision Transformer combined with convolution for medical image segmentation
Chen et al. Dynamic depth-aware network for endoscopy super-resolution
Ahmed et al. COMA-Net: Towards generalized medical image segmentation using complementary attention guided bipolar refinement modules
Hwang et al. An automated detection system for colonoscopy images using a dual encoder-decoder model
CN116468887A (zh) 一种具有普适性的结肠息肉分割方法
CN114842029B (zh) 一种融合通道和空间注意力的卷积神经网络息肉分割方法
Tu et al. Segmentation of lesion in dermoscopy images using dense-residual network with adversarial learning
CN115375706A (zh) 图像分割模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: An Xingwei

Inventor after: Wang Miao

Inventor after: Ming Dong

Inventor after: Liu Gang

Inventor after: Hang Wei

Inventor after: Li Ning

Inventor before: Wang Miao

Inventor before: An Xingwei

Inventor before: Ming Dong

Inventor before: Liu Gang

Inventor before: Hang Wei

Inventor before: Li Ning