CN115409846A - 一种基于深度学习的结直肠癌病灶区域轻量级分割方法 - Google Patents

一种基于深度学习的结直肠癌病灶区域轻量级分割方法 Download PDF

Info

Publication number
CN115409846A
CN115409846A CN202210596796.6A CN202210596796A CN115409846A CN 115409846 A CN115409846 A CN 115409846A CN 202210596796 A CN202210596796 A CN 202210596796A CN 115409846 A CN115409846 A CN 115409846A
Authority
CN
China
Prior art keywords
convolution
channel
network
module
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210596796.6A
Other languages
English (en)
Inventor
李兰兰
胡益煌
王大彪
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210596796.6A priority Critical patent/CN115409846A/zh
Publication of CN115409846A publication Critical patent/CN115409846A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine

Abstract

本发明提出一种基于深度学习的结直肠癌病灶区域轻量级分割方法,包括以下步骤;步骤S1、数据处理:对获得的腹部图像进行数据预处理和数据增强操作;步骤S2、网络搭建与训练:所述网络为基于语境引导网络搭建的神经网络,在语境引导块中加入高效金字塔通道注意力模块,采用残差思想与语境引导块提取的局部特征结合,进行神经网络训练;步骤S3、预测分割:向神经网络输入测试数据,读取训练时保存好的模型权重并执行预测分割,将输出的图像病灶区域预测分割结果与神经网络的Label进行对比评价;本发明能取得较为优异的分割效果,而且能够在模型轻量化和性能之间取得较好的平衡。

Description

一种基于深度学习的结直肠癌病灶区域轻量级分割方法
技术领域
本发明涉及图像识别技术领域,尤其是一种基于深度学习的结直肠癌病灶区域轻量级分割方法。
背景技术
对于结直肠癌的诊断和治疗已经成为重要的研究问题。医学图像分割的目的是将医学图像中感兴趣的目标区域分割出来,为疾病诊断与治疗提供更可靠的依据。近年来,依靠深度神经网络强大的特征学习能力,深度学习在多种医学图像分割问题中获得了成功的应用。Ronneberger等提出的U-Net是一种最为常用的医学分割网络模型,具有编码器-解码器的结构,其中编码器旨在捕获更高级的语义特征并逐渐减少特征图的空间维度,解码器则用于恢复对象细节和空间维度。为了进一步提高U-Net的性能,许多学者将学习能力更强的Simonyan等提出的VGGNet、He等提出的ResNet和Huang等提出的DenseNet等网络结构融入U-Net框架中。例如,Guo等将VGG模块作为U-Net的编码器,在结直肠息肉分割任务中获得了较高的分割精度;Abedalla等将在ImageNet上预训练过的ResNet作为编码器部分,在胸部X射线图像气胸分割问题中取得了很好的效果;Li等基于DenseNet模型设计编码器,提高了肝脏和肝肿瘤分割的精度。此外,很多学者也将注意力机制引入U-Net网络,旨在选择出对当前任务更关键的特征。例如,Oktay等在U-Net框架下添加门注意力模块,在腹部CT多标签分割问题中得到了很好的应用。
上述方法设计了不同的网络结构用于医学图像分割,然而这些网络算法存在着一些局限性:1、在取得较好分割效果的同时,模型参数量也在大幅上涨,耗费的硬件资源和时间较多;2、网络在病灶的细节分割上存在些许不足,不能够充分学习图像的全局特征和局部特征,从而导致不能很好的分割病灶区域,对于病灶区域的细节分割容易出现漏判,且网络的模型参数量不能够很好控制。
发明内容
本发明提出一种基于深度学习的结直肠癌病灶区域轻量级分割方法,能取得较为优异的分割效果,而且能够在模型轻量化和性能之间取得较好的平衡。
本发明采用以下技术方案。
一种基于深度学习的结直肠癌病灶区域轻量级分割方法,包括以下步骤;
步骤S1、数据处理:对获得的腹部图像进行数据预处理和数据增强操作;
步骤S2、网络搭建与训练:所述网络为基于语境引导网络搭建的神经网络,在语境引导块中加入高效金字塔通道注意力模块,采用残差思想与语境引导块提取的局部特征结合,进行神经网络训练;
步骤S3、预测分割:向神经网络输入测试数据,读取训练时保存好的模型权重并执行预测分割,将输出的图像病灶区域预测分割结果与神经网络的Label进行对比评价。
在步骤S1中,腹部图像为腹部MRI数据图像数据集,并把数据集按所需比例划分为训练集和测试集,所述数据预处理用于提升步骤S3输出的病灶分割精度,其方法为:对图像进行归一化后,利用高斯拉普拉斯滤波器增强腹部图像的边缘纹理表达,再将原图像与滤波后的图像相结合,同时扩大算子的高斯平滑分量以减少叠加后的噪声分量;其中高斯拉普拉斯滤波器的公式如下:
Figure BDA0003668253380000021
其中σ是高斯标准差,LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点,x,y分别是水平像素和垂直像素值,e为自然常数。
数据集按3:2的比例划分为训练集和测试集。
步骤S2中,网络模型为高效金字塔语境引导网络模型,即轻量性的语境引导网络模型,并在此基础上引入深度可分离卷积以整体改进模型并在轻量性和高性能之间取得平衡,在神经网络的编码模块中加入高效金字塔通道注意力模块以学习图像中的多尺度全局特征,并采用残差思想与语境引导块提取的局部特征相结合,学习丰富图像中的高级和低级语义特征。
所述网络模型为具有三个下采样部分的EPCG-Net模型,在第一个下采样部分只叠加三个标准卷积层进行特征的初步提取,在第二部分和第三部分中将M和N个EPCG块进行叠加,以分别将特征图下采样到输入图像;
对于第二部分和第三部分来说,第一层的输入是通过组合前一部分的第一和最后一块来获得,以使得图像特征得到重用激励,并减少了梯度消失的可能;
最后,使用1×1卷积层和线性插值上采样来产生分割预测,具体为;特征提取的EPCG块的空洞卷积采用深度可分离卷积以进一步减少参数的数量,消除了跨通道的计算成本,也避免了网络性能的过度下降;所述注意力机制采用分组卷积以减少参数量。
所述EPCG模块中,首先采用1×1的卷积操作,然后将卷积操作后的向量分别送入3×3的卷积和3×3的空洞深度可分离卷积,接着将普通卷积和空洞深度可分离卷积的两个张量进行通道叠加,随后对合并的张量进行BatchNorm批归一化,在归一化输出后加入PReLU激活函数;
所述3×3的普通卷积用于提取局部特征,3×3的空洞深度可分离卷积用于提取局部上下文特征,通过空洞深度可分离卷积的空洞率提高,来逐渐提高提取的上下文特征范围,以利用深度可分离卷积减少深度卷积引起的性能下降,同时避免过多地增加参数量,取得参数量和性能的一个平衡;
通过PReLU函数激活使网络具有非线性映射学习能力,具体为将激活后的张量通过高效金字塔通道注意力模块EPCA,以缓解梯度消失并增强网络性能,采用残差的方法将处理后的张量与初始输入张量进行相加。
所述EPCA模块以通道注意力机制允许网络有选择地对每个通道的重要性进行加权,以帮助网络更好的学习需要的特征,具体为:设X∈RC×H×W表示输入特征图,其中C、H、W分别表示其通道数、高度和宽度;设置由压缩和激励两部分组成的SE块,分别用于编码全局信息和自适应地重新分配通道关系权重;通过使用全局平均池化来生成通道级描述,该全局平均池化将全局空间信息嵌入到通道描述中;全局平均池化运算符可以通过以下公式表示:
Figure BDA0003668253380000031
SE模块中第c个通道的关注权重可以表示为:
wc=σ(W1δ(W0(gc))) 公式三;
其中,符号δ表示特定线性单元ReLU运算,
Figure BDA0003668253380000041
Figure BDA0003668253380000042
表示两个全连接(FC)层;通过两个全连接层以更有效地组合通道之间的线性信息,并有助于高、低通道维度信息的交互;符号σ表示激励函数,使用Sigmoid函数;通过使用激励函数在通道交互后为通道分配权重以更有效地提取信息;以上所述的生成通道关注度的过程称为SEWeight模块;
EPCA模块结构中,在高效金字塔拆分注意力模块EPSA中,输入图像特征时,先将通道进行平均划分,然后把切分好的特征张量送入分组卷积;
为防止提取不同尺度特征所包含信息量不足且不能充分发挥注意力机制,引出EPCA注意力模块,具体为:首先进入分组卷积模块GConv将输入张量并行进行不同尺度的组卷积操作得到多尺度特征Fi(i=0,1,2,3),旨在提取不同尺度的特征,每个尺度的卷积组数根据卷积核大小递增,以减少不同尺度卷积带来的参数量以提高网络效率;而后将多尺度特征在通道上重新连接得到重构特征张量F;通过SEWeight模块提取多尺度特征张量的通道关注度权重来构建跨维交互,利用Softmax运算重新校准相应通道的关注权重得到AttWeight,从而建立了通道依赖关系,将逐元素乘积的运算应用于重新校准的权重和对应的特征映射;最后得到更丰富的多尺度特征信息的重构特征图作为输出out;Fi、F、AttWeight、out之间的关系如以下公式所示:
F=Cat([F1,…,Fi])i=1,2,3,4 公式四;
Figure BDA0003668253380000043
AttWeightCat=([AttWeight1,…,AttWeighti])i=0,1,2,3 公式六;
Figure BDA0003668253380000051
所述GConv模块结构中,输入图像特征时分别采用3×3、5×5、7×7、9×9四个不同卷积核进行卷积,每个卷积过后的特征通道递减为
Figure BDA0003668253380000052
通道,以每个卷积核产生不同的空间感受野,以并行卷积同时处理多尺度张量信息;引入分组卷积以减小卷积参数量;
分组卷积过后将多尺度特征进行通道叠加,形成和模块输入大小一致的重组多尺度特征张量;分组卷积对应的组数与卷积核大小的关系为:
Figure BDA0003668253380000053
其中,G为分组的组数,K为对应的卷积核大小。
本发明提出的方法能够取得较为优异的分割效果,而且能够在模型轻量化和性能之间取得一个较好的平衡,具体为:
优点1:
引入多尺度注意力机制,能够更加关注多尺度特征,从而避免病灶细节的漏判。
优点2:
利用轻量级网络的思想,降低网络的参数量。在降低网络的参数量同时,采取一些措施来避免网络轻量化导致的性能过度下降。
优点3:
在网络轻量化和性能之间取得了较好的平衡,于医学临床诊断分割应用和将来部署在移动设备上具有一定的指导意义。
附图说明
下面结合附图和具体实施方式对本发明进一步详细的说明:
附图1是本发明所述方法的流程示意图;
附图2是图像数据集内图像经预处理的滤波处理后的前后对比示意图(图中(a)为处理前,(b)为处理后);
附图3是神经网络模型的训练总体框架示意图;
附图4是EPCG模块的结构示意图;
附图5是EPCA模块的结构示意图;
附图6是GConv模块的结构示意图;
附图7是针对图像数据集进行测试时不同技术方案的对比示意图(本发明是EPCG-Net方案);
附图8是与图7对应的测试实验的评价指标结果示意图(本发明是EPCG-Net方案)。
具体实施方式
如图所示,一种基于深度学习的结直肠癌病灶区域轻量级分割方法,包括以下步骤;
步骤S1、数据处理:对获得的腹部图像进行数据预处理和数据增强操作;
步骤S2、网络搭建与训练:所述网络为基于语境引导网络搭建的神经网络,在语境引导块中加入高效金字塔通道注意力模块,采用残差思想与语境引导块提取的局部特征结合,进行神经网络训练;
步骤S3、预测分割:向神经网络输入测试数据,读取训练时保存好的模型权重并执行预测分割,将输出的图像病灶区域预测分割结果与神经网络的Label进行对比评价。
如图2所示,在步骤S1中,腹部图像为腹部MRI数据图像数据集,并把数据集按所需比例划分为训练集和测试集,所述数据预处理用于提升步骤S3输出的病灶分割精度,其方法为:对图像进行归一化后,利用高斯拉普拉斯滤波器增强腹部图像的边缘纹理表达,再将原图像与滤波后的图像相结合,同时扩大算子的高斯平滑分量以减少叠加后的噪声分量;其中高斯拉普拉斯滤波器的公式如下:
Figure BDA0003668253380000061
其中σ是高斯标准差,LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点,x,y分别是水平像素和垂直像素值,e为自然常数。
数据集按3:2的比例划分为训练集和测试集。
步骤S2中,网络模型为高效金字塔语境引导网络模型,即轻量性的语境引导网络模型,并在此基础上引入深度可分离卷积以整体改进模型并在轻量性和高性能之间取得平衡,在神经网络的编码模块中加入高效金字塔通道注意力模块以学习图像中的多尺度全局特征,并采用残差思想与语境引导块提取的局部特征相结合,学习丰富图像中的高级和低级语义特征。
如图3所示,所述网络模型为具有三个下采样部分的EPCG-Net模型,在第一个下采样部分只叠加三个标准卷积层进行特征的初步提取,在第二部分和第三部分中将M和N个EPCG块进行叠加,以分别将特征图下采样到输入图像;对于第二部分和第三部分来说,第一层的输入是通过组合前一部分的第一和最后一块来获得,以使得图像特征得到重用激励,并减少了梯度消失的可能;
最后,使用1×1卷积层和线性插值上采样来产生分割预测,具体为;特征提取的EPCG块的空洞卷积采用深度可分离卷积以进一步减少参数的数量,消除了跨通道的计算成本,也避免了网络性能的过度下降;所述注意力机制采用分组卷积以减少参数量。
如图4所示,所述EPCG模块中,首先采用1×1的卷积操作,然后将卷积操作后的向量分别送入3×3的卷积和3×3的空洞深度可分离卷积,接着将普通卷积和空洞深度可分离卷积的两个张量进行通道叠加,随后对合并的张量进行BatchNorm批归一化,在归一化输出后加入PReLU激活函数;
所述3×3的普通卷积用于提取局部特征,3×3的空洞深度可分离卷积用于提取局部上下文特征,通过空洞深度可分离卷积的空洞率提高,来逐渐提高提取的上下文特征范围,以利用深度可分离卷积减少深度卷积引起的性能下降,同时避免过多地增加参数量,取得参数量和性能的一个平衡;
通过PReLU函数激活使网络具有非线性映射学习能力,具体为将激活后的张量通过高效金字塔通道注意力模块EPCA,以缓解梯度消失并增强网络性能,采用残差的方法将处理后的张量与初始输入张量进行相加。
如图5所示,所述EPCA模块以通道注意力机制允许网络有选择地对每个通道的重要性进行加权,以帮助网络更好的学习需要的特征,具体为:设X∈RC×H×W表示输入特征图,其中C、H、W分别表示其通道数、高度和宽度;设置由压缩和激励两部分组成的SE块,分别用于编码全局信息和自适应地重新分配通道关系权重;通过使用全局平均池化来生成通道级描述,该全局平均池化将全局空间信息嵌入到通道描述中;全局平均池化运算符可以通过以下公式表示:
Figure BDA0003668253380000081
SE模块中第c个通道的关注权重可以表示为:
wc=σ(W1δ(W0(gc))) 公式三;
其中,符号δ表示特定线性单元ReLU运算,
Figure BDA0003668253380000082
Figure BDA0003668253380000083
表示两个全连接(FC)层;通过两个全连接层以更有效地组合通道之间的线性信息,并有助于高、低通道维度信息的交互;符号σ表示激励函数,使用Sigmoid函数;通过使用激励函数在通道交互后为通道分配权重以更有效地提取信息;以上所述的生成通道关注度的过程称为SEWeight模块;
EPCA模块结构中,在高效金字塔拆分注意力模块EPSA中,输入图像特征时,先将通道进行平均划分,然后把切分好的特征张量送入分组卷积;
为防止提取不同尺度特征所包含信息量不足且不能充分发挥注意力机制,引出EPCA注意力模块,具体为:首先进入分组卷积模块GConv将输入张量并行进行不同尺度的组卷积操作得到多尺度特征Fi(i=0,1,2,3),旨在提取不同尺度的特征,每个尺度的卷积组数根据卷积核大小递增,以减少不同尺度卷积带来的参数量以提高网络效率;而后将多尺度特征在通道上重新连接得到重构特征张量F;通过SEWeight模块提取多尺度特征张量的通道关注度权重来构建跨维交互,利用Softmax运算重新校准相应通道的关注权重得到AttWeight,从而建立了通道依赖关系,将逐元素乘积的运算应用于重新校准的权重和对应的特征映射;最后得到更丰富的多尺度特征信息的重构特征图作为输出out;Fi、F、AttWeight、out之间的关系如以下公式所示:
F=Cat([F1,…,Fi])i=1,2,3,4 公式四;
Figure BDA0003668253380000091
AttWeightCat=([AttWeight1,…,AttWeighti])i=0,1,2,3 公式六;
Figure BDA0003668253380000092
如图6所示,所述GConv模块结构中,输入图像特征时分别采用3×3、5×5、7×7、9×9四个不同卷积核进行卷积,每个卷积过后的特征通道递减为
Figure BDA0003668253380000093
通道,以每个卷积核产生不同的空间感受野,以并行卷积同时处理多尺度张量信息;引入分组卷积以减小卷积参数量;
分组卷积过后将多尺度特征进行通道叠加,形成和模块输入大小一致的重组多尺度特征张量;分组卷积对应的组数与卷积核大小的关系为:
Figure BDA0003668253380000094
其中,G为分组的组数,K为对应的卷积核大小。
如图7、图8所示,为进一步验证EPCG-Net的有效性,将EPCG-Net与目前经典分割网络U-Net及其变体进行性能对比。同样是在腹部图像的数据集上进行,为了方便比较,对网络进行了定量分析和定性分析。
图8的表格给出了实验的评价指标结果,可以看到EPCG-Net取得了与AttU-Net相当的性能,但是模型参数量和浮点数大小却远远小于AttU-Net;与基础U-Net相比,EPCG-Net的模型参数量和浮点数大小也大幅减小。与U-Net、ResU-Net和DenseU-Net相比,Dice分别提高了6.9%、3.9%和0.3%,mIoU分别提高了7.8%、4.2%和0.6%。在Acc、Sen和Spe三个指标上,EPCG-Net与其余网络相比也具有较大的优势。同时可以看到,当EPCG-Net取M3N21的时候,由于网络复杂度变高、深度出现了过深的情况导致网络性能出现了下降。
在数据集上的定性分割结果如图7所示,可以看到CG-Net因为缺失多尺度金字塔注意力机制等结构在分割上出现了一定漏判,而U-Net及其变体出现了一定程度的误判。同样的可以看出EPCG-Net取M3N21的时候由于网络复杂度过大等原因在分割视觉效果上也出现了下降。定性分割结果与定量指标结果指向一致,EPCG-Net的分割结果能较好地描述真实的金标准。
综上所述,本发明提出的方法能够取得较为优异的分割效果,而且能够在模型轻量化和性能之间取得一个较好的平衡。

Claims (8)

1.一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:包括以下步骤;
步骤S1、数据处理:对获得的腹部图像进行数据预处理和数据增强操作;
步骤S2、网络搭建与训练:所述网络为基于语境引导网络搭建的神经网络,在语境引导块中加入高效金字塔通道注意力模块,采用残差思想与语境引导块提取的局部特征结合,进行神经网络训练;
步骤S3、预测分割:向神经网络输入测试数据,读取训练时保存好的模型权重并执行预测分割,将输出的图像病灶区域预测分割结果与神经网络的Label进行对比评价。
2.根据权利要求1所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:在步骤S1中,腹部图像为腹部MRI数据图像数据集,并把数据集按所需比例划分为训练集和测试集,所述数据预处理用于提升步骤S3输出的病灶分割精度,其方法为:对图像进行归一化后,利用高斯拉普拉斯滤波器增强腹部图像的边缘纹理表达,再将原图像与滤波后的图像相结合,同时扩大算子的高斯平滑分量以减少叠加后的噪声分量;其中高斯拉普拉斯滤波器的公式如下:
Figure RE-FDA0003905092200000011
其中σ是高斯标准差,LoG(x,y)是高斯拉普拉斯滤波器滤波后的像素点,x,y分别是水平像素和垂直像素值,e为自然常数。
3.根据权利要求2所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:数据集按3:2的比例划分为训练集和测试集。
4.根据权利要求1所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:步骤S2中,网络模型为高效金字塔语境引导网络模型,即轻量性的语境引导网络模型,并在此基础上引入深度可分离卷积以整体改进模型并在轻量性和高性能之间取得平衡,在神经网络的编码模块中加入高效金字塔通道注意力模块以学习图像中的多尺度全局特征,并采用残差思想与语境引导块提取的局部特征相结合,学习丰富图像中的高级和低级语义特征。
5.根据权利要求4所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:所述网络模型为具有三个下采样部分的EPCG-Net模型,在第一个下采样部分只叠加三个标准卷积层进行特征的初步提取,在第二部分和第三部分中将M和N个EPCG块进行叠加,以分别将特征图下采样到输入图像;
对于第二部分和第三部分来说,第一层的输入是通过组合前一部分的第一和最后一块来获得,以使得图像特征得到重用激励,并减少了梯度消失的可能;
最后,使用1×1卷积层和线性插值上采样来产生分割预测,具体为;特征提取的EPCG块的空洞卷积采用深度可分离卷积以进一步减少参数的数量,消除了跨通道的计算成本,也避免了网络性能的过度下降;所述注意力机制采用分组卷积以减少参数量。
6.根据权利要求5所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:所述EPCG模块中,首先采用1×1的卷积操作,然后将卷积操作后的向量分别送入3×3的卷积和3×3的空洞深度可分离卷积,接着将普通卷积和空洞深度可分离卷积的两个张量进行通道叠加,随后对合并的张量进行BatchNorm批归一化,在归一化输出后加入PReLU激活函数;
所述3×3的普通卷积用于提取局部特征,3×3的空洞深度可分离卷积用于提取局部上下文特征,通过空洞深度可分离卷积的空洞率提高,来逐渐提高提取的上下文特征范围,以利用深度可分离卷积减少深度卷积引起的性能下降,同时避免过多地增加参数量,取得参数量和性能的一个平衡;
通过PReLU函数激活使网络具有非线性映射学习能力,具体为将激活后的张量通过高效金字塔通道注意力模块EPCA,以缓解梯度消失并增强网络性能,采用残差的方法将处理后的张量与初始输入张量进行相加。
7.根据权利要求5所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:所述EPCA模块以通道注意力机制允许网络有选择地对每个通道的重要性进行加权,以帮助网络更好的学习需要的特征,具体为:设X∈RC×H×W表示输入特征图,其中C、H、W分别表示其通道数、高度和宽度;设置由压缩和激励两部分组成的SE块,分别用于编码全局信息和自适应地重新分配通道关系权重;通过使用全局平均池化来生成通道级描述,该全局平均池化将全局空间信息嵌入到通道描述中;全局平均池化运算符可以通过以下公式表示:
Figure RE-FDA0003905092200000031
SE模块中第c个通道的关注权重可以表示为:
wc=σ(W1δ(W0(gc))) 公式三;
其中,符号δ表示特定线性单元ReLU运算,
Figure RE-FDA0003905092200000032
Figure RE-FDA0003905092200000033
表示两个全连接(FC)层;通过两个全连接层以更有效地组合通道之间的线性信息,并有助于高、低通道维度信息的交互;符号σ表示激励函数,使用Sigmoid函数;通过使用激励函数在通道交互后为通道分配权重以更有效地提取信息;以上所述的生成通道关注度的过程称为SEWeight模块;
EPCA模块结构中,在高效金字塔拆分注意力模块EPSA中,输入图像特征时,先将通道进行平均划分,然后把切分好的特征张量送入分组卷积;
为防止提取不同尺度特征所包含信息量不足且不能充分发挥注意力机制,引出EPCA注意力模块,具体为:首先进入分组卷积模块GConv将输入张量并行进行不同尺度的组卷积操作得到多尺度特征Fi(i=0,1,2,3),旨在提取不同尺度的特征,每个尺度的卷积组数根据卷积核大小递增,以减少不同尺度卷积带来的参数量以提高网络效率;而后将多尺度特征在通道上重新连接得到重构特征张量F;通过SEWeight模块提取多尺度特征张量的通道关注度权重来构建跨维交互,利用Softmax运算重新校准相应通道的关注权重得到AttWeight,从而建立了通道依赖关系,将逐元素乘积的运算应用于重新校准的权重和对应的特征映射;最后得到更丰富的多尺度特征信息的重构特征图作为输出out;Fi、F、AttWeight、out之间的关系如以下公式所示:
F=Cat([F1,…,Fi])i=1,2,3,4 公式四;
Figure RE-FDA0003905092200000041
AttWeightCat=([AttWeight1,…,AttWeighti])i=0,1,2,3 公式六;
Figure RE-FDA0003905092200000042
8.根据权利要求7所述的一种基于深度学习的结直肠癌病灶区域轻量级分割方法,其特征在于:所述GConv模块结构中,输入图像特征时分别采用3×3、5×5、7×7、9×9四个不同卷积核进行卷积,每个卷积过后的特征通道递减为
Figure RE-FDA0003905092200000043
通道,以每个卷积核产生不同的空间感受野,以并行卷积同时处理多尺度张量信息;引入分组卷积以减小卷积参数量;
分组卷积过后将多尺度特征进行通道叠加,形成和模块输入大小一致的重组多尺度特征张量;分组卷积对应的组数与卷积核大小的关系为:
Figure RE-FDA0003905092200000044
其中,G为分组的组数,K为对应的卷积核大小。
CN202210596796.6A 2022-05-30 2022-05-30 一种基于深度学习的结直肠癌病灶区域轻量级分割方法 Pending CN115409846A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210596796.6A CN115409846A (zh) 2022-05-30 2022-05-30 一种基于深度学习的结直肠癌病灶区域轻量级分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210596796.6A CN115409846A (zh) 2022-05-30 2022-05-30 一种基于深度学习的结直肠癌病灶区域轻量级分割方法

Publications (1)

Publication Number Publication Date
CN115409846A true CN115409846A (zh) 2022-11-29

Family

ID=84157641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210596796.6A Pending CN115409846A (zh) 2022-05-30 2022-05-30 一种基于深度学习的结直肠癌病灶区域轻量级分割方法

Country Status (1)

Country Link
CN (1) CN115409846A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院(湖北省人民医院) 一种眼底病灶监测装置及方法
CN117647586A (zh) * 2024-01-29 2024-03-05 北京科技大学 一种煤岩破坏动态监测与识别方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721302A (zh) * 2023-08-10 2023-09-08 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN116721302B (zh) * 2023-08-10 2024-01-12 成都信息工程大学 一种基于轻量级网络的冰雪晶粒子图像分类方法
CN117635613A (zh) * 2024-01-25 2024-03-01 武汉大学人民医院(湖北省人民医院) 一种眼底病灶监测装置及方法
CN117635613B (zh) * 2024-01-25 2024-04-16 武汉大学人民医院(湖北省人民医院) 一种眼底病灶监测装置及方法
CN117647586A (zh) * 2024-01-29 2024-03-05 北京科技大学 一种煤岩破坏动态监测与识别方法和装置
CN117647586B (zh) * 2024-01-29 2024-04-05 北京科技大学 一种煤岩破坏动态监测与识别方法和装置

Similar Documents

Publication Publication Date Title
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN108898175B (zh) 基于深度学习胃癌病理切片的计算机辅助模型构建方法
CN115409846A (zh) 一种基于深度学习的结直肠癌病灶区域轻量级分割方法
CN114758383A (zh) 基于注意力调制上下文空间信息的表情识别方法
CN113034505B (zh) 一种基于边缘感知网络的腺体细胞图像分割方法及装置
CN112712528B (zh) 一种多尺度u型残差编码器与整体反向注意机制结合的肠道病灶分割方法
CN110930378B (zh) 基于低数据需求的肺气肿影像处理方法及系统
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN112767417A (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
CN114723669A (zh) 一种基于上下文信息感知的肝脏肿瘤二点五维深度学习分割算法
CN115311194A (zh) 一种基于transformer和SE块的CT自动肝脏图像分割方法
Wang et al. Eulerian motion based 3dcnn architecture for facial micro-expression recognition
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN114821052A (zh) 基于自调节策略的三维脑肿瘤核磁共振图像分割方法
CN116310329A (zh) 基于轻量多尺度UNet的皮肤病变图像分割方法
CN115526829A (zh) 基于ViT与上下文特征融合的蜂窝肺病灶分割方法及网络
CN111626296A (zh) 基于深度神经网络的医学图像分割系统及方法、终端
CN114943721A (zh) 一种建立基于改进U-Net网络的颈部超声图像分割方法
CN114898157A (zh) 用于高光谱图像分类的全局学习装置及方法
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
CN116912253B (zh) 基于多尺度混合神经网络的肺癌病理图像分类方法
Dsouza et al. Real Time Facial Emotion Recognition Using CNN
CN115661029A (zh) 基于YOLOv5的肺结节检测与识别系统
Tyagi et al. An amalgamation of vision transformer with convolutional neural network for automatic lung tumor segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination