CN114742848A - 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 - Google Patents

基于残差双重注意力的息肉图像分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN114742848A
CN114742848A CN202210555996.7A CN202210555996A CN114742848A CN 114742848 A CN114742848 A CN 114742848A CN 202210555996 A CN202210555996 A CN 202210555996A CN 114742848 A CN114742848 A CN 114742848A
Authority
CN
China
Prior art keywords
feature
level
attention
features
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210555996.7A
Other languages
English (en)
Other versions
CN114742848B (zh
Inventor
岳广辉
魏佩珊
周恒�
武泓吕
周天薇
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210555996.7A priority Critical patent/CN114742848B/zh
Publication of CN114742848A publication Critical patent/CN114742848A/zh
Application granted granted Critical
Publication of CN114742848B publication Critical patent/CN114742848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。本发明涉及图像处理技术领域，其包括：获取内窥镜图像，并对内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；将多个高层特征及第三低层特征进行特征增强融合得到全局特征；根据全局特征、多个高层特征以及第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；将卷积及上采样后的目标残差双重注意力特征输入激活函数以得到息肉分割图。本申请实施例可提高息肉图像的分割准确率。

Description

基于残差双重注意力的息肉图像分割方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。
背景技术
结直肠癌包括结肠癌和直肠癌，是一种高发的恶性肿瘤，而大多数结直肠癌是由结肠或直肠上的息肉演变而来，因此，息肉的早期筛查对结直肠癌的预防至关重要。现有技术中，内窥镜检查因利于医生直观地观察病灶的形态特征，被认为是诊断结息肉的金标准，但内窥镜检查高度依赖经验丰富的临床医生，临床医师诊断一个病人的内窥镜图像需要花费较长时间，极大地降低了息肉的筛查效率，而且息肉通常呈现出颜色纹理变化差异大、大小不一、形状边缘不规则等特性，使得边界不清晰且难定位，极大地降低了息肉图像分割的准确率。
发明内容
本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质，旨在解决现有息肉图像分割准确率不高的问题。
第一方面，本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法，应用于构建的息肉分割模型，其包括：
获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；
将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；
根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；
将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
第二方面，本发明实施例还提供了一种基于残差双重注意力的息肉图像分割装置，应用于构建的息肉分割模型，其包括：
特征提取单元，用于获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；
增强融合单元，用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；
残差双重注意力单元，用于根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；
输出单元，用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
第三方面，本发明实施例还提供了一种息肉图像分割设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法。
本发明实施例提供了一种基于残差双重注意力的息肉图像分割方法、装置、设备及介质。其中，所述方法包括：获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。本发明实施例的技术方案，先将多个高层特征及第三低层特征进行特征增强融合得到全局特征，可确保从多尺度观察内窥镜图像；再根据全局特征、多个高层特征以及第三低层特征通过残差双重注意力方法得到目标残差双重注意力特征，进而得到息肉分割图，可对息肉信息进行残差双重注意力学习，进而提高息肉图像的分割准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的模型整体示意图；
图2为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的流程示意图；
图3为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的增强融合单元的示意图；
图4为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的子流程示意图；
图5为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的子流程示意图；
图6为本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的残差双重注意力单元的示意图；
图7为本发明实施例提供的一种基于残差双重注意力的息肉图像分割装置的示意性框图；以及
图8为本发明实施例提供的一种息肉图像分割设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
请参阅图1，图1是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的模型整体结构示意图。本发明实施例的基于残差双重注意力的息肉图像分割方法可应用于构建的息肉分割模型中，例如可通过配置于与所述息肉分割模型相对应的软件程序来实现所述基于残差双重注意力的息肉图像分割方法，从而提高息肉图像的分割准确率。如图1所述，所述息肉分割模型包括特征提取模块、多特征增强融合(MEF，Multi-featureEnhancement and Fusion)模块以及残差双重注意力RDA(RDA，Residual DualAttention)模块，可理解地，所述特征提取模块、所述多特征增强融合模块以及所述残差双重注意力模块分别对应于基于残差双重注意力的息肉图像分割装置中的特征提取单元、增强融合单元以及残差双重注意力单元，在本发明实施例中，先将内窥镜图像及Ground Truth图像输入特征提取模块进行特征提取，得到F1、F2、F3、F4、F5五个特征，再通过多特征增强融合模块将F3、F4、F5进行特征增强融合得到全局特征
Figure BDA0003654984050000041
然后通过残差双重注意力模块以级联的方式对
Figure BDA0003654984050000042
F3、F4、F5进行特征融合得到目标残差双重注意力特征
Figure BDA0003654984050000043
最后将
Figure BDA0003654984050000044
卷积上采样后，再将其输入激活函数以输出息肉分割图。
请参阅图2，图2是本发明实施例提供的一种基于残差双重注意力的息肉图像分割方法的流程示意图。如图2所示，该方法包括以下步骤S100-S130。
S100、获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征。
在本发明实施例中，获取内窥镜图像，并通过所述特征提取模块对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；所述多个高层特征包括第一高层特征及第二高层特征，可理解地，所述第一低层特征卷积得到所述第二低层特征，所述第二低层特征卷积得到所述第三低层特征，所述第三低层特征卷积得到第一高层特征，依次类推，得到所述第二高层特征。需要说明的是，在本发明实施例中，所述特征提取模块为Res2Net模型，所述Res2Net模型输出网络层如表1所示，第一层至第五层输出图像信息分别对应所述第一低层特征、第二低层特征、第三低层特征、第一高层特征以及第二高层特征。还需要说明的是，低层特征分辨率高，保留着丰富的边界信息，但是由于经过的卷积少，其语义性更低，噪声更多；高层特征由于编码过程多次卷积，损失了较多的细节信息，但是保留了一致的语义特征和清晰的背景。
进一步地，在本发明实施例中，在使用所述息肉分割模型对所述内窥镜图像进行分割之前，还需要先对所述息肉分割模型进行训练、验证以及测试，而进行训练、验证以及测试的数据集来源于五个公开的息肉数据集，所述息肉数据集分别为ETIS数据集、CVC-ClinicDB数据集、CVC-ColonDB数据集、CVC-300数据集以及Kvasir数据集。其中，Kvasir数据集包含1000张息肉图像；CVC-ColonDB数据集包含380张息肉图像；ETIS数据集包含196张用于结直肠癌的早期诊断的息肉图像；CVC-ClinicDB数据集包含612张结肠镜检查图像；CVC-300数据集包含300张结肠镜检查图像。可理解地，上述五个息肉数据集的息肉图像均有与其相对应的Ground Truth图像，其中，所述Ground Truth图像为由专业内窥镜医生进行手动标注得到，用白色代表息肉区域，用黑色代表背景区域。在实际应用中，将CVC-612数据集和Kvasir数据集按预设比例划分为训练数据集、验证数据集以及第一测试数据集，其中，所述预设比例为8:1:1。分别随机抽取CVC-300数据集、CVC-ColonDB数据集以及ETIS数据集中的10％的数据作为第二测试数据集，并将所述第一测试数据集及所述第二测试数据集作为测试数据集。需要说明的是，在本发明实施例中，所述训练数据集及所述验证数据集用于所述息肉分割模型的训练阶段，所述测试数据集用于对优化后的所述息肉分割模型进行测试。
更进一步地，在本发明实施例中，所有输入所述息肉分割模型的图像均需要先将其调整为预设尺寸大小，其中，所述预设尺寸大小为352×352；并采用多尺度训练策略替代数据增强，例如将预设尺寸大小缩放为{0.75，1，1.25}，可在一定程度上提高所述息肉分割模型的鲁棒性。进一步地，所述息肉分割模型是在PyTorch深度学习框架下搭建，并使用Adam优化器，初始学习率设定为0.0001，训练批大小batchsize设置为16，训练周期epoch设置为20，迭代次数iteration设置为20。
表1
网络层名称 输出图像信息(输入图片尺寸352×352×3)
第一层 (batchsize，64,88,88)
第二层 (batchsize，256,88,88)
第三层 (batchsize，512,44,44)
第四层 (batchsize，1024,22,22)
第五层 (batchsize，2048,11,11)
S110、将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征。
在本发明实施例中，如图3所示，所述多特征增强融合模块包括感受野(RFB，Receptive Fields Block)模块、通道注意力(CA，ChannelAttention)模块以及部分编码(PD，Partial Decoder)模块，将所述第三低层特征、所述第一高层特征以及所述第二高层特征作为所述多特征增强融合模块的输入，并通过所述感受野模块扩大感受野及通过所述通道注意模块进行多通道学习之后，再通过所述部分编码模块进行特征融合，不仅避免了直接特征融合会稀释深层特征信息，还可加强信息流动和特征表达。需要说明的是，在本发明实施例中，在所述息肉分割模型的训练、验证以及测试阶段，将所述全局特性
Figure BDA0003654984050000061
经过1×1卷积及上采样操作之后可得到全局映射图Sg。
请参阅图4，在一实施例中，例如在本发明实施例中，所述步骤S110包括如下步骤S111-S113。
S111、将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野；
S112、将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征，并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征；
S113、根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
在本发明实施例中，将所述第一高层特征F4、所述第二高层特征F5以及所述第三低层特征F3均输入感受野模块扩大感受野，其中，所述感受野模块为Receptive Field Block网络中的模块；将扩大感受野后的所述第三低层特征F3输入通道注意力模块进行通道学习得到目标低层特征，并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征
Figure BDA0003654984050000071
其中，所述通道注意力模块为Sca-cnn网络中的模块；根据F4、F5以及
Figure BDA0003654984050000072
通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征
Figure BDA0003654984050000073
其中，所述部分编码模块为Cascaded Partial Decoder网络中的模块。具体地，将
Figure BDA0003654984050000074
下采样后与扩大感受野后的F4进行拼接，拼接后再进行1×1卷积及上采样得到第一目标高层特征；将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征，并将所述第一目标通道高层特征及所述第一目标高层特征相乘，以进行特征融合处理得到第一增强高层特征
Figure BDA0003654984050000075
将
Figure BDA0003654984050000076
及
Figure BDA0003654984050000077
进行下采样后与扩大感受野后的F5进行拼接，拼接后再进行1×1卷积及上采样得到第二目标高层特征；将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征，并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征
Figure BDA0003654984050000078
将
Figure BDA0003654984050000079
以及
Figure BDA00036549840500000710
输入部分编码模块并行连接，以将增强后的特征进行融合得到全局特征
Figure BDA00036549840500000711
S120、根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征。
在本发明实施例中，将
Figure BDA00036549840500000712
以及
Figure BDA00036549840500000713
输入部分编码模块并行连接，以将增强后的特征进行融合得到全局特征
Figure BDA00036549840500000714
之后，会根据所述全局特征
Figure BDA00036549840500000715
F4、F5以及F3通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征，其中，所述残差双重注意力方法是先根据
Figure BDA00036549840500000716
和F5进行残差双重注意力学习得到第一残差双重注意力特征
Figure BDA00036549840500000717
然后根据
Figure BDA00036549840500000718
和F4进行残差双重注意力学习得到第二残差双重注意力特征
Figure BDA00036549840500000719
最后根据
Figure BDA00036549840500000720
和F3进行残差双重注意力学习得到第三残差双重注意力特征
Figure BDA00036549840500000721
将
Figure BDA00036549840500000722
作为目标残差双重注意力特征。需要说明的是，在本发明实施例中，残差双重注意力学习是学习背景及前景的注意力特征。
进一步地，在本发明实施例中，在所述息肉分割模型的训练阶段，分别将所述第一残差双重注意力特征
Figure BDA0003654984050000081
第二残差双重注意力特征
Figure BDA0003654984050000082
以及第三残差双重注意力特征
Figure BDA0003654984050000083
经过1×1卷积及上采样操作之后可得到上层预测图S5、S4以及S3。Sg、S5、S4以及S3与所述Ground Truth图像采用监督策略，通过预设损失函数计算总体损失，进而去迭代更新网络以对所述息肉分割模型进行训练，其中，所述预设损失函数如公式(1)所示，在公式(1)中，G为所述Ground Truth图像，
Figure BDA0003654984050000084
表示所述全局映射图的上采样，
Figure BDA0003654984050000085
分别表示上层预测图S5、S4以及S3的上采样，L的计算公式为
Figure BDA0003654984050000086
其中，
Figure BDA0003654984050000087
表示基于全局约束和局部约束的加权IoU损失，
Figure BDA0003654984050000088
表示二进制交叉熵(BCE)损失。在实际应用中，使用mean IoU和mean Dice作为定量评估，其中，mean IoU用于衡量检测物体准确度；mean Dice用于衡量样本之间的相似度。通过迭代训练可提高所述息肉分割模型的学习能力、泛化能力。
Figure BDA0003654984050000089
请参阅图5，在一实施例中，例如在本发明实施例中，所述步骤S120包括如下步骤S121-S126。
S121、将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征，并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征；
S122、对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图；
S123、根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征；
S124、根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征；
S125、将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征，并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第二残差双重注意力特征；
S126、将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征，并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第三残差双重注意力特征，将所述第三残差双重注意力特征作为目标残差双重注意力特征。
在本发明实施例中，如图6所示，将下采样后的所述全局特征
Figure BDA0003654984050000091
与所述第二高层特征F5进行拼接得到输入特征
Figure BDA0003654984050000092
具体地，如公式(2)所示，在公式(2)中，oncat(·)表示跨通道拼接，up(·)表示双线性插值的上采样操作，down(·)表示双线性插值的下采样操作，对
Figure BDA0003654984050000093
进行双分支卷积得到第一注意力图
Figure BDA0003654984050000094
及第二注意力图
Figure BDA0003654984050000095
其中，双分支卷积包括第一分支卷积及第二分支卷积，所述第一分支卷积为k×1和1×k的卷积，所述第二分支均价为1×k和k×1的卷积，可理解地，在本发明实施例中，k设置为9，通过双分支卷积可增大感受野及减少训练次数；将
Figure BDA0003654984050000096
及
Figure BDA0003654984050000097
相加后输入所述激活函数Sigmoid得到前景注意力图
Figure BDA0003654984050000098
将
Figure BDA0003654984050000099
进行像素反转得到背景注意力图
Figure BDA00036549840500000910
具体操作如公式(3)所示，在公式(3)中，σ”表示sigmoid激活函数，“-”表示像素反转操作；将F5与
Figure BDA00036549840500000911
逐像素相乘之后，与F5相加得到前景特征
Figure BDA00036549840500000912
如公式(4)所示；将F5与
Figure BDA00036549840500000913
逐像素相乘之后，进行像素反转处理后再与F5相加得到背景特征
Figure BDA00036549840500000914
如公式(5)所示，其中，在公式(5)中，-表示像素反转；为了将背景特征中的细节补充到前景特征中，还需将
Figure BDA00036549840500000915
及
Figure BDA00036549840500000916
进行跨通道拼接之后，进行卷积得到前后景融合特征
Figure BDA00036549840500000917
如公式(6)所示；为了对
Figure BDA00036549840500000918
的权重进行重新分配，以探究空间信息，还通过空间注意力模块对
Figure BDA00036549840500000919
进行空间注意力学习得到前后景空间注意力特征
Figure BDA00036549840500000920
将
Figure BDA00036549840500000921
与
Figure BDA00036549840500000922
逐像素相乘得到残差特征
Figure BDA00036549840500000923
将
Figure BDA00036549840500000924
及上采样后的
Figure BDA00036549840500000925
逐像素相加得到第一残差双重注意力特征
Figure BDA00036549840500000926
得到
Figure BDA00036549840500000927
之后，如公式(2)所示，将上采样后的
Figure BDA00036549840500000928
与F4进行拼接得到所述输入特征
Figure BDA00036549840500000929
重复上述步骤，得到第二残差双重注意力特征
Figure BDA00036549840500000930
最后如公式(2)所示，将上采样后的
Figure BDA00036549840500000931
与F3进行拼接得到所述输入特征
Figure BDA00036549840500000932
重复上述步骤，得到第三残差双重注意力特征
Figure BDA00036549840500000933
将
Figure BDA00036549840500000934
作为目标残差双重注意力特征。需要说明的是，在本发明实施例中，上采样均为双线性插值的上采样。
进一步地，如图6所示，Element-wise multiplication表示特征矩阵做乘法，Sigmoid function表示Sigmoid激活函数，Element-wise addition表示特征矩阵做加法，Concentration表示特征之间的拼接，SpatialAttention表示空间注意力空间注意力模块。
Figure BDA0003654984050000101
Figure BDA0003654984050000102
Figure BDA0003654984050000103
Figure BDA0003654984050000104
Figure BDA0003654984050000105
S130、将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
在本发明实施例中，将所述目标残差双重注意力特征
Figure BDA0003654984050000106
先进行1×1卷积，再进行双线性插值的上采样操作，之后将卷积及上采样后的
Figure BDA0003654984050000107
输入Sigmoid函数获得息肉分割图Sp。
需要说明的是，在本发明实施例中，通过多特征增强融合模块可对第三低层特征、第一高层特征以及第二高层特征进行扩大感受野、空间注意力学习以及特征融合，可获得更为准确的全局特征；根据全局特征、第一高层特征、第二高层特征以及第三低层特征通过级联的方式进行残差双重注意力学习，即可对背景特征及前景特征进行学习，可提高息肉图像的分割准确率。
图7是本发明实施例提供的一种基于残差双重注意力的息肉图像分割装置200的示意性框图。如图7所示，对应于以上基于残差双重注意力的息肉图像分割方法，本发明还提供一种基于残差双重注意力的息肉图像分割装置200。该基于残差双重注意力的息肉图像分割装置200包括用于执行上述基于残差双重注意力的息肉图像分割方法的单元，该装置可以被配置于息肉图像分割设备中。具体地，请参阅图7，该基于残差双重注意力的息肉图像分割装置200包括特征提取单元201、增强融合单元202、残差双重注意力单元203以及输出单元204。
其中，所述特征提取单元201用于获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；所述增强融合单元202用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；所述残差双重注意力单元203用于根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；所述输出单元204用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
在某些实施例，例如本实施例中，所述增强融合单元202包括扩大感受野单元、第一特征融合单元以及第二特征融合单元。
其中，所述扩大感受野单元用于将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野；所述第一特征融合单元用于将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征，并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征；所述第二特征融合单元用于根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征，具体地，将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接，拼接后再进行卷积及上采样得到第一目标高层特征；将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征，并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征；将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接，拼接后再进行卷积及上采样得到第二目标高层特征；将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征，并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征；将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
在某些实施例，例如本实施例中，所述残差双重注意力单元203包括拼接单元、处理单元、残差双重注意力学习单元、空间注意力学习单元、第一返回执行单元以及第二返回执行单元。
其中，所述拼接单元用于将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征，并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征；所述处理单元用于对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图，具体地，对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图；将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图；将所述前景注意力图进行像素反转得到背景注意力图；所述残差双重注意力学习单元用于根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征，具体地，将所述当前输入特征与所述前景注意力图逐像素相乘之后，与所述当前输入特征相加得到前景特征；将所述当前输入特征与所述背景注意力图逐像素相乘之后，进行像素反转处理后再与所述当前输入特征相加得到背景特征；所述空间注意力学习单元用于根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征，具体地，将所述前景特征及所述背景特征进行拼接之后，进行卷积得到前后景融合特征；通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征；将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征；将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征；所述第一返回执行单元用于将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征，并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第二残差双重注意力特征；所述第二返回执行单元用于将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征，并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第三残差双重注意力特征，将所述第三残差双重注意力特征作为目标残差双重注意力特征。
本发明实施例的基于残差双重注意力的息肉图像分割装置200的具体实现方式与上述基于残差双重注意力的息肉图像分割方法相对应，在此不再赘述。
上述基于残差双重注意力的息肉图像分割装置可以实现为一种计算机程序的形式，该计算机程序可以在如图8所示的息肉图像分割设备上运行。
请参阅图8，图8是本申请实施例提供的一种息肉图像分割设备的示意性框图。该息肉图像分割设备300为服务器，具体地，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参阅图8，该息肉图像分割设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括存储介质303和内存储器304。
该存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种基于残差双重注意力的息肉图像分割方法。
该处理器302用于提供计算和控制能力，以支撑整个息肉图像分割设备300的运行。
该内存储器304为存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种基于残差双重注意力的息肉图像分割方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的息肉图像分割设备300的限定，具体的息肉图像分割设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
在某些实施例，例如本实施例中，处理器302在实现所述将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征的步骤时，具体实现如下步骤：将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野；将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征，并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征；根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征步骤时，具体实现如下步骤：将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接，拼接后再进行卷积及上采样得到第一目标高层特征；将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征，并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征；将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接，拼接后再进行卷积及上采样得到第二目标高层特征；将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征，并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征；将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征步骤时，具体实现如下步骤：将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征，并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征；对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图；根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征；根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征；将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征，并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第二残差双重注意力特征；将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征，并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第三残差双重注意力特征，将所述第三残差双重注意力特征作为目标残差双重注意力特征。
在某些实施例，例如本实施例中，处理器302在实现所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图步骤时，具体实现如下步骤：对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图；将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图；将所述前景注意力图进行像素反转得到背景注意力图。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征步骤时，具体实现如下步骤：将所述当前输入特征与所述前景注意力图逐像素相乘之后，与所述当前输入特征相加得到前景特征；将所述当前输入特征与所述背景注意力图逐像素相乘之后，进行像素反转处理后再与所述当前输入特征相加得到背景特征。
在某些实施例，例如本实施例中，处理器302在实现所述根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征步骤时，具体实现如下步骤：将所述前景特征及所述背景特征进行拼接之后，进行卷积得到前后景融合特征；通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征；将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征；将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行上述基于残差双重注意力的息肉图像分割方法的任意实施例。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台息肉图像分割设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于残差双重注意力的息肉图像分割方法，应用于构建的息肉分割模型，其特征在于，包括：
获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；
将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；
根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；
将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
2.根据权利要求1所述的方法，其特征在于，所述多个高层特征包括第一高层特征及第二高层特征，所述将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征的步骤，包括：
将所述第一高层特征、所述第二高层特征以及所述第三低层特征均输入感受野模块扩大感受野；
将扩大感受野后的所述第三低层特征输入通道注意力模块进行通道学习得到目标低层特征，并将所述目标低层特征及扩大感受野后的所述第三低层特征进行融合处理得到增强低层特征；
根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征。
3.根据权利要求2所述的方法，其特征在于，所述根据所述增强低层特征及扩大感受野后的所述第一高层特征及第二高层特征通过所述通道注意力模块及部分编码模块进行特征融合得到全局特征，包括：
将所述增强低层特征下采样后与扩大感受野后的所述第一高层特征进行拼接，拼接后再进行卷积及上采样得到第一目标高层特征；
将所述第一目标高层特征输入所述通道注意力模块进行通道学习得到第一目标通道高层特征，并将所述第一目标通道高层特征及所述第一目标高层特征进行特征融合处理得到第一增强高层特征；
将所述第一增强高层特征及所述增强低层特征下采样后与扩大感受野后的所述第二高层特征进行拼接，拼接后再进行卷积及上采样得到第二目标高层特征；
将所述第二目标高层特征输入所述通道注意力模块进行通道学习得到第二目标通道高层特征，并将所述第二目标通道高层特征及所述第二目标高层特征进行特征融合处理得到第二增强高层特征；
将所述增强低层特征、所述第一增强高层特征以及所述第二增强高层特征输入部分编码模块进行特征融合处理得到全局特征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征，包括：
将下采样后的所述全局特征与所述第二高层特征进行拼接得到输入特征，并将所述输入特征及所述第二高层特征分别作为当前上级输入特征及当前输入特征；
对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图；
根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征；
根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征；
将上采样后的所述第一残差双重注意力特征与所述第一高层特征进行拼接得到所述输入特征，并将所述输入特征及所述第一高层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第二残差双重注意力特征；
将上采样后的所述第二残差双重注意力特征与所述第三低层特征进行拼接得到所述输入特征，并将所述输入特征及所述第三低层特征分别作为所述当前上级输入特征及所述当前输入特征，返回执行所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图的步骤，直至得到第三残差双重注意力特征，将所述第三残差双重注意力特征作为目标残差双重注意力特征。
5.根据权利要求4所述的方法，其特征在于，所述对所述当前上级输入特征依次进行双分支卷积、相加、激活以及像素反转处理得到前景注意力图及背景注意力图，包括：
对所述当前上级输入特征进行双分支卷积得到第一注意力图及第二注意力图；
将所述第一注意力图及所述第二注意力图相加后输入所述激活函数得到前景注意力图；
将所述前景注意力图进行像素反转得到背景注意力图。
6.根据权利要求4所述的方法，其特征在于，所述根据所述当前输入特征对所述前景注意力图及所述背景注意力图进行残差双重注意力学习得到前景特征及背景特征，包括：
将所述当前输入特征与所述前景注意力图逐像素相乘之后，与所述当前输入特征相加得到前景特征；
将所述当前输入特征与所述背景注意力图逐像素相乘之后，进行像素反转处理后再与所述当前输入特征相加得到背景特征。
7.根据权利要求4所述的方法，其特征在于，所述根据所述前景特征及所述背景特征依次进行拼接、卷积、空间注意力学习以及逐像素相乘后得到残差特征，将所述残差特征与上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征，包括：
将所述前景特征及所述背景特征进行拼接之后，进行卷积得到前后景融合特征；
通过空间注意力模块对所述前后景融合特征进行空间注意力学习得到前后景空间注意力特征；
将所述前后景融合特征与所述前后景空间注意力特征逐像素相乘得到残差特征；
将所述残差特征及上采样后的所述当前上级输入特征逐像素相加得到第一残差双重注意力特征。
8.一种基于残差双重注意力的息肉图像分割装置，应用于构建的息肉分割模型，其特征在于，包括：
特征提取单元，用于获取内窥镜图像，并对所述内窥镜图像进行特征提取，得到多个低层特征及多个高层特征，其中，所述多个低层特征包括第一低层特征、第二低层特征以及第三低层特征；
增强融合单元，用于将所述多个高层特征及所述第三低层特征进行特征增强融合得到全局特征；
残差双重注意力单元，用于根据所述全局特征、所述多个高层特征以及所述第三低层特征通过残差双重注意力方法进行残差双重注意力学习得到目标残差双重注意力特征；
输出单元，用于将卷积及上采样后的所述目标残差双重注意力特征输入激活函数以得到息肉分割图。
9.一种息肉图像分割设备，其特征在于，所述息肉图像分割设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202210555996.7A 2022-05-20 2022-05-20 基于残差双重注意力的息肉图像分割方法、装置、设备及介质 Active CN114742848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210555996.7A CN114742848B (zh) 2022-05-20 2022-05-20 基于残差双重注意力的息肉图像分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210555996.7A CN114742848B (zh) 2022-05-20 2022-05-20 基于残差双重注意力的息肉图像分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114742848A true CN114742848A (zh) 2022-07-12
CN114742848B CN114742848B (zh) 2022-11-29

Family

ID=82287072

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210555996.7A Active CN114742848B (zh) 2022-05-20 2022-05-20 基于残差双重注意力的息肉图像分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114742848B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935051A (zh) * 2023-07-20 2023-10-24 深圳大学 一种息肉分割网络方法、系统、电子设备及存储介质
CN116957968A (zh) * 2023-07-20 2023-10-27 深圳大学 一种消化道内窥镜图像增强方法、系统、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
US20210248751A1 (en) * 2019-01-25 2021-08-12 Tencent Technology (Shenzhen) Company Limited Brain image segmentation method and apparatus, network device, and storage medium
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN113838047A (zh) * 2021-10-11 2021-12-24 深圳大学 基于内窥镜图像的大肠息肉分割方法、系统及相关组件
CN113989301A (zh) * 2021-10-29 2022-01-28 浙江工业大学 一种融合多种注意力机制神经网络的结直肠息肉分割方法
CN114170167A (zh) * 2021-11-29 2022-03-11 深圳职业技术学院 基于注意力引导上下文校正的息肉分割方法和计算机设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210248751A1 (en) * 2019-01-25 2021-08-12 Tencent Technology (Shenzhen) Company Limited Brain image segmentation method and apparatus, network device, and storage medium
CN110188765A (zh) * 2019-06-05 2019-08-30 京东方科技集团股份有限公司 图像语义分割模型生成方法、装置、设备及存储介质
US20210406582A1 (en) * 2019-06-05 2021-12-30 Boe Technology Group Co., Ltd. Method of semantically segmenting input image, apparatus for semantically segmenting input image, method of pre-training apparatus for semantically segmenting input image, training apparatus for pre-training apparatus for semantically segmenting input image, and computer-program product
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN113538313A (zh) * 2021-07-22 2021-10-22 深圳大学 一种息肉分割方法、装置、计算机设备及存储介质
CN113838047A (zh) * 2021-10-11 2021-12-24 深圳大学 基于内窥镜图像的大肠息肉分割方法、系统及相关组件
CN113989301A (zh) * 2021-10-29 2022-01-28 浙江工业大学 一种融合多种注意力机制神经网络的结直肠息肉分割方法
CN114170167A (zh) * 2021-11-29 2022-03-11 深圳职业技术学院 基于注意力引导上下文校正的息肉分割方法和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAO CHEN ET AL.: "A DUAL-ATTENTION DILATED RESIDUAL NETWORK FOR LIVER LESION CLASSIFICATION AND LOCALIZATION ON CT IMAGES", 《IEEE》 *
徐宏伟 等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 《计算机应用研究》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935051A (zh) * 2023-07-20 2023-10-24 深圳大学 一种息肉分割网络方法、系统、电子设备及存储介质
CN116957968A (zh) * 2023-07-20 2023-10-27 深圳大学 一种消化道内窥镜图像增强方法、系统、设备及介质
CN116957968B (zh) * 2023-07-20 2024-04-05 深圳大学 一种消化道内窥镜图像增强方法、系统、设备及介质

Also Published As

Publication number Publication date
CN114742848B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN112489061B (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
US11328430B2 (en) Methods, systems, and media for segmenting images
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
CN114742848B (zh) 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
Ashraf et al. Melanoma segmentation using deep learning with test-time augmentations and conditional random fields
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN114419020A (zh) 医学图像分割方法、装置、计算机设备及存储介质
CN113838047B (zh) 基于内窥镜图像的大肠息肉分割方法、系统及相关组件
KR102330263B1 (ko) 인공신경망을 이용한 핵 영역 검출 방법 및 그 장치
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN114926423B (zh) 基于注意力及边界约束的息肉图像分割方法、装置、设备及介质
CN113192067B (zh) 基于图像检测的智能预测方法、装置、设备及介质
CN113764101A (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Khaledyan et al. Enhancing breast ultrasound segmentation through fine-tuning and optimization techniques: sharp attention UNet
CN117576383A (zh) 一种基于注意力解码的可信息肉分割方法及系统
CN113140291A (zh) 图像分割方法、装置、模型训练方法及电子设备
CN115829980B (zh) 一种眼底照片的图像识别方法、装置、设备及存储介质
CN110634119B (zh) 分割磁敏感加权图像中静脉血管的方法、装置和计算设备
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN114445426B (zh) 内窥镜图像中息肉区域的分割方法、装置及相关组件
Adegun et al. Deep convolutional network-based framework for melanoma lesion detection and segmentation
CN113920099B (zh) 一种基于非局部信息提取的息肉分割方法及相关组件
Wu et al. Atrous residual convolutional neural network based on U-Net for retinal vessel segmentation
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant