CN113838047A - 基于内窥镜图像的大肠息肉分割方法、系统及相关组件 - Google Patents

基于内窥镜图像的大肠息肉分割方法、系统及相关组件 Download PDF

Info

Publication number
CN113838047A
CN113838047A CN202111181344.3A CN202111181344A CN113838047A CN 113838047 A CN113838047 A CN 113838047A CN 202111181344 A CN202111181344 A CN 202111181344A CN 113838047 A CN113838047 A CN 113838047A
Authority
CN
China
Prior art keywords
feature
map
convolution
level
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111181344.3A
Other languages
English (en)
Other versions
CN113838047B (zh
Inventor
岳广辉
李思莹
周天薇
韩婉婉
李苑
汪天富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202111181344.3A priority Critical patent/CN113838047B/zh
Publication of CN113838047A publication Critical patent/CN113838047A/zh
Application granted granted Critical
Publication of CN113838047B publication Critical patent/CN113838047B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了基于内窥镜图像的大肠息肉分割方法、系统及相关组件，该方法包括：将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；利用特征整合模块分别对多个高层特征进行特征增强处理并进行特征融合，得到全局映射图；利用全局映射图对最高层的高层特征进行降维指导处理，得到一级检测图，利用一级检测图对第二层的高层特征进行降维指导处理，得到二级检测图，依此类推得到每一高层特征对应的检测图；对最低层的高层特征的检测图进行概率计算，得到最终预测结果。本发明利用Res2Net模型与特征整合模块提取图像特征，特征提取模块进行训练，得到最终的分割结果图，整个过程更加高效快速，得到的分割结果更加准确。

Description

基于内窥镜图像的大肠息肉分割方法、系统及相关组件
技术领域
本发明涉及图像处理技术领域，尤其涉及基于内窥镜图像的大肠息肉分割方法、系统及相关组件。
背景技术
据统计，大肠癌是全球发病率第三和死亡率第二高的癌症，成为威胁人类生命安全的主要杀手之一，而结直肠息肉作为一种高危的癌前疾病，是结直肠癌的前身。因此，上述疾病的早期筛查对大肠癌的预防至关重要。在临床工作中，内窥镜检查利于医生直观地观察病灶的形态特征，被认为是诊断大肠疾病的标准技术。
但内窥镜检查高度依赖经验丰富的临床医师，一个医师诊断一个病人50000张左右的内窥镜图像至少在两小时以上，极大的影响了疾病筛查的效率。结直肠息肉通常呈现出各种形状、大小和纹理特征，甚至边界不清晰且难定位，即使有丰富经验的临床医生也很难通过肉眼识别。值得我们注意的是，随着患病人群的迅速增加，如何高效、准确地筛查大肠疾病逐渐成为了临床工作的难点。计算机辅助系统(CAD)可以通过大肠疾病筛查的算法辅助医生对大肠息肉进行诊断，可以大大提高结直肠检查的效率和准确率，具有非常重要的临床意义。对内窥镜图像的病灶区域实现更精准的分割可以帮助医生更好的做出决策，从而帮助患者争取宝贵的治疗时间。但是，在采用现有的息肉分割方法进行判断时，由于息肉具有颜色纹理变化差异大、大小不一、形状边缘不规则的特性；且息肉边界及其周围的粘膜之间的颜色特征接近，使得息肉边界不清晰且难定位，导致现有息肉分割方法的精确度不高，经常出现漏检的情况，反而需要重新进行人工筛查，加大了任务量。
发明内容
本发明实施例提供了基于内窥镜图像的大肠息肉分割方法、系统及相关组件，旨在解决现有技术中息肉分割算法精度不高的问题。
第一方面，本发明实施例提供了一种基于内窥镜图像的大肠息肉分割方法，包括：
将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
第二方面，本发明实施例提供了一种基于内窥镜图像的大肠息肉分割系统，其包括：
特征编码单元，用于将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
全局映射图获取单元，用于利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
检测图获取单元，用于将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
预测结果获取单元，用于对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于内窥镜图像的大肠息肉分割方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于内窥镜图像的大肠息肉分割方法。
本发明实施例提供了基于内窥镜图像的大肠息肉分割方法、系统及相关组件，该方法包括：将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。本发明实施例通过利用Res2Net作为主干网络与特征整合模块AASPP作为编码器提取图像特征，用特征提取模块ACE作为解码器组成的模型进行训练，将训练好的权重进行测试，得到最终的分割结果图，整个过程更加高效快速，并且得到的分割结果更加准确。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的流程示意图；
图2为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的模型整体结构示意图；
图3为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的注意力模块结构示意图；
图4为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的语义特征整合模块结构示意图；
图5为本发明实施例提供的基于内窥镜图像的大肠息肉分割方法的特征提取模块结构示意图；
图6为本发明实施例提供的基于内窥镜图像的大肠息肉分割系统的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的一种基于内窥镜图像的大肠息肉分割方法的流程示意图，该方法包括步骤S101～S104。
S101、将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
S102、利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
S103、将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
S104、对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
在本实施例中，如图2所示，通过预训练的Res2Net模型对内窥镜图像进行特征编码，得到多个具有丰富边界信息的底层特征和多个具有丰富语义信息的高层特征；利用特征整合模块对每个高层特征进行特征增强处理，并将每个特征增强处理后的高层特征进行特征融合得到全局映射图；将每个所述高层特征分别输入至对应的ACE模块，先将最高层的所述高层特征输入至对应的ACE模块进行特征解码，得到对应的语义特征图后，将所述全局映射图作为指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，然后将所述一级检测图作为新的指导映射图对下一层的高级特征对应的语义特征图进行降维指导处理，得到二级检测图，依次类推得到所有高层特征对应的检测图；然后利用sigmoid函数对最低层的高层特征所对应的检测图进行概率计算，得到最终的预测结果。如图2所示，Addition表示进行特征相加操作，sigmoid表示sigmoid函数，Multiplication表示特征相乘操作，Flowoffeature表示特征的流向，Deep supervision表示深监督，Flowofdecoder表示解码器的解码流向，Flowofmap表示特征图流向，convolution表示卷积层，Batchnormalization表示进行批归一化处理，ReLU表示ReLU函数。
在对所述最低层的高层特征所对应的检测图进行概率计算后，将得到的概率值与预设阈值进行比较，例如：预先设置阈值为0.5，将概率值大于0.5的像素视为息肉区域，小于0.5的像素视为背景，得到最终的预测结果。
本实施例所使用的内窥镜图像来源于公开的息肉数据集Kvasir-SEG，该数据集是用于胃肠道疾病检测和分割的多类数据集，包含各种类型、形状和颜色的息肉图片。Kvasir-SEG总共有1000组图像，每组样本由内窥镜图像及其对应的二元掩模图片表示的标签(groundtruth)组成。其中800组样本用于训练，200组图像用于测试，所有样本的二元掩模(binarymask)图像均由专业的内镜医生进行手动标注得到，用黑白两种颜色区分息肉区域和背景区域(其中白色代表息肉区域，黑色代表背景区域)。本实施例在保持内窥镜图像长宽比例不变的前提下，统一将所有内窥镜图像以及对应的二元掩模图的长度调整为352×352的大小，然后进行随机翻转、随机裁剪、随机旋转等数据增强操作，以增加数据的多样性。
在进行特征编码时，通过预训练的Res2Net模型生成低层次的边界信息和高层次的语义信息，即提取五个层次的特征Xi(i＝1，...，5)，其中X1、X2表示低层特征和X3、X4、X5表示高层特征。具体的，如图2所示，将所述内窥镜图像输入至Conv1中进行卷积得到底层特征X1，再将底层特征X1输入至Conv2中进行卷积得到底层特征X2，然后将低层特征X2输入至Conv3中进行卷积得到高层特征X3，接着将高层特征X3输入至Conv4中进行卷积得到底层特征X4，最后将高层特征X4输入至Conv5中进行卷积得到底层特征X5。其中，低层特征保留着丰富的边界信息，高层特征由于编码过程多次卷积，损失了较多的细节信息，但是保留一致的语义特征和清晰的背景。
在一实施例中，所述多个高层特征包括从低到高的第一高层特征、第二高层特征和第三高层特征，所述步骤S102包括：
利用SA模块对所述第一高层特征进行特征增强处理，得到空间矩阵；
利用CA模块对所述第二高层特征进行特征增强处理，得到通道矩阵，并对所述通道矩阵进行上采样卷积处理，再将卷积结果进行降维处理，得到指定维度的通道矩阵；
对所述空间矩阵的维度进行升维处理，得到具有指定维度的空间矩阵，并与所述指定维度的通道矩阵进行矩阵相加处理，得到语义特征；
利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图；
将所述语义特征与多个所述多尺度语义特征图进行特征融合处理，并将特征融合处理结果进行降维操作，得到全局映射图。
在本实施例中，如图3和图4所示，通过预训练的Res2Net模型对内窥镜图像进行特征编码得到第一高层特征、第二高层特征和第三高层特征，将所述第一高层特征输入至SA模块进行特征增强，得到空间矩阵，再将所述第二高层特征输入至CA模块进行特征增其，得到通道矩阵；对所述通道矩阵使用双线性插值的上采样方法，将尺寸上采样至与第一高层特征相同维度，再利用三组[Conv-BN](卷积层和批量归一化的组合)对其降维到256维，再将所述空间矩阵的通道数复制到256维与所述通道矩阵进行相加(addition)，再经过激活函数激活，得到丰富的语义特征；然后再将所述第三高层特征输入至语义整合特征模块进行特征增强，得到多个具有指定维度的多尺度语义特征图，最后将所述语义特征和多个所述多尺度语义特征图进行通道维度上的堆叠，再经过四组[Conv-BN](卷积层和批量归一化的组合)对其维度降维至一维，得到全局映射图Mg。其中，如图3所示，Addition表示进行特征相加操作，sigmoid表示sigmoid函数，Multiplication表示特征相乘操作，Concat表示特征融合操作，Flowof feature表示特征的流向。
在一实施例中，所述利用SA模块对所述第一高层特征进行特征增强处理，得到空间矩阵，包括：
将所述第一高层特征分别输入至平均池化层和最大池化层进行池化处理，得到两个维度相同的第一特征图和第二特征图，并将所述第一特征图和第二特征图进行拼接融合，得到第三特征图；
将所述第三特征图输入至卷积核为7×7的卷积层中进行卷积，并利用sigmoid函数对卷积结果进行激活处理，得到所述空间矩阵。
在本实施例中，如图3所示，先利用平均池化层(Avgpool)和最大池化层(Maxpool)对所述第一高层特征进行空间维度压缩，得到两个维数相同的第一特征图A1(1x44x44)和第二特征图A2(1x44x44)，然后将第一特征图和第二特征图串行的拼接融合在一起得到一个特殊的第三特征图A3(2x44x44)，再利用一个7×7的卷积对所述第三特征图进行卷积得到一个新的特征图A4(1x44x44)，最后利用Sigmoid函数进行激活，得到一个空间注意力权重的空间矩阵A5(1x44x44)。
在一实施例中，所述利用CA模块对所述第二高层特征进行特征增强处理，得到通道矩阵，包括：
将所述第二高层特征分别输入至平均池化层和最大池化层进行池化处理，得到第一通道注意力向量和第二通道注意力向量；
将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层进行卷积，利用ReLU函数对卷积结果进行激活后，输入至第二全连接层进行卷积，得到第一空间注意力权重和第二空间注意力权重；
将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征进行特征相乘，得到第一通道注意力图和第二通道注意力图，并将所述第一通道注意力图和第二通道注意力图进行特征相加，并利用sigmoid函数对特征相加结果进行激活，得到通道矩阵。
在本实施例中，如图3所示，先利用平均池化层(Avgpool)和最大池化层(Maxpool)对所述第二高层特征进行空间维度压缩，生成第一通道注意力向量C1(1024x1x1)和第二通道注意力向量C2(1024x1x1)，然后将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层(全连接层即Fullyconnection)进行卷积(为了减少参数量，将中间层神经元节点设置为1024/r个，r＝4)，再利用ReLU激活函数进行激活，然后再经过第二全连接层把神经元增加到1024个，以获得和所述第二高层特征通道数相同的第一空间注意力权重C3(1024x1x1)和第二空间注意力权重C4(1024x1x1)；将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征X4进行特征相乘(multiplication)，得到第一通道注意力图AC1(1024x22x22)和第二通道注意力图AC2(1024x22x22)，再将所述第一通道注意力图和第二通道注意力图进行特征相加，最后通过Sigmoid函数激活，得到一个通道注意力权重的通道矩阵AC3(1024x22x22)。
在一实施例中，所述利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图，包括：
将所述第三高层特征输入至卷积核为1×1的卷积层中进行卷积，得到第一卷积结果；
将所述第一卷积结果分别输入至4个不同空洞率且卷积核大小为3×3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。
在本实施例中，如图4所示，先将所述第三高层特征输入至卷积核为1×1的卷积层进行卷积操作，从而将所述第三高层特征的维度由2048降至256维度，得到第一卷积结果，再将所述第一卷积结果分别输入至4个不同空洞率且卷积核均为3×3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。具体的，将所述第三高层特征输入至卷积核为1×1的卷积层进行降维后，得到第一卷积结果，再将所述第一卷积结果输入至空洞率为1且卷积核为3×3的卷积层中进行卷积，然后再经过一个1×1的卷积核进行卷积得到第一多尺度语义特征图；将所述第一多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为6且卷积核为3×3的卷积层中进行卷积，然后再经过一个1×1的卷积核进行卷积得到第二多尺度语义特征图；将所述第二多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为12且卷积核为3×3的卷积层中进行卷积，然后再经过一个1×1的卷积核进行卷积得到第三多尺度语义特征图；将所述第三多尺度语义特征图与所述第一卷积结果进行特征融合，并输入至空洞率为18且卷积核为3×3的卷积层中进行卷积，然后再经过一个1×1的卷积核进行卷积得到第四多尺度语义特征图。
在一实施例中，所述将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，包括：
将最高层的所述高层特征输入至卷积核为1×1的卷积层进行卷积操作，得到初始卷积结果，并将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及CAM；
将所述不对称卷积结果、空洞卷积结果、普通卷积结果以及指导映射图进行通道重排，并将通道重排后的不对称卷积结果、空洞卷积结果、普通卷积结果分别与所述CAM进行特征相乘，并与所述指导映射图进行维度拼接，得到初始语义特征图；
将所述初始语义特征图输入至卷积核为1×1的卷积层中进行卷积降维处理，并将卷积降维结果与所述初始卷积结果进行特征相加，并利用ReLU激活函数进行激活得到最终的语义特征图。
在本实施例中，如图5所示，先对最高层的高层特征进行1×1的卷积操作，得到初始卷积结果，然后再将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层(ChannelAttention)进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及CAM，然后再将不对称卷积结果、空洞卷积结果、普通卷积结果分别与指导映射图进行通道重排，并将通道重排结果分别与所述CAM进行特征相乘后再进行拼接，然后再与所述指导映射图进行拼接得到初始语义特征图，将所述初始语义特征图输入至卷积核为1×1的卷积层内进行卷积降维处理，再将卷积降维结果与所述初始卷积结果进行特征相加，再利用ReLU激活函数进行激活得到最终的语义特征图。
具体的，对所述最高层的所述高层特征进行1×1的卷积操作，得到初始卷积结果，然后再将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果P1、空洞卷积结果P2、普通卷积结果P3以及CAM，将P1、P2、P3分别与指导映射图Mg进行通道重排，得到M1、M2、M3，其中，M1拼接方式按照P1、y、P2、y、P3、y依次进行通道上的拼接，M2拼接方式按照P3、y、P1、y、P2、y依次进行通道上的拼接，M3拼接方式按照P2、y、P3、y、P1、y依次进行通道上的拼接。
在一实施例中，所述将所述全局映射图作为指导映射图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图，包括：
将所述全局映射图与所述第三高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述指导映射图进行特征相加，得到一级检测图；
将一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述一级检测图进行特征相加，得到二级检测图；
将二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述二级检测图进行特征相加，得到三级检测图。
在本实施例中，如图2所示，先将全局映射图与所述第三高层特征对应的语义特征图进行特征相乘，再进行4组[Conv-BN-ReLU](卷积层、批量归一化以及ReLU的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述全局映射图进行特征相加，得到一级检测图C1；然后将所述一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，再进行4组[Conv-BN-ReLU](卷积层、批量归一化以及ReLU的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述一级检测图进行特征相加，得到二级检测图C2；最后将所述二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，再进行4组[Conv-BN-ReLU](卷积层、批量归一化以及ReLU的组合)的卷积模块进行卷积处理，得到维度为一维的特征图并与所述二级检测图进行特征相加，得到三级检测图C3。
本实施例通过对输出层以及隐藏层同时使用损失函数进行监督，不仅仅依靠最终输出层的反向传播，还通过中间隐藏层输出进行反向传播，可以提高网络的性能。本实施例采用用三个分支实现分级监督，从而提高了分割结果图的精度。具体的，本实施例采用了带权重的BCE和IoU损失，将不同的权值分配给不同的像素，扩展了二进制交叉熵，每个像素的权重由其周围的像素决定，难区分的像素会得到更大的权重，而容易区分的像素会得到更小的权重。特别注意的是，加权IoU损失通过增加难样本像素权重来突出其重要性，而加权BCE更关注难样本像素。损失函数计算公式如下：
Figure BDA0003297348780000111
其中，
Figure BDA0003297348780000112
表示基于全局和局部(像素级)约束的加权IoU损失，
Figure BDA0003297348780000113
表示基于全局和局部(像素级)约束的二进制交叉熵(BCE)损失。通过对三个分支的输出(C1、C2、C3)和全局映射图Mg进行深监督，映射图都被逐一的上采样到真值图尺寸大小(352×352)，总的损失函数的计算公式如下：
Figure BDA0003297348780000114
其中，G表示真值图，Ltotalloss表示真值图和全局映射图Mg以及三个分支输出(C1、C2、C3)总的损失。
请参阅图6，图6为本发明实施例提供的一种基于内窥镜图像的大肠息肉分割系统的示意性框图，该基于内窥镜图像的大肠息肉分割系统200包括：
特征编码单元201，用于将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
全局映射图获取单元202，用于利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
检测图获取单元203，用于将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
预测结果获取单元204，用于对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
在一实施例中，所述多个高层特征包括从低到高的第一高层特征、第二高层特征和第三高层特征，所述全局映射图获取单元202包括：
SA模块处理单元，用于利用SA模块对所述第一高层特征进行特征增强处理，得到空间矩阵；
CA模块处理单元，用于利用CA模块对所述第二高层特征进行特征增强处理，得到通道矩阵，并对所述通道矩阵进行上采样卷积处理，再将卷积结果进行降维处理，得到指定维度的通道矩阵；
语义特征获取单元，用于对所述空间矩阵的维度进行升维处理，得到具有指定维度的空间矩阵，并与所述指定维度的通道矩阵进行矩阵相加处理，得到语义特征；
语义特征整合模块处理单元，用于利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图；
特征融合处理单元，用于将所述语义特征与多个所述多尺度语义特征图进行特征融合处理，并将特征融合处理结果进行降维操作，得到全局映射图。
在一实施例中，所述SA模块处理单元包括：
第三特征图获取单元，用于将所述第一高层特征分别输入至平均池化层和最大池化层进行池化处理，得到两个维度相同的第一特征图和第二特征图，并将所述第一特征图和第二特征图进行拼接融合，得到第三特征图；
空间矩阵获取单元，用于将所述第三特征图输入至卷积核为7×7的卷积层中进行卷积，并利用sigmoid函数对卷积结果进行激活处理，得到所述空间矩阵。
在一实施例中，所述CA模块处理单元包括：
通道注意力向量获取单元，用于将所述第二高层特征分别输入至平均池化层和最大池化层进行池化处理，得到第一通道注意力向量和第二通道注意力向量；
空间注意力权重获取单元，用于将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层进行卷积，利用ReLU函数对卷积结果进行激活后，输入至第二全连接层进行卷积，得到第一空间注意力权重和第二空间注意力权重；
通道矩阵获取单元，用于将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征进行特征相乘，得到第一通道注意力图和第二通道注意力图，并将所述第一通道注意力图和第二通道注意力图进行特征相加，并利用sigmoid函数对特征相加结果进行激活，得到通道矩阵。
在一实施例中，所述语义特征整合模块处理单元包括：
第一卷积结果获取单元，用于将所述第三高层特征输入至卷积核为1×1的卷积层中进行卷积，得到第一卷积结果；
多尺度语义特征图获取单元，用于将所述第一卷积结果分别输入至4个不同空洞率且卷积核大小为3×3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。
在一实施例中，所述检测图获取单元203包括：
初始卷积结果卷积单元，用于将最高层的所述高层特征输入至卷积核为1×1的卷积层进行卷积操作，得到初始卷积结果，并将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及CAM；
初始语义特征图获取单元，用于将所述全局映射图作为指导映射图，将所述不对称卷积结果、空洞卷积结果、普通卷积结果以及指导映射图进行通道重排，并将通道重排后的不对称卷积结果、空洞卷积结果、普通卷积结果分别与所述CAM进行特征相乘，并与所述指导映射图进行维度拼接，得到初始语义特征图；
最终语义特征图获取单元，用于将所述初始语义特征图输入至卷积核为1×1的卷积层中进行卷积降维处理，并将卷积降维结果与所述初始卷积结果进行特征相加，并利用ReLU激活函数进行激活得到最终的语义特征图。
在一实施例中，所述检测图获取单元203包括：
一级检测图获取单元，用于将所述全局映射图作为指导映射图与所述第三高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述指导映射图进行特征相加，得到一级检测图；
二级检测图获取单元，用于将一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述一级检测图进行特征相加，得到二级检测图；
三级检测图获取单元，用于将二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述二级检测图进行特征相加，得到三级检测图。
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于内窥镜图像的大肠息肉分割方法。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于内窥镜图像的大肠息肉分割方法。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于内窥镜图像的大肠息肉分割方法，其特征在于，包括：
将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
2.根据权利要求1所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述多个高层特征包括从低到高的第一高层特征、第二高层特征和第三高层特征，所述利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图，包括：
利用SA模块对所述第一高层特征进行特征增强处理，得到空间矩阵；
利用CA模块对所述第二高层特征进行特征增强处理，得到通道矩阵，并对所述通道矩阵进行上采样卷积处理，再将卷积结果进行降维处理，得到指定维度的通道矩阵；
对所述空间矩阵的维度进行升维处理，得到具有指定维度的空间矩阵，并与所述指定维度的通道矩阵进行矩阵相加处理，得到语义特征；
利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图；
将所述语义特征与多个所述多尺度语义特征图进行特征融合处理，并将特征融合处理结果进行降维操作，得到全局映射图。
3.根据权利要求2所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述利用SA模块对所述第一高层特征进行特征增强处理，得到空间矩阵，包括：
将所述第一高层特征分别输入至平均池化层和最大池化层进行池化处理，得到两个维度相同的第一特征图和第二特征图，并将所述第一特征图和第二特征图进行拼接融合，得到第三特征图；
将所述第三特征图输入至卷积核为7×7的卷积层中进行卷积，并利用sigmoid函数对卷积结果进行激活处理，得到所述空间矩阵。
4.根据权利要求2所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述利用CA模块对所述第二高层特征进行特征增强处理，得到通道矩阵，包括：
将所述第二高层特征分别输入至平均池化层和最大池化层进行池化处理，得到第一通道注意力向量和第二通道注意力向量；
将所述第一通道注意力向量和第二通道注意力向量分别输入至第一全连接层进行卷积，利用ReLU函数对卷积结果进行激活后，输入至第二全连接层进行卷积，得到第一空间注意力权重和第二空间注意力权重；
将所述第一空间注意力权重和第二空间注意力权重分别与所述第二高层特征进行特征相乘，得到第一通道注意力图和第二通道注意力图，并将所述第一通道注意力图和第二通道注意力图进行特征相加，并利用sigmoid函数对特征相加结果进行激活，得到通道矩阵。
5.根据权利要求2所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述利用语义特征整合模块对所述第三高层特征进行特征增强处理，得到多个具有指定维度的多尺度语义特征图，包括：
将所述第三高层特征输入至卷积核为1×1的卷积层中进行卷积，得到第一卷积结果；
将所述第一卷积结果分别输入至4个不同空洞率且卷积核大小为3×3的卷积层中进行卷积，得到第一多尺度语义特征图、第二多尺度语义特征图、第三多尺度语义特征图和第四多尺度语义特征图。
6.根据权利要求1所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，包括：
将最高层的所述高层特征输入至卷积核为1×1的卷积层进行卷积操作，得到初始卷积结果，并将所述初始卷积结果分别输入至不对称卷积层、空洞卷积层、普通卷积层以及通道注意力层进行卷积处理，得到不对称卷积结果、空洞卷积结果、普通卷积结果以及CAM；
将所述不对称卷积结果、空洞卷积结果、普通卷积结果以及指导映射图进行通道重排，并将通道重排后的不对称卷积结果、空洞卷积结果、普通卷积结果分别与所述CAM进行特征相乘，并与所述指导映射图进行维度拼接，得到初始语义特征图；
将所述初始语义特征图输入至卷积核为1×1的卷积层中进行卷积降维处理，并将卷积降维结果与所述初始卷积结果进行特征相加，并利用ReLU激活函数进行激活得到最终的语义特征图。
7.根据权利要求2所述的基于内窥镜图像的大肠息肉分割方法，其特征在于，所述将所述全局映射图作为指导映射图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图，包括：
将所述全局映射图与所述第三高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述指导映射图进行特征相加，得到一级检测图；
将一级检测图与所述第二高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述一级检测图进行特征相加，得到二级检测图；
将二级检测图与所述第一高层特征对应的语义特征图进行特征相乘，并将特征相乘结果输入至多组卷积模块进行卷积处理，并将卷积处理结果与所述二级检测图进行特征相加，得到三级检测图。
8.一种基于内窥镜图像的大肠息肉分割系统，其特征在于，包括：
特征编码单元，用于将内窥镜图像输入至预训练的Res2Net模型中进行特征编码，得到多个低层特征和多个高层特征；
全局映射图获取单元，用于利用特征整合模块分别对所述多个高层特征进行特征增强处理，并将特征增强后的多个高层特征进行特征融合，得到全局映射图；
检测图获取单元，用于将所述全局映射图作为指导映射图，并将最高层的所述高层特征以及所述指导映射图输入至对应的ACE模块进行特征解码，得到最高层的语义特征图，利用所述指导映射图对所述语义特征图进行降维指导处理，得到一级检测图，将所述一级检测图作为新的指导映射图继续对第二层的语义特征图进行降维指导处理，得到二级检测图，依此类推，得到每一高层特征对应的检测图；
预测结果获取单元，用于对最低层的所述高层特征对应的检测图进行概率计算，得到最终预测结果。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于内窥镜图像的大肠息肉分割方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于内窥镜图像的大肠息肉分割方法。
CN202111181344.3A 2021-10-11 2021-10-11 基于内窥镜图像的大肠息肉分割方法、系统及相关组件 Active CN113838047B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111181344.3A CN113838047B (zh) 2021-10-11 2021-10-11 基于内窥镜图像的大肠息肉分割方法、系统及相关组件

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111181344.3A CN113838047B (zh) 2021-10-11 2021-10-11 基于内窥镜图像的大肠息肉分割方法、系统及相关组件

Publications (2)

Publication Number Publication Date
CN113838047A true CN113838047A (zh) 2021-12-24
CN113838047B CN113838047B (zh) 2022-05-31

Family

ID=78968481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111181344.3A Active CN113838047B (zh) 2021-10-11 2021-10-11 基于内窥镜图像的大肠息肉分割方法、系统及相关组件

Country Status (1)

Country Link
CN (1) CN113838047B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742848A (zh) * 2022-05-20 2022-07-12 深圳大学 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN116580027A (zh) * 2023-07-12 2023-08-11 中国科学技术大学 一种结直肠内窥镜视频的实时息肉检测系统及方法
CN116935051A (zh) * 2023-07-20 2023-10-24 深圳大学 一种息肉分割网络方法、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN112101363A (zh) * 2020-09-02 2020-12-18 河海大学 基于空洞残差和注意力机制的全卷积语义分割系统及方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675406A (zh) * 2019-09-16 2020-01-10 南京信息工程大学 基于残差双注意力深度网络的ct图像肾脏分割算法
CN112101363A (zh) * 2020-09-02 2020-12-18 河海大学 基于空洞残差和注意力机制的全卷积语义分割系统及方法
CN112329800A (zh) * 2020-12-03 2021-02-05 河南大学 一种基于全局信息引导残差注意力的显著性目标检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAVELDVORAK: "LocalStructurePredictionwithConvolutionalNeuralNetworks For Multimodal Brain Tumor Segementation", 《INTERNATIONALMICCAI WORKSHOPONMEDICALCOMPUTERVISION》 *
图像博士的橘猫: "通道注意力，空间注意力，像素注意力", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/358710763?IVK_SA=1024320U》 *
孔祥茂: "基于深度学习的脑部肿瘤分割算法研究与实现", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742848A (zh) * 2022-05-20 2022-07-12 深圳大学 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN114742848B (zh) * 2022-05-20 2022-11-29 深圳大学 基于残差双重注意力的息肉图像分割方法、装置、设备及介质
CN116580027A (zh) * 2023-07-12 2023-08-11 中国科学技术大学 一种结直肠内窥镜视频的实时息肉检测系统及方法
CN116580027B (zh) * 2023-07-12 2023-11-28 中国科学技术大学 一种结直肠内窥镜视频的实时息肉检测系统及方法
CN116935051A (zh) * 2023-07-20 2023-10-24 深圳大学 一种息肉分割网络方法、系统、电子设备及存储介质

Also Published As

Publication number Publication date
CN113838047B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
CN113838047B (zh) 基于内窥镜图像的大肠息肉分割方法、系统及相关组件
CN114612479B (zh) 基于全局与局部特征重建网络的医学图像分割方法和装置
Mahmud et al. PolypSegNet: A modified encoder-decoder architecture for automated polyp segmentation from colonoscopy images
CN111402268B (zh) 一种医学图像中肝脏及其病灶分割的方法
CN112489061B (zh) 一种基于多尺度信息与并行注意力机制的深度学习肠道息肉分割方法
CN110992270A (zh) 基于注意力的多尺度残差注意网络图像超分辨率重建方法
CN115205300B (zh) 基于空洞卷积和语义融合的眼底血管图像分割方法与系统
CN110428432A (zh) 结肠腺体图像自动分割的深度神经网络算法
CN112258488A (zh) 一种医疗影像病灶分割方法
KR102332088B1 (ko) 세부 업샘플링 인코더-디코더 네트워크를 이용한 대장 내시경 이미지에서의 폴립 바운더리 인식을 통한 폴립 세그먼테이션 장치 및 그 방법
CN113947609A (zh) 深度学习网络结构及多标签主动脉夹层ct图像分割方法
CN115018824A (zh) 一种基于CNN和Transformer融合的结肠镜息肉图像分割方法
CN110969632B (zh) 一种深度学习模型的训练方法、图像处理方法及装置
CN114170167B (zh) 基于注意力引导上下文校正的息肉分割方法和计算机设备
CN113506310A (zh) 医学图像的处理方法、装置、电子设备和存储介质
Yamanakkanavar et al. MF2-Net: A multipath feature fusion network for medical image segmentation
CN113012163A (zh) 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质
CN114140651A (zh) 胃部病灶识别模型训练方法、胃部病灶识别方法
Alam et al. S2C-DeLeNet: A parameter transfer based segmentation-classification integration for detecting skin cancer lesions from dermoscopic images
CN113205524A (zh) 基于U-Net的血管图像分割方法、装置和设备
CN114419056A (zh) 一种逐步精细的医学图像分割系统
CN117152433A (zh) 一种基于多尺度跨层注意力融合网络的医学图像分割方法
CN114418987A (zh) 一种多阶段特征融合的视网膜血管分割方法及系统
Liu et al. Computer aided annotation of early esophageal cancer in gastroscopic images based on Deeplabv3+ network
CN116825363B (zh) 基于融合深度学习网络的早期肺腺癌病理类型预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant