CN115457061A - 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 - Google Patents

一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 Download PDF

Info

Publication number
CN115457061A
CN115457061A CN202211043189.3A CN202211043189A CN115457061A CN 115457061 A CN115457061 A CN 115457061A CN 202211043189 A CN202211043189 A CN 202211043189A CN 115457061 A CN115457061 A CN 115457061A
Authority
CN
China
Prior art keywords
convolution
branch
module
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211043189.3A
Other languages
English (en)
Inventor
何熊熊
龚歆宇
古梦婷
朱润雯
杨文琴
董胜
李胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202211043189.3A priority Critical patent/CN115457061A/zh
Publication of CN115457061A publication Critical patent/CN115457061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，输入腺体细胞图像数据集，以改进的UNet作为主干网络，构建基于选择性多分支空洞卷积的腺体细胞分割网络，所述网络以上下文编码网络捕获更多高级特征，以通道注意力模块自适应重新校准通道特征响应并突出最相关的特征通道，以多尺度选择模块放大有效信息和抑制冗余信息，选择合适尺度的空洞卷积分支；以输入的腺体细胞图像数据集对构建的分割网络进行训练，得到稳定的分割网络；输入待分割腺体细胞图像，以稳定的分割网络进行腺体细胞分割。本发明具有更好的泛化能力，特别适用于结直肠息肉中腺体的尺度大小、形状变化差异大的情况。

Description

一种基于选择性多分支空洞卷积的腺体细胞图像分割方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种基于选择性多分支空洞卷积的腺体细胞图像分割方法。
背景技术
结直肠癌是胃肠道常见的恶性肿瘤，大约95％的结直肠癌是腺癌。在消化系统恶性肿瘤中，其发病率和死亡率仅次于胃癌、食管癌和原发性肝癌。
病理学家使用腺体形态学来评估结直肠癌的分级或分化程度，在组织学图像中分割腺体实例非常具有挑战性，因为它不仅需要从复杂背景中检测腺体，还需要通过精确的边界检测来分离每个腺体实例。在临床实践中，病理学家在显微镜下目测分析活检组织切片。组织病理学检查作为腺体病变诊断的“金标准”，对于早期诊断至关重要。
然而，这项工作并不容易，必须面对腺体在形状、大小、位置、纹理等方面的多变性带来的影响，并且随着全玻片图像技术的发展，组织学图像的数量和类型迅速增加，需要对越来越多的组织病理学数据进行分析，让有资质的阅片医生从大规模的组织学图像中提取重要的形态学特征是不切实际的。数字病理学的发展带来了新方法，主要用于计算机辅助诊断系统。在该领域，肿瘤类型预测和分级、组织分割和癌细胞识别成为了几个热门话题。因此，有资质的阅片医生迫切需要利用计算机辅助技术进行组织病理学图像分析，对分割效率和可靠性提出了很高的要求，同时对于降低死亡率、减轻医生负担以及提高患者生活质量等方面都具有重要意义。
为了准确的分割腺体，现有技术中存在多种不同的方法，大致归结为两种主要方法，第一种是基于传统的图像处理方法，如基于阈值的分割方法、基于区域的分割方法等，第二种是使用卷积神经网络(CNN)进行分割的方法。目前，随着深度学习的快速发展，卷积神经网络成功的突破了传统手工特征的限制。这些基于CNN的方法极大的刷新了几乎所有广泛使用的方法的基准，而且因为高效和高性能逐渐取代了传统的图像分割方法，但是现有大多数基于U-Net的方法仍然存在腺体分割不准确、边界模糊等问题。如Chen等人提出的深轮廓感知网络(DCAN)架构，利用多级上下文特征和辅助监督机制来处理腺体的大外观变化和梯度消失问题，虽然有效，但是在一些恶性病例的严重退化腺体中是无效的；Raza等人提出了多输入多输出网络(MIMO-Net)，该网络以多分辨率可视化输入和输出图像，通过整合上下文可以很好地训练网络参数，但对斑块边界上的腺体缺乏准确性；Graham等人通过在网络内的多个点重新启动原始输入图像，以及使用萎缩的空间金字塔池和随机变换，提出了最小信息损失扩张网络，但是对恶性腺体分割效果还是较差。
发明内容
本发明为了能够选择性地从不同尺度学习腺体细胞的特征，最大限度地提取图像特征，提高分割任务中边界的定位精度，提出了一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，利用上下文编码网络来捕获更多的高级特征，利用通道注意力模块(Channel Attention Module，CA)来自适应地重新校准通道特征响应并突出最相关的特征通道，同时提出多尺度选择模块(Multiscale Selection Module，MS)放大有效信息和抑制冗余信息，来选择合适尺度的空洞卷积分支，能够更高效和精准地分割不同尺度的腺体。
本发明提出的分割网络解决了现有技术中由于恶性腺体结构不规则或退化严重而导致的腺体分割精度较差的问题，不仅提高了分割精度，同时还提高了网络的泛化能力。
本发明采用如下的技术方案，一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，所述方法包括以下步骤：
步骤1：输入腺体细胞图像数据集；
步骤2：以改进的UNet作为主干网络，构建基于选择性多分支空洞卷积的腺体细胞分割网络，所述网络以上下文编码网络捕获更多高级特征，以通道注意力模块自适应重新校准通道特征响应并突出最相关的特征通道，以多尺度选择模块放大有效信息和抑制冗余信息，选择合适尺度的空洞卷积分支；
步骤3：以输入的腺体细胞图像数据集对构建的分割网络进行训练，得到稳定的分割网络；
步骤4：输入待分割腺体细胞图像，以稳定的分割网络进行腺体细胞分割。
优选地，所述网络以经过ImageNet预训练的ResNet34作为特征编码器模块，以所述特征编码器模块的前4个特征提取器进行下采样，输入解码器模块；所述解码器模块包括4个组合解码器；4个特征提取器与4个组合解码器配合设置。
优选地，任一所述特征提取器包括残差模块，相邻的2个特征提取器间以最大池化层连接。
优选地，第1个特征提取器与第4个组合解码器的输入层跳跃连接；
第2个特征提取器与第3个组合解码器的输入层跳跃连接；
第3个特征提取器与第2个组合解码器的输入层跳跃连接；
第4个特征提取器与第1个组合解码器的输入层跳跃连接。
优选地，所述组合解码器包括顺次连接的通道注意力模块、多尺度选择模块和密集空洞卷积模块，所述通道注意力模块前及密集空洞卷积模块后分别设置有卷积层。
优选地，所述通道注意力模块包括并列设置的全局平均池化层和最大池化层；特征分别输入全局平均池化层和最大池化层，全局平均池化层和最大池化层的输出端分别连接一个两层的神经网络，2个所述两层的神经网络输出的2个特征相加后，以激活函数得到权重系数；所述权重系数与输入通道注意力模块的特征相乘后再与输入通道注意力模块的特征相加，输出通道注意力模块处理后的新特征。
优选地，以通道注意力模块输出的特征输入所述多尺度选择模块，输入的特征映射乘以训练期间学习的因子，获得所选特征映射中每个像素的值后再与输入的特征映射相加，得到被选择的不同尺度的特征。
优选地，所述学习的因子包括顺次设置的卷积层、BN层及激活函数；所述因子小于预设值时，像素值被抑制；所述因子大于预设值时，像素值被放大。
优选地，所述密集空洞卷积模块包括4个级联分支，任一级联分值包括1个或多个卷积层；第一个分支空洞卷积率为1，第二个分支空洞卷积率为3，第三个分支空洞卷积率由1到3，第四个分支空洞卷积率由1到3再到5，对应的每个分支的感受野大小是3、7、9和19；在每个分支中，应用1个1×1卷积校正线性激活。
优选地，所述组合解码器中，采用转置卷积来恢复解码器中的高分辨率特征，包括连续的1×1卷积、3×3转置卷积和1×1卷积；在上采样过程中产生的各个特征图与下采样过程中所提取和保留的特征图相对应地进行通道拼接。
本发明涉及一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，输入腺体细胞图像数据集，以改进的UNet作为主干网络，构建基于选择性多分支空洞卷积的腺体细胞分割网络，所述网络以上下文编码网络捕获更多高级特征，以通道注意力模块自适应重新校准通道特征响应并突出最相关的特征通道，以多尺度选择模块放大有效信息和抑制冗余信息，选择合适尺度的空洞卷积分支；以输入的腺体细胞图像数据集对构建的分割网络进行训练，得到稳定的分割网络；输入待分割腺体细胞图像，以稳定的分割网络进行腺体细胞分割。
本发明有益效果在于：
(1)具有更好的泛化能力；
(2)利用通道注意模块(CA)自动突出显示相关的特征通道，同时抑制不相关的通道；
(3)设计多尺度选择模块(MS)，放大有效信息和抑制冗余信息，进行不同尺度的选择；
(4)采用上下文编码网络提取特征，设计一个密集空洞卷积(DAC)块作为上下文特征提取器，能够提取不同大小的对象的特征；
(5)特别适用于结直肠息肉中腺体的尺度大小、形状变化差异大的情况。
附图说明
图1为本发明的网络结构图；
图2为本发明的中的CA模块结构图；
图3为本发明的中的MS模块结构图；
图4为本发明的中的DAC模块结构图；
图5为本发明的流程图。
具体实施方式
为了阐述本发明的目的、技术方案和优点，以下结合具体实施例及附图，对本发明做进一步详细说明。
如图5所示，本发明涉及一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，包括以下步骤：
步骤1：输入腺体细胞图像数据集；输入数据集X＝{x1,x2,...,xn}，其中，X表示数据集中输入的样本，xN∈R512×512，N表示样本数量。
步骤2：以改进的UNet作为主干网络，构建基于选择性多分支空洞卷积的腺体细胞分割网络，所述网络以上下文编码网络捕获更多高级特征，以通道注意力模块自适应重新校准通道特征响应并突出最相关的特征通道，以多尺度选择模块放大有效信息和抑制冗余信息，选择合适尺度的空洞卷积分支；
如图1所示，所述网络以改进的UNet作为主干网络，其主干包括编码器-解码器结构；以经过ImageNet预训练的ResNet34作为特征编码器模块，以所述特征编码器模块的前4个特征提取器进行下采样，输入解码器模块；所述解码器模块包括4个组合解码器；4个特征提取器与4个组合解码器配合设置。
本发明中，由于连续的池化和卷积运算会导致一些空间信息的丢失，故采用经过ImageNet预训练的ResNet34作为特征编码器模块，该模块保留了前四个特征提取器，没有平均池化层和全连接层，避免了梯度消失，加快了网络收敛；利用最大池化层和残差模块来进行下采样操作时，每一层的大小分别为256×256×64、128×128×64、64×64×128、32×32×256、16×16×512。
任一所述特征提取器包括残差模块，相邻的2个特征提取器间以最大池化层连接。残差模块(残差块)包括顺次设置的2个卷积层，以输入与2个卷积层的输出相加进行输出。
第1个特征提取器与第4个组合解码器的输入层跳跃连接；
第2个特征提取器与第3个组合解码器的输入层跳跃连接；
第3个特征提取器与第2个组合解码器的输入层跳跃连接；
第4个特征提取器与第1个组合解码器的输入层跳跃连接。
所述组合解码器包括顺次连接的通道注意力模块、多尺度选择模块和密集空洞卷积模块，所述通道注意力模块前及密集空洞卷积模块后分别设置有卷积层。
如图2所示，所述通道注意力模块包括并列设置的全局平均池化层和最大池化层；特征分别输入全局平均池化层和最大池化层，全局平均池化层和最大池化层的输出端分别连接一个两层的神经网络，2个所述两层的神经网络输出的2个特征相加后，以激活函数得到权重系数；所述权重系数与输入通道注意力模块的特征相乘后再与输入通道注意力模块的特征相加，输出通道注意力模块处理后的新特征。
本发明中，为了更好地利用最有用的特征通道，利用通道注意(CA)来自动突出显示相关的特征通道，同时抑制不相关的通道，组合来自编码器的低级特征和来自解码器的高级特征，以便更相关的通道通过更高的系数进行加权。
本发明中，利用平均池激发特征通道和最大池保留更多信息，让x表示带有C个通道的串联输入特征映射，首先使用全局平均池化Pavg和全局最大池化Pmax来获得每个通道的全局信息，输出信息分别表示为Pavg(x)∈RC×1×1和Pmax(x)∈RC×1×1，再将它们分别送入一个共享的两层的神经网络，所述两层的神经网络包括2个全连接层且2个全连接层间有激活函数Relu，使用多层感知器Mr来获得通道注意系数β∈[0,1]C×1×1，Mr是由两个全连接层实现的，第一个输出通道数为C/r，第二个输出通道数为C；考虑到性能和计算成本的权衡，设置r＝2。这里的Mr是被Pavg和Pmax共享使用的，对结果进行求和然后输入到sigmoid函数中获得β(权重系数)；最后拿权重系数与输入通道注意力模块的特征相乘后再与输入通道注意力模块的特征相加，即可得到缩放后的新特征。
本发明中，CA模块的输出为yCA＝x·β+x。
如图3所示，以通道注意力模块输出的特征x输入所述多尺度选择模块，输入的特征映射乘以训练期间学习的因子，获得所选特征映射中每个像素的值后再与输入的特征映射相加，得到被选择的不同尺度的特征。
所述学习的因子包括顺次设置的卷积层、BN层及激活函数；所述因子小于预设值时，像素值被抑制；所述因子大于预设值时，像素值被放大。
本发明中，以多尺度选择模块(MS)用来根据训练期间学习到的因子，放大有效信息和抑制冗余信息，操作公式如下：
Figure BDA0003821326280000081
cbt(x)＝tanh(bn(conv(x))
通过将输入特征映射x乘以训练期间学习的因子，获得所选特征映射s中每个像素的值，由于激活函数tanh的输出范围为-1到1，因此cbt(x)+1的范围大小为0到2，故此处的预设值为1，当因子小于1或大于1时，像素值被抑制或放大；使用它来选择不同尺度的特征，以关注重要的信息，而不是所有的信息。
如图4所示，所述密集空洞卷积模块包括4个级联分支，任一级联分值包括1个或多个卷积层；第一个分支空洞卷积率为1，第二个分支空洞卷积率为3，第三个分支空洞卷积率由1到3，第四个分支空洞卷积率由1到3再到5，对应的每个分支的感受野大小是3、7、9和19；在每个分支中，应用1个1×1卷积校正线性激活。
本发明中，由于结直肠息肉中腺体的尺度大小、形状变化差异大，故采用上下文编码网络提取特征，以密集空洞卷积(DAC)块作为上下文特征提取器，能够提取不同大小的对象的特征，过程为，DAC模块有四个级联分支，第一个分支空洞卷积率为1，第二个分支空洞卷积率为3，第三个分支空洞卷积率由1到3，第四个分支空洞卷积率由1到3再到5，对应的每个分支的感受野大小是3、7、9和19。
本发明中，在每个分支中，应用一个1×1卷积来校正线性激活。
本发明中，整体来说，当感受野小于一个腺体细胞时，获得的局部信息过多，导致全局信息的丢失，影响识别率，而腺体有大有小，故使用4个不同大小的感受野并行来提取不同大小的特征信息，兼顾大小不同的腺体细胞，并且用空洞卷积代替普通卷积能够获得更大的感受野，同时减少参数量，提高所提取的网络的泛化能力。
所述组合解码器中，采用转置卷积(反卷积)来恢复解码器中的高分辨率特征，转置卷积包括连续的1×1卷积、3×3转置卷积和1×1卷积；在上采样过程中产生的各个特征图与下采样过程中所提取和保留的特征图相对应地进行通道拼接。
本发明中，采用转置卷积来恢复解码器中的高分辨率特征，其主要包括连续的1×1卷积、3×3转置卷积和1×1卷积；同时，解码器在上采样过程中产生的各个特征图将与编码器在下采样过程中所提取和保留的特征图相对应地进行通道拼接，以实现多层次特征融合，提高了像素预测准确率。
步骤3：以输入的腺体细胞图像数据集对构建的分割网络进行训练，得到稳定的分割网络；
步骤4：输入待分割腺体细胞图像，以稳定的分割网络进行腺体细胞分割。
本发明使用结肠组织病理图像作为输入对设计的模型进行训练得到参数，再用训练的参数，输入测试集图像用来预测最终的分割结果。
1)仿真条件
实验采用一台配置CPU Intel(R)Xeon(R)Gold 6161 CPU@2.20GHz 2.2GHz(2个处理器)，64GB内存，windows操作系统和2块Nvidia GTX 3080Ti显卡的工作站。模型基于PyTorch深度学习框架实现，PyTorch版本为1.8.0，Python版本为3.7。输入图片大小统一调整为512×512，并采用了多尺度训练策略。使用ADAM算法来优化总体参数，学习率设置为1e-4。本发明使用Warwick-QU数据集作为研究数据集。它包含使用Zeiss MIRAX MIDI显微镜获得的165个结肠组织图像，由医学专家对每个图像进行了腺体的真实标注。这165幅图像，拥有从良性到恶性的组织学分级，包括85幅训练图像(37幅良性和48幅恶性)和80幅测试图像(37幅良性和43幅恶性)。此外，测试图像被分为两个测试集：测试A(60张图像)和测试B(20张图像)。本发明将本文提出的方法分别与FCN、UNet、DCAN、MIMIONet、SegNet、DeepLab以及MILD-Net七种医学图像分割方法进行了比较。
2)仿真结果
本发明方法与FCN、UNet、DCAN、MIMIONet、SegNet、DeepLab以及MILD-Net七种医学图像分割方法在Glas数据集上进行了对比实验。使用与MICCAI Glas挑战赛相同的评估标准对方法的性能进行评估，包含F1值、Mean Dice、目标级别Hausdorff距离。其中，F1值用来衡量单个腺体目标的检测精度；Dice指数用来衡量两组样本之间的相似性；Hausdorff距离用来衡量基于边界的分割精度。
表1本发明方法与其他七种医学图像分割方法的性能测试结果
Figure BDA0003821326280000111
从表1中可以看出，本发明方法相对于其他方法上具有更优的结果，大大提升了分割的性能，尤其是泛化能力更强，对不同等级的腺体都能分割得较好，能够更好的应用在腺体分割上，具有更好的实际工程应用价值。
本说明未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述方法包括以下步骤：
步骤1：输入腺体细胞图像数据集；
步骤2：以改进的UNet作为主干网络，构建基于选择性多分支空洞卷积的腺体细胞分割网络，所述网络以上下文编码网络捕获更多高级特征，以通道注意力模块自适应重新校准通道特征响应并突出最相关的特征通道，以多尺度选择模块放大有效信息和抑制冗余信息，选择合适尺度的空洞卷积分支；
步骤3：以输入的腺体细胞图像数据集对构建的分割网络进行训练，得到稳定的分割网络；
步骤4：输入待分割腺体细胞图像，以稳定的分割网络进行腺体细胞分割。
2.根据权利要求1所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述网络以经过ImageNet预训练的ResNet34作为特征编码器模块，以所述特征编码器模块的前4个特征提取器进行下采样，输入解码器模块；所述解码器模块包括4个组合解码器；4个特征提取器与4个组合解码器配合设置。
3.根据权利要求2所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：任一所述特征提取器包括残差模块，相邻的2个特征提取器间以最大池化层连接。
4.根据权利要求2所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：第1个特征提取器与第4个组合解码器的输入层跳跃连接；
第2个特征提取器与第3个组合解码器的输入层跳跃连接；
第3个特征提取器与第2个组合解码器的输入层跳跃连接；
第4个特征提取器与第1个组合解码器的输入层跳跃连接。
5.根据权利要求2所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述组合解码器包括顺次连接的通道注意力模块、多尺度选择模块和密集空洞卷积模块，所述通道注意力模块前及密集空洞卷积模块后分别设置有卷积层。
6.根据权利要求5所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述通道注意力模块包括并列设置的全局平均池化层和最大池化层；特征分别输入全局平均池化层和最大池化层，全局平均池化层和最大池化层的输出端分别连接一个两层的神经网络，2个所述两层的神经网络输出的2个特征相加后，以激活函数得到权重系数；所述权重系数与输入通道注意力模块的特征相乘后再与输入通道注意力模块的特征相加，输出通道注意力模块处理后的新特征。
7.根据权利要求5所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：以通道注意力模块输出的特征输入所述多尺度选择模块，输入的特征映射乘以训练期间学习的因子，获得所选特征映射中每个像素的值后再与输入的特征映射相加，得到被选择的不同尺度的特征。
8.根据权利要求7所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述学习的因子包括顺次设置的卷积层、BN层及激活函数；所述因子小于预设值时，像素值被抑制；所述因子大于预设值时，像素值被放大。
9.根据权利要求5所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述密集空洞卷积模块包括4个级联分支，任一级联分值包括1个或多个卷积层；第一个分支空洞卷积率为1，第二个分支空洞卷积率为3，第三个分支空洞卷积率由1到3，第四个分支空洞卷积率由1到3再到5，对应的每个分支的感受野大小是3、7、9和19；在每个分支中，应用1个1×1卷积校正线性激活。
10.根据权利要求5所述的一种基于选择性多分支空洞卷积的腺体细胞图像分割方法，其特征在于：所述组合解码器中，采用转置卷积来恢复解码器中的高分辨率特征，包括连续的1×1卷积、3×3转置卷积和1×1卷积；在上采样过程中产生的各个特征图与下采样过程中所提取和保留的特征图相对应地进行通道拼接。
CN202211043189.3A 2022-08-30 2022-08-30 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法 Pending CN115457061A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211043189.3A CN115457061A (zh) 2022-08-30 2022-08-30 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211043189.3A CN115457061A (zh) 2022-08-30 2022-08-30 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法

Publications (1)

Publication Number Publication Date
CN115457061A true CN115457061A (zh) 2022-12-09

Family

ID=84300544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211043189.3A Pending CN115457061A (zh) 2022-08-30 2022-08-30 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法

Country Status (1)

Country Link
CN (1) CN115457061A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453131A (zh) * 2023-06-15 2023-07-18 荣耀终端有限公司 文档图像矫正方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453131A (zh) * 2023-06-15 2023-07-18 荣耀终端有限公司 文档图像矫正方法、电子设备及存储介质
CN116453131B (zh) * 2023-06-15 2023-10-20 荣耀终端有限公司 文档图像矫正方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110458249B (zh) 一种基于深度学习与概率影像组学的病灶分类系统
CN111667489B (zh) 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统
CN111524137B (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN114119977B (zh) 一种基于图卷积的Transformer胃癌癌变区域图像分割方法
CN111784671A (zh) 基于多尺度深度学习的病理图像病灶区域检测方法
CN111915573A (zh) 一种基于时序特征学习的消化内镜下病灶跟踪方法
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
CN114266786A (zh) 基于生成对抗网络的胃病变分割方法及系统
Hu et al. A state-of-the-art survey of artificial neural networks for whole-slide image analysis: from popular convolutional neural networks to potential visual transformers
CN112990214A (zh) 一种医学图像特征识别预测模型
CN114266898A (zh) 一种基于改进EfficientNet的肝癌识别方法
CN117015796A (zh) 处理组织图像的方法和用于处理组织图像的系统
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN112614093A (zh) 基于多尺度空间注意力网络的乳腺病理图像分类方法
CN115457061A (zh) 一种基于选择性多分支空洞卷积的腺体细胞图像分割方法
CN113538422B (zh) 一种基于染色强度矩阵的病理图像自动分类方法
Shi et al. A structure-aware hierarchical graph-based multiple instance learning framework for pt staging in histopathological image
Addo et al. A hybrid lightweight breast cancer classification framework using the histopathological images
Obayya et al. Modified salp swarm algorithm with deep learning based gastrointestinal tract disease classification on endoscopic images
Imtiaz et al. BAWGNet: Boundary aware wavelet guided network for the nuclei segmentation in histopathology images
Krishna et al. An interpretable decision-support model for breast cancer diagnosis using histopathology images
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
CN115439493A (zh) 一种乳腺组织切片癌变区域分割方法及装置
CN114862747A (zh) 一种基于信息补全的全卷积细化网络腺体图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination