CN112017192A - 基于改进U-Net网络的腺体细胞图像分割方法及系统 - Google Patents
基于改进U-Net网络的腺体细胞图像分割方法及系统 Download PDFInfo
- Publication number
- CN112017192A CN112017192A CN202010811454.2A CN202010811454A CN112017192A CN 112017192 A CN112017192 A CN 112017192A CN 202010811454 A CN202010811454 A CN 202010811454A CN 112017192 A CN112017192 A CN 112017192A
- Authority
- CN
- China
- Prior art keywords
- input end
- connecting block
- dense
- attention module
- output end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003709 image segmentation Methods 0.000 title claims abstract description 12
- 230000000762 glandular Effects 0.000 title claims description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 210000004907 gland Anatomy 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 99
- 238000010586 diagram Methods 0.000 claims description 79
- 238000011176 pooling Methods 0.000 claims description 59
- 230000009191 jumping Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 3
- 210000004027 cell Anatomy 0.000 description 50
- 238000010186 staining Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000000877 morphologic effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000004940 nucleus Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000013432 robust analysis Methods 0.000 description 1
- 210000004881 tumor cell Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
本发明公开一种基于改进U‑Net网络的腺体细胞图像分割方法及系统。本发明将卷积层组合构建成密集连接块,以多分辨率分析的方法放大U‑Net,可以很好地解决规则不一的细胞分割问题。且在解码器端,引入自注意力模块,分别为位置注意力模块和通道注意力模块,可以自适应地聚合上下文信息,从而提高细胞分割的特征表示。使用该网络对细胞图像进行分割,从而提高了分割效果。该方法易于实现,数据预处理操作简单,具有更好的鲁棒性和准确率。
Description
技术领域
本发明涉及网络模式识别和分割技术领域,具体涉及一种非诊断目的的基于密集连接块U-Net网络的腺体细胞图像分割方法及系统。
背景技术
组织病理学图像分析对于准确的肿瘤细胞估计和预后起着至关重要的作用。图像结构(如细胞核和腺体)的大小、形状和其他一些形态学表现与疾病的存在或严重程度高度相关。在以前,这些图像是由评估活检样本的病理学专家进行评估,但手工存在主观性强,工作量大,费时的问题。因此,定量和客观地分析组织病理学图像的计算方法已经发展起来。图像分割,即从组织病理学图像中提取细胞、细胞核或腺体,是所有分析之前的步骤,因此是组织病理学分析中的关键步骤。
然而,目前自动分割腺体细胞仍然具有挑战性。首先,大量的细胞遮挡和簇的存在很容易造成分割过多或分割不足,这阻碍了对细胞的精确形态学测量。其次,模糊的边界和不一致的染色使得图像不可避免地包含无法区分的腺体细胞,从而可能引入主观标注和错误标注,这对获得稳健和客观的分割结果提出挑战。第三,细胞形态、大小和密度在不同细胞类型和器官之间的变化要求分割方法要具有良好的泛化能力以进行稳健分析。
早期的方法大多基于阈值和形态学运算,在复杂背景下难以找到可靠的阈值,而基于深度学习的方法一般更稳健,已成为医学图像分割的基准。目前最先进的核/腺体分割方法采用全卷积网络及其变体,利用编码器提取特征,从低分辨率特征图中恢复高分辨率预测。与传统的分割方法相比,取得了较好的分割效果。FCNs编码器遵循卷积网络的典型结构,用于从图像中提取空间特征,解码器根据编码器特征构建分割图。池化操作可以极大的增加感受野,以提取更抽象的特征。然而,下采样过程中会降低分割任务中边界的定位精度,且在上采样过程中,并没有考虑像素之间的关系。此外当物体具有不同的颜色、纹理和形状时,尤其在医学图像中,分割效果仍然不能令人满意。
基于现有方法没有达到最优性能的观察结果(特别是在分割小的解剖结构的情况下),本发明对这个问题进行了详细的分析。具体地说,本发明使用标准的编码器和解码器全卷积神经网络(U-Net)架构进行了实验,该架构是几种分割算法中的主要骨干。尽管使用了能够将信息从浅层传播到深层的跳跃连接,但由于以下原因,网络无法捕获更详细的信息,标准编码器-解码器架构,其中数据的维度降低到瓶颈附近,最初的几个块学习数据的低级特征,而后面的块学习高级特征,最终,编码器学会将数据映射到较低的维度(在空间意义上)。网路深度上不断增加的接受微小的结构需要更小的接受场,在标准的U-Net的情况下,即使有跳跃连接,最小的接受场也受到第一层的限制。因此,不完整的体系结构本质上限制了它们捕获更精细细节的能力。
发明内容
本发明的第一个目的是为了提高基于深度学习方法的腺体细胞分割精度问题,提出了一种基于改进U-Net网络的腺体细胞图像分割方法。
一种基于改进U-Net网络的腺体细胞分割方法,包括以下内容:
步骤一、数据获取
获取腺体细胞原图像,一般从相关竞赛中获取数据,例如MICCAI2015腺体分割挑战赛数据集(Glas);
步骤二、数据预处理
2.1由于U-Net网络可接收的图像大小是512x512,故对腺体细胞原图像调整图像大小。
2.2由于有些数据清晰度较低,且染色等不均匀,故筛选出分辨率较高,且没有信息缺少(有些无染色则表明不是细胞,故信息缺失)的图像作为训练数据。
2.3使用tensorflow数据增强库对训练数据集进行数据集进行数据增强,使得训练数据集数据增多,增加之后训练得出的模型泛化能力更强。
步骤三、搭建改进U-Net网络模型
将U-Net网络中每两次3x3卷积之后池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;具体是:
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B和特征图C上的i点j点所表示的像素值。
可以从等式(2)中推出,在每个位置处得到的特征E′是所有位置上的特征和原始特征的加权和。因此,它具有全局上下文视图,并根据空间注意图选择性地聚合上下文。相似的语义特征实现互惠互利,从而提高了类内紧凑性和语义一致性。
所述通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;具体是:
其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
公式(4)显示每个通道的最终特征是所有通道的特征和原始特征的加权和,其对特征映射之间的长期语义依赖性进行建模,有助于提高特征的可识别性;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,做为下一次反卷积的输入或者作为最后的高分辨率特征图。
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
本发明的另一个目的是提供一种基于改进U-Net网络的腺体细胞分割系统。
本发明系统包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端。
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
作为优选,改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
在腺体细胞图像中,有很多不规则且大小不一的细胞。因此,为了提高网络模型的健壮性,满足可以分析不同尺度对象的要求,本发明将现有U-Net网络的每两次3x3卷积之后池化操作,改进为将两个3x3卷积操作组合构建密集连接块后池化操作,以多分辨率分析的方法放大了U-Net,可以很好的解决规则不一的细胞分割问题。
本发明在解码端引入自注意力机制模块,分别为位置注意力模块和通道注意力模块,可以自适应地聚合上下文信息,从而提高细胞分割的特征表示。
本发明采用该改进U-Net网络模型对细胞图像进行分割,从而提高了分割效果。该方法易于实现,数据预处理操作简单,具有更好的鲁棒性和准确率。
附图说明
图1是腺体细胞图像;其中(a)-(f)为六种不同腺体细胞图像;
图2是基于密集连接块和注意力机制的改进U-Net模型结构图;
图3是密集连接块结构图;
图4是自注意力模块结构图;
图5是位置注意力模块结构图;
图6是通道注意力模块结构图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
一种基于改进U-Net网络的腺体细胞分割方法,包括以下内容:
步骤一、数据获取
获取图1腺体细胞原图像,一般从相关竞赛中获取数据,例如MICCAI2015腺体分割挑战赛数据集(Glas);
步骤二、数据预处理
2.1由于U-Net网络可接收的图像大小是512x512,故对腺体细胞原图像调整图像大小。
2.2由于有些数据清晰度较低,且染色等不均匀,故筛选出分辨率较高,且没有信息缺少(有些无染色则表明不是细胞,故信息缺失)的图像作为训练数据。
2.3使用tensorflow数据增强库对训练数据集进行数据集进行数据增强,使得训练数据集数据增多,增加之后训练得出的模型泛化能力更强。
步骤三、搭建改进U-Net网络模型,如图2
将U-Net网络中每两次3x3卷积之后池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
在U-Net架构中,在每个池化层和反卷积层之后,使用两个3x3卷积层。这两个连续的3x3卷积运算实际上类似于一个5x5卷积运算,因此我们可以考虑将每经过一次卷积的特征图保留下来进行相加,这样相当于有两路,一路为获得小尺度目标,使用一个3x3的卷积;另一路为获得大尺度目标,采用两个3x3卷积,即一个5x5的卷积,有助于U-Net体系结构在不同尺度上从图像中获取信息。
如图3所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
如图4所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
如图5位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;具体是:
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B和特征图C上的i点j点所表示的像素值。
可以从等式(2)中推出,在每个位置处得到的特征E′是所有位置上的特征和原始特征的加权和。因此,它具有全局上下文视图,并根据空间注意图选择性地聚合上下文。相似的语义特征实现互惠互利,从而提高了类内紧凑性和语义一致性。
如图6通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;具体是:
其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
公式(4)显示每个通道的最终特征是所有通道的特征和原始特征的加权和,其对特征映射之间的长期语义依赖性进行建模,有助于提高特征的可识别性;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,做为下一次反卷积的输入或者作为最后的高分辨率特征图。
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
一种基于改进U-Net网络的腺体细胞分割系统包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端。
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
作为优选,改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
在经典的U-Net网络中,每个池化层和反卷积层之前,串联使用两个3x3卷积层。为了分析和验证串联使用卷积层个数对模型效果的影响,设置串联的3x3卷积数目为1至4个。通过实验发现,简单地扩展3x3卷积数会影响训练精度,当串联个数为2个时分割精度最好,实验结果如表1所示。
表1串联不同数量3x3卷积的分割结果
两个3x3的卷积串联相当于一个5x5的卷积,三个3x3的卷积串联相当于一个7x7的卷积,且随着网络深度的加深,感受野越来越大,所以最开始的卷积如果太大,感受野的增大速度将更快,对一些小目标就没有检测的机会,尤其在细胞图像分割中,由于细胞的粘连性,这样会把很多细胞簇误认为是一个大细胞,导致分割精度降低,在F1分数的结果中尤为凸显。例如当3x3卷积个数扩展为4的时候,我们可以明显的观察到F1分数有一个很大的降低,由于F1分数考察的是单个细胞目标的检测精度,对于很多把细胞簇分割为单个细胞的错误分割,有一个很好的体现。若只用一个3x3的卷积,对于一些大目标则没有一个完备的检测,且最后的分解结果边缘非常粗糙,导致分割精度降低。
基于以上问题,本发明在经典U-Net网络的基础上,将串联的卷积构建为密集连接块,相较于之前的串联,这样构建相当于有好几路,一路为获得小尺度目标,另一路为获得大尺度目标,以此类推。为了验证构建的密集连接块对细胞分割效果的影响,分别设置构建密集连接块的卷积个数为1、2、3、4,以更好地与串联操作实验结果对比;实验结果如表2所示,当串联的3x3卷积个数为2时分割精度最高,与经典的U-Net相比,F1分数提升了1.62%,Dice提升了1.33%,Hausdorff提升了1.02。
表2密集连接块中个数不同3x3卷积的分割结果
由实验可知,当串联两个3x3的卷积构成密集连接块时分割结果最好,因此本发明采用串联两个3x3的卷积构成密集连接块。
为了验证本发明的有效性,将其与经典U-Net模型、Seg-Net模型在分割精度和参数量上进行定量比较。比较结果如表3所示。从定量均值比较结果可以看出,本文提出的模型在分割精度上达到了最高值,F1分数比U-Net模型提升了2.4%,Dice比U-Net模型提升了2.55%,Hausdorff比U-Net模型提升了2.7,F1分数比Seg-Net模型提升了3.87%,Dice比Seg-Net模型提升了4.44%,Hausdorff比Seg-Net模型提升了4.34;由于引进了注意力机制,与U-Net模型相比在参数量有一定提升,但其分割精度更高,与Seg-Net模型相比参数量则比较小,且分割精度更高。验证了本文所提出的模型对于腺体细胞分割有比较大的优势。
表3不同模型在Glas数据集上的分割精度和参数量
Claims (5)
1.一种改进U-Net网络的腺体细胞图像分割方法,其特征在于该方法包括:
步骤一、获取腺体细胞原图像;
步骤二、数据预处理
2.1对腺体细胞原图像调整图像大小,并筛选出分辨率较高,且没有信息缺少的图像作为训练数据;
2.2使用tensorflow数据增强库对训练数据集进行数据增强;
步骤三、搭建改进U-Net网络模型
将U-Net网络中每两次3x3卷积之后做池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后做池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
所述的位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述的通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,作为下一次反卷积的输入或者作为最后的高分辨率特征图;
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
2.如权利要求1所述的一种改进U-Net网络的腺体细胞图像分割方法,其特征在于位置注意力模块生成新的特征图具体操作包括如下:
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B上的i点和特征图C上的j点所表示的像素值;
4.一种基于改进U-Net网络的腺体细胞分割图像系统,其特征在于包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端;
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
5.如权利要求4所述的一种基于改进U-Net网络的腺体细胞图像分割系统,其特征在于改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010811454.2A CN112017192B (zh) | 2020-08-13 | 2020-08-13 | 基于改进U-Net网络的腺体细胞图像分割方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010811454.2A CN112017192B (zh) | 2020-08-13 | 2020-08-13 | 基于改进U-Net网络的腺体细胞图像分割方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112017192A true CN112017192A (zh) | 2020-12-01 |
CN112017192B CN112017192B (zh) | 2024-02-02 |
Family
ID=73506014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010811454.2A Active CN112017192B (zh) | 2020-08-13 | 2020-08-13 | 基于改进U-Net网络的腺体细胞图像分割方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017192B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669327A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
CN112819871A (zh) * | 2021-03-02 | 2021-05-18 | 华融融通(北京)科技有限公司 | 一种基于直线分割的表格图像配准方法 |
CN112837329A (zh) * | 2021-03-01 | 2021-05-25 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN114693706A (zh) * | 2022-06-01 | 2022-07-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种内窥镜息肉图像分割方法、装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555424A (zh) * | 2019-09-10 | 2019-12-10 | 深圳前海微众银行股份有限公司 | 港口集装箱布局检测方法、装置、设备及可读存储介质 |
CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
CN111339922A (zh) * | 2020-02-25 | 2020-06-26 | 西安电子科技大学 | 一种视频图像的高效处理方法 |
-
2020
- 2020-08-13 CN CN202010811454.2A patent/CN112017192B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110555424A (zh) * | 2019-09-10 | 2019-12-10 | 深圳前海微众银行股份有限公司 | 港口集装箱布局检测方法、装置、设备及可读存储介质 |
CN110853051A (zh) * | 2019-10-24 | 2020-02-28 | 北京航空航天大学 | 基于多注意密集连接生成对抗网络的脑血管影像分割方法 |
CN111027575A (zh) * | 2019-12-13 | 2020-04-17 | 广西师范大学 | 一种自注意对抗学习的半监督语义分割方法 |
CN111339922A (zh) * | 2020-02-25 | 2020-06-26 | 西安电子科技大学 | 一种视频图像的高效处理方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669327A (zh) * | 2020-12-25 | 2021-04-16 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
CN112669327B (zh) * | 2020-12-25 | 2023-02-14 | 上海交通大学 | 磁共振图像分割系统及其分割方法 |
CN112837329A (zh) * | 2021-03-01 | 2021-05-25 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
CN112837329B (zh) * | 2021-03-01 | 2022-07-19 | 西北民族大学 | 一种藏文古籍文档图像二值化方法及系统 |
CN112819871A (zh) * | 2021-03-02 | 2021-05-18 | 华融融通(北京)科技有限公司 | 一种基于直线分割的表格图像配准方法 |
CN112819871B (zh) * | 2021-03-02 | 2023-08-18 | 华融融通(北京)科技有限公司 | 一种基于直线分割的表格图像配准方法 |
CN113139627A (zh) * | 2021-06-22 | 2021-07-20 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN113139627B (zh) * | 2021-06-22 | 2021-11-05 | 北京小白世纪网络科技有限公司 | 纵隔肿物识别方法、系统及装置 |
CN114693706A (zh) * | 2022-06-01 | 2022-07-01 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种内窥镜息肉图像分割方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112017192B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110443143B (zh) | 多分支卷积神经网络融合的遥感图像场景分类方法 | |
Xiong et al. | Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset | |
CN112017192B (zh) | 基于改进U-Net网络的腺体细胞图像分割方法及系统 | |
CN108427920B (zh) | 一种基于深度学习的边海防目标检测方法 | |
CN110189308B (zh) | 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置 | |
Wang et al. | Practical cucumber leaf disease recognition using improved Swin Transformer and small sample size | |
CN110738207A (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
CN107730515B (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN109410184B (zh) | 基于稠密对抗网络半监督学习的直播色情图像检测方法 | |
CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
CN113139489B (zh) | 基于背景提取和多尺度融合网络的人群计数方法及系统 | |
Wang et al. | The poor generalization of deep convolutional networks to aerial imagery from new geographic locations: an empirical study with solar array detection | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
Huang et al. | Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages | |
CN114445715A (zh) | 一种基于卷积神经网络的农作物病害识别方法 | |
CN116994140A (zh) | 基于遥感影像的耕地提取方法、装置、设备和介质 | |
CN115410081A (zh) | 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质 | |
Zhou et al. | Attention transfer network for nature image matting | |
CN115546466A (zh) | 一种基于多尺度显著特征融合的弱监督图像目标定位方法 | |
Hu et al. | Supervised multi-scale attention-guided ship detection in optical remote sensing images | |
CN114299383A (zh) | 基于密度图与注意力机制融合的遥感图像目标检测方法 | |
CN112613354A (zh) | 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法 | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
CN115909077A (zh) | 基于无监督光谱解混神经网络的高光谱图像变化检测方法 | |
CN115223033A (zh) | 一种合成孔径声呐图像目标分类方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |