CN112017192A - 基于改进U-Net网络的腺体细胞图像分割方法及系统 - Google Patents

基于改进U-Net网络的腺体细胞图像分割方法及系统 Download PDF

Info

Publication number
CN112017192A
CN112017192A CN202010811454.2A CN202010811454A CN112017192A CN 112017192 A CN112017192 A CN 112017192A CN 202010811454 A CN202010811454 A CN 202010811454A CN 112017192 A CN112017192 A CN 112017192A
Authority
CN
China
Prior art keywords
input end
connecting block
dense
attention module
output end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010811454.2A
Other languages
English (en)
Other versions
CN112017192B (zh
Inventor
赵宝奇
孙军梅
李秀梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Normal University
Original Assignee
Hangzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Normal University filed Critical Hangzhou Normal University
Priority to CN202010811454.2A priority Critical patent/CN112017192B/zh
Publication of CN112017192A publication Critical patent/CN112017192A/zh
Application granted granted Critical
Publication of CN112017192B publication Critical patent/CN112017192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

本发明公开一种基于改进U‑Net网络的腺体细胞图像分割方法及系统。本发明将卷积层组合构建成密集连接块,以多分辨率分析的方法放大U‑Net,可以很好地解决规则不一的细胞分割问题。且在解码器端,引入自注意力模块,分别为位置注意力模块和通道注意力模块,可以自适应地聚合上下文信息,从而提高细胞分割的特征表示。使用该网络对细胞图像进行分割,从而提高了分割效果。该方法易于实现,数据预处理操作简单,具有更好的鲁棒性和准确率。

Description

基于改进U-Net网络的腺体细胞图像分割方法及系统
技术领域
本发明涉及网络模式识别和分割技术领域,具体涉及一种非诊断目的的基于密集连接块U-Net网络的腺体细胞图像分割方法及系统。
背景技术
组织病理学图像分析对于准确的肿瘤细胞估计和预后起着至关重要的作用。图像结构(如细胞核和腺体)的大小、形状和其他一些形态学表现与疾病的存在或严重程度高度相关。在以前,这些图像是由评估活检样本的病理学专家进行评估,但手工存在主观性强,工作量大,费时的问题。因此,定量和客观地分析组织病理学图像的计算方法已经发展起来。图像分割,即从组织病理学图像中提取细胞、细胞核或腺体,是所有分析之前的步骤,因此是组织病理学分析中的关键步骤。
然而,目前自动分割腺体细胞仍然具有挑战性。首先,大量的细胞遮挡和簇的存在很容易造成分割过多或分割不足,这阻碍了对细胞的精确形态学测量。其次,模糊的边界和不一致的染色使得图像不可避免地包含无法区分的腺体细胞,从而可能引入主观标注和错误标注,这对获得稳健和客观的分割结果提出挑战。第三,细胞形态、大小和密度在不同细胞类型和器官之间的变化要求分割方法要具有良好的泛化能力以进行稳健分析。
早期的方法大多基于阈值和形态学运算,在复杂背景下难以找到可靠的阈值,而基于深度学习的方法一般更稳健,已成为医学图像分割的基准。目前最先进的核/腺体分割方法采用全卷积网络及其变体,利用编码器提取特征,从低分辨率特征图中恢复高分辨率预测。与传统的分割方法相比,取得了较好的分割效果。FCNs编码器遵循卷积网络的典型结构,用于从图像中提取空间特征,解码器根据编码器特征构建分割图。池化操作可以极大的增加感受野,以提取更抽象的特征。然而,下采样过程中会降低分割任务中边界的定位精度,且在上采样过程中,并没有考虑像素之间的关系。此外当物体具有不同的颜色、纹理和形状时,尤其在医学图像中,分割效果仍然不能令人满意。
基于现有方法没有达到最优性能的观察结果(特别是在分割小的解剖结构的情况下),本发明对这个问题进行了详细的分析。具体地说,本发明使用标准的编码器和解码器全卷积神经网络(U-Net)架构进行了实验,该架构是几种分割算法中的主要骨干。尽管使用了能够将信息从浅层传播到深层的跳跃连接,但由于以下原因,网络无法捕获更详细的信息,标准编码器-解码器架构,其中数据的维度降低到瓶颈附近,最初的几个块学习数据的低级特征,而后面的块学习高级特征,最终,编码器学会将数据映射到较低的维度(在空间意义上)。网路深度上不断增加的接受微小的结构需要更小的接受场,在标准的U-Net的情况下,即使有跳跃连接,最小的接受场也受到第一层的限制。因此,不完整的体系结构本质上限制了它们捕获更精细细节的能力。
发明内容
本发明的第一个目的是为了提高基于深度学习方法的腺体细胞分割精度问题,提出了一种基于改进U-Net网络的腺体细胞图像分割方法。
一种基于改进U-Net网络的腺体细胞分割方法,包括以下内容:
步骤一、数据获取
获取腺体细胞原图像,一般从相关竞赛中获取数据,例如MICCAI2015腺体分割挑战赛数据集(Glas);
步骤二、数据预处理
2.1由于U-Net网络可接收的图像大小是512x512,故对腺体细胞原图像调整图像大小。
2.2由于有些数据清晰度较低,且染色等不均匀,故筛选出分辨率较高,且没有信息缺少(有些无染色则表明不是细胞,故信息缺失)的图像作为训练数据。
2.3使用tensorflow数据增强库对训练数据集进行数据集进行数据增强,使得训练数据集数据增多,增加之后训练得出的模型泛化能力更强。
步骤三、搭建改进U-Net网络模型
将U-Net网络中每两次3x3卷积之后池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;具体是:
(a-1)将特征图
Figure BDA0002631098470000031
送入卷积层,生成两个特征图B和C,其中
Figure BDA0002631098470000032
Figure BDA0002631098470000033
并将B,C转化(reshape)成
Figure BDA0002631098470000034
其中N=H×W是像素点的个数;
(a-2)对步骤(a-1)处理后特征图B和特征图C两者做转置处理后再进行矩阵相乘,且经过softmax层计算出空间特征图
Figure BDA0002631098470000035
Figure BDA0002631098470000036
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B和特征图C上的i点j点所表示的像素值。
(a-3)把特征图A送到卷积层生成一个新的特征图D,
Figure BDA0002631098470000037
并将D转化(reshape)为
Figure BDA0002631098470000038
(a-4)对特征图D和空间特征图S两者转置处理后再进行矩阵相乘,并且将结果转化(reshape)为
Figure BDA0002631098470000039
最后对特征图A做逐个元素求和的操作,以获得最终输出
Figure BDA00026310984700000310
Figure BDA00026310984700000311
可以从等式(2)中推出,在每个位置处得到的特征E是所有位置上的特征和原始特征的加权和。因此,它具有全局上下文视图,并根据空间注意图选择性地聚合上下文。相似的语义特征实现互惠互利,从而提高了类内紧凑性和语义一致性。
所述通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;具体是:
(b-1)将特征图A转化(reshape)成
Figure BDA0002631098470000041
(b-2)对步骤(b-1)处理后特征图A转置处理后矩阵B和步骤(b-1)处理后特征图A做矩阵相乘,最后经过softmax层得到通道特征图
Figure BDA0002631098470000042
Figure BDA0002631098470000043
其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
(b-3)对通道特征图X转置处理后矩阵和步骤(b-1)处理后特征图A做矩阵相乘,并转化(reshape)成
Figure BDA0002631098470000044
然后对特征图A做逐个元素求和的操作,获得最终输出
Figure BDA0002631098470000045
Figure BDA0002631098470000046
公式(4)显示每个通道的最终特征是所有通道的特征和原始特征的加权和,其对特征映射之间的长期语义依赖性进行建模,有助于提高特征的可识别性;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,做为下一次反卷积的输入或者作为最后的高分辨率特征图。
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
本发明的另一个目的是提供一种基于改进U-Net网络的腺体细胞分割系统。
本发明系统包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端。
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
作为优选,改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
在腺体细胞图像中,有很多不规则且大小不一的细胞。因此,为了提高网络模型的健壮性,满足可以分析不同尺度对象的要求,本发明将现有U-Net网络的每两次3x3卷积之后池化操作,改进为将两个3x3卷积操作组合构建密集连接块后池化操作,以多分辨率分析的方法放大了U-Net,可以很好的解决规则不一的细胞分割问题。
本发明在解码端引入自注意力机制模块,分别为位置注意力模块和通道注意力模块,可以自适应地聚合上下文信息,从而提高细胞分割的特征表示。
本发明采用该改进U-Net网络模型对细胞图像进行分割,从而提高了分割效果。该方法易于实现,数据预处理操作简单,具有更好的鲁棒性和准确率。
附图说明
图1是腺体细胞图像;其中(a)-(f)为六种不同腺体细胞图像;
图2是基于密集连接块和注意力机制的改进U-Net模型结构图;
图3是密集连接块结构图;
图4是自注意力模块结构图;
图5是位置注意力模块结构图;
图6是通道注意力模块结构图。
具体实施方式
下面结合具体实施例对本发明做进一步分析。
一种基于改进U-Net网络的腺体细胞分割方法,包括以下内容:
步骤一、数据获取
获取图1腺体细胞原图像,一般从相关竞赛中获取数据,例如MICCAI2015腺体分割挑战赛数据集(Glas);
步骤二、数据预处理
2.1由于U-Net网络可接收的图像大小是512x512,故对腺体细胞原图像调整图像大小。
2.2由于有些数据清晰度较低,且染色等不均匀,故筛选出分辨率较高,且没有信息缺少(有些无染色则表明不是细胞,故信息缺失)的图像作为训练数据。
2.3使用tensorflow数据增强库对训练数据集进行数据集进行数据增强,使得训练数据集数据增多,增加之后训练得出的模型泛化能力更强。
步骤三、搭建改进U-Net网络模型,如图2
将U-Net网络中每两次3x3卷积之后池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
在U-Net架构中,在每个池化层和反卷积层之后,使用两个3x3卷积层。这两个连续的3x3卷积运算实际上类似于一个5x5卷积运算,因此我们可以考虑将每经过一次卷积的特征图保留下来进行相加,这样相当于有两路,一路为获得小尺度目标,使用一个3x3的卷积;另一路为获得大尺度目标,采用两个3x3卷积,即一个5x5的卷积,有助于U-Net体系结构在不同尺度上从图像中获取信息。
如图3所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
如图4所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
如图5位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;具体是:
(a-1)将特征图
Figure BDA0002631098470000081
送入卷积层,生成两个特征图B和C,其中
Figure BDA0002631098470000082
Figure BDA0002631098470000083
并将B,C转化(reshape)成
Figure BDA0002631098470000084
其中N=H×W是像素点的个数;
(a-2)对步骤(a-1)处理后特征图B和特征图C两者做转置处理后再进行矩阵相乘,且经过softmax层计算出空间特征图
Figure BDA0002631098470000085
Figure BDA0002631098470000086
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B和特征图C上的i点j点所表示的像素值。
(a-3)把特征图A送到卷积层生成一个新的特征图D,
Figure BDA0002631098470000087
并将D转化(reshape)为
Figure BDA0002631098470000088
(a-4)对特征图D和空间特征图S两者转置处理后再进行矩阵相乘,并且将结果转化(reshape)为
Figure BDA0002631098470000091
最后对特征图A做逐个元素求和的操作,以获得最终输出
Figure BDA0002631098470000092
Figure BDA0002631098470000093
可以从等式(2)中推出,在每个位置处得到的特征E是所有位置上的特征和原始特征的加权和。因此,它具有全局上下文视图,并根据空间注意图选择性地聚合上下文。相似的语义特征实现互惠互利,从而提高了类内紧凑性和语义一致性。
如图6通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;具体是:
(b-1)将特征图A转化(reshape)成
Figure BDA0002631098470000094
(b-2)对步骤(b-1)处理后特征图A转置处理后矩阵B和步骤(b-1)处理后特征图A做矩阵相乘,最后经过softmax层得到通道特征图
Figure BDA0002631098470000095
Figure BDA0002631098470000096
其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
(b-3)对通道特征图X转置处理后矩阵和步骤(b-1)处理后特征图A做矩阵相乘,并转化(reshape)成
Figure BDA0002631098470000097
然后对特征图A做逐个元素求和的操作,获得最终输出
Figure BDA0002631098470000098
Figure BDA0002631098470000099
公式(4)显示每个通道的最终特征是所有通道的特征和原始特征的加权和,其对特征映射之间的长期语义依赖性进行建模,有助于提高特征的可识别性;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,做为下一次反卷积的输入或者作为最后的高分辨率特征图。
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
一种基于改进U-Net网络的腺体细胞分割系统包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端。
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
作为优选,改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
在经典的U-Net网络中,每个池化层和反卷积层之前,串联使用两个3x3卷积层。为了分析和验证串联使用卷积层个数对模型效果的影响,设置串联的3x3卷积数目为1至4个。通过实验发现,简单地扩展3x3卷积数会影响训练精度,当串联个数为2个时分割精度最好,实验结果如表1所示。
表1串联不同数量3x3卷积的分割结果
Figure BDA0002631098470000121
两个3x3的卷积串联相当于一个5x5的卷积,三个3x3的卷积串联相当于一个7x7的卷积,且随着网络深度的加深,感受野越来越大,所以最开始的卷积如果太大,感受野的增大速度将更快,对一些小目标就没有检测的机会,尤其在细胞图像分割中,由于细胞的粘连性,这样会把很多细胞簇误认为是一个大细胞,导致分割精度降低,在F1分数的结果中尤为凸显。例如当3x3卷积个数扩展为4的时候,我们可以明显的观察到F1分数有一个很大的降低,由于F1分数考察的是单个细胞目标的检测精度,对于很多把细胞簇分割为单个细胞的错误分割,有一个很好的体现。若只用一个3x3的卷积,对于一些大目标则没有一个完备的检测,且最后的分解结果边缘非常粗糙,导致分割精度降低。
基于以上问题,本发明在经典U-Net网络的基础上,将串联的卷积构建为密集连接块,相较于之前的串联,这样构建相当于有好几路,一路为获得小尺度目标,另一路为获得大尺度目标,以此类推。为了验证构建的密集连接块对细胞分割效果的影响,分别设置构建密集连接块的卷积个数为1、2、3、4,以更好地与串联操作实验结果对比;实验结果如表2所示,当串联的3x3卷积个数为2时分割精度最高,与经典的U-Net相比,F1分数提升了1.62%,Dice提升了1.33%,Hausdorff提升了1.02。
表2密集连接块中个数不同3x3卷积的分割结果
Figure BDA0002631098470000122
由实验可知,当串联两个3x3的卷积构成密集连接块时分割结果最好,因此本发明采用串联两个3x3的卷积构成密集连接块。
为了验证本发明的有效性,将其与经典U-Net模型、Seg-Net模型在分割精度和参数量上进行定量比较。比较结果如表3所示。从定量均值比较结果可以看出,本文提出的模型在分割精度上达到了最高值,F1分数比U-Net模型提升了2.4%,Dice比U-Net模型提升了2.55%,Hausdorff比U-Net模型提升了2.7,F1分数比Seg-Net模型提升了3.87%,Dice比Seg-Net模型提升了4.44%,Hausdorff比Seg-Net模型提升了4.34;由于引进了注意力机制,与U-Net模型相比在参数量有一定提升,但其分割精度更高,与Seg-Net模型相比参数量则比较小,且分割精度更高。验证了本文所提出的模型对于腺体细胞分割有比较大的优势。
表3不同模型在Glas数据集上的分割精度和参数量
Figure BDA0002631098470000131

Claims (5)

1.一种改进U-Net网络的腺体细胞图像分割方法,其特征在于该方法包括:
步骤一、获取腺体细胞原图像;
步骤二、数据预处理
2.1对腺体细胞原图像调整图像大小,并筛选出分辨率较高,且没有信息缺少的图像作为训练数据;
2.2使用tensorflow数据增强库对训练数据集进行数据增强;
步骤三、搭建改进U-Net网络模型
将U-Net网络中每两次3x3卷积之后做池化操作,替换成将两个3x3卷积操作组合构建的密集连接块卷积之后做池化操作;同时在解码器端把生成的特征图送入自注意力模块生成新的特征图,且和编码器端经过跳跃连接生成的特征图做相加操作构成新的特征图,最后将网络生成的高分辨率特征图通过1x1的卷积映射转化为通道数为2的特征图,送入Softmax分类器以获得每个像素为细胞的概率值,得到细胞的分割图;
所述的密集连接块由两个3x3卷积层(conv)组成,且把第一个卷积层之后的结果保留下来,然后和两次卷积之后的结果进行连接操作,作为密集连接块的输出结果;
所述的自注意力模块由位置注意力模块、通道注意力模块、融合模块组成;
所述的位置注意力模块是将解码器端接收到的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述的通道注意力模块是将解码器端接收到的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和解码器端接收到的特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对这两个注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端的密集连接块经过跳跃连接生成的特征图进行相加操作,最终生成新的特征图,作为下一次反卷积的输入或者作为最后的高分辨率特征图;
步骤(3.2):网络模型训练
将制作好的数据集输入到改进U-Net网络中进行模型训练;训练得到的网络模型可用于对细胞图像进行分割。
2.如权利要求1所述的一种改进U-Net网络的腺体细胞图像分割方法,其特征在于位置注意力模块生成新的特征图具体操作包括如下:
(a-1)将特征图
Figure FDA0002631098460000021
送入卷积层,生成两个特征图B和C,其中
Figure FDA0002631098460000022
并将B,C转化(reshape)成
Figure FDA0002631098460000023
其中N=H×W是像素点的个数;
(a-2)对步骤(a-1)处理后特征图B和特征图C两者做转置处理后再进行矩阵相乘,且经过softmax层计算出空间特征图
Figure FDA0002631098460000024
Figure FDA0002631098460000025
其中sji代表第i个位置在第j个位置上的影响,两个位置的要素表示越相似,它们之间的相关性越强;j=1,…,N;Bi和Cj代表的是在步骤(a-1)处理后转置处理后特征图B上的i点和特征图C上的j点所表示的像素值;
(a-3)把特征图A送到卷积层生成一个新的特征图D,
Figure FDA0002631098460000026
并将D转化(reshape)为
Figure FDA0002631098460000027
(a-4)对特征图D和空间特征图S两者转置处理后再进行矩阵相乘,并且将结果转化(reshape)为
Figure FDA0002631098460000028
最后对特征图A做逐个元素求和的操作,以获得最终输出
Figure FDA0002631098460000029
Figure FDA00026310984600000210
3.如权利要求1或2所述的一种改进U-Net网络的腺体细胞图像分割方法,其特征在于通道注意力模块生成新的特征图具体操作包括如下:
(b-1)将特征图A转化(reshape)成
Figure FDA00026310984600000211
(b-2)对步骤(b-1)处理后特征图A转置处理后矩阵B和步骤(b-1)处理后特征图A做矩阵相乘,最后经过softmax层得到通道特征图
Figure FDA00026310984600000212
Figure FDA0002631098460000031
其中xji代表第i个通道在第j个通道上的影响;j=1,…,C;
(b-3)对通道特征图X转置处理后矩阵和步骤(b-1)处理后特征图A做矩阵相乘,并转化(reshape)成
Figure FDA0002631098460000032
然后对特征图A做逐个元素求和的操作,获得最终输出
Figure FDA0002631098460000033
Figure FDA0002631098460000034
Figure FDA0002631098460000035
4.一种基于改进U-Net网络的腺体细胞分割图像系统,其特征在于包括:
数据获取模块,用于获取腺体细胞原图像;
数据预处理模块,用于对数据获取模块传送的腺体细胞原图像调整图像大小;
改进U-Net网络模型模块,用于根据数据预处理模块处理后的图像和概率结果进行细胞分割;
所述改进U-Net网络模型包括多个循环单元A、多个循环单元B、密集连接块C、卷积池;其中循环单元A包括密集连接块A、最大池化池,循环单元B包括自注意力模块、密集连接块B、反卷积池;密集连接块A的输入端作为循环单元A的输入端,第一输出端接最大池化池的输入端,第二输出端跳跃连接自注意力模块的第一输入端;最大池化池的输出端接下一个循环单元A的输入端或接密集连接块C的输入端;反卷积池的输入端接密集连接块C的输出端,输出端接密集连接块B的输入端;密集连接块B的输出端接自注意力模块的第二输入端;自注意力模块的输出端接下一个循环单元B的输入端或卷积池的输入端;
所述的密集连接块A、B、C为相同结构密集连接块,均由两个串联3x3卷积池组合构成;第一个3x3卷积池的输出端接自注意力模块的输入端,第二个3x3卷积池的输出端接最大池化池的输入端;
所述的自注意力模块均包括位置注意力模块、通道注意力模块、融合模块;
所述位置注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A生成空间注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以获得反映长距离上下文的最终表示;
所述通道注意力模块是将解码器端接收到的对应密集连接块B传输的特征图A在通道维度上计算通道注意力矩阵,该矩阵对特征的任意两个像素之间的空间关系进行建模;在空间注意力矩阵和特征图A矩阵之间进行矩阵乘法;最后对上述相乘的结果矩阵和特征图A矩阵进行逐个元素的求和运算,以捕获通道维度中的远程上下文信息;
所述的融合模块是通过卷积层对位置注意力模块、通道注意力模块的输出进行变换,并逐个元素求和进行特征融合,生成新特征图;将新特征图和解码端接收到的对应密集连接块A跳跃传输的特征图进行相加操作,最终生成新的特征图,作为反卷积池的输入或者作为最后的高分辨率特征图输入至卷积池。
5.如权利要求4所述的一种基于改进U-Net网络的腺体细胞图像分割系统,其特征在于改进U-Net网络模型包括第一密集连接块、第一最大池化池、第二密集连接块、第二最大池化池、第三密集连接块、第三最大池化池、第四密集连接块、第四最大池化池、第五密集连接块、第一反卷积池、第六密集连接块、第一自注意力模块、第二反卷积池、第七密集连接块、第二自注意力模块、第三反卷积池、第八密集连接块、第三自注意力模块、第四反卷积池、第九密集连接块、第四自注意力模块、卷积池;第一密集连接块的输入接数据预处理模块处理后的图像,第一输出端接第一最大池化池的输入端,第二输出端跳跃连接第四自注意力模块的第一输入端;第二密集连接块的第一输出端接第二最大池化池的输入端,第二输出端跳跃连接第三自注意力模块的第一输入端,输入端接第一最大池化池的输出端;第三密集连接块的第一输出端接第三最大池化池的输入端,第二输出端跳跃连接第二自注意力模块的第一输入端,输入端接第二最大池化池的输出端;第四密集连接块的第一输出端接第四最大池化池的输入端,第二输出端跳跃连接第一自注意力模块的第一输入端,输入端接第三最大池化池的输出端;第四最大池化池的输出端接第五密集连接块的输入端;第五密集连接块的输出端接第六密集连接块的输入端;第六密集连接块的输出端接第一自注意力模块的第二输入端;第一自注意力模块的输出端接第二反卷积池的输入端;第二反卷积池的输出端接第七集连接块的输入端;第七密集连接块的输出端接第二自注意力模块的第二输入端;第二自注意力模块的输出端接第三反卷积池的输入端;第三反卷积池的输出端接第八密集连接块的输入端;第八密集连接块的输出端接第三自注意力模块的第二输入端;第三自注意力模块的输出端接第四反卷积池的输入端;第四反卷积池的输出端接第九密集连接块的输入端;第九密集连接块的输出端接第四自注意力模块的第二输入端;第四自注意力模块的输出端接卷积池的输入端;卷积池的输出作为最终结果。
CN202010811454.2A 2020-08-13 2020-08-13 基于改进U-Net网络的腺体细胞图像分割方法及系统 Active CN112017192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010811454.2A CN112017192B (zh) 2020-08-13 2020-08-13 基于改进U-Net网络的腺体细胞图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010811454.2A CN112017192B (zh) 2020-08-13 2020-08-13 基于改进U-Net网络的腺体细胞图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN112017192A true CN112017192A (zh) 2020-12-01
CN112017192B CN112017192B (zh) 2024-02-02

Family

ID=73506014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010811454.2A Active CN112017192B (zh) 2020-08-13 2020-08-13 基于改进U-Net网络的腺体细胞图像分割方法及系统

Country Status (1)

Country Link
CN (1) CN112017192B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669327A (zh) * 2020-12-25 2021-04-16 上海交通大学 磁共振图像分割系统及其分割方法
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通(北京)科技有限公司 一种基于直线分割的表格图像配准方法
CN112837329A (zh) * 2021-03-01 2021-05-25 西北民族大学 一种藏文古籍文档图像二值化方法及系统
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN114693706A (zh) * 2022-06-01 2022-07-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种内窥镜息肉图像分割方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555424A (zh) * 2019-09-10 2019-12-10 深圳前海微众银行股份有限公司 港口集装箱布局检测方法、装置、设备及可读存储介质
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111339922A (zh) * 2020-02-25 2020-06-26 西安电子科技大学 一种视频图像的高效处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555424A (zh) * 2019-09-10 2019-12-10 深圳前海微众银行股份有限公司 港口集装箱布局检测方法、装置、设备及可读存储介质
CN110853051A (zh) * 2019-10-24 2020-02-28 北京航空航天大学 基于多注意密集连接生成对抗网络的脑血管影像分割方法
CN111027575A (zh) * 2019-12-13 2020-04-17 广西师范大学 一种自注意对抗学习的半监督语义分割方法
CN111339922A (zh) * 2020-02-25 2020-06-26 西安电子科技大学 一种视频图像的高效处理方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669327A (zh) * 2020-12-25 2021-04-16 上海交通大学 磁共振图像分割系统及其分割方法
CN112669327B (zh) * 2020-12-25 2023-02-14 上海交通大学 磁共振图像分割系统及其分割方法
CN112837329A (zh) * 2021-03-01 2021-05-25 西北民族大学 一种藏文古籍文档图像二值化方法及系统
CN112837329B (zh) * 2021-03-01 2022-07-19 西北民族大学 一种藏文古籍文档图像二值化方法及系统
CN112819871A (zh) * 2021-03-02 2021-05-18 华融融通(北京)科技有限公司 一种基于直线分割的表格图像配准方法
CN112819871B (zh) * 2021-03-02 2023-08-18 华融融通(北京)科技有限公司 一种基于直线分割的表格图像配准方法
CN113139627A (zh) * 2021-06-22 2021-07-20 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN113139627B (zh) * 2021-06-22 2021-11-05 北京小白世纪网络科技有限公司 纵隔肿物识别方法、系统及装置
CN114693706A (zh) * 2022-06-01 2022-07-01 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种内窥镜息肉图像分割方法、装置及存储介质

Also Published As

Publication number Publication date
CN112017192B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
Xiong et al. Identification of cash crop diseases using automatic image segmentation algorithm and deep learning with expanded dataset
CN112017192B (zh) 基于改进U-Net网络的腺体细胞图像分割方法及系统
CN108427920B (zh) 一种基于深度学习的边海防目标检测方法
CN110189308B (zh) 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置
Wang et al. Practical cucumber leaf disease recognition using improved Swin Transformer and small sample size
CN110738207A (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN107730515B (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN109410184B (zh) 基于稠密对抗网络半监督学习的直播色情图像检测方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN113139489B (zh) 基于背景提取和多尺度融合网络的人群计数方法及系统
Wang et al. The poor generalization of deep convolutional networks to aerial imagery from new geographic locations: an empirical study with solar array detection
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
Huang et al. Attention-guided label refinement network for semantic segmentation of very high resolution aerial orthoimages
CN114445715A (zh) 一种基于卷积神经网络的农作物病害识别方法
CN116994140A (zh) 基于遥感影像的耕地提取方法、装置、设备和介质
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
Zhou et al. Attention transfer network for nature image matting
CN115546466A (zh) 一种基于多尺度显著特征融合的弱监督图像目标定位方法
Hu et al. Supervised multi-scale attention-guided ship detection in optical remote sensing images
CN114299383A (zh) 基于密度图与注意力机制融合的遥感图像目标检测方法
CN112613354A (zh) 一种基于稀疏降噪自编码器的异质遥感图像变化检测方法
JP4285640B2 (ja) オブジェクト識別方法および装置ならびにプログラム
CN115909077A (zh) 基于无监督光谱解混神经网络的高光谱图像变化检测方法
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant