CN114240961A - 一种U-Net++细胞分割网络系统、方法、设备及终端 - Google Patents
一种U-Net++细胞分割网络系统、方法、设备及终端 Download PDFInfo
- Publication number
- CN114240961A CN114240961A CN202111351003.6A CN202111351003A CN114240961A CN 114240961 A CN114240961 A CN 114240961A CN 202111351003 A CN202111351003 A CN 202111351003A CN 114240961 A CN114240961 A CN 114240961A
- Authority
- CN
- China
- Prior art keywords
- image
- segmentation
- net
- cell
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明属于医学图像处理技术领域,公开了一种U‑Net++细胞分割网络系统、方法、设备及终端,所述U‑Net++细胞分割方法包括:通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理;训练基于多尺度和多特征融合模块的U‑Net++细胞分割模型,以U‑Net++网络为基础,添加多尺度模块和多特征融合模块,对输入图像进行分割,得到初步分割结果;利用分水岭算法,对细胞分割图像中的粘连区域进行精确分割;分别采用实例方法以及现有技术对验证集中的图像进行分割,并进行对比实验及分析。本发明以U‑Net++网络为基础,通过整合不同尺度下的特征提升了分割结果的准确率,并保证了稳定的分割精度。
Description
技术领域
本发明属于医学图像处理技术领域,尤其涉及一种U-Net++细胞分割网络系统、方法、设备及终端。
背景技术
目前,医学细胞图像,通常是通过显微镜或更先进的光学仪器获得的。随后需要相关病理学家凭借专业知识对这些生物细胞图像进行定性标注和分析,最后得出结论。但是,这种人工诊断的方法不仅会消耗大量的时间和精力,还可能会受到个人经验的影响,不同的人解析同一个细胞图像得到不同的结果。因此,这种方式的诊断和分析会使结果或多或少受到主观因素的影响。此外,随着现代医学图像的大量积累,如果能够将性能优越的图像处理算法应用到医学图像上进行诊断和分析,不仅可以大大减少医生的工作量和工作时间,还能极大地提高结果的客观性。因此,如何将图像处理算法应用在肿瘤分割、多器官分割、细胞分割等领域,并利用这些算法准确实现医学图像分析自动化已迫在眉睫。
随着卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉领域和医学图像处理领域的发展,深度学习己成为医学图像分割任务中的主流方法,并能够实现医学图像的自动分割。传统的医学图像分割方法主要采用阈值分割算法、聚类技术分割算法和可变形模型分割算法。Kotropoulous等提出了一种用于分割胸部X光图像的方法。该方法首先对图像进行滤波,再通过阈值算法进行分割,最后在SVM中设置核函数,对图像进行精确分割;Kumbhar等使用训练过的K-means聚类方法进行MRI分割。采用LM-K-means方法分割MR图像中的白质和灰质。与经典的K-means方法相比,该方法具有较高的精度;Snake方法是第一个应用于医学图像分割的可变形模型,Xu等人分析了Snake方法对大曲率边界收敛性差的原因,使用梯度向量场(gradient vector field,GVF)来代替梯度场。
随着全卷积网络(Fully Convolutional Network,FCN)的出现,Ronneberger等提出了用于生物医学图像分割的U-Net。U-Net在神经结构和电子显微镜图像的分割的分割任务中展示了强大的分割性能。它己经成为医学图像分割任务中应用最广泛的神经网络架构。然而,由于医学图像中存在类别不平衡、噪声等问题,获得准确的分割结果仍然是一个难题。
通过上述分析,现有技术存在的问题及缺陷为:
(1)人工诊断的方法不仅会消耗大量的时间和精力,还可能会受到个人经验的影响,不同的人解析同一个细胞图像得到不同的结果,因此这种方式的诊断和分析会使结果或多或少受到主观因素的影响。
(2)U-Net在神经结构和电子显微镜图像的分割的分割任务中,由于医学图像中存在类别不平衡、噪声等问题,获得准确的分割结果仍然是一个难题。
解决以上问题及缺陷的难度为:在医学细胞图像之中经常会存在密度较高的细胞群以及很多无用的干扰信息,例如图像成像不清、存在微生物杂质、以及细胞染色不均等。正是上述这些问题的存在,会使得人们更加难以设计出合适的细胞前景特征,导致手工标注及传统的分割算法无法准确地分割出目标细胞。
解决以上问题及缺陷的意义为:解决以上难题,可以避免由于细胞图像中类别不均衡而产生的误分割,避免了细胞图像中大目标的边缘信息与小目标本身信息的丢失,以及由于感受野的差异对网络性能的影响,大大提高了分割的准确性。有效的医学图像分割是现代辅助医疗系统不可或缺的一部分,极大地提高了放射科医生和临床医生的诊断和治疗效率。
发明内容
针对现有技术存在的问题,本发明提供了一种U-Net++细胞分割网络系统、方法、设备及终端,尤其涉及一种基于多尺度和多特征融合模块的U-Net++细胞分割网络系统、方法、设备及终端。
本发明是这样实现的,一种U-Net++细胞分割方法,所述U-Net++细胞分割方法包括:
通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理;训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,以U-Net++网络为基础,添加多尺度模块和多特征融合模块,对输入图像进行分割,得到初步分割结果;利用分水岭算法,对细胞分割图像中的粘连区域进行精确分割;完成分割结果的保存与分析,分别采用实例方法以及现有技术对验证集中的图像进行分割,并进行对比实验及分析。
进一步,所述U-Net++细胞分割方法包括以下步骤:
步骤一,图像预处理,包括数据增强、图像尺寸规整化与数据归一化:由于细胞图像数据较少,通过上述操作不仅增加了训练样本的多样性,提高了模型的泛化能力,还提升了模型的鲁棒性,降低了模型对图像的敏感度,减轻过拟合现象。
步骤二,训练基于多尺度和多特征融合模块的U-Net++细胞分割模型:提升了模型的分割准确率,解决了医学图像分割中类别不平衡所带来的分割困难问题。
步骤三,利用分水岭算法准确分割图像中的细胞粘连区域:准确地分割了图像中的细胞粘连区域,同时避免了出现过度分割现象,保证了后续能够对细胞内部进行质量分析。
步骤四,分割结果的保存与分析:对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
进一步,步骤一中,所述图像预处理,包括通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理:
(1)数据增强
1)对比度增强:对图像中的灰度点做映射,使得整体图像的灰度大致符合均匀分布,增强图像的对比度;
2)水平翻转:随机挑选每个训练批次中的图片,做180°镜像翻转;
3)上下翻转:随机挑选每个训练批次中的图片做180°垂直翻转;
4)图像旋转:随机对每个训练批次中的图片做0~180°的旋转,缺失部分补零;
5)图像平移:随机对每个训练批次中的图片进行向上、向下、向左、向右平移,缺失部分补零;
6)高斯噪声:随机对每个训练批次的图片添加高斯噪声,高斯噪声的概率密度函数如下:
(2)图像尺寸规整化与数据归一化
1)规整化输入图像的尺寸,将训练集与测试集的图像大小统一为96×96;
2)对输入的细胞图像数据进行归一化处理,通过缩放将输入图片像素的取值范围归一化到[0,1],计算方式如下:
其中,xij为图片中一个点的像素值,min为最小像素值,max为最大像素值。
进一步,步骤二中,所述训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,包括:
(1)将预处理的图片输入到U-Net++网络中训练模型
U-net++网络是基于U-Net网络的改进,网络可以分为特征提取和图像恢复两部分。特征提取部分主要由卷积层以及池化层相互串联组成,卷积层采用3×3大小的卷积核,池化层采用最大池化方式参与计算,其中卷积层与池化层均选取非线性修正函数ReLu作为激活函数;图像恢复部分通过上采样层和跳跃连接交替完成像素填充,U-Net++针对U-Net网络的跳跃连接部分进行了改进,在跳跃连接阶段引入特征提取单元抓取不同层次的特征,并将这些特征通过特征叠加的方式进行整合。
(2)在U-Net++网络结构中添加多特征融合模块
U-Net++网络被扩展为两个并行架构,在上采样阶段和下采样阶段添加不同的特征融合模块。
1)下采样阶段的特征融合模块是将两个编码器的输出分别经过最大池化和平均池化后进行特征融合,计算步骤如下:
xmel=Maxpooling(xel);
xmer=Avgpooling(xer);
xdl=xdr=Cat(xmel,xmer);
其中,xel、xer为特征融合模块的输入特征,xdl、xdr为特征融合模块的输出特征。
2)上采样阶段的特征融合模块分包括:对输入特征进行反卷积操作,将特征上采样到合适的大小和维度后进行融合;融合后的上采样特征分别与跳跃连接传递的两个特征进行特征融合;利用1×1卷积对融合后的特征进行降维操作后再次特征融合;计算步骤如下:
xdel=Deconv(xel);
xder=Deconv(xer);
xde=Cat(xdel,xder);
xl=wl(Cat(xskipl,xde))+bl;
xr=wr(Cat(xskipr,xde))+br;
xdl=xdr=Cat(xl,xr);
其中,xel、xer、xskipl和xskipr为特征融合模块的输入特征,xdel和xder代表上采样得到的特征,xde是xdel和xder融合后的特征,xl和xr为1×1卷积降维后的特征,xdl、xdr为特征融合模块的输出特征。
(3)将网络中的特征提取模块替换为多尺度模块,多尺度模块将输入特征分别与感受野大小为3×3和7×7的卷积核进行两次连续运算后融合后,进行1×1卷积对融合后的特征进行降维操作后输出;其中3×3和7×7采用的是普通卷积,3×3卷积的padding设置为1,7×7卷积的padding设置为3,步长均为1。
其中,多尺度模块的计算步骤如下:
x1=w32(w31x+b31)+b32;
x2=w72(w71x+b71)+b72;
X=Cat(x1,x2);
F=wfX+bf;
其中,x代表输入特征,w31和w32是感受野大小为3×3的卷积核权重,w71和w72是感受野大小为7×7的卷积核权重,wf是感受野大小为1×1的卷积核权重,F是多尺度模块的输出。
进一步,步骤三中,所述利用分水岭算法准确分割图像中的细胞粘连区域,包括:
通过改进的U-Net++网络训练模型,图像中每个像素被分为前景和背景两类;再运用分水岭算法准确地分割图像中的细胞粘连区域。
分水岭分割方法是基于拓扑理论的数学形态学的分割方法,基本思想是把图像看作是测地学上的拓扑地貌,图像中每一点像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆,而集水盆的边界则形成分水岭。分水岭的计算过程包括排序过程和淹没过程;对每个像素的灰度级进行从低到高排序后,在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出FIFO结构进行判断及标注。
分水岭算法得到的是输入图像的集水盆图像,集水盆之间的边界点,即为分水岭,分水岭表示的是输入图像极大值点。故为得到图像的边缘信息,通常把梯度图像作为输入图像,即:
其中,f(x,y)代表原始图像,grad{.}代表梯度运算。
对梯度图像进行阈值处理,用于消除灰度的微小变化产生的过度分割,即:
g(x,y)=max(grad{f(x,y)},g(θ));
其中,g(θ)表示阈值。
进一步,步骤四中,所述分割结果的保存与分析,包括:
对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。分别采用实例的方法以及现有技术对验证集中的图像进行分割,并采用交并比IoU和分割值作为评价指标,评价指标计算公式如下:
其中,TP、TN、FP、FN分别为细胞像素被模型预测为正类的正样本、被模型预测为负类的负样本、被模型预测为正类的负样本、被模型预测为负类的正样本;X、Y分别为真实值和预测值。IoU为语义分割的标准度量,是真实值和预测值的交集与并集之比,值为1时表示两者完全相同;Dice Score为医学图像分割的重要度量,表示真实值与预测值的相似度,值越大两者相似度越高。
本发明的另一目的在于提供一种应用所述的U-Net++细胞分割方法的U-Net++细胞分割网络系统,所述U-Net++细胞分割网络系统包括:
图像预处理模块,用于进行数据增强、图像尺寸规整化与数据归一化;
细胞分割模型训练模块,用于训练基于多尺度和多特征融合模块的U-Net++细胞分割模型;
细胞粘连区域分割模块,用于利用分水岭算法准确分割图像中的细胞粘连区域;
分割结果保存分析模块,用于进对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理;训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,以U-Net++网络为基础,添加多尺度模块和多特征融合模块,对输入图像进行分割,得到初步分割结果;利用分水岭算法,对细胞分割图像中的粘连区域进行精确分割;完成分割结果的保存与分析,分别采用实例方法以及现有技术对验证集中的图像进行分割,并进行对比实验及分析。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端用于实现所述的U-Net++细胞分割网络系统。
本发明的另一目的在于提供一种所述的U-Net++细胞分割网络系统在医学细胞图像分割、肿瘤分割以及多器官分割中的应用。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的U-Net++细胞分割网络,涉及一种基于深度学习的细胞分割方法,直接关系诊断的可靠性,也是医学图像处理的难题。本发明有效的解决了医学细胞图像的分割问题,提出了一种基于多尺度和多特征融合模块的U-Net++细胞分割算法:其中,多尺度模块可以整合医学图像中不同层次的特征,使网络能够从相同尺度特征图中获得更加多样的语义信息;在下采样和上采样时,特征融合与共享使网络能够更准确的对像素进行分类,进而提升分割的准确性;同时运用分水岭算法对图像中细胞粘连区域进行了精确分割。本方法相较传统细胞分割方法,其精确性和实用性都有了明显的提升。本发明适用于辅助医学诊断、智慧医疗等领域。
本发明的关键技术是基于多尺度和多特征融合的U-Net++图像分割算法;图像预处理方面首先采用了多种数据增强的方法对数据进行扩充;其次,在将细胞图像输入卷积神经网络前,规整化了图像的尺寸并对数据进行归一化处理;图像分割方面,在U-Net++网络中加入了多尺度和多特征融合模块,克服了传统分割网络无法最优化分割不同数据集,以及细胞数据样本中类别不平衡带来的分割困难等问题;对于图像中的粘连细胞,采用了分水岭算法使相互粘连的细胞分割开来,得到最后的分割结果;最后,对于分割结果进行保存并输出,用于后续的查看和分析。
本发明以U-Net++网络作为基础,通过整合不同尺度下的特征来提升分割结果的准确率。利用灵活的网络结构配合深监督的方法使参数量较大的网络能够大幅度的缩减参数量,并保证稳定的分割精度。
本发明对U-Net++进行并行扩展并结合不同的下采样方式来缓解下采样过程中语义信息丢失的问题。此外,在下采样和上采样之间设计了不同的特征融合模块以实现网络中的特征融合与共享,提升了模型的分割准确率,解决了医学图像分割中的类别不平衡对图像分割结果的影响。
本发明使用多尺度模块替代了网络中的特征提取模块,这样可以结合不同大小的感受野使网络能够抓取到不同层次的特征,增加特征的多样性。此外,该网络通过不同大小的感受野使得网络能够更好的判定图像中像素的类别,克服样本中类别不平衡所带来的分割困难问题,模型的准确性与鲁棒性被提升。运用分水岭算法准确地分割了图像中的细胞粘连区域,同时避免了出现过度分割现象,保证了后续能够对细胞内部进行质量分析。
本发明下采样阶段的改进既可以保留图像的背景信息和纹理信息,减少语义信息的丢失,也可以为后续的卷积提供更完整的特征信息。本发明上采样阶段的改进方法将高维度特征与低维度特征有效整合,提高了网络中语义信息的利用率,减少了语义信息的损失,将网络中的信息共享。
本发明引入多尺度模块主要有以下优点:首先网络中嵌入多个卷积核可以获得多个不同层次的特征信息,不仅提高了网络的分割性能,而且训练过程中有利于网络的学习;其次多尺度模块利用不同的卷积核提取了不同的语义信息,这种结构使网络的编码器能够更好地提取特征,解码器能够更好地恢复特征。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的U-Net++细胞分割方法流程图。
图2是本发明实施例提供的U-Net++细胞分割方法原理图。
图3是本发明实施例提供的U-Net++细胞分割网络系统结构框图;
图中:1、图像预处理模块;2、细胞分割模型训练模块;3、细胞粘连区域分割模块;4、分割结果保存分析模块。
图4是本发明实施例提供的U-Net++网络结构图。
图5是本发明实施例提供的下采样阶段特征融合模块结构图。
图6是本发明实施例提供的上采样阶段特征融合模块结构图。
图7是本发明实施例提供的多尺度模块结构图。
图8~图9是本发明实施例提供的分割结果示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种U-Net++细胞分割网络系统、方法、设备及终端,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的U-Net++细胞分割方法包括以下步骤:
S101,图像预处理,包括数据增强、图像尺寸规整化与数据归一化,增加了训练样本的多样性,提高了模型的泛化能力,还提升了模型的鲁棒性,降低了模型对图像的敏感度,减轻过拟合现象;
S102,训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,在网络的上采样阶段和下采样阶段添加不同的特征融合模块,使用多尺度模块替代了网络中的特征提取模块,结合不同大小的感受野使网络能够抓取到不同层次的特征,增加特征的多样性,提升了模型的分割准确率,解决了医学图像分割中类别不平衡所带来的分割困难问题;
S103,利用分水岭算法准确分割图像中的细胞粘连区域,同时避免了出现过度分割现象,保证了后续能够对细胞内部进行质量分析。
S104,分割结果的保存与分析,对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
本发明实施例提供的U-Net++细胞分割方法原理图如图2所示。
如图3所示,本发明实施例提供的U-Net++细胞分割网络系统包括:
图像预处理模块1,用于进行数据增强、图像尺寸规整化与数据归一化;
细胞分割模型训练模块2,用于训练基于多尺度和多特征融合模块的U-Net++细胞分割模型;
细胞粘连区域分割模块3,用于利用分水岭算法准确分割图像中的细胞粘连区域;
分割结果保存分析模块4,用于进对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
下面结合具体实施例对本发明的技术方案作进一步描述。
参照图2,本发明的实现步骤如下:
步骤1,图像预处理,通过数据增强、数据归一化和规整化图像尺寸等操作对输入图像进行初始化预处理。
1.1)数据增强:由于细胞图像数据较少,通过数据增强(DataAugmentation)的方式不仅增加了训练样本的多样性,提高了模型的泛化能力,还提升了模型的鲁棒性,降低了模型对图像的敏感度,减轻过拟合现象。具体数据增强操作步骤如下:
a)对比度增强。对图像中的灰度点做映射,使得整体图像的灰度大致符合均匀分布,增强图像的对比度。
b)水平翻转。随机挑选每个训练批次(Batch)中的图片,做180°镜像翻转。
c)上下翻转。随机挑选每个训练批次中的图片做180°垂直翻转。
d)图像旋转。随机对每个训练批次中的图片做0-180°的旋转,缺失部分补零。
e)图像平移。随机对每个训练批次中的图片进行向上、向下、向左、向右平移,缺失部分补零。
f)高斯噪声。随机对每个训练批次的图片添加高斯噪声,高斯噪声的概率密度函数如下:
1.2)图像尺寸规整化与数据归一化
a)规整化输入图像的尺寸,统一将训练集与测试集的图像大小变为96×96。
b)对输入的细胞图像数据进行归一化处理,通过缩放将输入图片像素的取值范围归一化到[0,1]。具体计算方式如下:
其中,xij为图片中一个点的像素值,min为最小像素值,max为最大像素值。
步骤2,训练分割模型-基于多尺度和多特征融合模块的U-Net++细胞分割模型
2.1)将预处理的图片输入到U-Net++网络中训练模型,U-Net++网络结构图如图4所示。
U-net++网络是基于U-Net网络的改进,网络可以分为特征提取和图像恢复两部分。特征提取部分主要由卷积层以及池化层相互串联组成,卷积层采用3×3大小的卷积核,池化层采用最大池化方式参与计算,其中卷积层与池化层均选取非线性修正函数ReLu作为激活函数;图像恢复部分通过上采样层和跳跃连接交替完成像素填充,U-Net++针对U-Net网络的跳跃连接部分进行了改进,在跳跃连接阶段引入特征提取单元抓取不同层次的特征,并将这些特征通过特征叠加的方式进行整合。
2.2)在U-Net++网络结构中添加多特征融合模块
U-Net++网络被扩展为两个并行架构,在上采样阶段和下采样阶段添加了不同的特征融合模块。
a)如图5所示,下采样阶段的特征融合模块是将两个编码器的输出分别经过最大池化和平均池化后进行特征融合。此改进既可以保留图像的背景信息和纹理信息,减少语义信息的丢失,也可以为后续的卷积提供更完整的特征信息。具体计算步骤如下:
xmel=Maxpooling(xel)
xmer=Avgpooling(xer)
xdl=xdr=Cat(xmel,xmer)
其中,xel、xer为特征融合模块的输入特征,xdl、xdr为特征融合模块的输出特征。
b)如图6所示,上采样阶段的特征融合模块主要分为以下几个部分:首先,对输入特征进行反卷积操作,将特征上采样到合适的大小和维度后进行融合。其次,融合后的上采样特征分别与跳跃连接传递的两个特征进行特征融合。最后,利用1×1卷积对融合后的特征进行降维操作后再次特征融合。此改进方法将高维度特征与低维度特征有效整合,提高了网络中语义信息的利用率,减少了语义信息的损失,将网络中的信息共享。具体计算步骤如下:
xdel=Deconu(xel)
xder=Deconv(xer)
xde=Cat(xdel,xder)
xl=wl(Cat(xskipl,xde))+bl
xr=wr(Cat(xskipr,xde))+br
xdl=xdr=Cat(xl,xr)
其中,xel、xer、xskipl和xskipr为特征融合模块的输入特征,xdel和xder代表上采样得到的特征,xde是xdel和xder融合后的特征,xl和xr为1×1卷积降维后的特征,xdl、xdr为特征融合模块的输出特征。
2.3)将网络中的特征提取模块替换为多尺度模块,如图7所示多尺度模块将输入特征分别与感受野大小为3×3和7×7的卷积核进行两次连续运算后融合,然后进行1×1卷积对融合后的特征进行降维操作后输出。其中3×3和7×7采用的是普通卷积,3×3卷积的padding设置为1,7×7卷积的padding设置为3,步长均为1。引入多尺度模块主要有以下优点:首先,网络中嵌入多个卷积核可以获得多个不同层次的特征信息,不仅提高了网络的分割性能,而且训练过程中有利于网络的学习;其次,多尺度模块利用不同的卷积核提取了不同的语义信息,这种结构使网络的编码器能够更好地提取特征,解码器能够更好地恢复特征。该模块具体计算步骤如下:
x1=w32(w31x+b31)+b32
x2=w72(w71x+b71)+b72
X=Cat(x1,x2)
F=wfX+bf
其中,x代表输入特征,w31和w32是感受野大小为3×3的卷积核权重,w71和w72是感受野大小为7×7的卷积核权重,wf是感受野大小为1×1的卷积核权重,F是多尺度模块的输出。
步骤3,分水岭算法
通过改进的U-Net++网络训练模型,图像中每个像素被分为前景和背景两类。然而在生物细胞图像中通常会存在相互粘连的细胞,为了保证后续能够对细胞内部进行质量分析,因此再运用分水岭算法准确地分割图像中的细胞粘连区域。
分水岭分割方法,是一种基于拓扑理论的数学形态学的分割方法,其基本思想是把图像看作是测地学上的拓扑地貌,图像中每一点像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆,而集水盆的边界则形成分水岭。分水岭的计算过程分两个步骤:一个是排序过程,一个是淹没过程。首先对每个像素的灰度级进行从低到高排序,然后在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出(FIFO)结构进行判断及标注。
分水岭算法得到的是输入图像的集水盆图像,集水盆之间的边界点,即为分水岭。显然,分水岭表示的是输入图像极大值点。因此,为得到图像的边缘信息,通常把梯度图像作为输入图像,即:
其中,f(x,y)代表原始图像,grad{.}代表梯度运算。
分水岭算法对微弱边缘具有良好的响应,图像中的噪声、物体表面细微的灰度变化,都会产生过度分割的现象。为消除分水岭算法产生的过度分割,对梯度图像进行阈值处理,以消除灰度的微小变化产生的过度分割,即
g(x,y)=max(grad{f(x,y)},g(θ))
式中,g(θ)表示阈值。
步骤4,分割结果的保存与分析
对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。为了更好地说明本发明的实施效果,分别采用本发明实例的方法以及现有技术对验证集中的图像进行分割,并采用交并比(Intersection over Union,IoU)和分割值(Dice Score)作为评价指标,评价指标计算公式如下:
其中,TP、TN、FP、FN分别为为细胞像素被模型预测为正类的正样本、被模型预测为负类的负样本、被模型预测为正类的负样本、被模型预测为负类的正样本,X、Y分别为真实值和预测值。IoU为语义分割的标准度量,是真实值和预测值的交集与并集之比,其值为1时,表示两者完全相同;Dice Score为医学图像分割的重要度量,表示真实值与预测值的相似度,值越大两者相似度越高。
如表1所示,依次展示了采用阈值分割Otsu算法、U-Net模型、U-Net++模型及本发明实施例中的模型,总计五种分割算法的分割结果。
表1五种分割算法的分割结果
方法 | IoU | Dice Score |
Otsu | 0.2351 | 0.3782 |
FCN-8s | 0.5349 | 0.7984 |
U-Net | 0.7421 | 0.8509 |
U-Net++ | 0.8393 | 0.9035 |
本发明实例 | 0.8415 | 0.9148 |
图8、图9中的第一行的第三幅、第四幅图像及第二行图像依次显示了采用阈值分割Otsu算法、FCN模型、U-Net模型、U-Net++模型及本发明实施例中的模型,对图8与图9第一行的第一幅图像进行分割的结果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种U-Net++细胞分割方法,其特征在于,所述U-Net++细胞分割方法通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理;训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,以U-Net++网络为基础,添加多尺度模块和多特征融合模块,对输入图像进行分割,得到初步分割结果;利用分水岭算法,对细胞分割图像中的粘连区域进行精确分割;完成分割结果的保存与分析,分别采用实例方法以及现有技术对验证集中的图像进行分割,并进行对比实验及分析。
2.如权利要求1所述的U-Net++细胞分割方法,其特征在于,所述U-Net++细胞分割方法包括以下步骤:
步骤一,图像预处理,包括数据增强、图像尺寸规整化与数据归一化;
步骤二,训练基于多尺度和多特征融合模块的U-Net++细胞分割模型;
步骤三,利用分水岭算法准确分割图像中的细胞粘连区域;
步骤四,分割结果的保存与分析,对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
3.如权利要求2所述的U-Net++细胞分割方法,其特征在于,步骤一中,所述图像预处理,包括通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理:
(1)数据增强
1)对比度增强:对图像中的灰度点做映射,使得整体图像的灰度大致符合均匀分布,增强图像的对比度;
2)水平翻转:随机挑选每个训练批次中的图片,做180°镜像翻转;
3)上下翻转:随机挑选每个训练批次中的图片做180°垂直翻转;
4)图像旋转:随机对每个训练批次中的图片做0~180°的旋转,缺失部分补零;
5)图像平移:随机对每个训练批次中的图片进行向上、向下、向左、向右平移,缺失部分补零;
6)高斯噪声:随机对每个训练批次的图片添加高斯噪声,高斯噪声的概率密度函数如下:
(2)图像尺寸规整化与数据归一化
1)规整化输入图像的尺寸,将训练集与测试集的图像大小统一为96×96;
2)对输入的细胞图像数据进行归一化处理,通过缩放将输入图片像素的取值范围归一化到[0,1],计算方式如下:
其中,xij为图片中一个点的像素值,min为最小像素值,max为最大像素值。
4.如权利要求2所述的U-Net++细胞分割方法,其特征在于,步骤二中,所述训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,包括:
(1)将预处理的图片输入到U-Net++网络中训练模型
U-net++网络是基于U-Net网络的改进,网络可以分为特征提取和图像恢复两部分;特征提取部分主要由卷积层以及池化层相互串联组成,卷积层采用3×3大小的卷积核,池化层采用最大池化方式参与计算,其中卷积层与池化层均选取非线性修正函数ReLu作为激活函数;图像恢复部分通过上采样层和跳跃连接交替完成像素填充,U-Net++针对U-Net网络的跳跃连接部分进行了改进,在跳跃连接阶段引入特征提取单元抓取不同层次的特征,并将这些特征通过特征叠加的方式进行整合;
(2)在U-Net++网络结构中添加多特征融合模块
U-Net++网络被扩展为两个并行架构,在上采样阶段和下采样阶段添加不同的特征融合模块;
1)下采样阶段的特征融合模块是将两个编码器的输出分别经过最大池化和平均池化后进行特征融合,计算步骤如下:
xmel=Maxpooling(xel);
xmer=Avgpooling(xer);
xdl=xdr=Cat(xmel,xmer);
其中,xel、xer为特征融合模块的输入特征,xdl、xdr为特征融合模块的输出特征;
2)上采样阶段的特征融合模块分包括:对输入特征进行反卷积操作,将特征上采样到合适的大小和维度后进行融合;融合后的上采样特征分别与跳跃连接传递的两个特征进行特征融合;利用1×1卷积对融合后的特征进行降维操作后再次特征融合;计算步骤如下:
xdel=Deconv(xel);
xder=Deconv(xer);
xde=Cat(xdel,xder);
xl=wl(Cat(xskipl,xde))+bl;
xr=wr(Cat(xskipr,xde))+br;
xdl=xdr=Cat(xl,xr);
其中,xel、xer、xskipl和xskipr为特征融合模块的输入特征,xdel和xder代表上采样得到的特征,xde是xdel和xder融合后的特征,xl和xr为1×1卷积降维后的特征,xdl、xdr为特征融合模块的输出特征;
(3)将网络中的特征提取模块替换为多尺度模块,多尺度模块将输入特征分别与感受野大小为3×3和7×7的卷积核进行两次连续运算后融合后,进行1×1卷积对融合后的特征进行降维操作后输出;其中3×3和7×7采用的是普通卷积,3×3卷积的padding设置为1,7×7卷积的padding设置为3,步长均为1;
其中,多尺度模块的计算步骤如下:
x1=w32(w31x+b31)+b32;
x2=w72(w71x+b71)+b72;
X=Cat(x1,x2);
F=wfX+bf;
其中,x代表输入特征,w31和w32是感受野大小为3×3的卷积核权重,w71和w72是感受野大小为7×7的卷积核权重,wf是感受野大小为1×1的卷积核权重,F是多尺度模块的输出。
5.如权利要求2所述的U-Net++细胞分割方法,其特征在于,步骤三中,所述利用分水岭算法准确分割图像中的细胞粘连区域,包括:
通过改进的U-Net++网络训练模型,图像中每个像素被分为前景和背景两类;再运用分水岭算法准确地分割图像中的细胞粘连区域;
分水岭分割方法是基于拓扑理论的数学形态学的分割方法,基本思想是把图像看作是测地学上的拓扑地貌,图像中每一点像素的灰度值表示该点的海拔高度,每一个局部极小值及其影响区域称为集水盆,而集水盆的边界则形成分水岭;分水岭的计算过程包括排序过程和淹没过程;对每个像素的灰度级进行从低到高排序后,在从低到高实现淹没过程中,对每一个局部极小值在h阶高度的影响域采用先进先出FIFO结构进行判断及标注;
分水岭算法得到的是输入图像的集水盆图像,集水盆之间的边界点,即为分水岭,分水岭表示的是输入图像极大值点;故为得到图像的边缘信息,通常把梯度图像作为输入图像,即:
其中,f(x,y)代表原始图像,grad{.}代表梯度运算;
对梯度图像进行阈值处理,用于消除灰度的微小变化产生的过度分割,即:
g(x,y)=max(grad{f((x,y)},g(θ));
其中,g(θ)表示阈值。
6.如权利要求2所述的U-Net++细胞分割方法,其特征在于,步骤四中,所述分割结果的保存与分析,包括:
对分割结果以及相应性能指标进行输出保存,用于后期的分析检查;分别采用实例的方法以及现有技术对验证集中的图像进行分割,并采用交并比IoU和分割值作为评价指标,评价指标计算公式如下:
其中,TP、TN、FP、FN分别为细胞像素被模型预测为正类的正样本、被模型预测为负类的负样本、被模型预测为正类的负样本、被模型预测为负类的正样本;X、Y分别为真实值和预测值;IoU为语义分割的标准度量,是真实值和预测值的交集与并集之比,值为1时表示两者完全相同;Dice Score为医学图像分割的重要度量,表示真实值与预测值的相似度,值越大两者相似度越高。
7.一种实施权利要求1~6任意一项所述的U-Net++细胞分割方法的U-Net++细胞分割网络系统,其特征在于,所述U-Net++细胞分割网络系统包括:
图像预处理模块,用于进行数据增强、图像尺寸规整化与数据归一化;
细胞分割模型训练模块,用于训练基于多尺度和多特征融合模块的U-Net++细胞分割模型;
细胞粘连区域分割模块,用于利用分水岭算法准确分割图像中的细胞粘连区域;
分割结果保存分析模块,用于进对分割结果以及相应性能指标进行输出保存,用于后期的分析检查。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:通过数据增强、数据归一化和规整化图像尺寸操作对输入图像进行初始化预处理;训练基于多尺度和多特征融合模块的U-Net++细胞分割模型,以U-Net++网络为基础,添加多尺度模块和多特征融合模块,对输入图像进行分割,得到初步分割结果;利用分水岭算法,对细胞分割图像中的粘连区域进行精确分割;完成分割结果的保存与分析,分别采用实例方法以及现有技术对验证集中的图像进行分割,并进行对比实验及分析。
9.一种信息数据处理终端,其特征在于,所述信息数据处理终端用于实现如权利要求7所述的U-Net++细胞分割网络系统。
10.一种如权利要求7所述的U-Net++细胞分割网络系统在医学细胞图像分割、肿瘤分割以及多器官分割中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351003.6A CN114240961A (zh) | 2021-11-15 | 2021-11-15 | 一种U-Net++细胞分割网络系统、方法、设备及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111351003.6A CN114240961A (zh) | 2021-11-15 | 2021-11-15 | 一种U-Net++细胞分割网络系统、方法、设备及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114240961A true CN114240961A (zh) | 2022-03-25 |
Family
ID=80749474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111351003.6A Pending CN114240961A (zh) | 2021-11-15 | 2021-11-15 | 一种U-Net++细胞分割网络系统、方法、设备及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114240961A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581439A (zh) * | 2022-04-29 | 2022-06-03 | 天津七一二通信广播股份有限公司 | 散装零件快速自动点料方法及系统 |
CN114627123A (zh) * | 2022-05-16 | 2022-06-14 | 湖南工商大学 | 综合双流加权网络和空间注意力机制的白带细胞检测方法 |
CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
CN115880573A (zh) * | 2023-03-01 | 2023-03-31 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种基于神经网络获取海草面积的方法、装置及设备 |
CN116645381A (zh) * | 2023-06-26 | 2023-08-25 | 海南大学 | 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质 |
-
2021
- 2021-11-15 CN CN202111351003.6A patent/CN114240961A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114581439A (zh) * | 2022-04-29 | 2022-06-03 | 天津七一二通信广播股份有限公司 | 散装零件快速自动点料方法及系统 |
CN114627123A (zh) * | 2022-05-16 | 2022-06-14 | 湖南工商大学 | 综合双流加权网络和空间注意力机制的白带细胞检测方法 |
CN115619810A (zh) * | 2022-12-19 | 2023-01-17 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
CN115619810B (zh) * | 2022-12-19 | 2023-10-03 | 中国医学科学院北京协和医院 | 一种前列腺分区分割方法、系统及设备 |
CN115880573A (zh) * | 2023-03-01 | 2023-03-31 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种基于神经网络获取海草面积的方法、装置及设备 |
CN116645381A (zh) * | 2023-06-26 | 2023-08-25 | 海南大学 | 一种脑肿瘤mri图像分割方法、系统、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114240961A (zh) | 一种U-Net++细胞分割网络系统、方法、设备及终端 | |
Oskal et al. | A U-net based approach to epidermal tissue segmentation in whole slide histopathological images | |
Roth et al. | A new 2.5 D representation for lymph node detection using random sets of deep convolutional neural network observations | |
CN106875381B (zh) | 一种基于深度学习的手机外壳缺陷检测方法 | |
CN109241967B (zh) | 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质 | |
CN110706246A (zh) | 一种血管图像分割方法、装置、电子设备和存储介质 | |
CN112800915B (zh) | 建筑物变化检测方法、装置、电子设备以及存储介质 | |
WO2020223798A1 (en) | Image diagnostic system, and methods of operating thereof | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
CN111145209A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
WO2021136368A1 (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
CN109146891B (zh) | 一种应用于mri的海马体分割方法、装置及电子设备 | |
CN113379764B (zh) | 一种基于域对抗自监督学习的病理图像分割方法 | |
Jia et al. | Multi-layer segmentation framework for cell nuclei using improved GVF Snake model, Watershed, and ellipse fitting | |
CN112330701A (zh) | 基于极坐标表示的组织病理图像细胞核分割方法及系统 | |
Wang et al. | Nucleus segmentation of cervical cytology images based on depth information | |
CN111583226B (zh) | 细胞病理感染评估方法、电子装置及存储介质 | |
Kurmi et al. | Content-based image retrieval algorithm for nuclei segmentation in histopathology images: CBIR algorithm for histopathology image segmentation | |
Pan et al. | SMILE: Cost-sensitive multi-task learning for nuclear segmentation and classification with imbalanced annotations | |
Xu et al. | Histopathological tissue segmentation of lung cancer with bilinear cnn and soft attention | |
CN114742750A (zh) | 异常细胞检测方法、装置、终端设备及可读存储介质 | |
CN114565605A (zh) | 一种病理图像的分割方法及装置 | |
CN113850792A (zh) | 一种基于计算机视觉的细胞分类计数方法及系统 | |
CN111047559A (zh) | 一种数字病理切片异常区域快速检测的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |