CN114332112A - 一种细胞图像分割方法、装置、电子设备及存储介质 - Google Patents

一种细胞图像分割方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114332112A
CN114332112A CN202111554024.8A CN202111554024A CN114332112A CN 114332112 A CN114332112 A CN 114332112A CN 202111554024 A CN202111554024 A CN 202111554024A CN 114332112 A CN114332112 A CN 114332112A
Authority
CN
China
Prior art keywords
image
interest
region
cell
segmented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111554024.8A
Other languages
English (en)
Inventor
郏东耀
和子豪
张传旺
李子琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jiaotong University
Original Assignee
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jiaotong University filed Critical Beijing Jiaotong University
Priority to CN202111554024.8A priority Critical patent/CN114332112A/zh
Publication of CN114332112A publication Critical patent/CN114332112A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本申请提供一种细胞图像分割方法、装置、电子设备及存储介质,该方法包括:获取待分割图像;待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,感兴趣区域仅包含一个完整细胞;根据感兴趣区域,进行图像裁剪,确定感兴趣图像;感兴趣图像输入预设对抗生成网络,确定细胞边界;根据细胞边界,进行轮廓查找及提取,确定待分割图像中每个细胞的分割图像。该方案可以解决复杂背景下高度重叠细胞的分割的问题,并可以获取重叠细胞中每个细胞的图像,泛化能力和抗干扰能力强。

Description

一种细胞图像分割方法、装置、电子设备及存储介质
技术领域
本发明属于图像分割技术领域,特别涉及一种细胞图像分割方法、装置、电子设备及存储介质。
背景技术
宫颈癌的图像分割一直是细胞图像领域以及医学领域的一大难点,也是非常具有研究价值的一个分割任务。宫颈癌细胞图像的分割困难之处在于细胞的图像复杂,炎症细胞、线性粒、杂质等均可能出现在细胞图像中,这对图像的分割与识别产生了极大干扰。同时难点也在于宫颈癌细胞图像中含有大量的重叠细胞,重叠细胞的分割边界对比度低再加之制片过程中造成的成像效果差等因素使得宫颈癌图像分割极具挑战性。图像分割在各个领域都有涉及,医学图像领域更是如此,因为医学图像领域中图像分割的优劣直接决定了诊断结果的好坏。因此,世界范围内的研究人员已经开发出了许多分割技术,分割方法的数量几乎与分割问题的数量相同。不同图像的分割难度是不同的,这主要取决于待分割图像的类型,最理想的情况是背景清晰,细胞无重叠并且细胞与背景的对比度明显,该类图像使用简单的图像阈值即可实现细胞与背景的精确分割,但是实际中细胞与背景的对比度较低,并且图像中会有各种杂质以及无关细胞,最难处理的是细胞与细胞之间的高度重叠,这都使得分割任务变得异常棘手。生成性对抗网络(GANs)在无监督表征学习或图像到图像翻译等应用中非常有用。分割任务可以被认为是图像转换问题,对于图像生成,生成性对抗网络(GANs)提供了一种不同的方法。GANs分为两个网络,即生成器和判别器。两个结构互相竞争学习。判别器的目标是将输入图像分类为真实图像或合成图像,而生成器目标是生成接近真实的图像,从而使判别器被它愚弄,即判别器难以分辨真实图像与生成图像之间的差距。
现有的细胞图像分割算法主要是分为两大类:基于图像处理的细胞分割算法与基于深度学习的细胞分割算法。基于传统方法的分割算法鲁棒性差,细胞图像的分割效果极大取决于采集细胞图像的质量;泛化能力差,很难找到一组合适的参数,使得这些分割方法能够同时分割包含多种复杂情形的细胞图像。另外基于图像处理的方法难以分割重叠细胞。基于深度学习的细胞分割方法比传统分割方法有着更好的泛化性,这是因为卷积结构能够有效地捕捉图像细节特征可以在复杂背景中进行细胞分割。但是,现在主流的深度学习算法都只能用于单细胞的分割,难以捕获重叠细胞的边界特征,无法有效地分割重叠细胞。
发明内容
本说明书实施例的目的是提供一种细胞图像分割方法、装置、电子设备及存储介质。
为解决上述技术问题,本申请实施例通过以下方式实现的:
第一方面,本申请提供一种细胞图像分割方法,该方法包括:
获取待分割图像;
待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,感兴趣区域仅包含一个完整细胞;
根据感兴趣区域,进行图像裁剪,确定感兴趣图像;
感兴趣图像输入预设对抗生成网络,确定细胞边界;
根据细胞边界,进行轮廓查找及提取,确定待分割图像中每个细胞的分割图像。
在其中一个实施例中,待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,包括:
待分割图像输入主干提取网络,主干提取网络得到第一有效特征层和第二有效特征层;
第二有效特征层输入卷积层卷积后,得到卷积特征;
卷积特征与第一有效特征层进行自下而上的特征融合,得到融合特征;
融合特征输入第一特征检测头,输出第一预测框集合,第一预测框集合包括至少一个第一预测框;
卷积特征输入第二特征检测头,输出第二预测框集合,第二预测框集合包括至少一个第二预测框;
从第一预测框集合和第二预测框集合中选取感兴趣区域。
在其中一个实施例中,待分割图像输入主干提取网络,主干提取网络得到第一有效特征层和第二有效特征层,包括:
待分割图像经过第一全池化后输入主干提取网络;
主干提取网络得到第一有效特征层和第二有效特征层之前分别经过第二全池化和第三全池化。
在其中一个实施例中,从第一预测框集合和第二预测框集合中选取感兴趣区域,包括:
采用改进非极大值抑制算法,从第一预测框集合和第二预测框集合中选取感兴趣区域;
改进非极大值抑制算法包括:
Figure BDA0003417986220000031
Figure BDA0003417986220000032
其中,
Figure BDA0003417986220000033
为两个预测框中心点之间的距离,bgt为得分最高框,b为当前选中框;ρ2为距离;c为包含两个预测框的最小框的对角线长度;si为相应的检测分数;IoU为交并比;
Figure BDA0003417986220000034
为预测框数据;Bi为初始检测框列表;ε为阈值。
在其中一个实施例中,预设感兴趣区域识别网络的损失函数为:
Figure BDA0003417986220000035
其中,
Figure BDA0003417986220000036
为位置损失函数;lossobj为置信度损失函数;
Figure BDA0003417986220000037
为类别损失函数;
其中,类别损失函数
Figure BDA0003417986220000038
为:
Figure BDA0003417986220000039
其中,α为平衡系数;y′为激活函数的输出;γ为因子。
在其中一个实施例中,预设对抗生成网络包括判别器和生成器;
判别器采用全卷积层,全卷积层包括若干卷积层和最后卷积层;
感兴趣图像经过若干卷积层后输入最后卷积层,输出N*N矩阵,N*N矩阵中每个点代表感兴趣图像中的一块区域评价值。
在其中一个实施例中,预设对抗生成网络的目标函数为:
Figure BDA0003417986220000041
其中,Pdata(x)为真实样本分布,D(x)为判别器对真实样本的输出值;pz为合成样本分布,D(G(z))表示判别器对合成样本的输出值;λ为平衡常数;当λ>0时,λL(G)为L1损失函数:
Figure BDA0003417986220000042
第二方面,本申请提供一种细胞图像分割装置,该装置包括:
获取模块,用于获取待分割图像;
第一确定模块,用于待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,感兴趣区域仅包含一个完整细胞;
第二确定模块,用于根据感兴趣区域,进行图像裁剪,确定感兴趣图像;
第三确定模块,用于感兴趣图像输入预设对抗生成网络,确定细胞边界;
第四确定模块,用于根据细胞边界,进行轮廓查找及提取,确定待分割图像中每个细胞的分割图像。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的细胞图像分割方法。
第四方面,本申请提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面的细胞图像分割方法。
由以上本说明书实施例提供的技术方案可见,该方案:
使用预设感兴趣区域识别网络进行细胞的位置确定,确定细胞分割的感兴趣区域,指导后续的分割任务,然后使用预设对抗生成网络进行重叠细胞的分割,该方法可以解决复杂背景下高度重叠细胞的分割的问题,并可以获取重叠细胞中每个细胞的图像,泛化能力和抗干扰能力强。
采用的预设感兴趣区域识别网络,将YOLOv4网络结构进行简化,并添加新的损失函数,可以在保证检测精度的同时使得检测速率大幅提升。
采用的预设对抗生成网络,对原始网络的生成器判别器结构均作出改进,使得网络的生成能力得到提高,训练过程更加平稳,从而使得细胞的分割更加精准。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的细胞图像分割方法的流程示意图;
图2为本申请提供的优化YOLOv4网络的结构示意图;
图3为本申请提供的预设感兴趣区域识别网络的训练流程图;
图4为本申请提供的预设对抗生成网络的训练流程图;
图5为本申请提供的细胞图像分割装置的结构示意图;
图6为本申请提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
在不背离本申请的范围或精神的情况下,可对本申请说明书的具体实施方式做多种改进和变化,这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
本申请中的“份”如无特别说明,均按质量份计。
下面结合附图和实施例对本发明进一步详细说明。
参照图1,其示出了适用于本申请实施例提供的细胞图像分割方法的流程示意图。
如图1所示,细胞图像分割方法,可以包括:
S110、获取待分割图像。
具体的,待分割图像可以为各种需要分割的细胞图像,还可以为其他需要分割的图像。本申请中待分割图像以宫颈细胞图像为例进行说明。
如果直接使用生成式思想对细胞分割,尽管可以在整幅细胞图像中形成较为清晰的细胞分割边界,但是该生成图像仅限于以人类视角来说分割效果较好,计算机难以将分割边界与细胞进行一对一的匹配,也就是说,直接使用生成式分割方法并没有完成真正意义上的单细胞提取。因此本申请在使用生成式分割前,西安使用感兴趣区域识别网络,确定感兴趣区域,即目标识别,将各个细胞单独提取出来,在单细胞图像中使用生成式思想,即可实现边界与细胞可以一对一的对应,可以直接提取单细胞图像,方便后续对单细胞图像的医学分析。
S120、待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,感兴趣区域仅包含一个完整细胞。
具体的,预设感兴趣区域网络为预先训练好的神经网络,当预设感兴趣区域识别网络输入待分割图像时,即可输出感兴趣区域。
预设感兴趣区域网络采用优化YOLOv4网络,优化YOLOv4网络的结构示意图如图2所示。
优化YOLOv4网络中使用的是FPN结构将主干提取网络中获得的两个有效特征层(分别为图2中Resnet(38,38,256)和Conv的输出)进行自下而上的特征融合(图2中Concat层进行特征融合),然后与上一个尺度的有效特征层进行堆叠并卷积(图2中Concat层进行堆叠并卷积)。
在预测部分,现有的YOLOv4网络中设置有3个检测头,其目的是为了对不同尺度的目标进行预测,大的物体使用小尺度的特征层预测,小的物体特征较少使用大的特征层预测。观测了大量的宫颈癌细胞数据集,细胞的尺寸差别并不是很大,于是本申请设计减少一个检测头输出。本申请优化YOLOv4网络中仅设置两个特征检测头(分别为第一特征检测头和第二特征检测头,对应图2中两个Yolo Head),分别负责检测不同尺度的目标,同现有YOLOv4网络的设计类似,每个检测头中的特征图中预设了三个不同的先验框,用以预测目标物体生成预测框,YOLOv4中由于使用了三个检测头所以一共9个先验框,Cell_yolo中设置的是两个检测头共有6个先验框,预设先验框可以提前筛选得到具有代表性的预设框,从而使得在训练时更容易收敛。
另外,为保证网络结构的简化不会导致检测精度的下降,本申请针对网络中的池化操作改进使用全池化操作,原有的最大池化操作尽管可以缩减特征图大小提取特征,但这也就意味着会丢失局部信息,重叠细胞的边界特征极其重要,过多的使用池化操作反而对最终结果产生不利影响,于是优化YOLOv4网络增加了全池化操作。而使用全池化几乎不会给算法运行效率添加负担,并且可以极大增强算法的特征提取能力。全池化的操作流程是:对于输入图片每隔一个像素值取一个值,这样原有的一张图片变成四张图片,四张图片包含了原有图片的全部信息,使用concat拼接方式,得到的图片相对于原有的图片通道数扩大四倍,之后将得到的图片进行卷积操作,最终即可得到没有信息丢失的二倍下采样特征图。全池化的操作既可以完成池化缩减特征图大小的目的,又可以极大保存图像的特征。本申请优化YOLOv4网络结构中设计了在三处使用全池化的操作来代替最大池化,首先是在待分割图像进入主干提取网络的时候进行一次全池化,之后分别在获得的两个准备进行特征融合有效特征层之前添加全池化。
在一个实施例中,待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,包括:
待分割图像输入主干提取网络,主干提取网络得到第一有效特征层和第二有效特征层;
第二有效特征层输入卷积层卷积后,得到卷积特征;
卷积特征与第一有效特征层进行自下而上的特征融合,得到融合特征;
融合特征输入第一特征检测头,输出第一预测框集合,第一预测框集合包括至少一个第一预测框;
卷积特征输入第二特征检测头,输出第二预测框集合,第二预测框集合包括至少一个第二预测框;
从第一预测框集合和第二预测框集合中选取感兴趣区域。
其中,待分割图像输入主干提取网络,主干提取网络得到第一有效特征层和第二有效特征层,包括:
待分割图像经过第一全池化后输入主干提取网络;
主干提取网络得到第一有效特征层和第二有效特征层之前分别经过第二全池化和第三全池化。
在得到预测框后,通过会采用非极大值抑制(Non Maximum Suppression,NMS)方法去除重复框,即去除多余的预测框,降低误检。NMS方法中,如果当前框与得分最高框的IoU大于阈值就会直接被删除,但是实际情况中,可能两个物体靠的很近导致检测框IoU过大,会有一个目标框被误删,这种情况尤其是在重叠细胞较多的图像中突出。也就是NMS方法仅考虑交并信息IoU来去除重复框,极容易将重叠细胞的检测框误删,即NMS方法不适用于本申请。
当待分割图像为宫颈细胞图像,而宫颈细胞图像中重叠细胞出现情况较多,为防止重叠细胞检测框误删问题,在从第一预测框集合和第二预测框集合中选取感兴趣区域时,可以采用改进非极大值抑制(Non Maximum Suppression,NMS)。
在一个实施例中,改进非极大值抑制算法包括:
Figure BDA0003417986220000081
Figure BDA0003417986220000082
其中,
Figure BDA0003417986220000083
为两个预测框中心点之间的距离,bgt为得分最高框,b为当前选中框;ρ2为距离;c为包含两个预测框的最小框的对角线长度;si为相应的检测分数;IoU为交并比;
Figure BDA0003417986220000084
为预测框数据;Bi为初始检测框列表;ε为阈值。
针对类别不均衡问题,对于类别损失函数使用Focal loss进行解决,在原始交叉熵函数的基础之上进行修改,二分类交叉熵函数公式如下:
Figure BDA0003417986220000085
激活函数的输出是一个位于0~1的y′,神经网络的目标是最小化损失函数,在上式中,想要使损失函数越小,则保证对于正样本,激活函数输出的概率值越大,表明网络模型越确定该样本是正样本;同样对于负样本,激活函数输出的概率值越小,模型认为该样本属于负样本的概率更高。Focal loss的公式如下:
Figure BDA0003417986220000091
Focal loss的改进看似微小但却是对训练很有帮助的,Focal loss在原有基础上加了一个γ因子,γ>0时,会减少易分类样本的损失,使得模型更加关注于困难样本。设γ=2,假设正样本的激活函数输出概率为0.9,此时(1-y′)γ的值就会很小,则损失函数值就变得很小,而相反如果正样本经过激活函数输出的概率值为0.2,这就意味着尽管是正样本但模型认为是负样本的可能性较大,该样本属于困难样本,应该加大训练。此时(1-y′)γ的值很大,导致损失函数的值过大,模型会加大学习强度会更多地关注困难样本。同样对于负样本,输出概率值为0.1的结果远比0.8的损失值小得多。这样对损失函数微小的改变减少了简单样本的影响,这样就解决了简单样本与困难样本的问题,此外为了解决平衡正负样本的问题,加入平衡系数α,最终类别损失函数的公式如下:
Figure BDA0003417986220000092
优化YOLOv4网络的损失函数由三部分构成,一是置信度损失函数lossobj,置信度损失函数依然延续了YOLOv4网络中的交叉熵损失函数;二是位置损失函数
Figure BDA0003417986220000093
位置损失函数使用DIoU损失函数;三是类别损失函数,类别损失函数使用基于Focal loss的改进损失函数。优化YOLOv4网络的损失函数下文公式。
Figure BDA0003417986220000094
使用上述改进算法训练神经网络,训练过程收敛更快,且感兴趣区域位置精准。
如图3所示为预设感兴趣区域识别网络的训练流程:首先是人工标注细胞图像数据,考虑到医学数据难以获取的特点进行数据增强从而扩大数据量,数据增强使用的是简单的图像平移、旋转与色彩变换等操作,之后数据输入到网络模型中选定初始参数后进行训练,训练是否完全结束取决于感兴趣区域的识别效果,训练会对训练效果进行评价,未能达到要求时需要改变初始参数重新训练,直至训练效果合乎要求。
需要说明的是,上述进行人工标注细胞图像数据时,不需要确定细胞的类别,只需要确定细胞与背景的不同,使用labelimg软件中矩形框进行标注,每个矩形框必须要全包含完整的细胞图像而且每个框中只能标注一个完整细胞可以存在其他细胞,但不允许标注框中存在两个完整细胞,即使是重叠细胞也要分开标注,这就是本申请中定义的感兴趣区域,感兴趣区域中有且只有一个完整细胞图像。
S130、根据感兴趣区域,进行图像裁剪,确定感兴趣图像。
具体的,步骤S120中得到的感兴趣区域进行标定,形成具有标定矩形框的四个点的坐标值,根据每个标定框的坐标位置裁剪图像形成只包含一个完整单细胞图像的细胞图,即为感兴趣图像。
S140、感兴趣图像输入预设对抗生成网络,确定细胞边界。
具体的,预设对抗生成网络用于对感兴趣图像进行分割,生成细胞边界。
预设对抗生成网络是对现有对抗生成网络的改进。其中,判别器的设计较原始对抗生成网络的判别器有所不同,原始对抗生成网络的判别器的设计是仅输出一个评价值,该值是对生成器生成的整幅图像的一个评价。而预设对抗生成网络中将判别器设计成全卷积的形式,图像经过各种卷积层后,并不会输入到全连接层或者激活函数中,而是使用卷积将输入映射为N*N矩阵,该矩阵等同于原始对抗生成网络中的最后的评价值用以评价生成器的生成图像。N*N矩阵中每个点即代表原始图像中的一块小区域评价值,这也就是“感受野”的应用。原来用一个值衡量整幅图,现在使用N*N的矩阵来评价整幅图,同样标签也需要设置成为N*N的格式,这样就可以进行损失计算,显然本申请中预设对抗生成网络可以关注更多的区域,原始的判别器的设计类似于“一言堂”,判别器产生的一个值用以评价图像的生成。改进的判别器更像是“分治法”,产生多个区域块的评价值用来评价图像,从而指导之后的图像生成的更加高效准确。
为了实现更精准的分割,对原始对抗生成网络的目标函数进行改进,从而实现细胞边界图像更精准的生成。对抗生成网络可以被看作是老师学生的关系,生成器G即学生,判别器D即老师。判别器可以识别出“学生图像”和真实图像差别,生成器则会在“老师”的带领下不断更新参数从而超过“老师”的判断。
预设对抗生成网络的目标函数为:
Figure BDA0003417986220000111
其中,Pdata(x)为真实样本分布,D(x)为判别器对真实样本的输出值;pz为合成样本分布,D(G(z))表示判别器对合成样本的输出值。
为了确保生成图像分布可以更快的收敛到真实图像分布,保证真实图像与生成器G合成的图像不会有太大差距,在损失函数中添加了类似于正则化项的部分。其中λ是平衡常数,当λ>0时,λL(G)可以认为是L1损失函数即:
Figure BDA0003417986220000112
直接反映出真实样本与生成样本的差距。
生成器试图生成能够以假乱真的图像,判别器试图能更加准确的分辨生成图像与真实图像的差别。同原始GAN训练一致,整个训练过程是通过生成器与判别器目标函数交替优化来完成的,整个训练的理想目标是能够达到纳什均衡。本次函数中,正则项的加入确保了训练过程中生成器能够更快的收敛至理想区域,更快的捕获真实图像的分布,从而加快了整个训练过程。使用上述改进算法训练神经网络,训练过程收敛更快,且边界生成更加精准。
在一个实施例中,预设对抗生成网络包括判别器和生成器;
判别器采用全卷积层,全卷积层包括若干卷积层和最后卷积层;
感兴趣图像经过若干卷积层后输入最后卷积层,输出N*N矩阵,N*N矩阵中每个点代表感兴趣图像中的一块区域评价值。
在一个实施例中,预设对抗生成网络的目标函数为:
Figure BDA0003417986220000113
其中,Pdata(x)为真实样本分布,D(x)为判别器对真实样本的输出值;pz为合成样本分布,D(G(z))表示判别器对合成样本的输出值;λ为平衡常数;当λ>0时,λL(G)为L1损失函数:
Figure BDA0003417986220000114
如图4所示为预设对抗生成网络的训练过程:首先是人工标注数据,考虑到医学数据难以获取的特点进行数据增强从而扩大数据量,数据增强使用的是简单的图像平移、旋转与色彩变换等操作,由于细胞分割网络是基于对抗生成网络设计,其训练过程中需要参考原始图片与标签图片的差距来完成训练,因此原始数据与标注数据均需要输入到网络模型中,网络模型中选定初始参数后进行训练,训练是否完全结束取决于细胞分割的效果,训练会对训练效果进行评价,未能达到要求时需要改变初始参数重新训练,直至训练效果合乎要求。
需要说明的是,人工标注数据时,可以使用PS工具进行数据集的标注,需要人工沿着图像边界线绘制细胞边界,由于感兴趣图像中仅含有一个完整细胞,因此,使用PS对完整细胞边界进行绘制即可。
S150、根据细胞边界,进行轮廓查找及提取,确定待分割图像中每个细胞的分割图像。
本申请实施例提供的细胞图像分割方法,使用预设感兴趣区域识别网络进行细胞的位置确定,确定细胞分割的感兴趣区域,指导后续的分割任务,然后使用预设对抗生成网络进行重叠细胞的分割,该方法可以解决复杂背景下高度重叠细胞的分割的问题,并可以获取重叠细胞中每个细胞的图像,泛化能力和抗干扰能力强。
本申请采用的预设感兴趣区域识别网络,将YOLOv4网络结构进行简化,并添加新的损失函数,可以在保证检测精度的同时使得检测速率大幅提升。
本申请采用的预设对抗生成网络,对原始网络的生成器判别器结构均作出改进,使得网络的生成能力得到提高,训练过程更加平稳,从而使得细胞的分割更加精准。
参照图5,其示出了根据本申请一个实施例描述的细胞图像分割装置的结构示意图。
如图5所示,细胞图像分割装置500,可以包括:
获取模块510,用于获取待分割图像;
第一确定模块520,用于待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,感兴趣区域仅包含一个完整细胞;
第二确定模块530,用于根据感兴趣区域,进行图像裁剪,确定感兴趣图像;
第三确定模块540,用于感兴趣图像输入预设对抗生成网络,确定细胞边界;
第四确定模块550,用于根据细胞边界,进行轮廓查找及提取,确定待分割图像中每个细胞的分割图像。
可选的,第一确定模块520还用于:
待分割图像输入主干提取网络,主干提取网络得到第一有效特征层和第二有效特征层;
第二有效特征层输入卷积层卷积后,得到卷积特征;
卷积特征与第一有效特征层进行自下而上的特征融合,得到融合特征;
融合特征输入第一特征检测头,输出第一预测框集合,第一预测框集合包括至少一个第一预测框;
卷积特征输入第二特征检测头,输出第二预测框集合,第二预测框集合包括至少一个第二预测框;
从第一预测框集合和第二预测框集合中选取感兴趣区域。
可选的,第一确定模块520还用于:
待分割图像经过第一全池化后输入主干提取网络;
主干提取网络得到第一有效特征层和第二有效特征层之前分别经过第二全池化和第三全池化。
可选的,第一确定模块520还用于:
采用改进非极大值抑制算法,从第一预测框集合和第二预测框集合中选取感兴趣区域;
改进非极大值抑制算法包括:
Figure BDA0003417986220000131
Figure BDA0003417986220000132
其中,
Figure BDA0003417986220000133
为两个预测框中心点之间的距离,bgt为得分最高框,b为当前选中框;ρ2为距离;c为包含两个预测框的最小框的对角线长度;si为相应的检测分数;IoU为交并比;
Figure BDA0003417986220000134
为预测框数据;Bi为初始检测框列表;ε为阈值。
可选的,预设感兴趣区域识别网络的损失函数为:
Figure BDA0003417986220000141
其中,
Figure BDA0003417986220000142
为位置损失函数;lossobj为置信度损失函数;
Figure BDA0003417986220000143
为类别损失函数;
其中,类别损失函数
Figure BDA0003417986220000144
为:
Figure BDA0003417986220000145
其中,α为平衡系数;y′为激活函数的输出;γ为因子。
可选的,预设对抗生成网络包括判别器和生成器;
判别器采用全卷积层,全卷积层包括若干卷积层和最后卷积层;
感兴趣图像经过若干卷积层后输入最后卷积层,输出N*N矩阵,N*N矩阵中每个点代表感兴趣图像中的一块区域评价值。
可选的,预设对抗生成网络的目标函数为:
Figure BDA0003417986220000146
其中,Pdata(x)为真实样本分布,D(x)为判别器对真实样本的输出值;pz为合成样本分布,D(G(z))表示判别器对合成样本的输出值;λ为平衡常数;当λ>0时,λL(G)为L1损失函数:
Figure BDA0003417986220000147
本实施例提供的一种细胞图像分割装置,可以执行上述方法的实施例,其实现原理和技术效果类似,在此不再赘述。
图6为本发明实施例提供的一种电子设备的结构示意图。如图6所示,示出了适于用来实现本申请实施例的电子设备300的结构示意图。
如图6所示,电子设备300包括中央处理单元(CPU)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口306。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本公开的实施例,上文参考图1描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行上述细胞图像分割方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、笔记本电脑、行动电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
作为另一方面,本申请还提供了一种存储介质,该存储介质可以是上述实施例中前述装置中所包含的存储介质;也可以是单独存在,未装配入设备中的存储介质。存储介质存储有一个或者一个以上程序,前述程序被一个或者一个以上的处理器用来执行描述于本申请的细胞图像分割方法。
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

Claims (10)

1.一种细胞图像分割方法,其特征在于,所述方法包括:
获取待分割图像;
所述待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,所述感兴趣区域仅包含一个完整细胞;
根据所述感兴趣区域,进行图像裁剪,确定感兴趣图像;
所述感兴趣图像输入预设对抗生成网络,确定细胞边界;
根据所述细胞边界,进行轮廓查找及提取,确定所述待分割图像中每个细胞的分割图像。
2.根据权利要求1所述的方法,其特征在于,所述待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,包括:
所述待分割图像输入主干提取网络,所述主干提取网络得到第一有效特征层和第二有效特征层;
所述第二有效特征层输入卷积层卷积后,得到卷积特征;
所述卷积特征与所述第一有效特征层进行自下而上的特征融合,得到融合特征;
所述融合特征输入第一特征检测头,输出第一预测框集合,所述第一预测框集合包括至少一个第一预测框;
所述卷积特征输入第二特征检测头,输出第二预测框集合,所述第二预测框集合包括至少一个第二预测框;
从所述第一预测框集合和所述第二预测框集合中选取所述感兴趣区域。
3.根据权利要求2所述的方法,其特征在于,所述待分割图像输入主干提取网络,所述主干提取网络得到第一有效特征层和第二有效特征层,包括:
所述待分割图像经过第一全池化后输入主干提取网络;
所述主干提取网络得到第一有效特征层和所述第二有效特征层之前分别经过第二全池化和第三全池化。
4.根据权利要求2所述的方法,其特征在于,所述从所述第一预测框集合和所述第二预测框集合中选取所述感兴趣区域,包括:
采用改进非极大值抑制算法,从所述第一预测框集合和所述第二预测框集合中选取所述感兴趣区域;
所述改进非极大值抑制算法包括:
Figure FDA0003417986210000021
Figure FDA0003417986210000022
其中,
Figure FDA0003417986210000028
为两个预测框中心点之间的距离,bgt为得分最高框,b为当前选中框;ρ2为距离;c为包含两个预测框的最小框的对角线长度;si为相应的检测分数;IoU为交并比;
Figure FDA0003417986210000029
为预测框数据;Bi为初始检测框列表;ε为阈值。
5.根据权利要求1所述的方法,其特征在于,所述预设感兴趣区域识别网络的损失函数为:
Figure FDA0003417986210000023
其中,
Figure FDA0003417986210000024
为位置损失函数;lossobj为置信度损失函数;
Figure FDA0003417986210000025
为类别损失函数;
其中,类别损失函数
Figure FDA0003417986210000026
为:
Figure FDA0003417986210000027
其中,α为平衡系数;y′为激活函数的输出;γ为因子。
6.根据权利要求1所述的方法,其特征在于,所述预设对抗生成网络包括判别器和生成器;
所述判别器采用全卷积层,所述全卷积层包括若干卷积层和最后卷积层;
所述感兴趣图像经过所述若干卷积层后输入最后卷积层,输出N*N矩阵,所述N*N矩阵中每个点代表所述感兴趣图像中的一块区域评价值。
7.根据权利要求1所述的方法,其特征在于,所述预设对抗生成网络的目标函数为:
Figure FDA0003417986210000031
其中,Pdata(x)为真实样本分布,D(x)为判别器对真实样本的输出值;pz为合成样本分布,D(G(z))表示判别器对合成样本的输出值;λ为平衡常数;当λ>0时,λL(G)为L1损失函数:
Figure FDA0003417986210000032
8.一种细胞图像分割装置,其特征在于,所述装置包括:
获取模块,用于获取待分割图像;
第一确定模块,用于所述待分割图像输入预设感兴趣区域识别网络,确定感兴趣区域,所述感兴趣区域仅包含一个完整细胞;
第二确定模块,用于根据所述感兴趣区域,进行图像裁剪,确定感兴趣图像;
第三确定模块,用于所述感兴趣图像输入预设对抗生成网络,确定细胞边界;
第四确定模块,用于根据所述细胞边界,进行轮廓查找及提取,确定所述待分割图像中每个细胞的分割图像。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的细胞图像分割方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的细胞图像分割方法。
CN202111554024.8A 2021-12-17 2021-12-17 一种细胞图像分割方法、装置、电子设备及存储介质 Pending CN114332112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111554024.8A CN114332112A (zh) 2021-12-17 2021-12-17 一种细胞图像分割方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111554024.8A CN114332112A (zh) 2021-12-17 2021-12-17 一种细胞图像分割方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114332112A true CN114332112A (zh) 2022-04-12

Family

ID=81052091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111554024.8A Pending CN114332112A (zh) 2021-12-17 2021-12-17 一种细胞图像分割方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114332112A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471803A (zh) * 2022-08-31 2022-12-13 北京四维远见信息技术有限公司 交通标识线的提取方法、装置、设备和可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115471803A (zh) * 2022-08-31 2022-12-13 北京四维远见信息技术有限公司 交通标识线的提取方法、装置、设备和可读存储介质
CN115471803B (zh) * 2022-08-31 2024-01-26 北京四维远见信息技术有限公司 交通标识线的提取方法、装置、设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN112396002B (zh) 一种基于SE-YOLOv3的轻量级遥感目标检测方法
CN109902677B (zh) 一种基于深度学习的车辆检测方法
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN112800964B (zh) 基于多模块融合的遥感影像目标检测方法及系统
CN112215128B (zh) 融合fcos的r-cnn城市道路环境识别方法及装置
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111091123A (zh) 文本区域检测方法及设备
CN111898668A (zh) 一种基于深度学习的小目标物体检测方法
CN111524145A (zh) 图片智能裁剪方法、系统、计算机设备及存储介质
RU2697649C1 (ru) Способы и системы сегментации документа
CN109858547A (zh) 一种基于bssd的目标检测方法与装置
CN111274981B (zh) 目标检测网络构建方法及装置、目标检测方法
CN111126278A (zh) 针对少类别场景的目标检测模型优化与加速的方法
WO2023116632A1 (zh) 基于时空记忆信息的视频实例分割方法和分割装置
CN113140005A (zh) 目标对象定位方法、装置、设备及存储介质
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN112348028A (zh) 一种场景文本检测方法、批改方法、装置、电子设备及介质
CN115631344A (zh) 一种基于特征自适应聚合的目标检测方法
CN116229112A (zh) 一种基于多重注意力的孪生网络目标跟踪方法
CN114332112A (zh) 一种细胞图像分割方法、装置、电子设备及存储介质
CN113610178A (zh) 一种基于视频监控图像的内河船舶目标检测方法和装置
CN113888586A (zh) 一种基于相关滤波的目标跟踪方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN111027551B (zh) 图像处理方法、设备和介质
CN116612450A (zh) 一种面向点云场景的差异化知识蒸馏3d目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination