CN109614921A - 一种基于对抗生成网络的半监督学习的细胞分割方法 - Google Patents

一种基于对抗生成网络的半监督学习的细胞分割方法 Download PDF

Info

Publication number
CN109614921A
CN109614921A CN201811491815.9A CN201811491815A CN109614921A CN 109614921 A CN109614921 A CN 109614921A CN 201811491815 A CN201811491815 A CN 201811491815A CN 109614921 A CN109614921 A CN 109614921A
Authority
CN
China
Prior art keywords
mark
cell image
segmentation
network
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811491815.9A
Other languages
English (en)
Other versions
CN109614921B (zh
Inventor
李腾
胡传锐
王妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201811491815.9A priority Critical patent/CN109614921B/zh
Publication of CN109614921A publication Critical patent/CN109614921A/zh
Application granted granted Critical
Publication of CN109614921B publication Critical patent/CN109614921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于对抗生成网络的半监督学习的细胞分割方法,包括以下步骤:收集细胞分割数据,对数据进行预处理和增强,分成训练集和测试集图片。以半监督学习为出发点,设计了新的对抗生成网络。该网络相对于之前的对抗生成网络将生成器换成了小参数量的全卷积分割网络,用于对输入图片输出一个概率图。对于没有标签的细胞图片,我们用半监督的方法训练分割网络,从分割网络中获取未标记图像的初始分割预测后,通过判别网络对分割预测概率图进行传递,得到一个置信图。利用这个置信图作为监督信号,使用了一个自学机制来训练分割网络,置信图表示了预测分割的质量。通过本发明设计的卷积神经网络提高细胞分割准确率。

Description

一种基于对抗生成网络的半监督学习的细胞分割方法
技术领域
本发明涉及生物医学图像处理和计算机应用领域,尤其涉及一种基于对抗生成网络的半监督学习的细胞分割方法。
背景技术
细胞分割是细胞运动研究和细胞形态的最重要的步骤,从医学图像中分割出精准的细胞是目前具有挑战性的课题。随着互联网科技的快速发展,传统的研究方法已经变得不怎么适用了,传统的再显微镜下利用人眼进行细胞染色、分类、计数等这类需要大量繁琐的人为操作,且其可重用性比较低。
在机器视觉的研究中,基于深度学习的分割方法已经可以有效地去解决一些物体分割的问题。但是最重要的先决条件就是需要大量的人工标注好的医学图像,这个需要耗费大量的人力和时间。于此同时,现有的深度学习的分割算法对于医学图像的研究并不是太深入。因此基于深度学习的细胞分割方法不能应对当前的医学图像处理的要求而且现有的深度学习算法依赖于大量的人工标注的图片,这在医学图像领域将是一个很难满足的要求。
细胞分割技术主要包含两个难点:其一,细胞分割的准确率;其二,基于深度学习的细胞分割方法需要耗费大量标注的细胞图片。
目前,现有技术之一通过使用组合图像分割算法和阈值分割来提取前景对象并转化为二值图像来解决上述技术问题。
但是,现有技术一存在以下缺点:最简单形式的阈值法只产生二值图像来区分两个类,而且它只考虑像素本身,不考虑图像的空间特性,这样就对噪声很敏感。
现有技术之二通过收集大量的细胞数据并通过人类医学专家进行标注,设计一种卷积神经去络去训练模型来解决上述技术问题。
但是,现有技术二的缺点:收集大量的细胞数据进行标注时候,只能通过专业的医学专家,人工标注的时间开销太大;现有的神经网络结构不能很好的去分割医学图像。
发明内容
本发明所要解决的技术问题在于提供了一种通过对抗生成网络的的方法来解决基于深度学习的细胞分割方法中依赖大量人工标注数据的方法,并提高细胞分割准确率的方法。
本发明是通过一下技术方案解决上述技术问题的:一种基于对抗生成网络的半监督学习的细胞分割方法,包括以下步骤:
步骤一、收集细胞图像,将所述细胞图像分成训练集和验证集两部分,其中,所述训练集中的部分细胞图像均为预先标注的细胞图像的标注图,训练集中余下的细胞图像为非标注的细胞图像;所述验证集中的细胞图像均为预先标注的验证细胞图;
步骤二、利用所述预先标注的细胞图像的标注图输入至分割网络,输出得到初代标注的细胞图像的分割概率图;
当将所述初代标注的细胞图像的分割概率图和其原始图片对应的预先标注的细胞图像的标注图输入至判断网络中,输出得到初代标注的细胞图像置信图、初代细胞图像标注图的置信图;
进行多次迭代,直至所述分割网络损失值收敛;
步骤三、将所述非标注的细胞图像输入至所述分割网络中,并输出得到初始分割概率图;
步骤四、将所述初始分割概率图输入至所述判断网络中,输出得到初始非标注的细胞图像置信图;
步骤五、当所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定值时,非标注的细胞图像和预先标注的细胞图像的标注图输入所述分割网络中再次进行训练;多次迭代,分割网络损失值收敛,完成所述分割网络的训练;
步骤六、使用所述的预先标注的验证细胞图验证步骤五训练后的分割网络。
优选地,所述细胞图像进行标注具体为将细胞图像标注为二值掩码图。
优选地,对所述细胞图像进行增强处理。
优选地,所述数据增强处理包括颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声操作的一种或几种。
优选地,所述步骤二包括:
将所述预先标注的细胞图像的标注图输入至分割网络中进行当前次迭代,所述分割网络在当前次迭代的多任务损失Lseg如下,
Lseg=LceadvLadv
标准的交叉熵损失函数Lce如下:
其中,Pn (h,w,2)表示第n张初代标注的细胞图像的分割概率图,(h,w,2)分别代表该初代标注的细胞图像的分割概率图的高、宽、通道数;表示的第n张预先标注的细胞图像的标注图的二值掩码图,(h,w,2)分别代表该预先标注的细胞图像的标注图的二值掩码图的高、宽、通道数;
对抗损失函数Ladv如下:
其中,D(Pn)(h,w,1)表示第n张初代标注的细胞图像置信图,Pn表示输入的第n张初代标注的细胞图像的分割概率图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽;
当所述分割网络在当前次迭代的多任务损失不小于第一预设阈值时,调整所述分割网络的参数,继续进行迭代训练;当所述分割网络当前次迭代的多任务损失小于第一预设阈值时,判定所述分割网络损失值收敛。
优选地,所述步骤二中,辨别网络的损失函数LD如下:
其中,yn表示输入图像的来源,当yn=0的时候,表示输入图像来自于初代标注的细胞图像的分割概率图,即Pn;当yn=1的时候,表示输入图像来自于预先标注的细胞图像的标注图的二值掩码图,即Yn;D(Pn)(h,w,1)表示第n张初代标注的细胞图像的分割概率图经过所述判别网络输出的初代标注的细胞图像置信图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;D(Yn)(h,w,1)表示第n张预先标注的细胞图像的标注图的二值掩码图经过所述判别网络输出得到的初代细胞图像标注图其二值掩码图的置信图,(h,w,1)分别代表该初代细胞图像标注图其二值掩码图的置信图的高、宽、通道数。
优选地,所述步骤五中,所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定值,引入半监督学习损失,损失函数Lsemi如下:
其中,Tsemi表示阈值,D(Pn)(h,w,1)表示初始非标注的细胞图像置信图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数,Pn表示第n张初代非标注细胞图像的分割概率图;I(·)表示激活单元,表示第n张非标注的细胞图像的二值掩码图,(h,w,2)分别代表的是第n张非标注的细胞图像的二值掩码图的高、宽、通道数。
优选地,所述步骤五中,非标注的细胞图像和预先标注的细胞图像输入分割网络时候,采用多任务损失Lseg优化所述分割网络;
损失函数Lseg如下:
Lseg=LceadvLadvsemiLsemi
标准的交叉熵损失函数Lce如下:
其中,Pn (h,w,2)表示第n张初代标注的细胞图像的分割概率图,(h,w,2)分别代表该初代标注的细胞图像的分割概率图的高、宽、通道数;表示的第n张预先标注的细胞图像的标注图的二值掩码图,(h,w,2)分别代表该预先标注的细胞图像的标注图的二值掩码图的高、宽、通道数;
对抗损失函数Ladv如下:
当训练图片来自于标注细胞图片,其中,D(Pn)(h,w,1)表示第n张标注的细胞图像置信图,Pn表示输入的第n张标注的细胞图像的初始分割概率图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽;当训练图片来自于非标注细胞图片,其中,D(Pn)(h,w,1)表示第n张非标注的细胞图像置信图,Pn表示输入的第n张非标注的细胞图像初始分割概率图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽
λadv,λsemi分别表示各自损失的权重,用来平衡多任务学习;
当所述分割网络在当前次迭代的多任务损失不小于第三预设阈值时,调整所述分割网络的参数,继续进行迭代训练;当所述分割网络当前次迭代的多任务损失小于第三预设阈值时,判定所述分割网络收敛。
优选地,所述分割网络基于卷积神经网络,包括一个5*5卷积层、两个3*3卷积层、两个最大池化层、三个1*1卷积层、三个拼接层、两个反卷积层;其中,两个3*3卷积层为第一3*3卷积层、第二3*3卷积层;两个最大池化层为第一最大池化层、第二最大池化层;三个1*1卷积层为第一1*1卷积层、第二1*1卷积层、第三1*1卷积层;三个拼接层为第一拼接层、第二拼接层、第三拼接层;两个反卷积层为第一反卷积层、第二反卷积层;
输入的图像依次输入到5*5卷积层、第一最大池化层、第一3*3卷积层、第二最大池化层、第二3*3卷积层;
第二最大池化层输出特征图和第二3*3卷积层输出特征图输入到第一拼接层;
第一拼接层输出特征图依次输入到第一1*1卷积层、第一反卷积层;
第一反卷积层的输出特征图和第一最大池化层的输出特征图输入到第二拼接层;
第二拼接层的输出特征图依次输入到第二1*1卷积层、第二反卷积层;
第二反卷积层的输出特征图和原图输入到第三拼接层,第三拼接层的输出特征图输入到第三1*1卷积层。
优选地,所述判断网络基于卷积神经网络,包含了五个4*4的卷积层和一个反卷积层;五个4*4的卷积层为第一4*4的卷积层其通道数是64、第二4*4的卷积层其通道数是128、第三4*4的卷积层其通道数是256、第四4*4的卷积层其通道数是512、第五4*4的卷积层其通道数是1、反卷积层;
输入图片经过第一4*4卷积层后,依次经过第二4*4的卷积层、第三4*4的卷积层、第四4*4的卷积层、第五4*4的卷积层,最后一层卷积层输出的特征图接上反卷积层。
本发明的优点在于:
其一,通过特征融合的分割网络结构:通过特征融合的分割网络结构,整个的特征提取融合了高层和底层的特征,有利于网络学习更具广泛性的的细胞特征。
其二,通过对抗生成网络的半监督学习模块:基于卷积神经网络的细胞分割准确率较高,但是训练神经网络模型的时候依赖大量的医学专家的标注图片。所以为了解决这些问题,设计了针对细胞分割的对抗生成网络模块,与之前的对抗生成网络中辨别器模块的不同的是,辨别器输出的不在是一个表示真假的得分数值,而是对于未标注的图片经过辨别器将生成一个置信图,利用这个置信图,使用一个自学机制来的监督信息来训练分割网络。有效的简化了人类医学专家的标注操作,提高了模型的识别准确率。
附图说明
图1为本发明基于对抗生成网络的半监督学习的细胞分割方法中分割网络的卷积神经网络图。
图2为本发明基于对抗生成网络的半监督学习的细胞分割方法中判断网络的卷积神经网络图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
本实施例公开一种基于对抗生成网络的半监督学习的细胞分割方法,包括以下步骤:
步骤一、收集细胞图像,将所述细胞图像分成训练集和验证集两部分,其中,所述训练集中的部分细胞图像均为预先标注的细胞图像的标注图,训练集中余下的细胞图像为非标注的细胞图像;所述验证集中的细胞图像均为预先标注的验证细胞图;所述细胞图像进行标注具体为将细胞图像标注为二值掩码图。
优选地:对所述细胞图像进行增强处理。
优选地:所述数据增强处理包括颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声操作的一种或几种。
步骤二、利用所述预先标注的细胞图像的标注图输入至分割网络,输出得到初代标注的细胞图像的分割概率图;
当将所述初代标注的细胞图像的分割概率图和其原始图片对应的预先标注的细胞图像的标注图输入至判断网络中,输出得到初代标注的细胞图像置信图、初代细胞图像标注图的置信图;
预先标注的细胞图像的标注图输入至分割网络,输出的初代标注的细胞图像的分割概率图以及与对应的预先标注的细胞图像的标注图输入至判断网络并输出后,完成一次迭代,进行多次迭代,直至所述分割网络损失值收敛;
将所述预先标注的细胞图像的标注图输入至分割网络中进行当前次迭代,所述分割网络在当前次迭代的多任务损失Lseg如下,
Lseg=LceadvLadv
标准的交叉熵损失函数Lce如下:
其中,Pn (h,w,2)表示第n张初代标注的细胞图像的分割概率图,(h,w,2)分别代表该初代标注的细胞图像的分割概率图的高、宽、通道数;表示的第n张预先标注的细胞图像的标注图的二值掩码图,(h,w,2)分别代表该预先标注的细胞图像的标注图的二值掩码图的高、宽、通道数;
对抗损失函数Ladv如下:
其中,D(Pn)(h,w,1)表示第n张初代标注的细胞图像置信图,Pn表示输入的第n张初代标注的细胞图像的分割概率图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽;
当所述分割网络在当前次迭代的多任务损失不小于第一预设阈值(0.05)时,调整所述分割网络的参数,继续进行迭代训练;当所述分割网络当前次迭代的多任务损失小于第一预设阈值(0.05)时,判定所述分割网络更新,即损失值收敛。
辨别网络的损失函数LD如下:
其中,yn表示输入图像的来源,当yn=0的时候,表示输入图像来自于初代标注的细胞图像的分割概率图,即Pn;当yn=1的时候,表示输入图像来自于预先标注的细胞图像的标注图其二值掩码图,即Yn;D(Pn)(h,w,1)表示第n张初代标注的细胞图像的分割概率图经过所述判别网络输出的初代标注的细胞图像置信图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;D(Yn)(h,w,1)表示第n张预先标注的细胞图像的二值掩码图经过所述判别网络输出得到的初代细胞图像标注图其二值掩码图的置信图,(h,w,1)分别代表该初代细胞图像标注图其二值掩码图的置信图的高、宽、通道数。当LD小于0.01的时候,判别网络收敛。判别网络一直训练,当训练集包含有标注图片的时候,判别网络就更新参数。
步骤三、将所述非标注的细胞图像输入至所述分割网络中,即步骤二更新收敛后的分割网络,并输出得到初始分割概率图;
步骤四、将所述初始分割概率图输入至所述判断网络中,即收敛的判别网络,输出得到初始非标注的细胞图像置信图;
步骤五、当所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定阈值设定值(0.3)时,该初始非标注的细胞图像置信图对应的非标注的细胞图像和预先标注的细胞图像的标注图输入所述分割网络中再次进行训练;多次迭代,分割网络损失值收敛,完成所述分割网络的训练;
所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定值,引入半监督学习损失,损失函数Lsemi如下:
其中,Tsemi表示阈值,D(Pn)(h,w,1)表示初始非标注的细胞图像置信图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数,Pn表示第n张初代标注的细胞图像的分割概率图;I(·)表示激活单元,表示第n张非标注的细胞图像的二值掩码图,(h,w,2)分别代表的是第n张非标注的细胞图像的二值掩码图的高、宽、通道数。
采用多任务损失Lseg优化所述分割网络;
损失函数Lseg如下:
Lseg=LceadvLadvsemiLsemi
分割网络损失值小于0.05,完成分割网络训练。
本发明实施例中的λadv,λsemi分别表示各自损失的权重,用来平衡多任务学习,分别取值为0.01、0.1。
优选地,当辨别器网络损失值小于0.05,完成判别网络训练。此时也是有判别网络的参数更新的,此时联合预先标注的细胞图像的标注图重复步骤二中的判别网络训练。
步骤六、使用所述的预先标注的验证细胞图验证步骤五训练后的分割网络。
如图1所示,本发明实施例中的所述分割网络基于卷积神经网络,包括一个5*5卷积层11、两个3*3卷积层、两个最大池化层、三个1*1卷积层、三个拼接层、两个反卷积层;其中,两个3*3卷积层为第一3*3卷积层13、第二3*3卷积层15;两个最大池化层为第一最大池化层12、第二最大池化层14;三个1*1卷积层为第一1*1卷积层16、第二1*1卷积层18、第三1*1卷积层101;三个拼接层为第一拼接层102、第二拼接层103、第三拼接层104;两个反卷积层为第一反卷积层17、第二反卷积层19;
原图输入的图像依次输入到5*5卷积层11、第一最大池化层12、第一3*3卷积层13、第二最大池化层14、第二3*3卷积层15;
第二最大池化层14输出特征图和第二3*3卷积层15输出特征图输入到第一拼接层102;
第一拼接层102输出特征图依次输入到第一1*1卷积层16、第一反卷积层17;
第一反卷积层17的输出特征图和第一最大池化层12的输出特征图输入到第二拼接层103;
第二拼接层103的输出特征图依次输入到第二1*1卷积层18、第二反卷积层19;
第二反卷积层19的输出特征图和原图输入到第三拼接层104,第三拼接层104的输出特征图输入到第三1*1卷积层101。
如图2所示,本发明实施例中的所述判断网络基于卷积神经网络,包含了五个4*4的卷积层和一个反卷积层;五个4*4的卷积层为第一4*4的卷积层301其通道数是64、第二4*4的卷积层302其通道数是128、第三4*4的卷积层303其通道数是256、第四4*4的卷积层304其通道数是512、第五4*4的卷积层305其通道数是1、反卷积层306,每个卷积层后面均接有Leaky-ReLU层;
输入图片经过第一4*4卷积层301后,依次经过第二4*4的卷积层302、第三4*4的卷积层303、第四4*4的卷积层304、第五4*4的卷积层305,最后一层卷积层输出的特征图接上反卷积层306。
当然作为现有技术的基于卷积神经网络,本发明实施例只是提供了一种分割网络、判断网络,但是其他现有技术基于卷积神经网络构建的分割网络、判断网络也都应该在本发明的保护范围内。
综上所示,本发明通过收集细胞分割数据,对数据进行预处理和增强,分成训练集和测试集图片。以半监督学习为出发点,设计了新的对抗生成网络。该网络相对于之前的对抗生成网络将生成器换成了小参数量的全卷积分割网络,用于对输入图片输出一个概率图。对于没有标签的细胞图片,我们用半监督的方法训练分割网络,从分割网络中获取未标记图像的出事分割预测后,通过判别网络对分割预测概率图进行传递,得到一个置信图。利用这个置信图作为监督信号,使用了一个自学机制来训练分割网络,置信图表示了预测分割的质量。
需要说明的是,在本文中,如若存在第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:包括以下步骤:
步骤一、收集细胞图像,将所述细胞图像分成训练集和验证集两部分,其中,所述训练集中的部分细胞图像均为预先标注的细胞图像的标注图,训练集中余下的细胞图像为非标注的细胞图像;所述验证集中的细胞图像均为预先标注的验证细胞图;
步骤二、利用所述预先标注的细胞图像的标注图输入至分割网络,输出得到初代标注的细胞图像的分割概率图;
当将所述初代标注的细胞图像的分割概率图和其原始图片对应的预先标注的细胞图像的标注图输入至判断网络中,输出得到初代标注的细胞图像置信图、初代细胞图像标注图的置信图;
进行多次迭代,直至所述分割网络损失值收敛;
步骤三、将所述非标注的细胞图像输入至所述分割网络中,并输出得到初始分割概率图;
步骤四、将所述初始分割概率图输入至所述判断网络中,输出得到初始非标注的细胞图像置信图;
步骤五、当所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定值时,非标注的细胞图像和预先标注的细胞图像的标注图输入所述分割网络中再次进行训练;多次迭代,分割网络损失值收敛,完成所述分割网络的训练;
步骤六、使用所述的预先标注的验证细胞图验证步骤五训练后的分割网络。
2.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述细胞图像进行标注具体为将细胞图像标注为二值掩码图。
3.根据权利要求1-2任一项所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:对所述细胞图像进行增强处理。
4.根据权利要求3所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述数据增强处理包括颜色直方图均衡化、水平镜像翻转、高斯模糊、添加随机噪声操作的一种或几种。
5.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述步骤二包括:
将所述预先标注的细胞图像的标注图输入至分割网络中进行当前次迭代,所述分割网络在当前次迭代的多任务损失Lseg如下,
Lseg=LceadvLadv
标准的交叉熵损失函数Lce如下:
其中,Pn (h,w,2)表示第n张初代标注的细胞图像的分割概率图,(h,w,2)分别代表该初代标注的细胞图像的分割概率图的高、宽、通道数;表示的第n张预先标注的细胞图像的标注图的二值掩码图,(h,w,2)分别代表该预先标注的细胞图像的标注图的二值掩码图的高、宽、通道数;
对抗损失函数Ladv如下:
其中,D(Pn)(h,w,1)表示第n张初代标注的细胞图像置信图,Pn表示输入的第n张初代标注的细胞图像的分割概率图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽;
当所述分割网络在当前次迭代的多任务损失不小于第一预设阈值时,调整所述分割网络的参数,继续进行迭代训练;当所述分割网络当前次迭代的多任务损失小于第一预设阈值时,判定所述分割网络损失值收敛。
6.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述步骤二中,辨别网络的损失函数LD如下:
其中,yn表示输入图像的来源,当yn=0的时候,表示输入图像来自于初代标注的细胞图像的分割概率图,即Pn;当yn=1的时候,表示输入图像来自于预先标注的细胞图像的标注图的二值掩码图,即Yn;D(Pn)(h,w,1)表示第n张初代标注的细胞图像的分割概率图经过所述判别网络输出的初代标注的细胞图像置信图,(h,w,1)分别代表该初代标注的细胞图像置信图的高、宽、通道数;D(Yn)(h,w,1)表示第n张预先标注的细胞图像的标注图的二值掩码图经过所述判别网络输出得到的初代细胞图像标注图其二值掩码图的置信图,(h,w,1)分别代表该初代细胞图像标注图其二值掩码图的置信图的高、宽、通道数。
7.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述步骤五中,所述初始非标注的细胞图像置信图在当前次迭代的阈值大于设定值,引入半监督学习损失,损失函数Lsemi如下:
其中,Tsemi表示阈值,D(Pn)(h,w,1)表示初始非标注的细胞图像置信图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数,Pn表示第n张初代非标注细胞图像的分割概率图;I(·)表示激活单元,表示第n张非标注的细胞图像的二值掩码图,(h,w,2)分别代表的是第n张非标注的细胞图像的二值掩码图的高、宽、通道数。
8.根据权利要求7所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述步骤五中,非标注的细胞图像和预先标注的细胞图像输入分割网络时候,采用多任务损失Lseg优化所述分割网络;
损失函数Lseg如下:
Lseg=LceadvLadvsemiLsemi
标准的交叉熵损失函数Lce如下:
其中,Pn (h,w,2)表示第n张初代标注的细胞图像的分割概率图,(h,w,2)分别代表该初代标注的细胞图像的分割概率图的高、宽、通道数;表示的第n张预先标注的细胞图像的标注图的二值掩码图,(h,w,2)分别代表该预先标注的细胞图像的标注图的二值掩码图的高、宽、通道数;
对抗损失函数Ladv如下:
当训练图片来自于标注细胞图片,其中,D(Pn)(h,w,1)表示第n张标注的细胞图像置信图,Pn表示输入的第n张标注的细胞图像的初始分割概率图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽;当训练图片来自于非标注细胞图片,其中,D(Pn)(h,w,1)表示第n张非标注的细胞图像置信图,Pn表示输入的第n张非标注的细胞图像初始分割概率图,(h,w,1)分别代表该细胞图像置信图的高、宽、通道数;h、w分别代表该图像的高和宽
λadv,λsemi分别表示各自损失的权重,用来平衡多任务学习;
当所述分割网络在当前次迭代的多任务损失不小于第三预设阈值时,调整所述分割网络的参数,继续进行迭代训练;当所述分割网络当前次迭代的多任务损失小于第三预设阈值时,判定所述分割网络收敛。
9.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述分割网络基于卷积神经网络,包括一个5*5卷积层、两个3*3卷积层、两个最大池化层、三个1*1卷积层、三个拼接层、两个反卷积层;其中,两个3*3卷积层为第一3*3卷积层、第二3*3卷积层;两个最大池化层为第一最大池化层、第二最大池化层;三个1*1卷积层为第一1*1卷积层、第二1*1卷积层、第三1*1卷积层;三个拼接层为第一拼接层、第二拼接层、第三拼接层;两个反卷积层为第一反卷积层、第二反卷积层;
输入的图像依次输入到5*5卷积层、第一最大池化层、第一3*3卷积层、第二最大池化层、第二3*3卷积层;
第二最大池化层输出特征图和第二3*3卷积层输出特征图输入到第一拼接层;
第一拼接层输出特征图依次输入到第一1*1卷积层、第一反卷积层;
第一反卷积层的输出特征图和第一最大池化层的输出特征图输入到第二拼接层;
第二拼接层的输出特征图依次输入到第二1*1卷积层、第二反卷积层;
第二反卷积层的输出特征图和原图输入到第三拼接层,第三拼接层的输出特征图输入到第三1*1卷积层。
10.根据权利要求1所述的基于对抗生成网络的半监督学习的细胞分割方法,其特征在于:所述判断网络基于卷积神经网络,包含了五个4*4的卷积层和一个反卷积层;五个4*4的卷积层为第一4*4的卷积层其通道数是64、第二4*4的卷积层其通道数是128、第三4*4的卷积层其通道数是256、第四4*4的卷积层其通道数是512、第五4*4的卷积层其通道数是1、反卷积层;
输入图片经过第一4*4卷积层后,依次经过第二4*4的卷积层、第三4*4的卷积层、第四4*4的卷积层、第五4*4的卷积层,最后一层卷积层输出的特征图接上反卷积层。
CN201811491815.9A 2018-12-07 2018-12-07 一种基于对抗生成网络的半监督学习的细胞分割方法 Active CN109614921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811491815.9A CN109614921B (zh) 2018-12-07 2018-12-07 一种基于对抗生成网络的半监督学习的细胞分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811491815.9A CN109614921B (zh) 2018-12-07 2018-12-07 一种基于对抗生成网络的半监督学习的细胞分割方法

Publications (2)

Publication Number Publication Date
CN109614921A true CN109614921A (zh) 2019-04-12
CN109614921B CN109614921B (zh) 2022-09-30

Family

ID=66007851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811491815.9A Active CN109614921B (zh) 2018-12-07 2018-12-07 一种基于对抗生成网络的半监督学习的细胞分割方法

Country Status (1)

Country Link
CN (1) CN109614921B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN110910388A (zh) * 2019-10-23 2020-03-24 浙江工业大学 一种基于U-Net和密度估计的癌细胞图像分割方法
CN110992334A (zh) * 2019-11-29 2020-04-10 深圳易嘉恩科技有限公司 用于dcgan网络生成图像的质量评估方法
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111507993A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种基于生成对抗网络的图像分割方法、装置及存储介质
CN112102323A (zh) * 2020-09-17 2020-12-18 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
WO2021233017A1 (zh) * 2020-05-18 2021-11-25 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质
US11210494B2 (en) * 2018-10-23 2021-12-28 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
WO2022178949A1 (zh) * 2021-02-26 2022-09-01 平安科技(深圳)有限公司 电子显微断层数据的语义分割方法、装置、设备及介质
CN115359073A (zh) * 2022-10-17 2022-11-18 湖南自兴智慧医疗科技有限公司 基于对抗生成网络的染色体拓扑结构分割方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108615236A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种图像处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2948499A1 (en) * 2016-11-16 2018-05-16 The Governing Council Of The University Of Toronto System and method for classifying and segmenting microscopy images with deep multiple instance learning
CN108549895A (zh) * 2018-04-17 2018-09-18 深圳市唯特视科技有限公司 一种基于对抗网络的半监督语义分割方法
CN108615236A (zh) * 2018-05-08 2018-10-02 上海商汤智能科技有限公司 一种图像处理方法及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑宝玉等: "基于深度卷积神经网络的弱监督图像语义分割", 《南京邮电大学学报(自然科学版)》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210494B2 (en) * 2018-10-23 2021-12-28 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110443815B (zh) * 2019-08-07 2023-04-21 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110910388A (zh) * 2019-10-23 2020-03-24 浙江工业大学 一种基于U-Net和密度估计的癌细胞图像分割方法
CN110837836A (zh) * 2019-11-05 2020-02-25 中国科学技术大学 基于最大化置信度的半监督语义分割方法
CN110992334B (zh) * 2019-11-29 2023-04-07 四川虹微技术有限公司 用于dcgan网络生成图像的质量评估方法
CN110992334A (zh) * 2019-11-29 2020-04-10 深圳易嘉恩科技有限公司 用于dcgan网络生成图像的质量评估方法
CN111402268A (zh) * 2020-03-16 2020-07-10 苏州科技大学 一种医学图像中肝脏及其病灶分割的方法
CN111507993A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种基于生成对抗网络的图像分割方法、装置及存储介质
WO2021233017A1 (zh) * 2020-05-18 2021-11-25 腾讯科技(深圳)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112102323A (zh) * 2020-09-17 2020-12-18 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
CN112102323B (zh) * 2020-09-17 2023-07-07 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
WO2022178949A1 (zh) * 2021-02-26 2022-09-01 平安科技(深圳)有限公司 电子显微断层数据的语义分割方法、装置、设备及介质
CN115359073A (zh) * 2022-10-17 2022-11-18 湖南自兴智慧医疗科技有限公司 基于对抗生成网络的染色体拓扑结构分割方法及装置

Also Published As

Publication number Publication date
CN109614921B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN109614921A (zh) 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109815801A (zh) 基于深度学习的人脸识别方法及装置
CN107451607B (zh) 一种基于深度学习的典型人物的身份识别方法
CN108052984B (zh) 计数方法及装置
CN106096605B (zh) 一种基于深度学习的图像模糊区域检测方法及装置
CN108182454A (zh) 安检识别系统及其控制方法
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN109919013A (zh) 视频图像中基于深度学习的人脸检测方法及装置
CN107330453A (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN108961245A (zh) 基于双通道深度并行卷积网络的图像质量分类方法
CN107742107A (zh) 人脸图像分类方法、装置及服务器
CN109815874A (zh) 一种人员身份识别方法、装置、设备及可读存储介质
CN107392118A (zh) 基于多任务对抗生成网络的强化人脸属性识别方法及系统
CN106897738A (zh) 一种基于半监督学习的行人检测方法
CN105426908B (zh) 一种基于卷积神经网络的变电站属性分类方法
CN107451994A (zh) 基于生成对抗网络的物体检测方法及装置
CN108961675A (zh) 基于卷积神经网络的跌倒检测方法
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN108090070A (zh) 一种中文实体属性抽取方法
CN104992454B (zh) 一种区域化自动变类的图像分割方法
CN107330455A (zh) 图像评价方法
CN107967463A (zh) 一种基于合成图像和深度学习的虚拟人脸识别方法
CN107945210A (zh) 基于深度学习和环境自适应的目标跟踪算法
CN109359527A (zh) 基于神经网络的头发区域提取方法及系统
CN110956158A (zh) 一种基于教师学生学习框架的遮挡行人再标识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant