CN112102323B - 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 - Google Patents

基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 Download PDF

Info

Publication number
CN112102323B
CN112102323B CN202010977371.0A CN202010977371A CN112102323B CN 112102323 B CN112102323 B CN 112102323B CN 202010977371 A CN202010977371 A CN 202010977371A CN 112102323 B CN112102323 B CN 112102323B
Authority
CN
China
Prior art keywords
caps
network
training
unet
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010977371.0A
Other languages
English (en)
Other versions
CN112102323A (zh
Inventor
陈昱莅
李雪
陆铖
马苗
裴炤
贾宇航
任敬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010977371.0A priority Critical patent/CN112102323B/zh
Publication of CN112102323A publication Critical patent/CN112102323A/zh
Application granted granted Critical
Publication of CN112102323B publication Critical patent/CN112102323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于生成对抗网络和Caps‑Unet网络的粘连细胞核分割方法，由有标签数据集A归一化预处理、构建生成对抗网络、训练生成对抗网络、检测无标签数据集B并生成对应标签、数据集B预处理、构建Caps‑Unet网络、训练Caps‑Unet网络、用Caps‑Unet网络分割粘连细胞核步骤组成。本发明采用生成对抗网络和Caps‑Unet网络相结合，在图像中标签标记不足的情况下，解决了图像数据集标注又难又少的技术问题，图像中的密集粘连细胞核分割检测的技术问题，可以生成图像的标签，能够对细胞数量进行精准地统计，与现有技术相比，本发明方法具有检测细胞核区域准确、分割粘连细胞核精度高、分割检测速度快等优点，可用于深度学习方法自动检测细胞核以及分割密集粘连细胞核。

Description

基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
技术领域
本发明属于图像处理技术领域，具体涉及到图像粘连细胞核的分割。
背景技术
图像分割是数字图像处理领域中的关键技术之一，它是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。计算机视觉或机器视觉迅速发展，图像处理技术的应用与推广，使得生活中各行各业都受益匪浅。计算机视觉实际上就是图像处理加图像识别，要求采用十分复杂的处理技术，需要设计高速的专用硬件。利用深度学习处理某些任务更简单，效果更好。
目前在图像分割中已研究出不少对密集粘连细胞核分割检测的深度学习的方法，比如生成对抗网络，U-Net网络，对U-Net网络改进的各种方法。生成对抗网络对密集粘连细胞核的分割检测效果不明显，而且十分的不稳定；U-Net网络对于普通细胞的分割检测效果明显，但是对密集粘连细胞核的分割效果很差；对U-Net网络改进的方法比如Caps-Unet网络，对于密集粘连细胞核的分割检测精度较之U-Net网络精度高，但也没有达到一定的要求。
发明内容
本发明所要解决的技术问题在于上述现有技术的缺点，提供一种检测细胞核区域准确、分割粘连细胞核精度高、分割检测速度快的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)有标签数据集A归一化预处理
取原始数据集图片1384张，有标签数据集A图片1000张，无标签数据集B图片384张，图片大小为2000×2000像素。
(a)将有标签数据集A像素值归一化到[-1,1]，切分成尺寸为256×256像素的图片。
(b)将切分后有标签数据集A按3：1：1的比例分为训练集、验证集、测试集。
(2)构建生成对抗网络
采用常规的Pixel2Piexl方法构建成生成对抗网络。
(3)训练生成对抗网络
(a)训练生成对抗网络的生成器
生成对抗网络生成器的输入为有标签数据集A的图像，输出为假细胞区域图，开始训练生成对抗网络生成器，迭代M次，M为至少400的正整数，前
Figure GDA0004168367940000021
次的学习率为α，α的取值为0＜α＜0.01，后/>
Figure GDA0004168367940000022
次的学习率线性衰减。
(b)训练生成对抗网络的判别器
将生成对抗网络生成器输出的假细胞区域图与相对应的标签作为生成对抗网络判别器的输入，判别器鉴别生成器输出的假图像是否为真实图像，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前
Figure GDA0004168367940000023
次的学习率为β，β的取值为0＜β＜0.001，后/>
Figure GDA0004168367940000024
次的学习率线性衰减。
(c)交替训练判别器与生成器
交替训练判别器与生成器，直至经判别器鉴定生成器产生的假图像是真图像的概率为0.5时，训练结束，得到生成对抗网络生成器的模型和判别器的模型。
(d)保存模型
保存生成对抗网络生成器的模型作为检测无标签数据集B中图像的模型。
(4)检测无标签数据集B并生成对应标签
(a)检测无标签数据集B
用训练得到的生成对抗网络模型检测无标签数据集B的细胞核，输入模型所在路径、图像大小、原始图像夹路径、输出结果存放路径、起始的子文件夹序号、终止的子文件夹序号参数；数据集B里只有原始的图像没有标签，使用训练好的生成对抗网络的生成器模型去检测无标签数据集B图像，得到初步的细胞核检测结果。
(b)生成无标签数据集B的标签
上述步骤得到的细胞核检测结果作为无标签数据集B的初步标签图像，初步的标签图像为二值图。
(5)数据集B预处理
(a)用分水岭算法预处理初步标签
用分水岭算法将初步标签二值图中距离相近并且灰度值差异小的像素点互相连接起来，构成封闭的轮廓，将粘连细胞分割开来，得到灰度标签图。
(b)将灰度标签图的每个像素值都乘以255，进行归一化，得到细胞区域的最终二值图标签，用于后续Caps-Unet网络训练，二值图标签的大小为2000×2000像素。
(c)将原始图像以及最终二值图标签切分成大小为500×500像素的图像。
(d)将切分完成后的原始图像与最终二值图标签按3：1：1的比例分为训练集，验证集、测试集。
(6)构建Caps-Unet网络
用已知的改进的U-Net检测细胞核边缘方法构建Caps-Unet网络。
(7)训练Caps-Unet网络
用步骤(5)划分得到的训练集训练Caps-Unet网络，具体步骤为：
(a)确定目标函数
选取交叉熵损失函数作为Caps-Unet网络的损失函数Loss，由式(1)确定：
Figure GDA0004168367940000031
式(1)中，m是训练样本总数，xi为第i个样本，yi为第i个样本对应的标签，lθ(xi)为Caps-Unet的输出，m、i为有限的正整数。
选取戴斯系数S1和戴斯系数S2作为Caps-Unet网络的评价函数，由式(2)确定戴斯系数S1：
Figure GDA0004168367940000032
式中Y(i)是第i个样本对应的标签，y(i)是Caps-Unet的第i个样本的输出，i为有限的正整数，由式(3)确定戴斯系数S2：
Figure GDA0004168367940000033
式中，P是Caps-Unet输出每个样本的细胞核个数，Q是每个样本标签细胞核的个数，pk是Caps-Unet输出每个样本的第k个细胞核，qj是每个样本标签的第j个细胞核，k和j为有限的正整数。
(b)训练Caps-Unet网络
将经步骤(5)处理的数据集B送入Caps-Unet网络中进行训练，Caps-Unet网络的学习率为γ，γ的取值为0＜γ＜0.0001，优化器设定为自适应矩估计优化器，损失函数Loss为公式(1)的交叉熵损失函数Loss，评价函数为公式(2)和公式(3)的戴斯系数S1与戴斯系数S2，迭代次数为E，每一次迭代的训练次数为F，E和F为有限的正整数，训练至Caps-Unet网络的损失函数收敛。
(c)保存训练过程中的权重与参数
在训练Caps-Unet网络过程中，保存训练过程中参数及对应的权重。
(8)用Caps-Unet网络分割粘连细胞核
(a)用Caps-Unet网络分割粘连细胞核
读取数据集B测试集中的原始图像，加载Caps-Unet网络以及保存的参数和权重，对其进行细胞核分割，得到粘连细胞核分割结果图。
(b)输出粘连细胞核分割结果图
用Python第三方工具包matplotlib中的imshow函数输出粘连细胞核分割结果图。
在本发明训练生成对抗网络步骤(3)的训练生成对抗网络的生成器步骤(a)中，所述的迭代M次为400，α的取值最佳为0.0005。
在本发明训练生成对抗网络步骤(3)的训练生成对抗网络的判别器步骤(b)中，所述的学习率β的取值最佳为0.0001。
在本发明训练Caps-Unet网络步骤(7)的确定目标函数步骤(a)式(1)中，m是训练样本总数，xi为第i个样本，m为96，i为1～96中的任意一个数。在训练Caps-Unet网络步骤(7)的训练Caps-Unet网络步骤(b)中，Caps-Unet网络的学习率为γ，γ的取值最佳为0.00001。
本发明采用生成对抗网络和Caps-Unet网络相结合，在图像中标签标记不足的情况下，解决了图像数据集标注又难又少的技术问题，图像中的密集粘连细胞核分割检测的技术问题，可以生成图像的标签，能够对细胞数量进行精准地统计，与现有技术相比，本发明方法具有检测细胞核区域准确、分割粘连细胞核精度高、分割检测速度快等优点，可用于深度学习方法自动检测细胞核以及分割密集粘连细胞核。
附图说明
图1是本发明实施例1的流程图。
图2是组织病理图像数据集中第一张细胞核图。
图3是图2的粘连细胞核分割检测结果图。
图4是组织病理图像数据集中第二张细胞核图。
图5是图4的粘连细胞核分割检测结果图。
图6是组织病理图像数据集中第三张细胞核图。
图7是图6的粘连细胞核分割检测结果图。
图8是本发明实施例1与现有技术对粘连细胞核分割的戴斯系数S1的对比实验结果图。
图9是本发明实施例1与现有技术对粘连细胞核分割的戴斯系数S2的对比实验结果图。
具体实施方式
下面结合附图和实例对本发明进行进一步的说明，但本发明不限于下述实例。
实施例1
图1给出了本实施例的流程图。在图1中，本实施例的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法由以下步骤组成：
(1)有标签数据集A归一化预处理
取原始数据集图片1384张，有标签数据集A图片1000张，无标签数据集B图片384张，图片大小为2000×2000像素。
(a)将有标签数据集A像素值归一化到[-1,1]，切分成尺寸为256×256像素的图片。
(b)将切分后有标签数据集A按3：1：1的比例分为训练集、验证集、测试集。
(2)构建生成对抗网络
采用常规的Pixel2Piexl方法构建成生成对抗网络。Pixel2Piexl方法已在CVPR2017国际会议的论文集Image-to-Image Translation with ConditionalAdversarial Net-works公开。
(3)训练生成对抗网络
(a)训练生成对抗网络的生成器
生成对抗网络生成器的输入为有标签数据集A的图像，输出为假细胞区域图，开始训练生成对抗网络生成器，迭代M次，M为至少400的正整数，前
Figure GDA0004168367940000061
次的学习率为α，学习率α的取值为0＜α＜0.01，后/>
Figure GDA0004168367940000062
次的学习率线性衰减，本实施例的M为400，α的取值为0.005。
(b)训练生成对抗网络的判别器
将生成对抗网络生成器输出的假细胞区域图与相对应的标签作为生成对抗网络判别器的输入，判别器鉴别生成器输出的假图像是否为真实图像，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前
Figure GDA0004168367940000063
次的学习率为β，β的取值为0＜β＜0.001，后/>
Figure GDA0004168367940000064
次的学习率线性衰减，本实施例的学习率β的取值为0.0005，N为300。
(c)交替训练判别器与生成器
交替训练判别器与生成器，直至经判别器鉴定生成器产生的假图像是真图像的概率为0.5时，训练结束，得到生成对抗网络生成器的模型和判别器的模型。
(d)保存模型
保存生成对抗网络生成器的模型作为检测无标签数据集B中图像的模型。
(4)检测无标签数据集B并生成对应标签
(a)检测无标签数据集B
用训练得到的生成对抗网络模型检测无标签数据集B的细胞核，输入模型所在路径、图像大小、原始图像夹路径、输出结果存放路径、起始的子文件夹序号、终止的子文件夹序号参数，数据集B里只有原始的图像没有标签，使用训练好的生成对抗网络的生成器模型去检测无标签数据集B图像，得到初步的细胞核检测结果。
(b)生成无标签数据集B的标签
上述步骤得到的细胞核检测结果作为无标签数据集B的初步标签图像，初步的标签图像为二值图。
(5)数据集B预处理
(a)用分水岭算法预处理初步标签
用分水岭算法将初步标签二值图中距离相近并且灰度值差异小的像素点互相连接起来，构成封闭的轮廓，将粘连细胞分割开来，得到灰度标签图。
(b)将灰度标签图的每个像素值都乘以255，进行归一化，得到细胞区域的最终二值图标签，用于后续Caps-Unet网络训练，二值图标签的大小为2000×2000像素。
(c)将原始图像以及最终二值图标签切分成大小为500×500像素的图像。
(d)将切割完成后的原始图像与最终二值图标签按3：1：1的比例分为训练集，验证集、测试集。
(6)构建Caps-Unet网络
用已知的改进的U-Net检测细胞核边缘方法构建成Caps-Unet网络。改进的U-Net的Caps-Unet网络已在专利申请号为201810734283.0的中国专利公开。
本发明采用生成对抗网络和Caps-Unet网络相结合，在图像中标签标记不足的情况下，解决了在图像数据集标注又难又少的技术问题，图像中的密集粘连细胞核分割检测的技术问题，可以生成图像的标签，能够对细胞数量进行精准地统计，与现有技术相比，本发明方法具有检测细胞核区域准确、分割粘连细胞核精度高、分割检测速度快等优点。
(7)训练Caps-Unet网络
用步骤(5)划分得到的训练集训练Caps-Unet网络，具体步骤为：
(a)确定目标函数
选取交叉熵损失函数作为Caps-Unet网络的损失函数Loss，由式(1)确定：
Figure GDA0004168367940000071
式(1)中，m是训练样本总数，xi为第i个样本，yi为第i个样本对应的标签，lθ(xi)为Caps-Unet的输出，m、i为有限的正整数，本实施例的m为96，i为[1,96]。
选取戴斯系数S1和戴斯系数S2作为Caps-Unet网络的评价函数，由式(2)确定戴斯系数S1：
Figure GDA0004168367940000081
戴斯系数S1用于评估每个样本的输出与标签的重合程度，式中Y(i)是第i个样本对应的标签，y(i)是Caps-Unet的第i个样本的输出，i为有限的正整数，由式(3)确定戴斯系数S2：
Figure GDA0004168367940000082
用戴斯系数S2来评估密集粘连细胞的分割程度，式中，P是Caps-Unet输出每个样本的细胞核个数，Q是每个样本标签细胞核的个数，pk是Caps-Unet输出每个样本的第k个细胞核，qj是每个样本标签的第j个细胞核，k和j为有限的正整数。
(b)训练Caps-Unet网络
将经步骤(5)处理的数据集B送入Caps-Unet网络中进行训练，Caps-Unet网络的学习率为γ，γ的取值为0＜γ＜0.0001，本实施例的γ取值为0.00005，优化器设定为自适应矩估计优化器，损失函数Loss为公式(1)的交叉熵损失函数Loss，评价函数为公式(2)和公式(3)的戴斯系数S1与戴斯系数S2，迭代次数为E，每一次迭代的训练次数为F，E和F为有限的正整数，本实施例的E为5，F为2000，训练至Caps-Unet网络的损失函数收敛。
(c)保存训练过程中的权重与参数
在训练Caps-Unet网络过程中，保存训练过程中的参数及对应的权重。
(8)用Caps-Unet网络分割粘连细胞核
(a)用Caps-Unet网络分割粘连细胞核
读取数据集B测试集中的原始图像，加载Caps-Unet网络以及保存的参数和权重，对其进行细胞核分割，得到粘连细胞核分割结果图。
(b)输出粘连细胞核分割结果图
用Python第三方工具包matplotlib中的imshow函数输出粘连细胞核分割结果图。
实施例2
本实施例的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法由以下步骤组成：
(1)有标签数据集A归一化预处理
该步骤与实施例1相同。
(2)构建生成对抗网络
该步骤与实施例1相同。
(3)训练生成对抗网络
(a)训练生成对抗网络的生成器
在该步骤中，M为至少400的正整数，学习率α的取值为0＜α＜0.01，本实施例的M为400，学习率α的取值为0.00001，该步骤的其他步骤与实施例1相同。
(b)训练生成对抗网络的判别器
在该步骤中，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前
Figure GDA0004168367940000091
次的学习率为β，β的取值为0＜β＜0.001，后/>
Figure GDA0004168367940000092
次的学习率线性衰减，本实施例的学习率β的取值为0.0001，N为300。该步骤的其他步骤与实施例1相同。
(4)检测无标签数据集B并生成对应标签
该步骤与实施例1相同。
(5)数据集B预处理
该步骤与实施例1相同。
(6)构建Caps-Unet网络
该步骤与实施例1相同。
(7)训练Caps-Unet网络
(a)确定目标函数
该步骤与实施例1相同。
(b)训练Caps-Unet网络
Caps-Unet网络的学习率为γ，γ的取值为0＜γ＜0.0001，本实施例的γ取值为0.00001。
该步骤的其他步骤与实施例1相同。
其他步骤与实施例1相同。
实施例3
本实施例的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法由以下步骤组成：
(1)有标签数据集A归一化预处理
该步骤与实施例1相同。
(2)构建生成对抗网络
该步骤与实施例1相同。
(3)训练生成对抗网络
(a)训练生成对抗网络的生成器
在该步骤中，M为至少400的正整数，学习率α的取值为0＜α＜0.01，本实施例的M为400，学习率α的取值为0.009，该步骤的其他步骤与实施例1相同。
(b)训练生成对抗网络的判别器
在该步骤中，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前
Figure GDA0004168367940000101
次的学习率为β，β的取值为0＜β＜0.001，后/>
Figure GDA0004168367940000102
次的学习率线性衰减，本实施例的学习率β的取值为0.0009，N为300。该步骤的其他步骤与实施例1相同。
(4)检测无标签数据集B并生成对应标签
该步骤与实施例1相同。
(5)数据集B预处理
该步骤与实施例1相同。
(6)构建Caps-Unet网络
该步骤与实施例1相同。
(7)训练Caps-Unet网络
(a)确定目标函数
该步骤与实施例1相同。
(b)训练Caps-Unet网络
Caps-Unet网络的学习率为γ，γ的取值为0＜γ＜0.0001，本实施例的γ取值为0.00009。
该步骤的其他步骤与实施例1相同。
其他步骤与实施例1相同。
实施例4
在以上的实施例1-3训练生成对抗网络步骤(3)的训练生成对抗网络的生成器步骤(a)中，本实施例的M为600，该步骤的其他步骤与相应的实施例相同。在训练生成对抗网络的判别器步骤(b)中，本实施例的N为400，该步骤的其他步骤与相应的实施例相同。
其他步骤与实施例1相同。
为了验证本发明的有益效果，采用本发明实施例1的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法与基于U-Net、Caps-Unet、生成对抗网络(GAN)的方法进行了对比仿真实验，各种实验情况如下：用训练后的各个模型测试相同的测试集，并使用评估代码测试模型精度，采用了戴斯系数S1和戴斯系数S2作为评价函数，实验结果戴斯系数S1见表1和图8，戴斯系数S2见表2和图9。在图8中，横坐标Images表示测试集中的8张图像，纵坐标表示戴斯系数S1值；在图9中，横坐标Images表示测试集中的8张图像，纵坐标表示戴斯系数S2值。
表1实施例1与U-Net、Caps-Unet、GAN方法测试8张图像的戴斯系数S1值
测试方法 第1张 第2张 第3张 第4张 第5张 第6张 第7张 第8张
GAN+Caps-Unet 74.14％ 70.35％ 72.67％ 73.31％ 76.60％ 74.26％ 70.50％ 64.17％
U-Net 73.11％ 71.05％ 67.20％ 62.29％ 62.61％ 72.28％ 61.38％ 54.97％
Caps-Unet 70.01％ 67.09％ 62.92％ 58.22％ 59.70％ 62.00％ 56.52％ 49.62％
GAN 48.47％ 43.58％ 49.98％ 48.49％ 50.59％ 56.48％ 52.62％ 34.20％
由表1和图8可见，实施例1方法的戴斯系数S1平均值为72.00％，U-Net方法的戴斯系数S1平均值为65.61％，Caps-Unet方法的戴斯系数S1平均值为60.76％，GAN方法的戴斯系数S1平均值为48.05％。实施例1方法的戴斯系数S1平均值比U-Net方法的戴斯系数S1平均值高6.39％，比Caps-Unet方法的戴斯系数S1平均值高11.24％，比GAN方法的戴斯系数S1平均值高23.95％。
表2实施例1与U-Net、Caps-Unet、GAN方法测试8张图像的戴斯系数S2值
测试方法 第1张 第2张 第3张 第4张 第5张 第6张 第7张 第8张
GAN+Caps-Unet 62.36％ 68.45％ 61.46％ 67.85％ 63.79％ 56.65％ 64.59％ 62.93％
U-Net 17.08％ 62.38％ 31.72％ 22.87％ 11.30％ 21.97％ 12.77％ 46.65％
Caps-Unet 30.05％ 61.85％ 39.16％ 40.31％ 38.16％ 32.21％ 39.10％ 46.62％
GAN 26.09％ 38.60％ 36.81％ 36.06％ 27.09％ 25.87％ 36.85％ 24.18％
由表2和图9可见，经计算，本发明实施例1方法的戴斯系数S2平均值为63.51％，U-Net方法的戴斯系数S2平均值为28.34％，Caps-Unet方法的戴斯系数S2平均值为40.93％，GAN方法的戴斯系数S2平均值为31.44％。实施例1方法的戴斯系数S2平均值比U-Net方法的戴斯系数S2平均值高35.17％，比Caps-Unet方法的戴斯系数S2平均值高22.58％，比GAN方法的戴斯系数S2平均值高32.07％。

Claims (4)

1.一种基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法，其特征在于由下述步骤组成：
(1)有标签数据集A归一化预处理
取原始数据集图片1384张，有标签数据集A图片1000张，无标签数据集B图片384张，图片大小为2000×2000像素；
(a)将有标签数据集A像素值归一化到[-1,1]，切分成尺寸为256×256像素的图片；
(b)将切分后有标签数据集A按3：1：1的比例分为训练集、验证集、测试集；
(2)构建生成对抗网络
采用常规的Pixel2Piexl方法构建成生成对抗网络；
(3)训练生成对抗网络
(a)训练生成对抗网络的生成器
生成对抗网络生成器的输入为有标签数据集A的图像，输出为假细胞区域图，开始训练生成对抗网络生成器，迭代M次，M为至少400的正整数，前
Figure FDA0004189652470000011
次的学习率为α，α的取值为0＜α＜0.01，后/>
Figure FDA0004189652470000012
次的学习率线性衰减；
(b)训练生成对抗网络的判别器
将生成对抗网络生成器输出的假细胞区域图与相对应的标签作为生成对抗网络判别器的输入，判别器鉴别生成器输出的假图像是否为真实图像，训练生成对抗网络的判别器，迭代N次，N为至少300的偶数，前
Figure FDA0004189652470000013
次的学习率为β，β的取值为0＜β＜0.001，后/>
Figure FDA0004189652470000014
次的学习率线性衰减；
(c)交替训练判别器与生成器
交替训练判别器与生成器，直至经判别器鉴定生成器产生的假图像是真图像的概率为0.5时，训练结束，得到生成对抗网络生成器的模型和判别器的模型；
(d)保存模型
保存生成对抗网络生成器的模型作为检测无标签数据集B中图像的模型；
(4)检测无标签数据集B并生成对应标签
(a)检测无标签数据集B
用训练得到的生成对抗网络模型检测无标签数据集B的细胞核，输入模型所在路径、图像大小、原始图像夹路径、输出结果存放路径、起始的子文件夹序号、终止的子文件夹序号参数；数据集B里只有原始的图像没有标签，使用训练好的生成对抗网络的生成器模型去检测无标签数据集B图像，得到初步的细胞核检测结果；
(b)生成无标签数据集B的标签
上述步骤得到的细胞核检测结果作为无标签数据集B的初步标签图像，初步的标签图像为二值图；
(5)数据集B预处理
(a)用分水岭算法预处理初步标签
用分水岭算法将初步标签二值图中距离相近并且灰度值差异小的像素点互相连接起来，构成封闭的轮廓，将粘连细胞分割开来，得到灰度标签图；
(b)将灰度标签图的每个像素值都乘以255，进行归一化，得到细胞区域的最终二值图标签，用于后续Caps-Unet网络训练，二值图标签的大小为2000×2000像素；
(c)将原始图像以及最终二值图标签切分成大小为500×500像素的图像；
(d)将切分完成后的原始图像与最终二值图标签按3：1：1的比例分为训练集，验证集、测试集；
(6)构建Caps-Unet网络
用已知的改进的U-Net检测细胞核边缘方法构建Caps-Unet网络；
(7)训练Caps-Unet网络
用步骤(5)划分得到的训练集训练Caps-Unet网络，具体步骤为：
(a)确定目标函数Yi
选取交叉熵损失函数作为Caps-Unet网络的损失函数Loss，由式(1)确定：
Figure FDA0004189652470000031
式(1)中，m是训练样本总数，xi为第i个样本，yi为第i个样本对应的标签，lθ(xi)为Caps-Unet的输出，m、i为有限的正整数；
选取戴斯系数S1和戴斯系数S2作为Caps-Unet网络的评价函数，由式(2)确定戴斯系数S1：
Figure FDA0004189652470000032
式中yi是第i个样本对应的标签，Yi是Caps-Unet的第i个样本的输出，i为有限的正整数，由式(3)确定戴斯系数S2：
Figure FDA0004189652470000033
式中，P是Caps-Unet输出每个样本的细胞核个数，Q是每个样本标签细胞核的个数，pk是Caps-Unet输出每个样本的第k个细胞核，qj是每个样本标签的第j个细胞核，k和j为有限的正整数；
(b)训练Caps-Unet网络
将经步骤(5)处理的数据集B送入Caps-Unet网络中进行训练，Caps-Unet网络的学习率为γ，γ的取值为0＜γ＜0.0001，优化器设定为自适应矩估计优化器，损失函数Loss为公式(1)的交叉熵损失函数Loss，评价函数为公式(2)和公式(3)的戴斯系数S1与戴斯系数S2，迭代次数为E，每一次迭代的训练次数为F，E和F为有限的正整数，训练至Caps-Unet网络的损失函数收敛；
(c)保存训练过程中的权重与参数
在训练Caps-Unet网络过程中，保存训练过程中参数及对应的权重；
(8)用Caps-Unet网络分割粘连细胞核
(a)用Caps-Unet网络分割粘连细胞核
读取数据集B测试集中的原始图像，加载Caps-Unet网络以及保存的参数和权重，对其进行细胞核分割，得到粘连细胞核分割结果图；
(b)输出粘连细胞核分割结果图
用Python第三方工具包matplotlib中的imshow函数输出粘连细胞核分割结果图。
2.根据权利要求1所述的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法，其特征在于：在训练生成对抗网络步骤(3)的训练生成对抗网络的生成器步骤(a)中，所述的迭代M次为400，α的取值为0.0005。
3.根据权利要求1所述的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法，其特征在于：在训练生成对抗网络步骤(3)的训练生成对抗网络的判别器步骤(b)中，学习率β的取值为0.0001。
4.根据权利要求1所述的基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法，其特征在于：在步骤(7)训练Caps-Unet网络的步骤(a)确定目标函数的式(1)中，m是训练样本总数，xi为第i个样本，m为96，i为1～96中的任意一个数；在步骤(7)训练Caps-Unet网络的步骤(b)训练Caps-Unet网络中，所述的Caps-Unet网络的学习率为γ，γ的取值为0.00001。
CN202010977371.0A 2020-09-17 2020-09-17 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法 Active CN112102323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010977371.0A CN112102323B (zh) 2020-09-17 2020-09-17 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010977371.0A CN112102323B (zh) 2020-09-17 2020-09-17 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法

Publications (2)

Publication Number Publication Date
CN112102323A CN112102323A (zh) 2020-12-18
CN112102323B true CN112102323B (zh) 2023-07-07

Family

ID=73758689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010977371.0A Active CN112102323B (zh) 2020-09-17 2020-09-17 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法

Country Status (1)

Country Link
CN (1) CN112102323B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907603B (zh) * 2021-02-05 2024-04-19 杭州电子科技大学 一种基于Unet和分水岭算法的细胞实例分割方法
CN113409321B (zh) * 2021-06-09 2023-10-27 西安电子科技大学 一种基于像素分类和距离回归的细胞核图像分割方法
CN113450363B (zh) * 2021-06-10 2023-05-02 西安交通大学 一种基于标签校正的元学习细胞核分割系统及方法
CN116012838B (zh) * 2022-12-30 2023-11-07 创芯国际生物科技(广州)有限公司 基于人工智能的类器官活性识别方法及系统
CN116543385B (zh) * 2023-07-05 2023-09-05 江西农业大学 一种水稻叶片细胞形态学智能检测方法及装置

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN109064477A (zh) * 2018-07-06 2018-12-21 陕西师范大学 用改进的U-Net检测细胞核边缘的方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109726644A (zh) * 2018-12-14 2019-05-07 重庆邮电大学 一种基于生成对抗网络的细胞核分割方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110276745A (zh) * 2019-05-22 2019-09-24 南京航空航天大学 一种基于生成对抗网络的病理图像检测算法
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110648309A (zh) * 2019-08-12 2020-01-03 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN111179193A (zh) * 2019-12-26 2020-05-19 苏州斯玛维科技有限公司 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN111210398A (zh) * 2018-11-02 2020-05-29 电子科技大学 基于多尺度池化的白细胞识别系统
CN111242953A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于条件生成对抗网络的mr图像分割方法及装置
CN111524144A (zh) * 2020-04-10 2020-08-11 南通大学 一种基于GAN和Unet网络的肺结节智能诊断方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018100325A4 (en) * 2018-03-15 2018-04-26 Nian, Xilai MR A New Method For Fast Images And Videos Coloring By Using Conditional Generative Adversarial Networks
CN109064477A (zh) * 2018-07-06 2018-12-21 陕西师范大学 用改进的U-Net检测细胞核边缘的方法
CN109191471A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胰腺细胞图像分割方法
CN109191472A (zh) * 2018-08-28 2019-01-11 杭州电子科技大学 基于改进U-Net网络的胸腺细胞图像分割方法
CN109191476A (zh) * 2018-09-10 2019-01-11 重庆邮电大学 基于U-net网络结构的生物医学图像自动分割新方法
CN111210398A (zh) * 2018-11-02 2020-05-29 电子科技大学 基于多尺度池化的白细胞识别系统
CN109614921A (zh) * 2018-12-07 2019-04-12 安徽大学 一种基于对抗生成网络的半监督学习的细胞分割方法
CN109726644A (zh) * 2018-12-14 2019-05-07 重庆邮电大学 一种基于生成对抗网络的细胞核分割方法
CN110110745A (zh) * 2019-03-29 2019-08-09 上海海事大学 基于生成对抗网络的半监督x光图像自动标注
CN110276745A (zh) * 2019-05-22 2019-09-24 南京航空航天大学 一种基于生成对抗网络的病理图像检测算法
CN110288605A (zh) * 2019-06-12 2019-09-27 三峡大学 细胞图像分割方法和装置
CN110443815A (zh) * 2019-08-07 2019-11-12 中山大学 结合生成对抗网络的半监督视网膜oct图像层分割方法
CN110648309A (zh) * 2019-08-12 2020-01-03 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN110853005A (zh) * 2019-11-06 2020-02-28 杭州迪英加科技有限公司 一种免疫组化膜染色切片诊断方法及装置
CN111179193A (zh) * 2019-12-26 2020-05-19 苏州斯玛维科技有限公司 基于DCNNs和GANs的皮肤镜图像增强和分类方法
CN111242953A (zh) * 2020-01-17 2020-06-05 陕西师范大学 一种基于条件生成对抗网络的mr图像分割方法及装置
CN111524144A (zh) * 2020-04-10 2020-08-11 南通大学 一种基于GAN和Unet网络的肺结节智能诊断方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Medical Image Synthesis with Deep Convolutional Adversarial Networks;Dong Nie 等;《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》;20181231;第65卷(第12期);2720-2730 *
Skin lesion segmentation via generative adversarial networks with dual discriminators;Baiying Lei 等;《Medical Image Analysis》;20200523;第64卷;1-12 *
基于Caps-Unet的粘连细胞核边缘检测及分割;李兴伟;《中国优秀硕士学位论文全文数据库 医药卫生科技辑(月刊)》;20200115;第2020年卷(第01期);E059-150 *

Also Published As

Publication number Publication date
CN112102323A (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
CN112102323B (zh) 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
Lin et al. Hypergraph optimization for multi-structural geometric model fitting
CN115482418B (zh) 基于伪负标签的半监督模型训练方法、系统及应用
CN113362277A (zh) 一种基于深度学习的工件表面缺陷检测和分割方法
CN117516937A (zh) 基于多模态特征融合增强的滚动轴承未知故障检测方法
CN113313179B (zh) 一种基于l2p范数鲁棒最小二乘法的噪声图像分类方法
CN115082781A (zh) 一种舰船图像检测方法、装置以及存储介质
CN112200862B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN110728316A (zh) 一种课堂行为检测方法、系统、装置和存储介质
CN113298112B (zh) 一种一体化数据智能标注方法及系统
CN112329669B (zh) 一种电子档案管理方法
CN111414952B (zh) 行人重识别的噪声样本识别方法、装置、设备和存储介质
CN115098681A (zh) 一种基于有监督对比学习的开放服务意图检测方法
CN114529517A (zh) 基于单样本学习的工业产品缺陷检测方法
CN108596167B (zh) 一种变长光学字符文字快速识别系统及方法、装置
CN112014821A (zh) 一种基于雷达宽带特征的未知车辆目标识别方法
CN116912845B (zh) 一种基于nlp与ai的智能内容识别与分析方法及装置
Kittler et al. Serial multiple classifier systems exploiting a coarse to fine output coding
CN113506272B (zh) 一种虚假视频的检测方法及系统
CN116912920B (zh) 表情识别方法及装置
Zhao et al. Understanding and Improving the Intermediate Features of FCN in Semantic Segmentation
CN117173494B (zh) 基于类别平衡样本选择的含噪声标签图像识别方法及系统
Park et al. Image analogy with Gaussian process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant