CN109726644A - 一种基于生成对抗网络的细胞核分割方法 - Google Patents

一种基于生成对抗网络的细胞核分割方法 Download PDF

Info

Publication number
CN109726644A
CN109726644A CN201811529495.1A CN201811529495A CN109726644A CN 109726644 A CN109726644 A CN 109726644A CN 201811529495 A CN201811529495 A CN 201811529495A CN 109726644 A CN109726644 A CN 109726644A
Authority
CN
China
Prior art keywords
segmentation
image
prediction probability
confrontation network
segmentation prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811529495.1A
Other languages
English (en)
Inventor
高陈强
李鹏程
刘芳岑
廖诗沙
周风顺
木松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201811529495.1A priority Critical patent/CN109726644A/zh
Publication of CN109726644A publication Critical patent/CN109726644A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于生成对抗网络的细胞核分割方法，包括对原始图像进行归一化处理；归一化后的图像经循环生成对抗网络生成新的图像和对应的二值掩码图像，并入到数据集中；将数据集中的至少一部分经具有编解码结构的生成对抗网络生成第一分割预测概率图和第二分割预测概率图；将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络获得分割结果，本发明提高了具有重叠边界的细胞核的分割准确率，可以轻松用于多种器官的细胞核分割任务中。

Description

一种基于生成对抗网络的细胞核分割方法
技术领域
本发明属于医学图像处理与计算机视觉技术领域，涉及一种基于生成对抗网络的细胞核分割方法。
背景技术
图像分割问题是医学图像分析中的一个基本研究问题。传统上，癌症患者肿瘤的诊断和分级是通过工作人员在高精度显微镜下检查组织标本来完成的，这种组织标本通常称为数字病理图像(Digital Pathology,DP)，DP中的细胞核分割是当前的研究热点。对不同器官的DP进行精确的细胞核分割，可以显著地减少医生的工作量，提高诊断的准确性，促进临床和医学研究的发展。
得到精确的细胞核分割图像之后，再利用细胞核形态学特征如密度、细胞核-质比例、平均大小和多形性等来评估癌症等级，还可以用于预测后续的治疗效果。在医学图像的细胞核分割任务中，常用的图像数据是带有H&E染色(Hematoxylin and Eosin stain)的DP切片。在产生DP的过程中，制作工艺如制片、染色、扫描等或设备生产商生产的设备平台不相同、生物信息存在差异等原因，造成染色后的图像质量参差不齐，为后期分割任务带来极大困难。
近年来，基于深度学习的图像分析方法在细胞核分割任务中取得了不错的进展，特别在DP的分类、检测、分割任务中取得了比传统方法更加准确的结果，得到了医学领域的广泛关注。
目前，基于深度学习的细胞核分割任务中主要存在两大挑战：
(1)数据集的数据量少，不具备通用性，且标注质量不高。目前已有的公开数据中，大多只针对某一种特定器官的病理切片进行标注，而这样的数据通常无法泛化到其他器官进行细胞核分割任务；
(2)重叠部分的细胞核难以分割。一是细胞核相互接触，使得细胞核的边界难以界定；二是病理图像在染色制片、成像等过程中由于染色、光照不均对图像成像有损伤，影响最后的分割效果。
发明内容
有鉴于此，本发明的目的在于提供一种基于生成对抗网络的细胞核分割方法，尤其涉及一种基于循环生成对抗网络和具有编解码结构的生成对抗网络的细胞核分割方法。其中，循环生成对抗网络对已有数据集进行扩充，丰富训练集数据量，并保留数据的合理性与多样性，提升数据集通用性；而具有编解码结构的生成对抗网络则可以利用细胞核图像及二值掩码图像数据，结合全局信息和精细的边界信息，得到准确的细胞核分割结果，解决重叠细胞核难以分割的问题。
为达到上述目的，本发明提供如下技术方案：
一种基于生成对抗网络的细胞核分割方法，包括循环生成对抗网络和具有编解码结构的生成对抗网络，其特征在于，包括以下步骤：
S1、将原始图像进行归一化处理；
S2、归一化后的图像经循环生成对抗网络生成新的图像和对应的二值掩码图像，并入到数据集中；
S3、将数据集中的至少一部分经具有编解码结构的生成对抗网络生成第一分割预测概率图和第二分割预测概率图；
S4、将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络获得分割结果。
优选地，所述归一化处理包括将原始图像的至少一部分转化为光学密度图像，将所述光学密度图像分解为染色矩阵Si与浓度矩阵Ci，使用目标矩阵R与Ci组成新的矩阵N，具体为：
OD＝Ci×Si
N＝Ci×R
其中，OD表示由原始染色图像转化而来的光学密度矩阵，N表示归一化后的染色图像矩阵。
优选地，所述目标矩阵R是从数据集中选取的图片经分解获得的染色矩阵部分。
优选地，所述第一分割预测概率图由训练集中染色图像及其对应的二值掩码图像经由具有编解码结构的生成对抗网络获得。
优选地，所述第二分割预测概率图由训练集中染色图像经形态学方法提取的轮廓图像与对应的二值掩码图像经由具有编解码结构的生成对抗网络获得。
优选地，所述将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络包括将第一分割预测概率图和第二分割预测概率图融合后送入全卷积神经网络。
优选地，所述将第一分割预测概率图和第二分割预测概率图融合包括将第一分割预测概率图与第二分割概率预测图拼接。
优选地，所述拼接包括将概率图重叠，利用1×1卷积核将概率图特征融合。
本公开中的细胞核分割方法利用循环生成对抗网络获得扩充后的数据集，并利用具有编解码结构的生成对抗网络经训练集训练后获得第一概率图与第二概率图，经由卷积神经网络获得良好的细胞核分割图片，圆满地解决了数据集不充实和重叠细胞核难以分离的技术问题。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明整体流程示意图；
图2为循环生成对抗网络结构示意图；
图3为具有编解码结构的生成对抗网络的概率预测生成示意图；
图4为输出分割结果的全卷积网络结构图。
具体实施方式
下面结合说明书附图对本发明进行进一步的说明。
参考图1，图示为本方法的步骤示意图，具体包括以下步骤：
S1、将原始图像进行归一化处理；
原始图像包括原始染色图像和对应的二值掩码图像，归一化处理包括将原始图像中的至少一部分进行处理，如原始染色图像部分。归一化处理可以先去除图像中没有组织出现的内容，并保证图像中细胞组织结构的完整性，再利用朗伯比尔定律转化为光学密度图像(Optical Density，OD)，将OD分解为染色矩阵Si和浓度矩阵Ci，使用目标染色矩阵R替换Si，与浓度矩阵Ci组合，形成归一化染色图像矩阵N。公式表示为：
OD＝Ci×Si (1)
N＝Ci×R (2)
其中，OD表示由原始染色图像转化而来的光学密度矩阵，N表示归一化后的染色图像矩阵。
目标染色矩阵R可以是从数据集中选取的，符合一定标准的染色良好的图片，经由上述相同的分解方法获得的染色矩阵部分，将其作为归一化的目标染色矩阵。
S2、归一化后的图像经循环生成对抗网络生成新的图像和对应的二值掩码图像，并入到数据集中；
转到图2，如图所示，循环生成对抗网络包含两对生成器与鉴别器，第一生成器利用归一化后的二值掩码图像生成类染色图像，将生成的类染色图像送入第一鉴别器，第一鉴别器将类染色图像与归一化后的染色图像根据第一预定义条件进行鉴别，所述第一预定义条件可以是损失函数条件，如公式(3)。第二生成器则根据来自第一鉴别器鉴别后的类染色图像，生成其对应的新的二值掩码图像，并将其送入第二鉴别器。第二鉴别器将新的二值掩码图像与预处理后的二值掩码图像根据第二预定义条件进行鉴别，所述第二预定义条件也可以是损失函数条件，如公式(4)。
其中，损失函数定义可以如式(3)-(6)所示：
LGAN(G,DY,X,Y)＝Ey～Pdata(y)[logDY(y)]+Ex～Pdata(x)[log(1-DY(G(x)))] (3)
LGAN(S,DX,X,Y)＝Ex～Pdata(x)[logDX(x)]+Ey～Pdata(y)[log(1-DX(S(y)))] (4)
Lcyc(G,S)＝Ex～Pdata(x)[||S(G(x))-x||1]+Ey～Pdata(y)[||G(S(y))-y||1] (5)
L(G,S,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(S,DY,X,Y)+Lcyc(G,S) (6)
公式(3)表示第一生成器中由二值掩码图像生成类染色图像的交叉熵损失函数条件。其中，等式左边，G表示由二值掩码图像到生成的类染色图像的映射，DY表示第一鉴别器鉴别第一生成器生成的类染色图像和真实染色图像是否同分布的概率，X表示所有二进制掩码图像组成的集合，Y表示预处理后的染色图像组成的集合；等式右边，E表示交叉熵，Pdata表示该数据的概率分布，logDY(y)表示对染色图像的概率分布取log函数，log(1-DY(G(x))表示对类染色图像与染色图像分布的差距取log函数。
公式(4)表示第二生成器中由类染色图像再生成对应二值掩码图像的交叉熵损失函数条件。其中，等式左边，S表示类染色图像到生成的二值掩码图像的映射，DX表示第二鉴别器鉴别生成的二值掩码图像和预处理后的二值掩码图像是否同分布的概率，X表示所有二进制掩码图像组成的集合，Y表示预处理后的染色图像组成的集合；等式右边，E表示交叉熵，Pdata表示该数据的概率分布，logDx(x)表示对二进制掩码图像的概率分布取log函数，log(1-Dx(S(y))表示类染色图像生成的对应二进制掩码图像与染色图像对应的二进制掩码图像分布的差距取log函数。
公式(5)表示循环对抗生成网络中由于循环产生的损失函数，其中表示一范数，G表示由二值掩码图像到生成的类染色图像的映射，S表示类染色图像到生成的二值掩码图像的映射。
公式(6)表示整个网络的最终损失函数，由前述三部分组成。经由最小化所述损失函数，获得再处理后的图像。
将归一化后的图像并入数据集还包括将并入后的数据集分为训练集和/或测试集和/或验证集。
S3、将数据集中的至少一部分经具有编解码结构的生成对抗网络生成第一分割预测概率图和第二分割预测概率图；
如图3所示，具有编解码结构的生成对抗网络包括下采样路径和上采样路径。下采样路径用于提取网络特征，而上采样路径用于恢复分辨率。在上采样路径的最后两层，将传统卷积神经网络中的全连接层替换为1×1的卷积层，即网络中所有层都由卷积层构成。具体方法为：下采样路径提取训练集中的特征图，再由上采样路径恢复分辨率，经由softmax对特征图中的像素进行分类。其中，由训练集中染色图像及其对应的二值掩码图像经由具有编解码结构的生成对抗网络获得第一分割预测概率图；由从训练集中染色图像提取的轮廓图像与染色图像对应的二值掩码图像经由具有编解码结构的生成对抗网络获得第二分割预测概率图。
从训练集中染色图像提取轮廓图像包括采用形态学方法获取轮廓图像。
S4、将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络获得分割结果。
具体还包括，将第一分割预测概率图与第二分割预测概率图融合之后送入全卷积神经网络，获得细胞核分割图。
其中，融合就是进行拼接(concatation)，或者进行叠加。
如图4所示，首先将传统的卷积神经网络最后的全连接层改为1×1的卷积层，而后进行拼接。拼接即将两个概率图重叠在一起，使概率图对齐，然后利用1×1的卷积核将两个概率图的特征进行融合，得到一个结合细胞核全局信息和局部信息的精细特征图，最后经由全卷积神经网络，得到精确的细胞核分割图像输出。
在得到最终细胞核分割图后，可以根据指标聚合型杰卡德系数(AggregatedJaccard Index,AJI)对分割效果进行性能评估，具体的评价指标可以用公式(7)描述为：
其中，TP为预测正确的细胞核与真实标签中细胞核的区域交集，FN为预测为非细胞核区域而实际属于细胞核的区域，FP为预测为细胞和区域而实际属于非细胞核的区域。
通过AJI指标，可以衡量我们的分割方法的准确性与泛化性能，同时可以统一指标与其他分割方法进行比较。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于生成对抗网络的细胞核分割方法，包括循环生成对抗网络和具有编解码结构的生成对抗网络，其特征在于，包括以下步骤：
将原始图像进行归一化处理；
归一化后的图像经循环生成对抗网络生成新的图像和对应的二值掩码图像，并入到数据集中；
将数据集中的至少一部分经具有编解码结构的生成对抗网络生成第一分割预测概率图和第二分割预测概率图；
将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络获得分割结果。
2.根据权利要求1所述的方法，其特征还在于，所述归一化处理包括将原始图像的至少一部分转化为光学密度图像，将所述光学密度图像分解为染色矩阵Si与浓度矩阵Ci，使用目标矩阵R与Ci组成新的矩阵N，具体为：
OD＝Ci×Si
N＝Ci×R
其中，OD表示由原始染色图像转化而来的光学密度矩阵，N表示归一化后的染色图像矩阵。
3.根据权利要求2所述的方法，其特征还在于，所述目标矩阵R是从数据集中选取的图片经分解获得的染色矩阵部分。
4.根据权利要求1所述的方法，其特征还在于，所述第一分割预测概率图由训练集中染色图像及其对应的二值掩码图像经由具有编解码结构的生成对抗网络获得。
5.根据权利要求1所述的方法，其特征还在于，所述第二分割预测概率图由训练集中染色图像经形态学方法提取的轮廓图像与对应的二值掩码图像经由具有编解码结构的生成对抗网络获得。
6.根据权利要求1所述的方法，其特征还在于，所述将第一分割预测概率图与第二分割预测概率图送入全卷积神经网络包括将第一分割预测概率图和第二分割预测概率图融合后送入全卷积神经网络。
7.根据权利要求6所述的方法，其特征还在于，所述将第一分割预测概率图和第二分割预测概率图融合包括将第一分割预测概率图与第二分割概率预测图拼接，其中，所述拼接包括将概率图重叠，利用1×1卷积核将概率图特征融合。
CN201811529495.1A 2018-12-14 2018-12-14 一种基于生成对抗网络的细胞核分割方法 Pending CN109726644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811529495.1A CN109726644A (zh) 2018-12-14 2018-12-14 一种基于生成对抗网络的细胞核分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811529495.1A CN109726644A (zh) 2018-12-14 2018-12-14 一种基于生成对抗网络的细胞核分割方法

Publications (1)

Publication Number Publication Date
CN109726644A true CN109726644A (zh) 2019-05-07

Family

ID=66295926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811529495.1A Pending CN109726644A (zh) 2018-12-14 2018-12-14 一种基于生成对抗网络的细胞核分割方法

Country Status (1)

Country Link
CN (1) CN109726644A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110276802A (zh) * 2019-06-26 2019-09-24 湖南大学 医学图像中病症组织定位方法、装置与设备
CN110648309A (zh) * 2019-08-12 2020-01-03 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN111539961A (zh) * 2019-12-13 2020-08-14 山东浪潮人工智能研究院有限公司 一种目标分割方法、装置以及设备
CN112102323A (zh) * 2020-09-17 2020-12-18 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
US11210494B2 (en) * 2018-10-23 2021-12-28 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
CN115359073A (zh) * 2022-10-17 2022-11-18 湖南自兴智慧医疗科技有限公司 基于对抗生成网络的染色体拓扑结构分割方法及装置
CN110648309B (zh) * 2019-08-12 2024-05-28 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106367391A (zh) * 2016-08-25 2017-02-01 李懿 一种直肠癌放疗抵抗细胞模型及其构建方法
CN106780522A (zh) * 2016-12-23 2017-05-31 杭州华卓信息科技有限公司 一种基于深度学习的骨髓液细胞分割方法
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思（北京）基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN108665463A (zh) * 2018-03-30 2018-10-16 哈尔滨理工大学 一种基于对抗式生成网络的宫颈细胞图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106367391A (zh) * 2016-08-25 2017-02-01 李懿 一种直肠癌放疗抵抗细胞模型及其构建方法
CN106780522A (zh) * 2016-12-23 2017-05-31 杭州华卓信息科技有限公司 一种基于深度学习的骨髓液细胞分割方法
CN108074243A (zh) * 2018-02-05 2018-05-25 志诺维思（北京）基因科技有限公司 一种细胞定位方法以及细胞分割方法
CN108665463A (zh) * 2018-03-30 2018-10-16 哈尔滨理工大学 一种基于对抗式生成网络的宫颈细胞图像分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN-YAN ZHU等: ""Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks"", 《ARXIV》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210494B2 (en) * 2018-10-23 2021-12-28 The Chinese University Of Hong Kong Method and apparatus for segmenting cellular image
CN110211046A (zh) * 2019-06-03 2019-09-06 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110211046B (zh) * 2019-06-03 2023-07-14 重庆邮电大学 一种基于生成对抗网络的遥感图像融合方法、系统和终端
CN110276802A (zh) * 2019-06-26 2019-09-24 湖南大学 医学图像中病症组织定位方法、装置与设备
CN110648309A (zh) * 2019-08-12 2020-01-03 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
CN110648309B (zh) * 2019-08-12 2024-05-28 平安科技（深圳）有限公司 基于条件生成对抗网络合成红细胞图像的方法及相关设备
WO2021057848A1 (zh) * 2019-09-29 2021-04-01 Oppo广东移动通信有限公司 网络的训练方法、图像处理方法、网络、终端设备及介质
CN111539961A (zh) * 2019-12-13 2020-08-14 山东浪潮人工智能研究院有限公司 一种目标分割方法、装置以及设备
CN112102323A (zh) * 2020-09-17 2020-12-18 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
CN112102323B (zh) * 2020-09-17 2023-07-07 陕西师范大学 基于生成对抗网络和Caps-Unet网络的粘连细胞核分割方法
CN115359073A (zh) * 2022-10-17 2022-11-18 湖南自兴智慧医疗科技有限公司 基于对抗生成网络的染色体拓扑结构分割方法及装置

Similar Documents

Publication Publication Date Title
CN109726644A (zh) 一种基于生成对抗网络的细胞核分割方法
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
US20220198230A1 (en) Auxiliary detection method and image recognition method for rib fractures based on deep learning
CN110853005A (zh) 一种免疫组化膜染色切片诊断方法及装置
CN112070781A (zh) 颅脑断层扫描图像的处理方法、装置、存储介质及电子设备
Zhou et al. Proxy-bridged image reconstruction network for anomaly detection in medical images
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN112132827A (zh) 病理图像的处理方法、装置、电子设备及可读存储介质
Joseph et al. Quantitative and qualitative evaluation of deep learning automatic segmentations of corneal endothelial cell images of reduced image quality obtained following cornea transplant
CN115546605A (zh) 一种基于图像标注和分割模型的训练方法及装置
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
CN112381762A (zh) 一种基于深度学习算法的ct肋骨骨折辅助诊断系统
KR20220129405A (ko) 전역 어텐션 기반 컨볼루션 네트워크를 이용한 이미지 분할 방법 및 장치
Razavi et al. Minugan: Dual segmentation of mitoses and nuclei using conditional gans on multi-center breast h&e images
EP4367675A1 (en) Stain-free detection of embryo polarization using deep learning
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
Xu et al. Unsupervised detection of pulmonary opacities for computer-aided diagnosis of COVID-19 on CT images
CN112489048B (zh) 一种基于深度网络的视神经自动分割方法
Wu et al. A novel multiphoton microscopy images segmentation method based on superpixel and watershed
Marcus et al. Concurrent ischemic lesion age estimation and segmentation of ct brain using a transformer-based network
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN114283406A (zh) 细胞图像识别方法、装置、设备、介质及计算机程序产品
Lim et al. Automatic Artifact Detection Algorithm in Fetal MRI

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190507