CN113160185A - 一种利用生成边界位置指导宫颈细胞分割的方法 - Google Patents

一种利用生成边界位置指导宫颈细胞分割的方法 Download PDF

Info

Publication number
CN113160185A
CN113160185A CN202110457201.4A CN202110457201A CN113160185A CN 113160185 A CN113160185 A CN 113160185A CN 202110457201 A CN202110457201 A CN 202110457201A CN 113160185 A CN113160185 A CN 113160185A
Authority
CN
China
Prior art keywords
gan
segmentation
contour
image
cytoplasm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110457201.4A
Other languages
English (en)
Inventor
何勇军
赵司琦
秦健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110457201.4A priority Critical patent/CN113160185A/zh
Publication of CN113160185A publication Critical patent/CN113160185A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20152—Watershed segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种利用生成边界指导因子的宫颈细胞分割方法，本发明涉及图像处理技术领域。该方法包括如下步骤：(1)采集宫颈细胞图像，标注得到细胞核位置与细胞质轮廓；(2)构建Ce‑GAN网络结构；(3)使用Ce‑GAN网络的粗分割模块对细胞图像进行初步分割；(4)制作Ce‑GAN的数据集；(5)构造Ce‑GAN网络指导因子生成模块的损失函数；(6)训练Ce‑GAN的生成器模型，并利用生成器模型获得细胞质的边界位置；(7)引入边界位置信息作为Ce‑GAN网络的细分割模块的指导因子，训练Ce‑GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割。本发明通过引入边界位置信息作为细分割的约束条件，应用于宫颈细胞图像的细胞核和细胞质的准确分割。

Description

一种利用生成边界位置指导宫颈细胞分割的方法
技术领域
本发明属于图像处理技术领域，具体涉及一种利用生成边界位置指导宫颈细胞分割的方法。
背景技术
我国是宫颈癌的高发区，每年新发病例达到10万例左右，占世界新发病例的四分之一，且近十几年来，我国的发病年龄逐步年轻化，死亡率呈上升趋势。宫颈癌早期治愈率高达91.5％，定期进行宫颈癌普遍筛查，及时发现癌前病变并展开治疗是应对宫颈癌的有效手段。液基薄层细胞检测(Thinprep cytologic test,TCT)是目前国际上最先进的一种宫颈癌细胞学检查技术，对宫颈癌细胞的检出率为100％，同时还能发现部分癌前病变细胞。但该方法依赖于病理医生的镜下经验诊断，主观性较强；此外，病理医生长期作业容易产生视觉疲劳，造成10％-20％的误诊和漏诊。受经济和技术因素的限制，目前我国基层病理诊断水平较低，存在病理医生稀缺的痛点。基于以上现状，近年来人工智能、大数据技术被成功用于病理学中，智能辅助诊断系统就此诞生。智能辅助诊断系统的核心任务是检测异常癌变、病变细胞，异常细胞与正常细胞的区分主要参考细胞核的面积、异形程度和细胞质的纹理等指标特征。从技术实现层面分析，这些指标特征的计算依赖于细胞质与细胞核的分割效果，因此，细胞的精确分割有助于提高异常细胞检出率。
在宫颈细胞的精确分割任务中，存在的困难因素主要有：(1)部分细胞核与细胞浆或背景的颜色相近，边界区分不明显；(2)存在粘连或重叠细胞、中性粒、杂质、黏液附着在细胞上等复杂情况；(3)获取宫颈图像时受到光照不均、聚焦模糊的影响。针对上述问题，本文提出一种利用生成边界位置指导宫颈细胞分割的方法。Ce-GAN网络由改进的分水岭算法、GAN、Cenet网络组成。本文方法首先利用改进的分水岭算法获取细胞质粗糙轮廓；然后往GAN的损失函数中加入分割指标，利用GAN网络基于细胞质粗糙轮廓生成细胞质精细轮廓；最后由Cenet网络负责细胞核与细胞质的分割，将GAN生成的细胞质精细轮廓作为边界位置信息，引入Cenet网络的训练中，约束其分割出的细胞质轮廓边界。
发明内容
本发明的目的是实现宫颈细胞的精确分割，为此提供一种利用生成边界位置指导宫颈细胞分割的方法，Ce-GAN兼具分水岭算法、GAN网络、Cenet网络的优势，引入边界位置指导因子，用于约束细胞质边界的分割，达到将宫颈细胞图像准确分割为细胞核、细胞质、背景三类的目的，完成宫颈细胞图像的精确分割任务。
上述发明目的主要是通过以下技术方案实现的：
S1、采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；
使用数字化全景扫描仪对宫颈细胞病理片进行扫描，获取到宫颈细胞全景图；裁剪全景图，获得宽高均相等的小图像；使用标注软件对每张小图像进行标注，获得细胞核位置与细胞质轮廓的标记文件；读取标记文件，通过编程为每一张小图像生成对应的掩膜图，掩模图包括两种：一种仅有细胞质和背景两类，另一种在前者基础上添加细胞核类。
S2、构建Ce-GAN网络结构；
Ce-GAN由粗分割模块、指导因子生成模块、细分割模块组成；其中，粗分割模块由改进后的分水岭算法构成，对输入的真实细胞图像进行二值化、去噪、分水岭、区域合并处理后，生成细胞质粗糙轮廓的二值图；指导因子生成模块由GAN网络构成，通过对该模块损失函数的修改，融入分割效果评价指标，完成从细胞质粗糙轮廓到细胞质精细轮廓的生成；细分割模块由Cenet网络构成，添加细胞质精细轮廓作为细胞质分割的边界约束条件，完成对宫颈细胞的细胞核、细胞质分割。
S3、使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；
Ce-GAN网络的粗分割模块对宫颈细胞具体识别过程描述如下：
S3-1输入宫颈细胞小图像；
S3-2利用从HSV颜色空间通道提取的信息，对宫颈细胞小图像进行二值化；
S3-3利用Canny算子提取细胞轮廓，结合开运算、闭运算、连通域算法等形态学方法对二值图去噪；
S3-4根据二值图，生成每个像素点关于前景(细胞区域)与背景(非细胞区域)的标注信息。
S3-5利用分水岭算法处理宫颈细胞小图像，获得多个区域；
S3-6计算每个区域的平均灰度值和每个区域之间的相邻关系；
S3-7对满足一定条件的区域进行合并，具体条件为：(a)两个区域间的平均灰度小于预设灰度阈值；(b)两个区域具有相邻关系；(c)两个区域同为前景标注或背景标注；
S3-8根据区域合并后的轮廓信息，生成并输出细胞质粗糙轮廓的二值图；
S4、制作Ce-GAN的数据集；
将同一张小图像的细胞质标注的真实轮廓掩模图与步骤S2获得的细胞质粗糙轮廓掩模图成对组合；对每组掩模图进行简易的数据增强，添加翻转、尺寸缩放、边缘锐化操作以扩充数据，作为Ce-GAN的数据集；按照一定比例将Ce-GAN的数据集划分为Ce-GAN的训练集、测试集。
S5、构造Ce-GAN网络指导因子生成模块的损失函数；
在Ce-GAN网络的损失计算时，加入常见的语义分割评价指标平均交并比(MeanIntersection over Union,MIoU)和豪斯多夫距离(Hausdorff distance)；其中，MIoU侧重于描述预测图像的内部填充情况，Hausdorff distance侧重于描述预测图像的分割边界情况；
交并比(Intersection over Union,IoU)将真实标注图像与模型预测图像看作两个集合，计算两个集合的交集和并集的比值，MIoU则是计算所有类的IoU平均值，计算公式如下：
Figure BDA0003040890170000031
其中，k+1是类别个数(包含空类)，pii表示真实值为i、预测为i的像素点个数，pij表示真实值为i、预测为j的像素点个数，pji表示真实值为j、预测为i的像素点个数；
Hausdorff distance常用于描述两组点集之间的相似程度，定义如下：
H(A,B)＝max(h(A,B),h(B,A)) (2)
Figure BDA0003040890170000032
Figure BDA0003040890170000033
其中，h(A,B)代表从点集A到点集B的单向Hausdorff距离，实现时首先计算点ai与点bj之间的距离||ai-bj||，点ai属于点集A，点bj属于点集B，且满足点ai与点bj距离最近的条件，然后将最大的||ai-bj||距离作为h(A,B)的值；h(B,A)代表从点集B到点集A的单向Hausdorff距离，计算方法同h(A,B)；||·||为点集A与点集B间的距离范式，此处采用二维空间下的欧式距离(Euclidean Distance)进行计算，具体公式如下：
Figure BDA0003040890170000041
GAN的生成器和判别器单独交替迭代训练，它的损失函数需要考虑到生成器和判别器间的博弈过程，具体公式如下：
Figure BDA0003040890170000042
其中，
Figure BDA0003040890170000043
表示真实数据的概率，
Figure BDA0003040890170000044
表示生成数据的概率；
Ce-GAN的损失函数LCe-GAN在
Figure BDA0003040890170000045
的基础上，更新生成器评价相关的G(z)函数，具体公式为：
Figure BDA0003040890170000046
其中，Norm代表归一化操作。
S6、训练Ce-GAN的生成器模型，并利用Ce-GAN的生成器模型获得细胞质的边界位置；
将Ce-GAN训练集中的细胞质真实轮廓图与对应的细胞质粗糙轮廓图成组输入到Ce-GAN网络的指导因子生成模块中，循环训练；训练时，通过生成器完成从细胞质粗糙轮廓到细胞质精细轮廓的生成，通过判别器分辨并学习生成器生成的细胞质精细轮廓与细胞质真实标注轮廓之间的差异，通过Ce-GAN的loss损失函数指导模型训练，不断调节模型参数以达到最佳效果；最终获得Ce-GAN的生成器模型；将测试集中宫颈细胞质粗糙轮廓二值图输入到训练好的Ce-GAN的生成器模型中，生成对应的细胞质精细轮廓二值图，作为边界位置信息。
S7、引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割；
将Ce-GAN训练集中具有细胞核、细胞质、背景三类的标注轮廓图作为Ce-GAN网络的细分割模块的输入，同时，引入边界位置信息作为细分割模型的指导因子，约束该模型生成的细胞质轮廓边缘；
细分割模块的损失函数Lloss的具体公式如下：
Lloss＝Ldice+Lboundary+Lreg (8)
Figure BDA0003040890170000051
Figure BDA0003040890170000052
Figure BDA0003040890170000053
其中，Ldice为Dice系数，N为像素点个数，p(k,i)∈[0,1]和g(k,i)∈{0，1}分别代表该像素点属于第k类的预测概率和该像素点的真实标签类别，K为类别数，
Figure BDA0003040890170000054
是第k类的权重；Lboundary为边界损失函数，xg为细胞质精细轮廓的边界位置，xe为模型预测的细胞质轮廓边界位置，σ是标准差，PD(x)是细胞质精细轮廓的边界位置的狄拉克函数；Lreg为正则化损失；
基于Lloss不断调节细分割模型参数以达到最佳效果，最终获得Ce-GAN的细分割模型；使用细分割模型对宫颈细胞图像进行分割。
发明效果
本发明的上述技术方案的有益效果如下：本发明提出一种利用生成边界位置指导宫颈细胞分割的方法，该方法兼并改进的分水岭算法、GAN网络、Cenet网络的优势，使用GAN网络生成的细胞质轮廓作为Cenet分割模型训练时的边界约束条件，将宫颈细胞图像分割为细胞核、细胞质、背景三类，使得分割结果更为精确。
附图说明
图1为Ce-GAN的分割流程图；
图2为Ce-GAN粗分割模块流程图；
图3为Ce-GAN指导因子生成模块损失结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种利用生成边界位置指导宫颈细胞分割的方法，主要包含以下步骤：
S1.采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；
S2.构建Ce-GAN网络结构；
S3.使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；
S4.制作Ce-GAN的数据集；
S5.构造Ce-GAN网络指导因子生成模块的损失函数；
S6.训练Ce-GAN的生成器模型，并利用生成器模型获得细胞质的边界位置；
S7.引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割。
本发明实施例中，首先从大量的宫颈细胞病理图像中选择大量的细胞数据，并对数据进行细胞核、细胞质的标注，制作相应的掩膜图。然后，使用Ce-GAN中的粗分割模块对宫颈细胞小图提取细胞质粗糙轮廓，使用Ce-GAN中的指导因子生成模块在细胞质粗糙轮廓的基础上生成细胞质精细轮廓，作为边界位置信息。最后，将边界位置信息引入到Ce-GAN的细分割模块中加以利用，使用细分割模型对宫颈细胞图像进行分割。根据任务特点和模型结构设计模型损失函数、引入边界位置信息，均可有效地改善模型的分割效果。
下面对本发明实施例进行详细的说明：
如图1所示，本发明的实现流程如下：
S1、采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；
使用数字化全景扫描仪扫描100张宫颈细胞病理片，得到宫颈细胞的原始全景图。对全景图进行裁剪，获得宽高均为512的宫颈细胞小图像，从中挑选出具有代表性的10000张小图像作为标注对象，它们包括单细胞、重叠细胞、杂质、微生物感染等多种真实而复杂的情况。
使用标注软件Labelme对10000张小图像进行标注，获得每张小图像的标记文件，文件中含有该图像的细胞核位置、细胞质精细轮廓。通过编程读取标记文件，生成小图像对应的掩膜图，总共20000张。掩模图包括两种：第一种仅有细胞质和背景两类标记，共10000张，第二种具有细胞核、细胞质、背景三类标记，共10000张。
S2、构建Ce-GAN网络结构；
利用Pytorch框架实现Ce-GAN网络结构，网络融合了改进后的分水岭算法、修改损失函数的GAN网络、Cenet网络。
S3、使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；
粗分割模块的分割流程如图2所示，具体步骤描述如下：
S3-1使用HSV颜色空间通道依次读取10000张宫颈细胞小图像，从H、S、V三通道提取初步的轮廓信息，粗略区分前景(指细胞及其内部)与背景区域，获得宫颈细胞小图像对应的二值图。
S3-2使用Canny算子提取二值图中的细胞轮廓，使用形态学方法中的开运算、闭运算填补细胞轮廓内部的空洞、消除细胞轮廓的部分毛刺，使用形态学方法中的连通域算法消除面积较小的碎片区域，完成对二值图的去噪。
S3-3利用去噪后的二值图，对宫颈细胞小图像中每个像素点进行标注，若该像素点属于前景区域，则将前景/背景标注位置为1，若属于背景区域，则将前景/背景标注位置为0。
S3-4使用分水岭算法依次对10000张宫颈细胞小图像进行分割，调节分割阈值为0.5，获得分水岭分割区域图。
S3-5对每一张分水岭分割区域图中的每个区域进行计算，获得该区域的关键信息：(1)该区域的平均灰度值；(2)该区域与图中所有其他区域之间的距离关系，若为相邻区域，则将位置标志位置为1，反之置为0。
S3-6对满足一定条件的区域进行合并，具体条件为：(1)两个区域间的平均灰度小于预设灰度阈值，实验时将灰度阈值设置为整张图的平均灰度值；(2)两个区域具有相邻关系；(3)两个区域同为前/背景标注位的值相等。
S3-7根据区域合并后的轮廓信息，结合去噪后的二值图，生成细胞质粗糙轮廓的二值图并输出。
S4、制作Ce-GAN的数据集；
将同一张小图像的细胞质标注的真实轮廓掩模图与步骤S2获得的细胞质粗糙轮廓掩模图成对组合，获得10000组掩膜图。对每组掩模图进行简易的数据增强以扩充数据，具体操作包括：随机翻转、尺寸缩放、边缘锐化。经过数据增强后，原数据扩充一倍，作为Ce-GAN的数据集。按照4：1的比例，将Ce-GAN的数据集划分为训练集、测试集。
S5、构造Ce-GAN网络指导因子生成模块的损失函数；
Ce-GAN的指导因子生成模块的损失结构如图3所示。在Ce-GAN网络的损失计算时，加入常见的语义分割评价指标平均交并比(Mean Intersection over Union,MIoU)和豪斯多夫距离(Hausdorff distance)；其中，MIoU侧重于描述预测图像的内部填充情况，Hausdorff distance侧重于描述预测图像的分割边界情况；
交并比(Intersection over Union,IoU)将真实标注图像与模型预测图像看作两个集合，计算两个集合的交集和并集的比值，MIoU则是计算所有类的IoU平均值，计算公式如下：
Figure BDA0003040890170000081
其中，k+1是类别个数(包含空类)，pii表示真实值为i、预测为i的像素点个数，pij表示真实值为i、预测为j的像素点个数，pji表示真实值为j、预测为i的像素点个数；
Hausdorff distance常用于描述两组点集之间的相似程度，定义如下：
H(A,B)＝max(h(A,B),h(B,A)) (13)
Figure BDA0003040890170000082
Figure BDA0003040890170000083
其中，h(A,B)代表从点集A到点集B的单向Hausdorff距离，实现时首先计算点ai与点bj之间的距离||ai-bj||，点ai属于点集A，点bj属于点集B，且满足点ai与点bj距离最近的条件，然后最大的||ai-bj||距离作为h(A,B)的值；h(B,A)代表从点集B到点集A的单向Hausdorff距离，计算方法同h(A,B)；||·||为点集A与点集B间的距离范式，此处采用二维空间下的欧式距离(Euclidean Distance)进行计算，具体公式如下：
Figure BDA0003040890170000091
GAN的生成器和判别器是单独交替迭代训练，它的损失函数需要考虑到生成器和判别器间的博弈过程，具体公式如下：
Figure BDA0003040890170000092
其中，
Figure BDA0003040890170000093
表示真实数据的概率，
Figure BDA0003040890170000094
表示生成数据的概率；
Ce-GAN的损失函数LCe-GAN在
Figure BDA0003040890170000095
的基础上，更新生成器评价相关的G(z)函数，具体公式为：
Figure BDA0003040890170000096
其中，Norm代表归一化操作。
S6、训练Ce-GAN的生成器模型，并利用Ce-GAN的生成器模型获得细胞质的边界位置；
将Ce-GAN训练集输入到Ce-GAN网络的指导因子生成模块，循环训练。训练时，通过生成器完成从细胞质粗糙轮廓到细胞质精细轮廓的生成，通过判别器分辨并学习生成器生成的细胞质精细轮廓与细胞质真实标注轮廓之间的差异，通过Ce-GAN的loss损失函数指导模型训练，不断调节模型参数以达到最佳效果；最终获得Ce-GAN的生成器模型。
将测试集中宫颈细胞质粗糙轮廓二值图输入训练好的Ce-GAN的生成器模型中，生成对应的细胞质精细轮廓二值图，作为边界位置信息。
S7、引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割；
将Ce-GAN训练集中具有细胞核、细胞质、背景三类的标注轮廓图作为Ce-GAN网络的细分割模块的输入，同时，引入边界位置信息作为细分割模型的指导因子，约束该模型生成的细胞质轮廓边缘。
细分割模块的损失函数Lloss的具体公式如下：
Lloss＝Ldice+Lboundary+Lreg (19)
Figure BDA0003040890170000101
Figure BDA0003040890170000102
Figure BDA0003040890170000103
其中，Ldice为Dice系数，N为像素点个数，p(k,i)∈[0,1]和g(k,i)∈{0，1}分别代表该像素点属于第k类的预测概率和该像素点的真实标签类别，K为类别数，
Figure BDA0003040890170000104
是第k类的权重；Lboundary为边界损失函数，xg为细胞质精细轮廓的边界位置，xe为模型预测的细胞质轮廓边界位置，σ是标准差，PD(x)是细胞质精细轮廓的边界位置的狄拉克函数；Lreg为正则化损失；
基于Lloss不断调节细分割模型参数以达到最佳效果，最终获得Ce-GAN的细分割模型；使用细分割模型对宫颈细胞图像进行分割。

Claims (8)

1.一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，包含如下步骤：
S1.采集宫颈细胞图像，标注细胞核位置与细胞质轮廓；
S2.构建Ce-GAN网络结构；
S3.使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割；
S4.制作Ce-GAN的数据集；
S5.构造Ce-GAN网络指导因子生成模块的损失函数；
S6.训练Ce-GAN的生成器模型，并利用生成器模型获得细胞质的边界位置；
S7.引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割。
2.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S1中采集宫颈细胞图像，标注细胞核位置与细胞质轮廓，具体为：
使用数字化全景扫描仪对宫颈细胞病理片扫描，获取到宫颈细胞全景图；裁剪全景图，获得宽高均相等的小图像；使用标注软件对每张小图像进行标注，获得细胞核位置与细胞质精细轮廓的标记文件；读取标记文件，通过编程为每一张小图像生成对应的掩膜图，掩模图包括两种：一种仅有细胞质和背景两类，另一种在前者基础上添加细胞核类。
3.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S2中构建Ce-GAN网络结构，具体为：
Ce-GAN由粗分割模块、指导因子生成模块、细分割模块组成；其中，粗分割模块由改进后的分水岭算法构成，对输入的真实细胞图像进行二值化、去噪、分水岭、区域合并处理后，生成细胞质粗糙轮廓的二值图；指导因子生成模块由GAN网络构成，通过对该模块损失函数的修改，融入分割效果评价指标，完成从细胞质粗糙轮廓到细胞质精细轮廓的生成；细分割模块由Cenet网络构成，添加细胞质精细轮廓作为细胞质分割的边界约束条件，完成对宫颈细胞的细胞核、细胞质分割。
4.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S3中使用Ce-GAN网络的粗分割模块对细胞图像进行初步分割，具体为：
Ce-GAN网络的粗分割模块对宫颈细胞具体识别过程如下：
S3-1输入宫颈细胞小图像；
S3-2利用从HSV颜色空间通道提取的信息，对宫颈细胞小图像进行二值化；
S3-3利用Canny算子提取细胞轮廓，结合开运算、闭运算、连通域算法等形态学方法对二值图去噪；
S3-4根据二值图，生成每个像素点关于前景(细胞区域)与背景(非细胞区域)的标注信息。
S3-5利用分水岭算法处理宫颈细胞小图像，获得多个区域；
S3-6计算每个区域的平均灰度值和每个区域之间的相邻关系；
S3-7对满足一定条件的区域进行合并，具体条件为：(a)两个区域间的平均灰度小于预设灰度阈值；(b)两个区域具有相邻关系；(c)两个区域同为前景标注或背景标注；
S3-8根据区域合并后的轮廓信息，生成并输出细胞质粗糙轮廓的二值图。
5.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S4制作Ce-GAN的数据集，具体为：
将同一张小图像的细胞质标注的真实轮廓掩模图与步骤S2获得的细胞质粗糙轮廓掩模图成对组合；对每组掩模图进行简易的数据增强，添加翻转、尺寸缩放、边缘锐化操作以扩充数据，作为Ce-GAN的数据集；按照一定比例将Ce-GAN的数据集划分为Ce-GAN的训练集、测试集。
6.如权利要求1所述一种利用Ce-GAN生成边界位置指导因子的宫颈细胞质分割方法，其特征在于，步骤S5构造Ce-GAN网络指导因子生成模块的损失函数，具体为：
在Ce-GAN网络的损失计算时，加入常见的语义分割评价指标平均交并比(MeanIntersection over Union,MIoU)和豪斯多夫距离(Hausdorff distance)；其中，MIoU侧重于描述预测图像的内部填充情况，Hausdorff distance侧重于描述预测图像的分割边界情况；
交并比(Intersection over Union,IoU)将真实标注图像与模型预测图像看作两个集合，计算两个集合的交集和并集的比值，MIoU则是计算所有类的IoU平均值，侧重于描述预测图像的内部填充情况，计算公式如下：
Figure FDA0003040890160000031
其中，k+1是类别个数(包含空类)，pii表示真实值为i、预测为i的像素点个数，pij表示真实值为i、预测为j的像素点个数，pji表示真实值为j、预测为i的像素点个数；
Hausdorff distance常用于描述两组点集之间的相似程度，侧重于描述预测图像的分割边界情况，定义如下：
H(A,B)＝max(h(A,B),h(B,A)) (2)
Figure FDA0003040890160000032
Figure FDA0003040890160000033
其中，h(A,B)代表从点集A到点集B的单向Hausdorff距离，实现时首先计算点ai与点bj之间的距离||ai-bj||，点ai属于点集A，点bj属于点集B，且满足点ai与点bj距离最近的条件，然后将最大的||ai-bj||距离作为h(A,B)的值；h(B,A)代表从点集B到点集A的单向Hausdorff距离，计算方法同h(A,B)；||·||为点集A与点集B间的距离范式，此处采用二维空间下的欧式距离(Euclidean Distance)进行计算，具体公式如下：
Figure FDA0003040890160000034
GAN的生成器和判别器单独交替迭代训练，它的损失函数需要考虑到生成器和判别器间的博弈过程，具体公式如下：
Figure FDA0003040890160000035
其中，
Figure FDA0003040890160000036
表示真实数据的概率，
Figure FDA0003040890160000037
表示生成数据的概率；
Ce-GAN的损失函数LCe-GAN在
Figure FDA0003040890160000038
的基础上，更新生成器评价相关的G(z)函数，具体公式为：
Figure FDA0003040890160000039
其中，Norm代表归一化操作。
7.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S6训练Ce-GAN的生成器模型，并利用Ce-GAN的生成器模型获得细胞质的边界位置，具体为：
将Ce-GAN训练集中的细胞质真实轮廓图与对应的细胞质粗糙轮廓图成组输入到Ce-GAN网络的指导因子生成模块中，循环训练；训练时，通过生成器完成从细胞质粗糙轮廓到细胞质精细轮廓的生成，通过判别器分辨并学习生成器生成的细胞质精细轮廓与细胞质真实标注轮廓之间的差异，通过Ce-GAN的loss损失函数指导模型训练，不断调节模型参数以达到最佳效果；最终获得Ce-GAN的生成器模型；将测试集中宫颈细胞质粗糙轮廓二值化图像输入到训练好的Ce-GAN的生成器模型中，生成对应的细胞质精细轮廓二值化图像，作为边界位置信息。
8.如权利要求1所述一种利用生成边界位置指导宫颈细胞分割的方法，其特征在于，步骤S7引入边界位置信息作为Ce-GAN网络的细分割模块的指导因子，训练Ce-GAN网络的细分割模型，并使用细分割模型对宫颈细胞图像进行分割，具体为：
将Ce-GAN训练集中具有细胞核、细胞质、背景三类的标注轮廓图作为Ce-GAN网络的细分割模块的输入，同时，引入边界位置信息作为细分割模型的指导因子，约束该模型生成的细胞质轮廓边缘；
细分割模块的损失函数Lloss的具体公式如下：
Lloss＝Ldice+Lboundary+Lreg (8)
Figure FDA0003040890160000041
Figure FDA0003040890160000042
Figure FDA0003040890160000043
其中，Ldice为Dice系数，N为像素点个数，p(k,i)∈[0,1]和g(k,i)∈{0，1}分别代表该像素点属于第k类的预测概率和该像素点的真实标签类别，K为类别数，
Figure FDA0003040890160000044
是第k类的权重；Lboundary为边界损失函数，xg为细胞质精细轮廓的边界位置，xe为模型预测的细胞质轮廓边界位置，σ是标准差，PD(x)是细胞质精细轮廓的边界位置的狄拉克函数；Lreg为正则化损失；
基于Lloss不断调节细分割模型参数以达到最佳效果，最终获得Ce-GAN的细分割模型；使用细分割模型对宫颈细胞图像进行分割。
CN202110457201.4A 2021-04-27 2021-04-27 一种利用生成边界位置指导宫颈细胞分割的方法 Pending CN113160185A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110457201.4A CN113160185A (zh) 2021-04-27 2021-04-27 一种利用生成边界位置指导宫颈细胞分割的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110457201.4A CN113160185A (zh) 2021-04-27 2021-04-27 一种利用生成边界位置指导宫颈细胞分割的方法

Publications (1)

Publication Number Publication Date
CN113160185A true CN113160185A (zh) 2021-07-23

Family

ID=76871334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110457201.4A Pending CN113160185A (zh) 2021-04-27 2021-04-27 一种利用生成边界位置指导宫颈细胞分割的方法

Country Status (1)

Country Link
CN (1) CN113160185A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658117A (zh) * 2021-08-02 2021-11-16 浙江大学 一种基于深度学习的沥青混合料中集料边界识别与划分方法
CN116309280A (zh) * 2022-12-16 2023-06-23 上海药明康德新药开发有限公司 一种淋巴细胞标注方法和系统
CN116543385A (zh) * 2023-07-05 2023-08-04 江西农业大学 一种水稻叶片细胞形态学智能检测方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658117A (zh) * 2021-08-02 2021-11-16 浙江大学 一种基于深度学习的沥青混合料中集料边界识别与划分方法
CN113658117B (zh) * 2021-08-02 2023-09-15 安徽省交通控股集团有限公司 一种基于深度学习的沥青混合料中集料边界识别与划分方法
CN116309280A (zh) * 2022-12-16 2023-06-23 上海药明康德新药开发有限公司 一种淋巴细胞标注方法和系统
CN116543385A (zh) * 2023-07-05 2023-08-04 江西农业大学 一种水稻叶片细胞形态学智能检测方法及装置
CN116543385B (zh) * 2023-07-05 2023-09-05 江西农业大学 一种水稻叶片细胞形态学智能检测方法及装置

Similar Documents

Publication Publication Date Title
CN110472616B (zh) 图像识别方法、装置、计算机设备及存储介质
US10839510B2 (en) Methods and systems for human tissue analysis using shearlet transforms
US11562491B2 (en) Automatic pancreas CT segmentation method based on a saliency-aware densely connected dilated convolutional neural network
CN111626190A (zh) 基于聚类分区进行刻度识别的水位监测方法
CN113160185A (zh) 一种利用生成边界位置指导宫颈细胞分割的方法
CN111986150B (zh) 一种数字病理图像的交互式标注精细化方法
CN113723573B (zh) 基于自适应比例学习的肿瘤组织病理分类系统及方法
CN112184657A (zh) 一种肺结节自动检测方法、装置及计算机系统
CN114332650B (zh) 一种遥感图像道路识别方法及系统
CN112036231B (zh) 一种基于车载视频的车道线和路面指示标志检测与识别方法
EP3848472A2 (en) Methods and systems for automated counting and classifying microorganisms
CN113313680B (zh) 一种结直肠癌病理图像预后辅助预测方法及系统
CN112990214A (zh) 一种医学图像特征识别预测模型
CN111709929A (zh) 一种肺部癌变区域分割与分类检测系统
CN115170518A (zh) 基于深度学习和机器视觉的细胞检测方法及系统
CN112365973A (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN111210447B (zh) 一种苏木精-伊红染色病理图像层次分割的方法及终端
CN115909006A (zh) 基于卷积Transformer的乳腺组织图像分类方法及系统
CN115294377A (zh) 一种道路裂缝的识别系统及方法
CN116363647A (zh) 基于深度语义分割网络的肺癌病理组织分型系统
CN114782948A (zh) 一种对宫颈液基细胞学涂片的全局判读方法及系统
US20210398282A1 (en) Digital tissue segmentation using image entropy
CN111353987A (zh) 一种细胞核分割方法及装置
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN115775226B (zh) 基于Transformer的医学图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination