CN111429468A - 细胞核分割方法、装置、设备及存储介质 - Google Patents
细胞核分割方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111429468A CN111429468A CN202010190989.2A CN202010190989A CN111429468A CN 111429468 A CN111429468 A CN 111429468A CN 202010190989 A CN202010190989 A CN 202010190989A CN 111429468 A CN111429468 A CN 111429468A
- Authority
- CN
- China
- Prior art keywords
- cell nucleus
- segmentation
- image
- result
- contour detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000003855 cell nucleus Anatomy 0.000 title claims abstract description 306
- 230000011218 segmentation Effects 0.000 title claims abstract description 224
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 106
- 238000000605 extraction Methods 0.000 claims description 23
- 210000004027 cell Anatomy 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 21
- 210000001519 tissue Anatomy 0.000 description 14
- 238000012549 training Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004185 liver Anatomy 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种细胞核分割方法、装置、设备及存储介质，从显微图像中提取特征图像后，不仅利用特征图像进行细胞核分割，还利用特征图像进行细胞核轮廓检测，然后利用检测到的细胞核轮廓对细胞核分割结果进行修正，从而提高细胞核分割结果的准确率。
Description
技术领域
本申请涉及计算机视觉技术领域，更具体地说，涉及一种细胞核分割方法、装置、设备及存储介质。
背景技术
细胞核分割是在显微图像上划分每个细胞核的边界的任务，本质上从属于计算机视觉领域中的实例分割。目前较常用的细胞分割方法是利用端到端的网络进行细胞核分割，即将显微图像输入识别网络，得到细胞核分割结果。
然而，目前的这种细胞核分割方法的分割准确率较低。
发明内容
本申请的目的是提供一种细胞核分割方法、装置、设备及存储介质，以克服现有技术中细胞核分割准确率低的问题，具体包括如下技术方案：
一种细胞核分割方法，包括：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
上述方法，优选的，所述利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果，包括：
利用所述细胞核轮廓检测结果中的各个细胞核轮廓对所述初始的细胞核分割结果中的细胞核区域进行分割，得到所述最终的细胞核分割结果。
上述方法，优选的，所述对显微图像进行特征提取，得到特征图像；利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果，包括：
利用分割模型对所述显微图像进行处理，得到所述初始的细胞核分割结果和所述细胞核轮廓检测结果；
所述分割模型具有对所述显微图像进行特征提取，得到特征图像；利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果的能力。
上述方法，优选的，所述利用分割模型对所述显微图像进行处理，包括：
利用所述分割模型的编码器对所述显微图像进行编码，得到所述特征图像；
利用所述分割模型的第一解码器对所述特征图像进行解码，得到所述初始的细胞核分割结果；
利用所述分割模型的第二解码器对所述特征图像进行解码，得到所述细胞核轮廓检测结果。
上述方法，优选的，所述编码器由N个编码块串联构成；所述第一解码器和所述第二解码器均由N个解码块和一个分类块串联构成；
所述N个解码块中的第一个解码块的输入为所述N个编码块中的第N个解码块的输出；
所述N个解码块中的第i个解码块的输入为第i-1个解码块的输出和所述N个编码块中的第N+1-i个解码块的输出；
所述分类块的输入为所述N个解码块中的第N个解码块的输出。
上述方法，优选的，所述分割模型通过如下方法训练得到：
通过所述分割模型对显微图像样本进行特征提取，得到样本特征图像；
通过所述分割模型利用所述样本特征图像进行细胞核分割，得到初始的样本细胞核分割结果；
通过所述分割模型利用所述样本特征图像进行轮廓检测，得到样本细胞核轮廓检测结果；
通过所述分割模型以所述初始的样本细胞核分割结果趋近于所述显微图像样本对应的细胞核标签，所述样本细胞核轮廓检测结果趋近于所述显微图像样本对应的细胞轮廓标签为目标，对所述分割模型进行参数更新。
上述方法，优选的，所述显微图像样本为通过显微扫描得到的第一类显微图像，或者，通过对所述第一类显微图像进行如下任意一种变换得到的第二类显微图像：对称翻转、旋转、缩放、扭曲、动态模糊。
一种细胞核分割装置，包括：
特征提取模块，用于对显微图像进行特征提取，得到特征图像；
分割模块，用于利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
检测模块，用于利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
修正模块，用于利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
一种设备，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的细胞核分割方法的各个步骤。
通过以上方案可知，本申请提供的一种细胞核分割方法、装置、设备及存储介质，从显微图像中提取特征图像后，不仅利用特征图像进行细胞核分割，还利用特征图像进行细胞核轮廓检测，然后利用检测到的细胞核轮廓对细胞核分割结果进行修正，从而提高细胞核分割结果的准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的细胞核分割方法的一种实现流程图；
图2为本申请实施例提供的分割模型的一种架构示意图；
图3为本申请实施例提供的编码器与第一解码器的一种连接示意图；
图4为本申请实施例提供的编码器和第一解码器的一种结构示意图；
图5为本申请实施例提供的对第一类显微图像进行水平翻转或者垂直翻转的一种示例图；
图6为本申请实施例提供的对图5所示第一类显微图像进行顺时针旋转或逆时针旋转的一种示例图；
图7为本申请实施例提供的细胞核分割装置的一种结构示意图；
图8为本申请实施例提供的设备的一种结构示意图。
说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例，能够以除了在这里图示的以外的顺序实施。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的细胞核分割方法的一种实现流程图如图1所示，可以包括：
步骤S11：对显微图像进行特征提取，得到特征图像。
显微图像即为通过显微镜或显微扫描系统对组织切片进行扫描得到数字图像。组织切片可以为人体组织切片或动物组织切片等。
步骤S12：利用上述特征图像进行细胞核分割，得到初始的细胞核分割结果。
进行细胞核分割即为从显微图像中识别出属于细胞核区域的像素。
步骤S13：利用上述特征图像进行轮廓检测，得到细胞核轮廓检测结果。
轮廓检测即为从显微图像中识别出位于细胞核边缘的像素，这些位于细胞核边缘的像素不属于细胞核，但与属于细胞核的像素相邻。
需要说明的是，本申请实施例中，步骤S12与步骤S13的执行顺序不做具体限定，可以先执行步骤S12再执行步骤S13，或者，先执行步骤S13再执行步骤S12，或者，步骤S12与步骤S13同步执行。
步骤S14：利用上述细胞核轮廓检测结果对上述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
初始的细胞核分割结果中可能存在将多个相邻细胞核识别为一个细胞核的情况，为了克服该问题，这里利用上述细胞核轮廓检测结果对上述初始的细胞核分割结果进行修正，以避免将多个相邻细胞核识别为一个细胞核的情况，从而提高细胞核分割的准确率。
在一可选的实施例中，上述利用细胞核轮廓检测结果对初始的细胞核分割结果进行修正，得到最终的细胞核分割结果的一种实现方式可以为：
利用细胞核轮廓检测结果中的各个细胞核轮廓对初始的细胞核分割结果中的细胞核区域进行分割，得到最终的细胞核分割结果。
本申请实施例中，不管是初始的细胞核分割结果，还是细胞核轮廓检测结果，都是以二值图表示，例如，二值图中仅显示黑色(取值为0)和白色(取值为255)，比如，在初始的细胞核分割结果中，黑色表示细胞核，白色表示非细胞核，在细胞核轮廓检测结果中，黑色表示细胞核边缘，白色表示非细胞核边缘；或者，在初始的细胞核分割结果中，白色表示细胞核，黑色表示非细胞核，在细胞核轮廓检测结果中，白色表示细胞核边缘，黑色表示非细胞核边缘。
本申请实施例中，为了利用细胞核轮廓检测结果中的各个细胞核轮廓对初始的细胞核分割结果中的细胞核区域进行分割，将二值图二值化为0和1，其中，0表示黑色，1表示白色，比如，
若在初始的细胞核分割结果中，黑色表示细胞核，白色表示非细胞核，在细胞核轮廓检测结果中，黑色表示细胞核边缘，白色表示非细胞核边缘，则，表示初始的细胞核分割结果二值化后，属于细胞核的黑色像素的取值为0，不属于细胞核的白色像素的取值为1；表示细胞核轮廓检测结果二值化后，属于细胞核边缘的黑色像素的取值为0，不属于细胞核边缘的白色像素的取值为1。
或者，
若在初始的细胞核分割结果中，白色表示细胞核，黑色表示非细胞核，在细胞核轮廓检测结果中，白色表示细胞核边缘，黑色表示非细胞核边缘，则，表示初始的细胞核分割结果二值化后，属于细胞核的白色像素的取值为1，不属于细胞核的黑色像素的取值为0；表示细胞核轮廓检测结果二值化后，属于细胞核边缘的白色像素的取值为1，不属于细胞核黑色边缘的像素的取值为0。
不同的二值化方式，利用细胞核轮廓检测结果中的各个细胞核轮廓对初始的细胞核分割结果中的细胞核区域进行分割的方式可能不同。具体的，
若表示初始的细胞核分割结果二值化后，属于细胞核的像素的取值为0，不属于细胞核的像素的取值为1；表示细胞核轮廓检测结果二值化后，属于细胞核边缘的像素的取值为0，不属于细胞核边缘的像素的取值为1，则利用细胞核轮廓检测结果中的各个细胞核轮廓对初始的细胞核分割结果中的细胞核区域进行分割的一种实现方式可以为：
将表示初始的细胞核分割结果的二值化图(即对表示细胞核分割结果进行二值化得到的图，该图中的元素只有0、1两种取值)取反，再将取反结果与表示细胞核轮廓检测结果的二值化图(即对表示细胞核轮廓检测结果进行二值化得到的图，该图中的元素只有0、1两种取值)进行与操作，对与操作结果再求反，得到最终的细胞核分割结果。
若表示初始的细胞核分割结果二值化后，属于细胞核的像素的取值为1，不属于细胞核的像素的取值为0；表示细胞核轮廓检测结果二值化后，属于细胞核边缘的像素的取值为1，不属于细胞核边缘的像素的取值为0，则利用细胞核轮廓检测结果中的各个细胞核轮廓对初始的细胞核分割结果中的细胞核区域进行分割的一种实现方式可以为：
将表示细胞核轮廓检测结果的二值化图取反，取反结果再与表示初始的细胞核分割结果的二值化图求与，得到最终的细胞核分割结果。
不管是以哪种方式对初始的细胞核分割结果和细胞核轮廓检测结果进行二值化，在利用上述方式得到最终的细胞核分割结果后，得到的最终的细胞核分割结果也是二值化图，具体在显示时，为便于区分，可以将取值为1的像素恢复为255，取值为0的像素保持为0，从而呈现黑、白的显示效果。
在一可选的实施例中，上述对显微图像进行特征提取，得到特征图像；利用特征图像进行细胞核分割，得到初始的细胞核分割结果；利用特征图像进行轮廓检测，得到细胞核轮廓检测结果的过程可以通过预先训练好的分割模型实现，具体的，可以将显微图像输入预先训练好的分割模型，利用分割模型对显微图像进行处理，得到初始的细胞核分割结果和细胞核轮廓检测结果；
其中，分割模型具有对显微图像进行特征提取，得到特征图像；利用特征图像进行细胞核分割，得到初始的细胞核分割结果；利用特征图像进行轮廓检测，得到细胞核轮廓检测结果的能力。
可选的，分割模型的一种架构示意图如图2所示，可以包括：
编码器21，第一解码器22和第二解码器23；其中，
编码器21用于对显微图像进行编码，得到特征图像；
第一解码器22用于对编码器21输出的特征图像进行解码，得到初始的细胞核分割结果。
第二解码器23用于对编码器21输出的特征图像进行解码，得到细胞核轮廓检测结果。
相应的，上述对显微图像进行特征提取，得到特征图像；利用特征图像进行细胞核分割，得到初始的细胞核分割结果；利用特征图像进行轮廓检测，得到细胞核轮廓检测结果的过程，包括：
利用编码器21对所述显微图像进行编码，得到所述特征图像.
利用第一解码器22对特征图像进行解码，得到初始的细胞核分割结果。
利用第二解码器23对特征图像进行解码，得到细胞核轮廓检测结果。
在一可选的实施例中，编码器21由多个(为便于叙述，即为N个，N大于或等于2)编码块串联构成，第一解码器22由N个解码块和一个分类块串联构成，第二解码器23由N个解码块和一个分类块串联构成，第一解码器22中的N个解码块和第二解码器23中的N个解码块的结构可以相同，也可以不同，第一解码器22和第二解码器23的参数不同。其中，编码器21与第一解码器22的连接方式，和编码器21与第二解码器23的连接方式相同，下面以编码器21与第一解码器22的连接方式为例进行说明编码器21与各个编码器的连接方式。请参阅图3，图3为本申请实施例提供的编码器21与第一解码器22的一种连接示意图，具体为：
上述N个编码块中的第一个编码块的输入为显微图像；
上述N个编码块中的第N个编码块的输出为上述N个解码块中的第一个解码块的输入，即上述N个解码块中的第一个解码块的输入为所述N个编码块中的第N个解码块的输出；
上述N个解码块中的第i(i为大于1的整数)个解码块的输入为第i-1个解码块的输出和上述N个编码块中的第N+1-i个解码块的输出；
上述分类块的输入为上述N个解码块中的第N个解码块的输出。
编码器21与第二解码器23的连接示意图可以参看图3，这里不再赘述。
可选的，为例减少模型中的参数量，提高训练和预测速度，本申请实施例提供的分割模型可以为全卷积神经网络。基于此，请参看图4，图4为本申请实施例提供的编码器21和第一解码器22的一种结构示意图。本申请实施例提供的编码器21中，每个卷积块由两层或三层卷积层和一次池化层组成。比如，编码器21可以包括5个编码块，前两个编码块中的每个编码块均由两层卷积层和一层最大池化层串联组成，后三个编码块中的每个编码块均由三层卷积层和一层最大池化层串联组成，各编码器21中各层的激活函数(图中未示出)可以相同，也可以不同，比如，各层的激活函数可以为线性整流(ReLU)函数。
在一可选的实施例中，卷积层中的卷积核可以为3×3大小的卷积核，最大池化层中的卷积核可以为2×2大小的卷积核。
各个解码块的结构可以相同，如图4所示，每个解码块可以包括一个转置卷积层，一个拼接层和两个卷积层。其中，
转置卷积层的本质是一种有参数的插值放大，具体结构可以使用已有的结构，本申请不做具体限定。
拼接层用于对转置卷积层输出的特征图和对应的编码块输出的特征图进行拼接。
拼接层之后的两个卷积层起到去噪的作用。
可选的，转置卷积层中的卷积核可以为2×2大小的卷积核，拼接层之后的两个卷积层中的卷积核可以为3×3大小的卷积核。各个解码块中，除拼接层没有激活函数外，其它层的激活函数可以相同，也可以不同，比如，其它层的激活函数可以为ReLU函数。
分类块可以包括一个卷积层和一个分类函数层组成。其中，卷积层中的卷积核可以为1×1大小的卷积核，用于将特征图的通道数压缩为1，该卷积层的激活函数也可以为ReLU函数；分类函数层可以为Sigmoid层。
上述实施例中，编码器21中的编码块为串联结构，在一可选的实施例中，编码器21中的编码块也可以采用其它连接结构，比如，采用残差连接(ResNet)结构，或者，使用稠密连接(DenseNet)结构。
需要说明的是，本申请实施例中，除特别说明(比如，转置卷积层)外，所述的“卷积层”均是传统意义的卷积层。
在一可选的实施例中，本申请实施例提供的分割模型可以通过如下方式训练得到：
通过分割模型对显微图像样本进行特征提取，得到样本特征图像。
显微图像样本为用于对分割模型进行训练的显微图像集中的任意一显微图像。
通过分割模型利用样本特征图像进行细胞核分割，得到初始的样本细胞核分割结果。本申请实施例中，将利用显微图像样本得到的初始的细胞核分割结果记为初始的样本细胞核分割结果。
通过分割模型利用样本特征图像进行轮廓检测，得到样本细胞核轮廓检测结果。本申请实施例中，将利用显微图像样本得到的细胞核轮廓检测结果记为样本细胞核轮廓检测结果。
通过分割模型以初始的样本细胞核分割结果趋近于显微图像样本对应的细胞核标签，样本细胞核轮廓检测结果趋近于所述显微图像样本对应的细胞轮廓标签为目标，对分割模型进行参数更新。
可选的，可以利用交叉熵损失函数和Focal Loss损失函数的加权和作为分割模型的总损失函数对分割模型进行训练。其中，交叉熵损失函数用于计算初始的样本细胞核分割结果与显微图像样本对应的细胞核标签的第一差异；Focal Loss损失函数用于计算样本细胞核轮廓检测结果与显微图像样本对应的细胞轮廓标签的第二差异，以降低大量负样本(非细胞核区域的像素)在训练中所占的权重。在训练过程中，以第一差异最小化、第二差异最小化，以及第一差异和第二差异的加权和最小化为目标对分割模型进行参数更新，或者，仅以第一差异和第二差异的加权和最小化为目标对分割模型进行参数更新。可以利用Adam算法进行参数更新，具体更新过程可以参看现有技术，这里不再详述。
在模型训练的过程中，每迭代一次，可以通过三个质量指标来判断模型是否收敛了。三个质量指标分别为：用于监测细胞核分割结果的质量的第一质量指标，用于监测细胞核轮廓检测结果的质量第二质量指标，以及用于监测最终的细胞核分割结果的质量的第三质量指标。
可选的，第一质量指标可以为Dice系数，该指标的取值范围是0～1，越接近于1表征质量越好；第二质量指标可以为豪斯多夫距离(Hausdorff Distance)，该指标的取值范围是0～∞，越接近于0表征质量越好；第三质量指标可以是平均精度均值(Mean AveragePrecision，MAP)，该指标的取值范围是0～1，越接近于1表征质量越好。
在模型训练的过程中，三个质量指标均会越来越好，即Dice系数和MAP均逐渐趋近于1，而豪斯多夫距离逐渐趋近于0。本实施例中，当三个质量指标连续若干次(比如10次)保持不变，或连续若干次变化率小于对应的阈值，说明分割模型收敛了，可以停止训练，并投入实际使用了。
本申请实施例中，显微图像样本为通过显微镜或显示扫描系统扫描得到的第一类显微图像，或者，通过对第一类显微图像进行如下任意一种变换得到的第二类显微图像：对称翻转、旋转、缩放、扭曲、动态模糊。也就是说，用于训练分割模型的训练样本中包括两类显微图像，一类为直接通过显微镜或显示扫描系统扫描得到的第一类显微图像，另一类为通过对第一类显微图像进行变换得到的第二类显微图像。
其中，对第一类显微图像进行对称翻转可以为：对第一类显微图形进行水平翻转，或者，进行垂直翻转。如图5所示，为对第一类显微图像进行水平翻转或者垂直翻转的一种示例图。需要说明的是，图5所示示例中的三角形并不是实际的显微图像中的内容，这里为了便于说明图像变换前后的关联关系，用三角形进行说明。
对第一类显微图像进行对称旋转可以为顺时针旋转或逆时针旋转。如图6所示，为本申请实施例提供的对图5所示第一类显微图像进行顺时针旋转或逆时针旋转的一种示例图。
对第一类显微图像进行扭曲是指对第一类显微图像进行非线性形变。
对第一类显微图像进行动态模糊时，可以利用已有的动态模糊算法对第一类显示图像进行处理，使得第一类显微图像呈现动态模糊的效果。
需要说明的是，第一类显微图像样本对应的细胞核标签和细胞轮廓标签均为与第一类显微图像样本尺寸一样的二值图，该二值图由病理医生绘制，二值图的尺寸与第一类显微图像样本的尺寸一致。也就是说，若第一类显微图像样本宽为W，高为H，则该第一类显微图像对应的细胞核标签和细胞轮廓标签也都是宽为W，高为H的二值图。具体的，
对于第一类显微图像上的每一个像素，若该像素在细胞核上，则细胞核标签上相同位置的像素标记为白色，否则标记为黑色；若该像素在细胞核的边缘上，则细胞核轮廓标签上相同位置的像素标记为白色，否则标记为黑色。
或者，
对于第一类显微图像上的每一个像素，若该像素在细胞核上，则细胞核标签上相同位置的像素标记为黑色，否则标记为白色；若该像素在细胞核的边缘上，则细胞核轮廓标签上相同位置的像素标记为黑色，否则标记为白色。
在对第一类显微图像进行变换得到第二类显微图像时，对应的细胞核标签和细胞轮廓标签也需进行相同的变换。比如，如果对第一类显示图像进行水平翻转得到第二类显微图像，则需要对第一类显微图像对应的细胞核标签进行水平翻转，得到第二类显微图像对应的细胞核标签，对第一类显微图像对应的细胞轮廓标签进行水平翻转，得到第二类显微图像对应的细胞轮廓标签。
通过对第一类显微图像进行对称翻转或旋转，可以模拟显微扫描过程中切片移动导致的细胞核位置变化；通过对第一类显微图像进行缩放，可以模拟不同细胞核的尺寸差异；通过对第一类显微图像进行扭曲，能够模拟细胞核在制片过程中受力导致的形态变化；通过对第一类显微图像进行动态模糊，可以模拟显微扫描过程中对焦不准导致的模糊。
为了提高细胞核分割结果的精度，用于训练分割模型的显微图像集中的显微图像可以为同种组织的组织切片，比如，都是人体胃部的组织切片，或者，都是人体口腔的组织切片，或者，都是兔子的肝脏的组织切片等等。基于此得到的分割模型可以专用于特定组织的细胞核分割。
比如，若用于训练分割模型的显微图像集中的显微图像都是人体胃部的组织切片，则训练得到的分割模型仅用于人体胃部的组织切片的细胞分割。
若用于训练分割模型的显微图像集中的显微图像都是兔子的肝脏的组织切片，则训练得到的分割模型仅用于兔子的肝脏的组织切片的细胞分割，等等。
与方法实施例相对应，本申请实施例还提供一种细胞核分割装置，本申请实施例提供的细胞核分割装置的一种结构示意图如图7所示，可以包括：
特征提取模块71，分割模块72，检测模块73和修正模块74；其中，
特征提取模块71用于对显微图像进行特征提取，得到特征图像；
分割模块72用于利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
检测模块73用于利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
修正模块74用于利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
本申请实施例提供的细胞核分割装置，从显微图像中提取特征图像后，不仅利用特征图像进行细胞核分割，还利用特征图像进行细胞核轮廓检测，然后利用检测到的细胞核轮廓对细胞核分割结果进行修正，以避免将多个相邻细胞核识别为一个细胞核的情况，从而提高细胞核分割结果的准确率。
在一可选的实施例中，修正模块74具体用于：利用所述细胞核轮廓检测结果中的各个细胞核轮廓对所述初始的细胞核分割结果中的细胞核区域进行分割，得到所述最终的细胞核分割结果。
在一可选的实施例中，特征提取模块71具体用于，通过分割模型对显微图像进行特征提取，得到特征图像；具体的，特征提取模块71可以通过分割模型的编码器对显微图像进行编码，得到特征图像。
分割模块72具体用于，通过所述分割模型利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；具体的，分割模块72可以通过所述分割模型的第一编码器对所述特征图像进行解码，得到初始的细胞核分割结果。
检测模块73具体用于，通过所述分割模型利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；具体的，检测模块73可以通过所述分割模型的第二解码模块对所述特征图像进行解码，得到细胞核轮廓检测结果。
在一可选的实施例中，所述编码器由N个编码块串联构成；所述第一解码器和所述第二解码器均由N个解码块和一个分类块串联构成；
所述N个解码块中的第一个解码块的输入为所述N个编码块中的第N个解码块的输出；
所述N个解码块中的第i个解码块的输入为第i-1个解码块的输出和所述N个编码块中的第N+1-i个解码块的输出；
所述分类块的输入为所述N个解码块中的第N个解码块的输出。
在一可选的实施例中，所述细胞核分割装置还可以包括训练模块，具体用于：
通过所述分割模型对显微图像样本进行特征提取，得到样本特征图像；
通过所述分割模型利用所述样本特征图像进行细胞核分割，得到初始的样本细胞核分割结果；
通过所述分割模型利用所述样本特征图像进行轮廓检测，得到样本细胞核轮廓检测结果；
通过所述分割模型以所述初始的样本细胞核分割结果趋近于所述显微图像样本对应的细胞核标签，所述样本细胞核轮廓检测结果趋近于所述显微图像样本对应的细胞轮廓标签为目标，对所述分割模型进行参数更新。
在一可选的实施例中，所述显微图像样本为通过显微扫描得到的第一类显微图像，或者，通过对所述第一类显微图像进行如下任意一种变换得到的第二类显微图像：对称翻转、旋转、缩放、扭曲、动态模糊。
与方法实施例相对应，本申请还提供一种设备，该设备的一种结构示意图如图8所示，可以包括：
存储器81，用于至少存储一组指令集；
处理器82，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
可选的，所述指令集的细化功能和扩展功能可参照上文描述，这里不再赘述。
所述设备可以是计算机、笔记本电脑、智能手机等。
本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
可选的，所述指令集的细化功能和扩展功能可参照上文描述，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
应当理解，本申请实施例中，从权、各个实施例、特征可以互相组合结合，都能实现解决前述技术问题。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种细胞核分割方法，其特征在于，包括：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
2.根据权利要求1所述的方法，其特征在于，所述利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果，包括：
利用所述细胞核轮廓检测结果中的各个细胞核轮廓对所述初始的细胞核分割结果中的细胞核区域进行分割，得到所述最终的细胞核分割结果。
3.根据权利要求1所述的方法，其特征在于，所述对显微图像进行特征提取，得到特征图像；利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果，包括：
利用分割模型对所述显微图像进行处理，得到所述初始的细胞核分割结果和所述细胞核轮廓检测结果；
所述分割模型具有对所述显微图像进行特征提取，得到特征图像；利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果的能力。
4.根据权利要求3所述的方法，其特征在于，所述利用分割模型对所述显微图像进行处理，包括：
利用所述分割模型的编码器对所述显微图像进行编码，得到所述特征图像；
利用所述分割模型的第一解码器对所述特征图像进行解码，得到所述初始的细胞核分割结果；
利用所述分割模型的第二解码器对所述特征图像进行解码，得到所述细胞核轮廓检测结果。
5.根据权利要求4所述的方法，其特征在于，所述编码器由N个编码块串联构成；所述第一解码器和所述第二解码器均由N个解码块和一个分类块串联构成；
所述N个解码块中的第一个解码块的输入为所述N个编码块中的第N个解码块的输出；
所述N个解码块中的第i个解码块的输入为第i-1个解码块的输出和所述N个编码块中的第N+1-i个解码块的输出；
所述分类块的输入为所述N个解码块中的第N个解码块的输出。
6.根据权利要求3所述的方法，其特征在于，所述分割模型通过如下方法训练得到：
通过所述分割模型对显微图像样本进行特征提取，得到样本特征图像；
通过所述分割模型利用所述样本特征图像进行细胞核分割，得到初始的样本细胞核分割结果；
通过所述分割模型利用所述样本特征图像进行轮廓检测，得到样本细胞核轮廓检测结果；
通过所述分割模型以所述初始的样本细胞核分割结果趋近于所述显微图像样本对应的细胞核标签，所述样本细胞核轮廓检测结果趋近于所述显微图像样本对应的细胞轮廓标签为目标，对所述分割模型进行参数更新。
7.根据权利要求6所述的方法，其特征在于，所述显微图像样本为通过显微扫描得到的第一类显微图像，或者，通过对所述第一类显微图像进行如下任意一种变换得到的第二类显微图像：对称翻转、旋转、缩放、扭曲、动态模糊。
8.一种细胞核分割装置，其特征在于，包括：
特征提取模块，用于对显微图像进行特征提取，得到特征图像；
分割模块，用于利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
检测模块，用于利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
修正模块，用于利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
9.一种设备，其特征在于，包括：
存储器，用于至少存储一组指令集；
处理器，用于调用并执行所述存储器中的所述指令集，通过执行所述指令集进行以下操作：
对显微图像进行特征提取，得到特征图像；
利用所述特征图像进行细胞核分割，得到初始的细胞核分割结果；
利用所述特征图像进行轮廓检测，得到细胞核轮廓检测结果；
利用所述细胞核轮廓检测结果对所述初始的细胞核分割结果进行修正，得到最终的细胞核分割结果。
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7中任一项所述的细胞核分割方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190989.2A CN111429468B (zh) | 2020-03-18 | 2020-03-18 | 细胞核分割方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010190989.2A CN111429468B (zh) | 2020-03-18 | 2020-03-18 | 细胞核分割方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111429468A true CN111429468A (zh) | 2020-07-17 |
| CN111429468B CN111429468B (zh) | 2024-06-25 |
Family
ID=71549530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010190989.2A Active CN111429468B (zh) | 2020-03-18 | 2020-03-18 | 细胞核分割方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111429468B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
| CN114821046A (zh) * | 2022-03-28 | 2022-07-29 | 深思考人工智能科技(上海)有限公司 | 基于细胞图像进行细胞检测和细胞核分割的方法及系统 |
| CN114998332A (zh) * | 2022-08-02 | 2022-09-02 | 珠海横琴圣澳云智科技有限公司 | 核型异常细胞的确定方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931226A (zh) * | 2016-04-14 | 2016-09-07 | 南京信息工程大学 | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| US20190147215A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | System and method for single channel whole cell segmentation |
| CN109886179A (zh) * | 2019-02-18 | 2019-06-14 | 深圳视见医疗科技有限公司 | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 |
-
2020
- 2020-03-18 CN CN202010190989.2A patent/CN111429468B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931226A (zh) * | 2016-04-14 | 2016-09-07 | 南京信息工程大学 | 基于深度学习的自适应椭圆拟合细胞自动检测分割方法 |
| US20190147215A1 (en) * | 2017-11-16 | 2019-05-16 | General Electric Company | System and method for single channel whole cell segmentation |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109886179A (zh) * | 2019-02-18 | 2019-06-14 | 深圳视见医疗科技有限公司 | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 鲁浩达;徐军;刘利卉;周超;周晓军;张泽林;: "基于深度卷积神经网络的肾透明细胞癌细胞核分割" * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112734755A (zh) * | 2021-03-15 | 2021-04-30 | 四川大学 | 基于3d全卷积神经网络与多任务学习的肺叶分割方法 |
| CN114821046A (zh) * | 2022-03-28 | 2022-07-29 | 深思考人工智能科技(上海)有限公司 | 基于细胞图像进行细胞检测和细胞核分割的方法及系统 |
| CN114821046B (zh) * | 2022-03-28 | 2024-05-03 | 深思考人工智能科技(上海)有限公司 | 基于细胞图像进行细胞检测和细胞核分割的方法及系统 |
| CN114998332A (zh) * | 2022-08-02 | 2022-09-02 | 珠海横琴圣澳云智科技有限公司 | 核型异常细胞的确定方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111429468B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080660B (zh) | 一种图像分割方法、装置、终端设备及存储介质 | |
| CN108664981B (zh) | 显著图像提取方法及装置 | |
| CN111145181B (zh) | 基于多视角分离卷积神经网络的骨骼ct图像三维分割方法 | |
| CN111754446A (zh) | 一种基于生成对抗网络的图像融合方法、系统及存储介质 | |
| CN111369565B (zh) | 一种基于图卷积网络的数字病理图像的分割与分类方法 | |
| CN110570433B (zh) | 基于生成对抗网络的图像语义分割模型构建方法和装置 | |
| CN111429468A (zh) | 细胞核分割方法、装置、设备及存储介质 | |
| CN106651774B (zh) | 一种车牌超分辨率模型重建方法及装置 | |
| CN111079539B (zh) | 一种基于异常追踪的视频异常行为检测方法 | |
| CN115661144A (zh) | 基于可变形U-Net的自适应医学图像分割方法 | |
| CN110991310B (zh) | 人像检测方法、装置、电子设备及计算机可读介质 | |
| CN112446892A (zh) | 一种基于注意力学习的细胞核分割方法 | |
| CN105913002A (zh) | 视频场景下在线自适应的异常事件检测方法 | |
| CN111914654A (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN115908363B (zh) | 肿瘤细胞统计方法、装置、设备和存储介质 | |
| CN112085017A (zh) | 基于显著性检测和Grabcut算法的茶叶嫩芽图像分割方法 | |
| CN112700460A (zh) | 图像分割方法及系统 | |
| CN111914947A (zh) | 基于特征融合图像实例分割方法、装置、设备及存储介质 | |
| CN117726954B (zh) | 一种遥感图像海陆分割方法及系统 | |
| CN115293966A (zh) | 一种人脸图像重建方法、装置以及存储介质 | |
| CN114581406A (zh) | 基于Segformer的胃部病理切片细胞核分割方法 | |
| CN114399681A (zh) | 电力能源设备识别方法、装置和终端设备 | |
| CN113658206A (zh) | 一种植物叶片分割方法 | |
| Ali et al. | A meta-heuristic method for reassemble bifragmented intertwined JPEG image files in digital forensic investigation | |
| CN116993987A (zh) | 一种基于轻量级神经网络模型的图像语义分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |