CN114862877B - 基于置信度评分的细胞粘连分割方法和装置 - Google Patents
基于置信度评分的细胞粘连分割方法和装置 Download PDFInfo
- Publication number
- CN114862877B CN114862877B CN202210589701.8A CN202210589701A CN114862877B CN 114862877 B CN114862877 B CN 114862877B CN 202210589701 A CN202210589701 A CN 202210589701A CN 114862877 B CN114862877 B CN 114862877B
- Authority
- CN
- China
- Prior art keywords
- connected domain
- image
- binary
- binary image
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000021164 cell adhesion Effects 0.000 title claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000003062 neural network model Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000010354 integration Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 abstract description 6
- 238000012790 confirmation Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 6
- 230000001464 adherent effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 3
- 239000000853 adhesive Substances 0.000 description 3
- 230000001070 adhesive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000012351 Integrated analysis Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于置信度评分的细胞粘连分割方法和装置；所述方法包括：通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；根据第一阈值将所述预测图进行二值化，获得二值图；对所述二值图进行优化，并提取优化后的二值图中的所有连通域；根据预设的面积阈值对连通域进行筛选，获得连通域图像；基于所述二值图计算出距离图，并根据所述距离图确定分割界线；将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果。本发明通过卷积神经网络分割模型来预测原始图像的置信度得分，再通过二值化图像获得各连通域的边界处交集区域，对粘连细胞的分割进行双重确认，避免其中一个结果出现问题导致的错误粘连分割。
Description
技术领域
本申请涉及人工智能技术领域，具体涉及一种基于置信度评分的细胞粘连分割方法和装置。
背景技术
在日常的病理诊断中，病理医生需要根据病理指南的要求，在对部分类别的免疫组化指标，如乳腺癌免疫组化Ki67、ER、PR等进行判读时需要对病理图像进行细胞的计数、分类和统计分析。近年来，随着大数据和人工智能的快速发展，基于图像处理和深度学习的智能诊断系统逐步进入了医学诊断领域，通过智能诊断系统自动对数字病理图像中的组织、细胞进行自动分割或评估，辅助病理医生进行诊断。
相关技术中，在进行细胞分割的过程中，由于细胞本身在成像时的粘连，导致细胞分割算法很难将粘连细胞自动分割开，影响计数等与数量相关的评估结果不准确，最终影响智能诊断的准确性。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种基于置信度评分的细胞粘连分割方法和装置。
根据本申请实施例的第一方面，提供一种基于置信度评分的细胞粘连分割方法，包括：
通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；
根据第一阈值将所述预测图进行二值化，获得二值图；
对所述二值图进行优化，并提取优化后的二值图中的所有连通域；
根据预设的面积阈值对连通域进行筛选，获得连通域图像；
基于所述二值图计算出距离图，并根据所述距离图确定分割界线；
将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果。
进一步地，所述预测图中的每一个像素点的数值为该像素点的置信度评分；
所述根据第一阈值将所述预测图进行二值化，包括：
将大于等于第一阈值的像素点置为255，作为前景像素点；
将小于第一阈值的像素点置为0，作为背景像素点。
进一步地，所述对所述二值图进行优化，包括：
对所述二值图进行一次开运算，设置核半径为预设值，完成对部分空洞的填充，从而优化二值图。
进一步地，所述根据预设的面积阈值对连通域进行筛选，包括：
获取到每个连通域的外接轮廓；
对外接轮廓进行膨胀操作，获得轮廓二值图；
基于所述预测图和所述轮廓二值图获得分割连通域；
将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选。
进一步地，基于所述预测图和所述轮廓二值图获得分割连通域，包括：
将每个连通域内低于第二阈值的像素点值置为255，高于第二阈值的像素点置为0，获得各个连通域的分割连通域。
进一步地，将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选，包括：
若分割连通域的面积大于面积阈值，则保留该分割连通域对应的连通域；
若分割连通域的面积小于面积阈值，则删除该分割连通域对应的连通域。
进一步地，基于所述二值图计算出距离图，包括：
计算所述二值图中每个前景像素点距离最近的背景像素点的欧氏距离，得到整个所述二值图对应的距离图。
进一步地，根据所述距离图确定分割界线，包括：
将所述距离图进行膨胀操作，并提取前景和背景；
将上述二值图进行一次膨胀操作，并将膨胀后的二值图减去前一步骤提取的前景，得到新的二值图像；
将新的二值图像进行分水岭算法，获得分割界线。
进一步地，将所述连通域图像与所述分割界线进行整合，包括：
将所述连通域图像与所述分割界线求交集；
如果二者重合，则视为有效分割线；否则将分水岭算法已经分割的区域进行合并。
根据本申请实施例的第二方面，提供一种基于置信度评分的细胞粘连分割装置，包括：
预测模块，用于通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；
二值化模块，用于根据第一阈值将所述预测图进行二值化，获得二值图；
优化模块，用于对所述二值图进行优化；
提取模块，用于提取优化后的二值图中的所有连通域；
筛选模块，用于根据预设的面积阈值对连通域进行筛选，获得连通域图像；
计算模块，用于基于所述二值图计算出距离图，并根据所述距离图确定分割界线；
整合模块，用于将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果。
本申请的实施例提供的技术方案具备以下有益效果：
本发明提出的基于置信度评分的粘连分割方法，通过训练一个基于深度学习的卷积神经网络分割模型，来预测原始图像的置信度得分，从而完成对图像中细胞的初步分割；再通过二值化图像获得各连通域的边界处交集区域，将初步分割结果与边界处交集区域进行整合分析，对粘连细胞的分割进行双重确认，避免其中一个结果出现问题导致的错误粘连分割。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于置信度评分的细胞粘连分割方法的流程图。
图2是根据一示例性实施例示出的一种算法整体流程示意图。
图3是根据一示例性实施例示出的原始输入图像、预测mask、二值图。
图4是根据一示例性实施例示出的二值图对应的距离图。
图5是根据一示例性实施例示出的膨胀后的二值化距离图。
图6是根据一示例性实施例示出的不确定二值图。
图7是根据一示例性实施例示出的分割效果图。
图8是根据一示例性实施例示出的一种基于置信度评分的细胞粘连分割装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法和装置的例子。
对于采用深度学习进行细胞分割的系统，在进行细胞分割的过程中，常常面临细胞粘连导致分割的细胞成团、成簇呈现的问题。因此亟待开发一套系统对粘连的细胞进行正确的切分，避免粘连的细胞影响计数或其他与之相关的诊断结论。
图1是根据一示例性实施例示出的一种基于置信度评分的细胞粘连分割方法的流程图。该方法可以包括以下步骤：
步骤S1、通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；
步骤S2、根据第一阈值将所述预测图进行二值化，获得二值图；
步骤S3、对所述二值图进行优化，并提取优化后的二值图中的所有连通域；
步骤S4、根据预设的面积阈值对连通域进行筛选，获得连通域图像；
步骤S5、基于所述二值图计算出距离图，并根据所述距离图确定分割界线；
步骤S6、将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果。
本发明提出的基于置信度评分的粘连分割方法，通过训练一个基于深度学习的卷积神经网络分割模型，来预测原始图像的置信度得分，从而完成对图像中细胞的初步分割；再通过二值化图像获得各连通域的边界处交集区域，将初步分割结果与边界处交集区域进行整合分析，对粘连细胞的分割进行双重确认，避免其中一个结果出现问题导致的错误粘连分割。
应当理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图2所示，为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施例作进一步详细描述。
1、采用深度学习卷积神经网络语义分割算法，训练一个语义分割模型，模型的输出层激活函数为sigmoid，其输出尺寸与原始图像大小一致，每个像素点的取值范围为[0～1]。容易理解的是，语义分割模型输出的预测图中，每一个像素点的数值为该像素点的置信度评分。
其中，语义分割模型采用全卷积神经网络FCN，输入图像尺寸为512×512，输入图像为RGB三通道彩色图像并进行归一化。全卷积神经网络包含卷积层、池化层、非线性激活层。在多次进行下采样后，采用双线性插值对特征图进行上采样，并结合卷积层、池化层、非线性激活层将特征图还原为输入尺寸。在模型的最后输出层，模型的输出通道为2。
2、在模型训练完成后，输入任意满足模型要求的组织图像，得到一张与输入图像尺寸大小一致的mask(预测图)；所述预测图中的每一个像素点的数值为该像素点的置信度评分。以0.5为第一阈值(第一阈值的值可以根据实际情况进行调整)将mask进行二值化，得到包含分割细胞的二值图像。
在一些实施例中，步骤S2中根据第一阈值将所述预测图进行二值化的具体步骤包括：将大于等于第一阈值的像素点置为255，作为前景像素点；将小于第一阈值的像素点置为0，作为背景像素点。如图3所示，三张图依次为原始输入图像、预测图mask、二值图。
在经过语义分割模型后，输入的图像将获取到一个与输入图像大小完全一致的预测为前景或背景的置信度评分图像(预测图)。在此基础上，再通过图像二值化操作以及置信度评分计算细胞边界处交集的方式，对粘连细胞进行分割。
3、计算上述二值图像中每个前景像素点(像素点为255)距离最近的背景像素点(像素值为0)的欧氏距离，得到整个二值图对应的距离图(如图4所示)。
在一些实施例中，步骤S5基于所述二值图计算出距离图，包括：计算所述二值图中每个前景像素点距离最近的背景像素点的欧氏距离，得到整个所述二值图对应的距离图。
4、对二值化后的图像进行一次开运算，设置核半径为预设值(在实际应用中，可以设置核半径为3)，完成对部分空洞的填充，优化二值图像。其中开运算可以直接参照opencv的形态学操作opening执行。
在一些实施例中，步骤S3对所述二值图进行优化，具体包括：对所述二值图进行一次开运算，设置核半径为预设值，完成对部分空洞的填充。
在数学形态学中，开运算被定义为先腐蚀后膨胀。膨胀(dilated)是图像中的高亮部分进行膨胀，领域扩张，效果图拥有比原图更大的高亮区域；操作的时候表现为相邻区域用极大值代替，高亮区域增加。腐蚀(eroded)是图像中的高亮部分被腐蚀掉，领域缩减，效果图拥有比原图更小的高亮区域；操作的时候表现为相邻区域用极小值代替,高亮区域减少。
在一些实施例中，步骤S4根据预设的面积阈值对连通域进行筛选，包括：获取到每个连通域的外接轮廓；对外接轮廓进行膨胀操作，获得轮廓二值图；基于所述预测图和所述轮廓二值图获得分割连通域；将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选。
5、提取优化后的二值图像中所有连通域，并获取到每个连通域的外接轮廓并参照opencv的形态学操作dilate膨胀，其中核形状为MORPH_RECT，SIZE为3，获取到连通域轮廓的二值图。
6、将预测的mask与轮廓二值图进行对比分析，将每个连通域内预测mask的概率值以0.45为第二阈值，将连通域内低于0.45的像素点值置为255，高于0.45的置为0。获取到预测的mask连通域内的各个连通域的分割连通域。
在一些实施例中，基于所述预测图和所述轮廓二值图获得分割连通域，包括：将每个连通域内低于第二阈值的像素点值置为255，高于第二阈值的像素点置为0，获得各个连通域的分割连通域。
由于不存在粘连细胞轮廓的区域内部置信度均较高，接近于1；因此设定一个低于标准二分类阈值0.5的值来作为连通域内部的二值化阈值更为合理。容易理解的是，第二阈值的具体数值可以根据实际情况进行调整。
7、根据对整张图像所有连通域面积的统计，以及通过对固定倍率下细胞尺寸的计算，选择分割连通域的面积大于50的有效细胞(低于50，可能为模型错误分类结果)，保留该连通域，否则删除。
在一些实施例中，将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选，包括：若分割连通域的面积大于面积阈值，则保留该分割连通域对应的连通域；若分割连通域的面积小于面积阈值，则删除该分割连通域对应的连通域。面积阈值可以取值为50，也可以根据实际应用确定具体数值。
本方案从细胞的真实尺寸以及模型的预测结果出发，通过在固定倍率下计算细胞分割面积的大小，判断细胞是否存在可能的粘连，并通过模型预测的置信度评分，计算可能存在的细胞重叠边界，实现对粘连细胞的精准分割，提升与细胞计数等有关系的智能诊断系统的准确率。
8、将距离图中以最大距离(距离图中距离背景最远的像素点的距离值)的0.3倍作为阈值并膨胀(图5)，膨胀参数与第5步一致，提取前景和背景。
9、将原始二值图像做一次膨胀，核为3x3。将膨胀后的二值图减去第8步的前景，得到一个新的二值图(不确定的二值图像)，如图6所示。
在一些实施例中，步骤S5根据所述距离图确定分割界线，包括：将所述距离图进行膨胀操作，并提取前景和背景；将上述二值图进行一次膨胀操作，并将膨胀后的二值图减去前一步骤提取的前景，得到新的二值图像；将新的二值图像进行分水岭算法，获得分割界线。
10、标记第8步的前景区域的连通域作为分水岭算法的标记点，并将所有标记点值加1。将第9步获得的新的二值图像中素值等于255的点对应的找到标记点中相同位置处的点值置为0。最后将第4步得到的优化二值图和标记点一并进行分水岭算法。
在一些实施例中，步骤S6将所述连通域图像与所述分割界线进行整合，包括：将所述连通域图像与所述分割界线求交集；如果二者重合，则视为有效分割线；否则将分水岭算法已经分割的区域进行合并。
分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。分水岭的概念和形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展，在两个集水盆汇合处构筑大坝，即形成分水岭。计算时，直接调用opencv的watershed函数即可。
11、分水岭算法计算完成结果与第7步保留的连通域进行整合(即求交集)，若保留的连通域与分水岭算法计算的分割界线重合，则视为有效分割线，否则将分水岭算法已经分割的区域进行合并，最终完成细胞粘连的分割(图7)。
综上所述，本发明的关键点在于：(1)通过深度学习模型输出的语义分割概率图，将其作为前景与背景分类置信度评分，在一定程度上能够提升细胞粘连分割的准确率。(2)置信度评分，结合通过二值图计算出的距离图，二者将以求交集的形式对粘连的细胞进行分割的再确认，避免其中一个结果出现问题导致的错误粘连分割。
本发明的基于置信度评分的粘连分割方法，通过将训练一个基于深度学习的卷积神经网络分割模型，在模型的预测阶段，通过计算模型预测的前景与背景置信度得分以及二值化图像中各连通域的边界处交集区域，通过组合计算的方式，将粘连的细胞进行分割。
本发明的有益效果：(1)充分利用了深度学习语义分割模型的预测结果，不只是单纯的将输出结果进行二值化，而忽视了连通域内部置信度低评分表示的有效信息。(2)将分水岭算法和置信度评分结合起来，在可能出现错误、将本不应该分割的粘连细胞分割时，通过置信度评分计算，可以保障其不被错分。
图8是根据一示例性实施例示出的一种基于置信度评分的细胞粘连分割装置的框图。参照图8，该装置包括预测模块、二值化模块、优化模块、提取模块、筛选模块、计算模块、整合模块。
预测模块用于通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图。二值化模块用于根据第一阈值将所述预测图进行二值化，获得二值图。优化模块用于对所述二值图进行优化。提取模块用于提取优化后的二值图中的所有连通域。筛选模块用于根据预设的面积阈值对连通域进行筛选，获得连通域图像。计算模块用于基于所述二值图计算出距离图，并根据所述距离图确定分割界线。整合模块用于将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果。
关于上述实施例中的装置，其中各个模块执行操作的具体步骤已经在有关该方法的实施例中进行了详细描述，此处不再详细阐述说明。上述基于置信度评分的细胞粘连分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种基于置信度评分的细胞粘连分割方法，其特征在于，包括：
通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；
根据第一阈值将所述预测图进行二值化，获得二值图；
对所述二值图进行优化，并提取优化后的二值图中的所有连通域；
根据预设的面积阈值对连通域进行筛选，获得连通域图像；
基于所述二值图计算出距离图，并根据所述距离图确定分割界线；
将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果；
其中，所述根据预设的面积阈值对连通域进行筛选，包括：获取到每个连通域的外接轮廓；对外接轮廓进行膨胀操作，获得轮廓二值图；基于所述预测图和所述轮廓二值图获得分割连通域；将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选；
基于所述二值图计算出距离图，包括：计算所述二值图中每个前景像素点距离最近的背景像素点的欧氏距离，得到整个所述二值图对应的距离图；
根据所述距离图确定分割界线，包括：将所述距离图进行膨胀操作，并提取前景和背景；将上述二值图进行一次膨胀操作，并将膨胀后的二值图减去前一步骤提取的前景，得到新的二值图像；将新的二值图像进行分水岭算法，获得分割界线；
将所述连通域图像与所述分割界线进行整合，包括：将所述连通域图像与所述分割界线求交集；如果二者重合，则视为有效分割线；否则将分水岭算法已经分割的区域进行合并。
2.根据权利要求1所述的方法，其特征在于，所述预测图中的每一个像素点的数值为该像素点的置信度评分；
所述根据第一阈值将所述预测图进行二值化，包括：
将大于等于第一阈值的像素点置为255，作为前景像素点；
将小于第一阈值的像素点置为0，作为背景像素点。
3.根据权利要求1所述的方法，其特征在于，所述对所述二值图进行优化，包括：
对所述二值图进行一次开运算，设置核半径为预设值，完成对部分空洞的填充。
4.根据权利要求1所述的方法，其特征在于，基于所述预测图和所述轮廓二值图获得分割连通域，包括：
将每个连通域内低于第二阈值的像素点值置为255，高于第二阈值的像素点置为0，获得各个连通域的分割连通域。
5.根据权利要求4所述的方法，其特征在于，将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选，包括：
若分割连通域的面积大于面积阈值，则保留该分割连通域对应的连通域；
若分割连通域的面积小于面积阈值，则删除该分割连通域对应的连通域。
6.一种基于置信度评分的细胞粘连分割装置，其特征在于，包括：
预测模块，用于通过神经网络模型对原始图像进行处理，获得基于置信度评分的预测图；
二值化模块，用于根据第一阈值将所述预测图进行二值化，获得二值图；
优化模块，用于对所述二值图进行优化；
提取模块，用于提取优化后的二值图中的所有连通域；
筛选模块，用于根据预设的面积阈值对连通域进行筛选，获得连通域图像；
计算模块，用于基于所述二值图计算出距离图，并根据所述距离图确定分割界线；
整合模块，用于将所述连通域图像与所述分割界线进行整合，获得细胞粘连的分割结果；
其中，所述筛选模块具体用于：获取到每个连通域的外接轮廓；对外接轮廓进行膨胀操作，获得轮廓二值图；基于所述预测图和所述轮廓二值图获得分割连通域；将分割连通域与面积阈值进行比较，根据比较结果对连通域进行筛选；
所述计算模块具体用于：计算所述二值图中每个前景像素点距离最近的背景像素点的欧氏距离，得到整个所述二值图对应的距离图；将所述距离图进行膨胀操作，并提取前景和背景；将上述二值图进行一次膨胀操作，并将膨胀后的二值图减去前一步骤提取的前景，得到新的二值图像；将新的二值图像进行分水岭算法，获得分割界线；
所述整合模块具体用于：将所述连通域图像与所述分割界线求交集；如果二者重合，则视为有效分割线；否则将分水岭算法已经分割的区域进行合并。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210589701.8A CN114862877B (zh) | 2022-05-27 | 2022-05-27 | 基于置信度评分的细胞粘连分割方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210589701.8A CN114862877B (zh) | 2022-05-27 | 2022-05-27 | 基于置信度评分的细胞粘连分割方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114862877A CN114862877A (zh) | 2022-08-05 |
| CN114862877B true CN114862877B (zh) | 2024-03-22 |
Family
ID=82640962
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210589701.8A Active CN114862877B (zh) | 2022-05-27 | 2022-05-27 | 基于置信度评分的细胞粘连分割方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114862877B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024119321A1 (zh) * | 2022-12-05 | 2024-06-13 | 深圳华大生命科学研究院 | 细胞分割的处理方法、装置及电子设备 |
| CN118196790B (zh) * | 2024-05-16 | 2024-09-06 | 笑纳科技(苏州)有限公司 | 一种低倍镜下染色体分裂相图像筛选方法、系统、设备及存储介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102044069A (zh) * | 2010-12-01 | 2011-05-04 | 华中科技大学 | 一种白细胞图像分割方法 |
| CN107094729A (zh) * | 2017-05-22 | 2017-08-29 | 常州大学 | 粮仓内部害虫的机器视觉检测设备及计数方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109146854A (zh) * | 2018-08-01 | 2019-01-04 | 东北大学 | 一种肺结节与肺部血管伴生关系的分析方法 |
| CN109758113A (zh) * | 2019-01-15 | 2019-05-17 | 北京端点医药研究开发有限公司 | 一种基于图像识别的视网膜病变定量分析系统 |
| CN110110709A (zh) * | 2019-05-27 | 2019-08-09 | 湖南开启时代智能科技有限公司 | 一种基于图像处理的红白细胞分类计数方法、系统和设备 |
| CN110428432A (zh) * | 2019-08-08 | 2019-11-08 | 梅礼晔 | 结肠腺体图像自动分割的深度神经网络算法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN111145209A (zh) * | 2019-12-26 | 2020-05-12 | 北京推想科技有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
| CN111368793A (zh) * | 2020-03-19 | 2020-07-03 | 南京景瑞康分子医药科技有限公司 | 一种基于荧光视频的神经元胞体自动识别系统 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
| CN113610760A (zh) * | 2021-07-05 | 2021-11-05 | 河海大学 | 一种基于u型残差神经网络的细胞图像分割示踪方法 |
| CN113658117A (zh) * | 2021-08-02 | 2021-11-16 | 浙江大学 | 一种基于深度学习的沥青混合料中集料边界识别与划分方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3048769A1 (en) * | 2010-07-30 | 2012-02-02 | Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud | Systems and methods for segmentation and processing of tissue images and feature extraction from same for treating, diagnosing, or predicting medical conditions |
| TWI496112B (zh) * | 2013-09-13 | 2015-08-11 | Univ Nat Cheng Kung | 細胞影像分割方法以及核質比評估方法 |
| CO7020178A1 (es) * | 2014-05-14 | 2014-08-11 | Leon Ricardo Antonio Mendoza | Método para la segmentación y cuantificación automática de tejidos corporales |
| US20220092791A1 (en) * | 2018-04-12 | 2022-03-24 | Veran Medical Technologies, Inc. | Methods for the Segmentation of Lungs, Lung Vasculature and Lung Lobes from CT Data and Clinical Applications |
| US12062178B2 (en) * | 2020-03-05 | 2024-08-13 | Case Western Reserve University | Automated segmentation and guided correction of endothelial cell images |
-
2022
- 2022-05-27 CN CN202210589701.8A patent/CN114862877B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102044069A (zh) * | 2010-12-01 | 2011-05-04 | 华中科技大学 | 一种白细胞图像分割方法 |
| CN107094729A (zh) * | 2017-05-22 | 2017-08-29 | 常州大学 | 粮仓内部害虫的机器视觉检测设备及计数方法 |
| CN108364288A (zh) * | 2018-03-01 | 2018-08-03 | 北京航空航天大学 | 用于乳腺癌病理图像的分割方法和装置 |
| CN109146854A (zh) * | 2018-08-01 | 2019-01-04 | 东北大学 | 一种肺结节与肺部血管伴生关系的分析方法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN109758113A (zh) * | 2019-01-15 | 2019-05-17 | 北京端点医药研究开发有限公司 | 一种基于图像识别的视网膜病变定量分析系统 |
| CN110110709A (zh) * | 2019-05-27 | 2019-08-09 | 湖南开启时代智能科技有限公司 | 一种基于图像处理的红白细胞分类计数方法、系统和设备 |
| CN110428432A (zh) * | 2019-08-08 | 2019-11-08 | 梅礼晔 | 结肠腺体图像自动分割的深度神经网络算法 |
| CN111145209A (zh) * | 2019-12-26 | 2020-05-12 | 北京推想科技有限公司 | 一种医学图像分割方法、装置、设备及存储介质 |
| CN111368793A (zh) * | 2020-03-19 | 2020-07-03 | 南京景瑞康分子医药科技有限公司 | 一种基于荧光视频的神经元胞体自动识别系统 |
| CN112581436A (zh) * | 2020-12-11 | 2021-03-30 | 佛山市普世医学科技有限责任公司 | 基于深度学习的肺结节识别与分割方法及系统 |
| CN113610760A (zh) * | 2021-07-05 | 2021-11-05 | 河海大学 | 一种基于u型残差神经网络的细胞图像分割示踪方法 |
| CN113658117A (zh) * | 2021-08-02 | 2021-11-16 | 浙江大学 | 一种基于深度学习的沥青混合料中集料边界识别与划分方法 |
Non-Patent Citations (13)
| Title |
|---|
| An Improved Watershed Image Segmentation Algorithm Based on Fuzzy Threshold;Shu-ying Liu 等;International Conference on Applications and Techniques in Cyber Intelligence ATCI 2019;1198–1205 * |
| CNN-Based Preprocessing to Optimize Watershed-Based Cell Segmentation in 3D Confocal Microscopy Images;Dennis Eschweiler 等;2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019);223-227 * |
| Dennis Eschweiler 等.CNN-Based Preprocessing to Optimize Watershed-Based Cell Segmentation in 3D Confocal Microscopy Images.2019 IEEE 16th International Symposium on Biomedical Imaging (ISBI 2019).2019,223-227. * |
| Shu-ying Liu 等.An Improved Watershed Image Segmentation Algorithm Based on Fuzzy Threshold.International Conference on Applications and Techniques in Cyber Intelligence ATCI 2019 .2019,1198–1205. * |
| 吴叔珍 等.基于凹点寻找标记的分水岭算法分割粘连谷粒.浙江农业科学.2017,(第08期),1401-1405. * |
| 基于凹点寻找标记的分水岭算法分割粘连谷粒;吴叔珍;姚青;;浙江农业科学(第08期);1401-1405 * |
| 基于支持向量机和椭圆拟合的细胞图像自动分割;廖苗;赵于前;曾业战;黄忠朝;张丙奎;邹北骥;;浙江大学学报(工学版)(第04期);722-728 * |
| 杨金鑫 等.结合卷积神经网络和超像素聚类的细胞图像分割方法.计算机应用研究.2017,(第05期),1569-1572. * |
| 结合卷积神经网络和超像素聚类的细胞图像分割方法;杨金鑫;杨辉华;李灵巧;潘细朋;刘振丙;周洁茜;;计算机应用研究(第05期);1569-1572 * |
| 结合距离变换与边缘梯度的分水岭血细胞分割;缪慧司;梁光明;刘任任;丁建文;;中国图象图形学报(第02期);192-198 * |
| 缪慧司 等.结合距离变换与边缘梯度的分水岭血细胞分割.中国图象图形学报.2016,(第02期),192-198. * |
| 胡馨月.基于融合分水岭算法的无人机图像树木株数提取研究.中国优秀硕士学位论文全文数据库 农业科技辑.2021,D049-29. * |
| 黄籽博 等.基于小波变换和形态学分水岭的血细胞图像分割.《计算技术与自动化》.2017,(第3期),第100-104页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114862877A (zh) | 2022-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114862877B (zh) | 基于置信度评分的细胞粘连分割方法和装置 | |
| CN109145939B (zh) | 一种小目标敏感的双通道卷积神经网络语义分割方法 | |
| CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
| CN111091527B (zh) | 一种病理组织切片图像中病变区域自动检测方法及系统 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| US7327880B2 (en) | Local watershed operators for image segmentation | |
| WO2021203795A1 (zh) | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 | |
| CN110766713A (zh) | 肺部图像分割方法、装置和肺部病变区域识别设备 | |
| CN105574859A (zh) | 一种基于ct图像的肝脏肿瘤分割方法及装置 | |
| WO2020134533A1 (zh) | 深度模型训练方法及装置、电子设备及存储介质 | |
| CN111402267A (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| CN111768411A (zh) | 冠脉中心线提取方法、装置、计算机设备和存储介质 | |
| CN109214397A (zh) | 一种肺部ct图像中肺结节的分割方法 | |
| CN111368599B (zh) | 遥感图像海面舰船检测方法、装置、可读存储介质及设备 | |
| CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
| CN111932552B (zh) | 一种主动脉建模的方法及装置 | |
| CN113077419A (zh) | 用于髋关节ct影像识别的信息处理方法及装置 | |
| Wen et al. | Review of research on the instance segmentation of cell images | |
| Wu et al. | Cascaded fully convolutional DenseNet for automatic kidney segmentation in ultrasound images | |
| CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
| CN117237371A (zh) | 基于实例感知扩散模型的结肠组织学图像腺体分割方法 | |
| CN111445456A (zh) | 分类模型、网络模型的训练方法及装置、识别方法及装置 | |
| CN111932557B (zh) | 基于集成学习和概率图模型的图像语义分割方法及装置 | |
| CN115035133A (zh) | 一种模型训练方法、图像分割方法及相关装置 | |
| Wang et al. | Image object extraction based on semantic segmentation and label loss |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |