CN115063797B - 基于弱监督学习和分水岭处理的荧光信号分割方法和装置 - Google Patents
基于弱监督学习和分水岭处理的荧光信号分割方法和装置 Download PDFInfo
- Publication number
- CN115063797B CN115063797B CN202210990178.XA CN202210990178A CN115063797B CN 115063797 B CN115063797 B CN 115063797B CN 202210990178 A CN202210990178 A CN 202210990178A CN 115063797 B CN115063797 B CN 115063797B
- Authority
- CN
- China
- Prior art keywords
- signal point
- segmentation
- signal
- result
- fluorescence image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本发明提供一种基于弱监督学习和分水岭处理的荧光信号分割方法和装置,其中方法包括:获取细胞荧光图像的信号点预测结果和信号点统计信息;基于分水岭算法,对信号点预测结果进行图像分割,得到各个信号点的初始实例分割结果;基于分水岭算法,以各个信号点的初始实例分割结果为引导,对细胞荧光图像进行图像分割。本发明通过在信号点预测模型中添加回归分支,提升了信号点预测分支在存在粘连信号点和杂点等复杂场景下的分割能力,利用分水岭算法,先后对信号点预测结果和细胞荧光图像进行图像分割,从细胞荧光图像中分割出保留有信号点原始形态的信号点,提高了信号点分割的精度。另外通过将分割的标注从像素级标注降为点标注,提高了标注效率。
Description
技术领域
本发明涉及图像分割技术领域,尤其涉及一种基于弱监督学习和分水岭处理的荧光信号分割方法和装置。
背景技术
在基于荧光原位杂交技术的异常肿瘤细胞检测过程中,为获取优质的检测结果,一例样本需要从上万个细胞中准确检测出异常细胞,而异常细胞的判别标准通常基于该细胞各通道下的荧光信号点来判定。因此,准确地从每个通道下的细胞图像中检测出各个荧光信号点,是异常细胞检测精度的关键所在。
目前在检测信号点时,通常采用现有的实例分割模型或图像分割方法从任一通道下的细胞图像中分割出信号点。然而,对于荧光通道下的细胞图像而言,信号点之间的间距可能较近甚至会严重粘连,上述实例分割模型或图像分割方法对于此类严重粘连的信号点的分割效果欠佳。更重要的是,细胞图像中的信号点形状通常是不规则的,尤其是粘连状态下的信号点形状更是极不规则,因此常规的分割方式对该不规则形态的信号点难以进行精准分割,无法完整保留信号点的原始轮廓。然而,由于信号点轮廓是否能够完整分割决定了是否能够准确地统计出各个信号点的统计特征,包括信号点面积、信号点强度等,而信号点的上述统计特征对于下游任务(例如异常细胞分类)具有重要意义,因此目前的分割方式难以适用于信号点分割任务中对于可能存在粘连的信号点进行分割且保留信号点原始轮廓的高要求。
发明内容
本发明提供一种基于弱监督学习和分水岭处理的荧光信号分割方法和装置,用以解决现有技术中分割效果欠佳的缺陷。
本发明提供一种基于弱监督学习和分水岭处理的荧光信号分割方法,包括:
基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,所述基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果,之后还包括:
基于所述细胞荧光图像的信号点分割结果,确定所述细胞荧光图像中分割得到的信号点分割数量;
将所述信号点分割数量与所述信号点检测模型输出的信号点统计信息中的信号点数量进行比对;
若所述信号点分割数量与所述信号点统计信息中的信号点数量不一致,则对所述细胞荧光图像的信号点分割结果进行更新。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,当所述信号点分割数量小于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
精细分割步骤:确定所述细胞荧光图像的信号点分割结果中信号点面积最大或信号点面积大于预设面积的信号点实例,作为待精细分割对象,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果;
迭代步骤:重复所述精细分割步骤,直至所述细胞荧光图像的信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,所述利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果,具体包括:
确定局部极值函数的最短距离参数;其中,所述最短距离参数决定了极值点之间的距离;
基于所述待精细分割对象的区域面积,确定所述局部极值函数的footprint参数;其中,所述footprint参数决定了极值点的稀疏度;
利用所述局部极值函数对所述待精细分割对象进行极值点检测,得到所述待精细分割对象对应的极值标记;
基于所述极值标记,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,当所述信号点分割数量大于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
重复将所述细胞荧光图像的信号点分割结果中当前信号点能量最小的信号点实例删除,直至所述信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,所述信号点预测模型是基于样本细胞荧光图像及所述样本细胞荧光图像中各个信号点的信号点标注训练得到的;所述信号点标注是基于如下步骤生成的:
获取所述样本细胞荧光图像中各个信号点的点标注结果;
基于所述各个信号点的点标注结果,生成信号点二值图像;其中,所述信号点二值图像中各个信号点的点标注结果对应位置处的像素值为1,其余位置处的像素值为0;
基于高斯核卷积对所述信号点二值图像进行卷积运算,生成所述各个信号点的伪掩膜,得到所述各个信号点的信号点标注。
根据本发明提供的一种基于弱监督学习和分水岭处理的荧光信号分割方法,所述高斯核卷积的尺寸是基于所述样本细胞荧光图像中各个信号点之间的距离确定的;其中,所述各个信号点之间的距离越近,所述高斯核卷积的尺寸越小;所述各个信号点之间的距离是基于所述各个信号点的点标注结果确定得到的。
本发明还提供一种基于弱监督学习和分水岭处理的荧光信号分割装置,包括:
信号点预测单元,用于基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
预测结果分割单元,用于基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
原始图像分割单元,用于基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述基于弱监督学习和分水岭处理的荧光信号分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于弱监督学习和分水岭处理的荧光信号分割方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于弱监督学习和分水岭处理的荧光信号分割方法的步骤。
本发明提供的基于弱监督学习和分水岭处理的荧光信号分割方法和装置,通过在信号点预测模型中添加回归分支,提升信号点预测分支在存在粘连信号点和杂点等复杂场景下的分割能力,再对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,然后利用分水岭算法,先后对信号点预测结果和细胞荧光图像进行图像分割,从而从细胞荧光图像中分割出保留有信号点原始形态的信号点,提高了信号点分割的精度。另外,通过将分割的标注从像素级标注降为点标注,有效提高了标注效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的基于弱监督学习和分水岭处理的荧光信号分割方法的流程示意图;
图2是本发明提供的信号点预测模型的结构示意图;
图3是本发明提供的基于弱监督学习和分水岭处理的荧光信号分割装置的结构示意图;
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的基于弱监督学习和分水岭处理的荧光信号分割方法的流程示意图,如图1所示,该方法包括:
步骤110,基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
步骤120,基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
步骤130,基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
具体地,可以利用训练好的信号点预测模型对单一通道下的细胞荧光图像进行处理。其中,细胞荧光图像为该通道下单一细胞内部的荧光图像,其中包含有该细胞内部染色得到的荧光信号点。信号点预测模型包括两个分支:信号点预测分支和回归分支,其中,信号点预测分支用于对该细胞荧光图像中的每一像素点进行预测,确定各个像素点属于信号点像素的概率;回归分支用于基于信号点预测分支的输出结果对对该细胞荧光图像进行信号点回归分析,获取该细胞荧光图像中各个信号点的信号点统计信息。此处,信号点统计信息可以包括信号点的信号点数量、信号点面积、信号点强度等一种或多种统计信息。
本发明实施例中,在信号点预测模型中添加回归分支,可以在训练过程中引导信号点预测分支的学习,提高信号点预测分支对于存在粘连信号点以及存在杂点的场景的信号点分割效果。具体而言,在信号点预测模型的训练过程中,可以基于该单一通道下的样本细胞荧光图像、该样本细胞荧光图像中各个信号点的信号点标注及其样本信号点统计信息,对信号点预测分支和回归分支进行联合训练。
训练过程中,可以先基于各个信号点的信号点标注约束信号点预测分支,直至其分割损失(例如信号点预测分支预测的信号点区域与信号点标注对应的Ground Truth之间的差异)无明显下降,即该信号点预测分支能够基本将样本细胞荧光图像中的信号点分离出来,但对于部分粘连信号点的分割效果仍有欠缺。因此,接下来可以联合信号点预测分支和回归分支一起训练,其中回归分支会基于信号点预测分支的输出结果进行回归分析,因此在利用各个信号点的信号点标注和样本信号点统计信息约束信号点预测分支和回归分支时,信号点预测分支的性能会影响回归分支的性能。回归分支在训练过程中为了提高自身性能,会反向指导信号点预测分支,使其尽可能提高粘连信号点的分割能力以及杂点等非信号点的鉴别能力,故两个分支可以共同学习、相互补充,从而提高各自的性能。
此外,通过添加回归分支,在实际应用时,可以利用回归分支对细胞荧光图像进行信号点回归分析,得到细胞荧光图像中信号点的信号点统计信息,并在后续的图像分割过程中作为分割结果是否符合真实情况的依据,例如判断粘连信号点是否均分离成功以及是否将杂点等噪点误分割为信号点等,具体机制将在后续的实施例中进行详细说明。
虽然通过添加回归分支可以提高信号点预测分支对于粘连信号点的分割能力,然而,由于实际应用场景下存在细胞荧光图像中的信号点粘连情况不一、图像采集质量不高等因素,因此不能保证信号点预测分支输出的信号点预测结果足够精确,因此还需要对其进行后处理,从而得到足以满足信号点分割任务对于信号点分割精度要求的分割结果。此处,本发明实施例采用了多次分水岭的后处理方式对信号点预测模型输出的信号点预测结果进行精细分割。
具体而言,首先通过分水岭算法,针对上述信号点预测模型输出的信号点预测结果进行图像分割,得到信号点预测结果中各个信号点的初始实例分割结果。其中,可以对上述信号点预测结果进行开运算,去除细碎杂点后,获取对应各信号点的连通域。由于部分紧邻的信号点的连通域会出现粘结情况(例如两个紧邻的信号点的连通域会融合为一个),因而基于信号点预测结果进行背景距离分析,实现局部极值点检测,并以该极值点检测结果作为标记进行分水岭分割,得到信号点预测结果对应的初始实例分割结果。此步骤中通过分水岭算法可以进一步将粘连的信号点对应的连通域分离,然而,由于信号点预测模型输出的信号点预测结果中各信号点对应的连通域通常为较规则的圆形,因此得到的初始实例分割结果并不能反映信号点的真实形态。
对此,在第一次分水岭分割之后,可以以各个信号点的初始实例分割结果为引导,再次利用分水岭算法对细胞荧光图像进行图像分割,得到保留有信号点原始形态的信号点分割结果。其中,由于第一次分水岭分割得到的初始实例分割结果中已经对粘连信号点进行了精细分割,因此利用第一次分水岭分割得到的初始实例分割结果作为引导,可以预先知晓信号点位置和数量,再结合细胞荧光图像中原始的图像特征,即可将各个信号点从原始图像中完整分割出来,既实现粘连信号点的分割又保留了各个信号点的原始形态,从而提升了信号点实例分割的精度。此外,将初始实例分割结果作为函数参数传递给分水岭算法,分水岭算法在进行精细分割时,可以以初始实例分割结果作为初始值进行精细分割,可以更快速地得到细胞荧光图像的信号点分割结果。
需要说明的是,在进行的多次分水岭后处理过程中,先后两次分水岭分割的对象不同,第一次分水岭分割的对象为信号点预测模型输出的信号点预测结果,主要目的是对仍存在粘连的信号点进行进一步分割。由于该信号点预测结果中对应各个信号点的连通域通常为规则圆形,因此分割得到的初始实例分割结果中的信号点区域丧失了原始图像中信号点的原始形态。因此,在第二次分水岭分割时,是以细胞荧光图像作为分割对象,将第一次分水岭分割得到的初始实例分割结果作为参照,从细胞荧光图像中分割出保留有信号点原始形态的信号点,从而提高信号点分割的精度。
本发明实施例提供的方法,通过在信号点预测模型中添加回归分支,提升了信号点预测分支在存在粘连信号点和杂点等复杂场景下的分割能力,再对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,然后利用分水岭算法,先后对信号点预测结果和细胞荧光图像进行图像分割,从而从细胞荧光图像中分割出保留有信号点原始形态的信号点,提高了信号点分割的精度。
基于上述任一实施例,所述基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果,之后还包括:
基于所述细胞荧光图像的信号点分割结果,确定所述细胞荧光图像中分割得到的信号点分割数量;
将所述信号点分割数量与所述信号点检测模型输出的信号点统计信息中的信号点数量进行比对;
若所述信号点分割数量与所述信号点统计信息中的信号点数量不一致,则对所述细胞荧光图像的信号点分割结果进行更新。
具体地,由于分水岭算法在信号点严重粘连时仍存在一定的失效可能性,以及在杂点较多的情况下也存在将杂点视为信号点的可能性,因此在第二次分水岭分割后,还可以对分割得到的信号点分割结果进行确认,判断信号点分割结果的准确度,从而保证信号点分割的准确度。其中,由于信号点预测模型的回归分支可以根据信号点预测结果中各个信号点区域的特征,例如信号点区域的面积、荧光强度总和等进行回归分析,该回归分析过程可以更准确地鉴别粘连信号点以及杂点等,因此其分析得到的信号点数量、信号点面积、信号点强度等信号点统计信息具备较高的置信度,故可以将上述信号点统计信息,尤其是信号点数量,作为信号点分割结果准确度的评估依据。
具体而言,可以基于细胞荧光图像的信号点分割结果,统计细胞荧光图像中分割得到的信号点分割数量,并将该信号点分割数量与信号点检测模型输出的信号点统计信息中的信号点数量进行比对。
若信号点分割数量与信号点统计信息中的信号点数量不一致,表明当前的信号点分割结果中仍存在一定的错误分割,例如粘连信号点未成功分离或错将杂点视为信号点等。因此,可以对细胞荧光图像的信号点分割结果进行校正,以提高信号点分割的准确性。
基于上述任一实施例,当所述信号点分割数量小于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
精细分割步骤:确定所述细胞荧光图像的信号点分割结果中信号点面积最大或信号点面积大于预设面积的信号点实例,作为待精细分割对象,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果;
迭代步骤:重复所述精细分割步骤,直至所述细胞荧光图像的信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
具体地,当信号点分割数量小于信号点统计信息中的信号点数量时,表明当前仍有部分粘连信号点未成功分离,因此在对信号点分割结果进行校正时,可以着重对可能存在粘连的区域进行精细分割。此处,可以统计细胞荧光图像的信号点分割结果中各个信号点实例的面积,其中信号点面积最大的信号点实例或者信号点面积大于预设面积的信号点实例为信号点分割结果中最有可能为粘连信号点的实例。因此,将该信号点面积最大的信号点实例或者信号点面积大于预设面积的信号点实例,作为待精细分割对象,然后利用分水岭算法再次对该待精细分割对象进行精细分割,并更新细胞荧光图像的信号点分割结果。其中,上述预设面积可以基于视野内各信号点实例的平均信号点面积确定得到,例如可以选择平均信号点面积的1.2倍作为预设面积。
若上述精细分割步骤执行完毕后,仍存在未成功分离的粘连信号点,则还可以迭代执行上述精细分割步骤。即,继续获取信号点分割结果中信号点面积最大或信号点面积大于预设面积的信号点实例,作为下一个待精细分割对象,并利用分水岭算法对该待精细分割对象进行精细分割,直至细胞荧光图像的信号点分割结果对应的信号点分割数量与信号点统计信息中的信号点数量一致。
基于上述任一实施例,所述利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果,具体包括:
确定局部极值函数的最短距离参数;其中,所述最短距离参数决定了极值点之间的距离;
基于所述待精细分割对象的区域面积,确定所述局部极值函数的footprint参数;其中,所述footprint参数决定了极值点的稀疏度;
利用所述局部极值函数对所述待精细分割对象进行极值点检测,得到所述待精细分割对象对应的极值标记;
基于所述极值标记,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果。
具体地,在对待精细分割对象进行精细分割时,为了提升分割准确度,可以对基于分水岭算法的精细分割方法进行调整。此处,精细分割时会先基于局部极值检测法获取图像中的极值点,再以极值点为标记进行分水岭分割。由于待精细分割对象是之前分割失败的图像区域,为了提升该区域的分割效果,可以对局部极值检测法进行调整。具体可以调整局部极值函数(例如skimage.feature.peak_local_max())的最短距离参数,其中最短距离参数决定了极值点之间的距离,该距离可以根据待精细分割对象的区域面积进行设定。另外再基于待精细分割对象的区域面积,确定局部极值函数的footprint参数,其中footprint参数决定了极值点的稀疏度,待精细分割对象的区域面积越大,footprint值可以设置得越大。通过上述方式设定合适的极值点距离和合适的极值点稀疏度,在基于局部极值函数检测待精细分割对象的极值标记时可以获取更准确数量更合适的极值点,从而引导后续的分水岭算法,可以有效提高精细分割的准确性。
基于上述任一实施例,当所述信号点分割数量大于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
重复将所述细胞荧光图像的信号点分割结果中当前信号点能量最小的信号点实例删除,直至所述信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
具体地,当信号点分割数量大于信号点统计信息中的信号点数量时,表明当前可能存在将部分杂点视为信号点等假阳检测情形。对此,可以以信号点统计信息中的信号点数量为标准,将细胞荧光图像的信号点分割结果中当前信号点能量最小的信号点实例删除。若删除信号点能量最小的信号点实例后,当前信号点分割结果对应的信号点分割数量等于信号点统计信息中的信号点数量,则可以将当前的信号点分割结果作为最终结果输出;否则,继续删除信号点分割结果中当前信号点能量最小的信号点实例,直至当前信号点分割结果对应的信号点分割数量等于信号点统计信息中的信号点数量,以提高信号点分割结果的准确性。
基于上述任一实施例,所述信号点预测模型是基于样本细胞荧光图像及所述样本细胞荧光图像中各个信号点的信号点标注训练得到的;所述信号点标注是基于如下步骤生成的:
获取所述样本细胞荧光图像中各个信号点的点标注结果;
基于所述各个信号点的点标注结果,生成信号点二值图像;其中,所述信号点二值图像中各个信号点的点标注结果对应位置处的像素值为1,其余位置处的像素值为0;
基于高斯核卷积对所述信号点二值图像进行卷积运算,生成所述各个信号点的伪掩膜,得到所述各个信号点的信号点标注。
具体地,目前的实例分割方法中,在对实例分割模型进行训练时需要对每个信号点进行像素级别的标注,标注成本较高。对此,本发明实施例采用点标注以及基于高斯核卷积的伪掩膜生成方式快速获取各个信号点的信号点标注。其中,点标注的方式仅需标注人员在信号点区域内进行单像素标注即可,再利用基于高斯核卷积的伪掩膜生成方式自动生成各个信号点的信号点标注,大大降低了标注成本。
具体而言,首先获取样本细胞荧光图像中各个信号点的点标注结果,并基于各个信号点的点标注结果,生成信号点二值图像。其中,在生成信号点二值图像时,将信号点二值图像中各个信号点的点标注结果对应位置处的像素值置为1,其余位置处的像素值置为0。随后,基于预设尺寸的高斯核卷积与上述信号点二值图像进行卷积运算,使得每个标注点扩散成高斯分布圆点,生成本细胞荧光图像中各个信号点的伪掩膜,从而获得各个信号点的信号点标注。此处,可以采用scipy.ndimage.filters.gaussian_filter()函数来生成高斯核,卷积运算可以采用scipy.signal.fftconvolve()函数实现。
基于上述任一实施例,所述高斯核卷积的尺寸是基于所述样本细胞荧光图像中各个信号点之间的距离确定的;其中,所述各个信号点之间的距离越近,所述高斯核卷积的尺寸越小;所述各个信号点之间的距离是基于所述各个信号点的点标注结果确定得到的。
具体地,利用预设尺寸的高斯核卷积与信号点二值图像进行卷积运算以得到各个信号点的伪掩膜时,生成的信号点伪掩膜的尺寸将与高斯核卷积的尺寸相对应。即,高斯核卷积的尺寸越大、生成的信号点伪掩膜的尺寸也越大。因此,为了生成更准确的信号点伪掩膜,需要设定合适的高斯核卷积的尺寸。
此处,为了避免将相邻信号点的伪掩膜融合为一体,导致信号点预测模型误将上述相邻信号点视为一个整体,从而朝向错误的方向学习,高斯核卷积的尺寸可以基于样本细胞荧光图像中各个信号点之间的距离确定得到。其中,可以基于各个信号点的点标注结果估计各个信号点之间的距离,再基于各个信号点之间的距离,设定高斯核卷积的尺寸,且各个信号点之间的距离越近,高斯核卷积的尺寸越小,以尽量分离相邻信号点的伪掩膜。通过上述方式确定合适尺寸的高斯核,在生成信号点伪掩膜时可以有效将距离较近甚至是粘连的信号点伪掩膜分离,提高伪掩膜的准确性,从而提升信号点预测模型的信号点分割性能。确定得到高斯核卷积的尺寸后,可以基于如下公式计算高斯核卷积中各个位置的数值:
其中,G(x, y)为高斯核卷积中坐标(x, y)处的数值,σ为标准差。
基于上述任一实施例,所述基于信号点预测模型的信号点预测分支和回归分支,对所述细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像中的信号点预测结果和信号点统计信息,具体包括:
基于所述信号点预测模型的编码器,对所述细胞荧光图像进行图像编码,得到所述细胞荧光图像的隐层编码;
基于所述信号点预测模型的信号点预测分支,结合所述隐层编码,对所述细胞荧光图像中的每一像素进行信号点预测,得到所述细胞荧光图像的信号点热图,并基于所述信号点热图确定所述信号点预测结果;
基于所述信号点检测模型的回归分支,结合所述隐层编码和所述信号点热图,对所述细胞荧光图像中的信号点进行回归分析,得到所述信号点统计信息。
具体地,信号点预测模型包含编码器、信号点预测分支和回归分支等结构。如图2所示,首先通过编码器对细胞荧光图像进行图像编码以获取该细胞荧光图像的隐层编码。例如,假设细胞荧光图像的尺寸为128*128,此处可以采用4层编码器结构,最后获取的隐层编码长度为128。信号点预测分支包括通过残差连接(skip connection)和上采样形成的解码器,以基于上述隐层编码,对细胞荧光图像中的每一像素进行信号点预测,最终获取和输入图像相同尺寸的信号点热图(heatmap)。此处,解码器同样可以采用和编码器相对应的4层上采样结构,最终的信号点热图尺寸为128*128。其中,在单独训练信号点预测分支时,可以以dice loss和bce loss的加权和作为该分支的分割损失,对信号点热图(Y)和GroundTruth(X)进行约束。其中,dice loss(Ldice)如下式所示:
bce loss(Lbce)如下式所示:
随后,将隐层编码和信号点热图输入至回归分支进行回归分析。基于回归分支,将隐层编码和信号点热图分别通过全连接层降维后连接成一个新的特征向量,并进一步通过若干全连接层将该特征向量降维至一维特征,然后通过Softmax激活层进行分类,获取信号点统计信息(以信号点统计信息为信号点数量为例,分类结果为细胞荧光图像中的信号点数量)。例如,隐层编码和信号点热图分别通过全连接层降至64维,合并后形成一个128维的特征向量,进一步通过全连接层降至32维和1维。为防止过拟合,还可以分别在128维和32维后增加dropout层,比例为0.5。
在训练过程中,先对信号点预测分支进行单独训练,直至分割损失无明显下降后,再对信号点预测分支和回归分支进行联合训练。联合训练时的模型损失为dice loss、bceloss和ce loss的加权和。其中,ce loss(Lce)如下式所示:
其中,m为样本细胞荧光图像中的像素数量,Xi为像素i对应的标注结果,Yi为回归分支针对像素i的输出结果。
此外,在信号点预测模型的训练过程中,评价指标可以为Dice score 和多分类的Accuracy,在训练过程中可以根据评价指标分别择优存储模型。
基于上述任一实施例,图3为本发明实施例提供的基于弱监督学习和分水岭处理的荧光信号分割装置的结构示意图,如图3所示,该装置包括:信号点预测单元310、预测结果分割单元320和原始图像分割单元330。
其中,信号点预测单元310用于基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
预测结果分割单元320用于基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
原始图像分割单元330用于基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
本发明实施例提供的装置,通过在信号点预测模型中添加回归分支,提升了信号点预测分支在存在粘连信号点和杂点等复杂场景下的分割能力,再对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,然后利用分水岭算法,先后对信号点预测结果和细胞荧光图像进行图像分割,从而从细胞荧光图像中分割出保留有信号点原始形态的信号点,提高了信号点分割的精度。
基于上述任一实施例,该装置包括精调单元,所述基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果之后,精调单元用于:
基于所述细胞荧光图像的信号点分割结果,确定所述细胞荧光图像中分割得到的信号点分割数量;
将所述信号点分割数量与所述信号点检测模型输出的信号点统计信息中的信号点数量进行比对;
若所述信号点分割数量与所述信号点统计信息中的信号点数量不一致,则对所述细胞荧光图像的信号点分割结果进行更新。
基于上述任一实施例,当所述信号点分割数量小于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
精细分割步骤:确定所述细胞荧光图像的信号点分割结果中信号点面积最大或信号点面积大于预设面积的信号点实例,作为待精细分割对象,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果;
迭代步骤:重复所述精细分割步骤,直至所述细胞荧光图像的信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
基于上述任一实施例,所述利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果,具体包括:
确定局部极值函数的最短距离参数;其中,所述最短距离参数决定了极值点之间的距离;
基于所述待精细分割对象的区域面积,确定所述局部极值函数的footprint参数;其中,所述footprint参数决定了极值点的稀疏度;
利用所述局部极值函数对所述待精细分割对象进行极值点检测,得到所述待精细分割对象对应的极值标记;
基于所述极值标记,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果。
基于上述任一实施例,当所述信号点分割数量大于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
重复将所述细胞荧光图像的信号点分割结果中当前信号点能量最小的信号点实例删除,直至所述信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
基于上述任一实施例,所述信号点预测模型是基于样本细胞荧光图像及所述样本细胞荧光图像中各个信号点的信号点标注训练得到的;所述信号点标注是基于如下步骤生成的:
获取所述样本细胞荧光图像中各个信号点的点标注结果;
基于所述各个信号点的点标注结果,生成信号点二值图像;其中,所述信号点二值图像中各个信号点的点标注结果对应位置处的像素值为1,其余位置处的像素值为0;
基于高斯核卷积对所述信号点二值图像进行卷积运算,生成所述各个信号点的伪掩膜,得到所述各个信号点的信号点标注。
基于上述任一实施例,所述高斯核卷积的尺寸是基于所述样本细胞荧光图像中各个信号点之间的距离确定的;其中,所述各个信号点之间的距离越近,所述高斯核卷积的尺寸越小;所述各个信号点之间的距离是基于所述各个信号点的点标注结果确定得到的。
基于上述任一实施例,所述基于信号点预测模型的信号点预测分支和回归分支,对所述细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像中的信号点预测结果和信号点统计信息,具体包括:
基于所述信号点预测模型的编码器,对所述细胞荧光图像进行图像编码,得到所述细胞荧光图像的隐层编码;
基于所述信号点预测模型的信号点预测分支,结合所述隐层编码,对所述细胞荧光图像中的每一像素进行信号点预测,得到所述细胞荧光图像的信号点热图,并基于所述信号点热图确定所述信号点预测结果;
基于所述信号点检测模型的回归分支,结合所述隐层编码和所述信号点热图,对所述细胞荧光图像中的信号点进行回归分析,得到所述信号点统计信息。
图4示例了一种电子设备的实体结构示意图,如图4所示,该电子设备可以包括:处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440,其中,处理器410,通信接口420,存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令,以执行基于弱监督学习和分水岭处理的荧光信号分割方法,该方法包括:基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
此外,上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于弱监督学习和分水岭处理的荧光信号分割方法,该方法包括:基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于弱监督学习和分水岭处理的荧光信号分割方法,该方法包括:基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,包括:
基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果;
基于所述细胞荧光图像的信号点分割结果,确定所述细胞荧光图像中分割得到的信号点分割数量;
将所述信号点分割数量与所述信号点检测模型输出的信号点统计信息中的信号点数量进行比对;
若所述信号点分割数量与所述信号点统计信息中的信号点数量不一致,则对所述细胞荧光图像的信号点分割结果进行更新。
2.根据权利要求1所述的基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,当所述信号点分割数量小于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
精细分割步骤:确定所述细胞荧光图像的信号点分割结果中信号点面积最大或信号点面积大于预设面积的信号点实例,作为待精细分割对象,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果;
迭代步骤:重复所述精细分割步骤,直至所述细胞荧光图像的信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
3.根据权利要求2所述的基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,所述利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果,具体包括:
确定局部极值函数的最短距离参数;其中,所述最短距离参数决定了极值点之间的距离;
基于所述待精细分割对象的区域面积,确定所述局部极值函数的footprint参数;其中,所述footprint参数决定了极值点的稀疏度;
利用所述局部极值函数对所述待精细分割对象进行极值点检测,得到所述待精细分割对象对应的极值标记;
基于所述极值标记,利用分水岭算法再次对所述待精细分割对象进行精细分割,并更新所述细胞荧光图像的信号点分割结果。
4.根据权利要求1所述的基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,当所述信号点分割数量大于所述信号点统计信息中的信号点数量时,所述对所述细胞荧光图像的信号点分割结果进行更新,具体包括:
重复将所述细胞荧光图像的信号点分割结果中当前信号点能量最小的信号点实例删除,直至所述信号点分割结果对应的信号点分割数量等于所述信号点统计信息中的信号点数量。
5.根据权利要求1至4任一项所述的基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,所述信号点预测模型是基于样本细胞荧光图像及所述样本细胞荧光图像中各个信号点的信号点标注训练得到的;所述信号点标注是基于如下步骤生成的:
获取所述样本细胞荧光图像中各个信号点的点标注结果;
基于所述各个信号点的点标注结果,生成信号点二值图像;其中,所述信号点二值图像中各个信号点的点标注结果对应位置处的像素值为1,其余位置处的像素值为0;
基于高斯核卷积对所述信号点二值图像进行卷积运算,生成所述各个信号点的伪掩膜,得到所述各个信号点的信号点标注。
6.根据权利要求5所述的基于弱监督学习和分水岭处理的荧光信号分割方法,其特征在于,所述高斯核卷积的尺寸是基于所述样本细胞荧光图像中各个信号点之间的距离确定的;其中,所述各个信号点之间的距离越近,所述高斯核卷积的尺寸越小;所述各个信号点之间的距离是基于所述各个信号点的点标注结果确定得到的。
7.一种基于弱监督学习和分水岭处理的荧光信号分割装置,其特征在于,包括:
信号点预测单元,用于基于信号点预测模型的信号点预测分支和回归分支,对单一通道下的细胞荧光图像分别进行信号点预测和信号点回归分析,得到所述细胞荧光图像的信号点预测结果和信号点统计信息;
预测结果分割单元,用于基于分水岭算法,对所述信号点预测结果进行图像分割,得到所述信号点预测结果中各个信号点的初始实例分割结果;
原始图像分割单元,用于基于分水岭算法,以所述各个信号点的初始实例分割结果为引导,对所述细胞荧光图像进行图像分割,得到所述细胞荧光图像的信号点分割结果;
精调单元,用于基于所述细胞荧光图像的信号点分割结果,确定所述细胞荧光图像中分割得到的信号点分割数量;将所述信号点分割数量与所述信号点检测模型输出的信号点统计信息中的信号点数量进行比对;若所述信号点分割数量与所述信号点统计信息中的信号点数量不一致,则对所述细胞荧光图像的信号点分割结果进行更新。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述基于弱监督学习和分水岭处理的荧光信号分割方法的步骤。
9.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于弱监督学习和分水岭处理的荧光信号分割方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210990178.XA CN115063797B (zh) | 2022-08-18 | 2022-08-18 | 基于弱监督学习和分水岭处理的荧光信号分割方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210990178.XA CN115063797B (zh) | 2022-08-18 | 2022-08-18 | 基于弱监督学习和分水岭处理的荧光信号分割方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063797A CN115063797A (zh) | 2022-09-16 |
CN115063797B true CN115063797B (zh) | 2022-12-23 |
Family
ID=83207655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210990178.XA Active CN115063797B (zh) | 2022-08-18 | 2022-08-18 | 基于弱监督学习和分水岭处理的荧光信号分割方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063797B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115393659B (zh) * | 2022-10-27 | 2023-01-24 | 珠海横琴圣澳云智科技有限公司 | 基于多级决策树的个性化分类流程优化方法和装置 |
CN116188947B (zh) * | 2023-04-28 | 2023-07-14 | 珠海横琴圣澳云智科技有限公司 | 基于领域知识的半监督信号点检测方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10531825B2 (en) * | 2016-10-14 | 2020-01-14 | Stoecker & Associates, LLC | Thresholding methods for lesion segmentation in dermoscopy images |
US10303979B2 (en) * | 2016-11-16 | 2019-05-28 | Phenomic Ai Inc. | System and method for classifying and segmenting microscopy images with deep multiple instance learning |
CN107977976A (zh) * | 2017-12-01 | 2018-05-01 | 浙江科技学院 | 一种图像分割方法 |
CN111968147B (zh) * | 2020-08-06 | 2022-03-15 | 电子科技大学 | 一种基于关键点检测的乳腺癌病理图像综合分析系统 |
CN112801164B (zh) * | 2021-01-22 | 2024-02-13 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、设备及存储介质 |
CN113096096B (zh) * | 2021-04-13 | 2023-04-18 | 中山市华南理工大学现代产业技术研究院 | 一种融合形态特征的显微图像骨髓细胞计数方法与系统 |
CN114240978B (zh) * | 2022-03-01 | 2022-05-13 | 珠海横琴圣澳云智科技有限公司 | 基于自适应形态学的细胞边缘分割方法和装置 |
CN114639102B (zh) * | 2022-05-11 | 2022-07-22 | 珠海横琴圣澳云智科技有限公司 | 基于关键点与尺寸回归的细胞分割方法和装置 |
-
2022
- 2022-08-18 CN CN202210990178.XA patent/CN115063797B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115063797A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115063797B (zh) | 基于弱监督学习和分水岭处理的荧光信号分割方法和装置 | |
CN108710866B (zh) | 汉字模型训练方法、汉字识别方法、装置、设备及介质 | |
CN110390251B (zh) | 一种基于多神经网络模型融合处理的图像文字语义分割方法 | |
CN109242869B (zh) | 一种图像实例分割方法、装置、设备及存储介质 | |
CN110276754B (zh) | 一种表面缺陷检测方法、终端设备及存储介质 | |
CN108230339B (zh) | 一种基于伪标签迭代标注的胃癌病理切片标注补全方法 | |
CN107301385B (zh) | 一种遮挡车牌识别方法及装置 | |
CN107437245B (zh) | 基于深度卷积神经网络的高速铁路接触网故障诊断方法 | |
CN111008632B (zh) | 一种基于深度学习的车牌字符分割方法 | |
CN109086770B (zh) | 一种基于精准尺度预测的图像语义分割方法及模型 | |
CN115063796B (zh) | 基于信号点内容约束的细胞分类方法和装置 | |
CN112819840B (zh) | 一种融合深度学习与传统处理的高精度图像实例分割方法 | |
CN112116599A (zh) | 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统 | |
CN114240978B (zh) | 基于自适应形态学的细胞边缘分割方法和装置 | |
CN111723815A (zh) | 模型训练方法、图像处理方法、装置、计算机系统和介质 | |
CN111507337A (zh) | 基于混合神经网络的车牌识别方法 | |
CN112633149A (zh) | 一种域自适应雾天图像目标检测方法和装置 | |
CN114332133A (zh) | 基于改进CE-Net的新冠肺炎CT图像感染区分割方法及系统 | |
König et al. | Weakly-supervised surface crack segmentation by generating pseudo-labels using localization with a classifier and thresholding | |
CN111259812A (zh) | 基于迁移学习的内河船舶重识别方法、设备及存储介质 | |
CN111582004A (zh) | 一种地面图像中的目标区域分割方法及装置 | |
CN116596875A (zh) | 晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN115656952A (zh) | 一种基于u型多维多尺度融合神经网络的地下目标多分类检测方法 | |
CN115719355A (zh) | 一种可扩展的农田边界规整简化方法、系统、设备及终端 | |
CN115424250A (zh) | 一种车牌识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |