CN114550171A - 细胞实例分割模型构建方法、细胞实例分割方法和装置 - Google Patents

细胞实例分割模型构建方法、细胞实例分割方法和装置 Download PDF

Info

Publication number
CN114550171A
CN114550171A CN202210424230.5A CN202210424230A CN114550171A CN 114550171 A CN114550171 A CN 114550171A CN 202210424230 A CN202210424230 A CN 202210424230A CN 114550171 A CN114550171 A CN 114550171A
Authority
CN
China
Prior art keywords
cell
mask
edge
pixel
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210424230.5A
Other languages
English (en)
Other versions
CN114550171B (zh
Inventor
王华嘉
吕行
邝英兰
范献军
黄仁斌
叶莘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Zhuhai Livzon Cynvenio Diagnostics Ltd
Original Assignee
Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Hengqin Shengao Yunzhi Technology Co ltd filed Critical Zhuhai Hengqin Shengao Yunzhi Technology Co ltd
Priority to CN202210424230.5A priority Critical patent/CN114550171B/zh
Publication of CN114550171A publication Critical patent/CN114550171A/zh
Application granted granted Critical
Publication of CN114550171B publication Critical patent/CN114550171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种细胞实例分割模型构建方法、细胞实例分割方法和装置,其中模型构建方法包括:对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于该细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定该细胞的边缘区域;确定任一细胞的边缘区域内各个边缘像素的权重值和该细胞的中心像素的权重值;任一细胞的边缘像素的权重值大于该细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。本发明提升了细胞实例分割模型在密集细胞场景下的分割性能。

Description

细胞实例分割模型构建方法、细胞实例分割方法和装置
技术领域
本发明涉及细胞图像处理技术领域,尤其涉及一种细胞实例分割模型构建方法、细胞实例分割方法和装置。
背景技术
近年来,循环遗传异常细胞(CACs, Circulating genetically abnormal cells)的检测可以更早的预测到肿瘤存在,具有广阔的应用前景。目前,对CACs进行检测的方法,是通过采集外周血液的暗视野(DF,Dark Field)显微镜图像,对DF图像中的CACs细胞进行精准分割,这是进一步对各个细胞进行自动化分析的基础。然而,CACs细胞分割存在着以下难点:1.CACs细胞存在细胞密集的情况,难以对密集细胞进行精准分割;2.由于CACs细胞在细胞密集的同时还会存在相互挤压的问题,因此细胞边界通常是一个不规则的形状,如何将各个细胞的不规则边界准确预测出来且各细胞的预测边界之间不重叠,是当前需要解决的难题。
目前常用的实例分割网络,例如MaskRCNN分割模型,在细胞边缘分割的精准度不够,难以应对细胞密集情况下的细胞分割任务。为了应对边缘分割不准确的问题,部分工作会在原有损失函数的基础上,新增边缘分割损失,该边缘分割损失对预测结果和标注结果进行边界提取,从而计算预测边界和标注边界之间的差异,通过减小该边缘分割损失的方式提高边缘分割准确度。然而,此种方式会受到边界提取算法的性能的干扰,边界提取效果越差,边缘分割损失的计算误差也越大。尤其对于密集细胞场景,细胞之间相互挤压、细胞会产生形变,细胞边界变得不规则,导致边界提取效果劣化,反而会对分割模型的训练产生负面影响。此外,还有部分工作会在计算损失时,对预测结果进行边界提取,并强化该边界上各像素的分割损失,一方面,上述方式同样会受到边界提取算法的性能的干扰,难以很好地适应密集细胞分割场景;另一方面,仅加强边界上像素的分割损失的做法,难以解决边界外和边界内部分信号点的分类错误,而信号点分类错误会导致细胞分割效果下降,并对下游任务产生不良影响。
发明内容
本发明提供一种细胞实例分割模型构建方法、细胞实例分割方法和装置,用以解决现有技术中在密集细胞场景下的细胞分割效果欠佳的缺陷。
本发明提供一种细胞实例分割模型构建方法,包括:
对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
根据本发明提供的一种细胞实例分割模型构建方法,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
根据本发明提供的一种细胞实例分割模型构建方法,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
根据本发明提供的一种细胞实例分割模型构建方法,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
根据本发明提供的一种细胞实例分割模型构建方法,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
根据本发明提供的一种细胞实例分割模型构建方法,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,之前还包括:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
根据本发明提供的一种细胞实例分割模型构建方法,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
本发明还提供一种细胞实例分割方法,包括:
确定待分割细胞图像;
将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如上述任一种所述细胞实例分割模型构建方法构建得到的。
本发明还提供一种细胞实例分割模型构建装置,包括:
掩膜标注单元,用于对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
边缘区域确定单元,用于对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
权重调整单元,用于确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
模型更新单元,用于基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
本发明还提供一种细胞实例分割装置,包括:
图像确定单元,用于确定待分割细胞图像;
细胞分割单元,用于将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如上述任一种所述细胞实例分割模型构建方法构建得到的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明提供的细胞实例分割模型构建方法、细胞实例分割方法和装置,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的细胞实例分割模型构建方法的流程示意图;
图2是本发明提供的自适应边缘区域获取方法的示意图;
图3是本发明提供的第一边缘区域和第二边缘区域的示意图;
图4是本发明提供的第一边缘区域和第二边缘区域的对比图;
图5是本发明提供的边缘像素权重设置的示意图;
图6是本发明提供的细胞实例分割方法的流程示意图;
图7是本发明提供的细胞实例分割模型构建装置的结构示意图;
图8是本发明提供的细胞实例分割装置的结构示意图;
图9是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的细胞实例分割模型构建方法的流程示意图,如图1所示,该方法包括:
步骤110,对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值。
具体地,获取样本细胞图像后,对样本细胞图像中的各个细胞进行掩膜标注,得到样本细胞图像中各个细胞的掩膜标注值。其中,任一细胞的掩膜标注值中包含属于该细胞的像素点的标注结果。
步骤120,对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域。
具体地,在密集细胞场景下,细胞之间距离较近甚至相互挤压,为了避免细胞相互之间产生干扰,可以对各个细胞的掩膜标注值分别进行处理。对于任一细胞的掩膜标注值,对该掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的掩膜膨胀结果和掩膜腐蚀结果。其中,如图2所示,对掩膜标注值进行膨胀操作,可以扩大该细胞掩膜的区域范围;对掩膜标注值进行腐蚀操作,则可以缩小该细胞掩膜的区域范围。随后,确定该细胞的掩膜膨胀结果和掩膜腐蚀结果之间的差异,作为该细胞的边缘区域(如图2中最后得到的二值图中的白色区域)。可见,该细胞的边缘区域内包含有该细胞的边界(如图2中边缘区域内部的虚线所示,此处仅为示例,本实施例无需进行细胞边界提取),以及该细胞边界以外的部分区域以及该细胞边界以内的部分区域。
此处,考虑到在密集细胞场景下,各个细胞之间距离较近或相互挤压且细胞易产生形变,在进行细胞分割时,细胞边界之间容易相互干扰,导致将相邻细胞靠近边界的像素点误识别为当前细胞的像素点,或将当前细胞靠近边界的像素点误识别为相邻细胞的像素点。为了克服这一问题,在对当前细胞的预测边界进行约束时,不仅应当重视当前细胞掩膜标注值的边界上像素点的分类准确性,还应重视当前细胞掩膜标注值的边界以外部分区域的像素点的分类准确性,以及当前细胞掩膜标注值的边界以内部分区域的像素点的分类准确性,从而解决细胞密集导致将当前细胞的像素点误认为相邻细胞的像素点的问题,以及将相邻细胞的像素点误认为当前细胞的像素点的问题。
因此,可以利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,通过加强该边缘区域内像素点的分类准确性,可以提高细胞实例分割模型对细胞边缘的分割准确性;另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷,可以有效提高细胞实例分割模型的分割准确性。
步骤130,确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值。
具体地,确定任一细胞的边缘区域内各个边缘像素的权重值以及该细胞的中心像素的权重值。任一像素点的权重值用于调整该像素点的分类错误对整个细胞的分割损失的影响程度,其权重值越大,该像素点的分类错误将更大程度地影响整个细胞的分割损失,使得细胞实例分割模型加大对该像素点的分类错误的惩罚力度,以提高该像素点的分类准确性。其中,任一细胞的中心像素为该细胞的掩膜标注值中位于该细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于该细胞的中心像素的权重值。
考虑到细胞密集场景下,细胞挤压对该细胞的中心像素的分类影响不大,因此,可以将该细胞中心像素的权重值设置得略低于该细胞的边缘像素。例如,可以将该细胞中心像素的权重值设置为1,而将该细胞的边缘像素的权重值设置为大于1的数值。此外,在设置该细胞的边缘像素的权重值时,可以基于当前细胞所在处的细胞密集程度确定。当前细胞所在处的细胞密集程度越高,该细胞的边缘像素的权重值可以设置得越高,进一步加强对该细胞的边缘像素的分类准确性。此处,该细胞边缘区域内的各个边缘像素的权重值可以相同,也可以不同,本发明实施例对此不作具体限定。
需要说明的是,由于每个细胞的掩膜标注值是独立处理的,即使同一像素点存在于两个或以上细胞的边缘区域内,但该像素点在两个细胞的分割损失中,其对应的权重值是分别独立计算的,因此该像素点在不同细胞计算分割损失时的权重值可以不同,从而可以提高分割损失计算的灵活性和针对性。
步骤140,基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
具体地,根据各个细胞的边缘像素和中心像素的权重值,分别计算各个细胞对应的分割损失。其中,任一细胞的分割损失是基于该细胞的各边缘像素的预测差异和各中心像素的预测差异的加权和,加权时使用的权重即上一步骤中计算得到的各边缘像素和中心像素的权重值。此处,可以基于binary cross entropy计算各个细胞对应的分割损失。binary_cross_entropy的公式如下:
ln=−wn[yn⋅logσ(xn)+(1−yn)⋅log(1−σ(xn))]
其中,n表示细胞掩膜图像中的任一像素点,x是像素点数据,y是标签类别,w是该像素点对应的权重值。
随后,基于各个细胞对应的分割损失,对细胞实例分割模型的模型参数进行一轮更新。此处,细胞实例分割模型可以采用现有的实例分割模型的结构,例如MaskRCNN等,本发明实施例对此不作具体限定。在依次针对所有样本细胞图像执行上述步骤、实现对细胞实例分割模型的更新后,即可得到构建好的细胞实例分割模型,以用于实际应用场景下的细胞分割。
本发明实施例提供的方法,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
基于上述实施例,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
具体地,在任一细胞的边缘区域内,可以为各个边缘像素设定不同的阈值。此处,通过上述形态学方法自适应确定的边缘区域是一个从该细胞边界分别向外和向内扩张了部分范围的较大区域,而对于细胞分割任务而言,边缘区域内不同位置的边缘像素的分类准确度对于该细胞的分割准确度的影响程度不一。其中,越靠近细胞边界的边缘像素的分类准确度对于该细胞的分割准确度的影响程度越大,该边缘像素越重要。因此,可以为更靠近细胞边界的边缘像素设置更高的权重值。
具体而言,可以首先确定任一细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离。随后,基于该细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离,确定各个边缘像素的权重值。其中,该细胞的任一边缘像素与该细胞的细胞边界之间的距离越近,该边缘像素的权重值可以设置得越高。通过对边缘区域内各边缘像素进行有差别的权重设置,为边缘区域内更靠近细胞边界的边缘像素设置相较于边缘区域内其他位置的边缘像素更高的权重值,可以进一步加大对边缘区域内更靠近细胞边界的边缘像素的分类错误的惩罚,提升细胞实例分割模型对细胞边缘的分割精确度。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
具体地,在为边缘区域内更靠近细胞边界的边缘像素设置相较于边缘区域内其他位置的边缘像素更高的权重值之前,需要确定任一细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离。此处,由于边界提取算法会在密集细胞场景下性能下降,因此本发明实施例不采用边界提取的方式确定细胞边界从而确定边缘像素与细胞边界之间的距离。此处,本发明实施例将边缘像素与细胞边界之间距离的确定任务融合至边缘区域获取的步骤中。
具体而言,确定较大的第一卷积核尺寸(例如9*9)和较小的第二卷积核尺寸(例如5*5)。随后,如图3左侧所示,利用第一卷积核尺寸,对细胞掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于该细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定该细胞的第一边缘区域。与此同时,如图3右侧所示,还可以根据第二卷积核尺寸,对该细胞掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于该细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定该细胞的第二边缘区域。该细胞的第一边缘区域和第二边缘区域共同构成该细胞的边缘区域,其中,第二边缘区域位于第一边缘区域内部。
由于第一卷积核尺寸大于第二卷积核尺寸,因此基于第一卷积核尺寸进行的膨胀和腐蚀操作的膨胀腐蚀效果更明显,得到的第一边缘区域也相对第二边缘区域更大。此处,即使第二边缘区域小于第一边缘区域,但是膨胀和腐蚀操作使得第二边缘区域仍然是一个包含细胞边界以及细胞边界以外部分像素点和细胞边界以内部分像素点的区域。
对比第一边缘区域和第二边缘区域来看,如图4所示,第二边缘区域处于内圈(如图4中白色区域所示),因此处于第二边缘区域内的边缘像素距离该细胞的细胞边界更近,而第二边缘区域以外、第一边缘区域以内的边缘像素(如图4中灰色区域中的像素)距离该细胞的细胞边界更远。因此,可以将位于该细胞的第二边缘区域内的边缘像素与该细胞的细胞边界之间的距离设定为较小的第一距离,将位于该细胞的第一边缘区域内且在第二边缘区域外的边缘像素与该细胞的细胞边界之间的距离设定为较大的第二距离,以快速确定边缘区域内各边缘像素与细胞边界之间的距离。
基于上述任一实施例,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
具体地,通过上述方式获取细胞的边缘区域以及边缘区域内各边缘像素与细胞边界之间的距离之后,可以根据各边缘像素与细胞边界之间的距离设定各边缘像素的权重值。其中,若该细胞的任一边缘像素与该细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为该边缘像素的权重值;若该细胞的任一边缘像素与该细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为该边缘像素的权重值。其中,第一超参数和第二超参数均大于1,且第一超参数大于第二超参数,默认权重值可以根据实际应用场景任意设定,例如可以设置为1。
基于上述任一实施例,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
具体地,在设置第一超参数和第二超参数时,可以基于对应边缘区域的面积和该细胞的面积进行自适应设置。此处,对于第一边缘区域与第二边缘区域的差异部分,即第一边缘区域内的外围部分,第一边缘区域的面积在整个细胞的面积中所占比例越大,表明该外围部分的边缘像素对该细胞的分割影响程度越小。因此,可以基于该细胞的掩膜面积与第一边缘区域的面积之间的比值确定第二超参数。
对于第二边缘区域,第二边缘区域的面积在整个细胞的面积中所占比例越大,表明该第二边缘区域内的边缘像素对该细胞的分割影响程度越小(但影响程度仍然高于第一边缘区域与第二边缘区域的差异部分中的边缘像素和中心像素)。因此,可以基于该细胞的掩膜面积与第二边缘区域的面积之间的比值确定第一超参数,以同时满足第一超参数大于第二超参数的条件。如图5所示,按照上述方式,可以将第二边缘区域内边缘像素的权重值设置为1.5,将第一边缘区域和第二边缘区域的差异部分的边缘像素的权重值设置为1.2。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,之前还包括:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
具体地,考虑到在细胞密集场景下,细胞越密集,相邻细胞的细胞边界之间产生的相互干扰越严重,越需要注重和加强细胞边界周围更大范围内像素点的分类准确性。因此,可以通过细胞密集程度自适应调整膨胀和腐蚀操作的卷积核尺寸,从而调节膨胀腐蚀程度,使得据此获得的边缘区域与细胞密集程度相适应。其中,细胞密集程度越高,获取的边缘区域更大,能够覆盖细胞边界周围更多的像素点,从而加强更大范围内像素点的分类准确性,以更好地适应细胞密集场景。
此处,可以基于任一细胞的掩膜标注值以及该细胞的相邻细胞的掩膜标注值,确定该细胞的中心点以及该细胞的相邻细胞的中心点。基于该细胞的中心点以及该细胞的相邻细胞的中心点,可以确定该细胞与该细胞的相邻细胞的密集程度。此处,可以确定该细胞的中心点以及该细胞的相邻细胞的中心点之间的距离,并确定与该细胞中心点距离小于预设距离的相邻细胞的数量,从而得到该细胞与该细胞的相邻细胞的密集程度。其中,与该细胞中心点距离小于预设距离的相邻细胞的数量越多,该细胞与该细胞的相邻细胞的密集程度越高。
基于该细胞与该细胞的相邻细胞的密集程度,可以确定该细胞对应的卷积核尺寸,以用于对该细胞的掩膜标注值进行膨胀和腐蚀操作。其中,该细胞与该细胞的相邻细胞的密集程度越高,该细胞与其相邻细胞的细胞边界之间会产生更大干扰,需要获取覆盖该细胞的细胞边界周围更多的像素点的边缘区域,以使模型加强对更多边缘像素分类准确性的关注度。因此,可将该细胞对应的卷积核尺寸设置得越大,使其膨胀腐蚀效果更明显,相应获取的边缘区域更大,从而加强更多边缘像素的分类准确性,提高密集细胞场景下细胞实例分割模型的分割性能。
基于上述任一实施例,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
具体地,在确定膨胀和腐蚀操作使用的卷积核尺寸时,还可以结合该细胞与该细胞的相邻细胞的密集程度,以及该细胞的面积,综合确定卷积核尺寸,以获取更适合当前应用场景的卷积核尺寸,提升细胞实例分割模型的训练效果。其中,根据该细胞的面积,可以选择与该细胞大小相适应的卷积核尺寸,避免选取过大的卷积核尺寸导致过度膨胀和过度腐蚀,以及避免选取过小的卷积核尺寸导致膨胀腐蚀效果过于不明显,使得边缘区域太小,对于边缘像素分类准确性的关注不够,导致细胞实例分割模型对于细胞边缘的分割准确性提升不足。
基于上述任一实施例,图6为本发明实施例提供的细胞实例分割方法的流程示意图,如图6所示,该方法包括:
步骤610,确定待分割细胞图像;
步骤620,将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。
具体地,获取当前需要进行细胞实例分割处理的待分割细胞图像,并将该待分割细胞图像输入至细胞实例分割模型进行细胞实例分割。其中,可以对待分割细胞图像进行图像预处理操作,例如直方图均衡化、标准化操作等,使其与细胞实例分割模型训练过程中使用的样本细胞图像一致。此处,细胞实例分割模型是基于样本细胞图像以及该样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。由于上述任一实施例提供的细胞实例分割模型构建方法可以训练得到一个细胞边缘分割效果更佳、更适应于密集细胞场景的细胞实例分割模型,因此,利用该细胞实例分割模型对待分割细胞图像进行细胞分割,可以得到更精确的细胞分割结果。
基于上述任一实施例,图7为本发明实施例提供的细胞实例分割模型构建装置的结构示意图,如图7所示,该装置包括:掩膜标注单元710、边缘区域确定单元720、权重调整单元730和模型更新单元740。
其中,掩膜标注单元710用于对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
边缘区域确定单元720用于对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
权重调整单元730用于确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
模型更新单元740用于基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
本发明实施例提供的装置,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
基于上述任一实施例,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
基于上述任一实施例,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
基于上述任一实施例,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作之前,边缘区域确定单元720还用于:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
基于上述任一实施例,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
基于上述任一实施例,图8为本发明实施例提供的细胞实例分割装置的结构示意图,如图8所示,该装置包括:图像确定单元810和细胞分割单元820。
其中,图像确定单元810用于确定待分割细胞图像;
细胞分割单元820用于将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。
图9示例了一种电子设备的实体结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令,以执行细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种细胞实例分割模型构建方法,其特征在于,包括:
对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
2.根据权利要求1所述的细胞实例分割模型构建方法,其特征在于,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
3.根据权利要求2所述的细胞实例分割模型构建方法,其特征在于,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
4.根据权利要求3所述的细胞实例分割模型构建方法,其特征在于,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
5.根据权利要求4所述的细胞实例分割模型构建方法,其特征在于,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
6.根据权利要求1所述的细胞实例分割模型构建方法,其特征在于,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,之前还包括:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
7.根据权利要求6所述的细胞实例分割模型构建方法,其特征在于,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
8.一种细胞实例分割方法,其特征在于,包括:
确定待分割细胞图像;
将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如权利要求1至7任一所述细胞实例分割模型构建方法构建得到的。
9.一种细胞实例分割模型构建装置,其特征在于,包括:
掩膜标注单元,用于对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
边缘区域确定单元,用于对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
权重调整单元,用于确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
模型更新单元,用于基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
10.一种细胞实例分割装置,其特征在于,包括:
图像确定单元,用于确定待分割细胞图像;
细胞分割单元,用于将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如权利要求1至7任一所述细胞实例分割模型构建方法构建得到的。
CN202210424230.5A 2022-04-22 2022-04-22 细胞实例分割模型构建方法、细胞实例分割方法和装置 Active CN114550171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210424230.5A CN114550171B (zh) 2022-04-22 2022-04-22 细胞实例分割模型构建方法、细胞实例分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210424230.5A CN114550171B (zh) 2022-04-22 2022-04-22 细胞实例分割模型构建方法、细胞实例分割方法和装置

Publications (2)

Publication Number Publication Date
CN114550171A true CN114550171A (zh) 2022-05-27
CN114550171B CN114550171B (zh) 2022-07-12

Family

ID=81667501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210424230.5A Active CN114550171B (zh) 2022-04-22 2022-04-22 细胞实例分割模型构建方法、细胞实例分割方法和装置

Country Status (1)

Country Link
CN (1) CN114550171B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778661A (zh) * 2016-12-28 2017-05-31 深圳市美好幸福生活安全系统有限公司 一种基于形态学变换和自适应阈值的快速车道线检测方法
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
US10672129B1 (en) * 2019-03-22 2020-06-02 Lunit Inc. Method for semantic segmentation and apparatus thereof
US20200327671A1 (en) * 2019-04-11 2020-10-15 Agilent Technologies, Inc. User Interface Configured to Facilitate User Annotation for Instance Segmentation Within Biological Sample
CN112419335A (zh) * 2020-11-19 2021-02-26 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN113469963A (zh) * 2021-06-24 2021-10-01 推想医疗科技股份有限公司 肺动脉图像分割方法及装置
CN113487618A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 人像分割方法、装置、电子设备及存储介质
CN113643311A (zh) * 2021-06-28 2021-11-12 清华大学 一种对边界误差鲁棒的图像分割方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778661A (zh) * 2016-12-28 2017-05-31 深圳市美好幸福生活安全系统有限公司 一种基于形态学变换和自适应阈值的快速车道线检测方法
US10672129B1 (en) * 2019-03-22 2020-06-02 Lunit Inc. Method for semantic segmentation and apparatus thereof
US20200327671A1 (en) * 2019-04-11 2020-10-15 Agilent Technologies, Inc. User Interface Configured to Facilitate User Annotation for Instance Segmentation Within Biological Sample
CN110689548A (zh) * 2019-09-29 2020-01-14 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN112419335A (zh) * 2020-11-19 2021-02-26 哈尔滨理工大学 一种细胞核分割网络的形状损失计算方法
CN113469963A (zh) * 2021-06-24 2021-10-01 推想医疗科技股份有限公司 肺动脉图像分割方法及装置
CN113643311A (zh) * 2021-06-28 2021-11-12 清华大学 一种对边界误差鲁棒的图像分割方法和装置
CN113487618A (zh) * 2021-09-07 2021-10-08 北京世纪好未来教育科技有限公司 人像分割方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张燕红等: "基于数学形态学的细胞图像分割方法研究及实现", 《计算机与现代化》 *
潘晨等: "一种分割重叠粘连细胞图像的改进算法", 《中国生物医学工程学报》 *

Also Published As

Publication number Publication date
CN114550171B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
CN110648350B (zh) 一种肝脏血管分割方法、装置及电子设备
CN114418957A (zh) 基于机器人视觉的全局和局部二值模式图像裂缝分割方法
CN112001401B (zh) 用于实例分割的模型及训练方法,实例分割网络
CN110708568B (zh) 一种视频内容突变检测方法及装置
CN112200826B (zh) 一种工业弱缺陷分割方法
CN116030237A (zh) 工业缺陷检测方法、装置及电子设备、存储介质
CN114862861B (zh) 基于少样本学习的肺叶分割方法和装置
CN114998332B (zh) 核型异常细胞的确定方法和装置
CN113505261A (zh) 数据标注方法、装置以及数据标注模型训练方法、装置
CN114550171B (zh) 细胞实例分割模型构建方法、细胞实例分割方法和装置
CN113034387A (zh) 一种图像去噪方法、装置、设备及介质
CN114708286B (zh) 基于伪标注动态更新的细胞实例分割方法和装置
CN113012088A (zh) 一种电路板故障检测及孪生网络的训练方法、装置和设备
CN114764788B (zh) 一种颅内动脉狭窄检测方法及系统
CN115908802A (zh) 摄像头遮挡检测方法、装置、电子设备及可读存储介质
CN115564776A (zh) 基于机器学习的异常细胞样本检测方法和装置
CN111932515B (zh) 产品残留类缺陷的短路检测方法及系统及缺陷分类系统
CN113496159A (zh) 一种多尺度卷积与动态权重代价函数的烟尘目标分割方法
CN115937263B (zh) 基于视觉的目标跟踪方法、系统、电子设备及存储介质
CN117570852B (zh) 极耳顶点坐标检测方法、装置及设备
CN113538500B (zh) 图像分割方法、装置、电子设备和存储介质
US20240020846A1 (en) Corner point detection method and apparatus
CN114092739B (zh) 图像处理方法、装置、设备、存储介质和程序产品
CN117746077B (zh) 一种芯片缺陷的检测方法、装置、设备和存储介质
CN114037865B (zh) 图像处理方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221214

Address after: 519000 3 3 level 3, No. 266 Tong Hang Road, Xiangzhou District, Zhuhai, Guangdong.

Patentee after: ZHUHAI LIVZON CYNVENIO DIAGNOSTICS Ltd.

Patentee after: Zhuhai Hengqin Shengao Yunzhi Technology Co.,Ltd.

Address before: 519031 Room 102, 202 and 402, building 2, No. 100, Feipeng Road, Guangdong Macao cooperative traditional Chinese medicine science and Technology Industrial Park, Hengqin new area, Zhuhai City, Guangdong Province

Patentee before: Zhuhai Hengqin Shengao Yunzhi Technology Co.,Ltd.