发明内容
本发明提供一种细胞实例分割模型构建方法、细胞实例分割方法和装置,用以解决现有技术中在密集细胞场景下的细胞分割效果欠佳的缺陷。
本发明提供一种细胞实例分割模型构建方法,包括:
对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
根据本发明提供的一种细胞实例分割模型构建方法,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
根据本发明提供的一种细胞实例分割模型构建方法,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
根据本发明提供的一种细胞实例分割模型构建方法,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
根据本发明提供的一种细胞实例分割模型构建方法,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
根据本发明提供的一种细胞实例分割模型构建方法,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,之前还包括:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
根据本发明提供的一种细胞实例分割模型构建方法,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
本发明还提供一种细胞实例分割方法,包括:
确定待分割细胞图像;
将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如上述任一种所述细胞实例分割模型构建方法构建得到的。
本发明还提供一种细胞实例分割模型构建装置,包括:
掩膜标注单元,用于对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
边缘区域确定单元,用于对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
权重调整单元,用于确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
模型更新单元,用于基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
本发明还提供一种细胞实例分割装置,包括:
图像确定单元,用于确定待分割细胞图像;
细胞分割单元,用于将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用如上述任一种所述细胞实例分割模型构建方法构建得到的。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述细胞实例分割模型构建方法或细胞实例分割方法的步骤。
本发明提供的细胞实例分割模型构建方法、细胞实例分割方法和装置,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的细胞实例分割模型构建方法的流程示意图,如图1所示,该方法包括:
步骤110,对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值。
具体地,获取样本细胞图像后,对样本细胞图像中的各个细胞进行掩膜标注,得到样本细胞图像中各个细胞的掩膜标注值。其中,任一细胞的掩膜标注值中包含属于该细胞的像素点的标注结果。
步骤120,对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域。
具体地,在密集细胞场景下,细胞之间距离较近甚至相互挤压,为了避免细胞相互之间产生干扰,可以对各个细胞的掩膜标注值分别进行处理。对于任一细胞的掩膜标注值,对该掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的掩膜膨胀结果和掩膜腐蚀结果。其中,如图2所示,对掩膜标注值进行膨胀操作,可以扩大该细胞掩膜的区域范围;对掩膜标注值进行腐蚀操作,则可以缩小该细胞掩膜的区域范围。随后,确定该细胞的掩膜膨胀结果和掩膜腐蚀结果之间的差异,作为该细胞的边缘区域(如图2中最后得到的二值图中的白色区域)。可见,该细胞的边缘区域内包含有该细胞的边界(如图2中边缘区域内部的虚线所示,此处仅为示例,本实施例无需进行细胞边界提取),以及该细胞边界以外的部分区域以及该细胞边界以内的部分区域。
此处,考虑到在密集细胞场景下,各个细胞之间距离较近或相互挤压且细胞易产生形变,在进行细胞分割时,细胞边界之间容易相互干扰,导致将相邻细胞靠近边界的像素点误识别为当前细胞的像素点,或将当前细胞靠近边界的像素点误识别为相邻细胞的像素点。为了克服这一问题,在对当前细胞的预测边界进行约束时,不仅应当重视当前细胞掩膜标注值的边界上像素点的分类准确性,还应重视当前细胞掩膜标注值的边界以外部分区域的像素点的分类准确性,以及当前细胞掩膜标注值的边界以内部分区域的像素点的分类准确性,从而解决细胞密集导致将当前细胞的像素点误认为相邻细胞的像素点的问题,以及将相邻细胞的像素点误认为当前细胞的像素点的问题。
因此,可以利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,通过加强该边缘区域内像素点的分类准确性,可以提高细胞实例分割模型对细胞边缘的分割准确性;另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷,可以有效提高细胞实例分割模型的分割准确性。
步骤130,确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值。
具体地,确定任一细胞的边缘区域内各个边缘像素的权重值以及该细胞的中心像素的权重值。任一像素点的权重值用于调整该像素点的分类错误对整个细胞的分割损失的影响程度,其权重值越大,该像素点的分类错误将更大程度地影响整个细胞的分割损失,使得细胞实例分割模型加大对该像素点的分类错误的惩罚力度,以提高该像素点的分类准确性。其中,任一细胞的中心像素为该细胞的掩膜标注值中位于该细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于该细胞的中心像素的权重值。
考虑到细胞密集场景下,细胞挤压对该细胞的中心像素的分类影响不大,因此,可以将该细胞中心像素的权重值设置得略低于该细胞的边缘像素。例如,可以将该细胞中心像素的权重值设置为1,而将该细胞的边缘像素的权重值设置为大于1的数值。此外,在设置该细胞的边缘像素的权重值时,可以基于当前细胞所在处的细胞密集程度确定。当前细胞所在处的细胞密集程度越高,该细胞的边缘像素的权重值可以设置得越高,进一步加强对该细胞的边缘像素的分类准确性。此处,该细胞边缘区域内的各个边缘像素的权重值可以相同,也可以不同,本发明实施例对此不作具体限定。
需要说明的是,由于每个细胞的掩膜标注值是独立处理的,即使同一像素点存在于两个或以上细胞的边缘区域内,但该像素点在两个细胞的分割损失中,其对应的权重值是分别独立计算的,因此该像素点在不同细胞计算分割损失时的权重值可以不同,从而可以提高分割损失计算的灵活性和针对性。
步骤140,基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
具体地,根据各个细胞的边缘像素和中心像素的权重值,分别计算各个细胞对应的分割损失。其中,任一细胞的分割损失是基于该细胞的各边缘像素的预测差异和各中心像素的预测差异的加权和,加权时使用的权重即上一步骤中计算得到的各边缘像素和中心像素的权重值。此处,可以基于binary cross entropy计算各个细胞对应的分割损失。binary_cross_entropy的公式如下:
ln=−wn[yn⋅logσ(xn)+(1−yn)⋅log(1−σ(xn))]
其中,n表示细胞掩膜图像中的任一像素点,x是像素点数据,y是标签类别,w是该像素点对应的权重值。
随后,基于各个细胞对应的分割损失,对细胞实例分割模型的模型参数进行一轮更新。此处,细胞实例分割模型可以采用现有的实例分割模型的结构,例如MaskRCNN等,本发明实施例对此不作具体限定。在依次针对所有样本细胞图像执行上述步骤、实现对细胞实例分割模型的更新后,即可得到构建好的细胞实例分割模型,以用于实际应用场景下的细胞分割。
本发明实施例提供的方法,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
基于上述实施例,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
具体地,在任一细胞的边缘区域内,可以为各个边缘像素设定不同的阈值。此处,通过上述形态学方法自适应确定的边缘区域是一个从该细胞边界分别向外和向内扩张了部分范围的较大区域,而对于细胞分割任务而言,边缘区域内不同位置的边缘像素的分类准确度对于该细胞的分割准确度的影响程度不一。其中,越靠近细胞边界的边缘像素的分类准确度对于该细胞的分割准确度的影响程度越大,该边缘像素越重要。因此,可以为更靠近细胞边界的边缘像素设置更高的权重值。
具体而言,可以首先确定任一细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离。随后,基于该细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离,确定各个边缘像素的权重值。其中,该细胞的任一边缘像素与该细胞的细胞边界之间的距离越近,该边缘像素的权重值可以设置得越高。通过对边缘区域内各边缘像素进行有差别的权重设置,为边缘区域内更靠近细胞边界的边缘像素设置相较于边缘区域内其他位置的边缘像素更高的权重值,可以进一步加大对边缘区域内更靠近细胞边界的边缘像素的分类错误的惩罚,提升细胞实例分割模型对细胞边缘的分割精确度。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
具体地,在为边缘区域内更靠近细胞边界的边缘像素设置相较于边缘区域内其他位置的边缘像素更高的权重值之前,需要确定任一细胞的边缘区域内各个边缘像素与该细胞的细胞边界之间的距离。此处,由于边界提取算法会在密集细胞场景下性能下降,因此本发明实施例不采用边界提取的方式确定细胞边界从而确定边缘像素与细胞边界之间的距离。此处,本发明实施例将边缘像素与细胞边界之间距离的确定任务融合至边缘区域获取的步骤中。
具体而言,确定较大的第一卷积核尺寸(例如9*9)和较小的第二卷积核尺寸(例如5*5)。随后,如图3左侧所示,利用第一卷积核尺寸,对细胞掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于该细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定该细胞的第一边缘区域。与此同时,如图3右侧所示,还可以根据第二卷积核尺寸,对该细胞掩膜标注值分别进行膨胀和腐蚀操作,得到该细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于该细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定该细胞的第二边缘区域。该细胞的第一边缘区域和第二边缘区域共同构成该细胞的边缘区域,其中,第二边缘区域位于第一边缘区域内部。
由于第一卷积核尺寸大于第二卷积核尺寸,因此基于第一卷积核尺寸进行的膨胀和腐蚀操作的膨胀腐蚀效果更明显,得到的第一边缘区域也相对第二边缘区域更大。此处,即使第二边缘区域小于第一边缘区域,但是膨胀和腐蚀操作使得第二边缘区域仍然是一个包含细胞边界以及细胞边界以外部分像素点和细胞边界以内部分像素点的区域。
对比第一边缘区域和第二边缘区域来看,如图4所示,第二边缘区域处于内圈(如图4中白色区域所示),因此处于第二边缘区域内的边缘像素距离该细胞的细胞边界更近,而第二边缘区域以外、第一边缘区域以内的边缘像素(如图4中灰色区域中的像素)距离该细胞的细胞边界更远。因此,可以将位于该细胞的第二边缘区域内的边缘像素与该细胞的细胞边界之间的距离设定为较小的第一距离,将位于该细胞的第一边缘区域内且在第二边缘区域外的边缘像素与该细胞的细胞边界之间的距离设定为较大的第二距离,以快速确定边缘区域内各边缘像素与细胞边界之间的距离。
基于上述任一实施例,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
具体地,通过上述方式获取细胞的边缘区域以及边缘区域内各边缘像素与细胞边界之间的距离之后,可以根据各边缘像素与细胞边界之间的距离设定各边缘像素的权重值。其中,若该细胞的任一边缘像素与该细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为该边缘像素的权重值;若该细胞的任一边缘像素与该细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为该边缘像素的权重值。其中,第一超参数和第二超参数均大于1,且第一超参数大于第二超参数,默认权重值可以根据实际应用场景任意设定,例如可以设置为1。
基于上述任一实施例,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
具体地,在设置第一超参数和第二超参数时,可以基于对应边缘区域的面积和该细胞的面积进行自适应设置。此处,对于第一边缘区域与第二边缘区域的差异部分,即第一边缘区域内的外围部分,第一边缘区域的面积在整个细胞的面积中所占比例越大,表明该外围部分的边缘像素对该细胞的分割影响程度越小。因此,可以基于该细胞的掩膜面积与第一边缘区域的面积之间的比值确定第二超参数。
对于第二边缘区域,第二边缘区域的面积在整个细胞的面积中所占比例越大,表明该第二边缘区域内的边缘像素对该细胞的分割影响程度越小(但影响程度仍然高于第一边缘区域与第二边缘区域的差异部分中的边缘像素和中心像素)。因此,可以基于该细胞的掩膜面积与第二边缘区域的面积之间的比值确定第一超参数,以同时满足第一超参数大于第二超参数的条件。如图5所示,按照上述方式,可以将第二边缘区域内边缘像素的权重值设置为1.5,将第一边缘区域和第二边缘区域的差异部分的边缘像素的权重值设置为1.2。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,之前还包括:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
具体地,考虑到在细胞密集场景下,细胞越密集,相邻细胞的细胞边界之间产生的相互干扰越严重,越需要注重和加强细胞边界周围更大范围内像素点的分类准确性。因此,可以通过细胞密集程度自适应调整膨胀和腐蚀操作的卷积核尺寸,从而调节膨胀腐蚀程度,使得据此获得的边缘区域与细胞密集程度相适应。其中,细胞密集程度越高,获取的边缘区域更大,能够覆盖细胞边界周围更多的像素点,从而加强更大范围内像素点的分类准确性,以更好地适应细胞密集场景。
此处,可以基于任一细胞的掩膜标注值以及该细胞的相邻细胞的掩膜标注值,确定该细胞的中心点以及该细胞的相邻细胞的中心点。基于该细胞的中心点以及该细胞的相邻细胞的中心点,可以确定该细胞与该细胞的相邻细胞的密集程度。此处,可以确定该细胞的中心点以及该细胞的相邻细胞的中心点之间的距离,并确定与该细胞中心点距离小于预设距离的相邻细胞的数量,从而得到该细胞与该细胞的相邻细胞的密集程度。其中,与该细胞中心点距离小于预设距离的相邻细胞的数量越多,该细胞与该细胞的相邻细胞的密集程度越高。
基于该细胞与该细胞的相邻细胞的密集程度,可以确定该细胞对应的卷积核尺寸,以用于对该细胞的掩膜标注值进行膨胀和腐蚀操作。其中,该细胞与该细胞的相邻细胞的密集程度越高,该细胞与其相邻细胞的细胞边界之间会产生更大干扰,需要获取覆盖该细胞的细胞边界周围更多的像素点的边缘区域,以使模型加强对更多边缘像素分类准确性的关注度。因此,可将该细胞对应的卷积核尺寸设置得越大,使其膨胀腐蚀效果更明显,相应获取的边缘区域更大,从而加强更多边缘像素的分类准确性,提高密集细胞场景下细胞实例分割模型的分割性能。
基于上述任一实施例,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
具体地,在确定膨胀和腐蚀操作使用的卷积核尺寸时,还可以结合该细胞与该细胞的相邻细胞的密集程度,以及该细胞的面积,综合确定卷积核尺寸,以获取更适合当前应用场景的卷积核尺寸,提升细胞实例分割模型的训练效果。其中,根据该细胞的面积,可以选择与该细胞大小相适应的卷积核尺寸,避免选取过大的卷积核尺寸导致过度膨胀和过度腐蚀,以及避免选取过小的卷积核尺寸导致膨胀腐蚀效果过于不明显,使得边缘区域太小,对于边缘像素分类准确性的关注不够,导致细胞实例分割模型对于细胞边缘的分割准确性提升不足。
基于上述任一实施例,图6为本发明实施例提供的细胞实例分割方法的流程示意图,如图6所示,该方法包括:
步骤610,确定待分割细胞图像;
步骤620,将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。
具体地,获取当前需要进行细胞实例分割处理的待分割细胞图像,并将该待分割细胞图像输入至细胞实例分割模型进行细胞实例分割。其中,可以对待分割细胞图像进行图像预处理操作,例如直方图均衡化、标准化操作等,使其与细胞实例分割模型训练过程中使用的样本细胞图像一致。此处,细胞实例分割模型是基于样本细胞图像以及该样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。由于上述任一实施例提供的细胞实例分割模型构建方法可以训练得到一个细胞边缘分割效果更佳、更适应于密集细胞场景的细胞实例分割模型,因此,利用该细胞实例分割模型对待分割细胞图像进行细胞分割,可以得到更精确的细胞分割结果。
基于上述任一实施例,图7为本发明实施例提供的细胞实例分割模型构建装置的结构示意图,如图7所示,该装置包括:掩膜标注单元710、边缘区域确定单元720、权重调整单元730和模型更新单元740。
其中,掩膜标注单元710用于对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;
边缘区域确定单元720用于对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;
权重调整单元730用于确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;
模型更新单元740用于基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
本发明实施例提供的装置,通过利用形态学的膨胀和腐蚀操作,自适应地确定当前细胞的边缘区域,一方面可以将可能影响当前细胞边缘分割准确性的像素点囊括在该边缘区域内,另一方面,利用该形态学方式自适应地确定一个包含有细胞边界的边缘区域,避免了边界提取算法易受到细胞边界不规则不良影响的缺陷;再通过加强该边缘区域内像素点的权重值,以加大对该边缘区域内像素点分类错误的惩罚,并分别确定各个细胞对应的分割损失,据此更新细胞实例分割模型的模型参数,可以提高细胞实例分割模型对细胞边缘的分割准确性,提升细胞实例分割模型在密集细胞场景下的分割性能。
基于上述任一实施例,所述确定任一细胞的边缘区域内各个边缘像素的权重值,具体包括:
确定任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离;
基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值;其中,所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离越近,所述任一边缘像素的权重值越高。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域,具体包括:
确定第一卷积核尺寸和第二卷积核尺寸;其中,所述第一卷积核尺寸大于所述第二卷积核尺寸;
基于所述第一卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果,并基于所述任一细胞的第一掩膜膨胀结果和第一掩膜腐蚀结果之间的差异,确定所述任一细胞的第一边缘区域;
基于所述第二卷积核尺寸,对所述任一细胞掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果,并基于所述任一细胞的第二掩膜膨胀结果和第二掩膜腐蚀结果之间的差异,确定所述任一细胞的第二边缘区域;
其中,所述边缘区域包括所述第一边缘区域和所述第二边缘区域;位于所述任一细胞的第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第一距离,位于所述任一细胞的第一边缘区域内且不在第二边缘区域内的边缘像素与所述任一细胞的细胞边界之间的距离被设定为第二距离,所述第一距离小于所述第二距离。
基于上述任一实施例,所述基于所述任一细胞的边缘区域内各个边缘像素与所述任一细胞的细胞边界之间的距离,确定所述各个边缘像素的权重值,具体包括:
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第一距离,则将默认权重值与第一超参数的乘积作为所述任一边缘像素的权重值;
若所述任一细胞的任一边缘像素与所述任一细胞的细胞边界之间的距离为第二距离,则将默认权重值与第二超参数的乘积作为所述任一边缘像素的权重值;
其中,所述第一超参数和所述第二超参数均大于1,且所述第一超参数大于所述第二超参数。
基于上述任一实施例,所述第一超参数是基于所述任一细胞的掩膜面积与所述第二边缘区域的面积之间的比值确定的;所述第二超参数是基于所述任一细胞的掩膜面积与所述第一边缘区域的面积之间的比值确定的;所述任一细胞的掩膜面积是基于所述任一细胞的掩膜标注值确定的。
基于上述任一实施例,所述对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作之前,边缘区域确定单元720还用于:
基于任一细胞的掩膜标注值以及所述任一细胞的相邻细胞的掩膜标注值,确定所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点;
基于所述任一细胞的中心点以及所述任一细胞的相邻细胞的中心点,确定所述任一细胞与所述任一细胞的相邻细胞的密集程度;
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞与所述任一细胞的相邻细胞的密集程度越高,所述任一细胞对应的卷积核尺寸越大;所述任一细胞对应的卷积核尺寸用于对所述任一细胞的掩膜标注值进行膨胀和腐蚀操作。
基于上述任一实施例,所述基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,确定所述任一细胞对应的卷积核尺寸,具体包括:
基于所述任一细胞与所述任一细胞的相邻细胞的密集程度,以及所述任一细胞的面积,确定所述任一细胞对应的卷积核尺寸;其中,所述任一细胞的面积越大,所述任一细胞对应的卷积核尺寸越大。
基于上述任一实施例,图8为本发明实施例提供的细胞实例分割装置的结构示意图,如图8所示,该装置包括:图像确定单元810和细胞分割单元820。
其中,图像确定单元810用于确定待分割细胞图像;
细胞分割单元820用于将所述待分割细胞图像输入至细胞实例分割模型,得到所述细胞实例分割模型输出的所述待分割细胞图像的细胞分割结果;
其中,所述细胞实例分割模型是基于样本细胞图像以及所述样本细胞图像的细胞标注结果,采用上述任一实施例提供的细胞实例分割模型构建方法构建得到的。
图9示例了一种电子设备的实体结构示意图,如图9所示,该电子设备可以包括:处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令,以执行细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
此外,上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的细胞实例分割模型构建方法,该方法包括:对样本细胞图像中的各个细胞进行掩膜标注,得到各个细胞的掩膜标注值;对任一细胞的掩膜标注值分别进行膨胀和腐蚀操作,得到所述任一细胞的掩膜膨胀结果和掩膜腐蚀结果,并基于所述任一细胞的掩膜膨胀结果与掩膜腐蚀结果之间的差异,确定所述任一细胞的边缘区域;所述任一细胞的边缘区域包括所述任一细胞的边界以外的区域和所述任一细胞的边界以内的区域;确定任一细胞的边缘区域内各个边缘像素的权重值和所述任一细胞的中心像素的权重值;任一细胞的中心像素为所述任一细胞的掩膜标注值中位于所述任一细胞的边缘区域以外的像素,任一细胞的边缘像素的权重值大于所述任一细胞的中心像素的权重值;基于各个细胞的边缘像素和中心像素的权重值,分别确定所述各个细胞对应的分割损失,并基于所述各个细胞对应的分割损失,更新所述细胞实例分割模型的模型参数。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。