发明内容
本申请提供一种细胞显微图像中荧光杂点的确定方法和装置,以用于准确确定细胞显微图像中的荧光杂点,以保证后续CACs检测的准确性。
本申请提供一种细胞显微图像中荧光杂点的确定方法,包括:
获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;
确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;
获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;
基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点,具体包括:
基于所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,确定所述欧氏距离的平均值、中值和标准差;
将所述欧氏距离的平均值、中值、标准差,所述潜在异常荧光信号点的形态特征参数以及所述荧光信号强度阈值输入至训练好的荧光信号点分类模型,输出所述潜在异常荧光信号点对应的分类结果;
其中,所述荧光信号点分类模型是基于潜在异常荧光信号点样本对应的欧氏距离的平均值、中值、标准差,形态特征参数,荧光信号强度阈值以及预先确定的荧光信号点分类结果标签进行训练后得到的。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述当前视野第一探针通道对应的荧光信号强度阈值的确定步骤,具体包括:
步骤S1,确定预设数量的待选阈值作为染色体并编码;
步骤S2,以最大化类间方差为目标设计评价荧光杂点区分度的适应度函数并随机初始化种群;
步骤S3,对种群中的染色体解码以得到第一阈值集合,并基于所述适应度函数确定所述第一阈值集合中各待选阈值的适应度;
步骤S4,判断是否满足收敛条件,若满足,则输出满足收敛条件的目标待选阈值,并基于所述目标待选阈值以及所述当前视野对应的第一探针通道图像的荧光信号强度均值,确定所述当前视野第一探针通道对应的荧光信号强度阈值;若不满足,则基于所述第一阈值集合中各待选阈值的适应度,确定第二阈值集合,对所述第二阈值集合中的待选阈值进行随机杂交以产生下一代个体,对所述下一代个体进行变异以产生新一代种群,并跳转执行步骤S3。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述获取第一细胞显微图像中的第一荧光信号点,具体包括:
基于所述当前视野对应的细胞核图像,获取所述当前视野对应的细胞掩膜图;
基于所述当前视野对应的细胞掩膜图以及当前视野对应的第一探针通道图像,获取所述第一细胞显微图像;
基于预设目标检测算法确定所述第一细胞显微图像中的荧光信号点集合,并基于所述荧光信号点集合获取所述第一荧光信号点。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述第一阈值集合是所述预设数量的待选阈值构成的阈值集合的子集,所述第二阈值集合是所述第一阈值集合的子集。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述潜在异常荧光信号点的形态特征包括:信号强度标准差、面积、锐度、等效直径、周长、宽高比、轮廓与边界比率、圆度、坚固性和zernike 矩。
根据本申请提供的一种细胞显微图像中荧光杂点的确定方法,所述当前视野第一探针通道对应的荧光信号强度阈值是所述目标待选阈值与所述当前视野对应的第一探针通道图像的荧光信号强度均值的乘积。
本申请还提供一种细胞显微图像中荧光杂点的确定装置,包括:
第一荧光信号点获取模块,用于获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;
潜在异常荧光信号点确定模块,用于确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;
欧氏距离确定模块,用于获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;
荧光杂点确定模块,用于基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
本申请还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述细胞扫描图像的获取方法的步骤。
本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述细胞显微图像中荧光杂点的确定方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述细胞显微图像中荧光杂点的确定方法的步骤。
本申请提供的细胞显微图像中荧光杂点的确定方法和装置,获取第一细胞显微图像中的第一荧光信号点,所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像,确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点,所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到,能够快速准确确定潜在异常荧光信号点,缩小排查范围,提高排查效率,获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道,基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点,能够准确确定荧光杂点,保证后续CACs检测的准确性。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
基于FISH技术进行CACs检测的常规流程是通过FISH技术将待检测细胞染色体进行染色,并采集多个探针通道对应的细胞显微图像,再基于多个探针通道对应的细胞显微图像中荧光信号点的数量确定所述待检测细胞是否为CACs。因此,准确识别各探针通道对应的细胞显微图像中的荧光信号点是保证CACs检测准确性的前提条件。现有技术中识别荧光信号点的方式为基于经验预设荧光信号强度(指荧光信号点内的像素值之和)范围,对于荧光信号强度满足该预设范围的荧光信号点,全部作为正常荧光信号点(即FISH杂交信号)。但由于实验环境、实验原料等因素的影响,会出现荧光杂点(即非FISH杂交信号),这将会导致后续各探针通道对应的细胞显微图像中的荧光信号点数量统计错误,进而影响CACs检测结果的准确性。基于此,本申请实施例提供了一种细胞显微图像中荧光杂点的确定方法和装置,以用于准确确定细胞显微图像中的荧光杂点,以保证后续CACs检测的准确性。
图1为本申请提供的细胞显微图像中荧光杂点的确定方法的流程示意图,如图1所示,该方法包括:
步骤110,获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像。
具体地,基于FISH技术进行CACs检测过程中涉及多个探针通道,需要对各探针通道对应的细胞显微图像进行采集,并综合分析。所述第一探针通道为多个探针通道中的任一个。同时,由于细胞显微图像采集装置的视野有限,并不能覆盖整个待检测细胞样本的范围,因此,在实际采集过程中,通常采用逐视野扫描的方式获取待检测细胞样本的局部图片,再拼接成完整的待检测细胞样本图像,并进行后续分析。基于此,要对各细胞对应的探针通道图像中的荧光信号点进行识别,首先需要获取当前视野下各探针通道的图像,再对各探针通道图像中的目标细胞进行针对识别。具体的,要对当前视野中目标细胞对应的第一探针通道中的荧光信号点进行识别,本申请实施例首选需要获取当前视野中目标细胞对应的第一探针通道图像(即所述第一细胞显微图像),进而基于前述预设荧光信号强度范围,获取所述第一细胞显微图像中的第一荧光信号点。
可以理解的是,所述第一荧光信号点可以是所述第一细胞显微图像中的任意一个荧光信号点,本申请实施例对此不作具体限定。
步骤120,确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到。
具体地,基于前述内容可知,所述第一荧光信号点并不一定为FISH杂交信号,同时,本申请发明人通过实验发现,荧光杂点的荧光信号强度会低于正常荧光信号点,基于此,本申请实施例首先基于所述第一荧光信号点的荧光信号强度进行荧光杂点初筛。考虑到待检测细胞样本不同区域的染色效果会由于环境等因素的影响存在差异,且同一探针通道不同视野对应的细胞显微图像的成像效果也会受到环境等因素的影响,因此,本申请实施例对于同一探针通道不同视野对应的细胞显微图像中荧光信号点设置不同的荧光信号强度阈值,以便更加准确的进行荧光杂点初筛。
更具体地,出于尽可能保证筛选结果准确性的考虑,所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到,在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点。
值得注意的是,在实际检测过程中,由于实验环境、实验原料等因素的影响,可能会导致正常荧光信号点的荧光信号强度也低于所述荧光信号强度阈值,基于此,出于进一步保证筛选准确性的考虑,本申请在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点,后续将进一步判断所述潜在异常荧光信号点是否为荧光杂点。
步骤130,获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道。
具体地,通过FISH技术对待检测细胞的染色体进行染色通常对应于4个探针通道,对于本申请实施例而言,4个探针通道分别为绿色通道、红色通道、蓝色通道和金色通道。基于CACs检测的需要,需要对待检测细胞的3号染色体和10号染色体进行染色,其中,绿色通道和红色通道能获取对3号染色体进行染色后得到的荧光信号点(绿色通道获取绿色荧光信号点,红色通道获取红色荧光信号点),蓝色通道和金色通道能获取对10号染色体进行染色后得到的荧光信号点(蓝色通道获取蓝色荧光信号点,金色通道获取金色荧光信号点)。本申请发明人通过研究发现,同一细胞同一染色体对应的两个探针通道中的正常荧光信号点的位置相对固定,若某一探针通道中存在荧光杂点,该荧光杂点与另一个探针通道中的荧光信号点的位置关系将会与正常荧光信号点存在差异。基于此,本申请实施例将同一染色体对应的两个探针通道作为关联通道,并获取所述潜在异常荧光信号点与关联通道对应的荧光信号点的欧氏距离以确定所述潜在异常荧光信号点与关联通道对应的荧光信号点的位置关系,进而辅助确定所述潜在异常荧光信号点是否为荧光杂点。
同时,本申请发明人通过研究发现,荧光杂点的形态特征与正常荧光信号点也存在差异,基于此,本申请实施例进一步获取所述潜在异常荧光信号点的形态特征以辅助判断所述潜在异常荧光信号点是否为荧光杂点。
所述潜在异常荧光信号点与第二荧光信号点的欧氏距离优选为信号点中心位置的欧氏距离,当然也可以为边缘点的欧氏距离,本申请实施例对此不作具体限定。
步骤140,基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
具体地,在确定所述潜在异常荧光信号点之后,本申请实施例出于进一步保证杂点判断准确性的考虑,基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值这些能反映荧光杂点特性的相关量,综合考虑,确定所述潜在异常荧光信号点是否为荧光杂点,能够最大限度地保证荧光杂点判断结果的准确性,进而保证后续CACs检测结果的准确性。
本申请实施例提供的方法,获取第一细胞显微图像中的第一荧光信号点,所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像,确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点,所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到,能够快速准确确定潜在异常荧光信号点,缩小排查范围,提高排查效率,获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道,基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点,能够准确确定荧光杂点,保证后续CACs检测的准确性。
基于上述实施例,图2为本申请提供的确定潜在异常荧光信号点是否为荧光杂点的方法的流程示意图,如图2所示,所述基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点,具体包括:
步骤210,基于所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,确定所述欧氏距离的平均值、中值和标准差。
具体地,可以理解的是,所述第二细胞显微图像中至少包括一个荧光信号点。同时,在所述第二荧光信号点为多个的情况下,确定所述欧氏距离的平均值、中值和标准差,基于此,能够更全面的反映所述潜在异常荧光信号点与第二荧光信号点的位置关系,为荧光杂点的判断提供更准确的依据。
步骤220,将所述欧氏距离的平均值、中值、标准差,所述潜在异常荧光信号点的形态特征参数以及所述荧光信号强度阈值输入至训练好的荧光信号点分类模型,输出所述潜在异常荧光信号点对应的分类结果;
其中,所述荧光信号点分类模型是基于潜在异常荧光信号点样本对应的欧氏距离的平均值、中值、标准差,形态特征参数,荧光信号强度阈值以及预先确定的荧光信号点分类结果标签进行训练后得到的。
具体地,出于保证荧光杂点的预测准确性和效率的考虑,本申请实施例预先基于潜在异常荧光信号点样本对应的欧氏距离的平均值、中值、标准差,形态特征参数,荧光信号强度阈值以及预先确定的荧光信号点分类结果标签训练荧光信号点分类模型,让分类模型充分学习各项参数对荧光信号点分类结果的影响权重,进而获得准确的荧光信号点分类模型。在确定潜在异常荧光信号点之后,将所述潜在异常荧光信号点对应的欧氏距离的平均值、中值、标准差,形态特征参数以及荧光信号强度阈值输入至训练好的荧光信号点分类模型,即可得到所述潜在异常荧光信号点对应的分类结果。
本申请实施例提供的方法,基于所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,确定所述欧氏距离的平均值、中值和标准差,将所述欧氏距离的平均值、中值、标准差,所述潜在异常荧光信号点的形态特征参数以及所述荧光信号强度阈值输入至训练好的荧光信号点分类模型,输出所述潜在异常荧光信号点对应的分类结果,能够保证荧光信号点分类的效率和准确性。
基于上述任一实施例,图3为本申请提供的荧光信号强度阈值的确定方法的流程示意图,如图3所示,所述当前视野第一探针通道对应的荧光信号强度阈值的确定步骤,具体包括:
步骤S1,确定预设数量的待选阈值作为染色体并编码;
步骤S2,以最大化类间方差为目标设计评价荧光杂点区分度的适应度函数并随机初始化种群;
步骤S3,对种群中的染色体解码以得到第一阈值集合,并基于所述适应度函数确定所述第一阈值集合中各待选阈值的适应度;
步骤S4,判断是否满足收敛条件,若满足,则输出满足收敛条件的目标待选阈值,并基于所述目标待选阈值以及所述当前视野对应的第一探针通道图像的荧光信号强度均值,确定所述当前视野第一探针通道对应的荧光信号强度阈值;若不满足,则基于所述第一阈值集合中各待选阈值的适应度,确定第二阈值集合,对所述第二阈值集合中的待选阈值进行随机杂交以产生下一代个体,对所述下一代个体进行变异以产生新一代种群,并跳转执行步骤S3。
具体地,所述预设数量优选为256个,与像素点的灰度值区间对应。从0开始基于预设间隔确定256个待选阈值,将其作为染色体并编码成8位二进制码。
同时,以最大化类间方差为目标设计评价荧光杂点区分度的适应度函数,具体的,首先确定当前视野对应的第一探针通道图像的荧光信号强度均值U,假设待选阈值为t,以t和U的乘积为像素分割点将当前视野对应的第一探针通道图像分成A和B两个视野。可以理解的是,t和U的乘积即为当前视野第一探针通道对应的荧光信号强度阈值,基于该荧光信号强度阈值即可筛选出潜在异常荧光信号点(即上述A和B两个视野中有一个视野与潜在异常荧光信号点对应)。因此,本申请实施例中确定荧光信号强度阈值的目标就是要使视野A和B的差异(荧光杂点区分度)最大化,相应的,适应度函数可以通过最大类间方差公式表示如下:
式中,
和
分别指视野A和B对应的第一探针通道图像的荧光信号强度均值,
和
分别指视野A和视野B对应的概率。
对于
和
的计算方式,设荧光信号点的荧光信号强度范围为[1000,11000),以100为间隔,取0≤i≤99,荧光信号点的荧光信号强度为[1000 + i*100, 1000 +(i+1)*100) 的数量为x
i,当前视野中荧光信号点的总数为x,则荧光信号点的荧光信号强度为[1000 + i*100, 1000 + (i+1)*100)发生的概率为
。基于此,若t*U将视野分成A和B两个部分,即[1000, 1000+(m+1)*100)和[1000+(m+1)*100,11000)两个部分,其中,m的取值为使t*U≤1000+(m+1)*100时的最小值,则:
综上所述,本申请实施例确定的所述当前视野第一探针通道对应的荧光信号强度阈值,即使最大类间方差
最大的t*U。
接前述步骤,适应度函数确定之后,即可执行遗传算法的优化搜索过程:随机初始化种群,对种群中的染色体解码以得到第一阈值集合,并基于所述适应度函数确定所述第一阈值集合中各待选阈值的适应度。判断是否满足收敛条件,若满足,则输出满足收敛条件的目标待选阈值,并基于所述目标待选阈值以及所述当前视野对应的第一探针通道图像的荧光信号强度均值,确定所述当前视野第一探针通道对应的荧光信号强度阈值,若不满足,则基于所述第一阈值集合中各待选阈值的适应度,确定第二阈值集合,对所述第二阈值集合中的待选阈值进行随机杂交以产生下一代个体,对所述下一代个体进行变异以产生新一代种群,并跳转执行步骤S3(即继续确定个体适应度并判断是否满足收敛条件,直至确定最佳阈值)。
其中,收敛条件为|(t(n)-t(n-1))/t(n)|<ε,其中0<ε<1,优选ε=0.001。所述第二阈值集合的确定步骤包括:对第一阈值集合中各待选阈值的适应度进行排序,保留适应度最高的前N个个体,N的取值为种群的5%-15%,具体取值可以根据实际需求在该范围内自由选取。对所述第二阈值集合中的待选阈值进行随机杂交基于赌轮法实施。值得注意的是,若循环迭代预设次数(例如100次)仍无法满足收敛条件,则将最后一次迭代得到的阈值作为最佳阈值,以兼顾荧光信号强度阈值的确定效率和准确性。
本申请实施例提供的方法,步骤S1,确定预设数量的待选阈值作为染色体并编码,步骤S2,以最大化类间方差为目标设计评价荧光杂点区分度的适应度函数并随机初始化种群,步骤S3,对种群中的染色体解码以得到第一阈值集合,并基于所述适应度函数确定所述第一阈值集合中各待选阈值的适应度,步骤S4,判断是否满足收敛条件,若满足,则输出满足收敛条件的目标待选阈值,并基于所述目标待选阈值以及所述当前视野对应的第一探针通道图像的荧光信号强度均值,确定所述当前视野第一探针通道对应的荧光信号强度阈值;若不满足,则基于所述第一阈值集合中各待选阈值的适应度,确定第二阈值集合,对所述第二阈值集合中的待选阈值进行随机杂交以产生下一代个体,对所述下一代个体进行变异以产生新一代种群,并跳转执行步骤S3,能够高效准确地确定当前视野第一探针通道对应的荧光信号强度阈值,保证荧光杂点初筛结果的准确性。
基于上述任一实施例,所述获取第一细胞显微图像中的第一荧光信号点,具体包括:
基于所述当前视野对应的细胞核图像,获取所述当前视野对应的细胞掩膜图;
基于所述当前视野对应的细胞掩膜图以及当前视野对应的第一探针通道图像,获取所述第一细胞显微图像;
基于预设目标检测算法确定所述第一细胞显微图像中的荧光信号点集合,并基于所述荧光信号点集合获取所述第一荧光信号点。
具体地,所述当前视野对应的细胞核图像是当前视野对应的DAPI通道图像。基于Mask-RCNN算法对所述当前视野对应的细胞核图像进行处理以获取所述当前视野对应的细胞掩膜图,具体处理过程如下:
首先基于深度学习算法提取所述当前视野对应的细胞核图像的特征,同时在特征提取网络中加入FPN网络,对提取的特征进行多尺度融合,然后将融合后的特征输入RPN网络中生成候选区域并进行筛选,通过ROIAlign操作生成固定大小的特征图并进行分类和回归,使用FCN对特征图进行分割生成所述当前视野对应的细胞掩膜图。
获取所述当前视野对应的细胞掩膜图之后,即可基于所述当前视野对应的细胞掩膜图以及当前视野对应的第一探针通道图像,获取所述第一细胞显微图像。再基于预设目标检测算法确定所述第一细胞显微图像中的荧光信号点集合,并基于所述荧光信号点集合获取所述第一荧光信号点。优选的,所述预设目标检测算法为YOLO算法,具体处理过程如下:
首先将当前视野对应的细胞掩膜图和当前视野对应的第一探针通道图像缩放成128*128的图像,然后划分S*S个网格,每个网格单元负责检查其内的边界框和其置信度,得到荧光信号点的检测边界框,在每个荧光信号点检测边界框内使用轮廓检测得到荧光信号点的掩膜图,基于所述荧光信号点的掩膜图即可确定所述第一细胞显微图像中的荧光信号点集合,并选取所述第一荧光信号点。
可以理解的是,采用Mask-RCNN算法和YOLO算法进行图像处理仅是本申请实施例的优选实施方式,在实际应用过程中也可以根据需要采用其它能够实现相同功能的算法,本申请实施例对此不作具体限定。
本申请实施例提供的方法,基于所述当前视野对应的第一探针通道图像,获取所述当前视野对应的细胞掩膜图,基于所述当前视野对应的细胞掩膜图,获取所述第一细胞显微图像,基于预设目标检测算法确定所述第一细胞显微图像中的荧光信号点集合,并基于所述荧光信号点集合获取所述第一荧光信号点,能够快速获取荧光信号点,保证后续荧光杂点的筛选效率。
基于上述任一实施例,所述第一阈值集合是所述预设数量的待选阈值构成的阈值集合的子集,所述第二阈值集合是所述第一阈值集合的子集。
具体地,通过遗传算法不断缩小待选阈值的验证范围,能够保证最优阈值的筛选效率。
本申请实施例提供的方法,所述第一阈值集合是所述预设数量的待选阈值构成的阈值集合的子集,所述第二阈值集合是所述第一阈值集合的子集,能够快速确定最优阈值,保证荧光信号强度阈值的获取效率。
基于上述任一实施例,所述潜在异常荧光信号点的形态特征包括:信号强度标准差、面积、锐度、等效直径、周长、宽高比、轮廓与边界比率、圆度、坚固性和zernike 矩。
本申请实施例提供的方法,所述潜在异常荧光信号点的形态特征包括:信号强度标准差、面积、锐度、等效直径、周长、宽高比、轮廓与边界比率、圆度、坚固性和zernike 矩,能够全面反映荧光信号点的形态特征,保证荧光杂点的筛选效率。
基于上述任一实施例,所述当前视野第一探针通道对应的荧光信号强度阈值是所述目标待选阈值与所述当前视野对应的第一探针通道图像的荧光信号强度均值的乘积。
具体地,其原理在前述实施例已经进行了详细描述,在此不再赘述。
下面对本申请提供的细胞扫描图像的获取装置进行描述,下文描述的细胞扫描图像的获取装置与上文描述的细胞扫描图像的获取方法可相互对应参照。
基于上述任一实施例,图4为本申请提供的细胞显微图像中荧光杂点的确定装置的结构示意图,如图4所示,该装置包括:
第一荧光信号点获取模块410,用于获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;
潜在异常荧光信号点确定模块420,用于确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;
欧氏距离确定模块430,用于获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;
荧光杂点确定模块440,用于基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
本申请实施例提供的装置,获取第一细胞显微图像中的第一荧光信号点,所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像,确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点,所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到,能够快速准确确定潜在异常荧光信号点,缩小排查范围,提高排查效率,获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道,基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点,能够准确确定荧光杂点,保证后续CACs检测的准确性。
基于上述实施例,所述荧光杂点确定模块440进一步包括:
参数获取子模块,用于基于所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离,确定所述欧氏距离的平均值、中值和标准差;
荧光信号点分类子模块,用于将所述欧氏距离的平均值、中值、标准差,所述潜在异常荧光信号点的形态特征参数以及所述荧光信号强度阈值输入至训练好的荧光信号点分类模型,输出所述潜在异常荧光信号点对应的分类结果;
其中,所述荧光信号点分类模型是基于潜在异常荧光信号点样本对应的欧氏距离的平均值、中值、标准差,形态特征参数,荧光信号强度阈值以及预先确定的荧光信号点分类结果标签进行训练后得到的。
基于上述任一实施例,所述装置还包括荧光信号强度阈值确定模块,该模块用于执行以下步骤:
步骤S1,确定预设数量的待选阈值作为染色体并编码;
步骤S2,以最大化类间方差为目标设计评价荧光杂点区分度的适应度函数并随机初始化种群;
步骤S3,对种群中的染色体解码以得到第一阈值集合,并基于所述适应度函数确定所述第一阈值集合中各待选阈值的适应度;
步骤S4,判断是否满足收敛条件,若满足,则输出满足收敛条件的目标待选阈值,并基于所述目标待选阈值以及所述当前视野对应的第一探针通道图像的荧光信号强度均值,确定所述当前视野第一探针通道对应的荧光信号强度阈值;若不满足,则基于所述第一阈值集合中各待选阈值的适应度,确定第二阈值集合,对所述第二阈值集合中的待选阈值进行随机杂交以产生下一代个体,对所述下一代个体进行变异以产生新一代种群,并跳转执行步骤S3。
基于上述任一实施例,所述第一荧光信号点获取模块410进一步包括:
细胞掩膜图获取子模块,用于基于所述当前视野对应的细胞核图像,获取所述当前视野对应的细胞掩膜图;
第一细胞显微图像获取子模块,用于基于所述当前视野对应的细胞掩膜图以及当前视野对应的第一探针通道图像,获取所述第一细胞显微图像;
第一荧光信号点获取子模块,用于基于预设目标检测算法确定所述第一细胞显微图像中的荧光信号点集合,并基于所述荧光信号点集合获取所述第一荧光信号点。
基于上述任一实施例,所述第一阈值集合是所述预设数量的待选阈值构成的阈值集合的子集,所述第二阈值集合是所述第一阈值集合的子集。
基于上述任一实施例,所述潜在异常荧光信号点的形态特征包括:信号强度标准差、面积、锐度、等效直径、周长、宽高比、轮廓与边界比率、圆度、坚固性和zernike 矩。
基于上述任一实施例,所述当前视野第一探针通道对应的荧光信号强度阈值是所述目标待选阈值与所述当前视野对应的第一探针通道图像的荧光信号强度均值的乘积。
图5示例了一种电子设备的实体结构示意图,如图5所示,该电子设备可以包括:处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540,其中,处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令,以执行上述各方法所提供的细胞显微图像中荧光杂点的确定方法,该方法包括:获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
此外,上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的细胞显微图像中荧光杂点的确定方法,该方法包括:获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
又一方面,本申请还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的细胞显微图像中荧光杂点的确定方法,该方法包括:获取第一细胞显微图像中的第一荧光信号点;所述第一细胞显微图像为当前视野中目标细胞对应的第一探针通道图像;确定所述第一荧光信号点的荧光信号强度,并在所述第一荧光信号点的荧光信号强度小于当前视野第一探针通道对应的荧光信号强度阈值的情况下,将所述第一荧光信号点确定为潜在异常荧光信号点;所述当前视野第一探针通道对应的荧光信号强度阈值可基于遗传算法和最大类间方差法进行优化搜索得到;获取所述潜在异常荧光信号点的形态特征以及所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离;所述第二荧光信号点为第二细胞显微图像中的荧光信号点,所述第二细胞显微图像为当前视野中所述目标细胞对应的第二探针通道图像,所述第二探针通道为所述第一探针通道的关联通道;基于所述潜在异常荧光信号点的形态特征、所述潜在异常荧光信号点与至少一个第二荧光信号点的欧氏距离以及所述荧光信号强度阈值,确定所述潜在异常荧光信号点是否为荧光杂点。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。