CN113837255A - 预测以细胞为基质的抗体核型类别的方法、设备和介质 - Google Patents

Abstract

本公开的实施例涉及一种预测以细胞为基质的抗体核型类别的方法、设备和介质。根据该方法，获取关于以细胞为基质的抗体的间接免疫荧光图像；基于经训练的细胞级核型识别模型，识别间接免疫荧光图像中的多个细胞的位置和预测核型类别；基于所识别的位置和预测核型类别，确定间接免疫荧光图像的细胞类别分布数据；获取间接免疫荧光图像的多个预先确定的图像特征；以及利用经训练的机器学习模型，基于细胞类别分布数据以及多个预先确定的图像特征，确定间接免疫荧光图像属于每一预测核型类别的置信度，以便基于该置信度确定间接免疫荧光图像的最终核型类别。由此，能够准确并全面地预测出各种以细胞为基质的抗体的核型类别。

Description

预测以细胞为基质的抗体核型类别的方法、设备和介质

技术领域

本公开的实施例总体涉及生物信息处理，并且更具体地涉及一种预测以细胞为基质的抗体核型类别的方法、设备和介质。

背景技术

间接免疫荧光法(indirect immunofluorescence,IIF)是检测生物体的以细胞为基质的抗体(诸如，HEp-2细胞的抗核抗体(antinuclear antibody，ANA))的常用方法。这种间接免疫荧光法能够研究一些发病率在过去几年中不断增长的病理学，但是为了进行分析和诊断，需要对样本细胞(例如，样本HEp-2细胞)进行核型识别，以根据不同的核型来揭示与临床相关的信息。

目前，通常由专业人员根据间接免疫荧光图像人工地判断以细胞为基质的抗体的核型类别，但是这种方法费时费力、效率低下。随着计算机技术的发展，也出现了基于机器学习算法或深度学习算法来自动预测关于以细胞为基质的抗体的核型类别的方法，但是已有的自动预测方法均存在以下问题：能够判读的核型类别非常有限，而无法满足对以细胞为基质的抗体的所有核型类别的判读，并且对于每种核型类别的预测精度也不高，误判率较高，因此无法很好地满足各种临床使用的要求。

由此，有必要提供一种用于自动预测以细胞为基质的抗体的核型类别的技术，使得能够准确并全面地预测出各种以细胞为基质的抗体的核型类别，而且效率较高。

发明内容

针对上述问题，本公开提供了一种预测以细胞为基质的抗体核型类别的方法、设备和介质，使得能够准确并全面地预测出各种以细胞为基质的抗体的核型类别，而且效率较高。

根据本公开的第一方面，提供了一种预测以细胞为基质的抗体核型类别的方法，包括：获取关于以细胞为基质的抗体的间接免疫荧光图像；基于经训练的细胞级核型识别模型，识别所述间接免疫荧光图像中的多个细胞的位置和预测核型类别；基于所识别的位置和预测核型类别，确定所述间接免疫荧光图像的细胞类别分布数据；获取所述间接免疫荧光图像的多个预先确定的图像特征；以及利用经训练的机器学习模型，基于所述细胞类别分布数据以及所述多个预先确定的图像特征，确定所述间接免疫荧光图像属于所述每一预测核型类别的置信度，以便基于所述置信度确定所述多个细胞的最终核型类别。

根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开的第一方面的方法。

在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使所述计算机执行本公开的第一方面的方法。

在一些实现中，所述细胞级核型识别模型包括残差神经网络模块、细胞候选框预测模块以及分类回归器，所述残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的特征数据，所述细胞候选框预测模块被配置成基于所述特征数据确定所述多个细胞的候选位置，所述分类回归器被配置成基于所述特征数据以及所述候选位置，识别所述多个细胞的位置和预测核型类别。

在一些实现中，所述细胞级核型识别模型包括分裂期细胞核型识别模型和分裂间期细胞核型识别模型，并且基于经训练的细胞级核型识别模型，识别所述间接免疫荧光图像中的多个细胞的位置和预测核型类别包括：基于经训练的分裂期细胞核型识别模型，识别所述间接免疫荧光图像中的多个分裂期细胞的第一位置和第一预测核型类别；以及基于经训练的分裂间期细胞核型识别模型，识别所述间接免疫荧光图像中的多个分裂间期细胞的第二位置和第二预测核型类别。

在一些实现中，基于所识别的位置和预测核型类别，确定所述间接免疫荧光图像的细胞类别分布数据包括：基于所识别的第一位置和第一预测核型类别，确定所述间接免疫荧光图像的分裂期细胞类别分布数据；基于所识别的第二位置和第二预测核型类别，确定所述间接免疫荧光图像胞的分裂间期细胞类别分布数据；以及将所述分裂期细胞类别分布数据和所述分裂间期细胞类别分布数据整合成所述细胞类别分布数据。

在一些实现中，所述分裂期细胞核型识别模型包括第一残差神经网络模块、分裂期细胞候选框预测模块以及第一分类回归器，所述第一残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的第一特征数据，所述分裂期细胞候选框预测模块被配置成基于所述第一特征数据确定所述多个分裂期细胞的第一候选位置，所述第一分类回归器被配置成基于所述第一特征数据以及所述第一候选位置，识别所述多个分裂期细胞的第一位置和第一预测核型类别；分裂间期细胞识别模型包括第二残差神经网络模块、分裂间期细胞候选框预测模块以及第二分类回归器，所述第二残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的第二特征数据，所述分裂间期细胞候选框预测模块被配置成基于所述第二特征数据确定所述多个分裂间期细胞的第二候选位置，所述第二分类回归器被配置成基于所述第二特征数据以及所述第二候选位置，识别所述多个分裂间期细胞的第二位置和第二预测核型类别。

在一些实现中，所述第一残差神经网络模块和所述第二残差神经网络模块均采用特征金字塔网络，所述分裂期细胞候选框预测模块和所述分裂间期细胞候选框预测模块均采用区域候选网络，并且所述第一残差神经网络模块、所述分裂期细胞候选框预测模块和所述第一分类回归器形成更快速区域卷积神经网络，并且所述第二残差神经网络模块、所述分裂间期细胞候选框预测模块和所述第二分类回归器也形成更快速区域卷积神经网络。

在一些实现中，所述分裂期细胞核型识别模型是基于多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上被标注为处于分裂期的多个细胞训练而成的，并且所述分裂间期细胞核型识别模型是基于所述多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上被标注为处于分裂间期的多个细胞训练而成的。

在一些实现中，所述经训练的机器学习模型是使用与多个样本间接免疫荧光图像相关联的多个样本细胞类别分布数据和多个样本图像特征训练而成的，并且每一样本间接免疫荧光图像的核型类别已被标注出，并且所述机器学习模型是基于随机森林来构建的。

在一些实施例中，基于所述置信度确定所述间接免疫荧光图像的最终核型类别包括：选取所述置信度最大的预测核型类别作为所述多个细胞的所述最终核型类别。

在一些实施例中，该方法还包括对所述间接免疫荧光图像进行图像增强处理，对所述间接免疫荧光图像进行图像增强处理包括：对所述间接免疫荧光图像进行高斯滤波；以及对经高斯滤波的间接免疫荧光图像进行过曝检测。

在一些实现中，所述预先确定的图像特征包括以下中的至少一个：所述间接免疫荧光图像的纹理特征和图像梯度特征以及关于所述间接免疫荧光图像中的每一细胞的色值变化特征。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。

图1示出了用于实现根据本发明的实施例的预测以细胞为基质的抗体核型类别的方法的系统100的示意图。

图2示出了根据本公开的实施例的预测以细胞为基质的抗体核型类别的方法200的流程图。

图3示出了根据本公开的实施例的用于对间接免疫荧光图像进行图像增强处理300的方法的示意图。

图4示出了根据本公开的实施例的细胞级核型识别模型的示意框图。

图5示出了根据本公开的实施例的细胞级核型识别模型的示意框图。

图6示出了间接免疫荧光图像的示例性示意图。

图7A示出了间接免疫荧光图像的示例性示意图。

图7B示出了间接免疫荧光图像的示例性示意图。

图8示出了根据本公开的实施例的电子设备800的框图。

具体实施方式

下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整的传达给本领域的技术人员。

在下文的描述中，出于说明各种发明的实施例的目的阐述了某些具体细节以提供对各种发明实施例的透彻理解。但是，相关领域技术人员将认识到可在无这些具体细节中的一个或多个细节的情况来实践实施例。在其它情形下，与本申请相关联的熟知的装置、结构和技术可能并未详细地示出或描述从而避免不必要地混淆实施例的描述。

除非语境有其它需要，在整个说明书和权利要求中，词语“包括”和其变型，诸如“包含”和“具有”应被理解为开放的、包含的含义，即应解释为“包括，但不限于”。

在整个说明书中对“一个实施例”或“一些实施例”的提及表示结合实施例所描述的特定特点、结构或特征包括于至少一个实施例中。因此，在整个说明书的各个位置“在一个实施例中”或“在一些实施例”中的出现不一定全都指相同实施例。另外，特定特点、结构或特征可在一个或多个实施例中以任何方式组合。

此外，说明书和权利要求中所用的第一、第二、第三、第四等术语，仅仅出于描述清楚起见来区分各个对象，而并不限定其所描述的对象的大小或顺序等。

如上所述，目前，主要由专业人员人工地判断以细胞为基质的抗体核型类别，但是人工方法费事费力，效率低下。当前也出现了基于机器学习算法或深度学习算法来自动预测以细胞为基质的抗体的核型类别的方法，但是这些方法通常都需要将整个间接免疫荧光图像分割成多个单细胞图像，然后使用单一模型来对细胞级的核型类别进行预测，并通过人类行为识别(DL)方法来确定以细胞为基质的抗体的最终核型类别。但是，这些自动预测方法能够判读的核型类别非常有限，而无法满足对以细胞为基质的抗体的所有核型类别的判读。例如，按照行业标准，抗核抗体荧光核型总共包括29种(诸如核膜型、核点型、着丝点型、胞浆粗颗粒型等等)，但是现有的自动预测方法通常仅能预测其中的6到8种核型。另外，这些自动预测方法对每类核型的检测精度也不够高，误判率较高，因此需要人工对检测结果进行校正。由于以上原因，这些无法自动预测方法均无法很好地满足各种临床使用的要求。

为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种预测以细胞为基质的抗体核型类别的方法，包括：获取关于以细胞为基质的抗体的间接免疫荧光图像；基于经训练的细胞级核型识别模型，识别所述间接免疫荧光图像中的多个细胞的位置和预测核型类别；基于所识别的位置和预测核型类别，确定所述间接免疫荧光图像的细胞类别分布数据，所述细胞类别分布数据指示所述间接免疫荧光图像涉及哪些预测核型类别并且每一预测核型类别有多少个细胞；获取所述间接免疫荧光图像的多个预先确定的图像特征；以及利用经训练的机器学习模型，基于所述细胞类别分布数据以及所述多个预先确定的图像特征，确定所述间接免疫荧光图像属于所述每一预测核型类别的置信度，以便基于所述置信度确定所述间接免疫荧光图像的最终核型类别。由此可见，在本公开中，使用了两种模型(即，经训练的细胞级核型识别模型以及作为整图级核型识别模型的经训练的机器学习模型)来预测以细胞为基质的抗体的核型类别，因此有助于更准确并全面地预测出各种以细胞为基质的抗体的核型类别，并且效率较高。

图1示出了用于实现根据本发明的实施例的预测以细胞为基质的抗体核型类别的方法的系统100的示意图。如图1中所示，系统100包括计算设备110、网络120和服务器130。计算设备110和服务器130可以通过网络120(例如，因特网)进行数据交互。在本公开中，服务器130可用于例如提供间接免疫荧光法服务，以向计算设备110提供以细胞为基质的抗体的间接免疫荧光图像，并从计算设备110接收以细胞为基质的抗体的最终核型检测结果等等。计算设备110可经由网络120与服务器130进行通信，以实现对以细胞为基质的抗体的核型类别的预测。计算设备110可以包括至少一个处理器112以及与该至少一个处理器112耦合的至少一个存储器114，该存储器114中存储有可由该至少一个处理器112执行的指令116，该指令116在被该至少一个处理器112执行时执行如下所述的方法200。注意，在本文中，计算设备110可以是服务器130的一部分或者可以独立于服务器130。计算设备110或服务器130的具体结构例如可以如下结合图8所述。

图2示出了根据本公开的实施例的用于预测以细胞为基质的抗体核型类别的方法200的流程图。方法200可由如图1所示的计算设备110执行，也可以在图8所示的电子设备800处执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤202，计算设备110获取关于以细胞为基质的抗体的间接免疫荧光图像。

间接免疫荧光图像的图像质量对于能否准确判读其核型类别而言非常重要。因此，在本公开中，在利用所获取的间接免疫荧光图像识别以细胞为基质的抗体的核型类别之前，还可先对该间接免疫荧光图像进行图像增强处理，以便突出或强调前景中的细胞，扩大细胞与背景之间的差别，并抑制图像的噪声与干扰，从而有助于增加细胞特征识别的准确度和精度。下面将结合图3对相应的图像增强处理进行进一步更详细的描述。

理论上来讲，一个间接免疫荧光图像中应当仅包括一种核型类别的细胞，但是由于图像拍摄质量、处于不同生命周期的细胞的细胞形态等各种因素的影响，这种图像经常会被识别为包括多种不同核型类别的细胞。因此，在本公开中，为了提高核型类别的识别准确度，可先对间接免疫荧光图像中的多个细胞的核型类别分别进行识别，然后再基于细胞级识别的结果以及多个图像特征来识别整个间接免疫荧光图像的最终核型类别。在本公开中，所识别出的整个间接免疫荧光图像的最终核型类别就是以细胞为基质的抗体的最终核型类别。具体过程可参见以下进一步详细描述的步骤204-210。

在步骤204，计算设备110基于经训练的细胞级核型识别模型，识别间接免疫荧光图像中的多个细胞的位置和预测核型类别。

在一些实施例中，细胞的位置可用细胞的最小外接矩形的左上角点和右下角点的坐标来指示，因此识别细胞的位置指的是识别细胞的最小外接矩形的左上角点和右下角点的坐标。

在一些实施例中，如图4所示，步骤204所述的细胞级核型识别模型包括一个细胞级核型识别模型400，以用于识别间接免疫荧光图像中的多个细胞的位置和预测核型类别。细胞级核型识别模型400可包括残差神经网络模块410、细胞候选框预测模块411以及分类回归器412。残差神经网络模块410、细胞候选框预测模块411和分类回归器412可形成更快速区域卷积神经网络(Faster R-CNN)，通过采用Faster R-CNN，可有助于进一步提高核型类别判读的准确性

残差神经网络模块410被配置成对间接免疫荧光图像进行多次卷积运算，以提取间接免疫荧光图像中的特征数据。考虑到间接免疫荧光图像中的每个细胞本身都非常小，因此在本公开中，残差神经网络模块410可采用特征金字塔网络(Feature PyramidNetworks，FPN)，使得不仅可以保留在深层卷积层所提取的特征数据，也可以保留在浅层卷积层所提取的特征数据，即每一层卷积层获得的特征数据都能用于后面的核型类别的分类，从而有利于提高核型类别识别精度。例如，该残差神经网络模块410可采用包含49个卷积层和1个全连阶层的Resnet-50 FPN网络，并且为了能提高识别精度，该Resnet-50 FPN网络的池化(pooling)方式可选最大池化(max pooling)，即取局部接受域中值最大的点。例如，仅作为说明，对于2乘2的最大池化，它实际上就是仅仅保留每个2乘2的窗口中数值最大的那个元素。

细胞候选框预测模块411被配置成基于特征数据确定多个细胞的候选位置，并且分类回归器412被配置成基于特征数据以及候选位置，识别多个细胞的位置和预测核型类别。在本公开中，细胞候选框预测模块411可采用区域候选网络(Region ProposalNetwork，RPN)。

在本公开中，细胞级核型识别模型400是基于多个样本间接免疫荧光图像训练而成的，这些样本间接免疫荧光图像应覆盖相关行业标准规定的所有核型类别，例如每一核型类别都包括不少于阈值数量的样本间接免疫荧光图像。例如，仅作为示例，根据行业标准，抗核抗体的总共包括29种荧光核型类别，在多个样本间接免疫荧光图像中，这29中荧光核型类别中的每一荧光核型类别都应包括不少于阈值数量的样本间接免疫荧光图像。在这些实施例中，每一样本间接免疫荧光图像上都标注有预定数量的细胞的位置和核型类别，该预定数量可以为100或100以上。在一些实施例中，在获取了用于对细胞级核型识别模型400进行训练的原始间接免疫荧光图像之后，可先对这些原始间接免疫荧光图像进行扩增，以扩充可用于进行训练的图像的数量。例如，对于每一原始图像，可通过每对其旋转预定的角度后就存储一张新的间接免疫荧光图像来实现定向扩增。在扩增了图像的数量之后，还可对所有扩增后的每一图像进行图像增强处理(例如，如图3所示的图像增强处理)，从而得到所需的样本间接免疫荧光图像。

应了解，细胞抗体如果根据生命周期来进行区分，一般可包括处于分裂期的细胞(例如，图6中用矩形框框出的各个细胞，此后也被称为分裂期细胞)和处于分裂间期的细胞(例如，图6中的其他细胞，此后也被称为分裂间期细胞)，其形态不同，数量差别也很大。在一个间接免疫荧光图像中，通常有95％以上的细胞为分裂间期细胞，而仅有5％不到的细胞为分裂期细胞。由于分裂期细胞的数量占比非常小，因此如果仅用一个细胞级核型识别模型来对此进行判读的话，这些分裂期细胞很可能会被忽略掉。但是，在真实判读过程中，分裂期细胞对于细胞核型的判定在实际应用中却非常重要。例如，如果间接免疫荧光图像中的各个分裂间期细胞在细胞形态方面的差别非常小，以致于很难对其进行区分，则分裂期细胞就可被用来识别整个间接免疫荧光图像的核型类别。例如，在如图7A和7B所示的这两个间接免疫荧光图像中，各个分裂间期细胞之间细胞形态差别很小，要对其进行区分非常困难，但是分裂期细胞(参见图7A和7B中用矩形框框柱的各个细胞)之间细胞形态却有着明显的区别，因此对于这两张图而言，如果能够对分裂期细胞专门进行识别，就可以有效地对这两个图像的核型类别进行区分。

考虑到这种情况，在另一些实施例中，如图5所示，本公开采用两个细胞级核型识别模型(即分裂期细胞核型识别模型501和分裂间期细胞核型识别模型502)来实现步骤204所述的细胞级核型识别模型，以分别用于识别间接免疫荧光图像中的多个分裂期细胞的第一位置和第一预测核型类别以及间接免疫荧光图像中的多个分裂间期细胞的第二位置和第二预测核型类别，由此实现了对间接免疫荧光图像中的该多个细胞的位置和预测核型类别。

分裂期细胞核型识别模型501和分裂间期细胞核型识别模型502与以上结合图4所述的细胞级核型识别模型400基本上相同，只是所识别的对象有所区别而已。

具体地，分裂期细胞核型识别模型501包括第一残差神经网络模块510、分裂期细胞候选框预测模块511以及第一分类回归器512。第一残差神经网络模块510被配置成对间接免疫荧光图像进行多次卷积运算，以提取间接免疫荧光图像中的第一特征数据。分裂期细胞候选框预测模块511被配置成基于第一特征数据确定间接免疫荧光图像中的多个分裂期细胞的第一候选位置。第一分类回归器512被配置成基于第一特征数据以及第一候选位置，识别间接免疫荧光图像中的该多个分裂期细胞的第一位置和第一预测核型类别。

类似地，分裂间期细胞识别模型502包括第二残差神经网络模块520、分裂间期细胞候选框预测模块521以及第二分类回归器522。第二残差神经网络模块520被配置成对间接免疫荧光图像进行多次卷积运算，以提取间接免疫荧光图像中的第二特征数据。分裂间期细胞候选框预测模块521被配置成基于第二特征数据确定多个分裂间期细胞的第二候选位置。第二分类回归器522被配置成基于第二特征数据以及第二候选位置，识别多个分裂间期细胞的第二位置和第二预测核型类别。

与如图4所示的细胞级核型识别模型400相同，分裂期细胞核型识别模型501和分裂间期细胞核型识别模型502中的第一残差神经网络模块510和所述第二残差神经网络模块520均采用特征金字塔网络。分裂期细胞候选框预测模块511和分裂间期细胞候选框预测模块521均采用区域候选网络。第一残差神经网络模块510、分裂期细胞候选框预测模块511和第一分类回归器512形成更快速区域卷积神经网络，并且第二残差神经网络模块520、分裂间期细胞候选框预测模块521和所述第二分类回归器522也形成更快速区域卷积神经网络。

分裂期细胞核型识别模型501是基于多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上的多个分裂期细胞训练而成的。分裂间期细胞核型识别模型502是基于该多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上的多个分裂间期细胞训练而成的。在本公开中，为了能够分别训练分裂期细胞核型识别模型501和分裂间期细胞核型识别模型502，需要先获得该多个样本间接免疫荧光图像。如前所述，这些样本间接免疫荧光图像应覆盖相关行业标准规定的所有核型类别，例如每一核型类别都包括不少于阈值数量的样本间接免疫荧光图像。在这些实施例中，所获取的每一样本间接免疫荧光图像上都需要标注有预定数量的细胞的位置、核型类别及其为分裂期细胞还是分裂间期细胞，该预定数量可以为100或100以上。在进行训练时，每一个样本间接免疫荧光图像中的多个分裂期细胞均被提供给分裂期细胞核型识别模型501，以用于对分裂期细胞核型识别模型501进行训练，从而使得经训练的分裂期细胞核型识别模型501可用于识别间接免疫荧光图像中的多个分裂期细胞的第一位置和第一预测核型类别。并且，在进行训练时，每一个样本间接免疫荧光图像中的多个分裂间期细胞均被提供给分裂间期细胞核型识别模型502，以用于对分裂间期细胞核型识别模型502进行训练，从而使得经训练的分裂间期细胞核型识别模型502可用于识别间接免疫荧光图像中的多个分裂间期细胞的第二位置和第二预测核型类别。应了解，在这些实施例中，多个样本间接免疫荧光图像也可以是通过对原始获取的间接免疫荧光图像进行定向扩增和图像增强处理之后得到的图像。

基于以上的描述，在细胞级核型识别模型包括分裂期细胞核型识别模型501和分裂间期细胞核型识别模型502的情况下，步骤204可包括以下步骤。首先，基于经训练的分裂期细胞核型识别模型，识别间接免疫荧光图像中的多个分裂期细胞的第一位置和第一预测核型类别。然后，基于经训练的分裂间期细胞核型识别模型，识别间接免疫荧光图像中处于分裂间期的多个分裂间期细胞的第二位置和第二预测核型类别。

在步骤206，计算设备110基于所识别的位置和预测核型类别，确定间接免疫荧光图像的细胞类别分布数据。在本公开中，细胞类别分布数据可指示间接免疫荧光图像涉及哪些预测核型类别并且每一预测核型类别有多少个细胞。

在步骤204中提到的细胞级核型识别模型由一个细胞级核型识别模型400来实现的情况下，可通过基于细胞级核型识别模型400所输出的多个细胞的位置和预测核型类别进行统计，来获得该细胞类别分布数据。在本公开中，细胞级核型识别模型400除了所识别的输出位置和预测核型类别之外，还输出该识别的置信度。例如，细胞级核型识别模型400的输出可以为如下形式的列表：(细胞1，预测核型类别，置信度，位置)、(细胞2，预测核型类别，置信度，位置)……。为了能够提高预测的精度，在统计细胞类别分布数据时可仅考虑置信度大于预定阈值的那些细胞，而将置信度低于该预定阈值的那些细胞排除在外。所获得的细胞类别分布数据可以为如下形式的列表：(预测核型类别1，数量1)；(预测核型类别2，数量2)……。

在步骤204中提到的细胞级核型识别模型由两个细胞级核型识别模型501和502来实现的情况下，步骤206可包括以下步骤。

首先，基于所识别的第一位置和第一预测核型类别，确定间接免疫荧光图像的分裂期细胞类别分布数据。分裂期细胞类别分布数据可指示间接免疫荧光图像中的这些分裂期细胞可涉及哪些第一预测核型类别以及每一第一预测核型类别有多少个分裂期细胞。在本公开中，分裂期细胞核型识别模型501除了输出所识别的第一位置和第一预测核型类别之外，还输出该识别的置信度。例如，分裂期细胞核型识别模型501的输出可以为如下形式的列表：(分裂期细胞1，第一预测核型类别，置信度，第一位置)、(分裂期细胞2，第一预测核型类别，置信度，第一位置)……。为了能够提高预测的精度，在统计分裂期细胞类别分布数据时可以仅考虑置信度大于预定阈值的那些分裂期细胞，而将置信度低于该预定阈值的那些分裂期细胞排除在外。所获得的分裂期细胞类别分布数据可以为如下形式的列表：(第一预测核型类别1，数量1)；(第一预测核型类别2，数量2)……。

然后，基于所识别的第二位置和第二预测核型类别，确定间接免疫荧光图像胞的分裂间期细胞类别分布数据。分裂间期细胞类别分布数据可指示所述间接免疫荧光图像中的这些分裂间期细胞可涉及哪些第二预测核型类别以及每一第二预测核型类别有多少个分裂间期细胞。在本公开中，分裂间期细胞识别模型502除了输出所识别的第二位置和第二预测核型类别之外，还输出该识别的置信度。例如，分裂间期细胞识别模型502的输出可以为如下形式的列表：(分裂间期细胞1，第二预测核型类别，置信度，第二位置)、(分裂间期细胞2，第二预测核型类别，置信度，第二位置)……。为了能够提高预测的精度，在统计分裂间期细胞类别分布数据时可仅考虑置信度大于预定阈值的那些分裂间期细胞，而将置信度低于该预定阈值的那些分裂间期细胞排除在外。所获得的分裂间期细胞类别分布数据可以为如下形式的列表：(第二预测核型类别1，数量1)；(第二预测核型类别2，数量2)……。

然后，将分裂期细胞类别分布数据和分裂间期细胞类别分布数据整合成细胞类别分布数据。例如，可以通过对所述分裂期细胞类别分布数据和所述分裂间期细胞类别分布数据分别进行归一化处理，来将分裂期细胞类别分布数据和分裂间期细胞类别分布数据整合成前面提到的细胞类别分布数据。如前所述，所获得的细胞类别分布数据可以为如下形式的列表：(预测核型类别1，数量1)；(预测核型类别2，数量2)……。

在步骤208，计算设备110获取所述间接免疫荧光图像的多个预先确定的图像特征。

在本公开中，预先确定的图像特征可包括以下中的至少一个：间接免疫荧光图像的纹理特征和图像梯度特征以及关于间接免疫荧光图像中的每一细胞的色值变化特征。

间接免疫荧光图像的纹理特征可通过以下方式来确定：基于间接免疫荧光图像中各个像素点的像素值，分别计算关于间接免疫荧光图像的纹理均值、纹理方差、纹理平滑度、纹理三阶矩、纹理一致性数据、纹理熵中的多项，并融合所计算的纹理均值、纹理方差、纹理平滑度、纹理三阶矩、纹理一致性数据、纹理熵中的多项。

间接免疫荧光图像的图像梯度特征可通过计算间接免疫荧光图像的第一方向和第二方向梯度，并对该第一方向和第二方向梯度加权融合来生成。

每一细胞的色值变化特征可通过以下方式来确定：基于细胞级灰度图像内的像素点到细胞中心的距离，计算关于细胞级图像色值均值，然后基于所计算的关于细胞级图像色值均值，确定细胞中心至细胞周边的像素点的色值变化。

在步骤210，计算设备110利用经训练的机器学习模型，基于细胞类别分布数据以及多个预先确定的图像特征，确定间接免疫荧光图像属于所述每一预测核型类别的置信度，以便基于该置信度确定间接免疫荧光图像的最终核型类别。

在一些实施例中，机器学习模型的输出可以为一个二维矩阵，例如包含：预测核型类别1，置信度1；预测核型类别2，置信度2；……。在本公开中，可通过选取置信度最大的预测核型类别作为所述多个细胞的所述最终核型类别。

在本公开中，机器学习模型可例如基于随机森林来构建。经训练的机器学习模型是使用与多个样本间接免疫荧光图像相关联的多个样本细胞类别分布数据和多个样本图像特征训练而成的，并且每一样本间接免疫荧光图像的核型类别已被标注出。

图3示出了根据本公开的实施例的用于对间接免疫荧光图像进行图像增强处理的方法300的流程图。方法300可由如图1所示的计算设备110执行，也可以在图8所示的电子设备800处执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。

在步骤302，对间接免疫荧光图像进行高斯滤波。

具体地，在本公开中，通过对间接免疫荧光图像进行高斯滤波，可以去除该图像中的部分亮斑及其他噪声干扰。

在本公开中，在该高斯滤波的过程中，可结合间接免疫荧光图像的原始尺寸大小与清洗程度，选定滤波核为例如3*3。

在步骤304，对经高斯滤波的间接免疫荧光图像进行过曝检测。

在本公开中，通过该过曝检测，可以排除掉间接免疫荧光图像中的大光圈以及部分杂质干扰。过曝检测主要过程为对整个间接免疫荧光图像进行全局阈值分割，并利用canny算子进行边缘检测。然后再对检测后的间接免疫荧光图像进行轮廓查找。如果查找到的轮廓大于一定比例，则可判定该图像中存在大光圈。

通过采用上述手段，本公开能够提升间接免疫荧光图像的质量，抑制该图像中的噪声与干扰，从而有助于增加细胞特征识别的准确度和精度。

图8示出了可以用来实施本公开内容的实施例的示例电子设备800的示意性框图。例如，如图1所示的计算设备110可以由电子设备800来实施。如图所示，电子设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机存取存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器803中，还可存储电子设备800操作所需的各种程序和数据。中央处理单元801、只读存储器802以及随机存取存储器803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至输入/输出接口805，包括：输入单元806，例如键盘、鼠标、麦克风等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

上文所描述的各个过程和处理，例如方法200和300，可由中央处理单元801执行。例如，在一些实施例中，方法200和300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到随机存取存储器803并由中央处理单元801执行时，可以执行上文描述的方法200和300的一个或多个动作。

本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。

这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种预测以细胞为基质的抗体核型类别的方法，包括：

获取关于以细胞为基质的抗体的间接免疫荧光图像；

基于经训练的细胞级核型识别模型，识别所述间接免疫荧光图像中的多个细胞的位置和预测核型类别；

基于所识别的位置和预测核型类别，确定所述间接免疫荧光图像的细胞类别分布数据；

获取所述间接免疫荧光图像的多个预先确定的图像特征；以及

利用经训练的机器学习模型，基于所述细胞类别分布数据以及所述多个预先确定的图像特征，确定所述间接免疫荧光图像属于所述每一预测核型类别的置信度，以便基于所述置信度确定所述间接免疫荧光图像的最终核型类别。

2.根据权利要求1所述的方法，其中所述细胞级核型识别模型包括残差神经网络模块、细胞候选框预测模块以及分类回归器，所述残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的特征数据，所述细胞候选框预测模块被配置成基于所述特征数据确定所述多个细胞的候选位置，所述分类回归器被配置成基于所述特征数据以及所述候选位置，识别所述多个细胞的位置和预测核型类别。

3.根据权利要求1所述的方法，其中所述细胞级核型识别模型包括分裂期细胞核型识别模型和分裂间期细胞核型识别模型，并且基于经训练的细胞级核型识别模型，识别所述间接免疫荧光图像中的多个细胞的位置和预测核型类别包括：

基于经训练的分裂期细胞核型识别模型，识别所述间接免疫荧光图像中的多个分裂期细胞的第一位置和第一预测核型类别；以及

基于经训练的分裂间期细胞核型识别模型，识别所述间接免疫荧光图像中的多个分裂间期细胞的第二位置和第二预测核型类别。

4.根据权利要求3所述的方法，其中基于所识别的位置和预测核型类别，确定所述间接免疫荧光图像的细胞类别分布数据包括：

基于所识别的第一位置和第一预测核型类别，确定所述间接免疫荧光图像的分裂期细胞类别分布数据；

基于所识别的第二位置和第二预测核型类别，确定所述间接免疫荧光图像胞的分裂间期细胞类别分布数据；以及

将所述分裂期细胞类别分布数据和所述分裂间期细胞类别分布数据整合成所述细胞类别分布数据。

5.根据权利要求3所述的方法，其中，

所述分裂期细胞核型识别模型包括第一残差神经网络模块、分裂期细胞候选框预测模块以及第一分类回归器，所述第一残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的第一特征数据，所述分裂期细胞候选框预测模块被配置成基于所述第一特征数据确定所述多个分裂期细胞的第一候选位置，所述第一分类回归器被配置成基于所述第一特征数据以及所述第一候选位置，识别所述多个分裂期细胞的第一位置和第一预测核型类别；

所述分裂间期细胞核型识别模型包括第二残差神经网络模块、分裂间期细胞候选框预测模块以及第二分类回归器，所述第二残差神经网络模块被配置成对所述间接免疫荧光图像进行多次卷积运算，以提取所述间接免疫荧光图像中的第二特征数据，所述分裂间期细胞候选框预测模块被配置成基于所述第二特征数据确定所述多个分裂间期细胞的第二候选位置，所述第二分类回归器被配置成基于所述第二特征数据以及所述第二候选位置，识别所述多个分裂间期细胞的第二位置和第二预测核型类别。

6.根据权利要求5所述的方法，其中所述第一残差神经网络模块和所述第二残差神经网络模块均采用特征金字塔网络，所述分裂期细胞候选框预测模块和所述分裂间期细胞候选框预测模块均采用区域候选网络，并且所述第一残差神经网络模块、所述分裂期细胞候选框预测模块和所述第一分类回归器形成更快速区域卷积神经网络，并且所述第二残差神经网络模块、所述分裂间期细胞候选框预测模块和所述第二分类回归器也形成更快速区域卷积神经网络。

7.根据权利要求3所述的方法，其中所述分裂期细胞核型识别模型是基于多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上被标注为处于分裂期的多个细胞训练而成的，并且所述分裂间期细胞核型识别模型是基于所述多个样本间接免疫荧光图像中的每一个样本间接免疫荧光图像上被标注为处于分裂间期的多个细胞训练而成的。

8.根据权利要求1所述的方法，其中所述经训练的机器学习模型是使用与多个样本间接免疫荧光图像相关联的多个样本细胞类别分布数据和多个样本图像特征训练而成的，并且每一样本间接免疫荧光图像的核型类别已被标注出，并且所述机器学习模型是基于随机森林来构建的。

9.根据权利要求1所述的方法，其中基于所述置信度确定所述间接免疫荧光图像的最终核型类别包括：

选取所述置信度最大的预测核型类别作为所述多个细胞的所述最终核型类别。

10.根据权利要求1所述的方法，还包括对所述间接免疫荧光图像进行图像增强处理，对所述间接免疫荧光图像进行图像增强处理包括：

对所述间接免疫荧光图像进行高斯滤波；以及

对经高斯滤波的间接免疫荧光图像进行过曝检测。

11.根据权利要求1所述的方法，所述预先确定的图像特征包括以下中的至少一个：

所述间接免疫荧光图像的纹理特征、图像梯度特征以及关于所述间接免疫荧光图像中的每一细胞的色值变化特征。

12.一种计算设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。

Images