CN116547693A - 识别多重免疫荧光图像中的自体荧光伪影 - Google Patents

Abstract

本文公开的实施例总体上涉及识别多重免疫荧光图像中的自体荧光伪影。特别地，本公开的方面涉及访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；基于所述预测来调整后续图像处理；执行所述后续图像处理；以及输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。

Description

识别多重免疫荧光图像中的自体荧光伪影

相关申请的交叉引用

本申请要求于2020年10月27日提交的美国临时专利申请编号63/106，114的权益和优先权，所述美国临时专利申请出于所有目的通过引用以其全文并入本文。

技术领域

本文公开的方法和系统总体上涉及处理数字病理图像。具体来说，机器学习和图像处理技术被用于识别多重免疫荧光图像中的自体荧光伪影。

背景技术

数字病理学涉及将样品(例如，组织样品、血液样品、尿液样品等)的载玻片扫描成数字图像。可以对样品进行染色，使得细胞中的选定蛋白质(抗原)相对于样品的其余部分在视觉上被差异化标记。样本中的靶标蛋白可称为生物标志物。可以针对组织样品，生成具有针对不同生物标志物的多种染色剂的数字图像。这些数字图像可以被称为多重免疫荧光图像。例如，多重免疫荧光图像可以使组织样品中肿瘤细胞与非肿瘤细胞之间的空间关系可视化。可以进行图像分析以识别和量化组织样品中的生物标志物。图像分析可以由计算系统或病理医师进行，以促进生物标志物的表征(例如，在存在、大小、形状和/或位置方面)以便通知(例如)疾病的诊断、治疗计划的确定或对疗法的反应的评定。

然而，与多重免疫荧光图像相关的突出复杂情况是，来自不同染色样品部分的光信号可能会以某种方式相互干扰，使得可能难以检测单一染料，并且从而导致检测不准确。此外或替代地，给定类型的生物材料可以以给定频率自然地自体荧光。当样品被用多种染色剂染色时，这种自体荧光可能混淆和/或模糊对染色样品图像的解释的可能性会增加。

发明内容

在一些实施例中，提供了一种计算机实现的方法。访问样本切片的多重免疫荧光图像。多重免疫荧光图像可以包括一个或多个自体荧光伪影(例如，自体荧光生物元素，诸如红细胞、脂肪、组织或连接的组织)。使用机器学习模型(U-Net模型)来处理多重免疫荧光图像。处理的输出可以对应于关于多重免疫荧光图像是否包括一个或多个自体荧光伪影的预测。该预测可以识别多重免疫荧光图像的被预测为描绘自体荧光伪影的一个或多个特定部分。基于预测来调整后续图像处理。执行后续图像处理并且输出后续图像处理的结果。结果可以对应于样本的预测表征。

在一些实施例中，计算机实现的方法可以包括：基于对一个或多个自体荧光伪影中的每一个的预测来生成多重免疫荧光图像的经修改版本。例如，可以修改多重免疫荧光图像，使得被预测为描绘自体荧光伪影的一个或多个特定部分中的每一个被赋予空值、零值、基于多重免疫荧光图像的剩余部分计算的统计值(例如，中值或平均值)、基于该一个或多个特定部分周围的像素计算的统计值(例如，中值或平均值)，和/或基于一个或多个其他图像计算的统计值(例如，中值或平均值)。作为另一示例，可以对多重免疫荧光图像进行裁剪以排除一个或多个特定部分。后续图像处理可以包括处理多重免疫荧光图像的经修改版本。

在一些实施例中，调整后续图像处理可以包括：针对图像的一个或多个区域中的每一个确定对应于多重免疫荧光图像的一个或多个特定部分的至少一个度量超过预定阈值。例如，一个或多个度量可以包括自体荧光伪影的累积大小、多重免疫荧光图像中自体荧光伪影的总数、或多重免疫荧光图像包括至少一个自体荧光伪影的概率。一个或多个度量可以包括输出的至少一部分或者基于处理的输出而生成。

在一些情况下，执行后续图像处理包括：基于多重免疫荧光图像的一个或多个特定部分的位置来修改一个或多个其他图像中的每一个。一个或多个其他图像中的每一个可以对应于样本的另一切片。可以处理一个或多个其他经修改图像。

在一些实施例中，计算机实现的方法可以包括：在访问多重免疫荧光图像之前接收包括一个或多个块的全载玻片图像。可以基于识别块中的特征来选择一个或多个块中的一个块。例如，可以对块执行边缘检测，其中一个或多个边缘的存在指示目标区域和非目标区域都存在于该块中。可以基于检测边缘的存在来选择块。可能不会选择其中未检测到边缘的块。所选择的块可以对应于多重免疫荧光图像。

在一些实施例中，计算机实现的方法可以进一步包括：在访问多重免疫荧光图像之前，将针对第一生物标志物的第一染色剂施加至样本的样品切片，并且生成具有第一染色剂的样品切片的第一图像。此外，可以将针对第二生物标志物的第二染色剂施加至样本的样品切片，并且可以生成具有第二染色剂的样品切片的第二图像。可以通过组合第一图像和第二图像来生成多重免疫荧光图像。

在一些情况下，后续图像处理包括检测对一组肿瘤细胞的描绘。结果可以表征一组肿瘤细胞的存在、数量和/或大小。

本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。该系统可进一步包括包含指令的非暂时性计算机可读存储介质，该指令当在一个或多个数据处理器上被执行时，使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。

在一些实施例中，提供了一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品。该计算机程序产品可以包括指令，该指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部。

已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，虽然通过实施例和任选特征具体公开了本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。

附图说明

结合附图描述本公开：

图1A-图1B示出了不同类型组织的多重免疫荧光图像中的示例性自体荧光伪影；

图2示出了用于训练和使用机器学习模型来识别促进自体荧光伪影识别的结果的示例性计算系统；

图3A-图3C示出了用于自体荧光伪影预测的示例性机器学习模型实现；

图4示出了根据各种实施例的示例性U-Net；

图5示出了针对单个组织适应症使用经训练的机器学习模型生成的示例性训练准确度结果；

图6示出了针对六个组织适应症使用经训练的机器学习模型生成的示例性训练准确度结果；

图7示出了针对具有六个组织适应症的块和阴性块使用经训练的机器学习模型生成的示例性训练准确度结果；

图8示出了将经训练的机器学习模型的预测与已知的真实值进行比较的示例性结果；并且

图9说明了使用机器学习模型来识别自体荧光伪影的示例性过程。

在附图中，相似的部件和/或特征可以具有相同的参考标号。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。

具体实施方式

I.概述

本公开描述了用于自动化自体荧光伪影识别的技术。更具体地，本公开的一些实施例提供用于识别多重免疫荧光图像中的自体荧光伪影以支持或改进肿瘤检测和分析的机器学习技术。

多重免疫荧光载玻片染色可以使组织切片中的多种蛋白质能够被同时检测。多重免疫荧光图像可以用于研究生物组织、血液或尿液中的不同类型的细胞。相对于组织而言，可以收集、固定(例如，使用甲醛溶液)和包埋生物组织的活检，之后可以将样品切成更小的切片。可以将每个切片施加于玻璃载玻片以进行染色和分析。对于液体样品(例如血液或尿液)，可以将一滴(或多滴)样品置于基片上，并在样品上方放置扩散片以涂抹样品。然后可以将载玻片干燥(例如风干)、固定(例如使用甲醇)并染色。在染色期间，可以将一抗和一种或多种类型的二抗施加于样本以放大免疫荧光信号。对于多重免疫荧光染色(诸如基于酪胺的染色)，辣根过氧化物(HRP)偶联的二抗可以结合对目标蛋白质具有特异性的未偶联的一抗。荧光团偶联的酪胺分子可以作为HRP的底物，从而产生荧光。酪胺分子可以与标靶蛋白上或附近的酪氨酸结合。然后可以通过热洗或其他方式去除一抗和二抗，留下与标靶蛋白结合的酪胺。在成像和分析过程中，可以检测到荧光酪胺。针对不同标靶蛋白的附加一抗和二抗对可以重复施加于同一样本切片或从同一样本切片移除。在施加每个一抗和二抗对之后，可以扫描载玻片以生成载玻片的图像。可以在染色过程之后组合图像以生成多重免疫荧光图像。

在成像和分析期间，多重免疫荧光图像的区域可以被分割成靶标区域(例如，阳性或阴性肿瘤细胞)和非靶标区域(例如，正常组织或空白载玻片区域)。每个靶标区域可以包括可以被表征和/或量化的目标区域。在一些情况下，多重免疫荧光图像可能包括不对应于自体荧光的目标区域的生物材料或其他结构，使得难以区分靶标区域和非靶标区域。例如，红细胞、脂肪、组织或连接的组织和其他自体荧光材料可能导致DAPI通道中细胞核的错误检测、将个体标志物错误分类为阳性或阴性以及肿瘤区域的错误分割。图1A和图1B示出了多重免疫荧光图像中的示例性自体荧光伪影。图1A包括乳腺、结直肠癌、胰腺、肺和胃细胞的多重免疫荧光图像中的红细胞伪影。图1B在左列中包括由脂肪和连接的组织产生的自体荧光伪影，在右列中包括附加的红细胞伪影。在病理医师可以尝试避免注释其他自体荧光伪影区域的同时，病理医师可以注释多重免疫荧光图像中的目标区域(例如，肿瘤细胞)。当要处理大量载玻片时，这些注释可能会出错并且可能耗费大量时间。

从多重免疫荧光图像自动化地识别和分割自体荧光伪影可以提供对自体荧光伪影和目标区域的更准确和更快的区分，这可以产生更高效和更佳的肿瘤诊断和治疗评定。常规图像分析可以使用基于-强度的方法来识别多重免疫荧光图像中的自体荧光信号。然而，由于自体荧光伪影的强度分布，这些方法的准确性有限。自体荧光伪影强度的分布可能与非伪影信号重叠，使检测和分割变得困难或不准确。因此，常规图像分析算法通常对多重免疫荧光图像中的自体荧光伪影提供过度的检测、不充分的检测或不准确的检测。

在一些实施例中，提供了一种机器学习模型以预测多重免疫荧光图像中的自体荧光伪影的位置。在一些情况下，机器学习模型具有卷积神经网络(CNN)架构，该CNN架构利用U-Net模型来自动化地识别多重免疫荧光图像中的自体荧光伪影。可以使用包括一组阳性数据元素(包含自体荧光伪影的图像)和一组阴性数据元素(不包含自体荧光伪影的图像)的训练图像来训练机器学习模型。每个阳性数据元素可以包括关于在图像内的何处描绘每个伪影的一个或多个指示。训练机器学习模型可以包括例如学习自体荧光伪影特性或标志(signature)(强度和纹理特征)。训练还可以包括基于自体荧光伪影的特性对图像进行学习调整。经训练的机器学习模型可以用于预测多重免疫荧光图像的包括自体荧光伪影的特定部分。在一些示例中，经训练的机器学习模型可以用在多重免疫荧光图像的多通道原始数据上。在其他示例中，经训练的机器学习模型可以用在使用多通道原始数据生成的合成图像上。附加地，可以针对多通道原始数据的每个通道训练机器学习模型，使得经训练的机器学习模型各自处理单个通道(例如，染色剂或信号)。在一些情况下，该机器学习模型在执行图像分析算法以分类图像内的靶标区域(例如肿瘤细胞)之前作为预处理的一部分执行。然而，如本领域内的普通技术人员应当理解的，本文讨论的概念不限于处理程序，而是还可以根据各种实施例集成到整体图像分析处理中。

可以生成指示多重免疫荧光图像的包含自体荧光伪影的预测特定部分的输出。在其中针对每个通道使用不同机器学习模型的示例中，可以组合每个机器学习模型的输出以创建针对多重免疫荧光图像的组合预测。在一些示例中，机器学习模型可以基于预测和学习到的调整参数来调整多重免疫荧光图像。后续图像处理也可以基于该输出进行调整。例如，可以基于预测对多重免疫荧光图像进行修改。附加地或替代地，可以基于输出生成对应于样本的另一切片的其他多重免疫荧光图像的经修改版本。作为又一附加或替代示例，可以评估关于是否基于输出将多重免疫荧光图像从后续图像处理中排除的条件。后续图像处理可以包括：处理一个或多个多重免疫荧光图像和/或其经修改版本(例如，处理多重免疫荧光图像的经修改版本、处理一个或多个其他多重免疫荧光图像和/或处理一个或多个其他多重免疫荧光图像的经修改版本)；以及输出结果。结果可以表征多重免疫荧光图像中一组肿瘤细胞的存在、位置、数量和/或大小。结果可以用于确定诊断、治疗计划或评定针对肿瘤细胞的正在进行的治疗。

II.定义和缩写

如本文所用，术语“自体荧光伪影”是指在吸收光时自然发光的生物成分。例如，红细胞、脂肪、黄素、弹性蛋白、连接组织和胶原蛋白在吸收光时会表现出自体荧光。在一些实施例中，术语“自体荧光伪影”是指干扰荧光标志物所靶向结构的检测的生物成分。

如本文所用，术语“多重免疫荧光图像”是指已针对多种生物标志物进行染色的生物样本(例如，组织切片、血涂片或尿液涂片)的全载玻片图像或全载玻片图像的块。生物标志物中的每一种在被激发时可以发出不同波长下的荧光，使得可以唯一地识别每种生物标志物。

如本文所用，术语“块”或“图像块”是指对应于全载玻片图像的一部分的像素集合。在一些实施例中，“块”或“图像块”是指全载玻片图像的区域或具有(x、y)像素维度(例如256像素x 256像素)的目标区域。例如，一个1000像素x 1000像素的全载玻片图像被分成100像素x 100像素的块，该全载玻片图像将包含100个块(每个块包含10000个像素)。在其他实施例中，块与每个具有(x、y)像素维度的“块”或“图像块”重叠并与另一个“块”或“图像块”共享一个或多个像素。

如本文所用，术语“样本切片”是指来自生物体的任何生物样品(诸如组织切片、组织活检、血液和尿液)。生物体的示例包括人类、兽医学动物和实验室动物。在某些实施例中，本文使用的术语“样本切片”是指由从受试者获得的肿瘤或其一部分制备的样品。

III.计算环境与模型架构

图2示出了用于训练和使用机器学习模型以用于促进检测自体荧光伪影标识并且用于处理数字病理学图像的示例性计算系统200。计算系统200可以包括用以训练和执行机器学习模型的分析系统205。机器学习模型的示例可以是深度卷积神经网络、U-Net、V-Net、残差神经网络或递归神经网络。机器学习模型可以被训练和/或用于(例如)预测多重免疫荧光图像是否包括一个或多个自体荧光伪影，诸如红细胞(RBC)、脂肪、组织或连接的组织。分析系统205可以进一步训练和/或使用一个或多个其他机器学习模型来进行另一种类型的检测(例如，描绘肿瘤细胞)。一个或多个其他机器学习模型可以包括(例如)卷积神经网络、U-Net和/或深度神经网络。在一些情况下，使用来自伪影检测机器学习模型的结果来处理图像(例如，以便去除或遮盖每个伪影)，并且一个或多个其他机器学习模型可以接收和使用经处理的图像来进行其他类型的检测。在一些情况下，来自伪影检测机器学习模型的结果用于识别要排除在用以进行其他类型的检测的数据之外的块和/或图像。

训练控制器210可以执行代码以使用一个或多个训练数据集215来训练伪影检测机器学习模型和/或一个或多个其他机器学习模型。每个训练数据集215可以包括一组训练多重免疫荧光图像。多重免疫荧光图像中的每一个可以包括描绘一个或多个生物学对象(例如，一组一种或多种类型的细胞)的数字病理学图像。该组训练多重免疫荧光图像的第一子集中的每个图像可以包括一个或多个自体荧光伪影，并且该组训练多重免疫荧光图像的第二子集中的每个图像可能没有自体荧光伪影。多重免疫荧光图像中的每一个可以描绘样品(诸如组织样品(例如，结直肠、膀胱、乳腺、胰腺、肺或胃组织)、血液样品、尿液样品)的一部分。在一些情况下，多重免疫荧光图像中的一个或多个中的每一个描绘多个肿瘤细胞。可能已经(例如)从图像源220(诸如公共数据存储库)和/或从(例如)接收自一个或多个实验室的数据收集训练数据215。

计算系统200可以包括标签映射器225，它将来自图像源220的包含自体荧光伪影的多重免疫荧光图像映射到“自体荧光伪影”标签，并且将不包含自体荧光伪影的多重免疫荧光图像映射到“非伪影”标签。自体荧光伪影可以包括红细胞、胶原蛋白、弹性蛋白、黄素和其他表现出自体荧光的生物成分。映射数据可以存储在映射数据存储库(未示出)中。映射数据可以识别映射到自体荧光伪影标签或非伪影标签中的任一者的每个多重免疫荧光图像。

在一些情况下，与训练多重免疫荧光图像相关联的标签可能已经被接收或者可以从接受自一个或多个提供商系统230的数据导出，其中每个提供商系统都可以关联于(例如)与特定受试者相关联的医师、护士、医院、药剂师等。接收的数据可以包括(例如)与特定受试者对应的一个或多个医疗记录。医疗记录可以指示(例如)专业人士的诊断或表征，关于收集与受试者相关联的一个或多个输入图像元素的时间所对应的时间段或后续定义的时间段，该诊断或表征指示受试者是否患有肿瘤和/或受试者的肿瘤的进展阶段(例如，沿着标准尺度和/或通过识别度量，如总代谢性肿瘤体积(TMTV))。接收到的数据可以进一步包括位于与受试者相关联的一个或多个多重免疫荧光图像内的肿瘤或肿瘤细胞的位置的像素。因此，医疗记录可以包括或可用于识别关于每一训练多重免疫荧光图像的一个或多个标签。在一些情况下，从提供商系统230接收被输入到一个或多个分类器子系统的图像或扫描。例如，提供商系统230可以从成像装置235接收图像，并且然后可以将图像或扫描(例如，连同受试者标识符以及一个或多个标签一起)传输到分析系统205。

训练控制器210可以使用训练数据215的映射来训练机器学习模型。更具体地，训练控制器210可访问模型(例如，U-Net模型)的架构，定义针对模型的(固定的)超参数(该超参数为影响学习过程的参数，诸如模型的学习率、大小/复杂度等)，以及训练模型使得学习到参数集。更具体地，可以通过识别与通过将预测输出(使用给定的参数值获得)与实际输出进行比较而生成的低的或最低的损失、成本或误差相关联的参数值来学习参数集。在一些情况下，机器学习模型可以配置成迭代地拟合新模型以提高输出(例如，其包括对应于关于包括自体荧光伪影的多重免疫荧光图像部分的估计或可能性的度量或标识符)的估计准确性。机器学习模型可以附加地使用真实值分割来训练以确定每个像素的前景/背景概率，其中前景对应于自体荧光伪影。机器学习模型可以附加地被训练以调整多重免疫荧光图像。训练数据215可以包括所输入的多重免疫荧光图像和基于输出的经调整图像。例如，机器学习模型可以学习对预测为包括距多重免疫荧光图像边界预定距离(例如，像素数)内的自体荧光伪影的图像进行裁剪。机器学习模型可以附加地被训练以对多重免疫荧光图像进行其他调整(例如，滤波或移除自体荧光伪影)。

在一些情况下，训练控制器210确定或学习预处理参数和/或方法。例如，预处理可以包括基于所选择的特征对多重免疫荧光图像进行滤波(例如，以包括预测为包括自体荧光伪影的多重免疫荧光图像、以排除预测为不包括自体荧光伪影的多重免疫荧光图像)。预处理可以包括扫描未染色的组织载玻片(例如，使用Mpx扫描仪)。可以确定未染色组织载玻片中的自体荧光，并在后续处理过程中将其用于校正染色载玻片。其他示例性预处理可以包括归一化或标准化多重免疫荧光图像。

机器学习(ML)执行处理器(handler)240可以使用该架构和学习到的参数来处理非训练数据并生成结果。例如，ML执行处理器240可以访问样本切片的未在训练数据215中表示的多重免疫荧光图像。多重免疫荧光图像可以用基于酪胺的染色进行染色。在一些情况下，可以在分析系统205访问多重免疫荧光图像之前生成该多重免疫荧光图像。可以在施加染色剂之后捕获多重免疫荧光图像，并且可以描绘用对应于不同生物标志物的多种染色剂染色的样品，这可以促进(例如)确定不同细胞类型(例如，肿瘤细胞和非肿瘤细胞)之间的空间关系。可以针对施加的每种染色剂生成图像。可以组合每种染色剂的图像以创建多重免疫荧光图像。在捕获带有染色剂的样品的图像后，可以在每次成像和染色剂施加之间通过热洗或化学处理来移除染色剂。作为示例，针对第一生物标志物的第一染色剂可以施加至样本的样品切片。第一生物标志物可以是指示第一类型肿瘤的蛋白质。可以生成具有第一染色剂的样品切片的第一图像。可以将针对第二生物标志物的第二染色剂施加至样本的样品切片。第二生物标志物可以是指示第二类型肿瘤的蛋白质。可以生成具有第二染色剂的样品切片的第二图像。可以组合第一图像和第二图像以生成多重免疫荧光图像。多重免疫荧光图像可以替代地在已经施加多种染色剂之后生成，使得没有图像的组合。在此类示例中，在施加下一染色剂之前，染色剂可能不会被移除。

在一些实施例中，所生成或获得的多重免疫荧光图像为RGB图像或多光谱图像。在一些实施例中，所生成的多重免疫荧光图像存储在存储器装置中。可以使用成像装置235来生成多重免疫荧光图像。在一些实施例中，如本文所述，图像是从能够捕获承载样本的显微镜载玻片的图像数据的显微镜或其他仪器中生成或获得。在一些实施例中，多重免疫荧光图像是使用2D扫描仪(诸如能够扫描图像图块的扫描仪)生成或获得的。替代地，多重免疫荧光图像可以先前已被生成(例如被扫描)并被存储在存储器装置中(或者就此而言，经由通信网络从服务器检索)。

在一些情况下，计算系统200可以在访问多重免疫荧光图像之前接收全载玻片图像。全载玻片图像可以包括一个或多个块。图像块可以为相对小的大小(例如，256x 256)。可以基于在图像块中识别的特征(例如，边缘)来选择图像块。所选择的块可以对应于多重免疫荧光图像，并且用经训练的机器学习模型进行处理。计算系统200可以选择全载玻片图像的一个或多个块，然后可以使用机器学习模型对其进行处理。

在一些情况下，可以(但不必)根据学习到的或识别的预处理技术来预处理多重免疫荧光图像。例如，ML执行处理器240可以在使用机器学习模型处理图像之前将多重免疫荧光图像解混为其组成通道。每个解混通道可以对应于特定的染色剂或信号。在一些实施例中，解混图像(通常称为“通道图像”或“图像通道图像”)可以用作机器学习模型的输入。可以将(经预处理的或原始的)多重免疫荧光图像馈送到具有架构(例如，U-Net)的机器学习模型中，该机器学习模型在训练期间使用并被配置有学习到的参数。该架构可以涉及解混模块以生成对应于一个或多个染色剂通道的图像通道图像。

图3A-图3C示出了ML执行处理器240的示例性实现。如图3A所示，ML执行处理器240可以接收多重免疫荧光图像305的多通道原始数据(例如，通道图像)。ML执行处理器240可以执行线性映射310以生成多重免疫荧光图像305的合成图像。线性映射310可以包括组合每个通道图像的特征以创建合成图像。替代地，ML执行处理器240可以执行非线性映射或另一种合适的技术来生成多重免疫荧光图像305的合成图像。合成图像可以输入到分类器315。分类器315可以是U-Net模型或任何其他合适的模型(例如，V-Net、ResNet等)。可以使用标记的合成图像来训练分类器315。例如，标记的合成图像可以包括针对包括自体荧光伪影的合成图像的第一标签和针对不包括自体荧光伪影的合成图像的第二标签。分类器315可以输出合成图像在该合成图像的一个或多个特定部分(例如，单个像素或多个像素)处包括一个或多个自体荧光伪影的预测。例如，该预测可以包括合成图像在该合成图像的某些区域包括自体荧光伪影的概率或可能性。在一些示例中，ML执行处理器240基于预测执行图像调整320。例如，ML执行处理器240可以基于预测对合成图像进行裁剪或滤波以生成经调整图像325。在其他示例中，ML执行处理器240可以在不执行图像调整320的情况下输出预测。

在图3B中，ML执行处理器240接收多重免疫荧光图像305的多通道原始数据。多通道原始数据用作分类器315的输入。可以使用多重免疫荧光图像的标记的多通道原始数据来训练分类器315。例如，标记的多重免疫荧光图像可以包括针对包括自体荧光伪影的多重免疫荧光图像的第一标签和针对不包括自体荧光伪影的多重免疫荧光图像的第二标签。分类器315可以输出多重免疫荧光图像305在该多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影的预测。在一些示例中，ML执行处理器240基于预测对多重免疫荧光图像305执行图像调整320以生成用于后续处理的经调整图像325。在其他示例中，ML执行处理器240可以在不执行图像调整320的情况下输出预测。

如图3C所示，ML执行处理器240可以用对应的分类器315对多重免疫荧光图像305的多通道原始数据的每个通道图像进行处理和分类。每个分类器315可以针对不同的通道(例如，染色剂或信号)进行训练。每个分类器315可以输出对应通道图像在该对应通道图像的一个或多个部分处包括一个或多个自体荧光伪影的预测。ML执行处理器240的输出组合器330随后可以组合每个通道图像的预测。例如，输出组合器330可以对针对每个通道图像中的每个对应像素的预测求平均以确定多重免疫荧光图像305的组合预测。组合预测可以提供增加的自体荧光伪影预测的准确性，因为组合预测考虑了针对每个像素的多个预测。在一些示例中，ML执行处理器240基于该组合预测对多重免疫荧光图像305执行图像调整320以生成用于后续处理的经调整图像325。在其他示例中，ML执行处理器240可以在不执行图像调整320的情况下输出组合预测。

回到图2，在一些情况下，后续图像处理由图像处理器245执行。后续图像处理可以基于多重免疫荧光图像包括自体荧光伪影的预测来调整。例如，调整后续图像处理可以包括：确定对应于多重免疫荧光图像的特定部分(例如，一个或多个像素)的至少一个度量超过预定义阈值。可以针对多重免疫荧光图像的一个或多个区域中的每一个来进行该确定。度量的示例可以包括自体荧光伪影的累积大小(例如，描绘至少部分伪影的像素数量)、自体荧光伪影的数量、自体荧光伪影的平均强度，和/或多重免疫荧光图像包括至少一个自体荧光伪影的概率。例如，针对特定部分包括自体荧光伪影的概率的预定义阈值可以为70％。可以基于确定多重免疫荧光图像的特定部分具有高于70％的包括自体荧光伪影的概率，来调整后续图像处理。

在一些情况下，图像处理器245可以基于预测来生成多重免疫荧光图像的经修改版本。生成经修改版本可以包括将滤波器或其他图像增强技术应用于多重免疫荧光图像的被预测为包含自体荧光伪影的特定部分中的每一个。随后可以利用机器学习模型来处理多重免疫荧光图像的经修改版本。

在一些情况下，后续图像处理包括：基于被预测为包括自体荧光伪影的特定部分在多重免疫荧光图像中的位置来修改一个或多个其他图像。其他图像可以对应于样本的另一切片。修改其他图像可以包括：在样本的其他切片中的位置处进行滤波或分割其他图像，这些位置对应于特定部分在多重免疫荧光图像中的位置。随后可以利用一个或多个机器学习模型来处理其他图像以确定样本的预测表征。

在一些情况下，图像表征器250基于后续图像处理的执行来识别针对多重免疫荧光图像的预测表征。执行本身可以产生包括表征的结果，或者执行可以包括结果，分类器250可使用该结果来确定样本的预测表征。例如，后续图像处理可以包括检测对一组肿瘤细胞的描绘。结果可以表征一组肿瘤细胞的存在、数量和/或大小。图像表征器250可应用规则和/或变换以将概率和/或置信度映射到表征。作为说明，如果结果包括肿瘤对应于多重免疫荧光图像包括一组肿瘤细胞的大于50％的概率，则可以按其他方式分配第二表征。

通信接口255可以收集结果并将一个或多个结果(或其经处理的版本)传送给使用者装置或其他系统。例如，通信接口255可以生成识别一组肿瘤细胞的存在、数量和/或大小的输出。随后可以呈现和/或传输该输出，这可有助于输出数据的显示，例如在计算设备的显示器上显示。

IV.示例性U-Net模型

如图4所示，U-Net 400可以包括收缩路径405(编码器)和扩展路径410(解码器)，这使U-Net具有u形架构。收缩路径405是包括卷积的重复应用(例如，3x3卷积(未填充的卷积))的CNN网络，每个卷积后跟修正线性单元(ReLU)和用于降采样的最大池化操作(例如，步幅为2的2x2最大池化)。在每个降采样步骤或池化操作中，特征通道的数量可以加倍。在收缩期间，图像数据的空间信息减少，而特征信息增加。扩展路径410为组合来自收缩路径405的特征和空间信息(来自收缩路径405的特征图的升采样)的CNN网络。特征图的升采样后跟一系列将通道的数量减半的上卷积(升采样运算子)、与来自收缩路径405的相应裁剪的特征图的串接、每个后跟修正线性单元(ReLU)的卷积(例如，两个3x3卷积)的重复应用、以及最终卷积(例如，一个1x1卷积)，以生成二维非靶标区域掩膜。为了定位，将来自收缩路径405的高分辨率特征与来自扩展路径410的升采样的输出相组合。

在各种实施例中，U-Net 400实现与常规U-Net架构相比总体上减少的通道的数量。具体地，中间激活输出层的通道的数量减少了预定的因数，例如二或四(参见例如收缩路径405和扩展路径410内的粗体数字)，例如在第二层中，通道的数量以因数四从64减少到16等，并且最大通道的数量也以因数四减少到256，而非常规U-Net架构中使用的1024。实现通道的这种减少是为了降低计算费用和模型复杂性。与具有最大数量的1024个通道且通道数量没有减少的常规U-Net架构相比，这种压缩的U-Net架构提供了更好的结果。此外，U-Net 400包括空间随机失活415以对抗过度拟合。空间随机失活415可以在收缩路径405的最后几层(即最后一层、二层、三层或四层)中实现。空间随机失活415使整个二维特征图失活，而不是如常规失活所执行的那样使单独的元素失活。例如，如果特征图中的相邻像素是强相关的(如早期的卷积层中常见的情况)，那么传统的失活不会对激活进行正则化，否则会导致有效的学习率下降。相比之下，空间随机失活415将对激活进行正则化并帮助促进特征图之间的独立性，否则会导致有效的学习率提高。

V.示例性模型结果

图5-图8示出了使用经训练的机器学习模型(例如U-Net模型)从四个实验中生成的示例性训练准确度结果。具体来说，结果对应于从多重免疫荧光图像的块数据库访问的数据元素。对于图5-图7，如关于图2所描述的，数据被分成类别以及测试和训练数据集。数据被分为80％用于训练，20％用于测试。在这个示例性实例中，二元交叉熵损失函数用于使用50个时期、2的批量大小和1x10^-5的学习率来训练经修改的U-Net。

图5示出了针对单个组织适应症(例如，膀胱)使用经训练的机器学习模型的示例性结果。对于此实验，使用了152个块来训练和测试机器学习模型。示出了训练期间的准确性和损失。随着损失的减少，准确度在各个时期都有所提高。训练准确率为93.9％，训练损失为0.142，而测试数据的准确率为85.6％，测试数据的损失为0.149。

图6示出了针对六种组织适应症使用经训练的机器学习模型的示例性结果。组织适应症包括结直肠癌、肺癌、乳腺癌、胰腺癌、胃癌和膀胱癌。对于这个实验，从数据库中访问了275个块。示出了训练期间的准确度和损失，随着损失的减少，准确度在各个时期都有所提高。该实验的结果比单个组织适应症实验有所改进，训练准确率为95.2％，训练损失为0.113。附加地，测试数据的准确率为85.6％，测试数据的损失为0.148。

图7示出了针对具有六种适应症(例如，结直肠癌、膀胱癌、乳腺癌、胰腺癌、肺癌、胃癌)的块和阴性块使用经训练的机器学习模型的示例性结果。阴性块对应于不存在自体荧光伪影的块。对于这个实验，从数据库中访问了344个块。示出了经修改的U-Net训练期间相对于时期的准确性和损失。随着损失的减少，准确度在各个时期都有所提高。训练准确率为95.2％，训练损失为0.113。在这个实验中，测试数据的准确率最高，为88.3％。附加地，测试数据的损失最低，为0.119。

图8示出了将经训练的机器学习模型的预测与已知的真实值(例如，已知包括或不包括自体荧光伪影的像素)进行比较的示例性结果。从数据库中测试了四个块。针对每个块计算机器学习模型预测与真实值之间的像素到像素一致性。对于红细胞预测，机器学习模型的预测与84％-100％像素的真实值一致。

VI.示例性用例

图9说明了使用机器学习模型来识别多重免疫荧光图像中的自体荧光伪影的过程900。在框905处，访问样本切片的多重免疫荧光图像。多重免疫荧光图像可以对应于全载玻片图像或全载玻片图像的具有自体荧光伪影的块。多重免疫荧光图像可以用多种染色剂染色，以确定一组肿瘤细胞的表征。可以对多重免疫荧光图像进行预处理以进行特征选择。

在框910处，机器学习模型处理多重免疫荧光图像。可以使用训练多重免疫荧光图像来训练机器学习模型，多重免疫荧光图像包括一些具有自体荧光伪影的图像和一些没有自体荧光伪影的图像。机器学习模型可以为深度神经网络和/或卷积神经网络。机器学习模型可以包括U-Net模型。机器学习模型的输出可以为对多重免疫荧光图像的描绘自体荧光伪影的特定部分(例如，一个或多个像素)的预测。

在框915处，基于预测来调整后续图像处理。调整可以包括生成多重免疫荧光图像的经修改版本。也可以修改对应于样本的另一切片的其他图像。可以基于预测为包括自体荧光伪影的特定部分的位置来修改其他图像。附加地，经调整的后续图像处理可以涉及确定对应于多重免疫荧光图像的特定部分的度量(例如，自体荧光伪影的累积大小、包括自体荧光伪影的概率、自体荧光伪影的平均强度)超过预定义的阈值。可以针对多重免疫荧光图像的一个或多个区域中的每一个来进行该确定。度量可以包括处理的至少一部分输出。替代性地，可以基于处理的输出来生成度量。

在框920处，执行后续图像处理。一个或多个经训练的机器学习模型或其他图像分析技术可以用于后续图像处理。后续图像处理可以包括处理多重免疫荧光图像的经修改版本。后续图像处理还可以包括处理基于机器学习模型的预测修改的一个或多个其他图像。在一些情况下，后续图像处理可以包括检测对一组肿瘤细胞的描绘。

在框925处，输出后续图像处理的结果。例如，该结果可以被传输到另一装置(例如，与护理提供者相关联)和/或被显示。结果可以对应于样本的预测表征。结果可以表征一组肿瘤细胞的存在、数量和/或大小。对于多重免疫荧光图像，结果可以表征不止一组肿瘤细胞。例如，多重免疫荧光图像的每种染色剂可以对应于一组不同的肿瘤细胞，并且结果可以表征每组肿瘤细胞。结果可用于受试者的诊断或治疗评定。

图9示出了使用机器学习模型来识别多重免疫荧光图像中的自体荧光伪影的一个示例性过程。其他示例可以包括更多步骤、更少步骤、不同步骤或不同顺序的步骤。例如，自体荧光伪影识别可以在肿瘤检测和分类之后出现，作为后处理步骤以排除识别的自体荧光伪影。

VII.其他注意事项

本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器进行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。

已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，虽然通过实施例和任选特征具体公开了本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。

本文的描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选的示例性实施例的描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。

在本文描述中给出具体细节以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。

Claims (39)

1.一种计算机实现的方法，其包括：

访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；

使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；

基于所述预测来调整后续图像处理；

执行所述后续图像处理；并且

输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。

2.根据权利要求1所述的计算机实现的方法，其进一步包括：

基于对所述一个或多个自体荧光伪影中的每一个的所述预测来生成所述多重免疫荧光图像的经修改版本，其中所述后续图像处理包括处理所述多重免疫荧光图像的所述经修改版本。

3.根据权利要求1所述的计算机实现的方法，其中调整所述后续图像处理包括：

对于所述多重免疫荧光图像的一个或多个区域中的每一个，确定对应于所述多重免疫荧光图像的所述一个或多个特定部分的至少一个度量超过预定阈值，其中所述至少一个度量包括所述处理的所述输出的至少一部分或者基于所述处理的所述输出而生成。

4.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括：

基于所述多重免疫荧光图像的所述一个或多个特定部分的位置来修改一个或多个其他图像中的每一个，所述一个或多个其他图像中的每一个对应于所述样本的另一切片；并且

处理经修改的一个或多个其他图像。

5.根据权利要求1所述的计算机实现的方法，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

6.根据权利要求1所述的方法，其中所述机器学习模型包括U-Net模型。

7.根据权利要求1所述的计算机实现的方法，其进一步包括：

在访问所述多重免疫荧光图像之前，接收包括一个或多个块的全载玻片图像；并且

基于识别所述一个或多个块中的一个块中的特征来选择所述块，其中所述块对应于所述多重免疫荧光图像。

8.根据权利要求1所述的计算机实现的方法，其进一步包括，在访问所述多重免疫荧光图像之前：

将针对第一生物标志物的第一染色剂施加至所述样本的样品切片；

生成具有所述第一染色剂的所述样品切片的第一图像；

将针对第二生物标志物的第二染色剂施加至所述样本的所述样品切片；

生成具有所述第二染色剂的所述样品切片的第二图像；并且

组合所述第一图像和所述第二图像以生成所述多重免疫荧光图像。

9.根据权利要求1所述的计算机实现的方法，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

10.根据权利要求1所述的计算机实现的方法，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

11.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

组合所述通道图像以生成合成图像；并且

使用所述机器学习模型处理所述合成图像。

12.根据权利要求1所述的计算机实现的方法，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

使用所述第一机器学习模型处理所述通道图像中的第一通道图像；并且

使用附加的对应机器学习模型处理所述通道图像的附加通道图像。

13.根据权利要求1所述的计算机实现的方法，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

基于所述预测来调整所述多重免疫荧光图像以生成经调整图像；并且

输出所述经调整图像以用于后续图像处理。

14.一种系统，其包括：

一个或多个数据处理器；以及

非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：

访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；

使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；

基于所述预测来调整后续图像处理；

执行所述后续图像处理；并且

输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。

15.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：

基于对所述一个或多个自体荧光伪影中的每一个的所述预测来生成所述多重免疫荧光图像的经修改版本，其中所述后续图像处理包括处理所述多重免疫荧光图像的所述经修改版本。

16.根据权利要求14所述的系统，其中调整所述后续图像处理包括：

对于所述多重免疫荧光图像的一个或多个区域中的每一个，确定对应于所述多重免疫荧光图像的所述一个或多个特定部分的至少一个度量超过预定阈值，其中所述至少一个度量包括所述处理的所述输出的至少一部分或者基于所述处理的所述输出而生成。

17.根据权利要求14所述的系统，其中执行所述后续图像处理包括：

基于所述多重免疫荧光图像的所述一个或多个特定部分的位置来修改一个或多个其他图像中的每一个，所述一个或多个其他图像中的每一个对应于所述样本的另一切片；并且

处理经修改的一个或多个其他图像。

18.根据权利要求14所述的系统，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

19.根据权利要求14所述的系统，其中所述机器学习模型包括U-Net模型。

20.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器执行包括以下的操作：

在访问所述多重免疫荧光图像之前，接收包括一个或多个块的全载玻片图像；并且

基于识别所述一个或多个块中的一个块中的特征来选择所述块，其中所述块对应于所述多重免疫荧光图像。

21.根据权利要求14所述的系统，其中所述非暂时性计算机可读介质进一步包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器在访问所述多重免疫荧光图像之前执行包括以下的操作：

将针对第一生物标志物的第一染色剂施加至所述样本的样品切片；

生成具有所述第一染色剂的所述样品切片的第一图像；

将针对第二生物标志物的第二染色剂施加至所述样本的所述样品切片；

生成具有所述第二染色剂的所述样品切片的第二图像；并且

组合所述第一图像和所述第二图像以生成所述多重免疫荧光图像。

22.根据权利要求14所述的系统，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

23.根据权利要求14所述的系统，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

24.根据权利要求14所述的系统，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

组合所述通道图像以生成合成图像；并且

使用所述机器学习模型处理所述合成图像。

25.根据权利要求14所述的系统，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

使用所述第一机器学习模型处理所述通道图像中的第一通道图像；并且

使用附加的对应机器学习模型处理所述通道图像的附加通道图像。

26.根据权利要求14所述的系统，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

基于所述预测来调整所述多重免疫荧光图像以生成经调整图像；并且

输出所述经调整图像以用于后续图像处理。

27.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

访问样本切片的多重免疫荧光图像，其中所述多重免疫荧光图像包括一个或多个自体荧光伪影；

使用机器学习模型处理所述多重免疫荧光图像，其中所述处理的输出对应于以下预测：所述多重免疫荧光图像在所述多重免疫荧光图像的一个或多个特定部分处包括一个或多个自体荧光伪影；并且

基于所述预测来调整后续图像处理；

执行所述后续图像处理；并且

输出所述后续图像处理的结果，其中所述结果对应于所述样本的预测表征。

28.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

基于对所述一个或多个自体荧光伪影中的每一个的所述预测来生成所述多重免疫荧光图像的经修改版本，其中所述后续图像处理包括处理所述多重免疫荧光图像的所述经修改版本。

29.根据权利要求27所述的计算机程序产品，其中调整所述后续图像处理包括：

对于所述多重免疫荧光图像的一个或多个区域中的每一个，确定对应于所述多重免疫荧光图像的所述一个或多个特定部分的至少一个度量超过预定阈值，其中所述至少一个度量包括所述处理的所述输出的至少一部分或者基于所述处理的所述输出而生成。

30.根据权利要求27所述的计算机程序产品，其中执行所述后续图像处理包括：

基于所述多重免疫荧光图像的所述一个或多个特定部分的位置来修改一个或多个其他图像中的每一个，所述一个或多个其他图像中的每一个对应于所述样本的另一切片；并且

处理经修改的一个或多个其他图像。

31.根据权利要求27所述的计算机程序产品，其中所述一个或多个自体荧光伪影描绘一个或多个红细胞。

32.根据权利要求27所述的计算机程序产品，其中所述机器学习模型包括U-Net模型。

33.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器执行包括以下的操作：

在访问所述多重免疫荧光图像之前，接收包括一个或多个块的全载玻片图像；并且

基于识别所述一个或多个块中的一个块中的特征来选择所述块，其中所述块对应于所述多重免疫荧光图像。

34.根据权利要求27所述的计算机程序产品，其进一步包括指令，所述指令被配置成使一个或多个数据处理器在访问所述多重免疫荧光图像之前执行包括以下的操作：

将针对第一生物标志物的第一染色剂施加至所述样本的样品切片；

生成具有所述第一染色剂的所述样品切片的第一图像；

将针对第二生物标志物的第二染色剂施加至所述样本的所述样品切片；

生成具有所述第二染色剂的所述样品切片的第二图像；并且

组合所述第一图像和所述第二图像以生成所述多重免疫荧光图像。

35.根据权利要求27所述的计算机程序产品，其中执行所述后续图像处理包括检测对一组肿瘤细胞的描绘，并且其中所述结果表征所述一组肿瘤细胞的存在、数量和/或大小。

36.根据权利要求27所述的计算机程序产品，其中所述多重免疫荧光图像包括针对所述样本切片的基于酪胺的染色。

37.根据权利要求27所述的计算机程序产品，其中使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

组合所述通道图像以生成合成图像；并且

使用所述机器学习模型处理所述合成图像。

38.根据权利要求27所述的计算机程序产品，其中所述机器学习模型是第一机器学习模型，并且使用所述机器学习模型处理所述多重免疫荧光图像包括：

接收所述多重免疫荧光图像的通道图像；

使用所述第一机器学习模型处理所述通道图像中的第一通道图像；并且

使用附加的对应机器学习模型处理所述通道图像的附加通道图像。

39.根据权利要求27所述的计算机程序产品，其中使用所述机器学习模型处理所述多重免疫荧光图像进一步包括：

基于所述预测来调整所述多重免疫荧光图像以生成经调整图像；并且

输出所述经调整图像以用于后续图像处理。