CN116868229A

CN116868229A - 用于数字化病理学样本中的生物标志物检测的系统和方法

Info

Publication number: CN116868229A
Application number: CN202280015048.2A
Authority: CN
Inventors: C·默梅尔; P-H·陈; D·F·斯坦纳; R·杰罗恩斯里; P·甘布勒; F·谭
Original assignee: Verily Life Sciences LLC
Current assignee: Verily Life Sciences LLC
Priority date: 2021-02-16
Filing date: 2022-02-11
Publication date: 2023-10-10
Also published as: JP2024507687A; WO2022178497A1; US20240127444A1; EP4295307A1

Abstract

用于数字化病理学样本中的生物标志物检测的一个示例方法包括：接收对应于具有组织的苏木精‑伊红染色(“H&E”)的染色样本的病理学切片的图像的多个图像贴片，每个图像贴片表示图像的不同部分；对于每个图像贴片，使用第一训练的机器学习(“ML”)模型确定贴片生物标志物状态；以及使用第二训练的ML模型，基于图像贴片的贴片生物标志物状态来确定组织的样本的组织样本生物标志物状态。

Description

用于数字化病理学样本中的生物标志物检测的系统和方法

技术领域

本申请总体上涉及组织样本中的生物标志物检测，并且更具体地涉及用于数字化病理学样本中的生物标志物检测的系统和方法。

背景技术

解释组织样本以确定癌症的存在需要识别可能指示癌症的特征的大量训练和经验。通常，病理学家将接收包含组织切片的载玻片并检查组织以识别载玻片上的特征并确定这些特征是否可能指示癌症(例如肿瘤)的存在。此外，病理学家还可以识别特征，例如生物标志物，其可以用于诊断癌性肿瘤，可以预测一种或多种类型的癌症的风险，或者可以指示可以对肿瘤有效的治疗类型。

发明内容

描述了用于数字化病理学样本中的生物标志物检测的系统和方法的各种实例。用于数字化病理学样本中的生物标志物检测的一个示例方法包括接收对应于具有组织的苏木精-伊红染色(“H&E”)染色样本的病理学切片的图像的多个图像贴片，每个图像贴片表示图像的不同部分；对于每个图像贴片，使用第一训练的机器学习(“ML”)模型确定贴片生物标志物状态；以及使用第二训练的ML模型，基于图像贴片的贴片生物标志物状态来确定组织的样本的组织样本生物标志物状态。

一个示例系统包括非暂时性计算机可读介质；以及通信地耦合到非暂时性计算机可读介质的一个或多个处理器，所述一个或多个处理器被配置成执行存储在非暂时性计算机可读介质中的处理器可执行指令，所述处理器可执行指令被配置成使所述一个或多个处理器：接收对应于具有乳房组织的苏木精-伊红染色(“H&E”)染色样本的病理学切片的图像的多个图像贴片，每个图像贴片表示图像的不同部分；对于每个图像贴片，使用第一训练的机器学习(“ML”)模型确定贴片生物标志物状态；以及使用第二训练的ML模型，基于图像贴片的贴片生物标志物状态来确定乳房组织的样本的组织样本生物标志物状态。

一种示例非暂时性计算机可读介质，其包括处理器可执行指令，所述处理器可执行指令被配置成使处理器：接收与具有组织的苏木精-伊红染色(“H&E”)染色样本的病理学切片的图像相对应的多个图像贴片，每个图像贴片表示图像的不同部分；对于每个图像贴片，使用第一训练的机器学习(“ML”)模型确定贴片生物标志物状态；以及使用第二训练的ML模型，基于图像贴片的贴片生物标志物状态来确定组织的样本的组织样本生物标志物状态。

提及这些说明性示例不是为了限制或限定本公开的范围，而是提供示例以帮助理解本公开。在提供进一步描述的具体实施方式中讨论了说明性示例。通过检查本说明书可以进一步理解由各种示例提供的优点。

附图说明

并入本说明书中并构成本说明书的一部分的附图示出了一个或多个特定示例，并且与示例的描述一起用于解释特定示例的原理和实施方式。

图1示出了载玻片的图像的示例，包括适用于与根据本公开的用于数字化病理学样本中的生物标志物检测的系统和方法一起使用的染色组织样本；

图2示出了用于数字化病理学样本中的生物标志物检测的示例系统；

图3示出了用于从适于与用于数字化病理学样本中的生物标志物检测的系统和方法一起使用的贴片生物标志物状态生成一组直方图的示例数据流；

图4示出了用于数字化病理学样本中的生物标志物检测的示例系统；

图5示出了用于数字化病理学样本中的生物标志物检测的示例系统；

图6示出了用于数字化病理学样本中的生物标志物检测的示例方法；以及

图7示出了适用于与用于数字化病理学样本中的生物标志物检测的各种系统和方法一起使用的示例计算设备。

具体实施方式

本文在用于数字化病理学样本中的生物标志物检测的系统和方法的背景下描述了实例。本领域普通技术人员将认识到，以下描述仅是说明性的，并不旨在以任何方式进行限制。现在将详细参考如附图中所示的示例的实施方式。在整个附图和以下描述中将使用相同的附图标记来指代相同或相似的项目。

为了清楚起见，未示出和描述本文描述的示例的所有常规特征。当然，应当理解，在任何这种实际实施方式的开发中，必须做出许多实施方式特定的决定，以便实现开发者的特定目标，例如符合应用和商业相关的限制，并且这些特定目标将因实施方式和开发者而异。

病理样本中生物标志物的检测可能是困难的，并且经受审阅样本的病理学家的解释。例如，检测过程可以涉及免疫组织化学(“IHC”)染色样本，然后病理学家在样本的放大图像中观察样本，无论是直接在显微镜下还是通过捕获的样本图像。从IHC染色的样本中，病理学家可以识别样本中指示特定生物标志物的存在(或不存在)的特征。然而，IHC染色可能比其他类型的染色(例如苏木精和伊红(“H&E”)染色)昂贵得多。此外，IHC染色可能不是在所有地点都容易获得的。为了解决这个问题，本公开提供了能够使用其他种类的染色(诸如H&E染色)来检测某些生物标志物的系统和方法，所述染色通常可能不用于识别某些生物标志物。更一般地，本公开提供了训练和使用ML模型以使用可以在特定场所中容易获得或成本有效的染色来识别生物标志物的方式，而不是用于检测一种或多种特定生物标志物的优选染色。

用于检测生物标志物(例如，取自人乳房的染色组织样本中的生物标志物)的示例系统涉及使用训练的机器学习(“ML”)模型来分析染色样本的数字化图像。为了数字化样本，可以将组织的薄片染色并定位在载玻片上，在载玻片上通常使用光学放大对其成像。然后将染色组织的图像分割成多个图像贴片。这些图像贴片中的每一个被输入到一个ML模型中，该ML模型分析图像贴片以确定是否存在特定生物标志物。例如，ML模型可以确定图像贴片中雌激素受体(“ER”)阳性或阴性的可能性。类似地，可以使用另一ML模型来确定图像贴片中其他生物标志物的存在，例如孕酮受体(“PR”)阳性或阴性或人表皮生长因子受体2(“HER2”)阳性或阴性。

为了训练模型，可以向病理学家呈现IHC染色的组织样本和用H&E染色剂染色的相同组织样本的图像。然后，病理学家可以在H&E染色的组织的图像上指示与位于IHC染色的组织上的一种或多种感兴趣的生物标志物相对应的任何位置。因此，H&E染色的样本中的区域可以被识别为对应于一种或多种生物标志物。然后可以将H&E染色的样本分割成贴片，并且可以基于贴片是否落在所识别的区域中的一个内来为每个贴片分配标记。然后可以将标记的贴片馈送到合适的ML模型中以对其进行训练。在该示例系统中，已经训练了三种不同的ML模型：一种训练为检测ER阳性/阴性，一种训练为检测PR阳性/阴性，并且一种训练为检测HER2阳性/阴性。因此，可以将图像贴片中的每一个呈现给三个模型中的每一个，然后输出指示对应的生物标志物是否可能存在的信息。例如，经训练以检测ER阳性/阴性的模型可以输出三个值：贴片指示ER阳性的概率、贴片指示ER阴性的概率、以及贴片既不指示ER阳性也不指示ER阴性的概率。其他模型输出关于它们各自的生物标志物的相同种类的信息。

一旦已经分析了各种贴片，则可以将来自ML模型中的一个ML模型的信息馈送到另外的ML模型中以将组织样本作为整体进行分析。基于由第一ML模型相对于ER阳性/阴性分析的关于各种贴片的信息，第二ML模型然后可以确定组织样本是ER阳性还是ER阴性。类似地，可以将来自其他两个ML模型(即，上面讨论的PR和HER2模型)的输出馈送到随后的ML模型中，以确定组织样本是PR阳性/阴性还是HER2阳性/阴性。使用这三个ML模型的输出，病理学家或其他医疗人员可以确定可以用于相应患者的潜在治疗。

这些第二阶段模型的训练可以以与上述类似的方式完成。除了识别生物标志物阳性或阴性的区域之外，病理学家还可以将组织样本作为整体来识别生物标志物阳性还是阴性。然后可以标记从各种贴片确定的信息并将其提供给ML模型。通过用多个不同的组织样本重复该过程，可以训练ML模型以基于图像贴片的生物标志物分析来识别载玻片是指示生物标志物阳性还是阴性。

这种技术可以使得能够使用更便宜、更容易获得的染色剂来识别癌组织中的生物标志物。虽然上述示例使用IHC和H&E作为示例染色剂，但是可以使用其他染色剂，这取决于所涉及的组织的类型、待识别的生物标志物的类型以及可能可用的染色剂的类型。根据本公开的实例还可以使得能够以很少的病理学家之间的差异、并且使用原本不用于识别生物标志物的染色技术来识别癌组织中的生物标志物。虽然病理学家可以最终查看系统的输出以确认其确定，或者病理学家可以查看输出作为对他们自己的分析的检查，但是一旦系统获得医务人员的信心，它可以用于确定某些生物标志物的存在(或不存在)并相应地治疗患者。

给出该说明性示例是为了向读者介绍本文讨论的一般主题，并且本公开不限于该示例。以下部分描述了用于数字化病理学样本中的生物标志物检测的系统和方法的各种附加的非限制性实例和实例。

现在参考图1，图1示出了包括染色的组织样本的载玻片的图像的示例。在临床环境中，病理学家可以检查具有染色组织样本的载玻片以确定样本中是否存在特定生物标志物。例如，乳腺癌的诊断检查和治疗取决于临床生物标志物，最突出的是ER、PR和HER2。在目前的临床实践中，生物标志物状态通常通过染色组织的组织学检查来确定，如上所述。在显微镜检查IHC染色的载玻片后，专家经常可以确定每个样本的生物标志物状态。然而，IHC染色可能是昂贵的并且不总是容易获得的。因此，期望使用其他种类的染色剂(诸如H&E染色剂)执行这样的分析。图1中所示的载玻片的示例图像已经被H&E染色，并且被进一步处理以供根据本公开的系统和方法使用。

因为H&E染色(以及其他类型的染色)不用于检测乳腺癌组织中的生物标志物，所以已经开发了根据本公开的系统和方法以接受染色的组织样本的图像并使用感兴趣的染色确定是否存在特定生物标志物。在一些情况下，染色可以是非IHC的任何种类，但是在一些示例中，可以训练系统以分析IHC染色的组织。示例系统，例如图2和图3中描绘的那些，采用ML来识别这种组织样本中生物标志物的存在。

为了开始该过程，可以使用任何合适的成像设备以合适的细节或分辨率水平捕获染色的组织样本的图像。以每像素大约2微米的分辨率捕获图1中的示例图像100。然而，应当理解，可以采用任何合适的尺寸或分辨率。

一旦获得了组织样本的图像100，系统就将图像100分割成多个图像贴片120，例如，图像贴片120n。在该示例中，图像100已经被分割成512×512像素贴片(未按比例)，表示大约1平方毫米的贴片；然而，可以使用任何合适尺寸或数量的贴片。

现在参考图2，图2示出了用于数字化病理学样本中的生物标志物检测的系统和方法的示例系统200。图2所示的系统200包括两个阶段210、220。阶段1(210)包括训练的ML模型212，其接受诸如上面关于图1所讨论的图像贴片作为输入并输出图像贴片的生物标志物状态。

该示例中的ML模型已经使用图像贴片和指示生物标志物存在或不存在的相应训练标记进行了训练。为了获得训练图像贴片，获得具有常规IHC染色的乳腺癌组织样本的载玻片的图像。将相同的组织样本洗去IHC染色剂，用所需染色剂(例如H&E染色剂)再染色，并成像。然后向病理学家呈现IHC染色的样本和H&E染色的样本两者的图像，并且基于查看IHC染色的样本，在H&E染色的样本中识别出指示生物标志物阳性或阴性的区域。然后将H&E染色的组织的图像分割成图像贴片，然后基于在所识别的区域之内或之外来标记图像贴片。示例系统200中的第一ML模型使用来自200个病例的576个载玻片的121亿个贴片来训练，并且在来自64个病例的181个载玻片的所有贴片的测试集上进行评估，而第二ML模型使用来自264个病例的2134个载玻片来训练，并且在包含来自1249个病例的总共3274个载玻片的测试集上进行评估。然而，可以采用任何合适的训练集。

根据不同的示例，可以使用任何合适的ML模型。图2中所示的示例系统200使用两个深度卷积神经网络(“CNN”)；然而，其他ML模型，诸如由来自MOUNTAIN VIEW，CALIFORNIA的GOOGLE LLC提供的残差神经网络(“Resnet”)或NASNET，或递归神经网络，例如长短期记忆(“LSTM”)模型或门控递归单元(“GRU”)模型。ML模型212、222还可以是任何其他合适的ML模型，诸如三维CNN(“3DCNN”)、动态时间规整(“DTW”)技术、隐马尔可夫模型(“HMM”)等，或这些技术中的一种或多种的组合，例如，CNN-HMM或MCNN(多尺度卷积神经网络)。此外，一些示例可以采用对抗网络，诸如生成对抗网络(“GAN”)，或者可以结合ML模型采用自动编码器(“AE”)，诸如AEGAN或变分AEGAN(“VAEGAN”)。此外，两个阶段210、220可以采用相同或不同类型的ML模型。

如上所述，ML模型212接受图像贴片202作为输入，并输出每个图像贴片202的对应的生物标志物状态。该示例中的生物标志物状态包括具有三个不同值的元组：指示生物标志物阳性的概率、指示生物标志物阴性的概率、以及指示贴片显示非浸润性癌(在图中被标识为“其他”)的概率。这些概率总和为100％或1(在0-1标度上)，尽管有任何舍入或浮点不精确性。因此，ML模型输出用于从图像分割的每个贴片的元组。这些元组可以被可视觉化为三个不同“热图”的分量，每个热图表示不同值中的一个：生物标志物阳性、生物标志物阴性和“其他”中的一个。这种热图205的示例在图2中示出，并且表示对应于所有图像贴片204a-n的三个元组值中的一个的值。热图205在此指示生物标志物阴性，其中生物标志物阴性的低概率由蓝色(或黑色，灰度)区域表示，并且生物标志物阴性的高概率由红色(或灰色，灰度)表示。未描绘其它两个热图，但以类似方式提供那些值的可视觉化。

阶段2(220)接受阶段1(210)的输出并确定生物标志物阳性和阴性的图像水平(或“载玻片级”)概率。该示例中的阶段2中的ML模型222的训练基于已经由病理学家检查和标记的IHC染色的载玻片来执行，通常如上所述，然后从组织中洗涤染色剂，并使用期望的染色剂(例如，H&E染色剂)重新染色。然后可以将阶段1(210)的结果连同对应的标记一起呈现给ML模型222。一旦合适数量的训练载玻片已经应用于ML模型222，或者一旦输出的准确度满足预定阈值，ML模型222可以用作阶段2(220)的一部分。应当理解，可以使用任何合适的染色技术来执行训练ML模型。在该实施例中使用IHC和H&E染色剂是说明性的。

在该示例系统200中，阶段2(220)中的ML模型222不使用来自阶段1(210)的热图205，而是将贴片生物标志物状态204桶化成(bucketized)直方图，其作为输入提供给阶段2(220)ML模型222。

现在参考图3，图3示出了用于从贴片生物标志物状态生成一组直方图的示例数据流。如上所述，阶段1(210)输出每贴片生物标志物状态的热图，其中每个贴片由三元组值表示：(生物标志物阳性、生物标志物阴性、其他)。为了生成热图312、314，将每个贴片的生物标志物状态(无论是阳性还是阴性)与阈值t进行比较。如果贴片生物标志物状态满足或超过t，则为其分配值1，否则为其分配值0。使用相等尺寸的概率范围(例如，具有5％、10％的宽度或任何合适的宽度)创建用于生物标志物阳性和生物标志物阴性直方图的桶。然后分别基于生物标志物阳性或阴性的相应概率将每个贴片分配给每个直方图中的桶(bucket)。

如上所述，每个贴片对相应桶的贡献基于贴片的概率是否满足或超过t。在该示例中，t＝0.42。因此，如果贴片1具有贴片生物标志物状态(0.57，0.22，0.21)，则基于t为其分配值(1，0，0)。然后将其二进制值添加到对应于贴片生物标志物状态概率的直方图桶。在该示例中，直方图采用具有10％宽度的桶。因此，贴片1对生物标志物阳性直方图312中的桶0.5-0.59贡献1，并且对生物标志物阴性桶中的桶0.2-0.29贡献0。每个贴片被类似地贴片并且贡献于两个直方图312、314。在该示例中，使用阈值t的副作用是范围0-0.09、0.1-0.19、0.2-0.29和0.3-0.39的直方图全部为零。

应当理解，上面讨论的数据流仅是一个示例。可以使用任何合适的方法来为阶段2(220)ML模型生成合适的直方图。例如，虽然在该示例中使用了阈值t，但是一些示例可以不采用这样的阈值。此外，虽然相同的阈值用于生物标志物阳性和阴性两者，但是应当理解，在一些示例中可以使用不同的阈值。类似地，桶宽度可以是任何合适的尺寸，并且在一些示例中，可以不是相等的宽度。

再次参考图2，在该示例中，贴片生物标志物状态204a-n被桶化以生成直方图，其可以提供贴片生物标志物状态的更紧凑的表示。然而，应当理解，可以采用贴片生物标志物状态的任何合适的表示。例如，在一些示例中，可以将全分辨率热图提供给阶段2(220)ML模型222。替代地，根据一些示例，可以使用参数化ML模型输出的其他方法。

在如图3中的直方图312、314所表示的贴片生物标志物状态204a-n已经被输入到ML模型222中之后，ML模型222生成生物标志物阳性和生物标志物阴性的概率206a-b。然后可以使用这两个概率来确定组织样本是生物标志物阳性、生物标志物阴性还是其他。例如，系统200可以比较两个概率206a-b并选择较高概率作为指示组织样本的生物标志物状态。在一些示例中，系统200可以将两个概率与阈值进行比较，并且如果概率206a-b中的一个满足或超过阈值，则取决于哪个生物标志物满足阈值，系统200可以将组织样本识别为生物标志物阳性或阴性。备选地，如果没有生物标志物概率满足阈值，则系统200可以输出没有检测到生物标志物。

现在参考图4，图4示出了用于数字化病理学样本中的生物标志物检测的示例系统400。示例系统400包括计算设备410，其可以访问数据存储412并且经由网络430连接到服务器420及其数据存储422。在该示例中，计算设备410从数据存储412访问数字化病理学样本并将它们提供给服务器420以用于分析，诸如使用上面关于图2描述的系统200或下面关于图5描述的系统500。在完成分析之后，服务器420将结果返回到计算设备410或将其存储在数据存储422中以供稍后检索，例如由医务人员检索。

在该示例中，服务器420由医疗提供者(例如，医院或实验室)维护，而计算设备410驻留在医疗办公室(例如，病理学家办公室)。因此，这样的系统400可以使远程位置处的医疗提供者能够获得组织样本并用可用且成本有效的染色剂对组织样本进行染色，并将这些样本提供给可以提供样本分析的远程服务器420。然而，应当理解，根据本公开的示例系统可以仅包括计算设备410，其可以执行分析本身而不与远程计算设备通信。

为了实现根据该示例系统400的系统，可以采用任何合适的计算设备来计算设备410或服务器420。此外，虽然计算设备410在该示例中从数据存储412访问数字化的病理样本，但是在一些示例中，计算设备410可以与捕获病理样本的图像的成像设备通信。这样的配置可以使得计算设备能够捕获病理样本的图像并使用合适的ML模型立即处理它，或者将它提供给远程计算设备(例如，服务器420)以用于分析。

现在参考图5，图5示出了用于数字化病理学样本中的生物标志物检测的示例系统500。在该示例中，系统500包括两个阶段510、520，类似于图2所示的示例系统200。然而，在该示例中，每个阶段510、520包括三个ML模型512-516、522-526。每个阶段1模型512-516已经被训练以识别不同的生物标志物：模型512已经被训练以确定ER阳性或阴性，模型514已经被训练以确定PR阳性或阴性，并且模型516已经被训练以确定HER2阳性或阴性。此外，每个在阶段2(520)中具有相应的模型522-526，其已经被训练以确定完整组织样本的生物标志物状态：ML模型522已经被训练以检测载玻片级ER阳性或阴性；ML模型524已经被训练以检测载玻片级PR阳性或阴性，并且ML模型526已经被训练以检测载玻片级HER2阳性或阴性。

在所示的示例中，染色的组织样本(例如，H&E染色的组织样本)的图像被分割成多个图像贴片502a-n，并且每个图像贴片的副本被提供给阶段1中的每个ML模型512-516(510)。ML模型512-516针对相应的生物标志物阳性、生物标志物阴性或其他来评估每个贴片502a-n，并且输出对应的贴片生物标志物状态：ER状态544a-n、PR状态554a-n和HER2状态564a-n。如上面关于图2所讨论的，生物标志物状态可以被可视觉化为热图。在该示例系统500中，处理生物标志物状态以生成对应的直方图，ER阳性/阴性、PR阳性/阴性和HER2阳性/阴性各两个。然而，如上所述，任何合适的输入格式可以用于阶段2ML模型522-526。

在阶段2(520)中，将生成的直方图输入到对应的ML模型522-526中。ML模型522-526确定载玻片级(slide-level)生物标志物阳性或阴性，其作为组织样本生物标志物状态546-566输出。在该示例中，ML模型522-526输出各自输出两个概率：一个指示生物标志物阳性，另一个指示生物标志物阴性。一些示例还基于由相应ML模型522-526输出的概率来确定载玻片级生物标志物状态。例如，系统500可以通过选择生物标志物阳性或生物标志物阴性的概率中的较大概率来确定载玻片级生物标志物状态。在一些示例中，系统500可以通过确定载玻片级生物标志物状态概率中的一个是否超过阈值来确定载玻片级生物标志物状态。此外，在一些示例中，如果两个载玻片级生物标志物状态都不满足阈值概率或者如果两者都满足阈值概率，则系统500可以确定不存在生物标志物，或者生物标志物状态是不确定的。

图5中所示的示例系统500采用并行运行的三种不同的生物标志物分析，以评估单个染色的乳腺癌组织样本的三种不同的生物标志物(ER、PR和HER2)。因此，系统500能够向临床医生输出每个生物标志物状态的指示符，然后临床医生可以确定患者的治疗过程。可替代地，病理学家可以使用系统500来双重检查他们自己的分析或者在对来自同一患者的IHC染色的组织样本进行分析之前提供组织样本的初始评估。然而，在IHC染色可能供应有限、不可用或成本太高的情况下，系统500可能能够使用更常规可用且通常更便宜的H&E染色来提供生物标志物状态。

现在参考图6，图6示出了用于数字化病理学样本中的生物标志物检测的示例方法600。将关于图5中所示的系统500描述该示例方法；然而，可以采用任何合适的系统，诸如图2中所示的系统200。

在框610处，系统500接收具有组织样本的载玻片的图像。在该示例中，系统500接收具有H&E染色的乳腺癌组织样本的载玻片的图像，但是在一些示例中，可以采用任何合适的染色剂。此外，应当理解，虽然在该实例中使用乳腺癌组织，但是在一些实例中可以使用任何合适的组织样本。

在该示例中，系统500从存储器设备接收组织样本的图像，该存储器设备具有存储在其中的图像的副本。然而，在一些示例中，系统500可以从成像设备或从远程计算设备(诸如医疗提供者处的计算设备)接收图像。在一个这样的示例中，系统500可以由远离医疗提供者的服务器执行，诸如在云环境中，例如，如图4所示。在完成方法600时，系统500可以诸如通过通信网络(例如，局域网(LAN)、广域网(WAN)、互联网等)向医疗提供者提供结果。

在框620处，系统500接收对应于图像的多个图像贴片，其中每个图像贴片表示图像的不同部分。在该示例中，整个图像已经被分割成图像贴片502a-n，但是在一些示例中，图像的部分可以不被分割。例如，缺少阈值水平的染色的图像的部分(例如，具有指示不存在染色至存在很少染色的颜色的像素)可以不被分割，或者可以排除被识别为落在组织样本的边界之外的像素。在该示例中，图像具有每像素大约2微米的分辨率，其中图像贴片具有大约512×512像素的尺寸，但是可以采用任何合适的分辨率或任何合适的图像尺寸或图像贴片尺寸。

在框630处，系统500使用第一训练的ML模型512为每个图像贴片确定贴片生物标志物状态。如上面关于图5所讨论的，ML模型512已经被训练以检测图像贴片的ER阳性或阴性(或非浸润性癌)。因此，在该示例中，ML模型为每个图像贴片输出三个值：ER阳性概率、ER阴性概率和非浸润性癌概率。然而，应当理解，在一些示例中，ML模型512可以仅输出两个值：生物标志物阳性的概率和生物标志物阴性的概率。此外，一些示例可以仅输出指示哪个指示符具有更高概率的单个值：生物标志物阳性或阴性，或者在一些情况下，如果两个概率都不满足预定阈值，则输出指示符。

在该示例方法600中，针对图像贴片仅分析单个生物标志物；然而，应当理解，可以通过使用多个训练的ML模型(诸如ML模型512-516)来确定每个贴片的多个不同的生物标志物。这些可以并行或串联(或组合)运行。此外，在一些示例中，可以训练单个ML模型以识别多种不同生物标志物的生物标志物阳性/阴性。在使用这样的ML模型的系统中，可以使用更少的ML模型，尽管可以根据针对特定组织样本待检测的生物标志物使用任何组合或数量的ML模型。

在框640处，系统500生成对第二训练的ML模型522的输入。在该示例中，系统500使用由第一ML模型512输出的贴片生物标志物状态来生成直方图，通常如上面关于对于图3讨论的示例所描述的。然而，在一些示例中，系统500可以将来自第一ML模型522的输出提供给第二训练的ML模型522的输入，而不单独生成对第二训练的ML模型522的输入，或者通过使用不同的参数化技术。

在框650处，系统500使用第二训练的ML模型522基于图像贴片的贴片生物标志物状态来确定乳房组织的样本的组织样本生物标志物状态。如上面关于图2和图5所讨论的，第二训练的ML模型522已经被训练以确定载玻片级生物标志物状态并输出两个值，每个值指示生物标志物阳性和生物标志物阴性的概率。在一些示例中，系统500还可以基于生物标志物阳性和阴性的概率来确定单个载玻片级生物标志物状态。例如，系统500可以比较两个概率并将较大概率识别为指示组织样本的生物标志物状态。在一些示例中，系统500可以将两个概率与阈值进行比较，并且如果概率之一满足阈值，则将生物标志物状态确定为对应于该生物标志物。此外，如果两个概率都不满足阈值，则系统500可以确定生物标志物状态不是浸润性癌，或者如果两者都满足阈值，则可以确定生物标志物状态是不确定的。

应当理解，上述方法600可以针对组织样本的单个图像运行多次。例如，图5中所示的系统500可以执行方法600三次，对应于图5中的ML模型512/522、514/524、516/526的三个不同集合，每个集合用于要评估的每个生物标志物。此外，方法600的这些不同执行可以根据不同的示例并行或串行地执行。

现在参考图7，图7示出了根据本公开的适用于在用于数字化病理学样本中的生物标志物检测的示例系统或方法中使用的示例计算设备700。示例计算设备700包括处理器710，处理器710使用一个或多个通信总线702与存储器720和计算设备700的其他组件通信。处理器710被配置为执行存储在存储器720中的处理器可执行指令，以执行根据不同示例的用于数字化病理样本中的生物标志物检测的一种或多种方法，诸如上面关于图6描述的示例方法600的部分或全部。在该示例中，存储器720包括生物标志物检测系统760，诸如图2或图5中所示的示例系统。另外，计算设备700还包括一个或多个用户输入设备750，诸如键盘、鼠标、触摸屏、麦克风等，以接受用户输入；然而，在一些示例中，计算设备700可能缺少这样的用户输入设备，诸如远程服务器或云服务器。计算设备700还包括用于向用户提供视觉输出的显示器740。

计算设备700还包括通信接口740。在一些示例中，通信接口730可以实现使用一个或多个网络的通信，包括局域网(“LAN”)；广域网(“WAN”)，诸如因特网；城域网(“MAN”)；点对点或对等连接，等。可以使用任何合适的联网协议来完成与其他设备的通信。例如，一种合适的联网协议可以包括互联网协议(“IP”)、传输控制协议(“tCP”)、用户数据报协议(“UDP”)或其组合，诸如tCP/IP或UDP/IP。

虽然根据在各种机器上执行的软件描述了本文的方法和系统的一些示例，但是方法和系统还可以被实现为专门配置的硬件，诸如专门用于执行根据本公开的各种方法的现场可编程门阵列(FPGA)。例如，示例可以在数字电子电路中实现，或者在计算机硬件、固件、软件或其组合中实现。在一个示例中，设备可以包括一个或多个处理器。处理器包括计算机可读介质，诸如耦合到处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可执行程序指令，诸如执行一个或多个计算机程序。这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGAs)和状态机。这样的处理器还可以包括可编程电子设备，诸如PLC、可编程中断控制器、可编程逻辑设备、可编程只读存储器、电子可编程只读存储器(EPROM或EEPROM)或其他类似设备。

这样的处理器可以包括介质或可以与介质通信，例如一个或多个非暂时性计算机可读介质，其可以存储处理器可执行指令，当由处理器执行时，处理器可执行指令可以使处理器执行由处理器执行或辅助的根据本公开的方法。非暂时性计算机可读媒体的实例可包含(但不限于)能够向处理器(例如网络服务器中的处理器)提供处理器可执行指令的电子、光学、磁性或其它存储设备。非暂时性计算机可读介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以读取的任何其他介质。所描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可以包括用于执行根据本公开的方法(或方法的部分)的代码。

已经仅出于说明和描述的目的呈现了一些示例的前述描述，并且不旨在穷举或将本公开限制于所公开的精确形式。在不脱离本公开的精神和范围的情况下，其许多修改和调整对于本领域技术人员而言将是显而易见的。

本文中对实例或实施方案的参考意味着结合所述实例描述的特定特征、结构、操作或其它特性可包含于本发明的至少一个实施方案中。本公开不限于如此描述的特定示例或实施方式。短语“在一个示例中”、“在示例中”、“在一个实现方式中”或“在实现方式中”或其变型在说明书中的各个地方的出现不一定指代相同的示例或实现方式。本说明书中关于一个示例或实施方式描述的任何特定特征、结构、操作或其他特性可以与关于任何其他示例或实施方式描述的其他特征、结构、操作或其他特性组合。

本文中使用的词语“或”旨在涵盖包含性和排他性的OR条件。换句话说，A或B或C包括适合于特定用途的以下替代组合中的任一个或全部：单独A；单独的B；单独的C；仅A和B；仅A和C；仅B和C；以及A和B和C。

Claims

1.一种方法，包括：

接收与具有组织的苏木精-伊红染色(“H&E”)染色样本的病理学切片的图像相对应的多个图像贴片，每个图像贴片表示所述图像的不同部分；

对于每个图像贴片，使用第一训练的机器学习(“ML”)模型确定贴片生物标志物状态；以及

使用第二训练的ML模型，基于图像贴片的贴片生物标志物状态来确定组织的样本的组织样本生物标志物状态。

2.根据权利要求1所述的方法，其中：

所述贴片生物标志物状态包括雌激素受体(“ER”)阳性、ER阴性、孕酮受体(“PR”)阳性、PR阴性、人表皮生长因子受体2(“HER2”)阳性、HER2阴性或非浸润性癌中的一种或多种，并且

组织样本生物标志物状态包括ER阳性、ER阴性、PR阳性、PR阴性、HER2阳性、HER2阴性或非浸润性癌中的一种或多种。

3.根据权利要求1或2所述的方法，其中，所述贴片生物标志物状态是第一贴片生物标志物状态，并且所述组织样本生物标志物状态是第一组织样本生物标志物状态，并且所述方法还包括：

对于每个图像贴片，使用第三训练的ML模型确定第二贴片生物标志物状态；

使用第四训练的ML模型，基于图像贴片的第二贴片生物标志物状态来确定组织的样本的第二组织样本生物标志物状态；

对于每个图像贴片，使用第五训练的ML模型确定第三贴片生物标志物状态；以及

使用第六训练的ML模型，基于图像贴片的第三贴片生物标志物状态来确定组织的样本的第三组织样本生物标志物状态。

4.根据权利要求3所述的方法，其中：

所述第一贴片生物标志物状态包括雌激素受体(“ER”)阳性、ER阴性或非浸润性癌中的一种，

所述第一组织样本生物标志物状态包括ER阳性状态、ER阴性状态和非浸润性癌状态，

所述第二贴片生物标志物状态包括孕酮受体(“PR”)阳性状态、PR阴性状态和非浸润性癌状态，

所述第二组织样本生物标志物状态包括PR阳性状态、PR阴性状态或非浸润性癌状态中的一种或多种，

所述第三贴片生物标志物状态包括人表皮生长因子受体2(“HER2”)阳性状态、HER2阴性状态和非浸润性癌状态，

所述第三组织样本生物标志物状态包括HER2阳性状态、HER2阴性状态或非浸润性癌状态中的一种或多种。

5.根据权利要求1至4中任一项所述的方法，还包括基于图像贴片的贴片生物标志物状态生成一个或多个直方图，并且其中，使用第二训练的ML模型确定组织的样本的组织样本生物标志物状态是基于一个或多个直方图的。

6.根据权利要求1至5中任一项所述的方法，其中，每个贴片生物标志物状态包括对应于生物标志物的0％和100％之间的、包括0％和100％的概率。

7.根据权利要求1至6中任一项所述的方法，其中，所述组织的样本的组织样本生物标志物状态包括对应于生物标志物的0％和100％之间的、包括0％和100％的概率。

8.根据权利要求1至7中任一项所述的方法，还包括：

针对每个贴片生物标志物状态，将相应的贴片生物标志物状态与阈值t进行比较；

响应于确定生物标志物阳性的相应贴片生物标志物状态大于或等于t，将贴片生物标志物状态确定为包括生物标志物阳性；

响应于确定生物标志物阴性的相应贴片生物标志物状态大于或等于t，将贴片生物标志物状态确定为包括生物标志物阴性；以及

响应于确定生物标志物阳性的相应的贴片生物标志物状态小于t并且生物标志物阴性的相应的贴片生物标志物状态小于t，将贴片生物标志物状态确定为不包括浸润性癌。

9.一种系统，包括：

非暂时性计算机可读介质；以及

通信地耦合到所述非暂时性计算机可读介质的一个或多个处理器，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的处理器可执行指令，所述处理器可执行指令被配置为使得所述一个或多个处理器：

10.根据权利要求9所述的系统，其中：

所述贴片生物标志物状态包括雌激素受体(“ER”)阳性、ER阴性、孕酮受体(“PR”)阳性、PR阴性、人表皮生长因子受体2(“HER2”)阳性、HER2阴性或非浸润性癌中的一种，并且

组织样本生物标志物状态包括ER阳性、ER阴性、PR阳性、PR阴性、HER2阳性、HER2阴性或非浸润性癌中的一种。

11.根据权利要求9或10所述的系统，其中，所述贴片生物标志物状态是第一贴片生物标志物状态，并且所述组织样本生物标志物状态是第一组织样本生物标志物状态，并且其中，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的另外的处理器可执行指令，所述另外的处理器可执行指令被配置为使所述一个或多个处理器：

对于每个图像贴片，使用第三训练的ML模型来确定第二贴片生物标志物状态；

对于每个图像贴片，使用第五训练的ML模型来确定第三贴片生物标志物状态；以及

12.根据权利要求11所述的系统，其中：

所述第一组织样本生物标志物状态包括ER阳性、ER阴性或非浸润性癌中的一种，

所述第二贴片生物标志物状态包括孕酮受体(“PR”)阳性、PR阴性或非浸润性癌中的一种，

所述第二组织样本生物标志物状态包括PR阳性、PR阴性或非浸润性癌中的一种，

所述第三贴片生物标志物状态包括人表皮生长因子受体2(“HER2”)阳性、HER2阴性或非浸润性癌中的一种，

所述第三组织样本生物标志物状态包括HER2阳性、HER2阴性或非浸润性癌中的一种。

13.根据权利要求9至12中任一项所述的系统，其中，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的另外的处理器可执行指令，所述另外的处理器可执行指令被配置为使所述一个或多个处理器基于所述图像贴片的贴片生物标志物状态生成直方图，并且使用所述第二训练的ML模型基于所述直方图确定组织的样本的组织样本生物标志物状态。

14.根据权利要求9至13中任一项所述的系统，其中，每个贴片生物标志物状态包括0％和100％之间的、包括0％和100％的概率。

15.根据权利要求9至14中任一项所述的系统，其中，所述组织的样本的组织样本生物标志物状态包括0％和100％之间的、包括0％和100％的概率。

16.根据权利要求9至15中任一项所述的系统，其中，所述一个或多个处理器被配置为执行存储在所述非暂时性计算机可读介质中的另外的处理器可执行指令，所述另外的处理器可执行指令被配置为使所述一个或多个处理器：

响应于生物标志物阳性的相应贴片生物标志物状态大于或等于t的确定，将贴片生物标志物状态确定为包括生物标志物阳性；

响应于生物标志物阴性的相应贴片生物标志物状态大于或等于t的确定，将贴片生物标志物状态确定为包括生物标志物阴性；以及

响应于生物标志物阳性的相应的贴片生物标志物状态小于t并且生物标志物阴性的相应的贴片生物标志物状态小于t的确定，将贴片生物标志物状态确定为不包括浸润性癌。

17.一种包括处理器可执行指令的非暂时性计算机可读介质，所述处理器可执行指令被配置为使处理器：

18.根据权利要求17所述的非暂时性计算机可读介质，其中：

19.根据权利要求17或18所述的非暂时性计算机可读介质，其中，所述贴片生物标志物状态是第一贴片生物标志物状态，并且所述组织样本生物标志物状态是第一组织样本生物标志物状态，并且所述非暂时性计算机可读介质还包括处理器可执行指令，所述处理器可执行指令被配置为使所述处理器：

20.根据权利要求19所述的非暂时性计算机可读介质，其中：

21.根据权利要求17至20中任一项所述的非暂时性计算机可读介质，还包括处理器可执行指令，所述处理器可执行指令被配置为使所述处理器基于所述图像贴片的贴片生物标志物状态生成直方图，并且使用所述第二训练的ML模型基于所述直方图确定组织的样本的组织样本生物标志物状态。

22.根据权利要求17至21中任一项所述的非暂时性计算机可读介质，其中，每个贴片生物标志物状态包括0％和100％之间的、包括0％和100％的概率。

23.根据权利要求17至22中任一项所述的非暂时性计算机可读介质，其中，所述组织的样本的组织样本生物标志物状态包括0％和100％之间的、包括0％和100％的概率。

24.根据权利要求17至23中任一项所述的非暂时性计算机可读介质，还包括处理器可执行指令，所述处理器可执行指令被配置为使所述处理器：

响应于生物标志物阳性的相应的贴片生物标志物状态小于t并且针对生物标志物阴性的相应的贴片生物标志物状态小于t的确定，将贴片生物标志物状态确定为不包括浸润性。