CN114981899A - 用于处理用于生物标志物定位的电子图像的系统和方法 - Google Patents

Abstract

公开了用于接收来自患者的病理学标本的数字图像的系统和方法，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于肿瘤组织中的多个生物标志物的数据和关于肿瘤组织四周的周围侵袭性切缘的数据相关联；为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和所述周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；确定在所述肿瘤组织和所述周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；以及确定对于患者的治疗结果的预测和/或至少一个治疗建议。

Description

用于处理用于生物标志物定位的电子图像的系统和方法

相关申请

本申请要求保护2020年1月28日提交的美国临时申请第62/966, 723号的优先权，该美国临时申请的全部公开内容在此通过引用以其整体并入本文。

技术领域

本公开的各种实施例通常涉及生物标志物的定位和/或推断数字病理载片中的空间关系。更具体地，本公开的特定实施例涉及用于肿瘤和侵袭性切缘检测、定位的生物标志物预测和/或生物标志物和空间关系比较的系统和方法。本公开进一步提供了用于使用人工智能（AI）来空间推断各种基因组特征、分子测试和其他分析的系统和方法。

背景技术

癌症组织的全面基因和分子测试可以允许经由靶向疗法对实体肿瘤进行精确治疗。尽管这些年来基因组测序的成本大幅下降，但这些检测仍然昂贵、缓慢，并且需要大量组织，所述组织在临床研究中非常有限。苏木精和伊红（H&E）染色是可负担的，并且提供了对肿瘤微环境的全面视觉描述。

前面的一般描述和下面的详细描述这两者都仅仅是示例性和解释性的，并且对于本公开不是限制性的。本文提供的背景描述是出于总体呈现本公开的背景的目的。除非本文另有说明，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不通过包含在本节中而被承认为现有技术或现有技术的建议。

发明内容

根据本公开的某些方面，公开了用于使用人工智能（AI）在肿瘤微环境内进行生物标志物定位的系统和方法。

一种用于分析对应于标本的图像的计算机实现的方法，包括：接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于肿瘤组织中的多个生物标志物的数据和关于肿瘤组织四周的周围侵袭性切缘的数据相关联；为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；确定在肿瘤组织和周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；以及基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

根据另一实施例，一种用于分析对应于标本的图像的系统，包括：接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于肿瘤组织中的多个生物标志物的数据和关于肿瘤组织四周的周围侵袭性切缘的数据相关联；为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；在所述一个或多个数字图像上使用机器学习模型，生成对肿瘤组织和周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；确定在肿瘤组织和周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；以及基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

根据另一个实施例，至少一个非暂时性计算机可读介质存储用于执行分析对应于标本的图像的方法的指令，所述至少一个非暂时性计算机可读介质存储所述指令，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作，所述操作包括：接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织， 所述一个或多个数字图像与关于肿瘤组织中的多个生物标志物的数据和关于肿瘤组织四周的周围侵袭性切缘的数据相关联；为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；确定在肿瘤组织和周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；以及基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

应当理解，前面的一般描述和下面的详细描述这两者都仅仅是示例性和解释性的，并且对于所公开的实施例不是限制性的，如要求保护的那样。

附图说明

并入本说明书并构成其一部分的随附附图图示了各种示例性实施例，并且与描述一起用于解释所公开的实施例的原理：

图1A图示了根据本公开的示例性实施例的用于使用机器学习来定位生物标志物和推断空间关系的系统和网络的示例性框图。

图1B图示了根据本文呈现的技术的生物标志物检测平台的示例性框图。

图1C图示了根据本文呈现的技术的载片分析工具的示例性框图。

图2A是图示根据本文呈现的技术的用于使用AI在肿瘤微环境内使用生物标志物定位的示例性方法的流程图。

图2B是图示根据本文呈现的技术的用于使用AI来训练和使用肿瘤和侵袭性切缘检测模块的示例性方法的流程图。

图2C是图示根据本文呈现的技术的用于训练和使用定位的生物标志物预测模块的示例性方法的流程图。

图2D是图示根据本文呈现的技术的用于训练和使用生物标志物比较模块的示例性方法的流程图。

图3是根据本文呈现的技术的被训练来检测肿瘤和周围侵袭性切缘内的免疫标志物的示例性系统。

图4是图示根据本文呈现的技术的用于训练和使用机器学习模型来表征H&E中的免疫标志物的示例性方法的流程图。

图5是图示根据本文呈现的技术的用于训练和使用机器学习模型来定位病理学标本中的基因签名和/或突变的示例性方法的流程图。

图6是图示根据本文呈现的技术的用于训练和使用机器学习模型来定位肿瘤微环境中的生物标志物以用于免疫疗法反应预测的示例性方法的流程图。

图7是图示根据本文呈现的技术的用于训练和使用机器学习模型来预测抗肿瘤抵抗性的示例性方法的流程图。

图8描绘了可以执行本文呈现的技术的示例系统。

具体实施方式

现在将详细参考本公开的示例性实施例，其示例在随附附图中图示。在可能的情况下，将贯穿于附图使用相同的附图标记来指代相同或相似的部分。

本文公开的系统、设备和方法通过示例并参考附图来详细描述。本文讨论的示例仅是示例，并且被提供来帮助解释本文描述的装置、设备、系统和方法。除非特别指定为强制性的，否则附图中所示的或下面讨论的特征或组件都不应该被视为对于这些设备、系统或方法中的任何一个的任何特定实现是强制性的。

此外，对于所描述的任何方法，无论该方法是否结合流程图进行描述，都应该理解，除非上下文另有规定或要求，否则在方法的执行中实施的步骤的任何显式或隐式排序并不暗指那些步骤必须以所呈现的顺序执行，而是替代地可以以不同的顺序或并行方式执行。

如本文所使用的，术语“示例性的”是在“示例”而不是“理想的”的意义上使用的，此外，本文的术语“一”和“一个”并不标示对数量的限制，而是标示存在所引用项目中的一个或多个。

病理学指代对疾病的研究。更具体地说，病理学指代执行用于诊断疾病的测试和分析。例如，组织样本可以放置在载片上，以由病理学家（例如，在分析组织样本以确定是否存在任何异常方面是专家的医师）在显微镜下观察。也就是说，病理学标本可以被切割成多个切片、染色并制备成载片，以供病理学家检查并给予诊断。当不确定载片上的诊断结果时，病理学家可以安排附加的切割水平、染色或其他测试，以从组织中收集更多信息。然后，（一个或多个）技术人员可以创建新的（一个或多个）载片，其可以包含病理学家在做出诊断时使用的附加信息。创建附加的载片的过程可能是耗时的，不仅因为它可能涉及取回组织块、切割它以制作新的载片、并且然后对载片染色，而且因为它可能针对多个订单分批处理。这可能显著延迟病理学家给予的最终诊断。此外，即使在延迟之后，仍然可能无法保证新的（一个或多个）载片将具有足以给予诊断的信息。

病理学家可以单独评价癌症和其他疾病病理学载片。本公开呈现了用于改进癌症和其他疾病的诊断的综合工作流程。该工作流程可以在一个工作站中集成例如载片评价、任务、图像分析和癌症检测人工智能（AI）、注释、咨询和建议。具体而言，本公开描述了工作流程中可用的各种示例性用户接口，以及可以集成到工作流程中以加速和改进病理学家工作的AI工具。

例如，可以使用计算机来分析组织样本的图像，以快速标识是否需要关于特定组织样本的附加信息，和/或向病理学家突出显示他或她应该更仔细观察的区域。因此，获得附加染色载片和测试的过程可以在被病理学家审查之前自动完成。当与自动载片分割和染色机配对时，这可以提供全自动载片制备流水线。这种自动化至少可以具有以下益处：（1）最小化病理学家确定载片不足以进行诊断所浪费的时间量，（2）通过避免在安排附加的测试和产生附加的测试之间的附加时间来最小化从标本采集到诊断的（平均总）时间，（3）通过允许在组织块（例如， 病理学标本）处于切割台中时进行再切割来减少每次再切割的时间量和浪费的材料量，（4）减少在载片制备期间浪费/丢弃的组织材料的量，（5）通过部分或完全自动化该程序来减少载片制备的成本，（6）允许载片的自动定制切割和染色，这将导致来自样本的更具代表性/信息量更大的载片，（7）允许每个组织块生成更多的载片，通过减少请求病理学家进行附加测试的开销来有助于更明智/精确的诊断，和/或（8）标识或验证数字病理学图像的正确属性（例如，关于标本类型），等等。

使用计算机辅助病理学家的过程被称为计算病理学。用于计算病理学的计算方法可以包括但不限于统计分析、自主或机器学习以及AI。AI可以包括但不限于深度学习、神经网络、分类、聚类和回归算法。通过使用计算病理学，可以通过帮助病理学家提高诊断的准确性、可靠性、效率和可及性，从而挽救生命。例如，可以使用计算病理学来帮助检测疑似癌症的载片，从而允许病理学家在给予最终诊断之前检查和确认他们的初始评估。

组织病理学指代对已经放置在载片上的标本的研究。例如，数字病理学图像可以由包含标本（例如，涂片）的显微镜载片的数字化图像组成。病理学家可以用来分析载片上的图像的一种方法是标识细胞核并分类细胞核是正常的（例如良性的）还是异常的（例如恶性的）。为了帮助病理学家标识和分类细胞核，组织学染色可用于使细胞可见。已经开发了许多基于染料的染色系统，包括高碘酸-希夫反应、Masson三色、尼氏和亚甲蓝、以及苏木精和伊红（H&E）。对于医学诊断，H&E是一种广泛使用的基于染料的方法，其中苏木精将细胞核染成蓝色，伊红将细胞质和细胞外基质染成粉红色，并且其他组织区呈现这些颜色的变化。然而，在许多情况下，H&E染色的组织学制备物不能为病理学家提供足够的信息来在视觉上标识可以帮助诊断或指导治疗的生物标志物。在这种情况下，可以使用诸如免疫组织化学（IHC）、免疫荧光、原位杂交（ISH）或荧光原位杂交（FISH）之类的技术。例如，IHC和免疫荧光涉及使用与组织中特定抗原结合的抗体，使得能够对表达感兴趣的特定蛋白质的细胞进行视觉检测，这可以基于对H&E染色载片的分析揭示训练有素的病理学家不能可靠标识的生物标志物。取决于所采用探针的类型（例如，用于基因拷贝数的DNA探针和用于评估RNA表达的RNA探针），可以采用ISH和FISH来评估基因拷贝数或特定RNA分子的丰度。如果这些方法也无法提供足够的信息来检测一些生物标志物，则可以使用组织的基因测试来确认生物标志物是否存在（例如，肿瘤中特定蛋白质或基因产物的过表达，癌症中给定基因的扩增）。

可以准备数字化图像以示出染色的显微镜载片，这可以允许病理学家人工观察载片上的图像并估计图像中染色的异常细胞的数量。然而，该过程可能是耗时的，并且可能导致在标识异常时的错误，因为一些异常难以检测。可以使用计算过程和设备来帮助病理学家检测原本难以检测的异常。例如，AI可以用于从使用H&E和其他基于染料的方法染色的组织的数字图像内的显著区预测生物标志物（诸如蛋白质和/或基因产物的过表达、特定基因的扩增或突变）。组织的图像可以是整个载片图像（WSI）、微阵列内的组织核心的图像或组织切片内感兴趣的所选区域的图像。使用比如H&E的染色方法，在没有附加测试的帮助的情况下，这些生物标志物对于人类而言可能难以在视觉上检测或量化。使用AI从组织的数字图像中推断这些生物标志物有可能改进患者护理，同时也更快并且更便宜。

然后，检测到的生物标志物或图像可以单独用于推荐用来治疗患者的特定癌症药物或药物组合疗法。AI可以通过将检测到的生物标志物与治疗选项的数据库关联来标识哪些药物或药物组合不太可能成功。这可以用于促进针对患者特定癌症的免疫疗法药物的自动推荐。此外，这可以用于使得能实现针对特定患者子集和/或罕见癌症类型的个性化癌症治疗。

如上所述，本公开的计算病理学过程和设备可以提供集成平台，该集成平台允许包括数据获取、处理和经由web浏览器或其他用户接口查看数字病理学图像的全自动过程，同时与实验室信息系统（LIS）集成。此外，可以使用患者数据的基于云的数据分析来聚合临床信息。数据可以来自医院、诊所、实地研究人员等。并且可以通过机器学习、计算机视觉、自然语言处理和/或统计算法进行分析，以在多个地理特异性水平上进行健康模式的实时监控和预报。

上述数字病理学图像可以与关于数字病理学图像的标本或图像的特性的标记和/或标签一起存储，并且这样的标记/标签可能是不正确的或不完整的。因此，本公开涉及用于标识或验证数字病理学图像的正确特性（例如，关于标本类型）的系统和方法。特别地，所公开的系统和方法可以自动预测数字病理学图像的标本或图像特性，而不依赖于所存储的标记/标签。此外，本公开涉及用于快速且正确地标识和/或验证数字病理学图像的标本类型或者与数字病理学图像相关的任何信息而不必访问LIS或类似信息数据库的系统和方法。本公开的一个实施例可以包括一种系统，该系统训练成基于先前的数字病理学图像的数据集来标识数字病理学图像的各种特性。经训练的系统可以提供数字病理学图像中所示的标本的分类。分类可以有助于为与标本相关的患者提供（一个或多个）治疗或诊断预测。

本公开包括标本分类工具的一个或多个实施例。该工具的输入可以包括数字病理学图像和任何相关的附加输入。该工具的输出可以包括关于标本的全局和/或局部信息。标本可以包括活检或手术切除标本。

所公开的（一个或多个）工具的示例性全局输出可以包含关于整个图像的信息，例如，标本类型、标本的切割的整体质量、玻璃病理学载片本身的整体质量和/或组织形态学特性。示例性局部输出可以指示图像的特定区中的信息，例如，特定图像区可以被分类为在载片中具有模糊或裂纹。本公开包括用于开发和使用所公开的（一个或多个）标本分类工具的实施例，如下文进一步详细描述的那样。

本公开使用人工智能（AI）从染色的病理学标本的数字图像中推断空间定位的基因、分子（例如，蛋白质和/或基因产物的过表达、扩增、特定基因的突变）、流式细胞术和免疫标志物（肿瘤浸润性淋巴细胞、巨噬细胞等）。组织的图像可以是全载片图像（WSI）、微阵列内的组织核心的图像或组织切片内的所选感兴趣区域。从组织的数字图像中定位生物标志物可以具有开发更快、更便宜以及更新/更新颖的诊断测试的潜力。更进一步地，肿瘤组织和周围肿瘤组织（侵袭性切缘）中生物标志物的定位可能具有预后价值。例如，肿瘤内和侵袭性切缘中的肿瘤浸润性淋巴细胞（TIL）的数量具有预后价值，并且可以用于确定哪些患者将可能对免疫疗法（如免疫核心）有反应。了解肿瘤内一种或多种生物标志物与肿瘤侵袭性切缘的空间关系可实现更好的治疗和更准确的患者分层策略。

本实施例可以使用AI来从染色的组织切片中空间推断各种基因组、分子测试，从而允许多重分析。在定位生物标志物之后，可以调查这些生物标志物的空间关系。所述空间关系可以预测癌症结果和疗法。更进一步地，涉及将肿瘤标志物定位在肿瘤的周围区域（侵袭性切缘）内的综合方法可以有助于更好地理解肿瘤生物学，并且使得能够开发新的并且新颖的生物标志物。

本实施例可以提供可以用于确定诊断相关性的生物标志物的空间位置的肿瘤区和侵袭性切缘检测。从癌症组织获得的基因或分子测试可以利用肿瘤区和侵袭性切缘检测实施例来将分析局限于相关的区。

图1A图示了根据本公开的示例性实施例的用于使用机器学习来定位生物标志物和推断空间关系的系统和网络的框图。

医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以创建或以其他方式获得一个或多个患者的（一个或多个）细胞学标本、（一个或多个）组织病理学标本、（一个或多个）细胞学标本的（一个或多个）载片、（一个或多个）组织病理学标本的（一个或多个）载片的数字化图像或它们的任意组合的图像。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125还可以获得患者特定信息的任何组合，诸如年龄、病史、癌症治疗史、家族史、过去的活检或细胞学信息等。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以通过电子网络120向服务器系统110传输数字化的载片图像和/或患者特定信息。（一个或多个）服务器系统110可以包括一个或多个存储设备109，用于存储从医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一个接收的图像和数据。服务器系统110还可以包括用于处理存储在存储设备109中的图像和数据的处理设备。服务器系统110可以进一步包括一个或多个机器学习工具或能力。例如，根据一个实施例，处理设备可以包括用于生物标志物定位平台100的机器学习工具。替代地或另外地，本公开（或者本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。

医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125指代由病理学家用于检查载片的图像的系统。在医院环境中，组织类型信息可以存储在LIS 125中。然而，正确的组织分类信息并不总是与图像内容配对。此外，即使使用LIS来访问数字病理学图像的标本类型，由于LIS的许多组件可能是人工输入的事实，该标签也可能是不正确的，从而留下很大的错误容限。根据本公开的示例性实施例，标本类型可以在不需要访问LIS 125的情况下被标识，或者可以被标识以可能校正LIS 125。例如，第三方可能匿名访问LIS中没有存储对应的标本类型标签的图像内容。此外，由于其敏感内容，对LIS内容访问可能受到限制。

图1B图示了生物标志物定位平台100的示例性框图，该生物标志物定位平台100用于使用机器学习来确定与（一个或多个）数字病理学图像有关的标本特性或图像特性信息。

具体地，图1B描绘了根据一个实施例的生物标志物定位平台100的组件。例如，生物标志物定位平台100可以包括载片分析工具101、数据获取工具102、载片摄取工具103、载片扫描仪104、载片管理器105、存储器106和查看应用工具108。

如下所述，根据示例性实施例，载片分析工具101指代用于确定与（一个或多个）数字病理学图像有关的标本特性或图像特性信息、并且使用机器学习来分类标本的过程和系统。

数据获取工具102指代根据示例性实施例的用于促进将数字病理学图像传递到用于分类和处理数字病理学图像的各种工具、模块、组件和设备的过程和系统。

根据示例性实施例，载片摄入工具103指代用于扫描病理学图像并将它们转换成数字形式的过程和系统。可以利用载片扫描仪104扫描载片，并且载片管理器105可以将载片上的图像处理成数字化病理学图像，并将所述数字化图像存储在存储器106中。

根据示例性实施例，查看应用工具108指代用于向用户（例如病理学家）提供与（一个或多个）数字病理学图像有关的标本特性或图像特性信息的过程和系统。可以通过各种输出接口（例如，屏幕、监视器、存储设备和/或web浏览器等）来提供信息。

载片分析工具101及其组件中的每一个可以通过网络120向服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125传输和/或接收数字化的载片图像和/或患者信息。此外，服务器系统110可以包括存储设备，用于存储从载片分析工具101、数据获取工具102、载片摄取工具103、载片扫描仪104、载片管理器105和查看应用工具108中的至少一个接收的图像和数据。服务器系统110还可以包括用于处理存储在存储设备中的图像和数据的处理设备。服务器系统110可以例如由于处理设备而进一步包括一个或多个机器学习工具或能力。替代地或附加地，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型电脑）上执行。

上述设备、工具和模块中的任何一个可以位于可以通过一个或多个计算机、服务器和/或手持移动设备连接到电子网络120的设备上，诸如互联网或云服务提供商。

图1C图示了根据本公开的示例性实施例的载片分析工具101的示例性框图。载片分析工具101可以包括训练图像平台131和/或目标图像平台135。

根据一个实施例，训练图像平台131可以包括训练图像摄取模块132、质量得分确定器模块133和/或治疗标识模块134。

根据一个实施例，训练图像平台131可以创建或接收用于训练机器学习模块以有效地分析和分类数字病理学图像的训练图像。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收训练图像。用于训练的图像可以来自真实的来源（例如，人、动物等）或者可以来自合成源（例如，图形渲染引擎、3D模型等）。数字病理学图像的示例可以包括（a）利用各种染色剂染色的数字化载片，诸如（但不限于）H&E、单独的苏木精、IHC、分子病理学等；和/或（b）来自3D成像设备的数字化组织样本，诸如microCT。

训练图像摄取模块132可以创建或接收包括一个或多个训练图像的数据集，所述一个或多个训练图像对应于人体组织的图像和图形渲染的图像中的任一个或两个。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收训练图像。该数据集可以保持在数字存储设备上。质量得分确定器模块133可以在全局或局部水平上标识训练图像的质量控制（QC）问题（例如，缺陷），所述问题可能极大地影响数字病理学图像的可用性。例如，质量得分确定器模块可以使用关于整个图像的信息，例如标本类型、标本切割的总体质量、玻璃病理学载片本身的总体质量、或者组织形态学特性，并确定图像的总体质量得分。治疗标识模块134可以分析组织的图像，并确定哪些数字病理学图像具有治疗效果（例如，治疗后）以及哪些图像不具有治疗效果（例如，治疗前）。标识数字病理学图像是否具有治疗效果是有用的，因为组织中先前的治疗效果可能影响组织本身的形态。大多数LIS没有明确保持该特性，并且因此可能期望对具有先前治疗效果的标本类型进行分类。

根据一个实施例，目标图像平台135可以包括目标图像输入模块136、标本检测模块137和输出接口138。目标图像平台135可以接收目标图像，并将机器学习模型应用于接收到的目标图像，以确定目标标本的特性。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收目标图像。目标图像摄取模块136可以接收对应于目标标本的目标图像。标本检测模块137可以将机器学习模型应用于目标图像，以确定目标标本的特性。例如，标本检测模块137可以检测目标标本的标本类型。标本检测模块137还可以将机器学习模型应用于目标图像，以确定目标图像的质量得分。此外，标本检测模块137可以将机器学习模型应用于目标标本，以确定目标标本是治疗前还是治疗后。

输出接口138可以用于输出关于目标图像和目标标本的信息（例如，输出到屏幕、监视器、存储设备、web浏览器等）。

图2A是图示根据本公开的示例性实施例的用于使用AI在肿瘤微环境内使用生物标志物定位的示例性方法的流程图。例如，示例性方法20（例如，步骤21-31）可以由载片分析工具101自动地或响应于来自用户的请求来执行。

根据一个实施例，用于定位生物标志物和推断关系的示例性方法20可以包括以下步骤中的一个或多个。在步骤21中，所述方法可以包括接收与病理学标本相关联的一个或多个数字图像，其中所述病理学标本包括关于与所述一个或多个数字图像相关联的肿瘤组织和周围侵袭性切缘中的生物标志物的信息。病理学标本可以包括组织学标本、细胞学标本等。所述一个或多个数字图像可以被接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。为了训练机器学习模型，每个图像可以与关于与每个相应图像相关联的肿瘤和周围侵袭性切缘组织中的生物标志物的信息配对。该信息可以通过由病理学家、病理学家测量等分析的基因测试、流式细胞术、IHC等来标识。机器学习模型可以包括机器学习算法。

在步骤23中，该方法可以包括针对所述一个或多个数字图像中的每一个来标识待分析的肿瘤组织和周围侵袭性切缘区。这可以由人类人工完成，或者使用AI自动完成。

在步骤25中，该方法可以包括使用机器学习模型来生成对生物标志物存在的至少一个推断。该方法还可以包括使用计算机视觉。生物标志物可以存在于（一个或多个）肿瘤组织和周围侵袭性切缘图像区中。来自所述至少一个推断的预测可以被输出到电子存储设备。一个实施例可以涉及生成警报以通知用户所述生物标志物中的一个或多个的存在或不存在。

在步骤27中，该方法可以包括将至少一个生物标志物与在肿瘤和周围侵袭性切缘区中标识的空间关系进行比较。

在步骤29中，该方法可以包括确定对于治疗结果的预测和至少一个治疗建议。

在步骤31中，该方法可以包括，在确定所述预测时向用户生成警报。所述警报可以是视觉弹出、噪声或任何其他合适的警报方法。

图2B是图示根据本公开的示例性实施例的用于使用机器学习来训练和使用肿瘤和侵袭性切缘检测模块的示例性方法的流程图。感兴趣的是肿瘤内生物标志物的患病率，并且肿瘤区可能仅占整个图像的一小部分。随着免疫疗法的新进展，已经证明侵袭性区（例如肿瘤的邻近非肿瘤区）中的细胞活动也可提供关于结果的有价值信息。因此，标识肿瘤及其邻近区这两者中的生物标志物可能至关重要。这些感兴趣的区可以由人类专家使用图像分割、边界框或多边形来指定。替代地，完整的端到端解决方案可以包括使用AI来标识这样的感兴趣区的适当位置。自动肿瘤和侵袭性切缘标识可以使得下游AI系统学习如何从较少注释数据中检测生物标志物，并且做出更准确的预测。

创建肿瘤和侵袭性切缘检测器可以存在两种一般方法：可以精确地标识能够在何处发现生物标志物的强监督方法和可能不提供精确位置的弱监督方法。在训练期间，强监督系统可以接收图像作为输入。对于图像，强监督方法可以进一步接收表达生物标志物的肿瘤和（一个或多个）侵袭性切缘区的位置。这些位置可以利用像素级标记、图块（tile）级标记、基于边界框的标记、基于多边形的标记，或者使用已经标识出肿瘤和侵袭性切缘在何处的对应图像（例如，使用免疫组织化学（IHC））来指定。弱监督系统可以接收图像以及图像中肿瘤和侵袭性区的存在/不存在作为输入。在弱监督系统的输入中可能未指定肿瘤的确切位置和侵袭性切缘位置。然后可以在所述区上以定位的方式运行弱监督系统，以确定肿瘤、侵袭性切缘和非肿瘤区。对于神经网络和端对端学习方法，可以利用证据可视化方法（例如，GradCAM）来对肿瘤、侵袭性切缘和非肿瘤组织区进行定位。

根据一个实施例，用于训练和使用肿瘤和侵袭性切缘检测模块的示例性方法200和210可以包括以下步骤中的一个或多个。在步骤202中，该方法可以包括接收与训练病理学标本和对肿瘤区的存在或不存在的相关联指示相关联的一个或多个训练数字图像。训练病理学标本可以包括组织学标本、细胞学标本等。训练数字图像可以被接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤204中，该方法可以包括将所述一个或多个训练数字图像分成至少一个子区，以确定肿瘤是否存在于所述至少一个子区中。可以用各种方法指定子区，包括创建图像的图块、基于边缘或对比度的分割、经由色差的分割、通过机器学习模型的有监督确定、EdgeBoxes等。

在步骤206中，该方法可以包括训练机器学习模型，该机器学习模型将与病理学标本相关联的一个或多个训练数字图像中的一个取作输入，并且预测肿瘤是否存在。可以使用多种方法来了解哪些图像区示出肿瘤组织以及哪些区示出（一个或多个）侵袭性切缘，包括但不限于：

弱监督：使用多实例学习（MIL），使用数字图像或图像集合的弱标记来训练机器学习模型（例如，多层感知器（MLP）、卷积神经网络（CNN）、图形神经网络、支持向量机（SVM）、随机森林等）。所述标签可以对应于肿瘤区的存在或不存在。

基于边界框或多边形的监督：使用边界框或多边形来训练机器学习模型（例如，R-CNN、快速R-CNN、选择性搜索），所述边界框或多边形指定了示出肿瘤组织或侵袭性切缘的数字图像子区。

像素级标记（例如，语义或实例分割）：使用像素级标记来训练机器学习模型（例如，掩模R-CNN、U-net、全卷积神经网络），其中可以将单独的像素标识为示出肿瘤组织或侵袭性切缘。

使用标识肿瘤组织区的对应但不同的数字图像：突出显示肿瘤区和侵袭性切缘（例如，使用IHC标识的肿瘤/侵袭性切缘）的组织的数字图像可以与输入数字图像配准。例如，可以将H&E图像的数字图像与标识肿瘤和侵袭性切缘组织的IHC图像配准或对准，其中IHC可以用于通过观察图像颜色特性来确定肿瘤像素。

在步骤212中，该方法可以包括接收与目标病理学标本和对肿瘤的存在或不存在的相关联指示相关联的一个或多个数字图像。目标病理学标本可以包括组织学标本、细胞学标本等。所述一个或多个数字图像可以被接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤214中，该方法可以包括将所述一个或多个数字图像分成至少一个子区，以确定肿瘤是否存在于至少一个子区中。可以用各种方法指定所述区，包括创建图像的图块、切缘或对比度、经由色差进行分割、通过机器学习模型的有监督确定、EdgeBoxes等。

在步骤216中，该方法可以包括将机器学习模型应用于所述一个或多个数字图像中的一个，以预测数字图像的哪些区示出肿瘤组织或侵袭性切缘并且可以显示感兴趣的生物标志物。

在步骤218中，该方法可以包括在确定子区包含肿瘤组织或侵袭性切缘时，指示和标出至少一个肿瘤区的位置。可以使用多种方法进行肿瘤组织和侵袭性切缘区的检测，包括但不限于：

对图像子区运行经训练的机器学习模型，以针对每个图像子区生成预测；

使用机器学习可视化工具来创建详细的热图，例如，通过使用类激活图、GradCAM等，并且然后提取相关的区。

图2C是图示根据本公开的示例性实施例的使用机器学习的训练220的示例性方法和使用定位的生物标志物预测模块230的方法的流程图。生物标志物可以包括基因组结果和IHC结果。从H&E载片中标识定位的生物标志物使得能够实现更精确的疗法，同时降低成本、周转时间和观察者间解释器的可变性。对定位的生物标志物的基于AI的推断可以提供关于肿瘤生物学和微环境（例如，各种细胞类型与肿瘤的相互作用）的信息，这可以允许更准确的患者分层策略。对基于定位的H&E的基因型/分子/免疫标志物测试的基于AI的推断可以允许快速筛查可能需要更全面的分子测试的患者，或者快速筛查以用于选择在靶向疗法中受益最大的患者。以下实施例可以用于预测临床试验中使用的任何生物标志物，诸如流式细胞术、血液测定等。

根据一个实施例，训练和使用定位的生物标志物预测模块的示例性方法可以包括以下步骤中的一个或多个。在步骤221中，该方法可以包括接收与训练病理学标本相关联的一个或多个训练数字图像。训练病理学标本可以包括组织学标本、细胞学标本等。训练数字图像可以被接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤223中，该方法可以包括接收关于存在于一个或所述一个或多个训练数字图像中示出的肿瘤和/或侵袭性切缘区中的生物标志物的水平的多个数据。生物标志物的存在可以利用二进制或序数值来指示。

在步骤225中，该方法可以包括将所述一个或多个训练数字图像分成至少一个子区，以确定在至少一个子区中是否存在肿瘤。将所述一个或多个训练数字图像分成子区可以基于子区特性。可以用各种方法指定子区，包括创建图像的图块、基于边缘或对比度的分割、经由色差的分割、通过机器学习模型的有监督确定等。

在步骤227中，该方法可以包括标识与感兴趣的生物标志物相关的至少一个肿瘤和/或至少一个侵袭性切缘区。这可以使用基于AI的系统或者使用来自专家的人工注释来进行。

在步骤229中，该方法可以包括训练机器学习系统以预测来自所述至少一个肿瘤和/或所述至少一个侵袭性切缘区的每个生物标志物的表达水平。表达水平可以表示为二进制数、序数、实数等。该算法可以多种方式实现，包括但不限于：

CNN

利用MIL的CNN

循环神经网络

长短期记忆RNN （LSTM）

门控循环单元RNN（GRU）

图卷积网络

支持向量机

随机森林。

在步骤232中，该方法可以包括接收与目标病理学标本相关联的一个或多个数字图像。目标病理学标本可以包括组织学标本、细胞学标本等。所述一个或多个数字图像可以被接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤234中，该方法可以包括接收肿瘤和侵袭性切缘区的位置。所述位置可以由专家自动或人工指定。

在步骤236中，该方法可以包括应用经训练的机器学习系统来输出对至少一个感兴趣的区中的生物标志物表达水平的预测。

在步骤238中，该方法可以包括将生物标志物表达水平预测输出到电子存储设备。该方法可以附加地包括生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）生物标志物的存在。

图2D是图示根据本公开的示例性实施例的使用机器学习来训练和使用生物标志物比较模块的示例性方法的流程图。生物标志物比较模块可以将空间组织的生物标志物签名或空间组织的生物标志物的向量嵌入取作输入，并且使用AI来推断信息，例如，治疗结果、治疗抵抗性等。示例性方法240和250可以由载片分析工具101自动地或响应于来自用户的请求来执行。

根据一个实施例，用于训练和使用生物标志物比较模块的示例性方法240和250可以包括以下步骤中的一个或多个。在步骤242中，该方法可以包括从定位的生物标志物预测模块接收与训练输入相关联的空间结构化训练输入。来自定位的生物标志物预测模块的空间结构化输入可以包括关于位置是否位于肿瘤中、侵袭性切缘、肿瘤外部等的信息。

在步骤244中，该方法可以包括接收对应于每个空间结构化训练输入的多个元数据。所述元数据可以包括人口统计信息、患者历史等。

在步骤246中，该方法可以包括训练机器学习系统以从定位的生物标志物中预测治疗结果或抵抗性预测。训练机器学习系统可以包括以多种方式实现的算法，包括但不限于：

CNN

利用MIL训练的CNN

循环神经网络

长短期记忆RNN（LSTM）

门控循环单元RNN（GRU）

图卷积网络

支持向量机

随机森林。

在步骤252中，该方法可以包括从定位的生物标志物预测模块接收空间结构化输入。来自定位的生物标志物预测模块的输入可以包括高级变量或向量嵌入。每个空间结构位置可以包含关于该位置是否位于肿瘤内、侵袭性切缘、肿瘤外部等的信息。

在步骤254中，该方法可以包括接收对应于空间结构化输入的多个元数据（例如，人口统计信息、患者历史等）。

在步骤256中，该方法可以包括应用机器学习模型来从定位的生物标志物中预测治疗结果或抵抗性预测。

在步骤258中，该方法可以包括将治疗结果预测输出到电子存储设备。该方法还可以包括生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）结果信息。

图3是根据本公开的示例性实施例的被训练成检测肿瘤内和周围侵袭性切缘的免疫标志物的示例性系统。示例性实施例300（例如，步骤302-310）可以由载片分析工具101自动地或响应于来自用户的请求来执行。

示例性实施例300可以包括以下步骤中的一个或多个。在步骤302中，该方法可以包括向算法馈送乳房组织的数字全载片图像，其中一些组织是癌性的。在步骤304中，该方法可以包括通过算法检测显著组织。在步骤306中，该方法可以包括肿瘤组织检测器可以过滤图像以聚焦在具有癌症的特定组织区上。在步骤308中，该方法可以包括AI可以使用肿瘤区推断肿瘤内和周围非肿瘤区内的每个免疫标志物的表达水平。在步骤310中，该方法可以包括检测肿瘤内的免疫标志物，并且可以进一步包括检测周围侵袭性切缘区内的免疫标志物。步骤310可以部分或全部使用机器学习来执行。

图4是图示根据本公开的示例性实施例的用于训练和使用免疫标志物定位模型的示例性方法的流程图。免疫标志物的标识（例如，肿瘤浸润性淋巴细胞（CD3 T细胞、CD8 T细胞等），巨噬细胞（CD68、CD163等）可以更好地表征患者的免疫系统，并且有助于评估哪些患者是免疫疗法的良好候选者。肿瘤内和肿瘤的侵袭性切缘中的高水平肿瘤浸润性淋巴细胞可能是彩色癌症的良好预后标志物（例如，免疫得分）。可以由病理学家使用IHC来标识这些关键标志物在肿瘤和肿瘤组织的侵袭性切缘中的表达和定位。近年来，诸如RNA测序和流式细胞术之类的下一代测序技术也已经用于免疫表型分型，然而这些技术中可能会丢失组织架构和关于不同细胞之间的空间关系的任何信息。

该实施例包括应用AI从来自各种免疫表型分型方法的H&E染色的数字图像预测免疫标志物。该实施例可以使用肿瘤/侵袭性切缘区检测器来标识肿瘤和非周围非肿瘤区。示例性方法400和420（例如，步骤402-408和步骤422-428）可以由载片分析工具101自动地或响应于来自用户的请求来执行。

根据一个实施例，用于训练免疫标志物定位模型的示例性方法400可以包括以下步骤中的一个或多个。在步骤402中，该方法可以包括将利用H&E染色的组织标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤404中，该方法可以包括使用基于AI的方法或人工规范来在每个接收到的图像中标识至少一个肿瘤区和周围肿瘤组织。

在步骤406中，该方法可以包括针对每个图像接收免疫标志物（例如，CD3、CD8、Cd68等）中的一个或多个的指示。免疫标志物表达水平可以使用IHC、流式细胞术、RNA测序等来标识。表达水平可以是数字的、序数的或二进制标度。可以将该指示分配给整个图像或图像子区。

在步骤408中，该方法可以包括训练免疫标志物定位机器学习模型，以预测从病理学标本的每个接收到的数字图像的肿瘤和侵袭性切缘区中呈现的免疫标志物的水平。

在步骤422中，该方法可以包括将所选病理学标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤424中，该方法可以包括在每个接收的图像中标识对应于肿瘤的肿瘤图像区和周围非肿瘤组织。该步骤可以通过基于AI的方法（例如，肿瘤/侵袭性切缘区检测模型）或人工规范来执行。

在步骤426中，该方法可以包括将机器学习标志物定位模型应用于至少一个接收到的图像，以输出对表达水平或免疫标志物的预测。

在步骤428中，该方法可以包括将对免疫标志物的表达水平的预测输出到电子存储设备。该输出可以包括生成视觉指示以警告用户（例如，病理学家、组织学技术人员等）每个免疫标志物的表达水平。给定预测的免疫标志物及其预测的表达水平，所述输出可以附加地推荐可能对于肿瘤有效的治疗。

图5是图示训练和使用机器学习模型来定位病理学标本中的基因签名和/或突变的示例性方法的流程图。癌症组织的基因和分子测试可以允许经由靶向疗法对实体肿瘤进行精确治疗。尽管这些年来基因组测序的成本已经大幅下降，但是这些检测可能仍然昂贵、缓慢，并且需要大量组织，所述组织可能在临床研究中是有限的。更进一步地，在这些测试期间，组织架构和关于不同细胞之间空间关系的任何信息都可能丢失。该实施方案可以从病理学标本的数字图像中推断定位的基因和分子生物标志物（诸如蛋白质和/或基因产物的过度表达、扩增、特定基因的突变等）。示例性方法500和520（例如，步骤502-508和步骤522-530）可以由载片分析工具101自动地或响应于来自用户的请求来执行。

根据一个实施例，用于训练机器学习模型以定位病理学标本中的基因签名和/或突变的示例性方法500可以包括以下步骤中的一个或多个。在步骤502中，该方法可以包括将组织标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤504中，该方法可以包括使用基于AI的模型（例如，肿瘤区检测模型）或人工规范来在每个接收到的图像中标识对应于癌性组织的肿瘤图像区。

在步骤506中，该方法可以包括针对每个图像接收对基因签名或基因突变中的一个或多个的存在的指示。可以使用经验证的测序方法来标识突变的存在。突变的存在可以作为分类变量来报告，并且其变体等位基因分数和癌细胞分数（例如，含有给定突变的样本中癌细胞的生物信息学推断的百分比）可以以数字、序数或二进制标度报告。可以将指示分配给整个图像或图像子区（例如，肿瘤）。

在步骤508中，该方法可以包括训练基因签名和/或突变生物标志物定位机器学习模型以预测从病理学标本的数字图像集合内的每个空间区中呈现的突变的水平。

在步骤522中，该方法可以包括将所选组织标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤524中，该方法可以包括使用基于AI的方法（例如，肿瘤检测模型）或人工规范来针对接收到的图像标识对应于癌性组织的肿瘤图像区。

在步骤526中，该方法可以包括将经训练的基因签名和/或突变生物标志物定位机器学习生物标志物定位模型应用于图像以输出基因突变的定位。

在步骤528中，该方法可以包括将基因突变的定位的存在分配给诊断类别。

在步骤530中，该方法可以包括将基因突变、基因突变表达水平、基因突变位置或诊断类别预测输出到电子存储设备。该输出可以包括使用视觉指示符来使用户（例如，病理学家、组织学技术人员等）断言每个基因突变的表达水平和位置。

图6是图示训练和使用机器学习模型来定位肿瘤微环境中的生物标志物以用于进行免疫疗法反应预测的示例性方法的流程图。由免疫系统识别肿瘤细胞以进行破坏可能需要一组条件，所述条件可以用于用来评估免疫疗法的潜在功效的几种生物标志物，包括针对PD1、PDL1的抗体及其他。这些生物标志物中的一些包括体细胞突变的数量（例如，肿瘤突变负荷）、包括MSI（微卫星不稳定性）的标志物的IHC、PDL1和PD1、微环境中炎症水平的基因表达签名及其他。除了生物标志物的定量之外，生物标志物相对于肿瘤的位置还可以提供理解或预测治疗反应的关键信息。

该实施方案可用于标识和定位肿瘤微环境中的生物标志物，以更好地理解患者的免疫情况及其对免疫疗法有反应的可能性。根据该实施例，用于训练机器学习模型来定位肿瘤微环境中的生物标志物以用于进行免疫疗法反应预测的示例性方法600和620（例如，步骤602-610和步骤622-628）可以包括以下步骤中的一个或多个。在步骤602中，该方法可以包括将癌症组织标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。对于每个接收到的图像，该方法还可以包括接收对肿瘤区（例如，癌性组织）的存在或不存在的指示。

在步骤604中，该方法可以包括接收癌症组织标本的组织标本类型。

在步骤606中，该方法可以包括使用基于AI的方法（例如，肿瘤区检测模型）或人工规范来标识对应于组织的肿瘤和侵袭性切缘的肿瘤图像区。

在步骤608中，该方法可以包括针对每个图像接收对检查点抑制剂的敏感性、肿瘤突变负荷、MSI、发炎的肿瘤微环境或PDL1/PD1阳性的指示。这些存在可以以分类标度（例如，存在相对于不存在）进行报告。该指示可以被分配给整个图像或图像子区。

在步骤610中，该方法可以包括训练免疫反应生物标志物定位机器学习模型以预测从每个接收到的图像的（肿瘤和侵袭性切缘）区中呈现的生物标志物的水平。

在步骤622中，该方法可以包括将所选癌症病理学标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤624中，该方法可以包括接收所选癌症病理学标本的组织标本类型。

在步骤626中，该方法可以包括针对所选图像，使用基于AI的方法（例如，肿瘤区检测模型）或人工地来标识对应于组织的肿瘤和侵袭性切缘的肿瘤图像区。

在步骤628中，该方法可以包括将免疫反应生物标志物定位机器学习模型应用于至少一个接收到的图像，以预测生物标志物在肿瘤和侵袭性切缘中的定位或表达水平。所述机器学习模型可以包括以下步骤：

将生物标志物的存在分配给诊断类别

将所预测的所述生物标志物的定位或表达水平输出到电子存储设备

生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）生物标志物的预测表达水平。

图7是图示根据本公开的示例性实施例的使用机器学习来预测抗肿瘤抵抗性的示例性方法的流程图。尽管进行了抗癌治疗，但是当癌细胞抵抗并存活下来时，可能出现抗肿瘤抵抗性。这种能力在治疗过程期间可能会在癌症中演变，并且预测癌症最难获得抵抗性的疗法可以改善患者的治疗和生存。一些癌症可能在治疗过程中对多种药物发展出抵抗性。本实施例可以通过检查肿瘤内部和外部的环境来预测抗肿瘤抵抗性的概率。

根据一个实施例，用于使用AI来训练抗肿瘤抵抗性预测系统的示例性方法700可以包括以下步骤中的一个或多个。在步骤702中，该方法可以包括将癌症组织标本（例如，利用H&E染色）的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤704中，该方法可以包括针对数字图像中的每一个，接收对应的组织标本类型。

在步骤706中，所述方法可以包括针对数字图像中的每一个，接收关于给予与所述组织标本相关联的患者的治疗和结果（例如，是否发生抗肿瘤抵抗性）的数据。示例性结果可以是在一个时间点或多个时间点。

在步骤708中，该方法可以包括使用基于AI的方法（例如，肿瘤区检测模型）或人工规范来标识数字图像中的每一个中对应于肿瘤的肿瘤图像区和周围非肿瘤组织。

在步骤710中，该方法可以包括训练抵抗性预测机器学习模型，例如，深度神经网络，以预测治疗的结果（例如，如果发展出抗肿瘤抵抗性）。这种分类可以使用多类或多标签方法进行，其中未给出的治疗作为缺失值来处置。

方法720可在生产中使用经训练的系统时来实现。在步骤722中，该方法可以包括将所选癌症病理学标本的一个或多个数字图像接收到数字存储设备（例如，硬盘驱动器、网络驱动器、云存储、RAM等）中。

在步骤724中，该方法可以包括接收所选癌症病理学标本的组织标本类型。

在步骤726中，该方法可以包括使用基于AI的方法（例如，肿瘤区检测模型）或人工规范，针对所选图像标识对应于组织的肿瘤和侵袭性切缘的至少一个肿瘤区。

在步骤728中，该方法可以包括将经训练的抵抗性预测机器学习模型应用于所选的癌症病理学标本的至少一个接收到的图像，以预测一种或多种治疗类型的治疗反应结果。预测可以包括每种治疗类型是否会出现抗肿瘤抵抗性。

在步骤730中，该方法可以包括将治疗结果和抗肿瘤抵抗性预测输出到电子存储设备。所述输出可以是视觉指示符的形式，以警告用户（例如，病理学家、组织学技术人员等）由于发展出抗肿瘤抵抗性而被预测为无效的治疗。该输出可以进一步包括基于预测来推荐治疗，并且将治疗输出给用户或电子存储设备。

如图8所示，设备800可以包括中央处理单元（CPU）820。CPU 820可以是任何类型的处理器设备，包括例如任何类型的专用或通用微处理器设备。如相关领域的技术人员应当领会的，CPU 820也可以是多核/多处理器系统（这样的系统单独操作）中的单个处理器，或者在集群或服务器农场中操作的计算设备集群中的单个处理器。CPU 820可以连接到数据通信基础设施810，例如总线、消息队列、网络或多核消息传递方案。

设备800还可以包括主存储器840，例如随机存取存储器（RAM），并且还可以包括辅助存储器830。辅助存储器830，例如只读存储器（ROM），可以是例如硬盘驱动器或可移动存储驱动器。这样的可移动存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器或闪速存储器等。该示例中的可移动存储驱动器以众所周知的方式从可移动存储单元读取和/或向其写入。可移动存储单元可以包括软盘、磁带、光盘等，通过可移动存储驱动器读取它们和向它们写入。如相关领域的技术人员应当领会的，这样的可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。

在替代实现中，辅助存储器830可以包括用于允许将计算机程序或其他指令加载到设备800中的其他类似部件。这样的部件的示例可以包括程序盒式磁带和盒式磁带接口（诸如在视频游戏设备中发现的）、可移动存储芯片（诸如EPROM或PROM）和相关联的插口，以及允许将软件和数据从可移动存储单元传递到设备800的其他可移动存储单元和接口。

设备800还可以包括通信接口（“COM”）860。通信接口860允许软件和数据在设备800和外部设备之间传递。通信接口860可以包括调制解调器、网络接口（诸如以太网卡）、通信端口或者PCMCIA插槽和卡等。经由通信接口860传递的软件和数据可以是信号的形式，其可以是电子、电磁、光学或能够被通信接口860接收的其他信号。这些信号可以经由设备800的通信路径提供给通信接口860，设备800的通信路径可以使用例如导线或线缆、光纤、电话线、蜂窝电话链路、RF链路或其他通信信道来实现。

这样的装备的硬件元件、操作系统和编程语言本质上是常规的，并且假定本领域技术人员对此足够熟悉。设备800还可以包括输入和输出端口850，以与诸如键盘、鼠标、触摸屏、监视器、显示器等的输入和输出设备相连接。当然，各种服务器功能可以在多个类似的平台上以分布式方式实现，以分布处理负载。替代地，服务器可以通过一个计算机硬件平台的适当编程来实现。

贯穿于本公开，对组件或模块的引用通常指代逻辑上可以组合在一起以执行一个功能或一组相关功能的项目。相似的附图标记通常旨在指代相同或相似的组件。组件和模块可以用软件、硬件或软件和硬件的组合来实现。

上述工具、模块和功能可以由一个或多个处理器来执行。“存储”型介质可以包括计算机或处理器等的有形存储器或其相关联的模块中的任何一个或所有，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，它们可以在任何时候为软件编程提供非暂时性存储。

软件可以通过互联网、云服务提供商或其他电信网络进行通信。例如，通信可以使得能够实现将软件从一台计算机或处理器加载到另一台计算机或处理器中。如本文所使用的，除非受限于非暂时性的有形“存储”介质，否则诸如计算机或机器“可读介质”等术语指代参与向处理器提供指令以供执行的任何介质。

前面的一般描述仅仅是示例性和解释性的，而不是对本公开的限制。考虑到本文公开的本发明的说明书和实践，本发明的其他实施例对于本领域技术人员来说将是显而易见的。说明书和示例仅被认为是示例性的。

Claims (20)

1.一种用于分析对应于标本的图像的计算机实现的方法，该方法包括：

接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于所述肿瘤组织中的多个生物标志物的数据和关于所述肿瘤组织四周的周围侵袭性切缘的数据相关联；

为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；

在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和所述周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；

确定在所述肿瘤组织和所述周围侵袭性切缘区中标识的所述多个生物标志物中的每一个的空间关系；和

基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

2.根据权利要求1所述的计算机实现的方法，其中生成对所述多个生物标志物的存在的所述至少一个推断进一步包括使用计算机视觉模型。

3.根据权利要求1所述的计算机实现的方法，其中所述病理学标本包括组织学和/或细胞学标本。

4.根据权利要求1所述的计算机实现的方法，其中关于所述多个生物标志物的数据是根据基因测试、流式细胞术和/或免疫组织化学标识的。

5.根据权利要求1所述的计算机实现的方法，其中标识所述肿瘤组织和所述周围侵袭性切缘区使用所述机器学习模型，并且其中训练所述机器学习模型进一步包括：

接收与训练病理学标本和对肿瘤区的存在或不存在的相关联指示相关联的一个或多个训练数字图像；

将所述一个或多个训练数字图像划分为至少一个子区，以确定所述肿瘤是否存在于所述至少一个子区中；和

训练所述机器学习模型，所述机器学习模型将与所述病理学标本相关联的所述一个或多个训练数字图像中的一个取作输入，并且预测所述肿瘤是否存在。

6.根据权利要求5所述的计算机实现的方法，其中训练所述机器学习模型进一步包括：

接收与目标病理学标本和对肿瘤区的存在或不存在的相关联指示相关联的一个或多个数字图像；

将所述一个或多个数字图像划分为至少一个子区来进行分析以确定所述肿瘤是否存在于所述至少一个子区中；

将所述机器学习模型应用于所述一个或多个数字图像中的一个，以预测所述数字图像的哪些区示出肿瘤组织或侵袭性切缘，并且可以显示感兴趣的生物标志物；和

指示和标出至少一个肿瘤区的位置。

7.根据权利要求1所述的计算机实现的方法，进一步包括，训练所述机器学习模型以生成对所述多个生物标志物的存在的所述至少一个推断包括：

接收所述病理学标本的一个或多个训练数字图像；

接收关于存在于所述一个或多个训练数字图像之一中示出的肿瘤和/或侵袭性切缘区中的所述生物标志物的水平的多个数据；

将所述一个或多个训练数字图像中的一个划分成至少一个子区，以确定所述至少一个子区的至少一个特性；

标识与感兴趣的生物标志物相关的至少一个肿瘤和/或至少一个侵袭性切缘区；和

训练机器学习系统以预测来自所述至少一个肿瘤和/或所述至少一个侵袭性切缘区的每个生物标志物的表达水平。

8.根据权利要求1所述的计算机实现的方法，其中生成所述至少一个推断包括：

确定所述肿瘤组织和所述周围侵袭性切缘区中的至少一个感兴趣的区；和

应用所述机器学习模型来确定对所述至少一个感兴趣的区中的生物标志物表达水平的预测。

9.根据权利要求1所述的计算机实现的方法，进一步包括：

通过以下步骤训练所述机器学习模型以比较所述至少一个生物标志物和所述空间关系：

接收至少一个空间结构化训练输入；

接收对应于每个空间结构化训练输入的元数据；和

训练所述机器学习模型以从定位的生物标志物预测治疗结果或抵抗性预测。

10.根据权利要求1所述的计算机实现的方法，其中生成所述至少一个推断进一步包括：

接收空间结构化输入；

接收对应于所述空间结构化输入的元数据；和

应用所述机器学习模型以从定位的生物标志物预测所述治疗结果或抵抗性预测。

11.一种用于分析对应于标本的图像的系统，所述系统包括：

至少一个存储指令的存储器；和

至少一个处理器，被配置为执行所述指令以执行操作，所述操作包括：

接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于所述肿瘤组织中的多个生物标志物的数据和关于所述肿瘤组织四周的周围侵袭性切缘的数据相关联；

为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；

在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和所述周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；

确定在所述肿瘤组织和所述周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；和

基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

12.根据权利要求11所述的系统，其中生成对所述多个生物标志物的存在的所述至少一个推断进一步使用计算机视觉模型。

13.根据权利要求11所述的系统，其中所述病理学标本包括组织学和/或细胞学标本。

14.根据权利要求11所述的系统，其中所述关于所述多个生物标志物的数据是根据基因测试、流式细胞术和/或免疫组织化学标识的。

15.根据权利要求11所述的系统，其中标识所述肿瘤组织和所述周围侵袭性切缘区使用所述机器学习模型，并且其中训练所述机器学习模型进一步包括：

接收与训练病理学标本和对肿瘤区的存在或不存在的相关联指示相关联的一个或多个训练数字图像；

将所述一个或多个训练数字图像划分为至少一个子区，以确定所述肿瘤是否存在于所述至少一个子区中；和

训练所述机器学习模型，所述机器学习模型将与所述病理学标本相关联的所述一个或多个训练数字图像中的一个取作输入，并且预测所述肿瘤是否存在。

16.根据权利要求15所述的系统，其中训练所述机器学习模型进一步包括：

接收与目标病理学标本和对肿瘤区的存在或不存在的相关联指示相关联的一个或多个数字图像；

将所述一个或多个数字图像划分为至少一个子区来进行分析，以确定所述肿瘤是否存在于所述至少一个子区中；

将所述机器学习模型应用于所述一个或多个数字图像中的一个，以预测所述数字图像的哪些区示出肿瘤组织或侵袭性切缘并且可以显示感兴趣的生物标志物；和

指示和标记至少一个肿瘤区的位置。

17.根据权利要求11所述的系统，进一步包括，训练所述机器学习模型以生成对所述多个生物标志物的存在的所述至少一个推断包括：

接收所述病理学标本的一个或多个训练数字图像；

接收关于存在于所述一个或多个训练数字图像之一中示出的肿瘤和/或侵袭性切缘区中的所述生物标志物的水平的多个数据；

将所述一个或多个训练数字图像中的一个划分成至少一个子区，以确定所述至少一个子区的至少一个特性；

标识与感兴趣的生物标志物相关的至少一个肿瘤和/或至少一个侵袭性切缘区；和

训练机器学习系统以预测来自所述至少一个肿瘤和/或所述至少一个侵袭性切缘区的每个生物标志物的表达水平。

18.根据权利要求11所述的系统，其中生成所述至少一个推断包括：

确定所述肿瘤组织和所述周围侵袭性切缘区中的至少一个感兴趣的区；和

应用所述机器学习模型来确定对所述至少一个感兴趣的区中的生物标志物表达水平的预测。

19.根据权利要求11所述的系统，进一步包括：

通过以下步骤训练所述机器学习模型以比较所述至少一个生物标志物和所述空间关系：

接收至少一个空间结构化训练输入；

接收对应于每个空间结构化训练输入的元数据；和

训练所述机器学习模型以从定位的生物标志物预测治疗结果或抵抗性预测。

20.一种存储指令的非暂时性计算机可读介质，所述指令在被处理器执行时使得所述处理器执行用于分析与标本相对应的图像的方法，所述方法包括：

接收来自患者的病理学标本的一个或多个数字图像，所述病理学标本包括肿瘤组织，所述一个或多个数字图像与关于所述肿瘤组织中的多个生物标志物的数据和关于所述肿瘤组织四周的周围侵袭性切缘的数据相关联；

为所述一个或多个数字图像中的每一个标识待分析的肿瘤组织和周围侵袭性切缘区；

在所述一个或多个数字图像上使用机器学习模型，生成对所述肿瘤组织和所述周围侵袭性切缘区中所述多个生物标志物的存在的至少一个推断；

确定在所述肿瘤组织和所述周围侵袭性切缘区中标识的多个生物标志物中的每一个的空间关系；和

基于所述多个生物标志物中的每一个的空间关系，确定对于所述患者的治疗结果的预测和/或至少一个治疗建议。

Images