CN117425912A - 将组织化学染色图像转换成合成免疫组织化学(ihc)图像 - Google Patents

将组织化学染色图像转换成合成免疫组织化学(ihc)图像 Download PDF

Info

Publication number
CN117425912A
CN117425912A CN202280040547.7A CN202280040547A CN117425912A CN 117425912 A CN117425912 A CN 117425912A CN 202280040547 A CN202280040547 A CN 202280040547A CN 117425912 A CN117425912 A CN 117425912A
Authority
CN
China
Prior art keywords
image
images
stained
ihc
stain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280040547.7A
Other languages
English (en)
Inventor
王兴伟
A·洛萨库勒
赵佐
聂垚
H·克彭
H·科尔斯特
K·尚穆甘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Genentech Inc
Ventana Medical Systems Inc
Original Assignee
Genentech Inc
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Genentech Inc, Ventana Medical Systems Inc filed Critical Genentech Inc
Publication of CN117425912A publication Critical patent/CN117425912A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N1/00—Sampling; Preparing specimens for investigation
    • G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
    • G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及用于从组织化学染色图像获得合成免疫组织化学(IHC)图像的技术。具体地，本公开的各方面涉及访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；通过使用经训练的生成器网络处理所述输入图像来生成合成图像；以及输出所述合成图像。所述合成图像描绘已经用靶向第一抗原的至少一种IHC染色剂染色的组织切片，并且技术还可以包括接收基于来自所述合成图像的第一抗原的表达水平的输入及/或从所述合成图像生成基于所述第一抗原的表达水平的值。

Description

将组织化学染色图像转换成合成免疫组织化学(IHC)图像
技术领域
本公开涉及数字病理，并且具体地涉及包括从组织化学染色图像获得合成免疫组织化学(IHC)图像的技术。
背景技术
组织病理可以包括对出于各种原因从组织切片制备的载玻片的检查，诸如：疾病的诊断、对治疗的反应的评估和/或对抗疾病的药物的开发。因为组织切片和其中的细胞实际上是透明的，载玻片的制备通常包括对组织切片进行染色，以便使相关结构更具可见性。数字病理可以包括扫描染色的载玻片以获得数字图像，该数字图像随后可以通过数字病理图像分析来检查和/或由人类病理学家解读。
某些类型的组织染色剂具有高度特异性，并且仅附着于特定的蛋白质(例如，抗原)，其在样品中的存在可能指示特定的情况(例如，特定类型的癌症)。虽然这些染色剂可以提供诊断所必需的信息，但它们通常非常昂贵并且需要复杂的实验室设备和程序。其他类型的组织染色剂成本较低并且可获得的范围更广，可以提供有关样品的重要的一般信息，诸如样品中细胞和/或组织内不同结构之间的视觉对比度，但还不可能使用此类染色剂来基于抗原特异性检测来进行诊断。
发明内容
在各种实施例中，提供了一种图像转换的计算机实现方法，该计算机实现方法包括访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；通过使用生成器网络处理输入图像来生成合成图像，生成器网络已经使用包括多对图像的训练数据集进行训练；输出合成图像；以及接收基于来自合成图像的第一抗原的表达水平的输入，其中合成图像描绘已经用靶向第一抗原的至少一种免疫组织化学染色剂(IHC染色剂)染色的组织切片，并且其中多对图像中的每一对图像包括已经用至少一种组织化学染色剂染色的组织的第一切片的图像和已经用至少一种IHC染色剂染色的组织的第二切片的图像。
在一些实施例中，该方法包括从合成图像确定基于第一抗原的表达水平的值。例如，可以由经训练的网络来进行该确定。
在各种实施例中，提供了一种图像转换的计算机实现方法，该计算机实现方法包括访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；通过使用生成器网络处理输入图像来生成合成图像，生成器网络已经使用包括多对图像的训练数据集进行训练；输出合成图像；以及接收基于来自合成图像的第一抗原的表达水平的输入，其中合成图像描绘已经用靶向第一抗原的至少一种IHC染色剂染色的组织切片，并且其中多对图像中的每一对图像包括已经用至少一种组织化学染色剂染色的组织的第一切片的图像和已经用至少一种IHC染色剂染色的组织的第二切片的图像。
在一些实施例中，组织化学染色剂为苏木精和/或伊红。
在一些实施例中，第一抗原为肿瘤相关抗原。例如，第一抗原可以为人表皮生长受体2(HER2)。在这种情况下，经接收的输入值和/或生成值可以为HER2评分。
在一些实施例中，将生成器网络以生成对抗网络的一部分进行训练。
在一些实施例中，对于多对图像中的每一对图像，将第一切片的图像拼接到第二切片的图像。在这种情况下，对于多对图像中的每一对图像，第一切片的图像可以在被拼接到第二切片的图像之前与第二切片的图像进行配准。
在一些实施例中，计算机实现方法进一步包括由使用者基于合成图像来确定对受试者的诊断。
在一些实施例中，计算机实现方法进一步包括由使用者基于(i)合成图像和/或(ii)对受试者的诊断来施用使用化合物的治疗。
在一些实施例中，提供了一种系统，该系统包括一个或多个数据处理器和非暂时性计算机可读存储介质，其包含指令，所述指令当在一个或多个数据处理器上进行时，促使一个或多个数据处理器进行本文所公开的一种或多种方法的一部分或全部。
在一些实施例中，提供了一种计算机程序产品，该计算机程序产品有形地体现在非暂时性机器可读存储介质中，并且包括被配置为使一个或多个数据处理器进行本文所公开的一种或多种方法的一部分或全部的指令。
本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，该指令在一个或多个数据处理器上被执行时使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为此类修改和变化在由所附权利要求限定的本发明范围内。
附图说明
专利或申请文件包含至少一幅彩色图式。在提出请求并支付必要的费用后，专利局将提供带有一幅或多幅彩色图式的本专利或专利申请公布的副本。
通过参考附图描述实例，各种实施例的方面和特征将更加明显，其中：
图1示出了数字病理解决方案工作流程的示例图；
图2示出了成对的苏木精-伊红(H&E)和人表皮生长因子2(HER2)-免疫组织化学(IHC)图像的示例；
图3示出了根据一些实施例的示例计算环境；
图4示出了根据一些实施例的条件GAN模型；
图5示出了H&E图像和HER2-IHC图像的匹配对的示例；
图6示出了HER2-IHC图像中肿瘤注释的示例；
图7示出了根据一些实施例的使用Pix2Pix GAN的条件GAN模型的实现的示例；
图8示出了根据一些实施例的示例性过程的流程图；
图9示出了根据一些实施例的粗略对准的示例；
图10示出了根据一些实施例的从全载玻片图像中提取图块的示例；
图11根据一些实施例的获取训练数据的过程；
图12示出了根据一些实施例的训练数据集的示例；
图13示出了根据一些实施例的Cycle-GAN中的网络和网络连接的表示；
图14示出了根据一些实施例的使用Cycle-GAN生成和鉴别图像的流程；
图15A示出了根据一些实施例的示例性过程的流程图；
图15B示出了根据一些实施例的另一个示例性过程的流程图；
图16示出了根据一些实施例的训练数据集的示例；以及
图17A和图17B、图18A和图18B、图19A和图19B以及图20A和图20B示出了根据各种实施例生成的输入图像、目标图像和输出图像的示例。
具体实施方式
本文公开的系统、方法和软件有利于从组织化学染色图像中获得合成的IHC图像。虽然描述了某些实施例，但这些实施例仅以实例的方式呈现，并不旨在限制保护范围。本文描述的设备、方法和系统可以以多种其他形式体现。此外，在不脱离保护范围的情况下，可以对本文描述的实例方法和系统的形式进行各种省略、替换和变化。
I.概述
数字病理可能涉及对数字化图像的解释，以便正确诊断受试者并指导治疗决策。在数字病理解决方案中，可以建立图像分析工作流程以自动检测或分类目的生物对象，例如阳性、阴性肿瘤细胞等。图1示出了数字病理解决方案工作流程100的示例图。数字病理解决方案工作流程100包括在框105处获得组织载玻片，在框110处使用数字图像扫描仪(例如，全视野数字切片(WSI)扫描仪)来扫描预选区域或整个组织载玻片以获得数字图像，在框115处使用一种或多种图像分析算法对数字图像进行图像分析，以及基于图像分析对目的对象进行评分(例如，定量或半定量评分，诸如阳性、阴性、中等、弱等)。
例如，由疾病引起的组织变化的评估可以通过检查薄组织切片来进行。可以将组织样品(例如肿瘤样品)切片以获得一系列切片，每个切片具有例如4微米至5微米的厚度。因为组织切片和其中的细胞实际上是透明的，载玻片的制备通常包括对组织切片进行染色，以便使相关结构更具可见性。例如，组织的不同切片可以用一种或多种不同的染色剂染色以表达组织的不同特征。
每个切片可以安装在载玻片上，然后扫描该载玻片以创建数字图像，该数字图像随后可以通过数字病理图像分析来检查和/或由人类病理学家解读(例如，使用图像查看器软件)。病理学家可以检查并手动注释载玻片的数字图像(例如，肿瘤区域、坏死等)，以便能够使用图像分析算法来提取有意义的定量衡量(例如，以对目的生物对象进行检测和分类)。传统上，病理学家可以手动注释来自组织样品的多个组织切片的每个连续的图像，以识别每个连续的组织切片上的相同方面。
一种类型的组织染色是组织化学染色，其使用一种或多种化学染料(例如，酸性染料、碱性染料)来对组织结构进行染色。组织化学染色可用于指示组织形态和/或细胞组织学的一般方面(例如，以对细胞核与细胞质、指示脂滴等进行区分)。组织化学染色剂的一个示例是苏木精和伊红(H&E)。组织化学染色剂的其他示例包括三色染色剂(例如，马松三色染色)、过碘酸-雪夫(PAS)、银染色剂和铁染色剂。组织化学染色试剂(例如染料)的分子量通常为约500千道尔顿(kD)或更小，尽管一些组织化学染色试剂(例如，阿尔新蓝、磷钼酸(PMA))可能具有高达两或三千kD的分子量。高分子量组织化学染色试剂的一个例子是α-淀粉酶(约55kD)，它可用于指示糖原。
另一种类型的组织染色是免疫组织化学(IHC，也称为“免疫染色”)，它使用与目的靶抗原(也称为生物标志物)特异性结合的一抗。IHC可以是直接的或间接的。在直接IHC中，一抗直接与标记物(例如发色团或荧光团)缀合。在间接IHC中，一抗首先与靶抗原结合，然后与标记物(例如发色团或荧光团)缀合的二抗与一抗结合。使用IHC进行组织染色通常需要使用非常昂贵的试剂以及比组织化学染色更复杂的实验室设备和程序。IHC试剂的分子量远高于组织化学染色试剂的分子量，因为抗体的分子量约为150kD或更高。
肿瘤中人表皮生长因子受体2(HER2)生物标志物的表达水平是诊断包括乳腺癌在内的多种类型癌症的重要生物标志物。肿瘤是HER2阳性(HER2+)或是HER2阴性(HER2–)以及其强度可以指示特定药物或其他疗法是否可能有效治疗癌症。以下标准用于为已进行HER2-IHC染色的肿瘤样品的切片的载玻片的HER2评分：
目前诊断HER2+乳腺癌的实践通常依赖于H&E染色样品的载玻片和IHC染色样品的多张载玻片的病理评估。为了确认乳腺癌诊断，通常需要为HER2-IHC载玻片准备额外的多个组织切片。图2示出了已被H&E染色的肿瘤样品的切片的图像的示例(左)和已被HER2-IHC染色的同一肿瘤样品的附近切片的图像(右)。准备多个染色图像可能是劳动密集型的并且会产生额外的成本。此外，它要求病理学家审查额外的组织切片和注释。
在许多诊断场景中(例如，在癌症诊断中)，通常会为每个受试者制备H&E染色的样品，因为制备此类样品是常规和简单的、实践广泛和可用的，并且便宜。苏木精将细胞核染成蓝色，而伊红将细胞外基质和细胞质染成粉红色，并且其他结构可以被染色成具有不同的深浅、色调和/或粉红色和蓝色的组合。虽然H&E染色可用于识别一般组织和细胞解剖，然而，它无法提供支持某些诊断评估所需的具体信息，诸如区分不同类型的癌症(例如HER2评分)，这可能是由IHC提供的。
为了克服这些限制以及其他限制，本文公开了用于从组织化学染色的样品(例如，H&E染色的样品)的图像生成描绘IHC染色的样品的合成图像的技术。此类合成图像的生成可以支持对样品中生物标志物的表达水平的评估，而无需制备相应的IHC染色样品并对其进行成像。
合成图像的生成可以由经训练的生成器网络来进行，该生成器网络可以包括在训练生成对抗网络(GAN)时学习到的参数。GAN可以进一步包括鉴别器网络，该鉴别器网络配置成预测输入图像是假的(即，已由生成器网络生成的)还是真的(即，描绘从受试者收集的实际图像)。基于这些预测的准确性的反馈可以在训练期间提供给生成器网络。
本公开的一个说明性实施例涉及一种图像转换方法，该方法包括访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；通过使用生成器网络处理输入图像来生成合成图像，输出合成图像；以及接收基于来自合成图像的第一抗原的表达水平的输入，其中合成图像描绘已经用靶向第一抗原的至少一种IHC染色剂染色的组织切片，并且其中生成器网络已经使用包括多对图像的训练数据集进行训练，并且其中多对图像中的每一对图像包括已经用至少一种组织化学染色剂染色的组织的第一切片的图像和已经用至少一种IHC染色剂染色的组织的第二切片的图像。
本公开的另一个说明性实施例涉及一种图像转换方法，该方法包括访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；通过使用生成器网络处理输入图像来生成合成图像，输出合成图像；以及从合成图像生成基于第一抗原的表达水平的值，其中合成图像描绘已经用靶向第一抗原的至少一种IHC染色剂染色的组织切片，并且其中生成器网络已经使用包括多对图像的训练数据集进行训练，并且其中多对图像中的每一对图像包括已经用至少一种组织化学染色剂染色的组织的第一切片的图像和已经用至少一种IHC染色剂染色的组织的第二切片的图像。
有利地，本文所述的图像转换方法能够使用H&E和合成IHC数据来帮助病理学家有效诊断癌症(例如，乳腺癌)亚型。此类方法可以作为快速筛选过程的关键部分来实现，该快速筛选过程可以用于例如识别患有HER2 3+肿瘤的受试者(例如，在患有乳腺癌的受试者中)，而无需进行实际的IHC染色。此外，此类“虚拟染色”技术还可以与其他人工智能(AI)技术相结合，以增强AI系统的真实性(例如，增强算法输出的可解释性和真实性)。更进一步，本文描述的图像转换方法可用于生成用于算法验证和训练的大量图像数据(例如，大量合成的HER2-IHC图像)，从而减少算法开发的成本和时间。
II.定义
如本文所用，当动作“基于”某物时，这表示该动作至少部分地基于某物的至少一部分。
如本文所用，术语“基本上”、“大约”和“约”被定义为在很大程度上但不必完全是所规定的(并且包括完全是所规定的)，如本领域普通技术人员所理解的。在任何公开的实施例中，术语“基本上”、“大约”或“约”可以用对于所指定的“在[某个百分比]内”替代，其中百分比包括0.1％、1％、5％和10％。
如本文所用，术语“样品”、“生物样品”或“组织样品”是指从包括病毒在内的任何生物体获得的包括生物分子(诸如蛋白质、肽、核酸、脂质、碳水化合物或它们的组合)在内的任何样品。其他生物体的实例包括哺乳动物(诸如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物样品包括组织样品(诸如组织切片和组织的穿刺活检)、细胞样品(诸如细胞学涂片，诸如子宫颈涂片或血液涂片或通过显微解剖获得的细胞样品)，或细胞级分、碎片或细胞器(诸如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物样品的其他实例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(诸如口腔拭子)、或任何含有从第一生物样品导出的生物分子的材料。在某些实施例中，本文使用的术语“生物样品”是指从受试者获得的肿瘤或其一部分制备的样品(诸如经均质或液化处理的样品)。
III.用于数字病理学图像转换的技术
可靠的结果对于癌症疗法(诸如HER2靶向疗法)的可用性非常重要。例如，在病理学中，已知HER2-IHC容易受到分析前变量的影响。在本文描述的技术的一种应用中，H&E载玻片的图像和源自这些图像的合成IHC图像用于通过使用生成的合成IHC图像来预测HER2评分/染色强度水平来支持乳腺癌的诊断和免疫治疗。
图3示出了根据各个实施例用于将描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像转换为描绘已经用至少一种IHC染色剂染色的组织切片的合成图像的示例计算环境300(即，数据处理系统)。如图3所示，在该示例中，由计算环境300进行的输入图像的转换包括几个阶段：图像存储阶段305、预处理阶段390、模型训练阶段310、转换阶段315和分析阶段320。图像存储阶段310可包括一个或多个数字图像扫描仪或数据库325，数字图像扫描仪或数据库被访问(例如，通过预处理阶段390)以提供来自预选区域或整个生物学样品载玻片(例如，组织载玻片)的数字图像源集合330和目标数字图像集合335。
模型训练阶段310构建并且训练将由其他阶段使用的一个或多个模型340a-340n(“n”表示任何自然数)(其在本文中可以单独地称为模型340或统称为模型340)。模型340可以是机器学习(“ML”)模型，其可以包括卷积神经网络(“CNN”)、初始神经网络、残差神经网络(“Resnet”)、U-Net、V-Net、单发多盒检测器(“SSD”)网络、循环神经网络(“RNN”)、深度神经网络、修正线性单元(“ReLU”)、长短期记忆(“LSTM”)模型、门控循环单元(“GRU”)模型等，或它们的任何组合。在各种实施例中，生成模型配置有通过训练模型340而学习的参数，该模型能够使用无监督学习来学习任何类型的数据分布，诸如生成对抗网络(“GAN”)、深度卷积生成对抗网络(“DCGAN”)、变分自动编码器(VAE)、隐马尔可夫模型(“HMM”)、高斯混合模型、玻尔兹曼机等，或一种或多种此类技术的组合—例如，VAE-GAN。计算环境300可以采用相同类型的模型或不同类型的模型来将源图像转换成生成图像。在某些情况下，生成模型配置有通过训练模型340而学习的参数，该模型是用尝试分类输出图像是真还是假的损失函数构建的GAN，同时训练生成模型以最小化该损失。
在图4所示的示例性实施例中，被训练以提供学习参数的模型340是条件GAN(“cGAN”)400，其是GAN模型的扩展，并且生成具有特定条件或属性的图像。cGAN学习惩罚输出的联合配置的结构性损失。参考图4，cGAN 400包括生成器410和鉴别器415。生成器410是神经网络(例如，CNN)，它将随机生成的噪声向量420和潜在特征向量(或一维向量)425(例如，在当前示例中的源图像的条件)作为输入数据和来自鉴别器415的反馈，并生成尽可能接近真实目标图像435的新图像430。鉴别器415是神经网络(例如，CNN)，其被配置为分类器以确定来自生成器410的生成图像430是真实图像还是假图像。潜在特征向量425或条件源自源图像或源图像集440(例如，来自一个或多个数字扫描仪的图像、来自图像服务器等)，其编码类别(例如，已被组织化学染色的图像)或预期来自源图像440的特定特征集。随机生成的噪声向量420可以从高斯分布生成，并且向量空间可以包括对于域重要但不可直接观察的潜在变量或隐藏变量。潜在特征向量425和随机噪声向量420可以组合作为生成器410的输入445。替代地或附加地，噪声可以以丢弃(例如，概率性地将输入丢弃到层)的形式添加到生成器410内。
生成器410接收组合输入445并基于问题域(即，与已被IHC染色的目标图像435相关联的特征域)中的潜在特征向量425和随机噪声向量420生成图像430。鉴别器415通过将目标图像435和生成图像430都作为输入来进行条件图像分类，并预测450生成图像430是目标图像435的真实转译还是假转译的可能性。鉴别器415的输出取决于生成图像430的大小，但可以是一个值或值的正方形激活图。每个值都是生成图像430中的斑块为真实的可能性的概率。如果需要，可以对这些值求平均值以给出总体可能性或分类分数。生成器410和鉴别器415两者的损失函数可以被配置为使得损失取决于鉴别器415进行其预测450生成图像430是目标图像435的真实转译还是假转译的可能性的工作的好坏程度。经过充分训练后，生成器410将开始产生看起来更像目标图像435的生成图像430。GAN 400的训练可以针对预定数量的训练实例进行，并且只要使用训练或验证集确定的一个或多个性能度量(例如，准确度、精确度和/或召回率)超过相应的阈值，就可以接受所得到的学习参数。替代地，GAN400的训练可以继续进行，直到与最近的训练迭代相关联的一个或多个性能度量超过对应的阈值。在这一点上，生成的图像430可能与目标图像435足够相似，以至于鉴别器不再能够辨别真假。一旦生成器网络410已经被训练，从已被组织化学染色(例如，H&E染色)的载玻片获得的图像源集可以被输入到GAN 400中以将图像源集转换成新生成的图像集，该新生成的图像集它们的特征类似于从已经被免疫染色(例如，HER2-IHC染色)的载玻片中获得的目标图像集。此后，新生成的图像集可以由病理学家评估(例如，确定HER2评分)，使用当前可用的计算机化数字病理图像分析算法进行分析，及/或用作输入来训练和/或验证进一步的网络，等等。
返回参考图3，为了在这个示例中训练模型340，预处理阶段390通过获得数字图像(数字图像的源集330和数字图像的目标集335)生成样品345，将图像分割成成对的图像子集345a(源图像和目标图像的至少一对)用于训练(例如，90％)和成对图像子集345b用于验证(例如，10％)，预处理成对图像子集345a和成对图像子集345b，扩充成对图像子集345a，并且可能在一些情况下，用标签350注释成对图像子集345a。成对图像子集345a可以例如从诸如数据库或图像服务器之类的数据存储结构获得。每个图像都描绘了一个生物样品，诸如组织。
分割可以随机地或伪随机地进行(例如，使用90％/10％、80％/20％或70％/30％)，或者分割可以根据更复杂的验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)来进行，以最小化采样偏差和过拟合。预处理可包括裁剪图像，使得每个图像仅包含单个目的对象。在一些情况下，预处理可进一步包括标准化或归一化，以将所有特征置于相同的标度(例如，相同的大小标度，或者相同的颜色标度或颜色饱和度标度)上。在某些情况下，利用预定像素的最小尺寸(宽度或高度)(例如，2500像素)或预定像素的最大尺寸(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。
例如，预处理阶段390可以准备来自源集和目标集的多个修补图像作为用于训练数据的图像的一个或多个成对子集。成对图像的准备可以包括访问源图像和目标图像的匹配对，其中源图像和目标图像来自相同生物学样品(例如，肿瘤样品)的附近切片的载玻片，源图像中的切片已经用一种或多种选定的组织化学染色剂染色，并且目标图像中的切片已经用一种或多种选定的IHC染色剂染色。在一个非限制性示例中，每个源图像中的切片已经用H&E染色，并且每个目标图像中的切片已经用HER2-IHC染色。图5示出了HER2-IHC染色载玻片的图像(左)和H&E染色载玻片的图像(右)的匹配对的一个示例。
然后，预处理阶段390可以将每个成对的图像(例如，全载玻片图像)划分成多个预定尺寸(例如，128×128、256×256或另一尺寸)的斑块，以产生用于训练的匹配的斑块对。可能需要仅使用来自图像内目的区域的斑块，例如已经由审查病理学家添加的诸如肿瘤注释。图6示出了HER2-IHC染色的载玻片的图像(左)和H&E染色的载玻片的图像(右)的匹配对的一个示例，其中HER2-IHC染色的载玻片的图像已经被用红色绘制的两条曲线注释。预处理阶段390可以在将图像划分为斑块之前和/或之后进行成对图像的对准和/或配准。对准可以包括将一个图像指定为参考图像，也称为固定图像，并对另一图像应用几何转换或局部位移，使得另一图像与参考图像对准。因为IHC图像(即目标图像)提供了用于训练网络的基准真值，所以可能需要为了对准和配准的目的而将目标图像指定为参考图像。从源集和目标集选择对准的斑块对，并且该过程产生用于训练数据的一个或多个成对图像子集。预处理阶段390可以将斑块对输入到GAN或cGAN以训练深度学习网络。
返回参考图3，预处理阶段390可以使用扩充来通过在数据集中创建图像的修改版本来人为地扩展成对图像子集345a的尺寸。可以通过在数据集中创建属于与原始图像相同类别的图像变换版本来执行图像数据扩充。变换包括来自图像操纵领域的一系列操作，诸如移位、翻转、缩放等。在一些情况下，这些操作包括随机擦除、移位、加亮、旋转、高斯模糊和/或弹性转换，以确保模型340能够在可从成对图像子集345a获得的那些环境之外的环境下执行。
模型340的训练过程包括选择模型340的超参数和执行将图像从成对图像子集345a输入到模型340中以找到模型参数集(例如，权重和/或偏差)的迭代操作，该模型参数集最小化模型340的一个或多个损失函数或误差函数(例如，用于训练鉴别器以最大化图像训练数据的概率的第一损失函数，以及用于训练鉴别器以最小化从生成器采样的生成图像的概率并训练生成器以最大化鉴别器分配给其自身生成图像的概率的第二损失函数)。超参数是可以被调整或优化以控制模型340的行为的设置。大多数模型明确地定义控制模型的不同方面(诸如存储器或执行成本)的超参数。然而，可以定义附加的超参数来使模型适应具体场景。例如，超参数可包括模型的隐藏单元的数量、模型的学习速率、模型的卷积核宽度或卷积核数量。训练的每次迭代可以涉及为模型340找到模型参数集合(配置有定义的超参数集合)，使得使用该模型参数集合的损失或误差函数的值小于在先前迭代中使用不同的模型参数集合的损失或误差函数的值。可以构建损失函数或误差函数来测量使用模型340推断的输出与使用标签350的基准真值目标图像之间的差异。
一旦识别出模型参数集，模型340就已经被训练，并且可以使用成对图像子集345b(测试或验证数据集)来验证。该验证过程包括使用验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)将来自成对图像子集345b的图像输入到模型340中以调整超参数并且最终找到超参数的最优集合的迭代操作。一旦获得超参数的最佳集合，就将来自图像子集345b的图像的保留测试集输入到模型345中以获得输出(在这个实例中，具有与目标图像类似的特征的生成图像)，并且使用相关技术(诸如Bland-Altman方法和Spearman秩相关系数)以及计算性能度量(诸如误差、准确度、精确度、召回率、接收器操作特性曲线(ROC)等)，相对于基准真值目标图像来评价输出。
应当理解，其他训练/验证机制也是可以预期的，并且可以在计算环境300内实现。例如，可以对模型340进行训练并且可以在来自成对图像子集345a的图像上调整超参数，并且来自成对图像子集345b的图像可以仅用于测试和评估模型340的性能。
模型训练阶段310输出训练模型包括一个或多个经训练的转换模型360和任选地一个或多个图像分析模型365。在一些情况下，第一模型360a被训练以处理生物样本的源图像330。源图像330是已经用一种或多种选择的组织化学染色剂染色的切片的图像。源图像330由转换控制器370在转换阶段315内获得。转换控制器370包括用于使用一个或多个经训练的转换模型360来将源图像330转换成具有目标图像的特征的新图像375的程序指令。目标图像的特征与已经用一种或多种选定的IHC染色剂染色的切片的图像相关联。转换包括：(i)将随机生成的噪声向量和来自源图像330的潜在特征向量作为输入数据输入到生成器模型(转换模型360的一部分)中；(ii)通过生成器模型，生成新图像375；(iii)将新图像375输入到鉴别器模型(模型360的另一部分)中；以及通过鉴别器模型，生成新图像375为真还是假的概率(例如，1和0之间的数字)，其中真表示该图像具有与目标图像的特性类似的特性，并且假表示该图像不具有与目标图像的特性类似的特性。
在一些情况下，在分析阶段320内新图像375被传输到分析控制器380。分析控制器380包括用于使用一个或多个图像分析模型365分来析新图像375内的生物样品的程序指令；以及基于分析输出分析结果385。分析新图像375内的生物样品可包括基于新图像375内的区域、新图像375内的一个或多个细胞和/或新图像375中除了细胞的对象来提取测量值。基于区域的测量可以包括最基本的评估，例如，量化某种染色(例如，化学或IHC染色)的区域(2维)、脂肪液泡的区域或载玻片上存在的其他事件。基于细胞的测量旨在识别和枚举对象，例如细胞。这种对个别细胞的识别使后续的亚细胞区室评估成为可能。最后，算法可用于评估可能不由个别细胞组成的组织切片上存在的事件或对象。在某些情况下，图像分析算法被配置为定位细胞或亚细胞结构，并提供细胞染色、形态和/或架构的定量表示，该定量表示可以最终用于支持诊断和预测。在一些情况下，图像分析算法被专门配置用于分析具有目标图像特征的图像(例如，已经被IHC染色的切片的图像)。例如，对新图像375的分析可以包括从新图像375计算由至少一种IHC染色剂所靶向的抗原的表达水平。在另一个示例中，对新图像375的分析可以包括从新图像375计算基于此类表达水平的评分(例如，HER2评分)。
虽然未明确示出，但是应当理解，计算环境300可以还包括与开发者相关联的开发者装置。从开发者设备到计算环境300的部件的通信可指示将用于模型的输入图像的类型、将使用的模型的数量和类型、每一个模型的超参数(例如，学习速率和隐藏层的数量)、格式化数据请求的方式、将使用的训练数据(例如，以及获得对训练数据的访问的方式)和将使用的验证技术和/或将配置控制器处理的方式。
可用于训练生成器网络410的cGAN模型400的一个特定示例是Pix2Pix GAN。图7示出了cGAN模型400的实现的示例，其使用Pix2Pix GAN 700来训练生成器网络710以将H&E染色的肿瘤切片的图像转译成IHC染色(例如，HER2-IHC染色)的肿瘤切片的合成图像。如图7所示，生成器网络710使用U-Net架构来实现，其包括具有对瓶颈层的输入进行渐进式下采样的层的编码器，以及具有对瓶颈输出进行渐进式上采样以产生输出的层的解码器。如图7所示，U-Net还包括具有相同大小特征图的编码器层和解码器层之间的跳跃连接；这些连接将编码器层的特征图的通道与相应解码器层的特征图的通道连接起来。在特定示例中，经由在生成的图像与预期输出图像(例如，分别在图7中的“预测图像”和“基准真值”)之间测量的L1损失来更新生成器网络710。
一般来说，使用Pix2Pix GAN需要已经配准了将用于训练生成器网络的匹配的图像斑块对(例如，在像素级别)。图8示出了针对示例性过程800的流程图，该示例性过程如本文所述从匹配的图像对产生匹配和配准的图像斑块对(例如，用于训练和/或验证)。过程800可以由预处理阶段390进行。参考图8，在框804处，粗略地对准匹配图像对的低分辨率版本。图9示出了通过将转换矩阵MC(例如，包括转译和/或旋转)应用于H&E染色切片的图像IH&E的低分辨率版本以将其与IHC染色切片的注释图像IIHC对准来进行此类粗对准的示例。转换矩阵MC可以基于例如要对准的每个图像中的组织的轮廓来自动计算。
在框808，从粗略对准的图像对的感兴趣区域(ROI)提取图块(例如，通过将网格投影到覆盖注释的每个图像上，并且从每个图像提取对应的图块)。图10示出了来自图像IIHC的ROI的尺寸为2048×2048像素的图块PIHC和来自图像IH&E的尺寸为2048×2048像素的对应图块PH&E的示例。在框812处，所提取的图块对的全分辨率版本被精细地对准。此类精细对准可以包括例如对来自图像之一(例如，IH&E)的图块进行缩放、去歪斜和/或变形，以将其配准到来自另一图像(例如，IIHC((如上所述的参考图像))的对应图块。在框816处，将精细对准的图块拼接在一起以获得配准图像对；在框820，将每个配准的图像分割成斑块(例如，尺寸为128×128、256×256或另一尺寸)；以及在框824，组合来自每个配准图像的匹配斑块以获得训练图像。图11从上到下示出了将每个图像的精细对准的图块拼接在一起以获得配准图像对、以及组合来自每个配准图像的匹配斑块以获得一组训练图像的过程。图12示出了用于使用Pix2Pix GAN实现来训练生成器网络410以将H&E染色的切片的图像转换为HER-IHC染色的切片的合成图像的训练数据集的示例，其中每个训练图像用其部件HER-IHC染色的斑块的HER2评分来标记。
可用于训练生成器网络410的cGAN模型400的另一个特定示例是包括多个生成器网络和多个鉴别器网络的Cycle-GAN。图13示出了Cycle-GAN中的生成器网络GX和GY以及鉴别器网络DX和DY的表示。在此示例中，Y域对应于描绘已被IHC染色的样品的图像，并且X域对应于描绘已被组织化学染色的样品的图像。
图14示出了如本文所描述的循环-GAN的应用中的生成器和鉴别器网络之间的流程。Cycle-GAN包括X到Y生成器网络GY 1424(将被训练成为生成器网络410)并且还包括Y到X生成器网络GX 1420，其被配置和训练以将IHC染色的样品的图像转换为组织化学染色的样品的图像。生成器网络GX 1420可以包括一个或多个卷积层并且可以包括U-net或V-net。在一些情况下，生成器网络GX 1420包括特征提取编码器、转换器和解码器，每个都具有一个或多个卷积层。生成器网络GX 1420的架构和GY 1424的架构可以相同。
Cycle-GAN包括鉴别器网络DX 1432，其鉴别描绘组织化学染色的样品的真实图像和假图像(例如，真实组织化学染色的图像1412和假组织化学染色的图像1416)；并且Cycle-GAN还包括另一个鉴别器网络DY 1428，其鉴别描绘IHC染色的样品的假图像和真实图像(例如，真实IHC染色的图像1404和假IHC染色的图像1408)。鉴别器网络DX和DY中的每一个可以包括一个或多个卷积层和激活层，并且鉴别器网络DX的架构和DY的架构可以是相同的。
使用CycleGAN可以具有以下优点：不需要对匹配的图像对进行精细配准(例如，如本文参考图8所描述的图像IH&E和IIHC的精细配准)来生成训练数据。然而，当使用Pix2PixGAN实现在配对的配准图像的图像斑块上训练生成器网络410时，获得了更好的结果。
图15A示出了将源图像(例如，来自待处理的源图像集的源图像)转换成具有类似于目标图像的特征的新图像(例如，待生成的新图像集的新图像)的示例性过程1500的流程图。过程1500可以使用一个或多个计算系统、模型和网络(例如，如本文所描述的参考图3、4和7)来进行。参考图15A，在框1504处，访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像。在框1512，通过使用生成器网络处理输入图像来生成合成图像。合成图像描绘了已经用靶向第一抗原的至少一种IHC染色剂染色的组织切片。生成器网络已使用包括多对图像的训练数据集进行训练，其中每对图像包括已经用至少一种组织化学染色剂染色的组织的第一切片的图像，以及已经用至少一种IHC染色剂染色的组织的第二切片的图像。在框1516，输出合成图像。在框1520，接收基于合成图像中描绘的第一抗原的表达水平的输入。例如，可以经由键盘、触摸屏等从用户接收输入。在一些实施例中，过程1500还包括从合成图像确定基于第一抗原的表达水平的值。例如，可以由经训练的网络来进行该确定。
图15B示出了将源图像(例如，来自待处理的源图像集的源图像)转换成具有类似于目标图像的特征的新图像(例如，待生成的新图像集的新图像)的另一个示例性过程1502的流程图。过程1500可以使用一个或多个计算系统、模型和网络(例如，如本文所描述的参考图3、4和7)来进行。参考图15B，在框1504处，访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像。在框1512，通过使用生成器网络处理输入图像来生成合成图像。生成器网络已经使用包括多对图像的训练数据集进行训练。从合成图像确定至少一种IHC染色剂所靶向的抗原的表达水平。在框1516，输出合成图像。在框1524，从合成图像生成基于第一抗原的表达水平的值。
在过程1500或1502的一些实施例中，组织化学染色剂是苏木精和伊红。
在过程1500或1502的一些实施例中，第一抗原为肿瘤相关抗原。例如，第一抗原可以为人表皮生长受体2(HER2)。在这种情况下，经接收的输入值和/或生成值可以为HER2评分。
在过程1500或1502的一些实施例中，将所述生成器网络以生成对抗网络(例如，cGAN、Pix2Pix GAN或CycleGAN)的一部分进行训练。
在过程1500或1502的一些实施例中，对于多对图像中的每一对图像，将第一切片的图像拼接到第二切片的图像。在这种情况下，对于多对图像中的每一对图像，第一切片的图像可以在被拼接到第二切片的图像之前与第二切片的图像进行配准。
根据本公开的方法可以被实现来将可能容易获得的组织化学染色的样品的图像转换为IHC染色的样品的合成图像(非虚拟获得可能更加困难、昂贵和/或耗时)。此类方法可用于例如能够使用H&E和合成IHC数据来协助病理学家有效诊断癌症(例如，乳腺癌)亚型。此类方法可以作为快速筛选过程的关键部分来实现，以鉴定其中表达特定生物标志物的样品，而无需进行实际的IHC染色。此外，此类“虚拟染色”技术还可以与其他人工智能(AI)技术相结合，以增强AI系统的真实性(例如，增强算法输出的可解释性和真实性)。更进一步，本文描述的图像转换方法可用于生成用于算法验证和训练的大量图像数据(例如，大量合成的HER2-IHC图像)，从而减少算法开发的成本和时间。
图16示出了上表中所示的四个HER2评分中的每一个的示例，已被H&E染色的肿瘤切片的图像和相同肿瘤的附近切片的图像的实际匹配对已经进行HER2-IHC染色并给出显示的HER2评分。使用7,472对尺寸为128×128像素的图像斑块(使用四种不同的HER2评分)来训练和测试本文所述的系统的Pix2Pix实现。还使用1,900对尺寸为256×256像素的图像斑块(使用四种不同的HER2评分)来训练和测试Pix2Pix实现。训练和测试数据集分别划分为使用80％和20％，并且GAN网络的参数为Adam优化器，该优化器学习率为0.0002，且epoch数分别为100和200。
图17A和17B、18A和18B、19A和19B以及20A和20B分别示出了针对四个HER2评分中的每一个的两个不同图像斑块尺寸的输入(H&E)、目标(HER-IHC)和输出(合成HER-IHC)图像。在随机组装的真实和合成HER-IHC图像的测试中，证明了合成图像是无法由人类病理学家与真实HER-IHC图像区分开的(病理学家正确识别为真实或合成的测试集的百分比：45.8％)并且合成图像可以代表不同类别的HER2评分，尤其是强HER2强度水平，与病理学家的符合率很高(与病理学家的一致性为87.5％)。
V.其他注意事项
本公开的一些实施例包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，该指令在一个或多个数据处理器上被执行时使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为此类修改和变化在由所附权利要求限定的本发明范围内。
该描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选的示例性实施例的描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施例。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施例。

Claims (27)

1.一种图像转换的方法，所述方法包括：
访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；
通过使用生成器网络处理所述输入图像来生成合成图像，所述生成器网络已经使用包括多对图像的训练数据集进行训练；以及
输出所述合成图像；以及
接收基于来自所述合成图像的第一抗原的表达水平的输入，其中所述合成图像描绘已经用靶向所述第一抗原的至少一种免疫组织化学染色剂(IHC染色剂)染色的组织切片，并且
其中，对于所述多对图像中的每一对图像，所述对包括：
已经用所述至少一种组织化学染色剂染色的组织的第一切片的图像，以及
已经用所述至少一种IHC染色剂染色的所述组织的第二切片的图像。
2.根据权利要求1所述的方法，其中经接收的输入为人表皮生长受体2(HER2)评分。
3.根据权利要求1和2中任一项所述的方法，其中所述方法进一步包括从所述合成图像确定基于所述第一抗原的所述表达水平的值。
4.根据权利要求3所述的方法，其中由经训练的网络来进行所述确定。
5.根据权利要求3和4中任一项所述的方法，其中经确定的值为人表皮生长受体2(HER2)评分。
6.一种图像转换的方法，所述方法包括：
访问描绘已经用至少一种组织化学染色剂染色的组织切片的输入图像；
通过使用生成器网络处理所述输入图像来生成合成图像，所述生成器网络已经使用包括多对图像的训练数据集进行训练；
输出所述合成图像；以及
从所述合成图像生成基于第一抗原的表达水平的值，
其中所述合成图像描绘已经用靶向所述第一抗原的至少一种免疫组织化学染色剂(IHC染色剂)染色的组织切片，并且
其中，对于所述多对图像中的每一对图像，所述对包括：
已经用所述至少一种组织化学染色剂染色的组织的第一切片的图像，以及
已经用所述至少一种IHC染色剂染色的所述组织的第二切片的图像。
7.根据权利要求6所述的方法，其中经生成的值为人表皮生长受体2(HER2)评分。
8.根据权利要求1至7中任一项所述的方法，其中所述组织化学染色剂为苏木精和伊红。
9.根据权利要求1至8中任一项所述的方法，其中所述第一抗原为肿瘤相关抗原。
10.根据权利要求9所述的方法，其中所述第一抗原为人表皮生长受体2(HER2)。
11.根据权利要求1至10中任一项所述的方法，其中将所述生成器网络以生成对抗网络的一部分进行训练。
12.根据权利要求1至11中任一项所述的方法，其中，对于所述多对图像中的每一对图像，将所述第一切片的所述图像拼接到所述第二切片的所述图像。
13.根据权利要求12所述的方法，其中，对于所述多对图像中的每一对图像，将所述第一切片的所述图像与所述第二切片的所述图像进行配准。
14.根据权利要求1至13中任一项所述的方法，其中所述组织化学染色剂不包括任何抗体。
15.根据权利要求1至14中任一项所述的方法，其中所述组织化学染色剂不包括任何具有大于一百千道尔顿的分子量的试剂。
16.根据权利要求1至15中任一项所述的方法，其中所述组织化学染色剂不包括任何具有大于五千道尔顿的分子量的试剂。
17.根据权利要求1至16中任一项所述的方法，其中所述组织化学染色剂不包括任何具有大于两千道尔顿的分子量的试剂。
18.根据权利要求1至17中任一项所述的方法，其中所述合成图像是无法由人类读取者与描绘实际上已经用所述至少一种IHC染色剂染色的组织切片的图像区分开的。
19.根据权利要求1至18中任一项所述的方法，其中所述生成器网络被实现为U-Net。
20.根据权利要求1至19中任一项所述的方法，其中所述生成器网络被实现为编码器-解码器网络。
21.根据权利要求1至20中任一项所述的方法，其中经由在通过所述生成器网络的图像与预期输出图像之间测量的L1损失来更新所述生成器网络。
22.根据权利要求1至21中任一项所述的方法，其进一步包括：由使用者基于所述合成图像来确定对受试者的诊断。
23.根据权利要求22所述的方法，其进一步包括由所述使用者基于(i)所述合成图像和/或(ii)对所述受试者的所述诊断来施用使用化合物的治疗。
24.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器进行根据权利要求1和6中任一项所述的方法。
25.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器进行根据权利要求1至23中任一项所述的方法。
26.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行根据权利要求1和6中任一项所述的方法。
27.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行根据权利要求1至23中任一项所述的方法。
CN202280040547.7A 2021-04-14 2022-04-14 将组织化学染色图像转换成合成免疫组织化学(ihc)图像 Pending CN117425912A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163174981P 2021-04-14 2021-04-14
US63/174,981 2021-04-14
PCT/US2022/024879 WO2022221572A1 (en) 2021-04-14 2022-04-14 Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images

Publications (1)

Publication Number Publication Date
CN117425912A true CN117425912A (zh) 2024-01-19

Family

ID=81850045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280040547.7A Pending CN117425912A (zh) 2021-04-14 2022-04-14 将组织化学染色图像转换成合成免疫组织化学(ihc)图像

Country Status (5)

Country Link
US (1) US20240046473A1 (zh)
EP (1) EP4323951A1 (zh)
JP (1) JP2024521240A (zh)
CN (1) CN117425912A (zh)
WO (1) WO2022221572A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024108104A1 (en) * 2022-11-18 2024-05-23 Siemens Healthcare Diagnostics Inc. Systems and methods for classifying blood cells

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7308848B2 (ja) * 2018-02-12 2023-07-14 エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト デジタル病理画像の変換
WO2019191697A1 (en) * 2018-03-30 2019-10-03 The Regents Of The University Of California Method and system for digital staining of label-free fluorescence images using deep learning

Also Published As

Publication number Publication date
EP4323951A1 (en) 2024-02-21
WO2022221572A1 (en) 2022-10-20
WO2022221572A4 (en) 2022-12-08
US20240046473A1 (en) 2024-02-08
JP2024521240A (ja) 2024-05-29

Similar Documents

Publication Publication Date Title
JP7250793B2 (ja) 生体画像における連帯的細胞および領域分類のための深層学習システムならびに方法
KR102583103B1 (ko) 계산 검출 방법들을 위해 전자 이미지들을 처리하기 위한 시스템들 및 방법들
US11972859B2 (en) Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies
CN113454733A (zh) 用于预后组织模式识别的多实例学习器
US20220351860A1 (en) Federated learning system for training machine learning algorithms and maintaining patient privacy
JP2020502534A (ja) 一次染色および免疫組織化学画像に基づくコンピュータ採点
JP7422235B2 (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
JP7427080B2 (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
US20240112341A1 (en) Digital synthesis of histological stains using multiplexed immunofluorescence imaging
US20240046473A1 (en) Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images
WO2023121846A1 (en) Adversarial robustness of deep learning models in digital pathology
Selcuk et al. Automated HER2 Scoring in Breast Cancer Images Using Deep Learning and Pyramid Sampling
US20230230242A1 (en) Correcting differences in multi-scanners for digital pathology images using deep learning
US20240320562A1 (en) Adversarial robustness of deep learning models in digital pathology
WO2024081150A1 (en) Expression-level prediction for biomarkers in digital pathology images
WO2024118842A1 (en) Systems and methods for detecting tertiary lymphoid structures
WO2024025823A1 (en) Representative datasets for biomedical machine learning models
CN117940971A (zh) 用于预测双重数字病理学图像中的表型的机器学习技术
WO2024118523A1 (en) Consensus labeling in digital pathology images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination