CN111699510A - 数字病理学图像的变换 - Google Patents

数字病理学图像的变换 Download PDF

Info

Publication number
CN111699510A
CN111699510A CN201980012685.2A CN201980012685A CN111699510A CN 111699510 A CN111699510 A CN 111699510A CN 201980012685 A CN201980012685 A CN 201980012685A CN 111699510 A CN111699510 A CN 111699510A
Authority
CN
China
Prior art keywords
image
biomarker
training
tissue sample
stain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980012685.2A
Other languages
English (en)
Inventor
E·克莱曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN111699510A publication Critical patent/CN111699510A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明涉及一种识别组织样品(324)中生物标记的方法(100)。所述方法包括接收(102)描绘组织样品的采集到的图像(202、204、316)，所述采集到的图像的像素强度值与自发荧光信号或者X射线感生信号或者非生物标记特异性染色剂的信号或者被适配用于选择性地对第一生物标记进行染色的第一生物标记特异性染色剂的信号相关。所述采集到的图像被输入(106)到经训练的机器学习逻辑‑MLL(308)，所述机器学习逻辑将所述采集到的图像自动变换(108)为输出图像(206、208、318)，所述输出图像突出显示被预测包括第二生物标记的组织区域。

Description

数字病理学图像的变换
技术领域
本发明涉及图像分析领域，并且更具体地涉及数字病理学领域。
背景技术
已知几种图像分析方法，所述方法可以被用于利用有关细胞和其他组织成分的生化组成的额外信息来辅助诊断过程。总体上，计算机化的组织病理学图像分析将通过相机采集到的单通道图像或多通道图像作为其输入，并且试图模拟人工分析和/或提供附加的定量信息以辅助诊断。
数字病理学的主要缺点之一是通常需要对组织进行染色以揭示相关的生物学信息，例如揭示细胞边界、细胞类型、组织类型或某些生物标记的数量或分布。染色是易于出错、耗时且昂贵的过程。组织本身是稀缺且昂贵的，并且制备和染色组织样品所需的时间和材料也是如此。通常，关于可用组织和预算的限制会减少对样品执行检查的次数，即使对每个样本上的多个染色进行分析以更好地了解疾病是有益的。
例如，为了基于组织样品图像的图像分析来确定特定肿瘤的阶段，可能需要用多种生物标记特异性染色剂对所述样品染色。组织样品的生物标记特异性染色通常涉及选择性结合目标生物标记的第一抗体的使用。特别地，这些第一抗体以及染色规程的其他成份可能是昂贵的，并且因此出于成本原因，在许多应用场景中，特别是在高通量筛选中，可能会排除使用可用的图像分析技术。
通常，用背景染色剂(例如，苏木精和伊红染色剂(“H&E”或“HD”染色剂))来染色组织样品，以便揭示细胞和细胞核的大规模的组织形态以及边界。除背景染色剂之外，还可以根据待回答的生物医学问题(例如，肿瘤的分类和分级、组织中某些细胞类型的数量和相对分布的检测等)应用多种生物标记特异性染色剂。
发明内容
本发明的目的是为了提供一种识别组织样品中的生物标记的改进方法以及一种如独立权利要求中所指定的相应的图像分析系统。在从属权利要求中给出了本发明的实施方案。如果本发明的实施方案不是互相排斥的，则可以彼此自由地组合。
一方面，本发明涉及一种识别组织样品中生物标记的方法。所述方法包括通过图像分析系统接收采集到的图像。所述采集到的图像是已经由图像采集系统采集的图像。所述采集到的图像是以下类型之一：
-所述组织样品的数字图像，所述数字图像的像素强度值与所述组织样品的自发荧光信号的强度或X射线感生信号的强度相关；或者
-所述组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂(例如，苏木精、H&E等)的量相关；或者
-所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地染色所述组织样品中包含的第一生物标记；或者
-所述组织样品的数字图像，其中，一些像素的像素强度值与非生物标记特异性染色剂(例如苏木精或H&E等)的强度相关，并且其中，其他像素的像素强度值与一个或多个第一生物标记特异性染色剂(例如，Ki67特异性染色剂)的强度相关。
所述方法进一步包括提供经训练的机器学习逻辑-MLL。所述MLL是已经被训练以(显式地或隐式地)识别被预测包括第二生物标记的组织区域的机器学习逻辑。所述方法进一步包括将所接收的采集到的图像输入到所述MLL中，并且通过所述MLL将所述采集到的图像自动地变换成输出图像。所述输出图像突出显示了被预测包括所述第二生物标记的组织区域。例如，MLL可以作为存储在便携式或非便携式数据存储装置(例如，DVD或USB记忆棒或硬盘驱动器)上的软件产品提供，或者可以经由网络(例如，因特网或实验室的内联网)下载。同样地，可以通过训练MLL的未经训练版本来提供MLL。
通常，已经关于描绘组织样品的训练图像对MLL进行了训练，所述组织样品具有与采集到的图像中描绘的组织样品相同或相似的类型。通常，在训练图像中描绘的组织样品像在采集到的图像中所描绘的组织样品一样，已经用相同的染色剂并且用相同或相似的染色规程进行了染色。
在采集到的图像中描绘的由第一生物标记特异性染色剂选择性染色的组织样品中的第一生物标记可以称为“经验生物标记”或“观察到的生物标记”，因为该生物标记的存在实际上是借助于所述第一个生物标记特异性染色剂经验显示的。第二生物标记是优选不被所述第一生物标记特异性染色剂染色的生物标记。第二生物标记也可以被称为“感兴趣的生物标记”或“MLL-生物标记”，因为MLL是已经基于一些训练图像被训练以预测该“第二生物标记/感兴趣的生物标记/MLL-生物标记”的存在的机器学习逻辑。
这可能是有利的，因为尽管被用作输入的采集到的图像描绘了根本没有被染色或被一个或多个染色剂染色的样品，但是方法可以生成突出显示存在的第二生物标记的输出图像，所述一个或多个染色剂被适配用于选择性地染色一个或多个对应的第一生物标记，而不是所述第二生物标记。因此，通过提供关于采集到的图像中隐式包含的信息进行训练的MLL，在无需利用被适配用于选择性地染色第二生物标记的染色剂对所述组织样品进行染色的情况下，即可获得有关组织中所述第二生物标记的存在的显式信息。因此，可以节省宝贵的时间和用于选择性地染色第二生物标记的染色剂的成本。申请人已经惊奇地观察到，例如在自发荧光图像、从X射线显微镜采集到的图像、已经被非生物标记特异性染色剂染色的样品图像(例如H&E IHC图像)以及已经被一个或多个染色剂染色的样品的图像中包含的视觉信息足以允许已经关于这类图像被训练的MLL预测第二生物标记的位置，所述一个或多个染色剂选择性地染色一个或多个对应的第一生物标记(不包含所述第二生物标记)。在不受任何理论束缚的情况下，申请人相信，由组织的本质特征(例如，生成特定自发荧光信号的特征)提供的视觉信息或由非特异性染色剂或第一生物标记特异性染色剂提供的视觉信息在许多情况下足以生成对第二生物标记存在的可靠的显式预测或隐式预测，即使在所述组织样品尚未被相应的第二生物标记特异性染色剂染色的情况下。所述视觉信息可能不足以允许人类执行该预测。例如，特定生物标记的存在可能会修改人眼无法识别和/或人脑无法解释的细胞或细胞器、细胞膜形状或其他形态特征的对比度，因为各种视觉特征与特定生物标记的存在之间的相互关系可能太复杂，以至于人类无法理解。然而，申请人已经观察到可以训练未经训练的MLL，使得经训练的MLL能够基于组织的数字图像来预测所述组织中第二生物标记的存在，所述数字图像仅示出如自发荧光的一些组织本质特征和/或示出一种或多种其他(第一)生物标记的存在和分布和/或示出可以通过现今在免疫组织化学(IHC)环境中广泛使用的非生物标记特异性染色剂揭示的组织特征。
根据实施方案，MLL是已经被训练以(显式地或隐式地)识别采集到的图像中被预测包括第二生物标记的组织区域的机器学习逻辑。
根据实施方案，通过图像变换生成的图像看起来像由用于采集输入图像的相同类型的图像采集系统生成的图像。例如，根据采集到的自发荧光图像生成的输出图像可能看起来像原始自发荧光图像，并且另外包括指示第二生物标记的突出显示区域。根据采集到的X射线图像/明场显微镜图像/荧光图像生成的输出图像看起来像原始的X射线图像/明场显微镜图像/荧光图像，并且另外包括指示所述第二生物标记的突出显示区域。
根据其他实施方案，通过图像变换生成的图像看起来像由用于采集输入图像的不同类型的图像采集系统生成的图像。例如，采集到的图像可以是通过荧光显微镜采集的图像(“荧光图像”)，并且输出图像可以是突出显示一种或多种第二生物标记的虚拟H&E图像。
组织样品的特征(如“自发荧光”或“X射线吸收”或“X射线透射”或“X射线感生荧光”)也可以被称为所述组织样品的“特征性能”或“固有特性”。
在一些实施方案中，可以训练MLL，以使得显式识别出组织样品的被预测包括第二生物标记的区域。这意味着这些区域的坐标可以由MLL计算，并且所述坐标可以或可以不作为提供给使用者的输出。根据一些实施例，输出图像与采集到的图像基本上相同或相似，唯一的不同是突出显示了描绘组织样品区域的图像区域，所述组织样品区域被预测包括第二生物标记。优选地，执行突出显示，以使得突出显示的组织区域看起来像已经被常规生物标记特异性染色剂染色的组织区域，所述常规生物标记特异性染色剂被适配成用于选择性地染色第二生物标记。缺乏第二生物标记的所有其他图像区域可以基本上保持不变。
根据一些其他实施方案，可以对MLL进行训练，以使得仅隐式地识别组织样品的被预测包括第二生物标记的区域。这意味着MLL可能不会显式计算这些区域的坐标，并且因此不会将所述坐标作为提供给使用者的输出。根据一些实施例，输出图像是虚拟染色图像，所述虚拟染色图像在描绘被预测包括第二生物标记的组织样品区域中以及还在所有其他区域中与采集到的的图像不同。例如，被预测包括第二生物标记的组织样品区域可以被突出显示，并且其他图像区域可以具有与采集到的图像不同的背景颜色和/或对比度。优选地，执行图像变换，以使得前景图像看起来像已经被常规生物标记特异性染色剂染色的组织样品的典型图像，所述常规生物标记特异性染色剂被适配成用于选择性地染色第二生物标记。因此，可以训练MLL以将完整的采集到的图像变换成相应的“被虚拟染色的”输出图像，由此修改了所有图像区域。
例如，采集到的图像可以是复染色组织样品图像，例如，H&E(苏木精和曙红)染色的组织样品图像或苏木精染色的组织样品图像(将所有细胞核复染色成蓝色)。然后，将经训练以检测复染组织图像中的两个第二生物标记(Ki67和CD3)的MLL应用于采集到的图像，并且生成虚拟染色图像来作为输出图像。虚拟染色图像描绘了图像中被预测包括(多个)第二生物标记(例如Ki67生物标记和CD3生物标记)的区域，并且将设置输出图像中相应像素的颜色和强度值，使得所述像素看起来好像它们将代表由CD3特异性染色剂或Ki67特异性染色剂生产的信号。另外，还修改了图像中所有其他像素的颜色和强度值，因为输出图像可以代表未被H&E染色剂染色，而是已经被CD3特异性染色剂和Ki67特异性染色剂染色的组织样品的图像。由于在输出图像中不存在曙红染色剂，所以所述输出图像的背景区域中的图像像素将不会具有曙红染色的组织的典型颜色。因此，采集到的图像到输出图像的变换至少包括与对应于第二生物标记的像素的变换，但是典型地/优选地，另外还包括对其他像素也进行变换，以使得所述输出图像看起来像已经被染色规程染色的组织的图像，所述染色规程被适配用于对感兴趣的一种或多种第二生物标记染色。
根据实施方案，组织样品是尚未被适配用于选择性地染色第二生物标记的染色剂染色的样品。因此，采集到的图像不包含由选择性地染色第二生物标记的染色剂生成的任何信号。
根据实施方案，采集到的数字图像是组织样品图像，所述组织样品图像的像素强度值与两种或更多种第一生物标记特异性染色剂的量相关，每个第一生物标记特异性染色剂被适配用于选择性地染色所述组织样品中包含的相应的第一生物标记，由此第一生物标记都不是第二生物标记。另外或替代性地，采集到的数字图像是组织样品图像，所述组织样品图像的像素强度值与组织自发荧光信号相关。仍替代性地，采集到的数字图像是由X射线显微镜生成的组织样品的图像。
根据实施方案，MLL是已经被训练以(显式地或隐式地)识别被预测包括两种或更多种第二生物标记的组织区域的机器学习逻辑。输出图像突出显示了被预测包括所述两种或更多种第二生物标记中的任何一种的组织区域，由此优先地，例如通过模拟通常使用的或可以被用于选择性地染色所述两种或更多种第二生物标记的染色剂及其相应的颜色来不同地突出显示所述两种或更多种第二生物标记中的每一种。
根据实施方案，输出图像是虚拟染色图像。变换包括设置被预测包括第二生物标记的图像区域的像素强度值，以使得所述强度值光学地模拟第二生物标记特异性染色剂的存在。所述第二生物标记特异性染色剂是被适配用于选择性地染色第二生物标记的染色剂。
根据实施方案，采集到的图像是组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关。所述第一生物标记特异性染色剂是被适配用于选择性地染色第一生物标记的染色剂。所述第一生物标记选择性地包含在特定细胞类型中。第二生物标记选择性地包含在该细胞类型的多种已知子类型中的一种中。
根据一个实施方案，采集到的图像是描绘了已经被H&E染色剂染色的组织样品的明场显微镜图像。输出图像是模拟(“虚拟”)荧光图像，所述模拟荧光图像突出显示了被预测包括生物标记FAP(成纤维细胞激活蛋白α)和/或被预测包括经由panCK-抗体偶联荧光团可视化的细胞角蛋白的区域。已经观察到的是，采集到的H&E图像中包含的信息足以训练MLL，使得经训练的MLL能够将所述采集到的图像变换为正确突出显示包括FAP和/或细胞角蛋白的区域的图像。
根据另一个实施方案，采集到的图像是荧光显微镜图像，所述荧光显微镜图像描绘了已经被选择性结合生物标记Ki67的第一荧光染色剂和选择性结合生物标记CD8的进一步第一荧光染色剂染色的组织样品。输出图像是模拟(“虚拟”)荧光图像，所述模拟荧光图像突出显示了被预测包括生物标记FAP和/或被预测包括经由panCK-抗体偶联荧光团可视化的细胞角蛋白的区域。已经观察到的是，突出显示CD8和Ki67的采集到的图像中包含的信息足以训练MLL，使得经训练的MLL能够将所述采集到的图像变换为正确突出显示包括FAP和/或细胞角蛋白的区域的图像。
这可能是有利的，因为方法可以允许对细胞类型进行子分类，而无需使用通常被认为是执行子分类所必需的所有生物标记特异性染色剂对样品进行染色。例如，被H&E染色的BF图像允许病理学家识别组织中的T细胞，但是不允许病理学家识别T细胞的子类(例如，杀伤细胞(killer cell)、辅助细胞(helper cell)、巨噬细胞等)。为了允许更细粒度的数字图像分析，样品必须另外被生物标记特异性染色剂(例如，与生物标记(如CD4、CD3、CD3和其他蛋白质)选择性结合的染色剂)染色。因此，基于数字病理学中用于细胞分类的现有技术方法，需要执行一种或多种另外的染色程序。这意味着从数字病理学图像中提取更细粒度的信息需要额外的时间和努力。相反，申请人已经观察到，通过在被H&E染色的组织样品图像上施加经训练的MLL，可以容易地识别上述细胞类型(杀伤细胞、辅助细胞、巨噬细胞)。
根据进一步实施方案，第二生物标记是已知选择性地包含在多种已知免疫细胞子类型之一中的生物标记。特别地，所述第二生物标记可以是以下之一：CD4(即，其存在指示包括该生物标记的细胞是T辅助细胞的生物标记)或CD8(即，其存在指示包括该生物标记的细胞为细胞毒性T细胞的生物标记)或CD3(用于所有T细胞的标记)或Foxp3(即，其存在指示包括该生物标记的细胞是调节性T细胞的生物标记)。基于被H&E染色的采集到的图像，训练MLL以识别被预测包括以下第二种生物标记中的任何一种的组织区域：CD4、CD8、CD3、Foxp3。
根据仍进一步的实施方案，训练MLL以基于被H&E染色的采集到的图像识别被预测包括以下第二种生物标记中的任何一种的组织区域：CD4、CD3和CD8；输出图像突出显示被预计包含CD3生物标记、CD4生物标记或CD8生物标记的任何区域。
根据另一个实施例，基于被H&E染色的采集到的图像来训练MLL以识别被预测包括FAP生物标记的组织区域和被预测包括一种或多种肿瘤特异性细胞角蛋白的组织区域；输出图像突出显示被预测包括所述FAP生物标记的区域(并且因此突出显示选择性表达FAP蛋白的基质细胞)，并且用一种或多种不同的颜色突出显示被预测包括细胞因子的区域(并且因此突出显示表达所述细胞角蛋白的肿瘤细胞)。
根据实施方案，采集到的图像是组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关。所述第一生物标记特异性染色剂被适配用于选择性地染色第一生物标记。所述第一生物标记选择性地包含在特定第一细胞类型中。第二生物标记是已知被选择性地包含在该第一细胞类型的多种已知子类型中的一种的生物标记，或者是已知被选择性地包含在不同于所述第一细胞类型的第二细胞类型中的生物标记。
根据另一个实施方案，采集到的图像是未染色的组织样品的荧光图像(即，自发荧光图像)，并且输出图像是虚拟生成的被H&E染色的图像，其中，突出显示了被预测包括如FAP的生物标记的区域。
根据另一个实施方案，采集到的图像是已经被多种特异性生物标记染色剂(例如CD3、CD8、CD4、pan-CK抗体标记的细胞角蛋白、Ki67和/或DAPI)染色的组织样品的多谱线荧光图像，并且输出图像是虚拟生成的被H&E染色的图像，其中，突出显示了被预测包括如FAP或细胞角蛋白(“CK”和“panCK”)的生物标记的区域。
根据另一个实施方案，采集到的图像是已经被多种特异性生物标记染色剂(例如，CD3、CD4、Ki67、FAP、PD1、和/或DAPI)染色的组织样品的多谱线荧光图像，并且输出图像是虚拟生成的选择性突出显示CD8标记和/或panCK标记和/或Foxp3标记和/或CD168标记和/或CD68标记和/或血管标记(例如，CD31)的荧光组织图像。
根据实施方案，采集到的图像是组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂的量相关。所述非生物标记特异性染色剂选自：H&E染色剂、苏木精、曙红、Genta、马森三色(Masson's Trichrome)、Gomori三色、阿利新蓝(AlcianBlue)、齐尔-尼尔森染色剂(Ziehl Neelsen stain)、Perls普鲁士、铁蓝、高碘酸希夫(PAS)、改良的GMS银染色剂、胭脂红、硝酸银、革兰氏染色剂、Carcade、指甲花、翼果提取物、月季提取物、甜菜提取物、红玫瑰提取物、三色染色剂、高尔基染色剂、甲苯胺蓝、具有荧光染色剂或酶促染色剂的免疫标记、Kluver-Barrera染色剂、Mallory的CT染色剂以及两种或多种所述染色剂的组合。
所述特征可能是有利的，因为上述染色剂在数字病理学中被广泛使用并且相对便宜。存在用于使用上述染色剂中的一些对组织进行染色的完善染色规程和甚至半自动系统或者全自动系统用于生成被染色的组织样品。
根据实施方案，采集到的图像是组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂是荧光染色剂。
例如，所述第一生物标记特异性染色剂可以以下各项中的任意一个：羟基香豆素(Hydroxycoumarin)、氨基香豆素(aminocoumarin)、甲氧基香豆素(methoxycoumarin)、NBD、R-藻红蛋白(PE)、PE-Cy5缀合物、PE-Cy7缀合物、Red 613、PerCP、TruRed、FluorX、荧光素、X-罗丹明、丽丝胺罗丹明B、Alexa Fluor染料、量子点、或任何其他荧光染色剂。
使用已经基于组织样品的图像被训练的MLL来识别第二生物标记可以是有利的，因为存在种类繁多的具有不同激发光谱和发射光谱的荧光染色剂，所述组织样品已经被一种或多种其他基于荧光的生物标记特异性染色剂染色。这些荧光染色剂常常可以与任何类型的第一抗体自由组合，以用于选择性地染色某些生物标记，并且因此被广泛用于数字病理学中。存在用于使用上述染色剂中的一些对组织进行染色的完善染色规程和甚至半自动系统或者全自动系统用于生成被染色的组织样品。
使用从已经被非生物标记特异性明场染色剂染色和/或被一种或多种荧光染色剂染色的样品中生成的采集到的图像可能是有利的，因为组织样品和活组织检查的荧光显微镜成像和明场显微镜成像已广泛用在医疗诊断中，例如用于诊断可疑的癌症。因此，组织学切片很可能被这些技术中的一种染色，并且使病理学家能够在经训练的MLL的帮助下更高效地识别肿瘤细胞、淋巴细胞、基质细胞和其他类型的细胞，而无需对染色规程(现在可能已经过时的一些染色步骤除外)进行重大修改。
本发明的实施方案可以(例如在药物开发中、在组织样品中不同细胞或隔室的定位和定量中)被用于新药物和医疗技术的研究和开发，以便了解药物作用模式和患者反应。
根据实施方案，方法进一步包括通过图像采集系统采集采集到的图像。图像采集系统可以是例如明场显微镜、荧光显微镜或X射线显微镜。明场显微镜可以被用于例如获取被一种或多种明场染色剂染色的组织样品(例如，被H&E染色的样品)的图像。荧光显微镜可以特别地被用于采集已经被一种或多种生物标记特异性染色剂染色的组织样品的图像，或者用于生成自发荧光图像，或者用于生成非生物标记特异性荧光染色剂图像，所述生物标记特异性染色剂由例如与荧光团直接或间接偶联的抗体组成。
X射线显微镜，特别是透射软X射线显微镜，也可以用于采集组织样品的数字图像。例如，组织的薄切片可以嵌入到包埋介质(例如，乙二醇甲基丙烯酸酯聚合物)中，并且可以以各种辐射剂量(通常以高达10格雷的剂量)用X射线照射(例如，参见Loo BW Jr等人的“Anew sample preparation method for biological soft X-ray microscopy:nitrogen-based contrast and radiation tolerance properties of glycol methacrylate-embedded and sectioned tissue(一种用于生物软X射线显微镜术的新样品制备方法：乙二醇甲基丙烯酸酯包埋和切片组织的氮基对比度和耐辐射性能)”，2001年10月；204(Pt1)：69-86)。与使用可见光的显微镜相比，X射线显微镜可以实现更高的光学分辨率。X射线的波长比可见光的波长短得多，因此X射线显微镜的光学分辨率(由衍射引起)的极限远远低于使用可见光的显微镜的衍射极限。通过这种技术采集的图像的对比度主要是基于组织的氮含量。可以通过获取氮边缘附近蛋白质的吸收光谱来校准测量。通过一些经训练的MLL可以将塑料包埋的软组织的切片的由X射线显微镜生成的图像变换为被虚拟染色的图像。根据其他实施方案，采集到的X射线图像是“水带(water band)”中的X射线图像，即，在其中主要对比度来自水分子(而不是氮)的X射线图像，例如参见PfannkuchF.、Hoder D.、
Figure BDA0002626139080000102
H.(1984)：“Possible Applications of X-Ray Microscopy in Pathology(X射线显微术在病理学中的可能应用)”，Schmahl G.、Rudolph D.(编辑)，X射线显微术，施普林格系列光学科学，第43卷，施普林格、柏林、海德堡，印刷ISBN 978-3-662-13547-1。
根据一些其他实施方案，采集到的X射线图像是通过波带片X射线显微镜(G.Schmahl、D.Rudolph、B.Niemann、0.Christ：X-ray microscopy of biologicalspecimens with a zone plate microscope(具有波带片显微镜的生物学样本的X射线显微术)Ann.NY.Acad.Sci.342,368–386(1980))或通过扫描X射线显微术(B.Niemann、D.Rudolph、G.Schmahl：The
Figure BDA0002626139080000101
x-ray microscopes(哥廷根X射线显微镜)，核仪器与方法208，367-371(1983))采集的X射线图像。X射线显微术目前被用于例如观察活细胞和用于观察细胞培养物单分子层，并特别是关于其功能，诸如细胞运动、吞噬作用、胞饮作用、胞饮泡排出、异常情况(例如，病理性吞噬作用抑制、形成病理性粒细胞的溶酶体酶分泌物缺乏等)下的分泌物。
机器学习方法(Approach)A(“监督学习”)
在下文中，描述了用于在训练过程中生成MLL的第一方法，所述第一方法可以被称为“监督学习”方法。然而，由于“监督的”和“非监督的”的区别有时被认为是易变的或渐进的，因此术语“监督的”和“非监督的”在下文中仅意味着非监督方法比监督学习方法需要较少的训练数据集中的信息。
根据实施方案，方法进一步包括生成经训练的MLL。生成包括通过图像采集系统采集多个第一训练图像。每个第一训练图像描绘相应的训练组织样品，并且是以下类型之一：
-训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度相关并且指示所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度；或者
-训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品中的非生物标记特异性染色剂的强度相关并且指示所述训练组织样品中的非生物标记特异性染色剂的强度；或者
-训练组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量的强度相关并且指示第一生物标记特异性染色剂的量的强度，所述第一生物标记特异性染色剂被适配用于选择性地染色包含在所述训练组织样品中的第一生物标记；或者
-训练组织样品的数字图像，其中，一些像素的像素强度值与非生物标记特异性染色剂(例如，H&E或苏木精的强度相关，并且其中，其他像素的像素强度值与一个或多个第一生物标记特异性染色剂(例如，Ki67特异性染色剂)的强度相关。
假如第一训练图像的像素强度是其像素强度指示非生物标记特异性染色剂或指示第一生物标记特异性染色剂的图像类型，则MLL的生成可以进一步包括洗涤训练组织样品以用于去除非生物标记特异性染色剂或第一生物标记特异性染色剂。
训练图像中描述的训练组织样品中的第一生物标记也可以被称为“经验性训练生物标记”或“观察到的训练生物标记”，因为该生物标记的存在实际上是借助于所述训练组织样品中的第一生物标记特异性染色剂来经验示出的。通过关于训练图像、该“经验训练生物标记”训练MLL，所述MLL能够预测此“经验训练生物标记”的存在为“第二生物标记/感兴趣的生物标记/MLL生物标记”，所述“第二生物标记/感兴趣的生物标记/MLL生物标记”在特定输入图像中的存在由经训练的MLL预测。
MLL的生成进一步包括用第二生物标记特异性染色剂染色训练组织样品。第二生物标记特异性染色剂被适配用于选择性地染色训练组织样品中的第二生物标记。MLL的生成进一步包括通过图像采集系统采集多个第二训练图像。每个第二训练图像描绘训练组织图像中的已经被第二生物标记特异性染色剂染色的相应的一个。MLL的生成进一步包括将第一训练图像和第二训练图像成对输入到MLL的未训练版本中。每对训练图像都描绘相同的训练组织样品，并且彼此成像素对准。MLL的产生进一步包括训练MLL，以使得所述MLL学习显式地或隐式地识别第二训练图像中的区域，所述区域描绘了训练组织样品中的被预测包括第二生物标记的组织区域，由此MLL使用描绘相同训练组织样品的第一训练图像中包含的强度信息来进行所述预测。
所述特征可以是有益的，因为将第一训练图像和第二训练图像成对输入到未训练的MLL中，由此将每对图像的像素彼此成像素对准以允许生成并且训练MLL，所述MLL能够将已经以与第一数字训练图像中的样本相同的方式被染色的任何输入图像变换为像被用于生成第二训练图像的样本一样的已经被染色的样本的图像。在训练期间向MLL提供了大量的训练信息，因为MLL可以为第一训练图像中的每个单独的像素学习“已变换的”图像中相应的像素的外观。由于图像对是成像素对准的，因此人类使用者不必手动注释第二训练图像中的被检测到第二生物标记的每个单独区域。而是，如果在第二训练图像中观察到相应的信号，则该信号可以被认为是可靠的、正确的信号，因为它是在样品已经被第二生物标记特异性染色剂染色之后从相机中获取的测量信号。因此，已经从相同样品中经验采集了两个图像的成对对准，但是在用不同的染色规程处理之后，可以在训练期间向MLL提供信息丰富的训练数据集。
在一些实施方案中，第一训练图像是描绘已经被多种生物标记特异性第一染色剂染色的样品的图像，每个第一染色剂被适配用于选择性地染色不同于第二生物标记的第一生物标记。第二训练图像可以是描绘已经被两种或更多种不同的第二染色剂染色的训练组织样品的图像，所述两种或更多种不同的第二染色剂被分别适配用于选择性地结合第二生物标记。
根据实施方案，训练数据集的生成可以包括以下步骤：用一种或多种第一染色剂染色训练组织样品、从已经被(多种)第一染色剂染色的样品中采集一个或多个第一训练图像、洗涤所述训练样品、用被适配用于选择性地染色第二生物标记的一种或多种第二染色剂染色所述训练样品、以及从已经被一种或多种第二生物标记特异性染色剂染色的所述训练样品中采集第二训练图像。在训练期间，描绘相同组织样品的第一训练图像和第二训练图像被用作被馈送到MLL的图像对。优选地，在关于例如相机相对于样品的位置、分辨率等的相同或相似条件下获取第一图像和第二图像。这可以确保两个图像的成像素对准将所述图像的描绘样品的相同区域的区域彼此对准。另外或替代性地，执行馈入MLL的图像对的自动图像配准或手动图像配准，以确保描绘相同组织区域的像素彼此对准。
因此，在一些示例实施方案中，训练数据集的生成进一步包括在采集第一训练图像之前，用非生物标记特异性染色剂或用第一生物标记特异性染色剂对训练组织样品进行染色。
根据实施方案，MLL的训练进一步包括训练MLL以学习图像变换例程。图像变换例程被适配用于将每个第一训练图像变换成虚拟染色图像，所述虚拟染色图像与已经针对相同训练组织样品获得的第二训练图像中的一个相同或相似。例如，图像变换例程可以是将被H&E纯染色的样品的图像变换成虚拟染色图像的例程，在所述虚拟染色图像中特定蛋白质(例如FAP)被Alexa Fluor 488染色。根据另一个实施例，图像变换例程可以是将DAPI染色的样品(其中另外第一生物标记CD3和CD8被染色)的图像变换成虚拟染色图像例程，其中，仅Foxp3蛋白以对应于Alexa Fluor 594的颜色突出显示。因此，通过生成相应的训练数据集并且关于所述训练数据集训练未训练的MLL，可以容易地生成大量不同的图像变换例程。
根据实施方案，MLL是神经网络。
根据实施方案，所述神经网络是全卷积网络，例如具有U-net架构的网络。
例如，网络可以是全卷积网络，其中输入是FLUORO图像或明场图像，并且输出图像是在其中突出显示被预测包括至少一个额外的生物标记的组织区域的图像。
合适的全卷积网络架构的一个实施例是由Olaf Ronneberger、Philipp Fischer和Thomas Brox在“U-Net:Convolutional Networks for Biomedical ImageSegmentation(U-Net：用于生物医学图像分割的卷积网络)”，计算机科学系和BIOSS生物信号研究中心，德国弗赖堡大学(arXiv：1505.04597v12015年5月18日)描述的“Unet”架构。可以经由康奈尔大学图书馆https://arxiv.org/abs/1505.04597下载该文档。
根据实施方案，神经网络是生成对抗网络，例如具有条件GAN架构的网络。
合适的条件GAN架构的实施例是由Phillip Isola、朱俊彦、周婷慧、AlexeiA.Efros：“Image-to-Image Translation with Conditional Adversarial Networks(使用条件对抗网络进行图像到图像转换)”，伯克利AI研究(BAIR)实验室，加州大学伯克利分校，arXiv：1611.07004v2，2017年11月22日所描述的。可以通过康奈尔大学图书馆https://phillipi.github.io/pix2pix.％20下载该文档。
机器学习方法B(“非监督学习”)
根据替代性实施方案，方法进一步包括生成经训练的MLL。MLL的生成包括通过图像采集系统采集多个第一训练图像。每个第一训练图像描绘相应的训练组织样品，并且是以下类型之一：
-训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度相关并且指示所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度；或者
-训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品中的非生物标记特异性染色剂的强度相关并且指示所述训练组织样品中的非生物标记特异性染色剂的强度；或者
-训练组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量的强度相关并且指示第一生物标记特异性染色剂的量的强度，所述第一生物标记特异性染色剂被适配用于选择性地染色包含在所述训练组织样品中的第一生物标记；
MLL的生成进一步包括使用第二生物标记特异性染色剂染色被用于采集第一训练图像的训练组织样品的未被染色版本或脱染色版本。另外，或替代性地，MLL的生成包括使用第二生物标记特异性染色剂染色未被染色的进一步训练组织样品。所述第二生物标记特异性染色剂是被适配用于选择性地对训练组织样品中的第二生物标记染色的染色剂。
MLL的生成进一步包括通过图像采集系统采集多个第二训练图像。每个第二训练图像描绘训练组织图像中的已经被第二生物标记特异性染色剂染色的相应的一个。
MLL的生成进一步包括将第一训练图像和第二训练图像输入到MLL的未训练版本中。描绘相同训练组织样品的第一训练图像和第二训练图像(如果有的话)既未分配也未彼此对准。MLL的生成包括训练MLL，以使得所述MLL学习显式地或隐式地识别第二训练图像中的区域，所述区域描绘了训练组织样品中被预测包括第二生物标记的组织区域。进而，MLL使用包含在描绘相同训练组织样品的第一训练图像中的强度信息来预测包括第二生物标记的区域。
所述特征可能是有利的，因为没有将第一训练图像和第二训练图像以描绘相同样品的图像对的形式提供给未训练的MLL并且所述图像不需要被成像素地对准以被提供为未训练的MLL的输入。因此，与用于机器学习方法“A”的训练数据集的生成相比，训练数据集的生成可能甚至需要更少的手工工作。因此，由于第一训练图像和第二训练图像不必描绘相同组织样品，因此第一图像和第二图像可以描绘不同的组织样品，例如同一患者的不同样品，或者不同患者的样品等。这可以简化训练数据集的生成。此外，可能不必脱染色已经被染色的样品以便允许被第二生物标记特异性染色剂重染色。而是，可以简单地使用描绘已经被一种或多种第二生物标记染色的其他样本的其他图像作为第二训练图像。因此，可以减少用于生成足够大的训练数据集以生成和训练MLL所需的时间和努力。
根据实施方案，第一训练图像描绘分别已经被两种或更多种第一染色剂染色的组织样品和/或第二训练图像描绘已经分别被两种或更多种第二染色剂染色的组织样品，如已经针对方法“A”所解释的。
根据实施方案，与在第二训练图像中描绘的进一步训练组织样品相比，在第一训练图像中描绘的训练组织样品源自不同的组织块或不同的患者。
假如第一训练图像的像素强度是其像素强度指示非生物标记特异性染色剂或指示第一生物标记特异性染色剂的图像类型，则训练数据集的生成可以包括洗涤训练组织样品以用于去除非生物标记特异性染色剂或第一生物标记特异性染色剂。训练数据集的生成可以进一步包括在采集第一训练图像之前，用非生物标记特异性染色剂或用第一生物标记特异性染色剂对训练组织样品进行染色。假如第一训练图像的像素强度是其像素强度指示非生物标记特异性染色剂或指示第一生物标记特异性染色剂的图像类型，则洗涤训练组织样品以用于去除非生物标记特异性染色剂或第一生物标记特异性染色剂。因此，可以如用于机器学习方法A所述的对样品进行染色、清洗和重新染色。然而，这里的清洗步骤是可选的，因为也可以使用已经被一种或多种生物标记特异性第二染色剂染色的其他样品的图像作为第二训练图像。
根据实施方案，MLL是生成对抗网络(“GAN”)，特别是循环生成对抗网络(“循环GAN”)架构或DISCO-GAN架构。
用于合适的循环GAN网络架构的实施例是由朱俊彦、Taesung Park、PhillipIsola和Alexei A.Efros在“Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks(使用循环一致的对抗网络进行不成对的图像到图像变换)”，(2017年11月24日)中所描述的。可以通过康奈尔大学图书馆https://arxiv.org/abs/1703.10593下载该文档。
“DISCO GAN架构”是生成对抗网络的被适配用于学习发现不同域(对象类型)之间的关系的架构。用于合适的DISCO-GAN网络架构的实施例是由Taeksoo Kim、Moonsu Cha、Hyunsoo Kim、Jung Kwon Lee、Jiwon Kim：“Learning to Discover Cross-DomainRelations with Generative Adversarial Networks(利用生成对抗网络学习发现跨域关系)”，arXiv：1703.05192v2，2017年5月15日。可以通过康奈尔大学图书馆https://arxiv.org/abs/1703.05192下载该文档。
根据实施方案，MLL的训练进一步包括训练MLL以学习图像变换例程。图像变换例程被适配用于将每个第一训练图像变换成虚拟染色图像，所述虚拟染色图像与已经针对相同训练组织样品获得的第二训练图像中的一个相同或相似。
根据实施方案，经训练的MLL被适配用于执行图像到图像的转换。图像到图像的转换是图像处理操作，在所述图像处理操作中将输入图像(例如，一个或多个第一训练图像)变换为输出图像(例如，一个或多个第二训练图像)。变换是通过已经关于对准图像的或未对准图像的训练集进行训练的MLL来执行的。
假如训练数据集不包含成对图像，则MLL会在没有成对实施例的情况下学习将图像从源域X变换为目标域Y。经训练的MLL将被适配用于执行非成对图像到图像变换。在训练数据集中没有成对的图像的情况下，映射(或图像变换)G：X→Y被学习，以使得来自G(X)的图像的分布与目标域的采集到的图像Y的分布难以区分。换句话说，在学习过程期间，MLL学习计算地生成(“模拟”)输出图像G(X)，以使得模拟图像G(X)与目标域的采集到的图像Y之间的像素强度分布之差被最小化。源域的图像X也可以被称为“第一训练图像”，并且目标域的采集到的图像Y也可以被称为“第二训练图像”。因为在没有成对的图像对准的情况下该映射被高度约束，所以实施方案将这种映射的学习与逆变换(或“逆映射”)F:Y→X的学习耦合并且引入循环一致性损失以强制执行F(G(X))≈X(反之亦然)。
根据其MLL包括循环GAN网络架构的一些实施方案，所述循环GAN包括四个功能单元(“块”)：两个“生成器”GF、GG和两个“鉴别器”DF/DG。生成器GG实现并且“学习”适合于生成上述输出图像G(X)的图像实施变换函数G。生成器GF实现并且“学习”逆变换F:Y→X从目标域的图像到源域的图像。鉴别器DF实现并且“学习”以确定图像是由生成器GG生成的还是目标域的采集到的“真实”图像。鉴别器DG实现并且“学习”以确定图像是由逆生成器FG生成的还是源域的采集到的“真实”图像。所有这四个块都参与学习过程，并且评估和使用损失来执行学习。
优化“生成器”以生成“虚拟染色图像”，所述虚拟染色图像被鉴别器识别为相应域中的“采集到的”图像。
例如，如果训练MLL以将如图像202、图像204描绘的那样的被H&E染色的组织样品的采集到的明场图像变换为如在图像206、图像208中描绘的那样已经被苏木精(H)、Ki67和CD3虚拟染色的组织样品图像，则生成器GG学习生成“虚拟染色”图像，所述“虚拟染色”图像突出显示包括苏木精以及包括分别已经被生物标记特异性染色剂染色的生物标记Ki67和CD3的组织区域。实际上已经被H&E染色的组织样品的采集到的H&E图像代表了源域的图像。实际上已经被H以及被Ki67和CD3特异性染色剂染色的组织样品的采集到的图像代表目标域的图像。
在训练中，GF根据采集到的H&Ki67和CD3染色的样品的图像学习生成代表源域的图像。DF学习确定由生成器GF提供的图像是采集到的H&E组织图像还是模拟的H&E组织图像。DG学习确定由生成器GG提供的图像是H&Ki67和CD3染色的组织样品的采集到的图像还是模拟图像，所述模拟图像描绘了仅被H染色以及被Ki67和CD3特异性染色剂虚拟染色的组织样品。
当鉴别器DG、鉴别器DF正确地将生成器GG、生成器GF生成的图像识别为“假的”/“模拟的”而不是“采集到的”时，该优化过程可以被实现为使事件数量最小化的过程。学习过程可以包括通过生成器GG将源域的图像变换为目标域，并且通过生成器GF将由GG提供的图像逆变换为源域的图像的多个循环。
例如，在第一个循环中，通过GG将源域图像SDI变换为目标域图像TDI，并且通过GF将TDI逆变换为图像SDI'。
在第二个循环中，通过GG将源域图像SDI'变换为目标域图像TDI'，并且通过GF将TDI’逆变换为图像SDI”。在第三个循环中，通过GG将源域图像SDI”变换为目标域的图像TDI”，并且通过GF将TDI”逆变换为图像SDI”'。依此类推，直到达到终判准则。
在生成器的每个图像变换操作之后，确定对抗损失，并且在每个循环结束时确定循环损失。生成器GG、生成器GF中的每一个的损失(“生成器损失”)由鉴别器检查由相应生成器生成的图像的“对抗损失”(或“鉴别器损失”)和“循环损失”的加权和组成：生成器_损失＝对抗_损失+w*循环_损失；其中w是整数。优选地，w是10或更大的整数，以指示循环正确性的重要性，所述循环正确性意味着在变换期间图像中的信息不会丢失。对抗损失是鉴别器造成的平均误差，由此误差将真实采集到的图像分类为假的/模拟的，或者将假图像分类为真实采集到的图像。“对抗损失”是对生成器“伪造”(虚拟生成/模拟)图像失败以使得相关联的鉴别器无法准确地预测该图像是在相应域中被经验采集的还是被模拟的度量。“循环损失”是在一个循环内由生成器生成的图像的差异(不相似)的量度，例如代表图像SDI与图像SDI'的不相似度或代表图像SDI'与和图像SDI”的不相似性的量度，等等。MLL的训练包括最小化生成器GG、生成器GF两者的生成器损失。
使用基于循环GAN的MLL可以具有以下优势：MLL可以学习在域之间进行转换而无需成对的输入输出实施例。假如在第一训练图像(或第一类别数字病理学图像)与第二训练图像(或第二类别数字病理学图像)之间存在某种潜在关系：例如，存在相同底层场景的两个不同的渲染-并且寻求学习这种关系。尽管训练缺乏采用成对训练图像形式的监督，但是MLL可以以以下组级别运用监督：域X中的第一组图像(第一项训练图像或第一类别数字病理学图像)和域Y中的不同的组(第二训练图像或第二类别数字病理学图像)。在训练期间，MLL学习映射G：X→Y，使得输出
Figure BDA0002626139080000181
x∈X与由对手训练以从y中分类出∈的图像y∈Y难以区分。从理论上讲，这个目标可以引起
Figure BDA0002626139080000191
的输出分布与经验分布p数据(y)匹配(通常，这要求G是随机的)。进而，最优G将域X变换为与Y分布相同的域
Figure BDA0002626139080000192
然而，这种变换并不能保证单个输入x和单个输出y以有意义的方式配对-因为有将引起
Figure BDA0002626139080000193
上的相同分布的无限多个映射G。而且，在实践中，已经发现孤立地优化对抗目标是困难的：标准程序通常会导致众所周知的模式崩溃问题，其中所有输入图像都映射到相同的输出图像，并且优化无法取得进展。
因此，根据本发明的实施方案的MLL的训练包括运用转换应该是“循环一致的”的性质，在某种意义上，如果特定输入图像(例如，被H&E染色的图像)被转换成例如看起来像描绘被苏木精染色的样品的第二图像，其中，CD8生物标记和Ki67生物标记选择性地被相应的生物标记特异性染色剂染色，并且然后如果将该第二图像转换回“虚拟”被H&E染色的第一图像，则该“虚拟”第一图像被预期与原始第一图像相同或非常相似。在数学上，给定转换器G：X→Y和另一个转换器F：Y→X，然后G和F应当彼此相反，并且两个映射都应该是双射。通过在MLL的训练期间同时训练映射G和F两者并且添加激励F(G(x))≈x和G(F(y))≈y的循环一致性损失来应用此结构假设。将这种损失与域X和域Y上的对抗性损失相结合，可以产生用于不成对的图像到图像变换的完整的目标。
在进一步方面，本发明涉及图像分析系统，所述图像分析系统包括一个或多个处理器和易失性或非易失性存储介质。存储介质包括采集到的图像。所述采集到的图像是已经由图像采集系统采集的图像。所述采集到的图像是以下类型之一：
-组织样品的数字图像，所述数字图像的像素强度值与所述组织样品的自发荧光信号的强度或X射线感生信号的强度相关；或者
-组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂的量相关；或者
-组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地染色所述组织样品中包含的第一生物标记。
存储介质进一步包括经训练的机器学习逻辑(MLL)MLL，其中，已经训练了MLL以显式地或隐式地识别被预测包括第二生物标记的组织区域。根据优选实施方案，已经训练了MLL以显式地或隐式地识别与所接收的采集到的图像(例如，自发荧光图像、具有X射线感生信号的图像、具有非生物标记特异性染色剂的信号的图像或者具有分别指示特定第一生物标的一种或多种第一生物标记特异性染色剂的信号的图像，由此第一生物标记都不是第二生物标记)类型相同的(多个)采集到的图像中的被预测包括第二生物标记的组织区域。
存储介质进一步包括程序逻辑，所述程序逻辑由一个或多个处理器执行，并且被配置用于将所接收的采集到的图像输入到MLL中。
MLL被配置用于将采集到的图像自动变换成输出图像。所述输出图像突出显示了被预测包括第二生物标记的组织区域。
在进一步方面，本发明涉及图像到图像转换方法。方法包括：通过图像分析系统接收第一类别数字病理学图像；以及通过经训练的机器学习逻辑(MLL)将所述第一类别数字病理学图像自动变换为第二类别数字病理学图像，所述经训练的机器学习逻辑是经训练的GAN网络。GAN网络是循环生成对抗网络或具有条件GAN架构的网络或具有DISCO-GAN架构的网络。
根据图像到图像转换方法的实施方案，第一类别数字病理学图像是突出显示组织样品的第一区域的采集到的图像，其中，所述第一区域是自发荧光区域、发射X射线区域或X射线感生信号区域、被非生物标记特异性第一染色剂染色的区域或者包括一种或多种特异性染色的第一生物标记的区域。第二类别数字病理学图像是虚拟染色图像。所述虚拟染色图像突出显示了组织样品的第二区域，其中，所述第二区域是组织样品中的被预测包括第二生物标记的区域。
根据一些实施方案，虚拟染色图像突出显示了组织样品中的被预测包括第二生物标记的区域，并且另外突出显示了已经被预测包括特定类型的分子(例如，核酸、脂质、蛋白质、或者酸性分子或碱性分子)的组织区域，进而模拟一些通用染色剂(诸如选择性结合至细胞核的苏木精或者选择性结合至嗜酸性结构(诸如胞内蛋白、线粒体、光滑型内质网、胶原蛋白、角蛋白等)的曙红)。
根据一些其他实施方案，虚拟染色图像不突出显示组织样品中的被预测包括第二生物标记的第二区域，而是突出显示已经被预测包含特定类型的分子的组织区域。如本文所使用的“组织样品”是可以由本发明的方法分析的细胞的3D组件。3D组件可以是离体细胞块的组件(例如，组织样品)或者体内样本(特别是在X射线图像或X射线感生图像的情况下)。例如，样品可以由从患者、动物、真菌或植物中收集的组织中制备。替代性地，样品可以是含有诸如骨髓样品的生物样品的细胞，或者是由多个细胞制造的细胞系或细胞块。样品可以是显微镜载玻片上的全组织切片或TMA切片。特别地在使用组织微阵列(TMA)时，可以将样品布置为载玻片上的“斑点”或“组织斑点”，每个组织斑点对应于一个特定样本。用于制备固定组织样品的载玻片的这种方法是本领域众所周知的，并且适用于本发明。
可以使用任何试剂或生物标记示踪剂(诸如染料或染色剂、直接与特异性生物标记或与各种类型的细胞或细胞隔室反应的组织化学物或免疫组织化学物)对组织样品进行染色。并非所有的染色剂/试剂都兼容。因此，应当充分考虑所采用的染色剂的类型及其施加的顺序，但是所述类型和所述顺序可以由本领域技术人员容易地确定。这类组织化学物可以是通过透射显微镜可检测的生色团或可以通过荧光显微镜可检测的荧光团。通常，可以将包含细胞的样品与包括至少一种组织化学物的溶液一起温育，所述至少一种组织化学物将与靶标的化学基团直接反应或结合。一些组织化学物必须与媒染剂或金属一起温育，以允许染色。可以将含有细胞的样品与染色感兴趣的成分的至少一种组织化学物和用作复染并且结合所述感兴趣的成分外部区域的组织化学物的混合物一起温育。替代性地，可以在染色中使用多种探针的混合物，并且提供一种识别特定探针位置的方法。用于染色包含样品的细胞的方法是本领域众所周知的。用于X射线显微术兼容染色剂的实施例包括酶过氧化物酶(诸如HRP或APEX)、光敏蛋白(诸如miniSOG)、以及与蛋白质或短肽相关联的光敏染料(诸如ReASH)。
如本文所使用的“图像分析系统”是被适配用于评估和处理数字图像，特别是组织样品的图像以便协助使用者评估或解释图像和/或以便提取所述图像中隐含的生物医学信息的例如计算机系统的系统。例如，计算机系统可以是标准桌上计算机系统或分布式计算机系统，例如云系统。
如本文所使用的表达“显式识别被预测包括第二生物标记的组织区域”意味着执行识别的算法确定图像中已经被预测包括第二生物标记的像素的位置，并且因此能够以坐标形式输出或实际输出所识别区域的位置。相反，“隐式识别”意味着执行变换的算法可以选择性地修改识别区域中的与不同区域中的像素不同的像素，但是不能输出图像中所述区域的坐标。它仅能够修改采集到的图像中的一些或全部像素，使得生成输出图像，其中，一些区域被突出显示，并且所述突出显示的区域表示被预测包括第二生物标记的区域。
“X射线显微镜”是被适配用于使用软X射线带中的电磁辐射以产生目标的放大图像的显微镜。由于X射线会穿透大多数目标，因此无需专门为X射线显微镜观察做准备。与可见光不同，X射线不易反射或折射，并且对人眼是不可见的。因此，X射线显微镜会曝光胶卷或者使用电荷耦合器件(CCD)检测器来检测穿过样本的X射线。这是一种对比成像技术，所述对比成像技术利用了水窗口区域中碳原子(组成活细胞的主要元素)和氧原子(水的主要元素)吸收软X射线(波长：2.34nm至4.4nm，能量：280eV至530eV)的差异。
如本文所使用的术语“数字病理学”是被设计用于对根据数字载玻片生成的数据进行信息管理的IT环境。因此，“数字病理学图像”是数字图像，通常是描绘组织样品的图像，所述数字图像是在数字病理学IT环境中生成、分析和/或修改的。因此，术语“数字病理学”应作广义解释。它不限于疾病的诊断和治疗，而是还可以包含例如出于研究目的而从健康生物体中提取的组织样品的数字图像。随着全载玻片成像技术的出现，数字病理学领域已经得到了迅猛发展，并且目前被认为是诊断医学最有希望的途径之一，以便实现更好、更快、更便宜的癌症及其他重要疾病的诊断、预后和预测。数字病理学还广泛用于药物研究和开发中，因为它可以帮助揭示药物的作用模式和在肿瘤微环境中所见的效应。由图像采集系统采集的或由计算装置虚拟生成的数字图像可以是例如单通道图像或多通道图像。在一些实施方案中，数字图像是rgb图像。
如本文所使用的“虚拟染色图像”或“被虚拟染色的图像”是数字图像，所述数字图像看起来像描绘组织样品(例如，已经根据特定染色规程染色，但是没有被图像采集系统采集的组织样品)的图像。相反，已经从零开始或者基于采集到的组织样品图像计算地生成了“被虚拟染色的图像”。
如本文所使用的“训练组织样品”是从其中采集一个或多个训练图像的组织样品，由此所述训练图像被用于提供被用于训练MLL的训练数据集。根据情况的特殊性，在使用经训练的MLL来将采集到的图像变换为输出图像之前，已经对MLL训练了几个小时、几天、几周甚至一个月。因此，训练组织样品常常但非必需地源自另一个源，例如源自相同物种的另一个生物体，如采集到的图像中描绘的组织样品。
如本文所使用的“训练图像”是从训练组织样品中采集的图像。训练图像被用于训练MLL的未训练版本，以生成经训练的MLL，所述经训练的MLL被适配用于将采集到的组织图像变换为突出显示特异性生物标记的输出图像，尽管所述组织样品并未被适于选择性染色所述生物标记的染色剂所染色。
“虚拟染色图像”是没有被图像采集系统捕获的图像，而是从头计算生成的或通过将采集到的组织样品图像变换成新图像而生成的图像。所述新图像看起来像已经根据特定规程染色的组织样品的图像，尽管在所述采集到的图像中描绘的组织标本(如果有的话)没有根据所述规程进行染色，虚拟染色图像源自所述采集到的图像。因此，像素强度和颜色值“模拟”了所述特定染色规程的效果。
如本文所使用的图像“突出显示”被预测包括第二生物标记的组织区域意味着设置所述区域内的像素的强度值和/或颜色，使得所述区域是所述图像内最亮或最暗的区域，或者是具有特定的颜色的区域。优选地，设置所述区域中和被预测不包括第二生物标记的其他图像区域中的像素强度值和/或颜色值，使得输出图像看起来像已经根据已知组织染色规程被一种或多种已知第二染色剂染色的真实组织样品的图像，每个第二染色剂被适配用于选择性地染色所述一种或多种生物标记中的相应的一种生物标记。如词语“染色”所意味的，由“真实”第二染色剂生成的颜色和强度值将适用于引起人们的注意，因为用第二种染色剂染色的区域将会明显更暗或明显更亮，或者将具有与不包括第二生物标记的其他组织区域明显不同的颜色。因此，第二染色剂被适配用于染色和“突出显示”包括特定第二生物标记的组织区域，并且训练MLL以生成输出图像，所述输出图像包括图像区域中第二染色剂的模拟染色效果，所述图像区域描绘被预测包括所述第二生物标记的组织样品区域。输出图像中第二染色剂的这种模拟染色效果在本文中被称为所述输出图像的“突出显示”区域。
如本文所使用的术语“强度信息”或“像素强度”是在数字图像的像素上捕获的或由其表示的电磁辐射(“光”)的量的量度。如本文所使用的术语“强度信息”可以包括附加的相关信息，例如特定颜色通道的强度。MLL可以使用该信息来计算地提取诸如包含在数字图像中的梯度或纹理之类的衍生信息，并且可以在训练期间和/或在经训练的MLL的图像变换期间，从所述数字图像中隐式地或显式地提取所述衍生信息。例如，表达“数字图像的像素强度值与一种或多种特定染色剂的强度相关”可以意味着包括颜色信息的强度信息允许MLL，并且还可以允许使用者识别组织样品中的已经被所述两种或多种染色剂中的特定一种染色剂染色的区域。例如，描绘样品的被苏木精染色的区域的像素在蓝色通道中可以具有高像素强度，描绘样品的被fastRed染色的区域的像素在红色通道中可以具有高像素强度。
如本文所使用的“生成对抗网络”(GAN)是在机器学习、特别是在非监督机器学习中使用的一种神经网络架构类型。GAN是在零和游戏框架中相互竞争的两个神经网络的系统。GAN是由Ian Goodfellow等人在2014年(Goodfellow,Ian；Pouget-Abadie,Jean；Mirza,Mehdi；Xu,Bing；Warde-Farley,David；Ozair,Sherjil；Courville,Aaron；Bengio,Joshua:“Generative Adversarial Networks(生成对抗网络)”，a.rXiv:1406.2661https://arxiv.org/abs/1406.2661)中引入的。本发明的实施方案使用GAN类型的MLL用于根据采集到的图像计算地生成被虚拟染色的输出图像，由此所述虚拟染色图像通常看起来对人类观察者是真实的。
如本文所使用的“环状GAN”是满足循环一致性的GAN。周期一致性是一个标准，所述标准要求基于第一变换逻辑的输入数据到输出数据的变换可以由被适配用于将所述输出数据变换回所述输入数据的向后变换逻辑来逆转，使得由后向变换生成的输入数据基本上与原始输入数据相同或非常相似。输入数据可以是图像数据。循环GAN需要前后一致性，并且使用循环一致性损失作为使用传递性来监督循环GAN中包含的神经网络训练的方式。实现为循环GAN的MLL被适配用于学习甚至在没有输入训练图像和输出训练图像的清晰配对的情况下将输入图像变换成输出图像。将两个不同类别的训练图像(即，一组输入图像和一组输出图像)提供给未训练的MLL就足够了。在训练期间，循环GAN在没有如上面已经解释的成对实施例的情况下学习将图像从源域X变换为目标域Y。经训练的MLL将被适配用于执行非成对图像到图像变换。在训练数据集中没有成对图像的情况下，学习映射G:X→Y以使得来自G(X)的图像的分布与使用对抗损失的Y的分布难以区分。源域的图像X也可以被称为“第一训练图像”，并且目标域的图像Y也可以被称为“第二训练图像”。因为在没有成对图像对准的情况下此映射受到高度约束，所以循环GAN将此映射的学习与逆映射F:Y→X的学习耦合并且引入循环一致性损失以强制执行F(G(X))≈X(反之亦然)。在训练期间，MLL学习映射G：X→Y，以使得输出
Figure BDA0002626139080000251
x∈X与由对手训练以从y中分类出∈的图像y∈Y难以区分。因此，根据本发明的实施方案的MLL的训练包括运用转换应是“循环一致”的性质。
如本文中所使用的“全卷积神经网络”是由卷积层组成的神经网络，而通常在所述网络的末端没有任何完全连接的层或多层感知器(MLP)。全卷积网络是每一层的学习滤波器。甚至网络末端的决策层学习滤波器。全卷积网络试图学习表示并且基于本地空间输入做出决策。
根据实施方案，全卷积网络是仅具有以下形式的层的卷积网络：所述层的激活函数在满足以下特性的特定层中的位置(I，j)处生成输出数据矢量yij：
yij＝fks({xsi+δi，sj+δj}0≤δi，δj≤k)
其中，Xij是特定层中位置(i；j)处的数据矢量，并且yij是下面层中所述位置处的数据矢量，其中，yij是由网络的激活函数产生成的输出，其中k被称为内核大小、s为步幅(stride)因子或二次采样因子、以及fks确定层类型：用于卷积或平均池化的矩阵乘法、用于最大池化的空间最大值、或者用于激活函数的元素式的非线性，对于其他类型的层以此类推。该函数形式在组成上得以维护，同时内核大小和步幅遵循变换规则：
Figure BDA0002626139080000252
虽然通用深层网络计算通用非线性函数，但是仅具有这种形式的层的网络计算非线性滤波器，我们称其为深层滤波器或全卷积网络。FCN对任何大小的输入自然操作，并且产生对应的空间尺寸的(可能是重新采样的)输出。有关几个全卷积网络的特征的更详细描述，请参阅Jonathan Long、Evan Shelhamer和Trevor Darrell：“Fully ConvolutionalNetworks for Semantic Segmentation(用于语义分割的全卷积网络)”，CVPR 2015。
如本文所使用的“机器学习逻辑(MLL)”是程序逻辑，例如，像经训练的神经元网络或支持矢量机或像基于提供的训练数据在训练过程中已经训练并且在训练期间已经学习以执行一些预测和/或数据处理任务之类的一个软件。因此，MLL可以是程序代码，所述程序代码至少部分不是由程序员显式地指定的，而是在根据样品输入建立一种或多种显式模型或隐式模型数的据驱动学习过程中被隐式地学习和修改。机器学习可以采用监督学习或非监督学习。有效的机器学习常常很困难，因为很难找到模式并且常常没有可用的足够训练数据。
如本文所使用的术语“生物标记”是可以在生物样品中测量的，作为组织类型、正常或致病过程或对治疗干预的反应的指示器的分子。在一个特定实施方案中，生物标记选自以下各项构成的组：蛋白质、肽、核酸、脂质和碳水化合物。更特别地，生物标记可以是蛋白质。某些标记是特定细胞的特征，而其他标记已经被识别为与特定疾病或状况相关联。
可以用作根据本发明的实施方案的第一生物标记或第二生物标记的已知预后标记的实施例包括诸如例如半乳糖基转移酶II、神经元特异性烯醇酶、质子ATPase-2、以及酸性磷酸酶之类的酶促标记。激素标记或激素受体标记包括人绒毛膜促性腺激素(HCG)、促肾上腺皮质激素、癌胚抗原(CEA)、前列腺特异性抗原(PSA)、雌激素受体、孕激素受体、雄激素受体、gC1q-R/p33补体受体、IL-2受体、p75神经营养因子受体、PTH受体、甲状腺激素受体、以及胰岛素受体。其他生物标记可以包括FAP蛋白或分化簇(CD)标记，例如D1a、CD1b、CD1c、CD1d、CD1e、CD2、CD3delta、CD3epsilon、CD3gamma、CD4、CD5、CD6、CD7、CD8alpha、CD8beta、CD9、CD10、CD11a、CD11b、CD11c、CDw12、CD13、CD14、CD15、CD15s、CD16a、CD16b等。其他生物标记可以包括淋巴标记，例如α-1-抗胰凝乳蛋白酶、α-1-抗胰蛋白酶、B细胞标记、bcl-2、bcl-6、B淋巴细胞抗原36kD、BM1(骨髓标记)、BM2(骨髓标记)、半乳糖凝集素-3、颗粒酶B、HLA I类抗原、HLA II类(DP)抗原、HLA II类(DQ)抗原、HLA II类(DR)抗原、人中性粒细胞防御素、免疫球蛋白A、免疫球蛋白D、免疫球蛋白G、免疫球蛋白M、kappa轻链等。其他生物标记可包括肿瘤标记，例如甲胎蛋白、载脂蛋白D、BAG-1(RAP46蛋白)、CA19-9(sialyl lewisa)、CA50(癌相关粘蛋白抗原)、CA125(卵巢癌抗原)、CA242(肿瘤相关粘蛋白抗原)、嗜铬粒蛋白A、簇蛋白(载脂蛋白J)、上皮膜抗原、上皮相关抗原、上皮特异性抗原、表皮生长因子受体、雌激素受体(ER)、囊性病液蛋白15、肝细胞特异性抗原、HER2、调蛋白、人胃粘蛋白、人乳脂肪球、MAGE-1、基质金属蛋白酶、酪氨酸酶、酪氨酸酶相关蛋白-1、维林、血管性血友病因子、CD34、CD34、II类、CD51 Ab-1、CD63、CD69、Chk1、Chk2、claspin C-met、COX6C、CREB、细胞周期蛋白D1、细胞角蛋白、细胞角蛋白8、DAPI、肌间线蛋白、DHP(1-6二苯基-1,3,5-已三烯)等。其他生物标记可以包括与细胞周期相关联的标记，例如细胞凋亡蛋白酶激活因子-1、bcl-w、bcl-x、溴脱氧尿苷、CAK(cdk激活激酶)、细胞凋亡易感蛋白(CAS)、半胱天冬酶2等。其他生物标记可以包括神经组织和肿瘤标记，例如αB晶状体蛋白、α-互联蛋白、α突触核蛋白、直链淀粉样前体蛋白、β直链淀粉样蛋白、钙结合蛋白、胆碱酰基转移酶、兴奋性氨基酸转运蛋白1、GAP43、神经胶质原纤维蛋白、谷氨酸受体2、髓磷脂碱性蛋白、神经生长因子受体(gp75)、神经母细胞瘤标记等。其他细胞标记包括着丝粒蛋白F(CENP-F)、巨蛋白、外皮蛋白、层粘连蛋白A&C[XB 10]、LAP-70、粘蛋白、核孔复合蛋白、p180层状体蛋白、ran、r、组织蛋白酶D、Ps2蛋白、Her2-neu、P53、S100、上皮标记抗原(EMA)、TdT、MB2、MB3、PCNA和Ki67。
根据本发明的实施方案，“生物标记特异性染色剂”是对特定生物标记具有特异性亲和力的染色剂。例如，生物标记特异性染色剂可以是组织学和显微化学中通常(例如，通过将诸如抗体之类的染色剂偶联至特异性检测系统)用于识别特定生物标记的染色剂。相反，“非生物标记特异性染色剂”可以是例如对具有特定范围内的特定物理参数或化学参数(例如具有特定极性或pH值)的物质具有特定亲和力的染色剂。例如，曙红是一种酸性染料：它带负电，并且将基本(或嗜酸性)结构染成红色或粉红色。
附图说明
在本发明的以下实施方案中，仅通过举例的方式，参照附图更详细地解释，其中：
图1描绘了根据本发明的实施方案的方法的流程图；
图2描绘了多对采集到的输入图像和从其中生成的虚拟染色图像；
图3描绘了根据本发明的实施方案的图像分析系统的框图。
图1描绘了根据本发明的实施方案的识别组织样品中的生物标记的方法100的流程图。感兴趣的生物标记在下面也被称为“第二生物标记”。为了简单起见，本文描述的大多数实施方案仅提及单个第二生物标记，但是本发明可以同样地被用于生成和使用MLL，所述MLL被适配用于识别组织样品中包括两种或多种不同的感兴趣生物标记的区域。
在第一步骤102中，在图像分析系统中，接收组织样品的采集到的图像。例如，图像分析系统可以是如图3中所描绘的系统300。在下文中，还将参考图3的元素。
组织样品324可以是来自任何组织和任何生物体的组织样品。特别地，组织样品可以是源自人类或非人类动物的活组织检查的薄组织切片；所述组织样品可以是石蜡包埋的细胞块等切片。可以经由网络接口(例如，经由因特网或内联网)从云存储服务器或任何其他源接收图像。还可以从一种存储介质中读取图像，或者可以从图像采集系统320直接接收图像，所述图像采集系统可以可选地耦接到图像分析系统300。
所接收的采集到的图像中描绘的组织样品可以是例如所述组织样品的数字图像，所述数字图像的像素强度值与所述组织样品的自发荧光信号的强度或X射线感生信号的强度相关。在这种情况下，组织样品可以是完全未被染色的样品，或者可以被非生物标记特异性染色剂染色。所接收的采集到的图像中描绘的组织样品还可以被一种或多种第一生物标记特异性染色剂染色，所述一种或多种第一生物标记特异性染色剂选择性地染色第一生物标记，而不染色第二生物标记，所述第二生物标记的存在和定位应不是凭经验而是通过计算(“虚拟染色”)来确定。无论采集到的图像中描绘的组织样品是否被染色，都在组织的自发荧光信号是由图像采集系统捕获的最突出信号的条件下采集图像。因此，采集到的图像可以示出自发荧光信号和一些染色信号的混合，但是据此假设最突出的信号源自自发荧光。组织样品的自发荧光图像是由荧光显微镜捕获的图像的实施例。然而，自发荧光图像不是可以用于本发明的实施方案的采集到的图像的唯一可能类型。
例如，所接收的采集到的图像可以是X射线显微镜的图像，并且采集到的图像的像素强度可以对应于由X射线直接或间接感生的信号。例如，根据所使用的X射线显微镜的特定类型，由采集到的图像捕获的信号可能对应于散射的X射线或透射的X射线，或者可能对应于已经由X射线与样品中分子的相互作用所感生的荧光信号。再次，组织样品可以是未被染色的样品或已经被一种或多种染色剂染色(但是没有被适配用于结合至感兴趣的第二生物标记的生物标记特异性染色剂染色)的样品。
仍替代性地，在采集到的图像中描绘的组织样品可以是所述组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂(例如，H&E染色剂、Giemsa染色剂等)的量相关。
仍替代性地，在采集到的图像中描绘的组织样品可以是已经被一种或多种第一生物标记特异性染色剂染色的组织样品。例如，组织样品可以已经被选择性结合CD3生物标记的第一荧光探针和选择性结合CD8生物标记的第一荧光探针染色。可选地，组织样品可以已经被如H&E的背景染色剂染色。然而，如果是按照惯例模拟生物标记Foxp3染色的方法的任务，则组织样品尚未被任何被适配用于选择性结合感兴趣的生物标记的染色剂染色，此处为Foxp3。
接下来在步骤104中，方法包括提供经训练的机器学习逻辑-MLL 308。MLL可以是例如已经关于多个训练图像被训练以识别被预测包括第二生物标记(例如，Foxp3)的组织区域的神经网络。
接下来在步骤106中，将所接收的采集到的图像输入到MLL。尽管在本发明的各种实施方案中可以使用许多不同类型的采集到的图像，但是重要的是所使用的采集到的图像的类型与在MLL的训练阶段期间使用的图像类型相同或非常相似。例如，如果采集到的图像是自发荧光图像，则要求也已经关于组织样品的自发荧光图像而不是X射线图像训练了MLL。并且，如果所接收的采集到的图像描绘了已经被三种标记特异性第一染色剂A、B和C染色的组织样品，则要求对也关于已经被标记特异性第一染色剂A、B、C而不是D或E染色的组织样品的图像训练了MLL。
接下来在步骤108中，MLL将采集到的图像自动变换成输出图像。所述输出图像突出显示了被预测包括第二生物标记的组织区域。输出图像可以在例如LCD显示器的显示器304上显示给使用者，或者可以打印出通过任何其他方式提供给使用者的所有图像以用于进一步分析。
图2A描绘了采集到的明场显微镜输入图像202，所述输入图像描绘了已经被H&E染色剂染色的人肝组织样品，并且描绘了在图像变换操作中已经通过MLL根据采集到的图像生成的对应的输出图像206。
在被H&E染色的组织样品图像中，细胞核染成蓝色/紫色、嗜碱性粒细胞被染成紫红色、细胞质被染成红色、肌细胞(如果有的话)被染成深红色、红细胞(如果有的话)被染成樱桃红色、胶原蛋白和线粒体被染成淡粉红色。
输出图像206是看起来与已经被苏木精(H)、被包括DAB的Ki67特异性棕色染色剂以及被包括fastRed的CD3特异性红色染色剂染色的组织样品的明场图像相同或令人困惑地相似的虚拟染色图像。如通过图像202和图像206的比较可以推断的，与采集到的图像相比，在虚拟染色图像中不同的区域被(通过特别是深颜色)突出显示。这是因为在虚拟染色图像中，被预测包括第二生物标记Ki67的组织区域被突出显示为棕色，并且被预测包括第二生物标记CD3的组织区域被突出显示为红色。然而，不仅图像的生物标记特定区域在图像变换期间改变了它们的强度：而且对应于未被预测包括第二生物标记的组织区域的背景像素的像素强度在变换过程中也已经改变并且与在采集到的图像202中相比，在输出图像206中已经变得明显更亮了。因此，尽管输入图像以及输出图像以蓝色突出显示了真实的或预测的含苏木精的细胞核区域，但是该苏木精蓝的亮度在两个图像中都不同。
图2B描绘了进一步采集到的输入图像204，所述输入图像描绘了已经被H&E染色剂染色的进一步人类肝脏组织样品，并且描绘了在图像变换操作中已经通过MLL根据采集到的图像生成的对应的输出图像208。应当注意的是，虚拟染色图像206、虚拟染色图像208两者都被提供给病理学家，所述病理学家不能识别出输出图像206、输出图像208不是由图像采集系统采集的，而是通过计算生成的。
图2C描绘了采集到的输入图像210，所述输入图像描绘了已经被H&E染色剂染色的多个人肝脏组织样品，并且描绘了在图像变换操作中已经通过MLL根据采集到的图像210生成的对应的输出图像212。输出图像看起来像(“模拟”)已经被H、被FAP特异性染色剂(紫色)以及被与panCK抗体结合的其他染色(黄色)染色的多个人肝组织样品，其中，panCK抗体是被适配用于选择性结合人表皮细胞角蛋白的抗体。如可以源自图212的，MLL能够基于输入图像210中的人眼不可见的图像特征，预测采集到的图像210中描绘的一些组织样品示出了强烈的细胞角蛋白表达，而其他组织样品没有。如在图像212中所描绘的，具有高细胞角蛋白表达的那些组织样品和组织区域被虚拟染色成特定颜色(例如，黄色)，所述特定颜色在训练MLL期间被用于染色感兴趣的生物标记。
图2D描绘了是图2C的输入图像210的(缩放)子区域的采集到的输入图像218，并且描绘了是图2C的输出图像212的(缩放)子区域的输出图像216。
图2E描绘了事实上被苏木精(H)和被FAP特异性紫色染色剂以及被与panCK抗体结合的黄色染色剂染色的组织切片的采集到的明场图像218。该组织切片源自从其中采集H&E图像210的相同组织样品。图像220是采集到的图像218的(缩放)子区域。因此，将采集到的图像218与被虚拟染色的图像212进行比较以及将缩放的采集到的图像220与缩放的被虚拟染色的图像216进行比较揭示了被虚拟染色的图像与事实上被相应染色剂染色的组织样品的图像难以区分。
FAP蛋白被标记有Ventana的发现紫色Kit(DISCOVERY Purple Kit of Ventana)的FAP特异性抗体染色。细胞角蛋白被标记有Ventana的D发现黄色Kit(DISCOVERY YellowKit of Ventana)的panCK抗体染色。其他染色剂同样可以被用于染色感兴趣的生物标记以产生训练图像。
图2F描绘了采集到的明场显微镜输入图像222，所述输入图像描绘了已经被苏木精和被与pan-CK抗体偶联的黄色染色剂以及被与FAP特异性抗体结合的紫色染色剂染色的人肝脏组织样品。FAP区域显示为紫色线，被苏木精染色的细胞核显示为蓝色，以及被panCK染色的区域显示为组织基质细胞的淡黄色环境。
图2G描绘了由MLL根据采集到的图像产生的被虚拟染色的图像224，由此所述采集到的图像描绘了已经被包括DAB的Ki67特异性棕色染色剂和被包括fastRed的CD8特异性红色染色剂(未示出)染色的人肝脏样品。被虚拟染色的图像244看起来高度相似于事实上已经被苏木精和被FAP特异性紫色染色剂以及被与panCK抗体结合的黄色染色剂染色的组织样品的明场图像。
图3描绘了根据本发明的实施方案的图像分析系统300的框图。
图像分析系统300包括一个或多个处理器302和易失性或非易失性存储介质306。例如，存储介质306可以是硬盘驱动器，例如电磁驱动器或闪存驱动器。它可以是基于磁性、半导体或光学数据的存储设备。存储介质可以是仅临时包括数据的易失性介质，例如主存储器。
存储介质包括一个或多个采集到的图像202、204、316。采集到的图像是已经由图像采集系统采集的图像。采集到的图像可能已经被计算地修改，例如用于改善对比度或用于消除一些伪影，但并不是完全由计算机生成/仿真的，而是由图像采集操作生成的。因此，采集到的图像是“经验图像”，而通过图像变换处理生成的输出图像318是基本上基于计算的(“虚拟”)图像。
在一些示例实施方案中，图像分析系统耦接至图像采集系统320(例如，明场显微镜、荧光显微镜或X射线显微镜)，并且可以直接从图像采集系统接收采集到的图像。替代性地，可以经由网络接收，或者可以从存储介质306中或从另一个存储介质(例如，网络驱动器或云存储)中读取采集到的图像。如已经针对上述实施方案所解释的，采集到的图像可以是多种不同图像类型中的一种，例如组织样品的自发荧光图像，或者由X射线显微镜或由明场显微镜生成的组织样品图像。在采集到的图像中描绘的组织样品可以是未被染色的，或者可以被一种或多种非生物标记特异性染色剂染色，或者可以被一种或多种第一生物标记特异性染色剂染色。在任何情况下，在所接收的采集到的图像中描绘的组织样品还没有被生物标记特异性染色剂染色，所述生物标记特异性染色剂被适配用于选择性地结合一种或多种感兴趣的第二生物标记。
程序逻辑310，例如用Java、Python、C#或任何其他合适的编程语言编写的一种软件，被适配用于接收采集到的图像316，并且作为输入提供给已经关于图像分析系统300实例化的MLL 308。已经训练了MLL以基于训练图像来识别被预测包括第二生物标记的组织区域，所述训练图像的类型与所接收的采集到的图像的类型相同。在一些实施方案中，图像分析系统的存储介质306包括分别已经关于不同类型(例如，自发荧光、明场、X射线显微镜、非生物标记特异性染色剂和/或第一生物标记特异性染色剂的各种组合)的训练图像训练的多个不同的MLL 308。因此，可以将许多不同类型的采集到的图像用作用于图像变换和用于生成被虚拟染色的输出图像的基础。
程序逻辑310触发MLL以将已经作为输入提供的采集到的图像316自动地变换为输出图像206、输出图像208、输出图像318。输出图像可以具体地是如例如在图2中所描绘的虚拟染色图像206、虚拟染色图像208。所述输出图像突出显示了被预测包括第二生物标记的组织区域。
在一些实施方案中，使用多种不同的第一染色剂来特异性地染色相应数量的第一生物标记，并且用相应的可区分的荧光标记对其进行标记。不同的第一染色剂的色差提供了一种识别特定第一生物标记的位置的方法。在文献中广泛地描述了用于制备荧光团和被适配用于选择性结合特定蛋白的抗体的缀合物的多种规程，并且在此不需要例证。存在超过120000种可商购的被用于研究并且被用于诊断各种疾病的抗体，所述抗体包括例如抗雌激素受体抗体(乳腺癌)、抗孕激素受体抗体(乳腺癌)、抗p53抗体(多种癌症)、抗Her-2/neu抗体(多种癌症)、抗EGFR抗体(表皮生长因子、多种癌症)、抗组织蛋白酶D抗体(乳腺癌和其他癌症)、抗Bcl-2抗体(凋亡细胞)、抗E-钙粘蛋白抗体、以及一些其他抗体。
可以与第一抗体缀合以使得提供第一染色剂或第二染色剂的荧光团包括但不限于以下各项：荧光素、若丹明、德克萨斯红、Cy2、Cy3、Cy5、VECTOR红、ELFTM(酶标记的荧光)、Cy0、Cy0.5、Cy1、Cy1.5、Cy3、Cy3.5、Cy5、Cy7、Fluor X、钙黄绿素、钙黄绿素AM、CRYPTOFLUORTM、橙色(42kDa)、柑桔黄酮(35kDa)、金色(31kDa)、红色(42kDa)、深红色(40kDa)、BHMP、BHDMAP、Br-Oregon、荧光黄、Alexa染料家族，N-[6-(7-硝基苯-2-乙二酸-1,3-二嗪农-4-yl)-氨基]己酰基](NBD)、BODIPYTM、二吡咯亚甲基二氟化硼、俄勒冈绿、MITOTRACKERTM红、DiOC7(3)、DiIC18、藻红蛋白、藻胆蛋白BPE(240kDa)RPE(240kDa)CPC(264kDa)APC(104kDa)、光谱蓝、光谱水族、光谱绿、光谱金、光谱橙、光谱红、NADH、NADPH、FAD、红外(IR)染料、循环GDP-核糖(cGDPR)、卡尔科弗卢尔白、丽丝胺、伞形酮、酪氨酸和色氨酸。各种各样的其他荧光探针可以从《Fluorescent Probes and Research Products(荧光探针和研究产品手册)》第8版Ed.(2001)中获得和/或被广泛描述，也可以从MolecularProbes,Eugene,Oreg.以及许多其他制造商处获得。
例如，利用上述普通免疫组织化学技术，使用第一抗体的稀释系列之一将载玻片固定的组织样品染色。使用图像采集系统320对所得的染色样本进行一一成像，以观察可检测信号并且采集采集到的图像316，诸如染色的数字图像。因此，获得的图像然后被本发明的方法用于生成相应的输出图像318，所述输出图像分别突出显示了感兴趣的第二生物标记，之前没有在样品上施加用于所述第二生物标记的生物标记特异性染色剂。采集到的图像和相应的输出图像可以在显示器屏幕304上显示给使用者。
图像采集系统320可以是，例如任何光学图像采集系统或非光学图像采集系统，诸如直立光学显微镜或倒置光学显微镜、扫描共焦显微镜、相机、扫描或隧道电子显微镜、扫描探针显微镜和成像红外探测器等。
在一个实施方案中，成像装置是包括一个或多个照明源328的显微镜系统，所述照明源被配置用于照亮放置在载玻片326上的组织样品324。系统320可以进一步包括被配置用于产生被照亮的目标样品的放大图像的光学器件，以及被配置用于捕获放大图像的数字图像的检测器322，诸如数字相机。使用者可以将组织样品或组织微阵列放置在样品台上。使用者调整所述样品台，以使得第一个感兴趣区域位于视场的中心并且由CCD相机聚焦。应将物镜调整为适当的分辨率。然后，图像采集系统采集整个组织样品的或微阵列的图像，或者采集所述样品的部分(图块)的图像。然后，使用市售软件，计算机可以生成所述整个组织样品或微阵列的合成图像。
MLL 308例如可以被实现为包括在零和游戏框架中相互竞争的两个神经网络312、314的循环GAN。在训练期间，第一网络312“学习”如何将采集到的训练图像变换成输出训练图像，所述输出训练图像突出显示包括一种或多种感兴趣的第二生物标记的组织区域，以使得第二网络314无法确定所述输出图像是采集到的第二类别训练图像(即，真实训练组织样品的采集到的图像已被一种或多种第二染色剂染色，所述一种或多种第二染色剂选择性地染色所述一种或多种感兴趣的第二生物标记)还是由第一神经元312通过计算已经生成的虚拟染色图像。进而，第二网络314“学习”如何将由第一神经元网络312生成的虚拟染色图像与“真实”的采集的第二类别图像区分开。在一些实施方案中，在训练阶段期间，第一神经元网络学习映射G:X→Y，使得由来自G(X)的映射(也可以被成为“图像变换”)生成的虚拟染色图像的分布与使用对抗损失的分布Y难以区分。第一类别的训练图像X也可以被称为“第一训练图像”，第二类别的图像Y也可以被称为“第二训练图像”。此外，第一神经元网络学习逆映射(也可以称为逆图像变换)F:Y→X并且评估循环一致性损失的量，以便修改变换G和逆变换F，以使得最小化或减少循环一致性损失。周期一致性是F(G(X))≈X的必要条件(反之亦然)。在训练期间，MLL，特别是第一神经网络312，学习映射G:X→Y以使得输出
Figure BDA0002626139080000342
x∈X与由对手训练以从y中分类出
Figure BDA0002626139080000341
的图像y∈Y难以区分。因此，根据本发明的实施方案的MLL的训练包括运用转换应是“循环一致”的性质并且采用两个互补的神经网络312、神经网络314的学习效果。
附图标记列表
102-108 步骤
202 采集到的图像
206 输出图像
204 采集到的图像
208 虚拟染色图像
210 采集到的被H&E染色的图像
212 被虚拟染色的图像(H&E&FAP&panCK)
214 采集到的被H&E染色的图像-缩放的
216 被虚拟染色的图像(H&E&FAP&panCK)-缩放的
218 被H&E&FAP&panCK染色的样品的采集到的图像
220 图像218的缩放子区域
222 被H&E&FAP&panCK染色的样品的采集到的图像
224 根据采集到的被H&E&Ki67&CD8染色的图像计计算出的H&E&FAP&panCK染色的样品的被虚拟染色的图像
300 图像分析系统
302 处理器
304 显示器
306 储存介质
308 机器学习逻辑
310 程序逻辑
312 第一神经网络
314 第二神经网络
316 采集到的图像
318 输出图像
320 图像采集系统
322 相机
324 组织样品
326 载玻片
328 光源

Claims (18)

1.一种识别组织样品(324)中生物标记的方法(100)，所述方法包括：
-通过图像分析系统(300)接收(102)采集到的图像(202、204、316、210、214)，所述采集到的图像已经由图像采集系统(320)采集，所述采集到的图像是以下类型之一：
·所述组织样品的数字图像，所述数字图像的像素强度值与所述组织样品的自发荧光信号的强度或X射线感生信号的强度相关；或者
·所述组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂的量相关；或者
·所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地对所述组织样品中包含的第一生物标记进行染色；
·所述组织样品的数字图像，其中，一些像素的像素强度值与非生物标记特异性染色剂的强度相关，并且其中，其他像素的像素强度值与一个或多个第一生物标记特异性染色剂的强度相关；
-提供(104)经训练的机器学习逻辑—MLL(308)，所述MLL已经被训练以识别被预测包括第二生物标记的组织区域；以及
-将所接收的采集到的图像输入(106)到所述MLL中；
-通过所述MLL将采集到的图像自动变换(108)为输出图像(206、208、318、212、216)，所述输出图像突出显示了被预测包括所述第二生物标记的组织区域。
2.根据权利要求1所述的方法，所述输出图像是虚拟染色图像，所述变换包括：
-设置被预测包括所述第二生物标记的所述图像区域的像素强度值，使得它们光学模拟第二生物标记特异性染色剂的存在，所述第二生物标记特异性染色剂被适配用于选择性地对所述第二生物标记进行染色。
3.根据前述权利要求中任一项所述的方法，所述采集到的图像是所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地对第一生物标记进行染色，
其中，所述第一生物标记被选择性地包含在特定细胞类型中；并且
其中，所述第二生物标记被选择性地包含在该细胞类型的多种已知子类型中的一种中。
4.根据前述权利要求中任一项所述的方法，所述采集到的图像是所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地对第一生物标记进行染色，
其中，所述第一生物标记选择性地包含在特定的第一细胞类型中；并且
其中，所述第二生物标记是已知被选择性地包含在该第一细胞类型的多种已知子类型中的一种的生物标记，或者是已知被选择性地包含在不同于所述第一细胞类型的第二细胞类型中的生物标记。
5.根据前述权利要求中任一项所述的方法，所述第二生物标记是已知被选择性地包含在多种已知免疫细胞子类型中的一个中的生物标记，所述第二生物标记尤其是以下之一：CD4或CD8或CD3或FAP或Foxp3。
6.根据前述权利要求中任一项所述的方法，所述采集到的图像是所述组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂的量相关，所述非生物标记特异性染色剂选自：阿利新蓝、铁蓝、Carcade、胭脂红、月季提取物、曙红、Genta、高尔基染色剂、Gomori三色、革兰氏染色、苏木精、指甲花、H&E染色、Kluver-Barrera染色剂、Mallory的CT染色剂、Masson的三色、改良的GMS银染色剂、高碘酸希夫(PAS)、Perls普鲁士、红玫瑰提取物、硝酸银、甜菜提取物、甲苯胺蓝、三色染色剂、翼果提取物、Ziehl Neelsen染色剂、具有荧光或酶染色剂的免疫标记、以及它们的组合。
7.根据前述权利要求中任一项所述的方法，所述采集到的图像是所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂是荧光染色剂。
8.根据前述权利要求中任一项所述的方法，进一步包括：
-通过图像采集系统采集所述采集到的图像，所述图像采集系统选自：明场显微镜、荧光显微镜、以及X射线显微镜。
9.如前述权利要求中任一项所述的方法，进一步包括生成所述经训练的MLL，所述生成包括：
-通过图像采集系统采集多个第一训练图像，每个第一训练图像描绘了相应的训练组织样品，并且是以下类型之一：
·训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度相关并且指示所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度；或者
·训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品中的非生物标记特异性染色剂的强度相关并且指示所述训练组织样品中的非生物标记特异性染色剂的强度；或者
·训练组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量的强度相关并且指示第一生物标记特异性染色剂的量的强度，所述第一生物标记特异性染色剂被适配用于选择性地对包含在所述训练组织样品中的第一生物标记进行染色；
·训练组织样品的数字图像，其中，一些像素的像素强度值与非生物标记特异性染色剂的强度相关，并且其中，其他像素的像素强度值与一个或多个第一生物标记特异性染色剂的强度相关；
-假如所述第一训练图像的像素强度是其像素强度指示所述非生物标记特异性染色剂或指示所述第一生物标记特异性染色剂的图像类型，则洗涤所述训练组织样品以用于去除所述非生物标记特异性染色剂或所述第一生物标记特异性染色剂；
-使用第二生物标记特异性染色剂染色所述训练组织样品，所述第二生物标记特异性染色剂被适配用于选择性地对所述训练组织样品中的所述第二生物标记进行染色；
-通过所述图像采集系统采集多个第二训练图像，每个第二训练图像描绘了已经被所述第二生物标记特异性染色剂染色的所述训练组织样品中的相应一个；
-将所述第一训练图像和所述第二对训练图像成对输入到所述MLL的未经训练版本中，每对训练图像描绘相同的训练组织样品并且彼此成像素对准，并且使用描述所述相同训练组织样品的所述第一训练图像中包含的强度信息训练所述MLL，以使得所述MLL学习识别所述第二训练图像中的区域，所述区域描绘所述训练组织样品中的被预测包括所述第二生物标记的组织区域。
10.根据权利要求9所述的方法，所述MLL的所述训练进一步包括训练所述MLL学习图像变换例程，所述图像变换例程被适配用于将所述第一训练图像中的每一个变换成虚拟染色图像，所述虚拟染色图像与已经针对所述相同训练组织样品获得的所述第二训练图像中的一个相同或相似。
11.根据权利要求1至10中任一项所述的方法，所述MLL是神经网络，特别是全卷积网络或具有条件GAN架构的网络。
12.根据权利要求1至求8中任一项所述的方法，进一步包括生成所述经训练的MLL，所述生成包括：
-通过图像采集系统采集多个第一训练图像，每个第一训练图像描绘了相应的训练组织样品，并且是以下类型之一：
·训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度相关并且指示所述训练组织样品的自发荧光信号的强度或X射线感生信号的强度；或者
·训练组织样品的数字图像，所述数字图像的像素强度值与所述训练组织样品中的非生物标记特异性染色剂的强度相关并且指示所述训练组织样品中的非生物标记特异性染色剂的强度；或者
·训练组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量的强度相关并且指示第一生物标记特异性染色剂的量的强度，所述第一生物标记特异性染色剂被适配用于选择性地对包含在所述训练组织样品中的第一生物标记进行染色；
-使用第二生物标记特异性染色剂染色被用于采集所述第一训练图像的所述训练组织样品的未被染色版本或脱染色版本，或着染色未染色的进一步训练组织样品，所述第二生物标记特异性染色剂被适配用于选择性地对所述训练组织样品中的所述第二生物标记进行染色；
-通过所述图像采集系统采集多个第二训练图像，每个第二训练图像描绘了已经被所述第二生物标记特异性染色剂染色的所述训练组织样品中的相应一个；
-将所述第一训练图像和所述第二训练图像输入到所述MLL的未经训练版本中，其中，描述所述相同训练组织样品的所述第一训练图像和所述第二训练图像(如果有的话)既未分配也未彼此对准，并且使用描述所述相同训练组织样品的所述第一训练图像中包含的强度信息训练所述MLL以使得所述MLL学习识别所述第二训练图像中的区域，所述区域描绘所述训练组织样品中的被预测包括所述第二生物标记的组织区域。
13.根据权利要求12所述的方法，其中，与所述第二训练图像中描绘的所述进一步训练组织样品相比，所述第一训练图像中描绘的所述训练组织样品源自不同的组织块或不同的患者。
14.根据权利要求1至8、12至13中任一项所述的方法，所述MLL是生成对抗网络，特别是循环生成对抗网络或具有DISCO-GAN架构的网络。
15.根据权利要求12至14中任一项所述的方法，所述MLL的所述训练进一步包括训练所述MLL学习图像变换例程，所述图像变换例程被适配用于将所述第一训练图像中的每一个变换成虚拟染色图像，所述虚拟染色图像与已经针对所述相同训练组织样品获得的所述第二训练图像中的一个相同或相似。
16.一种图像分析系统(300)，包括：
-一个或多个处理器(302)；
-易失性或非易失性存储介质(306)，所述存储介质包括采集到的图像(202、204、316、210、214)，所述采集到的图像已经由图像采集系统采集，所述采集到的图像是以下类型之一：
·所述组织样品(324)的数字图像，所述数字图像的像素强度值与所述组织样品的自发荧光信号的强度或X射线感生信号的强度相关；或者
·所述组织样品的数字图像，所述数字图像的像素强度值与非生物标记特异性染色剂的量相关；或者
·所述组织样品的数字图像，所述数字图像的像素强度值与第一生物标记特异性染色剂的量相关，所述第一生物标记特异性染色剂被适配用于选择性地对所述组织样品中包含的第一生物标记进行染色；
所述存储介质进一步包括经训练的机器学习逻辑-MLL(308)，所述MLL已经被训练以识别被预测包括第二生物标记的组织区域；
-程序逻辑(310)，所述程序逻辑可以由所述一个或多个处理器执行，并且被配置用于将所接收的采集到的图像输入(104)到所述MLL中；
·所述MLL被配置用于自动地将所述采集到的图像变换(106)为输出图像(206、208、318、212、216)，所述输出图像突出显示了被预测包括所述第二生物标记的组织区域。
17.一种图像到图像的转换方法，包括：
-通过图像分析系统(300)接收第一类别数字病理学图像(202、204、316、210、214)；
-通过机器学习逻辑MLL将所述第一类别数字病理学图像自动变换为第二类别数字病理学图像(206、208、318、212、216)，所述机器学习逻辑MLL是经训练的GAN网络，所述GAN网络是循环生成对抗网络或具有条件GAN架构的网络或具有DISCO-GAN架构的网络。
18.根据权利要求17所述的图像到图像的转换方法：
-其中，所述第一类别数字病理学图像是突出显示组织样品的第一区域的采集到的图像，所述第一区域是自发荧光的区域、发射X射线或X射线感生信号的区域、被非生物标记特异性第一染色剂染色的区域或者包括被特定染色的第一生物标记的区域；
-其中，所述第二类别数字病理学图像是虚拟染色图像，所述虚拟染色图像突出显示了所述组织样品的第二区域，所述第二区域是所述组织样品的被预测包括第二生物标记的区域。
CN201980012685.2A 2018-02-12 2019-02-08 数字病理学图像的变换 Pending CN111699510A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18156367 2018-02-12
EP18156367.7 2018-02-12
PCT/EP2019/053137 WO2019154987A1 (en) 2018-02-12 2019-02-08 Transformation of digital pathology images

Publications (1)

Publication Number Publication Date
CN111699510A true CN111699510A (zh) 2020-09-22

Family

ID=61192823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980012685.2A Pending CN111699510A (zh) 2018-02-12 2019-02-08 数字病理学图像的变换

Country Status (5)

Country Link
US (1) US11482320B2 (zh)
EP (1) EP3752979A1 (zh)
JP (1) JP7308848B2 (zh)
CN (1) CN111699510A (zh)
WO (1) WO2019154987A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170974A (zh) * 2022-09-08 2022-10-11 深圳市勘察研究院有限公司 基于ai智能检测溶洞连通性的方法及装置
WO2023061162A1 (en) * 2021-10-12 2023-04-20 The Hong Kong University Of Science And Technology Systems and methods for label-free multi-histochemical virtual staining

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113678142A (zh) 2019-04-11 2021-11-19 安捷伦科技有限公司 基于深度学习的经由回归层的实例分割训练
KR102488986B1 (ko) * 2019-05-31 2023-01-18 페이지.에이아이, 인크. 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
WO2021052063A1 (en) * 2019-09-19 2021-03-25 The Hong Kong University Of Science And Technology Slide-free histological imaging method and system
US11977723B2 (en) * 2019-12-17 2024-05-07 Palantir Technologies Inc. Image tiling and distributive modification
WO2021133847A1 (en) 2019-12-23 2021-07-01 The Regents Of The University Of California Method and system for digital staining of microscopy images using deep learning
AU2021213131B2 (en) * 2020-01-28 2023-02-02 PAIGE.AI, Inc. Systems and methods for processing electronic images for biomarker localization
JP7228210B2 (ja) * 2020-01-28 2023-02-24 ペイジ．エーアイ インコーポレイテッド デジタルバイオマーカおよびゲノムパネルの伝達のためのシステムおよび方法
WO2021198241A1 (en) 2020-03-30 2021-10-07 Carl Zeiss Ag Multi-input and/or multi-output virtual staining
CN115362472A (zh) 2020-03-30 2022-11-18 卡尔蔡司显微镜有限责任公司 定制虚拟染色
WO2021198243A1 (en) 2020-03-30 2021-10-07 Carl Zeiss Ag Method for virtually staining a tissue sample and a device for tissue analysis
WO2021198252A1 (en) 2020-03-30 2021-10-07 Carl Zeiss Ag Virtual staining logic
WO2021198247A1 (en) 2020-03-30 2021-10-07 Carl Zeiss Ag Optimal co-design of hardware and software for virtual staining of unlabeled tissue
CN111652242B (zh) * 2020-04-20 2023-07-04 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质
JP2022037567A (ja) * 2020-08-25 2022-03-09 株式会社Ｓｃｒｅｅｎホールディングス 標本解析方法および画像処理方法
EP4323951A1 (en) * 2021-04-14 2024-02-21 Ventana Medical Systems, Inc. Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images
CN113256617B (zh) * 2021-06-23 2024-02-20 重庆点检生物科技有限公司 一种病理切片虚拟免疫组化染色方法及系统
WO2023073719A1 (en) * 2021-10-28 2023-05-04 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University System and method of cell anomaly detection
CN114113616B (zh) * 2021-12-07 2022-08-23 深圳裕策生物科技有限公司 一种试剂盒及其染色方法
WO2023107844A1 (en) * 2021-12-07 2023-06-15 The Regents Of The University Of California Label-free virtual immunohistochemical staining of tissue using deep learning
WO2023129820A1 (en) * 2021-12-30 2023-07-06 Verily Life Sciences Llc Detecting abnormal cells using autofluorescence microscopy
CN114678121B (zh) * 2022-05-30 2022-09-09 上海芯超生物科技有限公司 一种hp球形变诊断模型的构建方法及系统
US20240037740A1 (en) * 2022-07-28 2024-02-01 Applied Materials, Inc. Method and system for automatic ihc marker-her2 score
WO2024063119A1 (ja) * 2022-09-21 2024-03-28 国立大学法人大阪大学 画像翻訳装置、画像診断システム、画像翻訳方法、制御プログラム、記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014506122A (ja) * 2010-12-07 2014-03-13 ライフ テクノロジーズ コーポレーション バーチャル細胞染色システム
US20150141278A1 (en) * 2012-05-30 2015-05-21 Clarient Diagnostic Services, Inc. Multiplexed assay method for lung cancer classification
WO2014138197A1 (en) * 2013-03-06 2014-09-12 General Electric Company Methods of analyzing an h&e stained biological sample
JP6841609B2 (ja) * 2015-07-10 2021-03-10 ３スキャン インコーポレイテッド 組織学的染色の空間的多重化
DK3639191T3 (da) * 2017-06-15 2021-12-06 Visiopharm As Fremgangsmåde til træning af en deep learning-model for at opnå histopatologisk information fra billeder
JP2020534627A (ja) * 2017-09-19 2020-11-26 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドＳｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ Ｄｉａｇｎｏｓｔｉｃｓ Ｉｎｃ． 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
US11593656B2 (en) * 2017-12-31 2023-02-28 Astrazeneca Computational Pathology Gmbh Using a first stain to train a model to predict the region stained by a second stain

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061162A1 (en) * 2021-10-12 2023-04-20 The Hong Kong University Of Science And Technology Systems and methods for label-free multi-histochemical virtual staining
CN115170974A (zh) * 2022-09-08 2022-10-11 深圳市勘察研究院有限公司 基于ai智能检测溶洞连通性的方法及装置
CN115170974B (zh) * 2022-09-08 2022-12-20 深圳市勘察研究院有限公司 基于ai智能检测溶洞连通性的方法及装置

Also Published As

Publication number Publication date
WO2019154987A1 (en) 2019-08-15
EP3752979A1 (en) 2020-12-23
JP2021513065A (ja) 2021-05-20
US11482320B2 (en) 2022-10-25
JP7308848B2 (ja) 2023-07-14
US20210005308A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US11482320B2 (en) Transformation of digital pathology images
US11561178B2 (en) Artificial fluorescent image systems and methods
US10083340B2 (en) Automated cell segmentation quality control
US9329130B2 (en) Systems and methods for counting cells and biomolecules
WO2021113821A1 (en) Systems and methods for high throughput drug screening
JP2019530847A5 (zh)
CN111527519B (zh) 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法
KR20120079080A (ko) 형광 영상을 이용한 명시야 영상 생성 시스템 및 방법
US20240029409A1 (en) Tissue staining and sequential imaging of biological samples for deep learning image analysis and virtual staining
US20240177302A1 (en) Cellular diagnostic and analysis methods
JP5887823B2 (ja) 組織評価方法
Ciurte et al. Automatic detection of circulating tumor cells in darkfield microscopic images of unstained blood using boosting techniques
WO2021198247A1 (en) Optimal co-design of hardware and software for virtual staining of unlabeled tissue
WO2023121846A1 (en) Adversarial robustness of deep learning models in digital pathology
JP7011067B2 (ja) 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法
WO2021198279A1 (en) Methods and devices for virtual scoring of tissue samples
Furia et al. Automated multimodal fluorescence microscopy for hyperplex spatial-proteomics: Coupling microfluidic-based immunofluorescence to high resolution, high sensitivity, three-dimensional analysis of histological slides
WO2021198252A1 (en) Virtual staining logic
WO2023107844A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
Debeir et al. Models of cancer cell migration and cellular imaging and analysis
WO2021198241A1 (en) Multi-input and/or multi-output virtual staining
Soans et al. Automated protein localization of blood brain barrier vasculature in brightfield IHC images
US20230368504A1 (en) Synthetic generation of immunohistochemical special stains
Wong et al. Clinical-Grade Validation of an Autofluorescence Virtual Staining System with Human Experts and a Deep Learning System for Prostate Cancer
Huang et al. Optimizing Immunofluorescence with High-Dynamic-Range Imaging to Enhance PD-L1 Expression Evaluation for 3D Pathology Assessment from NSCLC Tumor Tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40035030

Country of ref document: HK