CN117529750A - 使用多重免疫荧光成像的组织学染色的数字合成 - Google Patents

使用多重免疫荧光成像的组织学染色的数字合成 Download PDF

Info

Publication number
CN117529750A
CN117529750A CN202280042276.9A CN202280042276A CN117529750A CN 117529750 A CN117529750 A CN 117529750A CN 202280042276 A CN202280042276 A CN 202280042276A CN 117529750 A CN117529750 A CN 117529750A
Authority
CN
China
Prior art keywords
image
mpx
channel
images
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280042276.9A
Other languages
English (en)
Inventor
王兴伟
赵佐
A·洛萨库勒
聂垚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN117529750A publication Critical patent/CN117529750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)

Abstract

用于从多重免疫荧光(MPX)图像获得合成组织化学染色图像的技术可包括：产生N通道输入图像，所述N通道输入图像基于来自组织切片的MPX图像的M个通道中的每一者的信息，其中M和N为正整数并且N小于或等于M；以及通过使用生成器网络处理所述N通道输入图像来生成合成图像，所述生成器网络已经使用包括多对图像的训练数据集进行训练。所述合成图像描绘用至少一种组织化学染色剂染色的组织切片。所述多对图像中的每一对图像包括从组织的第一切片的MPX图像产生的N通道图像以及用至少一种组织化学染色剂染色的所述组织的第二切片的图像。

Description

使用多重免疫荧光成像的组织学染色的数字合成
技术领域
本公开涉及数字病理，并且具体地涉及包括从多重免疫荧光图像获得合成组织学染色图像的技术。
背景技术
组织病理可以包括对出于各种原因从组织切片制备的载玻片的检查，诸如：疾病的诊断、对治疗的反应的评估和/或对抗疾病的药物的开发。因为组织切片和其中的细胞实际上是透明的，载玻片的制备通常包括对组织切片进行染色，以便使相关结构更具可见性。数字病理可以包括扫描染色的载玻片以获得数字图像，该数字图像随后可以通过数字病理图像分析来检查和/或由人类病理学家解读。
组织切片的多重免疫荧光(MPX)染色允许同时检测多个生物标志物以及它们在单细胞水平下的共表达。MPX使得能够表征肿瘤微环境中的免疫环境，这对于对免疫疗法的应答可能具有显著影响。例如，使用MPX可在单张载玻片中检测更多生物标志物和共定位。虽然MPX有望成为用于发现有效治疗方法和开发新药的宝贵工具，但将MPX结果与底层组织结构准确地相关联仍然存在一些挑战。
发明内容
在各种实施例中，提供了一种计算机实现的图像转换方法，其包括：产生N通道输入图像，该N通道输入图像基于来自组织切片的多重免疫荧光(MPX)图像的M个通道中的每一者的信息，其中M为正整数并且N为小于或等于M的正整数；以及通过使用生成器网络处理该N通道输入图像来生成合成图像，该生成器网络已经使用包括多对图像的训练数据集进行训练。在该方法中，该合成图像描绘已经用至少一种组织化学染色剂染色的组织切片，并且对于该多对图像中的每一对图像，该对包括从组织的第一切片的MPX图像产生的N通道图像以及已经用该至少一种组织化学染色剂染色的该组织的第二切片的图像。
在一些实施例中，产生该N通道输入图像包括：对于该组织切片的该MPX图像的该M个通道中的每一者，将信息从该通道映射到该N通道图像的该N个通道中的至少一者。该映射可包括：产生自发荧光图像，该自发荧光图像基于来自该组织切片的该MPX图像的多个通道中的每一者(例如，M个通道中的每一者)的信息，并且该N通道输入图像可基于来自该自发荧光图像的信息。该自发荧光图像可基于该组织切片的该MPX图像的该多个通道的非线性组合。附加地或另选地，该自发荧光图像可基于该多个通道之间的自发荧光的光谱分布。
在一些实施例中，该合成图像为N通道图像。该N通道输入图像和该合成图像中的每一者可为RGB图像。附加地或另选地，该组织切片的该MPX图像可为暗场图像并且/或者该合成图像可为明场图像。
在一些实施例中，该至少一种组织化学染色剂为苏木精和/或伊红。
在一些实施例中，该N通道图像基于该自发荧光图像以及基于核复染剂图像。例如，该N通道图像可基于该组织切片的该MPX图像的对应于核复染剂的通道以及该自发荧光图像的线性组合。该N通道图像基于光密度值阵列，该光密度值阵列基于该线性组合。
在一些实施例中，N等于三并且/或者M至少为四。
在一些实施例中，将生成器网络以生成对抗网络的一部分进行训练。在一些实施例中，该生成器网络被实现为U-Net和/或编码器-解码器网络。经由在通过该生成器网络的图像与预期输出图像之间测量的L1损失来更新该生成器网络。
在一些实施例中，提供了一种方法，其包括由使用者基于由该计算机实现的方法的实施例生成的该合成图像来确定对受试者的诊断。
在一些实施例中，提供了一种方法，其包括由使用者基于由该计算机实现的方法的实施例生成的该合成图像来确定对受检者的诊断，以及由该使用者基于(i)该合成图像和/或(ii)对该受试者的该诊断来施用使用化合物的治疗。
在一些实施例中，提供了一种系统，其包括一个或多个数据处理器和非暂时性计算机可读存储介质，其包含指令，该指令当在该一个或多个数据处理器上执行时，使得该一个或多个数据处理器进行本文所公开的一种或多种方法的一部分或全部。
在一些实施方案中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且包括被配置成促使一个或多个数据处理器执行本文所公开的一种或多种方法的部分或全部的指令。
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，该指令被配置成使得一个或多个数据处理器进行本文所公开的一种或多种方法的部分或全部和/或本文所公开的一种或多种过程的部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
附图说明
本专利或申请文件含有至少一幅彩色附图。在提出请求并支付必要的费用后，专利局将提供带有一幅或多幅彩色图式的本专利或专利申请公布的副本。
通过参考附图描述实例，各种实施例的方面和特征将更加明显，其中：
图1示出了数字病理解决方案工作流程的示例性图；
图2示出了多重免疫荧光(MPX)成像工作流程的示例性图和示例性MPX图像；
图3示出了来自MPX面板的载玻片的示例性MPX图像；
图4示出了来自MPX面板的载玻片的另一个示例性MPX图像；
图5A和图5B示出了与H&E(明场)图像(图5B)配准的MPX(暗场)图像(图5A)；
图6示出了用于获得H&E染色样品的图像的工作流程的示例；
图7A和图7B分别示出了类似于H&E图像和实际H&E图像的映射图像的示例；
图8A示出了根据一些实施例的示例性过程的流程图；
图8B示出了根据一些实施例的另一个示例性过程的流程图；
图9示出了根据一些实施例的产生自发荧光图像的过程；
图10A至图10D示出了根据一些实施例的三通道(RGB)映射输入图像的示例，每个图像从MPX图像的M个通道的不同对应映射获得；
图11示出了根据一些实施例的产生三通道映射输入图像(例如，用于训练深度学习网络和/或用于推断)的过程；
图12示出了根据一些实施例的产生三通道映射输入图像的另一个过程；
图13示出了根据一些实施例的产生三通道映射输入图像的又一个过程；
图14示出了根据一些实施例的示例性计算环境；
图15示出了根据一些实施例的条件GAN模型；
图16示出了根据一些实施例的使用Pix2Pix GAN的条件GAN模型的实现的示例；
图17示出了根据一些实施例的获得训练图像的过程的流程图；
图18示出了根据一些实施例的从全载玻片图像中提取图块和图像斑块的示例；
图19示出了根据一些实施例的Cycle-GAN中的网络和网络连接的表示；
图20示出了根据一些实施例的使用Cycle-GAN生成和鉴别图像的流程；
图21至图23示出了根据各种实施例生成的输入图像、目标图像和输出图像的示例；
图24示出了四种不同类型的组织的自发荧光的参考光谱分布的比较示例；
图25示出了未染色组织样品的MPX图像的两个示例；并且
图26示出了校正之前和之后的胰腺组织样品的MPX图像的示例。
具体实施方式
本文所公开的系统、方法和软件有利于从多重免疫荧光图像中获得合成组织学染色图像。虽然描述了某些实施例，但这些实施例仅以实例的方式呈现，并不旨在限制保护范围。本文描述的设备、方法和系统可以以多种其他形式体现。此外，在不脱离保护范围的情况下，可以对本文描述的实例方法和系统的形式进行各种省略、替换和变化。
I.概述
数字病理可能涉及对数字化图像的解释，以便正确诊断受试者并指导治疗决策。在数字病理解决方案中，可建立图像分析工作流程以自动检测或分类目的生物对象(例如阳性/阴性肿瘤细胞等)。图1示出了数字病理解决方案工作流程100的示例性图。数字病理解决方案工作流程100包括在框110处获得组织载玻片，在框120处使用数字图像扫描仪(例如，全载玻片图像(WSI)扫描仪)来扫描预选区域或整个组织载玻片以获得数字图像，在框130处使用一种或多种图像分析算法对数字图像进行图像分析，以及在框140处基于图像分析对目的对象进行评分(例如，定量或半定量评分，诸如阳性、阴性、中等、弱等)。
例如，由疾病引起的组织变化的评估可以通过检查薄组织切片来进行。可以将组织样品(例如肿瘤样品)切片以获得一系列切片，每个切片具有例如4微米至5微米的厚度。因为组织切片和其中的细胞实际上是透明的，载玻片的制备通常包括对组织切片进行染色，以便使相关结构更具可见性。例如，组织的不同切片可以用一种或多种不同的染色剂染色以表达组织的不同特征。
每个切片可以安装在载玻片上，然后扫描该载玻片以创建数字图像，该数字图像随后可以通过数字病理图像分析来检查和/或由人类病理学家解读(例如，使用图像查看器软件)。病理学家可以检查并手动注释载玻片的数字图像(例如，肿瘤区域、坏死等)，以便能够使用图像分析算法来提取有意义的定量衡量(例如，以对目的生物对象进行检测和分类)。传统上，病理学家可以手动注释来自组织样品的多个组织切片的每个连续的图像，以识别每个连续的组织切片上的相同方面。
一种类型的组织染色是组织化学染色，其使用一种或多种化学染料(例如，酸性染料、碱性染料)来对组织结构进行染色。组织化学染色可用于指示组织形态和/或细胞组织学的一般方面(例如，以对细胞核与细胞质、指示脂滴等进行区分)。组织化学染色剂的一个示例是苏木精和伊红(H&E)。组织化学染色剂的其他示例包括三色染色剂(例如，马松三色染色)、过碘酸-雪夫(PAS)、银染色剂和铁染色剂。组织化学染色样品的图像通常使用明场显微镜检查获得，并且组织化学染色样品的载玻片通常以每个颜色通道每像素8位的分辨率进行扫描(例如，红色、绿色和蓝色(RGB)中的每一者)。
在组织样品的H&E染色中，苏木精将细胞核染成蓝色，而伊红将细胞外基质和细胞质染成粉红色，并且其他结构可被染色成具有不同的深浅、色调和/或粉红色和蓝色的组合。虽然H&E染色可用于识别一般组织和细胞解剖，然而，它无法提供支持某些诊断评估所需的具体信息，诸如可用于区分不同类型的癌症(例如HER2评分)的信息，这可能是如下所述的免疫组织化学提供的。
另一种类型的组织染色是免疫组织化学(IHC，也称为“免疫染色”)，它使用与目的靶抗原(也称为生物标志物)特异性结合的一抗。IHC可以是直接的或间接的。在直接IHC中，一抗直接与标记物(例如发色团或荧光团)缀合。在间接IHC中，一抗首先与靶抗原结合，然后与标记物(例如发色团或荧光团)缀合的二抗与一抗结合。使用IHC进行组织染色通常需要使用非常昂贵的试剂以及比组织化学染色更复杂的实验室设备和程序。用IHC荧光团染色的样品的图像通常使用暗场显微镜检查获得。
在多重免疫荧光(MPX)成像中，单张载玻片用多种IHC荧光团染色，其中各种荧光团的发射光谱彼此可区分。MPX面板中不同荧光团的数量通常为五个或六个，但也可能更少或更多。除了标记所需生物标志物的荧光团之外，通常还包括荧光核复染剂，诸如4',6-二脒基-2-苯基吲哚(DAPI)。通过将来自每个荧光团的发射捕获到暗场图像的单独对应通道(通常每通道每像素十六位的分辨率)来获得MPX图像，并且通过为每个通道指派不同伪彩色来查看MPX图像。
图2、图3和图4示出了IHC染色的三个不同面板的MPX图像。在图2图像中，与生物标志物CD8A、程序性细胞死亡蛋白1(PDCD1)、分化簇3-ε(CD3E)、增殖标志物Ki-67(MKI67)和角蛋白(KRT)对应的通道分别被指派为伪颜色黄色、浅蓝色、紫色、红色和绿色。在图3图像中，与核复染剂DAPI和生物标志物PanCK、CD31、成纤维细胞活化蛋白α(FAP)和主要组织相容性复合物1(MHC1)对应的通道分别被指派为伪颜色深蓝色、浅蓝色、绿色、红色和粉色。在图4图像中，与DAPI和生物标志物CD3(浅蓝色)、程序性死亡配体1(PD-L1)、PD1、PanCK和颗粒酶B(Gzmb)对应的通道被指派为伪颜色深蓝色、浅蓝色、绿色、黄色、红色和粉色。
与IHC相比，在单张MPX载玻片中的多种生物标志物的检测(例如，如图2至图4所示)提供了关于生物标志物共定位和共表达的有价值的信息。例如，同时检测五个生物标志物可在单张MPX载玻片中检测大量(例如17至90个)表型(定义的生物标志物集合的共表达)。
图2也示出了MPX成像工作流程的示例。此类工作流程能够以算法开发(例如，包括串扰校正、自发荧光校正、候选选择、病理学家基准真值、特征机器学习和/或PD1强度类别)开始，并继续进行算法验证(例如，比较来自算法的结果与病理学家结果)、临床报告和分析以及随后是夹心测定验证的测定开发。
与组织化学染色(例如，H&E)图像不同，MPX图像通常缺乏对底层组织结构的清晰描述。因此，注释MPX图像以描述目的区(ROI)以供进一步分析(例如，肿瘤或外肿瘤区)并且/或者从进一步分析中排除的区(例如，坏死区)的任务可能很困难或不可能隔离。由于此类原因，注释MPX图像或基于MPX图像确认诊断的当前实践通常依赖于已经被H&E染色的样品附近切片的对应图像，以提供必要的结构细节。H&E图像被配准到MPX图像，使得病理学家可轻松地在显示器上的两个图像之间切换(例如，在进行注释时)。图6示出了用于产生H&E图像的工作流程的示例，该工作流程可包括诸如固定、处理、嵌入、切割、染色和显微镜检查等操作。
图5A示出了经注释的MPX图像的示例，并且图5B示出了已经被H&E染色并配准到MPX图像的样品的附近切片的对应图像的示例。准备参考H&E图像会产生额外费用，并且检查两个图像可能需要病理学家检查附加组织注释。将一个图像与另一个图像配准可能非常耗时并且计算成本高昂，因为在载玻片制备过程中可能会出现每个切片的独特的全局和/或局部变形。如果配准不准确，则当经配准的图像重叠、切换或以其他方式一起查看时指示的生物标志物与底层组织结构(例如，细胞膜、细胞核)之间的空间关系也可能不准确。此外，即使图像被最佳地配准，两个图像将也不会描绘相同的组织空间，因为它们来自不同切片。一个切片中的结构可能不存在于另一个切片中(例如，其大小与每个切片的厚度相当的结构)或者在另一个切片中可能具有不同的尺寸和/或形态，使得经配准的图像与基线图像的覆盖可能无法真正捕获生物标志物相对于组织结构的位置，这可能会导致MPX图像的注释和/或检查期间出现困难。
常规图像处理技术可用于通过将MPX图像的一个或多个通道映射到RGB颜色空间来创建类似于H&E染色样品的图像。图7A示出了此类映射图像的示例，并且图7B示出了用于比较的真实H&E染色图像。而如图7A所示的映射图像可能表面上类似于H&E图像，然而，病理学家在常规临床实践中已经证实，此类图像示出了图像真实性和质量不足以支持例如诊断中的实际决策。通过比较图7A和图7B中的图像的右边缘附近的区，例如，可看出图7A的映射图像缺乏许多结构细节，这在图7B的中间水平值中是明显的。
为了克服这些限制以及其他限制，本文公开了用于从MPX图像生成合成(虚拟染色)图像的技术，该合成(虚拟染色)图像描绘了与组织化学染色样品的实际图像具有高度结构相似性的组织化学染色(例如，H&E染色)样品。此类合成图像的生成可支持避免复杂且繁琐的组织制备和染色过程以及配准操作。临床上，此类解决方案可能具有允许通过打开和关闭MPX图像来可视化H&E染色组织结构的优点，这符合病理学家的标准实践，并可能促进多重成像的临床采用。发展上，此类解决方案有可能为算法开发的H&E分析生成基准真值，并且可更轻松地将MPX图像配准到另一个MPX图像，这可支持发现生物标志物。
合成图像的生成可以由经训练的生成器网络来进行，该生成器网络可以包括在训练生成对抗网络(GAN)时学习到的参数。GAN可以进一步包括鉴别器网络，该鉴别器网络配置成预测输入图像是假的(即，已由生成器网络生成的)还是真的(即，描绘从受试者收集的实际图像)。基于这些预测的准确性的反馈可以在训练期间提供给生成器网络。
本公开的一个例示性实施例涉及一种图像转换的方法，该方法包括：产生N通道输入图像，该N通道输入图像基于来自组织切片的MPX图像的M个通道中的每一者的信息，其中M为正整数并且N为小于或等于M的正整数；以及通过使用生成器网络处理该N通道输入图像来生成合成图像，该生成器网络已经使用包括多对图像的训练数据集进行训练。在该方法中，该合成图像描绘已经用至少一种组织化学染色剂染色的组织切片，并且对于该多对图像中的每一对图像，该对包括从组织的第一切片的MPX图像产生的N通道图像以及已经用该至少一种组织化学染色剂染色的该组织的第二切片的图像。
II.定义
如本文所用，当动作“基于”某物时，这意味着该动作至少部分地基于某物的至少一部分。
如本文所用，术语“基本上”、“大约”和“约”被定义为在很大程度上但不必完全是如本领域普通技术人员所理解的那样进行指定的(并且包括完全是所指定的)。在任何公开的实施例中，术语“基本上”、“大约”或“约”可以用对于所指定的“在[某个百分比]内”替代，其中百分比包括0.1％、1％、5％和10％。
如本文所用，术语“样品”、“生物样品”或“组织样品”是指从包括病毒在内的任何生物体获得的包括生物分子(诸如蛋白质、肽、核酸、脂质、碳水化合物或它们的组合)在内的任何样品。其他生物体的示例包括哺乳动物(诸如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物样品包括组织样品(诸如组织切片和组织的穿刺活检)、细胞样品(诸如细胞学涂片，诸如子宫颈涂片或血液涂片或通过显微解剖获得的细胞样品)，或细胞级分、碎片或细胞器(诸如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物样品的其他示例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(诸如口腔拭子)、或任何含有从第一生物样品导出的生物分子的材料。在某些实施例中，本文使用的术语“生物样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化的样品)。
III.用于使用MPX成像的组织学染色的数字合成的技术
如本文所述的使用MPX成像来数字合成组织学染色剂的方法可使用多模态转移技术来从MPX的暗场成像转化为H&E染色的明场成像。此类方法使用来自不同图像通道的信息来或者中间和经预处理的训练数据，以输入到深度学习网络(例如生成对抗网络或GAN)。此类方法可包括使用来自MPX图像的许多或所有通道的信息来生成输入训练数据集。
图8A示出了将源图像(例如，来自待处理的源图像集的源图像)转换成具有类似于目标图像的特征的新图像(例如，待生成的新图像集的新图像)的示例性过程800的流程图。可使用一个或多个计算系统、模型和网络来进行过程800(如本文相对于图14至16、图19和图20所述的计算系统、模型和网络)。
参考图8A，在框804处，基于来自组织切片的MPX图像的M个通道中的每一者的信息产生N通道输入图像，其中M为正整数并且N为小于或等于M的正整数。在框808处，通过使用生成器网络处理N通道输入图像来生成合成图像。合成图像描绘已经用至少一种组织化学染色剂染色的组织切片。生成器网络已经使用包括多对图像的训练数据集进行训练，其中每一对图像包括从组织的第一切片的MPX图像产生(例如，基于来自第一切片的MPX图像的M个通道中的每一者的信息)的N通道图像以及已经用至少一种组织化学染色剂染色的组织的第二切片的图像。
可能期望在框804处产生的输入图像中的通道数量N等于在框808处生成的合成图像中的通道数量。例如，可能期望使用生成器网络(诸如Pix2Pix GAN)来实现框808，该生成器网络被配置成产生具有与输入图像相同的通道数量的输出图像。合成图像可为三通道图像，诸如具有红色通道(R)、绿色通道(G)和蓝色通道(B)的RGB图像。
图8B示出了包括框816的过程框804的实现812。在框816处，对于组织切片的MPX图像的M个通道中的每一者，将来自该通道的信息映射到N通道图像的N个通道中的至少一者。此类映射可包括线性和/或非线性映射。在该示例中，框816包括框820。在框820处，产生基于来自组织切片的MPX图像的多个通道中的每一者(例如，来自M个通道中的每一者)的信息的自发荧光图像。在处理框804的该实现中，N通道输入图像基于来自自发荧光图像的信息。框812的实例也可被执行以从MPX图像的源集中的对应一者产生训练数据集的输入图像中的每一者。
在过程800的一些实施例中，组织化学染色剂是苏木精和伊红。
在过程800的一些实施例中，将生成器网络以生成对抗网络(例如，cGAN、Pix2PixGAN或CycleGAN)的一部分进行训练。
自发荧光图像可被产生(例如，在框820处)作为MPX图像的多个通道的非线性组合。在一个示例中，通过对于自发荧光图像的每个像素选择MPX图像的多个通道的对应像素的值中的最小值来非线性地组合MPX图像的多个通道。对于所有像素位置(x,y)，该运算可表示为例如b(x,y)＝min[a1(x,y),a2(x,y),…,aM(x,y)](其中a表示MPX图像，并且b表示自发荧光图像)。该运算不是线性的。产生自发荧光图像也可包括对由非线性组合产生的图像进行一种或多种操作(例如，降噪操作，诸如应用中值滤波器)。
图9示出了根据一些实施例的产生自发荧光图像的过程的示例。可能需要此类过程包括均衡MPX图像的通道(例如，以补偿在各个通道处记录的组织自发荧光水平之间的变化)。在如图9所示的示例中，MPX图像的M个通道在被非线性地组合之前被均衡(通过例如选择如上所述的最小像素值)以产生自发荧光图像。如图9所示，应用于MPX图像的各种通道的均衡可根据自发荧光的参考光谱分布来确定。例如，可通过将MPX图像的每个通道除以对应权重(例如，缩放因子)来进行均衡，其中可根据针对自发荧光的给定自体荧光参考光谱分布来确定各种通道中的每一者的权重值。可根据MPX图像中样品的组织类型来选择参考光谱分布，并且下面更详细地描述作为自发荧光参考向量的元素的各种通道的权重的计算。
在图9所示的特定示例中，M等于六，并且六个通道中的每一者对应于六个荧光团中的不同的一个荧光团(五个生物标志物及其对应荧光团和一个荧光核复染剂(DAPI))。用于产生此类MPX图像的染色协议也可被称为五重测定或面板。在其他示例中，M可等于三、四或五(例如，分别与二重、三重和四重测定或面板对应)或可大于六(例如，七、八、九或十或更大)。在图9所示的特定示例中，标记为4(四)的通道为DAPI通道。
图24示出了对于另一个六通道系统(在该图中，标记为6(六)的通道为DAPI通道)的四种不同类型的组织(胸部、结直肠癌(CRC)、胰腺和胃)的自发荧光的参考光谱分布以及这些分布的平均值的比较示例。参考光谱分布可从未染色样品的参考MPX图像获得，该未染色样品是与MPX图像中描绘的染色样品相同类型的组织(例如，来自相同的肿瘤)。图25示出了未染色组织样品的MPX图像的两个示例。参考MPX图像可使用例如用于捕获染色样品的MPX图像的相同成像系统来捕获。
参考光谱分布可作为自发荧光参考向量(例如，M元素参考向量)来获得，其中该向量的每个元素对应于参考MPX图像的不同通道并且表示在该通道中组织自发荧光的相对程度。相对程度可为例如线性的、多项式的或指数的(例如，幅度、能量或功率)。对于图9所示的示例，自发荧光参考向量的六个元素(如上所述，其可作为权重应用于MPX图像的对应通道)具有值[0.0919185036025541 0.1475890730455730.4676358141856590.822229790703801 0.1953090121621660.120506922298875]。对其确定自发荧光的相对程度的参考MPX图像的特定区域可为整个图像或图像的选择的目的区(例如，肿瘤区或其他经注释的区)。自发荧光的相对程度中的每一者可被计算为所需图像区域上的对应通道的值的选择的统计数据的值(例如，平均值，诸如算术平均值、中值等)。
在计算统计数据之前，可能需要在所需图像区域上对参考MPX图像的每个通道进行归一化。在一个此类示例中，通过最小-最大缩放(即，通过识别所需图像区域上通道的最大和最小像素值，并通过减去最小像素值并将结果除以最小像素值与最大像素值之间的差来归一化该区域内的通道的每个值)将每个通道分别归一化到从零到一的范围。
虽然源MPX图像中的通道数量可能大于M，但可能需要使用来自MPX图像的所有通道中的每一者的信息来产生N通道输入图像，并且同样地用于N通道训练图像中的每一者。换句话说，可能需要M等于源MPX图像中的通道总数。此类最大程度地使用来自源MPX图像的所有通道的信息来产生训练数据对于获得被训练以生成与对应目标图像具有最大程度的结构相似性的合成图像的生成器网络可能是重要的。类似地，虽然被组合以产生自发荧光图像的通道数量可能小于M，但是可能期望组合所有M个通道以产生自发荧光图像。
现在描述映射输入图像的示例。图10A至图10D示出了三通道(RGB)图像的四个示例，每个示例根据一些实施例根据不同对应映射基于来自IHC染色的组织切片的MPX图像的六个通道的信息而获得。这四个示例中的每一者都基于自发荧光图像和来自MPX图像的DAPI(或其他核复染剂)通道的图像的不同线性组合。在本文的讨论中，如图10A所示的映射被识别为“AF+AF+DAPI”或AAD，如图10B所示的映射被识别为“AF+DAPI+DAPI”或ADD，如图10C所示的映射被识别为“伪H&E”或pHE，并且如图10D所示的映射被识别为“伪H&E 2”或pHE2。
在进行如本文所述的自发荧光图像和DAPI图像的线性组合之前(例如，参考图11至图13)，可能需要将自发荧光图像和DAPI图像重新缩放到指定范围(另选地，将自发荧光图像和MPX图像重新缩放到指定范围)。在一个示例中，重新缩放可为归一化，其可通过识别图像的最小像素值和最大像素值并将图像的像素值归一化到从零到一的范围(例如，通过如本文所示的最小-最大缩放)来进行。在另一个示例中，可通过将期望的缩放因子应用于图像的每个像素值来进行重新缩放(例如，以将图像的像素值从零到65535的范围重新缩放到从零到2000的范围，或者从零到3000的范围等)。
在进行如本文所述的自发荧光图像和DAPI图像的线性组合之前(例如，参考图11至图13)，可能需要校正DAPI图像或校正MPX图像(例如，以补偿组织自发荧光)。此类校正可在如上所述的DAPI或MPX图像的重新缩放之前或之后进行。DAPI图像的校正可通过将自发荧光图像乘以自发荧光参考向量的对应元素以获得加权自发荧光图像，并从DAPI图像的每个像素值减去加权自发荧光图像的对应像素值来进行以获得经校正的DAPI图像。MPX图像的每个通道的校正可类似地通过将自发荧光图像乘以自发荧光参考向量的对应元素以获得加权自发荧光图像，并从通道的每个像素值减去加权自发荧光图像的对应像素值来进行以获得经校正的通道图像。图26示出了此类校正之前(左上)和之后(右下)的胰腺组织样品的MPX图像的示例。
如图11和图12所示，映射输入图像可被产生为自发荧光图像和DAPI图像的线性组合。图11示出了根据一些实施例的产生三通道映射输入图像的过程的示例。在该示例中(对应于如图10A所示的映射输入图像‘AAD’或‘AF+AF+DAPI’)，输入图像的第一通道为自发荧光图像，输入图像的第二通道也为自发荧光图像，并且输入图像的第三通道为DAPI图像。AAD图像的三个通道可与真实H&E图像的颜色通道(例如，RGB)配对作为GAN框架的训练数据。RGB的三个通道将映射到AAD图像的三个通道。
图12示出了根据一些实施例的产生三通道映射输入图像的过程的另一个示例。在该示例中(对应于如图10B所示的映射输入图像‘ADD’或‘AF+DAPI+DAPI’)，输入图像的第一通道为自发荧光图像，输入图像的第二通道为DAPI图像，并且输入图像的第三通道也为DAPI图像。ADD图像的三个通道中的每一者都可与真实H&E图像的对应颜色通道配对作为GAN框架的训练数据。例如，ADD图像的三个通道可分别映射到实际H&E图像的R、G和B通道。
另选地，映射输入图像可从自发荧光图像和DAPI图像的线性组合的光密度阵列产生。这样的计算可基于例如朗伯-比尔定律，该定律描述了光通过其行进的材料对光的衰减。对于给定波长c和给定染色s，该关系可表示为：[波长c下的透射光强度]＝[波长c下的入射光强度]*exp(-[波长c下的染色组织的光密度])，其中ODc＝(组织中染色s的量)*(在波长c下的染色s的吸收系数)。
处理框804的此类实施例可包括将光密度值的阵列(例如，光密度值的N通道阵列)生成为自发荧光图像和DAPI图像的线性组合，并且将非线性函数应用于光密度值的阵列(也称为“光密度阵列”)以获得映射输入图像。可例如如下进行将光密度阵列生成为自发荧光图像和DAPI图像的线性组合：
OD_R＝dapiwt[1]*DAPI+afwt[1]*AF；
OD_G＝dapiwt[2]*DAPI+afwt[2]*AF；
OD_B＝dapiwt[3]*DAPI+afwt[3]*AF；
其中OD_R、OD_G和OD_B表示光密度阵列的红色通道、绿色通道、蓝色通道，DAPI表示DAPI图像；AF表示自发荧光图像；并且dapiwt和afwt表示三元素加权向量。在某些情况下，可能需要调整光密度阵列的一个或多个通道(例如，以减去相邻光谱内的渗透密度)。
dapiwt和afwt的值可通过实验来选择(例如，通过对得到的映射图像的视觉检查和这些图像与实际H&E图像的比较)。在一个此类示例中，如图10C所示的输入图像pHE的光密度阵列是使用加权向量dapiwt＝[29.2500 48.7500 14.6250]和afwt＝[0.390023.5535 16.6717]获得的。
另选地，可根据苏木精和伊红的颜色相关吸收特性来选择dapiwt和afwt的值。在一个此类示例中，如图10D所示的输入图像pHE2的光密度阵列是使用权重向量dapiwt＝w_D*Abs_Hem和afwt＝w_A*Abs_Eos获得的，其中Abs–Hem为颜色向量，其元素指示苏木精对红光、绿光和蓝光的相对吸光度(例如，[0.65 0.70 0.29])，Abs_Eos为颜色向量，其元素指示伊红对红光、绿光和蓝光的相对吸光度(例如，[0.07 0.99 0.11])，并且标量权重w_D和w_A之和为一(默认值w_D＝w_A＝0.5)。图13示出了根据一些实施例的产生三通道映射输入图像的这种过程的示例。在某些情况下，可能需要增加w_D相对于w_A的值(例如，以增加映射输入图像中细胞核的影响)。
从光密度值的阵列获得映射输入图像可包括应用非线性函数(例如，指数函数)以将光密度值的阵列转换为透射值的阵列(也称为“透射阵列”)。例如，可如下进行这样的转换：
T_R＝exp(–OD_R)；
T_G＝exp(–OD_G)；
T_B＝exp(–OD_B)；
其中T_R、T_G和T_B表示透射值数的阵列的红色通道、绿色通道和蓝色通道。在非线性函数的另一个示例中，指数函数的底是十而不是纳皮尔常数e。
透射阵列的值可被重新缩放到期望的图像空间以获得映射输入图像作为明场图像。在一个示例中，透射阵列的每个值被缩放(例如，乘以)255的因数以获得映射输入图像作为24位RGB图像。在另一个示例中，通过最小-最大缩放将透射阵列的值归一化至期望范围(例如，从0到255的范围)。用于映射输入图像的其他输出图像空间可包括Lab颜色空间(例如，CIELAB、Hunter Lab等)或YCbCr颜色空间(例如，YCbCr、Y'CbCr等)，并且产生来自透射阵列的映射输入图像可包括从一个颜色空间转换到另一个颜色空间(例如，从RGB或sRGB转换到YCrCb或Y'CrCb)。
图14示出了根据各种实施例用于将组织切片的MPX图像转换为描绘已经用至少一种组织化学染色剂染色的组织切片的合成图像的示例性计算环境1400(即，数据处理系统)。如图14所示，在该示例中，由计算环境1400进行的转换包括几个阶段：图像存储阶段1405、预处理阶段1490、模型训练阶段1410、转换阶段1415和分析阶段1420。图像存储阶段1410可包括一个或多个数字图像扫描仪或数据库1425，数字图像扫描仪或数据库被访问(例如，通过预处理阶段1490)以提供来自预选区域或整个生物学样品载玻片(例如，组织载玻片)的数字图像源集合1430和目标数字图像集合1435。
模型训练阶段1410构建并且训练将由其他阶段使用的一个或多个模型1440a-1440n(“n”表示任何自然数)(其在本文中可以单独地称为模型1440或统称为模型1440)。模型1440可以是机器学习(“ML”)模型，其可以包括卷积神经网络(“CNN”)、初始神经网络、残差神经网络(“Resnet”)、U-Net、V-Net、单发多盒检测器(“SSD”)网络、循环神经网络(“RNN”)、深度神经网络、修正线性单元(“ReLU”)、长短期记忆(“LSTM”)模型、门控循环单元(“GRU”)模型等，或它们的任何组合。在各种实施例中，生成模型配置有通过训练模型1440而学习的参数，该模型能够使用无监督学习来学习任何类型的数据分布，诸如生成对抗网络(“GAN”)、深度卷积生成对抗网络(“DCGAN”)、变分自动编码器(VAE)、隐马尔可夫模型(“HMM”)、高斯混合模型、玻尔兹曼机等，或一种或多种此类技术的组合—例如，VAE-GAN。计算环境1400可以采用相同类型的模型或不同类型的模型来将源图像转换成生成图像。在某些情况下，生成模型配置有通过训练模型1440而学习的参数，该模型是用尝试分类输出图像是真还是假的损失函数构建的GAN，同时训练生成模型以最小化该损失。
在图15所示的示例性实施例中，被训练以提供学习参数的模型1440是条件GAN(“cGAN”)1500的一部分，其是GAN模型的扩展，并且生成具有特定条件或属性的图像。cGAN学习惩罚输出的联合配置的结构性损失。参考图15，cGAN 1500包括生成器1510和鉴别器1515。生成器1510为神经网络(例如，CNN)，其将随机生成的噪声向量1520和潜在特征向量(或一维向量)1525(例如，在当前实例中的映射输入图像的条件)作为输入数据和来自鉴别器1515的反馈，并生成尽可能接近真实目标图像1535的新图像1530。鉴别器1515是神经网络(例如，CNN)，其被配置为分类器以确定来自生成器1510的生成图像1530是真实图像还是假图像。潜在特征向量1525或条件是从输入图像或输入图像集1540(例如，由映射控制器1593提供的图像)导出的，其对类别(例如，根据选择的映射从对应MPX图像的M个通道获得的N通道图像)或从输入图像1540预期的特定特征集进行编码。随机生成的噪声向量1520可以从高斯分布生成，并且向量空间可以包括对于域重要但不可直接观察的潜在变量或隐藏变量。潜在特征向量1525和随机噪声向量1520可以组合作为生成器1510的输入1545。替代地或附加地，噪声可以以丢弃(例如，概率性地将输入丢弃到层)的形式添加到生成器1510内。
生成器1510接收组合输入1545并基于问题域(即，与已经被组织化学染色的目标图像1535相关联的特征域)中的潜在特征向量1525和随机噪声向量1520生成图像1530。鉴别器1515通过将目标图像1535和生成图像1530都作为输入来进行条件图像分类，并预测1550生成图像1530是目标图像1535的真实转译还是假转译的可能性。鉴别器1515的输出取决于生成图像1530的大小，但可以是一个值或值的正方形激活图。每个值都是生成图像1530中的斑块为真实的可能性的概率。如果需要，可以对这些值求平均值以给出总体可能性或分类分数。生成器1510和鉴别器1515两者的损失函数可以被配置成使得损失取决于鉴别器1515进行其预测1550生成图像1530是目标图像1535的真实转译还是假转译的可能性的工作的好坏程度。经过充分训练后，生成器1510将开始产生看起来更像目标图像1535的生成图像1530。GAN 1500的训练可针对预定义数量的训练实例进行，并且只要使用训练或验证集确定的一个或多个性能度量(例如，准确度、精确度和/或召回率)超过对应阈值，就可接受所得到的学习参数。替代地，GAN 1500的训练可以继续进行，直到与最近的训练迭代相关联的一个或多个性能度量超过对应的阈值。在这一点上，生成的图像1530可能与目标图像1535足够相似，以至于鉴别器不再能够辨别真假。一旦生成器网络1510已经被训练，N通道图像输入集(根据选择的映射从对应MPX图像的M个通道获得的)可被输入到GAN 1500中以将图像输入集转换成新生成的图像集，该新生成的图像集它们的特征类似于从已经被组织化学染色(例如，H&E染色)的载玻片获得的目标图像集。此后，病理学家可使用新生成的图像集在MPX图像的注释期间可视化组织结构(例如，通过打开和关闭MPX图像或合成H&E图像)，以确认基于MPX图像的诊断，以及/或者以将一个MPX图像配准到另一个MPX图像(例如，以支持基于生物标志物的复合面板的分析)等。
返回参考图14，为了在该示例中训练模型1440，预处理阶段1490通过获得数字图像(数字图像的源集1430和数字图像的目标集1435)，根据选择的映射(例如，通过映射控制器1493)将源图像映射到N通道图像，将图像分割成成对图像子集1445a(映射图像和目标图像的至少一对)用于训练(例如，90％)和成对图像子集1445b用于验证(例如，10％)，预处理成对图像子集1445a和成对图像子集1445b，扩充成对图像子集1445a，以及可能在一些情况下，用标签1450注释成对图像子集1445a来生成样品1445。成对图像子集1445a可以例如从诸如数据库或图像服务器之类的数据存储结构获得。每个图像都描绘了一个生物样品，诸如组织。
分割可以随机地或伪随机地进行(例如，使用90％/10％、80％/20％或70％/30％)，或者分割可以根据更复杂的验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)来进行，以最小化采样偏差和过拟合。预处理可包括裁剪图像，使得每个图像仅包含单个目的对象。在一些情况下，预处理可进一步包括标准化或重调尺寸(例如，归一化)，以将所有特征置于相同的标度(例如，相同的大小标度或者相同的颜色标度或颜色饱和度标度)上。在某些情况下，利用预定像素的最小尺寸(宽度或高度)(例如，2500像素)或预定像素的最大尺寸(宽度或高度)(例如，3000像素)来调整图像的大小，并且保持原始纵横比。
例如，预处理阶段1490可以准备来自源集和目标集的多个修补图像作为用于训练数据的图像的一个或多个成对子集。成对图像的准备可包括访问源图像和目标图像的匹配对，其中每个匹配对中的源图像和目标图像来自相同生物学样品(例如，肿瘤样品)的附近(例如，邻近或几乎邻近)切片的载玻片，在源图像中描绘的切片已经用多个(例如，2、3、4、5或6或更多)选择的IHC荧光团，并且在目标图像中描绘的切片已经用一种或多种选择的组织化学染色剂染色。在一个非限制性示例中，源图像中的每一者中的切片已经用六个荧光团(包括核复染剂，例如，DAPI)染色，并且目标图像中的每一者中的切片已经用H&E染色。图5A和图5B示出了IHC染色的组织切片的暗场MPX图像(图5A)和相同组织样品的已经被H&E染色的附近(例如，邻近)切片的明场图像(图5B)的匹配对的一个示例。
然后，预处理阶段1490可根据选择的映射(例如，通过映射控制器1493)映射源图像中的每一者以获得与对应目标图像配对的N通道输入图像，并且将每个成对输入和目标图像(例如，全部载玻片图像)划分成为多个预先确定的大小(例如，128x 128、256x 256或其他大小)的斑块，以产生用于训练的匹配斑块对。可能需要仅使用来自图像内目的区域的斑块，例如已经由审查病理学家添加的诸如肿瘤注释。预处理阶段1490(例如，配准控制器1495)可在将图像划分为斑块之前和/或之后进行成对输入和目标图像的对准和/或配准。对准可以包括将一个图像指定为参考图像，也称为固定图像，并对另一图像应用几何转换或局部位移，使得另一图像与参考图像对准。因为组织化学染色图像(即目标图像)提供了用于训练网络的基准真值，所以可能需要为了对准和配准的目的而将目标图像指定为参考图像。从输入集和目标集选择对准的斑块对，并且该过程产生用于训练数据的一个或多个成对图像子集。预处理阶段1490可以将斑块对输入到GAN或cGAN以训练深度学习网络。
返回参考图14，预处理阶段1490可使用扩充来通过在数据集中创建图像的修改版本来人为地扩展成对图像子集1445a的大小。可以通过在数据集中创建属于与原始图像相同类别的图像变换版本来进行图像数据扩充。变换包括来自图像操纵领域的一系列操作，诸如移位、翻转、缩放等。在一些情况下，这些操作包括随机擦除、移位、加亮、旋转、高斯模糊和/或弹性转换，以确保模型1440能够在可从成对图像子集1445a获得的那些环境之外的环境下进行。
模型1440的训练过程包括进行将图像从成对图像子集1445a输入到模型1440中以找到模型参数集(例如，权重和/或偏差)的迭代操作，该模型参数集最小化模型1440的一个或多个损失函数或误差函数(例如，用于训练鉴别器以最大化图像训练数据的概率的第一损失函数，以及用于训练鉴别器以最小化从生成器采样的生成的图像的概率并训练生成器以最大化鉴别器指派给其自身生成图像的概率的第二损失函数)。在训练之前，模型1440被配置有定义的超参数集，这些超参数是模型外部的设置并且可被调整或优化以控制模型1440的行为。例如，对于大多数模型，显式定义超参数来控制模型的不同方面，诸如存储器或执行成本。然而，可以定义附加的超参数来使模型适应具体场景。例如，超参数可包括模型的隐藏单元的数量、模型的学习速率、模型的卷积核宽度或卷积核数量。训练的每次迭代可涉及为模型1440找到模型参数集(如配置有对应定义的超参数集)，使得使用该模型参数集的损失或误差函数的值小于在先前迭代中使用不同的模型参数集的损失或误差函数的值。与超参数相反，模型参数是模型内部的变量，并且它们的值可从训练数据中估计(例如，学习)。可以构建损失函数或误差函数来测量使用模型1440推断的输出与使用标签1450的基准真值目标图像之间的差异。
一旦识别出模型参数集，模型1440就已经被训练，并且可使用成对图像子集1445b(测试或验证数据集)来验证。该验证过程包括使用验证技术(诸如K折交叉验证、留一法交叉验证、留一组交叉验证、嵌套交叉验证等)将来自成对图像子集1445b的图像输入到模型1440中以调整超参数并且最终找到超参数的最优集合的迭代操作。一旦获得超参数的最佳集合，就将来自图像子集1445b的图像的保留测试集输入到模型1440中以获得输出(在该示例中，具有与目标图像类似的特征的生成图像)，并且使用相关技术(诸如Bland-Altman方法和Spearman秩相关系数)以及计算性能度量(诸如误差、准确度、精确度、召回率、接收器操作特性曲线(ROC)等)，相对于基准真值目标图像来评价输出。
应当理解，其他训练/验证机制也是可以预期的，并且可以在计算环境1400内实现。例如，可以对模型1440进行训练并且可以在来自成对图像子集1445a的图像上调整超参数，并且来自成对图像子集1445b的图像可以仅用于测试和评估模型1440的性能。
模型训练阶段1410输出训练模型包括一个或多个经训练的转换模型1460和任选地一个或多个图像分析模型1465。在一些情况下，第一模型1460a已经被训练来处理从生物样本(组织切片)的源图像1430获得的输入图像。输入图像为根据选择的映射从生物样本的MPX图像的M个通道获得的N通道图像。输入图像由转换控制器1470在转换阶段1415内获得。转换控制器1470包括用于使用一个或多个经训练的转换模型1460来将输入图像转换成具有目标图像的特征的新图像1475的程序指令。目标图像的特征与已经用一种或多种选择的组织化学染色剂(例如，H&E)染色的组织切片的图像相关联。该转换包括将输入图像输入到经训练的生成器模型(转换模型1460的一部分)中并由生成器模型生成新图像1475。
在一些情况下，在分析阶段1420内新图像1475被传输到分析控制器1480。分析控制器1480包括用于使用一个或多个图像分析模型1465分来析新图像1475内的生物样品的程序指令；以及基于分析输出分析结果1485。分析新图像1475内的生物样品可包括基于新图像1475内的区域、新图像1475内的一个或多个细胞和/或新图像1475中除了细胞的对象来提取测量值。基于区域的测量可包括最基本的评估，例如，量化某种染色(例如，组织化学染色剂)的区域(2维)、脂肪液泡的区域或载玻片上存在的其他事件。基于细胞的测量旨在识别和枚举对象，例如细胞。这种对个别细胞的识别使后续的亚细胞区室评估成为可能。最后，算法可用于评估可能不由个别细胞组成的组织切片上存在的事件或对象。在某些情况下，图像分析算法被配置成定位细胞或亚细胞结构，并提供细胞染色、形态和/或架构的定量表示，该定量表示可最终用于支持诊断和预测。在一些情况下，图像分析算法被专门配置用于分析具有目标图像特征的图像(例如，已经被组织化学染色的切片的图像)。例如，新图像1475的分析可包括为对应MPX源图像提供ROIS和/或待排除的区的自动描述。在另一个示例中，新图像1475的分析可包括将新图像1475与另一个新图像1475配准并且将配准结果应用到对应MPX源图像。
虽然未明确示出，但是应当理解，计算环境1400可以还包括与开发者相关联的开发者装置。从开发者设备到计算环境1400的部件的通信可指示将用于模型的输入图像的类型、将使用的模型的数量和类型、每一个模型的超参数(例如，学习速率和隐藏层的数量)、格式化数据请求的方式、将使用的训练数据(例如，以及获得对训练数据的访问的方式)和将使用的验证技术和/或将配置控制器处理的方式。
可用于训练生成器网络1510的cGAN模型1500的一个特定示例是Pix2Pix GAN。图16示出了cGAN模型1500的实现的示例，其使用Pix2Pix GAN 1600来训练生成器网络1610以将N通道图像转变成组织化学染色(例如，H&E染色)组织切片的合成图像，每个图像根据选择的映射从IHC染色组织切片的对应MPX图像的M个通道获得。如图16所示，生成器网络1610使用U-Net架构来实现，其包括具有对瓶颈层的输入进行渐进式下采样的层的编码器，以及具有对瓶颈输出进行渐进式上采样以产生输出的层的解码器。如图16所示，U-Net还包括具有相同大小特征图的编码器层和解码器层之间的跳跃连接；这些连接将编码器层的特征图的通道与对应解码器层的特征图的通道连接起来。在特定示例中，经由在生成的图像与预期输出图像(例如，分别在图16中的“预测图像”和“基准真值”)之间测量的L1损失来更新生成器网络1610。
一般来说，使用Pix2Pix GAN需要已经配准了将用于训练生成器网络的匹配的图像斑块对(例如，在像素级别)。图17示出了针对示例性过程1700的流程图，该示例性过程如本文所述从匹配的图像对产生匹配和配准的图像斑块对(例如，用于训练和/或验证)。过程1700可由预处理阶段1490(例如，由配准控制器1495)进行。参考图17，在框1704处，粗略地对准匹配图像对的低分辨率版本。在一个示例中，此类粗略对准可通过将转换矩阵MC(例如，包括平移和/或旋转)应用于IHC染色切片的MPX图像的M个通道的N通道映射IN映射的低分辨率版本来进行，以将其对准到被H&E染色的匹配(例如，附近)切片的图像IH&E。转换矩阵Mc可基于例如要对准的图像中每一者的组织的轮廓来自动计算。
在框1708，从粗略对准的图像对的感兴趣区域(ROI)提取图块(例如，通过将网格投影到覆盖注释的每个图像上，并且从每个图像提取对应的图块)。图18示出了来自图像IN映射的ROI的(例如，大小为2048x2048像素的)图块TN映射和来自图像IH&E的(例如，大小为2048x 2048像素的)对应图块TH&E的示例。在框1712处，所提取的图块对的全分辨率版本被精细地对准。此类精细对准可包括例如对来自图像中的一者(例如，IN映射)的图块进行缩放、去歪斜和/或变形，以将其配准到来自另一个图像(例如，IH&E((如上所述的参考图像))的对应图块。在框1716处，将精细对准的图块拼接在一起以获得配准图像对；在框1720处，将配准的图像中的每一者分割成斑块(例如，大小为128x 128像素、256x256像素或另一大小)；以及在框1724处，来自每个配准的图像的匹配斑块(例如，如图18所示的斑块PN映射和PH&E)被组合(例如，并排拼接在一起)以获得训练图像。例如，一对匹配斑块(每个匹配斑块大小为128x 128像素)可拼接在一起以获得大小为128x 256像素的训练图像；或者一对匹配斑块(每个匹配斑块大小为256x 256像素)可拼接在一起以获得大小为256x 512像素的训练图像。以此类方式，可实现将每个图像的精细对准的图块拼接在一起以获得配准的图像对，并且组合来自配准的图像中的每一者的匹配斑块以获得训练图像集的过程，以获得训练数据集用于使用Pix2Pix GAN实现来训练生成器网络1510以将从对应MPX图像的M个通道获得的N通道映射图像转换为组织化学染色切片的合成图像。
可用于训练生成器网络1510的cGAN模型1500的另一个特定示例是包括多个生成器网络和多个鉴别器网络的Cycle-GAN。图19示出了Cycle-GAN中的生成器网络GX和GY以及鉴别器网络DX和DY的表示。在该示例中，Y域对应于描绘已经被组织化学染色的样品的图像，并且X域对应于根据选择的映射从IHC染色样品的对应MPX图像的M个通道获得的N通道图像。
图20示出了如本文所述的Cycle-GAN的应用中的生成器和鉴别器网络之间的流程。Cycle-GAN包括X到Y生成器网络GY 2024(将被训练成为生成器网络1510)并且也包括Y到X生成器网络GX 2020，其被配置和训练以将组织化学染色样品的图像转换为描绘来自IHC染色样品MPX的图像的M个通道的N通道映射的图像。生成器网络GX 2020可以包括一个或多个卷积层并且可以包括U-net或V-net。在一些情况下，生成器网络GX 2020包括特征提取编码器、转换器和解码器，每个都具有一个或多个卷积层。生成器网络GX 2020的架构和GY2024的架构可以相同。
Cycle-GAN包括鉴别器网络DX 2032，其鉴别描绘来自IHC染色样品的MPX图像的M个通道的N通道映射的真实图像和假图像(例如，真实N通道的图像2012和假N通道的图像2016)；并且还包括另一个鉴别器网络DY 2028，其鉴别描绘组织化学染色样品的假图像和真实图像(例如，真实组织化学染色图像2004和假组织化学染色图像2008)。鉴别器网络DX和DY中的每一者可以包括一个或多个卷积层和激活层，并且鉴别器网络DX的架构和DY的架构可以为相同的。
使用CycleGAN可具有以下优点：不需要对匹配的图像对进行精细配准(例如，如本文参考图17和图18所描述的图像IN映射和IH&E的精细配准)来生成训练数据。然而，当使用Pix2Pix GAN实现在配对的配准图像的图像斑块上训练生成器网络1510时，获得了更好的结果。
根据本公开的方法可被实现以将MPX图像的图像转换成H&E染色样品的对应合成图像。此类方法可用于例如协助病理学家注释MPX源图像。这种方法可实现为快速筛选过程的关键部分，以提供底层组织结构的参考图像，而不进行实际的H&E染色。此外，此类“虚拟染色”技术也可用于确认基于对应MPX图像的诊断。更进一步，本文所述的图像转换方法可用于支持MPX图像的自动配准，以使得能够对扩充的生物标志物面板进行分析(例如，共定位、共表达)。
图21至图23分别示出了使用过程800的实现(使用如本文所描述的Pix2Pix GAN)将MPX图像转换成对应合成H&E染色图像的三个不同示例。图21至图23中的每一者示出了使用如图10A至图10D所示和如本文所述的四个示例性源图像映射(pHE、pHE2、AAD、ADD)中的每一者获得的结果。在图21至图23中的每一者中，顶行示出了N通道映射源图像(‘方法’)，中间行示出了对应生成的合成H&E图像(‘输出’)，并且底行示出了对应的实际H&E图像(‘目标’)。可看出，输出图像与目标图像非常相似。
V.其他注意事项
本公开的一些实施方案包括一种系统，其包括一个或多个数据处理器。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，该指令在一个或多个数据处理器上被执行时使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行本文公开的一种或多种方法的一部分或全部和/或本文公开的一种或多种过程的一部分或全部。
已采用的术语和表达被用作描述性而非限制性的术语，并且在使用这些术语和表达时，无意排除所示出和描述的特征或其部分的任何等同物，但是应当认识到，在所要求保护的本发明的范围内，各种修改是可能的。因此，应当理解，尽管已通过实施例和任选特征具体地公开了所要求保护的本发明，但是本领域技术人员可以采用本文所公开的概念的修改和变化，并且认为这样的修改和变化在由所附权利要求限定的本发明范围内。
该描述仅提供优选的示例性实施例，并且不旨在限制本公开的范围、适用性或配置。相反，优选的示例性实施例的描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
在以下描述中给出具体细节以提供对实施方案的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施方案。例如，电路、系统、网络、过程和其他组件可以以框图形式显示为部件，以免在不必要的细节中混淆实施方案。在其他情况下，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术以避免混淆实施方案。

Claims (24)

1.一种图像转换的方法，所述方法包括：
产生N通道输入图像，所述N通道输入图像基于来自组织切片的多重免疫荧光(MPX)图像的M个通道中的每一者的信息，其中M为正整数，并且N为小于或等于M的正整数；以及
通过使用生成器网络处理所述N通道输入图像来生成合成图像，所述生成器网络已经使用包括多对图像的训练数据集进行训练，其中所述合成图像描绘已经用至少一种组织化学染色剂染色的组织切片；并且
其中，对于所述多对图像中的每一对图像，所述对包括：
从组织的第一切片的MPX图像产生的N通道图像，以及
已经用所述至少一种组织化学染色剂染色的所述组织的第二切片的图像。
2.根据权利要求1所述的方法，其中产生所述N通道输入图像包括：对于所述组织切片的所述MPX图像的所述M个通道中的每一者，将信息从所述通道映射到所述N通道图像的N个通道中的至少一者。
3.根据权利要求2所述的方法，其中所述映射包括：产生自发荧光图像，所述自发荧光图像基于来自所述组织切片的所述MPX图像的多个通道中的每一者的信息，并且
其中所述N通道输入图像基于来自所述自发荧光图像的信息。
4.根据权利要求3所述的方法，其中所述自发荧光图像基于所述组织切片的所述MPX图像的所述多个通道的非线性组合。
5.根据权利要求3和4中任一项所述的方法，其中所述自发荧光图像基于所述多个通道之间的自发荧光的光谱分布。
6.根据权利要求3至5中任一项所述的方法，其中所述MPX图像的所述多个通道为所述组织切片的所述MPX图像的所述M个通道。
7.根据权利要求1至6中任一项所述的方法，其中，对于所述多对图像中的每一对图像，所述对中的所述N通道图像基于来自所述第一切片的所述MPX图像的M个通道中的每一者的信息。
8.根据权利要求1至7中任一项所述的方法，其中所述合成图像为N通道图像。
9.根据权利要求8所述的方法，其中所述N通道输入图像和所述合成图像中的每一者为RGB图像。
10.根据权利要求1至9中任一项所述的方法，其中所述组织切片的所述MPX图像为暗场图像并且所述合成图像为明场图像。
11.根据权利要求1至10中任一项所述的方法，其中所述至少一种组织化学染色剂为苏木精和伊红。
12.根据权利要求1至11中任一项所述的方法，其中所述N通道图像基于所述自发荧光图像并且基于所述组织切片的所述MPX图像的对应于核复染剂的通道。
13.根据权利要求1至11中任一项所述的方法，其中所述N通道图像基于所述组织切片的所述MPX图像的对应于核复染剂的通道以及所述自发荧光图像的线性组合。
14.根据权利要求1至13中任一项所述的方法，其中所述N通道图像基于光密度值阵列，所述光密度值阵列基于所述线性组合。
15.根据权利要求1至14中任一项所述的方法，其中N等于三。
16.根据权利要求1至15中任一项所述的方法，其中M至少为四。
17.根据权利要求1至16中任一项所述的方法，其中将所述生成器网络以生成对抗网络的一部分进行训练。
18.根据权利要求1至17中任一项所述的方法，其中所述生成器网络被实现为U-Net。
19.根据权利要求1至18中任一项所述的方法，其中所述生成器网络被实现为编码器-解码器网络。
20.根据权利要求1至19中任一项所述的方法，其中经由在通过所述生成器网络的图像与预期输出图像之间测量的L1损失来更新所述生成器网络。
21.一种由使用者确定对受试者的诊断的方法，其中所述确定基于权利要求1至20中任一项的合成图像。
22.根据权利要求21所述的方法，其进一步包括由所述使用者基于(i)所述合成图像和/或(ii)对所述受试者的所述诊断来施用使用化合物的治疗。
23.一种系统，其包括：
一个或多个数据处理器；以及
非暂时性计算机可读存储介质，其包含指令，所述指令当在所述一个或多个数据处理器上被执行时，使所述一个或多个数据处理器进行根据权利要求1至20中任一项所述的图像转换的方法。
24.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置成使一个或多个数据处理器进行根据权利要求1至20中任一项所述的图像转换的方法。
CN202280042276.9A 2021-06-17 2022-06-07 使用多重免疫荧光成像的组织学染色的数字合成 Pending CN117529750A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163212039P 2021-06-17 2021-06-17
US63/212,039 2021-06-17
PCT/US2022/032468 WO2022265883A1 (en) 2021-06-17 2022-06-07 Digital synthesis of histological stains using multiplexed immunofluorescence imaging

Publications (1)

Publication Number Publication Date
CN117529750A true CN117529750A (zh) 2024-02-06

Family

ID=82482754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280042276.9A Pending CN117529750A (zh) 2021-06-17 2022-06-07 使用多重免疫荧光成像的组织学染色的数字合成

Country Status (4)

Country Link
US (1) US20240112341A1 (zh)
EP (1) EP4356350A1 (zh)
CN (1) CN117529750A (zh)
WO (1) WO2022265883A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128734B (zh) * 2023-04-17 2023-06-23 湖南大学 一种基于深度学习的图像拼接方法、装置、设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017212055A1 (en) * 2016-06-10 2017-12-14 F. Hoffmann-La Roche Ag System for bright field image simulation

Also Published As

Publication number Publication date
US20240112341A1 (en) 2024-04-04
WO2022265883A1 (en) 2022-12-22
EP4356350A1 (en) 2024-04-24

Similar Documents

Publication Publication Date Title
JP7273215B2 (ja) 画像処理のための自動アッセイ評価および正規化
US11682192B2 (en) Deep-learning systems and methods for joint cell and region classification in biological images
US10755406B2 (en) Systems and methods for co-expression analysis in immunoscore computation
US20200388033A1 (en) System and method for automatic labeling of pathology images
CN115088022A (zh) 用于训练机器学习算法和维护患者隐私的联邦学习系统
US20240079116A1 (en) Automated segmentation of artifacts in histopathology images
US20240112341A1 (en) Digital synthesis of histological stains using multiplexed immunofluorescence imaging
US20240046473A1 (en) Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images
US20230230242A1 (en) Correcting differences in multi-scanners for digital pathology images using deep learning
JP2024521240A (ja) 免疫組織化学（ｉｈｃ）の合成画像への組織化学的染色画像の変換

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination