CN115249282A

CN115249282A - 用于生成染色图像的系统和方法

Info

Publication number: CN115249282A
Application number: CN202210378627.5A
Authority: CN
Inventors: 刘康德; 许廸灏; 袁奕萱; 陈阵; 曹志成; 卓华; 罗永伦; M·A·马拉希; A·帕尼; F·希尔
Original assignee: City University of Hong Kong CityU
Current assignee: City University of Hong Kong CityU
Priority date: 2021-04-27
Filing date: 2022-04-12
Publication date: 2022-10-28
Also published as: US20220343473A1; US11995810B2

Abstract

一种生成染色图像的方法，包括以下步骤：获得关键样品切片的一组第一图像；和用多模态染色学习引擎处理所述第一图像，以生成至少一个染色图像。其中所述染色图像代表用至少一种染色剂染色的所述关键样品切片。有利的是，可以用虚拟组织染色法观察组织，只需用数字显微镜对样品组织进行成像，组织不染色，或只用快速和低成本的染色剂进行染色，然后这些图像被输入到计算机程序，以生成同一组织在其他染色剂下的图像。

Description

用于生成染色图像的系统和方法

技术领域

本发明涉及一种生成染色图像的系统和方法，特别是(但并不是只)涉及一种生成组织样品切片的虚拟染色图像的系统和方法。

背景技术

组织学实践是医学科学的一个重要领域，其对医学研究、诊断和治疗具有帮助。这一实践的一部分涉及制备含有组织切片的载玻片。反过来，这些载玻片可以放在显微镜下作进一步研究或分析。

在显微镜下观察时，对组织进行染色以获得对比是病理学的一个组成部分。在不同的情况下，可使用染色剂或着色剂对组织切片进行染色，例如在显微镜检查前将组织浸泡在化学或抗体溶液中。当在放大情况下观察或考虑载玻片时，这些染色剂允许某些细胞、特征或结构变得更加明显。然而，物理染色方法可能很耗费时间和昂贵。此外，它们可能会造成工作场所和环境污染。

发明内容

根据本发明的第一方面，提供了一种生成染色图像的方法，包括以下步骤：

-获得关键样品切片(section)的一组第一图像；和

-用多模态染色学习引擎处理所述第一图像，以生成至少一个染色图像，其中染色图像代表用至少一种染色剂染色的所述关键样品切片。

在上述第一方面的一个实施方式中，所述关键样品切片是未染色的、或用输入染色剂染色的。

在上述第一方面的一个实施方式中，该方法进一步包括获得至少三个相邻样品切片中每一个的图像的步骤，该三个相邻样品切片包括所述关键样品切片和在该关键样品切片附近获得的相邻样品切片。

在上述第一方面的一个实施方式中，所述至少三个相邻样品切片中的一个用输出染色剂进行染色，而其中其余的相邻样品切片都用输入染色剂进行染色。

在上述第一方面的一个实施方式中，所述染色图像表示用所述输出染色剂染色的所述关键样品切片。

在上述第一方面的一个实施方式中，所述其余的相邻样品切片以交替的方式用多种类型的输入染色剂进行染色。

在上述第一方面的一个实施方式中，所述多模态染色学习引擎包括机器学习网络，该网络被配置用于生成所述至少一个染色图像。

在上述第一方面的一个实施方法中，所述机器学习网络包括生成器网络，其被配置为在多个周期内生成所述至少一个染色图像；以及鉴别器网络，其被配置为分析所述至少一个染色图像，以在所述多个周期中的每一个周期上提供反馈给所述生成器网络。

在上述第一方面的一个实施方式中，所述机器学习网络是生成对抗性网络。

在上述第一方面的一个实施方式中，所述生成对抗网络是用所述输入染色剂和所述输出染色剂染色的所述至少三个相邻样品切片的图像来训练的。

在上述第一方面的一个实施方式中，所述生成对抗网络是用不同光照条件下成像的所述至少三个相邻样品切片的图像进一步训练的。

在上述第一方面的一个实施方式中，所述光照条件包括明视野或自体荧光。

在上述第一方面的一个实施方式中，所述输入染色剂和所述输出染色剂中的每个都包括苏木精—伊红(H&E)和一种特殊染色剂的至少其中一个。

在上述第一方面的一个实施方式中，所述特殊染色剂包括免疫染色剂。

在上述第一方面的一个实施方式中，所述至少三个相邻样品切片被冷冻。

在上述第一方面的一个实施方式中，所述至少三个相邻样品切片是福尔马林固定的并且包埋在石蜡中。

在上述第一方面的一个实施方式中，该方法进一步包括使用估计过程来纠正代表用所述输出染色剂染色的所述关键样品切片的染色图像、和用所述输入染色剂染色的所述相邻样品切片的染色图像之间的空间不匹配的步骤。

在上述第一方面的一个实施方式中，所述纠正空间不匹配的步骤包括将所述相邻样品切片的所有使用所述输入染色剂染色的染色图像，与代表用所述输出染色剂染色的所述关键样品切片的染色图像，使用二维图像配准来对齐。

在上述第一方面的一个实施方案中，所述估计过程是内插法。

在上述第一方面的一个实施方式中，所述估计过程是外推法，该外推法进一步包括应用图像外推变换的步骤，以基于使用所述输入染色剂染色的所述相邻样品切片的染色图像，来产生至少一个估计的输入图像。

根据本发明的第二个方面，提供了一种用于生成染色图像的系统，包括：

-图像网关，被配置为用来获得关键样品切片的一组第一图像；以及

-图像生成器，被配置为用多模态染色学习引擎来处理所述一组第一图像，以生成至少一个染色图像，其中该至少一个染色图像代表了用至少一个染色剂染色的所述关键样品切片。

在上述第二方面的一个实施方式中，所述关键样品切片是未染色的、或用输入染色剂染色的。

在上述第二方面的一个实施方式中，所述图像网关还被配置为获得至少三个相邻样品切片中每一个的图像，该三个相邻样品切片包括所述关键样品切片和在该关键样品切片附近获得的相邻样品切片。

在上述第二方面的一个实施方式中，所述至少三个相邻样品切片中的一个用输出染色剂进行染色，而其中其余的相邻样品切片都用输入染色剂进行染色。

在上述第二方面的一个实施方式中，所述至少一个染色图像表示用所述输出染色剂染色的所述关键样品切片。

在上述第二方面的一个实施方式中，所述其余的相邻样品切片以交替的方式用多种类型的输入染色剂进行染色。

在上述第二方面的一个实施方式中，所述多模态染色学习引擎包括机器学习网络，该网络被配置用于生成所述至少一个染色图像。

在上述第二方面的一个实施方式中，所述机器学习网络包括生成器网络，其被配置为在多个周期内生成所述至少一个染色图像；以及鉴别器网络，其被配置为分析所述至少一个染色图像，以在所述多个周期中的每一个周期上提供反馈给所述生成器网络。

在上述第二方面的一个实施方式中，所述机器学习网络是生成对抗性网络。

在上述第二方面的一个实施方式中，所述生成对抗网络是用所述输入染色剂和所述输出染色剂染色的所述至少三个相邻样品切片的图像来训练的。

在上述第二方面的一个实施方式中，所述生成对抗网络是用不同光照条件下成像的所述至少三个相邻样品切片的图像进一步训练的。

在上述第二方面的一个实施方式中，所述光照条件包括明视野或自体荧光。

在上述第二方面的一个实施方式中，所述输入染色剂和所述输出染色剂中的每个都包括苏木精—伊红(H&E)和一种特殊染色剂的至少其中一个。

在上述第二方面的一个实施方式中，所述特殊染色剂包括免疫染色剂。

在上述第二方面的一个实施方式中，所述至少三个相邻样品切片被冷冻。

在上述第二方面的一个实施方式中，所述至少三个相邻样品切片是福尔马林固定的并且包埋在石蜡中。

在上述第二方面的一个实施方式中，该方法进一步包括使用估计过程来纠正代表用所述输出染色剂染色的所述关键样品切片的染色图像、和用所述输入染色剂染色的所述相邻样品切片的染色图像之间的空间不匹配的步骤。

在上述第二方面的一个实施方式中，所述纠正空间不匹配的步骤包括将所述相邻样品切片的所有使用所述输入染色剂染色的染色图像，与代表用所述输出染色剂染色的所述关键样品切片的染色图像，使用三自由度刚体配准来对齐。

在第二方面的实施例中，所述多模态染色学习引擎还被配置为应用图像变换以基于所述相邻样品切片的所有使用所述输入染色剂染色的染色图像来生成至少一个估计输入图像。因此，本发明的实施例提供了诸多好处。有利的是，可以用虚拟组织染色法观察组织，只需用数字显微镜对样品组织进行成像，组织不染色，或只用快速和低成本的染色剂进行染色，然后这些图像被输入到计算机程序，以生成同一组织在其他染色剂下的图像。对于使用传统方法的耗时或昂贵的染色，虚拟染色可能特别有优势。一个很好的例子是免疫染色。虚拟染色还能减少污染物，促进数字医学，并减少医院的拥挤。

此外，多模态图像合成相对于单输入、单输出的方法有了很大的进步，因为它允许多个输入图像生成输出图像。此外，它还能提高图像生成的准确性。

此外，多模态图像合成可能比现有的病理学方法更好地利用其稳健性。

附图说明

现在将参照附图，以示例的方式描述本发明的实施方案，其中：

图1是一个计算机系统的示意性框图，该计算机系统根据本发明的一个实施例作为生成染色图像的系统运行。

图2是展示图1的生成染色图像的系统的操作过程的框图。

图3是展示图2的生成染色图像的系统的一个示例机器学习网络的操作的框图。

图4是当输入和输出的图像在被制备的多个样品切片的不同位置获得时，采用内插法或外推法进行的校正处理的示意图。

图5是展示使用了图1的生成染色图像的系统来生成染色图像的方法步骤的示例合集的处理流程图。

图6展示了输入到神经网络的估计图像集(H&E染色切片的明视野、GFP和RFP图像)、和在虚拟染色的图像和物理染色的图像之间进行比较。

具体实施方式

参照图1，其中展示了根据本发明的一个实施例。该实施例被配置为提供一种用于生成染色图像的系统，包括：

-图像网关，被配置用来获取关键样品切片的第一图像；以及

-图像生成器，被配置使用多模态染色学习引擎处理第一图像，该多模态染色学习引擎被配置为生成至少一个染色图像，其中该至少一个染色图像代表至少用一种染色剂染色的所述关键样品切片。

在这个示例性实施例中，图像网关和图像生成器是由计算机实现的。该计算机具有适当的用户界面、通信端口和处理器。该计算机可以通过任何计算架构来实现，包括独立的个人电脑、客户/服务器架构、“哑”终端/主机架构、便携式计算设备、平板电脑等。计算机、可穿戴设备、智能电话或任何其他适当的架构。计算设备可以被恰当编程以实现本发明。

请参考图1，该图中显示了一种计算机系统示意图，该计算机系统在本实施例中包括服务器或计算设备100。服务器100包括用于接收、存储和执行适当的计算机指令的合适组件。这些组件可以包括处理单元102、只读存储器(ROM)104、随机存取存储器(RAM)106、以及输入/输出设备，如磁盘驱动器108、例如以太网端口、USB端口等的输入设备110。显示器112，如液晶显示器、发光显示器或任何其他合适的显示器和通信链接114。服务器100包含可包括在ROM 104、RAM 106或多个磁盘驱动器108中的指令，而这些指令可由处理单元102执行。可以提供多个通信链路114，它们可以不同地连接到一个或多个计算设备如服务器、个人电脑、终端、和例如平板电脑、智能手机或可穿戴设备的无线或手持计算设备。多个通信链路中的至少一个可以通过电话线或其他类型的通信链路连接到外部计算网络。

服务器可以包括存储设备，如磁盘驱动器108。磁盘驱动器108可以包括固态驱动器、硬盘驱动器、光驱或磁带驱动器。服务器100可以使用单个磁盘驱动器或多个磁盘驱动器。服务器100可能能够访问一个或多个远程数据存储设备、数据库或基于云的数据中心系统120来访问信息、检索数据、或获得或提供命令或指令。服务器100也可以有一个合适的操作系统116，它驻留在服务器100的磁盘驱动器上或ROM中。

在本示例性实施例中，服务器或计算设备100可实施为生成染色图像的系统，该系统可用于生成组织样品切片的虚拟或模拟图像。该组织样品切片已被任何一个或多个可用的各种染色剂(或称为着色剂)染色，以使医务人员、科学家或研究人员能够识别组织样品切片中的特定特征或标记。

在某些布置的示例中，上述系统被配置为与医院或实验室设备一起使用以处理组织样品。该系统可连接到或被配置为与图像源通信，例如光学或电子显微镜或组织图像数据库，以获得组织样品的图像。一旦获得组织样品的图像，则系统被布置为处理该图像以生成组织样品的新图像，但该新图像被模拟为已被一种或多种用户希望的染色剂染色。这些不同的染色剂包括标准染色剂或着色剂，例如苏木精和伊红(H&E)、或非标准染色剂或着色剂例如特殊染色剂和/或免疫染色剂。优选地，系统运行以生成组织样品切片的虚拟或生成的染色图像，其不同于组织样品的第一染色剂的图像。因此，作为示例，如果第一图像是未染色的组织样品，则生成的染色图像可以是已经被希望的染色剂例如H&E染色的组织样品。在替代示例中，如果第一图像是已经用诸如H&E的第一染色剂染色的组织样品，则生成的染色图像可以是用另一不同的染色剂例如免疫染色剂染色的组织样品。

这些模拟或仿真了用一种或多种染色剂或着色剂染色后的组织样品切片的所生成的图像，可以反过来提供给用户，以便让用户进行诊断或提供医疗或生物评估。这些模拟或仿真的图像的生成可能是有利的，因为染色过程可能会改变每个组织样品切片的物理特性。这反过来又意味着，如果在一个示例组织样品切片上使用一种染色剂，则另一种染色剂可能不会被使用，从而限制了组织样品切片用作研究或诊断的目的。因此，生成这些模拟或仿真图像的能力，将使用户能够获得用各种染色剂染色的组织样品切片的图像。通过生成模拟和仿真的染色组织样品切片的图像，组织样品切片的图像可以模拟为被各种染色剂染色，从而为研究或诊断目的提供更大的余地。这将反来改善在生物和医学科学以及医疗或兽医治疗方面的研究和发展。此外，本系统用于生成染色图像的例子也可能是有利的，因为生成染色图像的速度要比物理染色要快得多。这为对组织样品分析的时间紧迫需要的病理学实践提供了显著的优势。

参照图2，示出了展示用于生成染色图像200的系统的示例性实施例的流程的框图。在这个示范性实施例中，系统200首先获取冷冻组织切片202的图像。这些组织切片也可称为关键组织切片或关键样品切片，可以是未染色的，或用一种或多种染色剂染色的，例如苏木精和伊红(H&E)或任何其他染色剂。

由此可见，这些图像202是通过图像网关204输入到系统的。图像网关204可以是一个合适的输入设备，并且可以被配置为接收来自各种来源的图像数据，包括来自光学或电子显微镜、数据库、计算机网络、计算机云服务器、便携式存储设备或其他电子、处理或存储设备。输入的图像202可以是一个或多个图像的组织样品切片，不论有没有染色剂。相邻样品的图像，不论是不是有各种染色剂，也可以选择性地被输入到图像网关204中。这可能是必要的或是可选的，取决于用户的意图和图像生成器206预训练的水平，这将参照图2和3在下面进一步详细描述。

如本实施例所示，图像生成器206被配置为接收组织样品切片的图像202，并重新生成已被一种或多种染色剂染色的组织样品切片208的新图像。优选地，这是由图像生成器206内的机器学习处理器(如图3所示)执行，以模拟组织样品切片已被特定的染色剂染色。该机器学习处理器可以是任何类型的机器学习架构，能够在用样品训练集训练后学习或保留知识。优选地，该机器学习处理器包括机器学习网络306，例如神经网络、卷积神经网络(CNN)，或如下文所述的一个示范性实施例中的生成对抗网络(GAN)。

机器学习网络306被配置为用多个组织样品切片和染色的组织样品切片的训练图像进行训练。反过来，经过训练的机器学习网络将能够接收组织样品切片图像作为输入，并生成组织样品切片图像中所示的组织样本切片的模拟图像，但已被各种染色剂染色。然后，这个生成的组织样品切片的模拟图像可以输出给用户进行进一步处理，或在必要时重新训练机器学习网络306。

参照图3，在其中展示了具有机器学习网络306的机器学习处理器示例的框图。图3中的该框图用来显示机器学习网络306的一个示例操作，以生成一个或多个模拟图像308。该机器学习网络可以首先通过合适的训练数据集进行训练，例如可以包括许多用各种染色剂染色的组织样品切片和相邻组织样品切片的图像。一旦网络306经过适当的训练，使其能够提供可接受的准确度，组织样品切片302的图像304就可以被送入网络，以便生成组织样品切片的图像，模拟用一种或多种染色剂进行染色。

举例来说，组织样品来自临床情况，如活检和手术切除。组织可以来自任何器官，并且是正常或有疾病的。疾病可能是不同类型的癌症，但其他需要组织病理学诊断的疾病也可能适合。可以用福尔马林固定/石蜡包埋或冷冻的方法来制备组织切片。

可以为每一种虚拟染色的疾病训练单独的神经网络，因为不同的疾病涉及不同的组织类型，且用不同的制备方法和染色剂进行诊断。例如，类似的组织样品(如同一疾病)可以从不同的病人和医院收集，以反映人群和制备方法的多样性。然而，优选的事不同的医院最好使用类似的诊断方法(即相同的染色)。

如图3所示，这里的输入图像304包括关键组织样品切片(K1)的图像，它可以是来自一个或多个组织样品集合302的各种关键组织样品切片之一。A1和A2是相邻组织样品切片的图像，是与关键组织样品切片相邻组织样品切片。需要指出的是，相邻组织切片在物理上不一定是相邻的，但它可以是在一个接近的位置，或任何其他位置。因此并且优选的是，可以与关键组织样品切片建立一些结构或其他方面的相似性，这样一来两个样品切片之间的形态可以共享一些相似点。

在不希望被理论束缚的情况下，组织切片应该在训练期间与多模态神经网络兼容。一旦训练完成，切片步骤应遵循该疾病的标准程序，以避免扰乱医院程序。

最好的是，训练过程可以从获得至少三个相邻样品切片中的每一个的图像开始。至少三个相邻样品切片包括关键样品切片、和在关键样品切片附近获得的相邻样品切片。例如，三个相邻的样品包括关键样品切片和上述的两个相邻样品切片，其中包括按照图中所示的顺序分配的K1、A1和A2，或者相邻的三个样品切片以其他可能的顺序排列，只要它们彼此相近。

在训练过程中，至少有三个直接相邻切片应被切割成标准厚度(约10微米)

。更多的切片可能会改善最终的网络性能，而且这些切片最好是相邻的，因为相邻的切片在结构上非常相似，这将使网络产生新的染色，而没有明显的结构混淆。

优选的是，至少三个相邻样品切片中的一个可以用输出染色剂染色，而其余的相邻样品切片可以全部用输入染色剂染色。相应地，至少一个被染色的图像，或输出染色图像，代表了用输出染色剂染色的关键样品切片。

例如，所有的切片除了一个之外，都是苏木精和伊红(H&E)染色的，因为H&E是常态地被用于几乎所有的组织病理学场景。H&E是输入染色剂，而训练好的网络在未来的应用只需要一个H&E染色的切片。尚待染色的切片用目标输出染色剂进行染色，如免疫染色剂。由于一个切片通常不能多次染色，因此一般需要用输入或输出染色剂对单独的切片进行染色。

或者，除一个样品外，所有的样品切片都以交替的方式，用多种类型的输入染色剂进行染色。例如，如果对某种疾病的诊断通常使用除H&E之外的其他染色剂，并且这些染色剂可以快速进行，那么可以用H&E和其他染色剂交替进行切片染色。

参照图3，这些相邻组织样品切片A1、A2也可以被染色，比如用上述的用于模拟关键组织样品切片被同一染色剂染色的所希望的染色策略。反过来，这些相邻组织样品切片A1、A2的图像将因此呈现出与关键组织相似的结构，但同时用一种或多种不同的染色剂进行了染色。因此，在其基础上，这些相邻的图像A1、A2将提供信息或指导，说明当关键组织样品切片也被一种或多种染色剂染色时，K1应如何显示，而这些信息可以作为机器学习网络中的知识使用，以生成关键组织样品切片经替代染色剂染色后的模拟图像。当关键组织样品切片K1被染色时，例如用不同于用于染色相邻组织样品A1和A2的染色剂染色时，那么这些关键组织样品切片K1或相邻组织样品切片A1、A2的图像可以通过各种方式获得，包括直接获得光学/电子显微镜的输出，或从存储或计算设备或电信设备中获得这些图像作为一个集合。在一个示例使用场景中，相邻组织切片A1、A2可以是与关键样品切片K1相邻组织切片，因此可以从接近关键样品切片K1的位置获得。作为这些相邻组织切片的一个例子，相邻组织切片可以包括前一个组织切片或下一个组织切片。这些相邻组织切片的一个独特性质是，它们可能代表了与关键样品相似的组织结构，因为它们靠近或直接邻近关键样品切片。因此，这些组织结构的相似性可被用来生成关键样品切片的虚拟染色。

在本示范性程序中，这些相邻组织切片A1、A2也可以用其他染色剂进行染色，如特殊染色剂和/或免疫染色剂。反过来，这些相邻组织切片的图像，也被称为相邻图像，因此可以显示一个组织样品切片K1的图像，其组织结构与关键样品相似，但用不同的染色剂染色。这将反过来为未染色或用第一种染色剂染色的关键组织样品K1、以及用另一种染色剂染色的相邻组织样品A1或A2之间的相似性或关系提供依据。

这些来自多个样品302的图像集304可以反过来被用来训练一个染色学习引擎，它可以包括机器学习网络306或处理器。在训练了这样一个引擎之后，机器学习网络306或处理器就可以把未染色的图像作为输入，并输出相同的组织切片的使用希望的染色剂308染色的图像。

另外的或者染色的(如H&E)图像也可以被用作输入，而系统可以输出相同组织切片的以不同的染色剂进行了染色的图像。反过来，允许医疗专业人员、科学家或研究人员获得用各种可用的染色剂中的一种，例如H&E以及其它非标准或替代的染色剂(例如特殊染色剂或免疫染色剂)进行了染色的组织样品。这些虚拟图像反过来可以让科学家或医疗专业人员诊断医疗状况，检测各种结果或进一步研究，或者可以呈现给最终用户用于其他科学、分析、存储、处理或诊断目的。

此外，样品组织可选地可以在不同的光照条件下成像，包括但不限于明视野和自体荧光。有利的是，通过提供不同光照条件和/或不同的输入染色剂，可以建立一个多模态染色学习引擎，以促进不同应用中更多的输入/输出要求。

染色后的切片可以用病理实验室中的标准数字光学显微镜进行成像。例如，可以使用尼康Eclipse Upright显微镜或奥林巴斯IX81显微镜。H&E切片用明视野滤镜成像。可选地或者替代地，样品切片可以用绿色荧光蛋白(GFP)和/或红色荧光蛋白(RFP)滤光片成像，以获得自体荧光图像，以实现训练好的网络的多模态能力。其他输入染色切片(非H&E)可以用它们指定的过滤器进行成像。同样，输出染色切片也可以用其指定的过滤器成像。对于网络训练，可使用校准的扫描台显微镜对大的切片进行成像，以获得更多的数据。对于网络应用而言，获取一个现场的视角足以减少图像采集时间。最后，可能必须以显微镜的原始图像格式，而不是以.jpeg等压缩格式保存获取的图像。本发明的发明人发现，更可取的是不做任何图像浏览调整，例如在保存图像文件之前对对比度和亮度进行的调整。

为了进一步提高多模态染色学习引擎的准确率或性能，优选地多模态染色学习引擎被进一步配置为使用估计过程，纠正代表用输出染色剂染色的关键样品切片的染色图像、和用输入染色剂染色的相邻样品切片的染色图像之间的空间不匹配的。

本发明的发明人构思了在虚拟组织染色中，特别是使用多模态方法时，用于训练的输入和输出图像可以从不同组织切片获得，尽管这些不同的组织切片离得很近，而且相互之间非常相似。因此，每对相邻样品切片的图像中可能存在空间不匹配。如果不对这些不匹配进行校正，可能会导致图像模糊，可能使输出的图像不适合于临床使用。

优选地，可以采用一个估计过程来估计输出切片如果使用输入染色剂进行染色的话会是什么样子。然后估计的输入图像与获得的输出图像一道被用于网络训练。

参照图4，如果输出切片在相邻的输入切片之间的话，可以使用内插法进行估计。内插法比较好，因为估计的结果可能更准确。然而，有些临床情况只允许在所有输入切片的一侧进行输出切片。在这种情况下，要使用外推法(见下文)。需要注意的是，对每个输入染色图像的估计(例如，明视野，GFP，RFP)都是单独进行的。

优选地，内插法是通过使用二维图像配准，或三自由度刚体配准(两个平移、一个旋转)来将所有输入图像与输出图像配准来进行的。这考虑到了事实，即任何切片都可以以任何角度放在载玻片上的任何地方，但形状是固定的。目标函数是适合于模态间配准的函数，如相互信息。在配准之后，将切片插值应用于对齐的输入图像，以估计用输入染色剂染色的输出切片的图像。然后将得到的图像作为估计的输入图像进行参考。

请注意，内插法可能需要知道切片的厚度和顺序，如果是专门为网络训练而获取的图像，则这些可能是已知的。另外，像在组织病理学中可能进行的那样，直接切割相邻的切片，会导致更好的估计。

此外，估计过程可能是外推法。尽管外推法可能导致比内插法更差的估计值，但有时训练数据来自于需要外推的临床场景。例如，手术切除物通常被切成块状，并以不同方式处理，而其中一个块用H&E染色，而另一个块用免疫染色剂染色。对于外推法而言，与内插法类似的是，所有的输入图像可以用刚体配准法对准输出图像。在配准之后，外推法进一步包括应用图像外推变换以根据用输入染色剂染色的相邻样品切片的染色图像生成至少一个估计输入图像的步骤。图像外推变换的例子是离散正交变换或基于学习的变换。

请注意，外推法也需要系统知道截面的厚度和排序，直接切割相邻的截面会导致更好的估计。

在所有估计完成后，每个输入染色剂应该有一个估计的图像，该估计的图像与输出图像在空间上相匹配。

在图5中示出一个示例性实施例中，本发明的发明人就上述系统的一个例子进行了一个实验性操作，即通过进行5个示例步骤(500、502、504A/504B、506和508)生成染色图像。结果表明，用于生成染色网络的系统可以与现有的医院或实验室程序在获取实际组织样品时协作，并能够产生被专家认为足以用于诊断或研究目的的模拟组织样品切片染色的准确结果。本发明的发明人所采取的五个步骤参照图5描述如下。

第一阶段-组织收集和准备500

生成染色图像的方法优选地需要至少一个组织样品切片的图像进行处理，以便生成一个虚拟的染色图像。因此，在本示范性实验中，发明人或用户可以首先获得一个活检大小的组织标本(毫米级)，例如那些从手术丢弃的组织，以便从标本中制备冷冻切片。这些标本的图像可以反过来被用来训练这个生成染色图像的示例方法中使用的机器学习网络。跟据本发明的发明人进行的试验和实验，N＝100是训练一个例子机器学习网络的估计最小样品量。可能进一步需要额外(N>＝10)的样品来进行前瞻性评估。

为了获得这些样品，下面描述的程序与标准医院冷冻样品切片程序相似。这将有助于将这个生成染色图像的系统的实验实例转化为临床环境。打孔活检可用于从每个组织标本中收集至少一个样品。

作为测试样品，本发明的发明人从大鼠身上获得了一个组织样品，该样品首先被放置在模具上，而最佳切割温度(OCT)化合物被用于覆盖样品。组织在异戊烷中被快速冷冻，并被放置在低温器的架子上等待切片。

在这一程序之后，固定器然后可以被放在组织上，而整个组件被置于零下22摄氏度的冰冻室中。将刀片插入，修剪掉组织中多余的OCT。切开一个5微米厚的切片，然后是一系列至少n个相邻的切片。n是每个非H&E染色剂(见下一阶段)的两个切片。用冷却的刷子将组织切片铺在防滚板上。将室温的玻璃载玻片(用于显微镜)压在组织上，由于温差的存在，玻璃载玻片会被粘住。将组织浸泡在95％的乙醇中几秒钟，从而迅速固定。切片现在已经准备好进行染色。

第二阶段-染色502

上述第1阶段之后的染色阶段，可以对前一阶段准备的每个组织样品的所有样品切片进行染色(第一阶段500)。例如，本发明的发明人将除一个样品切片外的所有样品切片都使用H&E进行染色。然后将剩余的一个切片用特殊染色剂或免疫染色剂进行染色。可使用的常见例子包括细胞角蛋白标记、SOX10和P40。之后，在图像采集阶段(504)和机器学习网络训练(后面的第三阶段和第四阶段)，H&E切片的明视野和自体荧光图像被转换为相邻切片的明视野或荧光图像，而相邻切片的染色剂是不同的。

由于切片之间的距离在微米以内，组织的微观结构是非常相似的。下面给出了一个冷冻切片的H&E染色方案的例子。

H&E：

·在自来水中冲洗载玻片

·放入苏木精中1分钟

·在自来水中漂洗5秒钟

·在Scott's自来水中漂洗5秒钟以获得蓝色

·在曙红中浸泡20秒

·在自来水中快速漂洗

·95％的乙醇，10秒

·100％的乙醇，10秒

·在二甲苯中浸泡20秒

·用DPX安装

对于特殊和免疫染色，用户可以遵循制造商确定的协议。

如前所述，为了让多模态染色学习引擎得到训练，多种类型的输入染色剂可能是必要的，因此，准备好的样品中除了一个之外，其他的都可以用多种类型的输入染色剂中选定的一种进行染色，最好是以交替的方式进行，剩下的一个样品

切片相反要用输出染色剂来染色。

适合与生成染色图像的示例方法和系统一起使用的上述制备程序的例子是有利的，因为系统和方法生产染色图像的能力能够处理冷冻切片，而不是更常见的福尔马林固定、石蜡包埋的切片，这两者在使用生成染色图像的系统的一个示范性实施例操作时，没有必要或不需要。正如本发明的发明人的实验所示，生成染色图像的方法不需要对组织样品进行常见的福尔马林固定、石蜡包埋的切片。这反过来又是有利的，因为它使得组织样品切片的制备更快、更有效、更便宜。此外，所提供的优势可能导致更快的组织处理时间，这在需要快速诊断治疗的外科手术中特别有利。

第三阶段-图像采集504A

该第三阶段504A可以获得显微镜图像，用于训练机器学习网络。明视野和自体荧光图像可从所有H&E切片中获得。明视野和自体荧光图像也可从特殊/免疫染色的切片中获取。对明视野或荧光的选择，包括选择哪个滤镜组，取决于所使用的具体染色剂。在下一阶段，机器学习网络将被训练来把一个切片的两张H&E图像转化为相邻切片的染色。在一个例子的操作中，输入图像可以在H&E染色后获得，因为比较不太可能破坏医院协议，因此上述生成染色图像的方法和系统的例子可能是有利的，因为它可以与现有的医院设置一起操作，因为H&E染色总是在冷冻切片上进行。反过来，允许用于生成染色图像的系统和方法的例子与现有的医院协议可以一起操作，将干扰降到最低。

在这个例子中，显微镜的图像采集可以用高分辨率的显微镜(例如，尼康EclipseUpright显微镜)进行，其能够进行荧光和明视野显微镜操作。带有组织切片的载玻片将被放置在平台上。然后可以用多个(如4和40X)物镜和10X目镜捕捉图像。传感器最好具有高像素(如3376x2704)。

此外，可以用FITC(465-495纳米激发，515-555纳米发射)滤光片组获得自体荧光图像。玻片将随平台自动平移，以获得多个FOVs，直到对整个切片进行成像。这是很有利的，因为平移平台将允许对较大的样品进行成像，并提供更多的训练数据。染色剂的荧光图像也可以使用特定染色剂被设计用于的滤光片组来获取。

优选地，关键的图像采集设置，如相机曝光时间和增益，将被手动设置。这是为了确保不同样品的采集设置保持不变。

第四阶段-图像校正504B和训练机器学习网络506

在以不同的输入/输出染色剂和不同的光照条件获取所有必要的样品图像后，可以进行图像校正504B，以纠正所有捕获的图像之间的空间不匹配。

由于已经获得了组织样品的图像，并使用内插法和/或外推法纠正，这些图像然后可以通过使用上述获得的显微镜图像来训练机器学习网络。在一个示范性实施例中，机器学习网络可以被训练成采纳输入，例如使用H&E和/或其他染色剂染色的组织切片的明视野和自体荧光图像，以便产生一个输出，即用不同的染色剂染色的相邻组织切片。由于相邻组织切片在形态上非常相似，机器学习网络可以被训练成在生成染色图像507作为输出时，虚拟地应用这样的染色剂。

优选地，每个非H&E染色剂可以训练一个机器学习网络。训练后，该网络可以接收输入图像，如手术病人的冷冻切片，并生成该切片在不同的染色情况下的多个图像。

在试验、实验和研究过程中，本发明的发明人曾发现各种机器学习网络都有可能达到类似的结果。然而，在一个优选实施例中，本发明的发明人采用了为肺部组织学图像设计的条件生成对抗网络(cGAN)架构。

由于cGAN是原始GAN的一个扩展，它具有相互竞争的生成器和鉴别器网络。生成器被训练成将H&E图像映射到其他染色剂染色后的图像，而鉴别器同时被训练成评估生成器的输出是真的还是假的。在cGAN中，网络以附加(图像)信息为条件。

在一个例子中，本发明的发明人曾使用一个网络，该网络具有U-Net架构的cGANpix2pix模型。该生成器有八个卷积层，每层由卷积、批量归一化和激活函数LeakyRelu组成。每一层都有特定的功能，在训练过程中输入多个图像集时，有助于处理转换。卷积采用了4x 4的空间滤波器，其步幅和下降样本因子为2。输出通道的数量将以双倍的方式增加(3、64、128、256、512、1024)。这可以确保一个更详细的特征图能在卷积的深层被提取出来。批量归一化也被用于对每个图像文件的数据进行归一化，最后使用斜率为0.2的整顿函数Leaky-ReLu来增加在训练期间的数据的非线性度。鉴别器中有五个卷积层，每一层都由卷积、批量归一化和激活函数LeakyRelu组成。每层的结构和功能与生成器中的卷积层的结构和功能相似，除了鉴别器在最后一个卷积层放置一个sigmoid函数之外。该函数输出一个概率矩阵，显示输出图像与真实图像相似的可能性。

整个训练过程最初在200个超参数(epochs)上运行，在进一步的训练过程中，epoch数将增加，以提高训练的准确性。此外，还使用了一些特殊的技术，如跳过连接和图像增强来防止过度拟合，并在训练过程中提高准确性。

第五阶段-前瞻性评价508

这个最后阶段是可选的，并是由本发明的发明人完成，作为其试验和实验的一部分，以评估由生成染色图像的方法和系统生成的图像的准确性。在这个例子中，本发明的发明人评估了在额外的H&E染色组织切片(不属于训练集的每种组织类型其N>＝10)上训练机器学习网络。

例如，可以使用至少10个额外的图像集对训练过的网络进行前瞻性评估，这些图像集是为训练而获取和处理的。请注意，评估与网络的实际应用不同的是在评估中需要将输出的图像与物理染色的图像进行比较，以保证准确性。因此，在应用时只需要一个输入切片的图像。

在训练期间，估计的图像被输入到网络以获得输出图像。计算机输出的图像与物理染色的版本进行定性和定量的比较。定性比较是由经验丰富的病理学家进行的，寻找用于疾病诊断的关键特征的相似性，如细胞核形态和上皮结构。定量比较是通过标准的图像指标进行的，如像素级的强度差值、峰值信噪比、以及结构相似性指数测量。

参照图6，显示了一个估计的图像集(H&E染色的切片的明视野、GFP和RFP图像)输入到一个只用20组训练的神经网络中。生成的输出图像在质量和数量上接近物理染色的图像(泛角蛋白染色切片的明视野图像)。这一性能大大优于单模态方法。

生成染色图像的系统的示范性实施例是有利的，因为它可以提供一种服务，为组织病理学评估虚拟染色冷冻组织切片。该系统和方法被配置为接收用标准染色剂如H&E染色的切片的输入图像、以及同一切片的使用不同染色剂染色的输出图像。反过来，该系统可适用于肿瘤切除手术中的术中使用。

有利的是，可以用虚拟组织染色法观察组织，只需用数字显微镜对样品组织进行成像，组织不染色，或只用快速和低成本的染色剂进行染色，然后这些图像被输入到计算机程序，以生成同一组织在其他染色剂下的图像。

对于使用传统方法的耗时或昂贵的染色，虚拟染色可能特别有优势。一个很好的例子是免疫染色。虚拟染色还能减少污染物，促进数字医学，并减少医院的拥挤。

现有的单模态图像生成方法。例如，单模态方法可能被限制为单一输入图像导致输出图像的生成，但是输入可能是一个未染色的、以明视野显微镜成像的组织切片，而输出是用明视野成像的苏木精和伊红(H&E)染色的切片。有利的是，在多模态合成中，作为输入，未染色的切片的明视野和自体荧光图像可用于生成H&E染色的明视野图像。输入的图像也可以是未染色和H&E染色的组织切片，用于生成组织的特殊染色图像。虽然不是必须的，但参照附图所描述的实施例可以作为应用编程接口(API)或一系列供开发者使用的库来实现，或者也可以包含在另一个软件应用中，如终端或个人计算机操作系统或便携式计算系统。一般来说，由于程序模块包括协助执行特定功能的例程、程序、对象、组件和数据文件，本领域技术人员会理解，软件应用程序的功能可以分布在一些例程、对象或组件中，以实现与这里所期望的相同的功能。

还可以理解的是，如果本发明的发明和系统全部由计算系统实现或部分由计算系统实现，那么任何适当的计算系统架构都可被使用。这将包括独立的计算机、网络计算机和专用硬件设备。在本文使用“计算机系统”和“计算机设备”时，这些术语旨在涵盖任何能够实现所述功能的计算机硬件的适当布置。

本领域的技术人员可以理解的是，在不脱离一般性描述的本发明的精神或范围的情况下，可以对具体实施例中所示的本发明做出许多变化和/或修改。因此，上述的实施例在所有方面都应被视为说明性的，而不是限制性的。

除非另有说明，本文中对现有技术的任何提及不应视为承认该信息为公知常识。

Claims

1.一种生成染色图像的方法，包括以下步骤：

获得关键样品切片的一组第一图像；和

用多模态染色学习引擎处理所述第一图像，以生成至少一个染色图像，其中所述染色图像代表用至少一种染色剂染色的所述关键样品切片。

2.根据权利要求1所述的生成染色图像的方法，其中所述关键样品切片是未染色的，或用输入染色剂染色的。

3.根据权利要求2所述的生成染色图像的方法，进一步包括获得至少三个相邻样品切片中每一个的图像的步骤；该三个相邻样品切片包括所述关键样品切片和在该关键样品切片附近获得的相邻样品切片。

4.根据权利要求3所述的生成染色图像的方法，其中所述至少三个相邻样品切片中的一个用输出染色剂进行染色，而其中其余的所述相邻样品切片都用所述输入染色剂进行染色。

5.根据权利要求4所述的生成染色图像的方法，其中所述至少一个染色图像表示用所述输出染色剂染色的所述关键样品切片。

6.根据权利要求4所述的生成染色图像的方法，其中所述其余的相邻样品切片以交替的方式用多种类型的所述输入染色剂进行染色。

7.根据权利要求4所述的生成染色图像的方法，其中所述多模态染色学习引擎包括机器学习网络，该网络被配置用于生成所述至少一个染色图像。

8.根据权利要求7所述的生成染色图像的方法，其中所述机器学习网络包括生成器网络以及鉴别器网络；该生成器网络被配置为在多个周期内生成所述至少一个染色图像；所述鉴别器网络被配置为分析所述至少一个染色图像，以在所述多个周期中的每一个周期上提供反馈给所述生成器网络。

9.根据权利要求8所述的生成染色图像的方法，其中所述机器学习网络是生成对抗性网络。

10.根据权利要求9所述的生成染色图像的方法，其中所述生成对抗网络是用所述输入染色剂和所述输出染色剂染色的所述至少三个相邻样品切片的图像来训练的。

11.根据权利要求10所述的生成染色图像的方法，其中所述生成对抗网络是用不同光照条件下成像的所述至少三个相邻样品切片的图像进一步训练的。

12.根据权利要求11所述的生成染色图像的方法，其中所述光照条件包括明视野或自体荧光。

13.根据权利要求4所述的生成染色图像的方法，其中所述输入染色剂和所述输出染色剂中的每个都包括苏木精—伊红(H&E)和特殊染色剂的至少其中一个。

14.根据权利要求13所述的生成染色图像的方法，其中所述特殊染色剂包括免疫染色剂。

15.根据权利要求14所述的生成染色图像的方法，其中所述至少三个相邻样品切片被冷冻。

16.根据权利要求15所述的生成染色图像的方法，其中所述至少三个相邻样品切片是福尔马林固定的，并且包埋在石蜡中。

17.根据权利要求7所述的生成染色图像的方法，进一步包括使用估计过程来纠正代表用所述输出染色剂染色的所述关键样品切片的染色图像、和用所述输入染色剂染色的所述相邻样品切片的染色图像之间的空间不匹配的步骤。

18.根据权利要求17所述的生成染色图像的方法，其中所述纠正空间不匹配的步骤，包括将所述相邻样品切片的所有使用所述输入染色剂染色的染色图像，与代表用所述输出染色剂染色的所述关键样品切片的染色图像，使用二维图像配准来对齐。

19.根据权利要求18所述的生成染色图像的方法，其中所述估计过程是内插法。

20.根据权利要求18所述的生成染色图像的方法，其中所述估计过程是外推法，该外推法进一步包括应用图像外推变换的步骤，以基于使用所述输入染色剂染色的所述相邻样品切片的染色图像，来产生至少一个估计的输入图像。

21.一种用于生成染色图像的系统，包括：

图像网关，被配置为用来获得关键样品切片的一组第一图像；以及

图像生成器，被配置为用多模态染色学习引擎来处理所述一组第一图像，以生成至少一个染色图像，其中该至少一个染色图像代表了用至少一个染色剂染色的所述关键样品切片。

22.根据权利要求21所述的生成染色图像的系统，其中所述关键样品切片是未染色的、或用输入染色剂染色的。

23.根据权利要求22所述的生成染色图像的系统，其中所述图像网关还被配置为获得至少三个相邻样品切片中每一个的图像，该三个相邻样品切片包括所述关键样品切片和在该关键样品切片附近获得的相邻样品切片。

24.根据权利要求23所述的生成染色图像的系统，其中所述至少三个相邻样品切片中的一个用输出染色剂进行染色，而其中其余的相邻样品切片都用所述输入染色剂进行染色。

25.根据权利要求24所述的生成染色图像的系统，其中所述至少一个染色图像代表用所述输出染色剂染色的所述关键样品切片。

26.根据权利要求24所述的生成染色图像的系统，其中所述其余的相邻样品切片以交替的方式用多种类型的所述输入染色剂进行染色。

27.根据权利要求24所述的生成染色图像的系统，其中所述多模态染色学习引擎包括机器学习网络，该网络被配置用于生成所述至少一个染色图像。

28.根据权利要求27所述的生成染色图像的系统，其中所述机器学习网络包括生成器网络以及鉴别器网络；所述生成器网络被配置为在多个周期内生成所述至少一个染色图像；所述鉴别器网络被配置为分析所述至少一个染色图像，以在所述多个周期中的每一个周期上提供反馈给所述生成器网络。

29.根据权利要求28所述的生成染色图像的系统，其中所述机器学习网络是生成对抗性网络。

30.根据权利要求29所述的生成染色图像的系统，其中所述生成对抗网络是用所述输入染色剂和所述输出染色剂染色的所述至少三个相邻样品切片的图像来训练的。

31.根据权利要求30所述的生成染色图像的系统，其中所述生成对抗网络是用不同光照条件下成像的所述至少三个相邻样品切片的图像进一步训练的。

32.根据权利要求31所述的生成染色图像的系统，其中所述光照条件包括明视野或自体荧光。

33.根据权利要求24所述的生成染色图像的系统，其中所述输入染色剂和所述输出染色剂中的每个都包括苏木精—伊红(H&E)和特殊染色剂的至少其中一个。

34.根据权利要求33所述的生成染色图像的系统，其中所述特殊染色剂包括免疫染色剂。

35.根据权利要求34所述的生成染色图像的系统，其中所述至少三个相邻样品切片被冷冻。

36.根据权利要求35所述的生成染色图像的系统，其中所述至少三个相邻样品切片是福尔马林固定的，并且包埋在石蜡中。

37.根据权利要求27所述的生成染色图像的系统，其中所述多模态染色学习引擎进一步被配置为使用估计过程来纠正代表用所述输出染色剂染色的所述关键样品切片的染色图像、和用所述输入染色剂染色的所述相邻样品切片的染色图像之间的空间不匹配。

38.根据权利要求37所述的生成染色图像的系统，其中所述多模态染色学习引擎被配置为将所述相邻样品切片的所有使用所述输入染色剂染色的染色图像，与代表用所述输出染色剂染色的所述关键样品切片的染色图像，使用三自由度刚体配准来对齐。

39.根据权利要求38所述的生成染色图像的系统，其中所述多模态染色学习引擎进一步被配置为应用图像变换以基于所述相邻样品切片的所有使用所述输入染色剂染色的染色图像来生成至少一个估计输入图像。