CN111433817A

CN111433817A - 生成未染色样本的虚拟染色图像

Info

Publication number: CN111433817A
Application number: CN201880077801.4A
Authority: CN
Inventors: C-H.吴; H-W.张; J.希格比; A.霍梅克; C.圣托里
Original assignee: Verily Life Sciences LLC
Current assignee: Verily Life Sciences LLC
Priority date: 2017-12-15
Filing date: 2018-12-12
Publication date: 2020-07-17
Also published as: US10824847B2; EP3724854A1; WO2019118544A1; US20190188446A1

Abstract

提供了用于生成未染色样本的虚拟染色图像的系统和方法。根据本发明的一个方面，一种方法包括访问包括多个图像对的图像训练数据集。每一个图像对包括未染色的第一组织样本的第一图像，以及当第一组织样本被染色时获取的第二图像。该方法还包括访问人工神经网络的参数集，其中，该参数集包括与人工神经网络内的人工神经元相关联的权重；通过使用图像训练数据集和参数集来训练人工神经网络以调整权重；访问未染色的第二组织样本的第三图像；使用训练后的人工神经网络从第三图像生成第二组织样本的虚拟染色图像；以及输出虚拟染色图像。

Description

生成未染色样本的虚拟染色图像

相关申请的交叉引用

根据35U.S.C.§119，本申请要求于2017年12月15日提交的美国临时专利申请第62/599,271号的优先权，出于所有目的，该申请的内容通过引用整体并入本文。

背景技术

组织学中可以使用各种染色剂以在显微镜下研究细胞和组织。因为生物组织在显微镜下几乎没有对比度，所以通常使用染色剂来提供对比度并突出感兴趣的特定特征。染色剂允许病理学家对亚细胞成分进行成像，并且区分不同的细胞类型和组织元素。例如，至少一个世纪以来，苏木素和伊红(hematoxylin and eosin，H&E)一直是用于诊断各种疾病的黄金标准。苏木素是结合到嗜碱性物质的深蓝色或紫色染色剂，而伊红是结合到嗜酸性物质的红色或粉红色染色剂。H&E将细胞核染成紫色并且将细胞质染成粉红色。

为了制备用于分析的生物样本，样本一般被固定、脱水、包埋在石蜡中、切片、染色并安装在显微镜载玻片上。然而，这种样本制备可能花费一天才能完成。石蜡包埋样本的染色一般需要30分钟，并且冷冻样本的染色一般需要15分钟。这阻碍了手术室的实时评估和即时反馈，在手术室里时间是至关重要的。此外，染色不能为组织的进一步系统分析提供详细的分子信息，并且染色过程可能会损害生物分子，诸如蛋白质和核糖核酸(RNA)。

一种方法使用受激拉曼散射显微术(stimulated Raman scatteringmicroscopy)的双通道成像来生成H&E染色的虚拟图像。然而，这种方法需要复杂的激光系统，其包括脉冲光纤激光器，并且是基于低速操作的点扫描系统。其他方法使用各种显微镜技术，诸如单通道落射荧光多光子显微镜(single-channel epi-fluorescencemultiphoton microscopy)或单通道荧光共焦显微镜(single-channel fluorescenceconfocal microscopy)，以生成H&E染色的虚拟图像。然而，这些方法要求样本用不同的染料，诸如4',6-二脒基-2-苯基吲哚(4',6-diamidino-2-phenylindole，DAPI)或吖啶橙染色。

发明内容

本发明的示例性实施例提供了用于生成未染色样本的虚拟染色图像的系统和方法。根据本发明的一个方面，一种计算机实施的方法包括访问包括多个图像对的图像训练数据集。多个图像对中的每一个图像对包括当第一组织样本未染色时获取的第一组织样本的第一图像，以及当第一组织样本被染色时获取的第一组织样本的第二图像。第一图像包括第一组织样本的第一多个光谱图像。第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据。第二图像包括多种颜色，对于第二图像内的多个位置中的每一个位置，多种颜色指示至少一种染色剂结合到第一组织样本的程度。

该方法还包括访问人工神经网络的参数集。该参数集包括与人工神经网络内的人工神经元相关联的权重。通过使用图像训练数据集和参数集来训练人工神经网络，以调整权重。访问未染色的第二组织样本的第三图像。第三图像包括第二组织样本的第三多个光谱图像，并且第三多个光谱图像中的每一个光谱图像包括来自不同波长带的数据。训练后的人工神经网络用于从第三图像生成第二组织样本的虚拟染色图像，并且输出虚拟染色图像。

该方法还可以包括，对于多个图像对中的每一个图像对，将第一图像与第二图像空间配准，使得第一图像中的每一个像素与第二图像中位于相同空间坐标处的相应像素相关。将第一图像与第二图像空间配准可以包括通过最大化互信息来使用仿射变换。

训练人工神经网络可以包括使用第一图像作为特征和使用第二图像作为标记。人工神经网络的输出层可以包括三个人工神经元，所述三个人工神经元分别预测虚拟染色图像的红色通道、蓝色通道和绿色通道。人工神经网络可以是卷积神经网络，并且训练人工神经网络可以包括识别第一图像和第二图像内的点、边缘、连接元素和/或属性之间的相关性。

第二组织样本可以包括与第一组织样本的组织类型相同的组织类型。

根据本发明的另一方面，提供了一种系统，该系统包括一个或多个数据处理器和包含指令的非暂时性计算机可读存储介质，当在一个或多个数据处理器上运行指令时，使得一个或多个数据处理器执行上面讨论的动作。根据本发明的又一方面，提供了一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品。该计算机程序产品包括被配置为使一个或多个数据处理器执行上面讨论的动作的指令。

当结合附图考虑时，根据本发明的以下详细描述，本发明的其他目的、优点和新颖特征将变得显而易见。

附图说明

结合以下附图描述本公开：

图1示出了根据本发明示例性实施例的用于生成未染色样本的虚拟染色图像的系统的框图；

图2示出了根据本发明示例性实施例的用于生成未染色样本的虚拟染色图像的方法的流程图；

图3(a)示出了被配置为在高光谱模式下操作的显微镜的示意图；

图3(b)示出了被配置为在彩色成像模式下操作的显微镜的示意图；

图4(a)示出了在高光谱模式下获取的未染色样本的图像；

图4(b)示出了在彩色成像模式下获取的染色样本的图像；

图5示出了人工神经网络的结构的示例；

图6示出了在训练人工神经网络时高光谱图像被用作特征并且彩色图像被用作标记的示例；

图7(a)示出了用H&E染色的前列腺组织样本的彩色图像的示例；

图7(b)示出了图7(a)所示的前列腺组织样本的高光谱图像的示例；

图8(a)示出了肝组织样本的虚拟染色图像的示例；以及

图8(b)示出了肝组织样本的彩色图像的示例。

具体实施方式

图1示出了根据本发明示例性实施例的用于生成未染色(unstained)样本的虚拟染色图像的系统100的框图。如图1所示，系统100包括机器学习图像处理系统105和成像系统135。机器学习图像处理系统105可以包括一个或多个计算机，每一个计算机可以包括一个或多个处理器和/或用于与成像系统135进行通信的收发器。机器学习图像处理系统105可以通过任何合适的连接(诸如，有线网络或基于蓝牙或WiFi的无线网络)与成像系统135通信。可替换地，机器学习图像处理系统105和成像系统135可以共位于(co-locate)显微镜内。

机器学习图像处理系统105可以包括图像训练数据存储设备110、参数数据存储设备115、图像样本数据存储设备140和人工神经网络130。可替换地，这些组件中的一些或全部可以远程地位于诸如云中。此外，这些组件中的一些或全部可以位于成像系统135内。图像训练数据存储设备110可以包括未染色的第一组织样本的多个图像120，以及第一组织样本在其被染色后的多个图像125。图像120中的每一个包括未染色的第一组织样本的多个光谱图像，而图像125中的每一个包括多种颜色，对于图像内多个位置中的每一个位置，这些颜色指示在该位置处至少一种染色剂(stain)结合到第一组织样本的程度。参数数据存储设备115可以包括表征人工神经网络130的一组参数。如下文进一步详细描述的，图像120、图像125和参数可用于训练人工神经网络130。一旦人工神经网络130已被训练，人工神经网络130可以从存储在图像样本数据存储设备140中的图像生成虚拟染色图像，其中存储在图像样本数据存储设备140中的图像中的每一个包括未染色的第二组织样本的多个光谱图像。

第一组织样本可以通过多种方法染色。例如，第一组织样本可以用结构染色剂(诸如H&E或三色染色剂(Trichrome))染色。可替换地，第一组织样本可以用分子染色剂(诸如CD68IHC或CD163IF)染色。可以用于对第一组织样本染色的分子染色方法的一些示例包括免疫组化(immunohistochemistry，IHC)、免疫荧光(immunofluorescence，IF)、原位杂交(in situ hybridization，ISH)、荧光原位杂交(fluorescent in situ hybridization，FISH)和RNA(f)ISH。作为附加示例，第一组织样本可以用吉姆萨(Giemsa)染色剂或天狼猩红(Picrosirius red)进行染色。

成像系统135可以是显微镜。如下面进一步详细讨论的，成像系统135可以在各种模式下操作，以便获取样本的不同图像。例如，成像系统135可以用于获取存储在图像训练数据存储设备110中的图像120和图像125。此外，成像系统135可用于获取存储在图像样本数据存储设备140中的图像。

系统100还可以包括经由网络160与机器学习图像处理系统105通信的计算机150。计算机150还可以与独立(standalone)成像系统137通信，该独立成像系统137可以执行与上面讨论的成像系统135类似的功能。计算机可以直接从成像系统137访问图像120和图像125，或者经由网络160从图像训练数据存储设备110或可能位于云中的另一图像训练数据存储设备111访问图像120和图像125。此外，计算机可以经由网络160从图像样本数据存储设备140或可能位于云中的另一图像样本数据存储设备141访问图像。此外，系统100可以包括成像系统136，该成像系统136可以是智能显微镜，并且可以执行与上面讨论的成像系统135类似的功能。

图2示出了根据本发明示例性实施例的用于生成未染色样本的虚拟染色图像的方法200的流程图。在框205处，访问图像训练数据集。例如，可以从图像训练数据存储设备110或图像训练数据存储设备111访问图像训练数据集。图像训练数据集包括多个图像对，每一个图像对包括未染色的第一组织样本的第一图像120和染色后的第一组织样本的第二图像125。如下面进一步详细讨论的，第一图像120和第二图像125可以被空间配准(spatiallyregistered)。

如图2所示，在框210处，可以访问人工神经网络130的参数集。例如，可以从参数数据存储设备115访问参数集。参数集包括与人工神经网络130内的人工神经元相关联的权重。权重可以设置为各种初始值。可以使用各种合适的人工神经网络130，诸如U-Net或Seeing More Net。人工神经网络130可以是卷积的和/或密集的。例如，密集预测神经网络(预测图像中每一个像素的标记的网络)可以用作人工神经网络130。

然后，在框215处，可以通过使用图像训练数据集和参数集来训练人工神经网络130，以调整与人工神经网络130内的人工神经元相关联的一些或所有参数，包括参数集内的权重。例如，可以调整权重以减小或最小化人工神经网络130的损失函数。可以用来调整权重的一些方法包括梯度下降法、牛顿法、共轭梯度法、拟牛顿法和列文伯格-马夸特(Levenberg-Marquardt)算法。

各种机器学习技术可以用于训练人工神经网络130。一些实施例可以使用监督训练方法来训练人工神经网络。例如，人工神经网络130可以包括卷积神经网络，并且可以通过识别图像120和图像125内的点、边缘、连接元素和/或属性之间的相关性来训练人工神经网络130。在卷积神经网络中，核可以用于在二维空域中执行卷积，以提取将用作后续层的输入的空间特征。可替换地，可以诸如从样本的连续部分，使用图像z-stack来执行三维预测。此外，可以使用其他人工神经网络架构。例如，可以合并相邻波形以形成特征向量。具体地，对于每一个像素位置，该像素位置处的波形和来自相邻位置的波形可以堆叠在一起。此外，在多尺度人工神经网络中，图像可以在空域中被下采样成一系列更小的图像。可以为每一个图像训练人工神经网络，并且可以将输出馈送到主层(master layer)以生成最终输出。另外，一些实施例可以使用非线性逻辑回归训练方法来训练人工神经网络。

如图2所示，一旦人工神经网络130已经被训练，训练后的人工神经网络130可以用于生成第二未染色组织样本的虚拟染色图像。第二组织样本可以包括与用于训练人工神经网络130的第一组织样本相同的组织类型。可替换地，第二组织样本可以包括与用于训练人工神经网络130的第一组织样本不同的组织类型。第二组织样本可以包括与用于训练人工神经网络130的第一组织样本相同或不同的健康状态，诸如该组织是健康的还是患有各种类型的疾病和/或疾病的严重程度。在框220处，可以访问未染色的第二组织样本的图像。该图像包括未染色的第二组织样本的多个光谱图像。例如，可以从图像样本数据存储设备140或图像样本数据存储设备141访问图像。然后，在框225处，训练后的人工神经网络130使用该图像生成第二组织样本的虚拟染色图像。虚拟染色图像可以基于在训练期间调整的人工神经网络130的参数来生成。然后，在框230处，可以输出虚拟染色图像。例如，虚拟染色图像可以被传输、存储和/或显示在各种设备上。

可以通过各种方法进一步处理虚拟染色图像。例如，可以将虚拟染色图像中的肿瘤细胞与正常细胞区分开。此外，虚拟染色图像中的肿瘤细胞可以被计数和/或标记。另外，可以处理虚拟染色图像以建议患者疾病的诊断和/或等级。例如，可以基于虚拟染色图像来估计不同诊断的概率。

在一个示例中，可以通过在高光谱模式下使用显微镜来获取高光谱图像，并且在彩色成像模式下使用显微镜来获取彩色图像，以生成图像训练数据集。高光谱图像包括多个光谱图像，每一个光谱图像都是二维空间图像，其包括来自不同波长带的数据。例如，高光谱图像可以包括数十或数百个光谱图像，其具有在10nm和20nm之间的带宽，或者小于10nm的带宽，诸如在1nm和6nm之间。高光谱图像可以经由不同的激发波长和/或发射波长来生成。光谱图像可以被组合以形成三维(x，y，λ)高光谱数据立方体，以用于处理和分析，其中x和y表示两个空间维度，并且λ表示光谱维度。彩色图像通常包括三种颜色，诸如红色、绿色和蓝色。可替换地，可以生成具有灰色阴影的灰度图像来代替彩色图像。作为又一个示例，彩色图像可以包括来自用多种染料进行染色的样本的多种颜色。彩色图像中的颜色数量不限于三种，并且可以包括三种以上的颜色。

当在高光谱模式下操作时，显微镜可以同时从样本采集光谱分辨(spectrallyresolved)的自发荧光图像。自发荧光是指生物结构(诸如线粒体和溶酶体)在吸收其他波长的光后，自然发射不同波长的光。与通过其他方式(modality)获取的图像(诸如明场成像)相比，高光谱自发荧光图像携带关于样本内分子的信息。具体地，如以下示例所示，高光谱自发荧光图像携带足够的分子信息，以用于模拟各种类型的染色，诸如H&E染色、CD68IHC染色和CD163IF染色。可替换地，显微镜可以从样本采集光谱分辨的自发或受激拉曼发射。作为另一示例，显微镜可以从样本采集光谱分辨的多光子发射。附加示例包括高光谱反射或吸收、多光子荧光、二次谐波产生(second harmonic generation，SHG)和三次谐波产生(third harmonic generation，THG)。更一般地，显微镜可以从样本采集各种类型的光谱分辨的本征信号。光谱分辨信号包括波长的部分或波长范围。本征信号由样本生成，并且可以包括自发或受激发射。

在另一示例中，可以通过在多光谱模式下使用显微镜来获取多光谱图像，并且在彩色成像模式下使用显微镜来获取彩色图像，以生成图像训练数据集。多光谱图像包括多个光谱图像，每一个光谱图像都是二维空间图像，其包括来自不同波长带的数据。例如，高光谱图像可以包括带宽在50nm和150nm之间的3到15个光谱图像。多光谱图像可以经由不同的激发波长和/或发射波长生成。光谱图像可以被组合以形成三维(x，y，λ)多光谱数据立方体，以用于处理和分析，其中x和y表示两个空间维度，并且λ表示光谱维度。显微镜可以具有多个光谱通道，这些光谱通道被顺序用于生成多光谱图像。表1中示出了可以用于获取多光谱图像的参数的示例。

图3(a)示出了被配置为在高光谱模式下操作的显微镜的示意图，并且图3(b)示出了被配置为在彩色成像模式下操作的显微镜的示意图。在每一个图中，光的路径用虚线示出。图3(a)中所示显微镜的各种部件和操作的更详细描述可以在2017年5月27日提交的美国申请第15/607,457号和2017年5月27日提交的美国申请第15/607,455号中找到。出于所有目的，这些申请中的每一个都通过引用整体合并于此。如图3(a)所示，在高光谱模式下，光源301，诸如激光器或发光二极管(light emitting diode，LED)，以合适波长(诸如405nm)发射激发光340。在其他实施例中，可以使用来自单个光源301或多个光源301的多个波长。激发光340被透镜320准直，并且穿过激光线滤光器302，激光线滤光器302透射光源301发射的(多个)波长的光。然后，激发光340入射到数字微镜器件(digital micromirrordevice，DMD)303上，数字微镜器件303可以通过选择性地致动或切换DMD 303的微镜来调制激发光340的相位或幅度，以构造激发光340。DMD 303的至少一部分微镜将激发光340反射向透镜321和滤光器331。作为DMD 303的替换，可以使用另一种合适的空间光调制器。例如，可以使用柱面透镜，作为单个元件，或者作为阵列。作为其他示例，可以使用扫描小透镜阵列或反射组件。然后，诸如分色镜的分束器304将激发光340反射向显微镜物镜305，该显微镜物镜305将激发光340聚焦在样本306上。

入射到样本306上的激发光340使得样本306内的生物结构发射自发荧光的光(autofluorescence light)341。显微镜物镜305采集和/或准直自发荧光的光341。然后，自发荧光的光341穿过分束器304、滤光器332和透镜322，之后被反射镜307反射。分束器304阻止激发光340进入检测系统。然后，自发荧光的光341被一对双Amici(阿米西)棱镜308和318色散，被透镜323聚焦，以及被相机310成像。一对双Amici棱镜308和318的更详细描述可以在2017年4月6日提交的美国申请第15/481,385号中找到。出于所有目的，该申请通过引用整体合并于此。通过对准双Amici棱镜308和318，使得双Amici棱镜308和318之间围绕光轴的旋转角度为0°，可以最大化光的色散。在其他实施例中，可以使用各种色散元件来代替双Amici棱镜308和318，诸如光栅或詹森(Jansen)棱镜。例如，相机310可以是二维成像设备，诸如使用混合电荷耦合器件(charge-coupled device，CCD)和互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)架构的sCMOS相机。在一个示例中，可以将CMOS读出集成电路(ROIC)凸点键合到CCD成像结构。在另一个示例中，类似CCD的结构可以用CMOS技术实施。在图3(a)所示的高光谱模式下，滤色器309从光束路径中移除。可以通过使用不同的滤波器按顺序测量光谱。

一旦未染色样本306的第一图像120已经在图3(a)所示的高光谱成像模式下被采集，样本306可以用合适的染料(诸如H&E)染色并且显微镜可以如下所述被修改以在图3(b)所示的彩色成像模式下操作。如图3(b)所示，来自LED 312的白光342通过高数值孔径聚光透镜311聚焦在样本306上。例如，LED可以具有大约3000K的色温，并且高数值孔径聚光透镜311可以具有大约0.7的数值孔径。然后，白光342穿过显微镜物镜305、分束器304、滤光器332和透镜322，之后被反射镜307反射。在彩色成像模式下，一对双Amici棱镜308和318可以被设置为零色散或最小色散。例如，双Amici棱镜中的一个308可以相对于另一个双Amici棱镜318绕光轴旋转180°。然后，可以包括三个独立滤色器的滤色器309用于将红色、蓝色和绿色通道按顺序传输到相机310。在彩色成像模式下获取的每一个图像125指示作为样本306的空间位置的函数的、染色剂结合到该样本306的程度。每一个空间位置包括红色、蓝色和绿色分量。如上所讨论的，尽管图3(b)被描述为生成彩色图像的彩色成像模式，但是类似的技术也可以用于生成灰度图像。

图4(a)和4(b)示出了通过上面讨论的方法获取的福尔马林固定的石蜡包埋(formalin-fixed,paraffin-embedded，FFPE)前列腺组织样本的图像对的示例。图4(a)是在高光谱模式下获取的未染色样本的图像120，而图4(b)是在样本被H&E染色之后在彩色成像模式下获取的相同样本的图像125。对于每一个图像对，图像120和图像125可以被空间配准，以使得图像120中的每一个像素与图像125中的相应像素相关联，和/或图像125中的每一个像素与图像120中的相应像素相关联。

为了空间配准图像120和图像125，可以在染色之前和之后将样本306安装在显微镜内的相同载玻片托架(slide holder)上。在该示例中，因为在高光谱模式和彩色成像模式下使用相同的显微镜物镜305和相机310，所以图像对内的图像120和图像125之间的任何配准误差被最小化。通过将图像中的一个相对于另一个图像移位，可以校正在样本被染色之前和之后在样本位置中可能发生的机械移位。此外，图像125可以通过合适的因子进行缩放，所述因子诸如在0.5和1.5之间的范围内，以解释DMD 303和相机310之间的像素大小差异。图像120可以被旋转合适的量，诸如在0到180度之间的范围内，以确保准确的平铺(tiling)对准。缩放因子和旋转因子可以基于成像系统的特性或者通过图像处理分析来确定。此外，图像125可以被转置(transpose)以确保准确的平铺取向。然后，通过最大化互信息，通过使用仿射变换(诸如通过使用

中的imregtform函数)图像125可以被配准到对应的图像120。作为最大化互信息的替代，可以使用互相关，并且可以过滤互相关。可以使用各种替代方法来将图像125配准到对应的图像120。例如，图像125可以与对应的图像120全局对准，并且然后图像125可以与对应的图像120局部对准，诸如通过弹性变换、相似度匹配和/或刚性变换。可以使用多个局部仿射(affine)。可替换地，可以使用非刚性变换，诸如全局或局部扭曲。作为另一个示例，可以使用B样条(B-spline)插值。

图5示出了人工神经网络130的结构的示例。在该示例中，输入层510包括与每一个图像120中的光谱通道的数量相对应的多个维度，每一个光谱通道具有不同的波长带。例如，对于图像120中的每一个空间像素，输入层510可以包括与400nm和800nm之间的140个光谱通道相对应的140个维度。这种精细的光谱分辨率可以用于生成高质量的虚拟染色图像，因为不同的组织元素，诸如基质、细胞核和细胞质，在它们的光谱轮廓(spectral profile)和/或形状上具有细微的差异。

如图5所示，人工神经网络130还包括隐藏层520和隐藏层530。隐藏层520和隐藏层530中的每一个包括多个人工神经元。尽管示出了两个隐藏层，但是人工神经网络130可以包括各种数量的隐藏层。人工神经网络130还包括输出层540，输出层540可以包括用于独立预测红色值、绿色值和蓝色值的三个人工神经元。可替换地，输出预测可以包括基础信号(underlying signal)，其可被进一步选择、混合、调整并着色为红色值、绿色值和蓝色值。在另一个示例中，每一个输出神经元可以代表一种类型的染料分子的浓度。可以使用任何合适数量的输出神经元。例如，每一个输出神经元可以与来自苏木素(hematoxylin)、伊红(eosin)、CD68和/或另一种类型的染料分子的染色信号相对应。输出层540可以包括合适数量的人工神经元，以预测对应数量的颜色。每一层中人工神经元的数量可以变化以产出最佳结果。在一个示例中，输入层510包括140个人工神经元，第一隐藏层520包括70个人工神经元，第二隐藏层530包括35个人工神经元，以及输出层540包括3个人工神经元。如上所讨论，在人工神经网络130的训练期间，调整人工神经网络130的参数，该参数包括隐藏层520和隐藏层530内的神经元之间的连接的权重。

图6示出了在训练人工神经网络130时，高光谱图像被用作特征并且彩色图像被用作标记的示例。如图6所示，从高光谱图像610中提取多个256×256的补片(patch)620，并且每一个补片620用于创建更小的同心补片(128×128、64×64、32×32、16×16和8×8)。可以使用伪随机选择技术来识别补片620。每一个补片620经过多个卷积和最大池化层，直到它达到8×8的大小为止。在该示例中，具有步幅大小为1的两个连续的24 3×3核被用来执行来自前一层的卷积，并且具有步幅大小为2的2×2最大池化被应用来在每一层上将图像大小缩小2倍，直到图像大小达到8×8为止。为了对准空间特征并保持放大，所有最大池化的补片然后被向上调整大小(即最近邻插值)回到其原始大小，并围绕中心进行裁剪，以将每一个补片的大小缩小两倍。相同大小的补片在层之间被连结(concatenate)，使得特征维度被合并，如对角箭头所示。最后的8×8×n(n～500)层被连接到具有8×8×128＝8192个神经元的全连接(fully connected，FC)层630，并且然后被缩小为具有8×8×3＝252个神经元的FC层640，其被用于预测共同配准的彩色图像650中的8×8个像素的RGB值。

图7(a)示出了用H&E染色的前列腺组织样本的彩色图像的示例。图7(b)示出了同一前列腺组织样本的高光谱图像的示例。通过使用图7(b)中图像的训练区域1和训练区域2中的像素来训练人工神经网络130。然后，训练后的人工神经网络130被用于在图7(b)所示的高光谱图像的区域720内生成虚拟染色图像。图7(b)的区域720与图7(a)的对应区域710的比较示出了虚拟染色的图像非常像用H&E染色的样本的彩色图像

图8(a)示出了通过上面讨论的方法生成的肝组织样本的虚拟染色图像的示例。图8(b)示出了经由IHC用CD68染色的肝组织样本的彩色图像的示例。图8(a)与图8(b)的比较示出了虚拟染色图像非常像样本的彩色图像。

除了如上所讨论的训练人工神经网络130来预测组织样本的染色之外，本发明的示例性实施例可以使用沉积或培养在载玻片、培养皿或孔上的完整细胞来训练人工神经网络130。这提供了大量细胞群(诸如混合外周血单核细胞(mixed peripheral bloodmononuclear cell，PBMC)、来自细胞系的个体表型和诱导性多能干细胞(inducedpluripotent stem cell，iPSC))的表型预测。此外，感兴趣的细胞群可以被包埋到微阵列中并成像，以为人工神经网络130提供图像训练数据集。本发明的示例性实施例还可以提供血液涂片中细胞群的检测和测量。

在一些实施例中，可以使用具有不同特性的组织来训练多个人工神经网络，其中该不同特性可以由不同类型的组织、不同的样本制备方法和/或不同的样本源产生。例如，可以使用前列腺组织来训练第一人工神经网络，并且可以使用结肠组织来训练第二人工神经网络。在该示例中，包括前列腺组织的样本会由第一人工神经网络分析，并且包括结肠组织的样本会由第二人工神经网络分析。可替换地，可以使用具有不同特性的组织来训练单个人工神经网络，其中该不同特性可以由不同类型的组织、不同的样本制备方法和/或不同的样本源产生。在该示例中，包括前列腺组织或结肠组织的样本会由单个人工神经网络分析。单个人工神经网络的维数会被增加以包括足够数量的训练参数。

本发明的示例性实施例可以提供几个优点。例如，因为样本没有被染色，所以样本可以被保存并且不会被染色过程损坏。另外，因为样本不需要用于成像的盖玻片，所以样本可以直接用于下游分析，诸如用于个性化医学应用的蛋白质组学和转录组学。可以实时评估样本，并且可以在手术时制备样本。此外，样本的生物结构组织可以直接链接至内生的荧光团，这可以增加传统病理学的价值。另外，光谱信号和形态特征可以用于推断组织中基础的分子特征(signature)。

在以上描述中给出了具体细节，以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，可以以框图示出电路，以便不会以不必要的细节模糊实施例。在其他情况下，为了避免模糊实施例，可以在没有不必要的细节的情况下示出众所周知的电路、过程、算法、结构和技术。

上述技术、框、步骤和手段的实施方式可以以各种方式完成。例如，这些技术、框、步骤和手段可以用硬件、软件或它们的组合来实施。对于硬件实施方式，处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计成执行上述功能的其他电子单元和/或它们的组合内实施。

此外，注意，实施例可以被描述为被描绘为流程图、流图、数据流图、结构图或框图的过程。虽然流程图可以将操作描述为顺序过程，但是许多操作可以并行或同时执行。另外，操作的次序可以重新安排。当过程的操作完成时，该过程终止，但是该过程可能具有图中未包括的附加步骤。过程可以对应于方法、函数、进程、子例程、子程序等。当过程对应于函数时，它的终止对应于该函数返回到调用函数或主函数。

此外，实施例可以通过硬件、软件、脚本语言、固件、中间件、微码、硬件描述语言和/或其任意组合来实施。当以软件、固件、中间件、脚本语言和/或微码实施时，用于执行必要任务的程序代码或代码段可以存储在机器可读介质(诸如存储介质)中。代码段或机器可执行指令可以表示进程、函数、子程序、程序、例程、子例程、模块、软件包、脚本、类或指令、数据结构和/或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数和/或存储器内容，代码段可以联接到另一个代码段或硬件电路。可以经由任何合适的手段(包括存储器共享、消息传递、票据传递、网络传输等)传递、转发或传输信息、自变量、参数、数据等。

对于固件和/或软件实施方式，方法可以用执行本文描述的功能的模块(例如，进程、函数等)来实施。任何有形地体现指令的机器可读介质都可以用于实施本文描述的方法。例如，软件代码可以存储在存储器中。存储器可以在处理器内部或处理器外部实施。本文使用的术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其他存储介质，并且不限于任何特定类型的存储器或数量的存储器，或者其上存储存储器的介质类型。

此外，如本文所公开的，术语“存储介质”可以表示用于存储数据的一个或多个存储器，包括只读存储器(ROM)、随机存取存储器(RAM)、磁性RAM、核心存储器、磁盘存储介质、光存储介质、闪存设备和/或用于存储信息的其他机器可读介质。术语“机器可读介质”包括但不限于便携式或固定存储设备、光学存储设备、无线信道和/或能够存储包含或携带(多个)指令和/或数据的各种其他存储介质。

虽然上面已经结合具体的装置和方法描述了本公开的原理，但是应该清楚地理解，该描述仅是以示例的方式做出，而不是作为对本公开范围的限制。

Claims

1.一种计算机实施的方法，包括：

访问包括多个图像对的图像训练数据集，其中：

所述多个图像对中的每一个图像对包括当第一组织样本未染色时获取的所述第一组织样本的第一图像，以及当所述第一组织样本被染色时获取的所述第一组织样本的第二图像；

所述第一图像包括所述第一组织样本的第一多个光谱图像，并且所述第一多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；以及

所述第二图像包括多种颜色，对于所述第二图像内的多个位置中的每一个位置，所述多种颜色指示在所述位置处至少一种染色剂结合到所述第一组织样本的程度；

访问人工神经网络的参数集，其中，所述参数集包括与所述人工神经网络内的人工神经元相关联的权重；

通过使用所述图像训练数据集和所述参数集来训练所述人工神经网络以调整所述权重；

访问未染色的第二组织样本的第三图像，其中，所述第三图像包括所述第二组织样本的第三多个光谱图像，并且所述第三多个光谱图像中的每一个光谱图像包括来自不同波长带的数据；

使用训练后的人工神经网络以从所述第三图像生成所述第二组织样本的虚拟染色图像；以及

输出所述虚拟染色图像。

2.根据权利要求1所述的计算机实施的方法，还包括，对于所述多个图像对中的每一个图像对，将所述第一图像与所述第二图像空间配准，使得所述第一图像中的每一个像素与所述第二图像中位于相同空间坐标处的相应像素相关。

3.根据权利要求2所述的计算机实施的方法，其中，将所述第一图像与所述第二图像空间配准包括通过最大化互信息来使用仿射变换。

4.根据权利要求1-3中任一项所述的计算机实施的方法，其中，训练所述人工神经网络包括使用所述第一图像作为特征和使用所述第二图像作为标记。

5.根据权利要求1-4中任一项所述的计算机实施的方法，其中，所述人工神经网络的输出层包括三个人工神经元，所述三个人工神经元分别预测所述虚拟染色图像的红色通道、蓝色通道和绿色通道。

6.根据权利要求1-5中任一项所述的计算机实施的方法，其中，所述人工神经网络是卷积神经网络，并且训练所述人工神经网络包括识别所述第一图像和所述第二图像内的点、边缘、连接元素或属性之间的相关性中的至少一个。

7.根据权利要求1-6中任一项所述的计算机实施的方法，其中，所述第二组织样本包括与所述第一组织样本的组织类型相同的组织类型。

8.一种系统，包括：

一个或多个数据处理器；以及

包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上运行时，使所述一个或多个数据处理器执行动作，所述动作包括：

访问包括多个图像对的图像训练数据集，其中：

输出所述虚拟染色图像。

9.根据权利要求8所述的系统，其中，所述动作还包括，对于所述多个图像对中的每一个图像对，将所述第一图像与所述第二图像空间配准，使得所述第一图像中的每一个像素与所述第二图像中位于相同空间坐标处的相应像素相关。

10.根据权利要求9所述的系统，其中，将所述第一图像与所述第二图像空间配准包括通过最大化互信息来使用仿射变换。

11.根据权利要求8-10中任一项所述的系统，其中，训练所述人工神经网络包括使用所述第一图像作为特征和使用所述第二图像作为标记。

12.根据权利要求8-11中任一项所述的系统，其中，所述人工神经网络的输出层包括三个人工神经元，所述三个人工神经元分别预测所述虚拟染色图像的红色通道、蓝色通道和绿色通道。

13.根据权利要求8-12中任一项所述的系统，其中，所述人工神经网络是卷积神经网络，并且训练所述人工神经网络包括识别所述第一图像和所述第二图像内的点、边缘、连接元素或属性之间的相关性中的至少一个。

14.根据权利要求8-13中任一项所述的系统，其中，所述第二组织样本包括与所述第一组织样本的组织类型相同的组织类型。

15.一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，包括被配置为使一个或多个数据处理器执行动作的指令，所述动作包括：

访问包括多个图像对的图像训练数据集，其中：

输出所述虚拟染色图像。

16.根据权利要求15所述的计算机程序产品，其中，所述动作还包括，对于所述多个图像对中的每一个图像对，将所述第一图像与所述第二图像空间配准，使得所述第一图像中的每一个像素与所述第二图像中位于相同空间坐标处的相应像素相关。

17.根据权利要求16所述的计算机程序产品，其中，将所述第一图像与所述第二图像空间配准包括通过最大化互信息来使用仿射变换。

18.根据权利要求15-17中任一项所述的计算机程序产品，其中，训练所述人工神经网络包括使用所述第一图像作为特征和使用所述第二图像作为标记。

19.根据权利要求15-18中任一项所述的计算机程序产品，其中，所述人工神经网络的输出层包括三个人工神经元，所述三个人工神经元分别预测所述虚拟染色图像的红色通道、蓝色通道和绿色通道。

20.根据权利要求15-19中任一项所述的计算机程序产品，其中，所述人工神经网络是卷积神经网络，并且训练所述人工神经网络包括识别所述第一图像和所述第二图像内的点、边缘、连接元素或属性之间的相关性中的至少一个。