CN111954805A

CN111954805A - 用于光学组织学图像的分析和远程解译的系统和方法

Info

Publication number: CN111954805A
Application number: CN201980024236.XA
Authority: CN
Inventors: 丹尼尔·奥林格; 巴拉吉·潘迪安; 克里斯蒂安·弗罗伊迪格; 托德·霍隆
Original assignee: University of Michigan; Invenio Imaging Inc
Current assignee: University of Michigan; Invenio Imaging Inc
Priority date: 2018-02-06
Filing date: 2019-02-06
Publication date: 2020-11-17
Also published as: JP2021513075A; EP3749956A1; US11756675B2; WO2019157078A1; EP3749956A4; JP7217893B2; US20210050094A1; CA3090672A1

Abstract

提出了用于分析和解译组织学图像的系统。该系统包括成像装置和诊断模块。成像装置在组织样本的光学切片处捕获组织样本的图像，其中组织样本的厚度大于光学切片的厚度。该系统还可以包括图像解译子系统，该图像解译子系统相对于成像装置远程定位并且被配置成从成像装置接收图像。诊断模块被配置成从成像装置接收组织样本的图像，并且通过向图像应用机器学习算法来生成对组织样本的诊断。诊断模块可以直接与成像装置对接或被远程定位于图像解译子系统处。

Description

用于光学组织学图像的分析和远程解译的系统和方法

相关申请的交叉引用

本申请要求于2018年2月6日提交的美国临时申请第62/627,033号的权益。以上申请的全部公开内容通过引用并入本文中。

技术领域

本公开内容涉及用于组织学图像的分析和远程解译的系统和方法，并且更特别地，涉及用于分析和解译组织的受激拉曼散射(SRS)图像的系统和方法。

背景技术

脑肿瘤的最佳手术治疗根据组织学亚型而广泛变化。尽管中枢神经系统(CNS)的一些肿瘤具有明显的肉眼观，但其他肿瘤很难区分。因此，超过85年以来，已经认识到术中组织病理学诊断在脑肿瘤术中的重要性。

包括冷冻切片和细胞学制备的现有术中组织学技术需要在手术病理学实验室工作的熟练技术人员和临床医生来制作和解译切片。然而，执行脑肿瘤手术的中心的数量超过了经资格验证的神经病理学家的数量，这在许多情况下消除了专家术中会诊的可能。即使在最先进、人员齐全的医院中，术中病理学报告所需的周转时间也可能会使手术期间的临床决策延迟。

受激拉曼散射(SRS)显微术提供了对未处理的组织标本进行快速、无标记、高分辨率的显微成像的可能。虽然已经表明SRS能揭示脑肿瘤标本中关键的诊断性组织学特征，但主要的技术障碍阻碍了SRS的临床转化。SRS显微术需要两个激光脉冲序列，它们在时间上交叠小于脉冲持续时间(即，<100fs)并且在空间上交叠小于焦斑大小(即，<100nm)。实现这些条件通常需要安装在光学台上的自由空间光学器件、以及不适合在临床环境中使用的现有技术的固态连续水冷却激光器。

因此，期望的是提供快速、标准化且准确的诊断图像以辅助手术决策的用于术中组织病理学的系统和方法。对术中组织学数据的改进的访问使得能够检查临床相关的肿瘤内组织学变化以及评估残余肿瘤的切除腔。此外，考虑到手术时去除的肿瘤的百分比是脑肿瘤患者的主要预后因素，期望开发出能够准确地识别任何残余肿瘤的术中技术。

本节提供了与本公开内容相关但不一定是现有技术的背景信息。

发明内容

本节提供本公开内容的总体概述，并且不是对其全部范围或其所有特征的全面公开。

提出了用于分析和解译组织学图像的系统。在一个实施方式中，该系统包括成像装置和诊断模块。成像装置在组织样本的光学切片处捕获组织样本的图像，其中组织样本的厚度大于光学切片的厚度。诊断模块被配置成从成像装置接收组织样本的图像，并且通过对图像应用机器学习算法来生成对组织样本的诊断。

在一些实施方式中，成像装置使用受激拉曼散射来生成组织样本的图像。例如，成像装置以2820cm^-1至2880cm^-1范围内的第一拉曼位移以及2920cm^-1至2980cm^-1范围内的第二拉曼位移对组织样本成像。成像装置还可以以2750cm^-1至2820cm^-1范围内的第三拉曼位移对组织样本成像。

更具体地，诊断模块使用神经网络(例如卷积神经网络)将组织样本划分成类。在一个实施方式中，诊断模块将组织样本划分成各种类，包括肿瘤组织类或非肿瘤组织类，其中，肿瘤组织类是具有肿瘤的组织样本，而非肿瘤组织类是没有肿瘤的组织样本。肿瘤组织类进一步包括手术子类和非手术子类，其中手术子类指示应当通过手术去除肿瘤，而非手术子类指示不应当通过手术去除肿瘤。非肿瘤组织类包括针对正常脑组织的子类和针对胶质增生组织的子类。手术子类包括针对胶质肿瘤的子类和针对非胶质肿瘤的子类。针对非胶质肿瘤的子类可以进一步包括针对神经鞘瘤的子类、针对脑膜瘤的子类、针对转移性肿瘤的子类、针对垂体瘤的子类和针对髓母细胞瘤的子类。针对胶质肿瘤的子类可以进一步包括针对胶质母细胞瘤的子类和针对低级别胶质瘤的子类。

在一些实例中，诊断模块将组织样本划分成类，其中包括针对不能被分类的图像的无诊断类。在这种情况下，可以利用被指定为不能被分类的图像来训练神经网络。

诊断模块还可以通过向所述图像应用第二方法来生成对组织样本的第二诊断，并且在第二诊断与来自机器学习算法的对组织样本的诊断不一致的情况下，将组织样本分类到无诊断类中，其中，第二方法不使用机器学习。在一个示例中，诊断模块通过确定细胞结构的定量测量来生成对组织样本的第二诊断。在其他情况下，诊断模块通过确定组织样本的细胞结构的定量测量来生成对组织样本的初级诊断。

在一些实施方式中，诊断模块将给定的组织样本图像分割成两个或更多个段，通过向段应用机器学习算法来生成对每个段的诊断，并且通过将对段的诊断进行聚合来生成对组织样本的诊断。对于每个段，诊断模块可以使用神经网络将组织样本分类成类别，由此产生针对每个类别的概率，并且将遍及这些类别的概率归一化为一。诊断模块可以通过省略对被分类在无诊断类中的段的诊断来生成对组织样本的诊断，其中，无诊断类指示给定段无法归类。对于给定图像，诊断模块还可以将任何非肿瘤组织类的概率设置为零并且将遍及这些类别的概率重新归一化为一，其中，非肿瘤组织类指示组织样本没有肿瘤。

在另一方面，该系统还包括图像解译子系统，该图像解译子系统被配置成从成像装置接收图像并且进行操作以显示组织样本的图像。通信模块可以与成像装置对接并且进行操作以将图像从成像装置传送至相对于成像装置远程定位的图像解译子系统。

在一些实施方式中，图像解译子系统包括诊断模块，该诊断模块被配置成接收组织样本的图像，并且通过对图像应用机器学习算法来生成对组织样本的诊断。在这些实施方式中，成像装置可以从至少两个不同的视场捕获组织样本的图像，并且图像解译子系统将这些图像组装成组织样本的一个组装图像并且显示该组装图像。诊断模块还通过应用机器学习算法来生成对从成像装置接收的每个图像的诊断，并且通过将对图像的诊断进行聚合来生成对组织样本的诊断。

在一个实施方式中，通信模块根据医学数字成像与通信(DICOM)通信协议来传送图像。

在其他实施方式中，该系统包括图片存档和通信系统(PACS)，其中，通信模块将图像传送至PACS以进行存储。

在另一些实施方式中，图像解译子系统经由第二通信链路将对组织样本的解译从图像解译子系统传送至成像装置。对组织样本的解译可以呈DICOM结构化报告的形式。

根据本文提供的描述，其他的应用领域将变得明显。该发明内容中的描述和具体示例旨在仅用于说明的目的，而不旨在限制本公开内容的范围。

附图说明

本文中描述的附图仅用于所选实施方式的说明性目的，而非针对所有可能的实现方式，并且不意在限制本公开内容的范围。

图1示出了根据本公开内容的某些方面的用于获得和分析光学组织学图像的示例性成像系统；

图2是示出被用作便携式临床兼容SRS成像系统的一部分的双波长光纤激光耦合显微镜的部件的功能框图。激光器图的上分支指示生成斯托克斯束(红色)的方案，而下分支生成泵浦束(橙色)。根据本公开内容的某些方面，两个束被组合(紫色)并且穿过标本，其中Er＝铒；HLNF＝高度非线性光纤；PD＝光电二极管；PPLN＝周期性极化铌酸锂；以及Yb＝镱；

图3a示出了根据本公开内容的某些方面的在进行噪声消除之前人体组织的原始2845cm^-1SRS图像；

图3b示出了根据本公开内容的某些方面的在进行基于平衡检测的噪声消除之后人体组织的原始2845cm^-1SRS图像；

图4a示出了根据本公开内容的某些方面的所获取的CH₂拉曼位移(2,845cm^-1)图像；

图4b示出了根据本公开内容的某些方面的所获取的CH₃拉曼位移(2,930cm^-1)图像；

图4c示出了根据本公开内容的某些方面的反映减法操作CH₃(即，图4b的图像)–CH₂(即，图4a的图像)的图像；

图4d示出了根据本公开内容的某些方面的将CH₂图像分配给绿色通道并且将CH₃-CH₂图像分配给蓝色通道以创建双色蓝绿图像；

图4e示出了根据本公开内容的某些方面的通过应用H&E查找表而生成的肿瘤切片的SRH图像；

图4f示出了根据本公开内容的某些方面的通过执行福尔马林固定、石蜡包埋(FFPE)和H&E着色而生成的与图4e中所绘图像类似的肿瘤切片的图像；

图4g示出了用于创建成像组织的拼接图的若干SRH视场(FOV)的拼接平铺图像。根据本公开内容的某些方面，星形指示微血管增生的病灶，虚线圆指示钙化，并且虚线框表明图4e中的FOV如何适配成较大的拼接图(比例尺＝100μm)；

图5a示出了根据本公开内容的某些方面的正常皮层，其显示了具有成角度的边界和脂褐质颗粒(呈红色)的分散的锥体神经元(蓝色箭头)以及白色线性结构，这些白色线性结构是轴突(绿色箭头)；

图5b示出了根据本公开内容的某些方面的胶质组织，其包含具有径向定向的富含精细蛋白质突起的反应性星形细胞(红色箭头)和轴突(绿色箭头)；

图5c示出了根据本公开内容的某些方面的在胶质母细胞瘤的边缘附近的巨噬细胞浸润，其显示了具有富含脂类的吞噬体的圆形肿胀细胞；

图5d示出了根据本公开内容的某些方面的SRH，其显示了在弥漫性1p19q共缺失的低级别少突胶质细胞瘤中的具有圆核、充足细胞质、核周晕(黄色箭头)和神经元卫星现象(紫色箭头)的分散的“煎蛋状”肿瘤细胞，其中在该肿瘤浸润皮层中也显现有轴突(绿色箭头)；

图5e示出了根据本公开内容的某些方面的SRH，其示出了胶质母细胞瘤(包括(小图)示出的大的双核肿瘤细胞)中的细胞过多(hypercellularity)、退行发育以及细胞和核多形性，与邻近的较小肿瘤细胞形成对照；

图5f示出了根据本公开内容的某些方面的另一胶质母细胞瘤的SRH，其显示了微血管增生(橙色箭头)，其中血管生成脉管系统的富含蛋白质的基底膜呈现紫色；

图5g示出了根据本公开内容的某些方面的SRH，其显示了脑膜瘤(黑色箭头)的螺纹构造；

图5h示出了根据本公开内容的某些方面的SRH，其显示了具有高的核:细胞质比的淋巴瘤的单形细胞；

图5i示出了根据本公开内容的某些方面的SRH，其显示了转移性结直肠腺癌的腺体构造(插图；灰色箭头)(大图像比例尺＝100μm；插图图像比例尺＝20μm)；

图6a根据本公开内容的某些方面示出了：(i)在左侧示出了患有低级别少突胶质瘤历史的患者的磁共振成像(MRI)图像，该患者被跟踪以得到先前的切除腔(红色圆圈)中的扩大的增强量(黄色箭头)和(ii)在右侧示出了切除组织的SRH成像，其揭示了在相同标本中，在一些区域(左列)中具有低级别少突胶质瘤构造的区域，在其他区域具有退行发育的病灶(右列)；

图6b根据本公开内容的某些方面示出了：(i)在左侧示出了患有疑似神经节胶质瘤的患者的MRI图像，神经节胶质瘤通常由神经元和神经胶质谱系的细胞组成，以及(ii)在右侧示出了SRH成像，其显示了在术前MRI上用绿色箭头指示的位置处的浅组织活检与更深的活检(蓝色箭头)之间的结构差异，在浅组织活检中，无组织的双核发育异常的神经元占优势(左列)，在更深的活检中，结构与细胞过多的神经胶质瘤更一致(右列)。示出了福尔马林固定、石蜡包埋(FFPE)、H&E染色的图像以进行对照；

图7a示出了根据本公开内容的某些方面的SRH图像(上行)和H&E图像(下行)，其示出了基于来自神经病理学家的回应而被判断为非病变(左列)的组织或病变(右列)的组织；

图7b示出了根据本公开内容的某些方面的SRH图像(上行)和H&E图像(下行)，其示出了基于来自神经病理学家的回应而被判断为胶质(左列)的组织或非胶质(右列)的组织；

图7c示出了根据本公开内容的某些方面的SRH图像(上行)和H&E图像(下行)，其示出了基于来自神经病理学家的回应而被判断为胶质母细胞瘤(左列)的组织或转移性癌(右列)的组织；

图8a示出了描绘具有由虚线(中心)指定的各个FOV的低级别胶质肿瘤诊断类的SRH拼接图。根据本公开内容的某些方面，以更高的比例描绘了四个单独FOV，在上方列出了所有四个类别的MLP诊断概率；

图8b示出了根据本公开内容的某些方面的叠加在SRH拼接图像上的概率热图，其指示四个诊断类别的拼接图像上的每个FOV的类成员的由MLP确定的概率。有色框对应于图8a中突出显示的FOV。

图9a示出了根据本公开内容的某些方面的经由MLP将病例分类为病变或非病变的热图描绘。绿色格指示正确的MLP预测，并且红色圆圈指示不正确的预测；

图9b示出了根据本公开内容的某些方面的经由MLP将病例分类为胶质或非胶质的热图描绘。绿色格指示正确的MLP预测，并且红色圆圈指示不正确的预测；

图9c示出了根据本公开内容的某些方面的来自30个神经外科病例(患者72至101)的测试集的MLP结果的概述。正确图块的部分由每个热图图块的色相和强度以及预测的诊断类别指示；

图10示出了根据本公开内容的某些方面的针对各种癌症类型的无标记、未处理的SRH图像(上行)与常规H&E染色的冷冻切片(下行)的对照；

图11示出了根据本公开内容的某些方面的常规组织学制备(左列)与受激拉曼组织学(右列)的比较；

图12示出了根据本公开内容的某些方面的实现SRH图像的双向传输和注解的网络架构；

图13是示出根据本公开内容的某些方面的用于使用合并的SRH和常规组织学图像执行诊断的方法的流程图；

图14是示出根据本公开内容的某些方面的缝合图像获取的图；以及

图15是示出根据本公开内容的某些方面的用于使用卷积神经网络(CNN)执行诊断的方法的流程图。

图16是描绘用于分析SRH图像的示例方法的流程图；

图17是描绘用于确定对条带的诊断的示例方法的流程图；

图18是进一步示出用于分析SRH图像的示例方法的图；以及

图19是描绘分类模型的示例类别集合的图。

在附图的若干视图中，对应的附图标记指示对应的部分。

具体实施方式

提供示例实施方式以使本公开内容将变得透彻并且将把本公开内容的范围充分地传达给本领域技术人员。阐述了许多具体细节，例如具体组成、部件、装置以及方法的示例，以提供对本公开内容的实施方式的透彻理解。对于本领域技术人员将明显的是，不需要采用具体细节，示例实施方式可以以许多不同的形式来体现并且示例实施方式也不应被解释为限制本公开内容的范围。在一些示例实施方式中，未详细描述公知的处理、公知的装置结构以及公知的技术。

遍及本公开内容，数值表示对范围的近似测量或限制，用以涵盖相对于给定值的细微偏差以及大约具有所提及的值的实施方式和正好具有所提及的值的实施方式。除了在具体实施方式的结尾处提供的工作示例中，包括所附权利要求书的本申请文件中的参数(例如，量或条件)的所有数值应当被理解为在所有实例中都由术语“约”来修饰，而不论“约”是否实际出现在数值之前。“约”指示所述数值允许一些轻微的不精确(以某种方式达到该值的准确性；近似地或合理地接近该值；几乎等于该值)。如果由“约”提供的不精确在本领域中无法被理解为该普通含义，则本文中所使用的“约”至少指示可能由测量和使用此类参数的普通方法引起的变化。例如，“约”可以包括以下变化：小于或等于5％、可选地小于或等于4％、可选地小于或等于3％、可选地小于或等于2％、可选地小于或等于1％、可选地小于或等于0.5％、以及在某些方面可选地小于或等于0.1％。

此外，范围的公开包括整个范围内的所有值和进一步划分的范围的公开，包括针对范围给出的端点和子范围。

现在将参照所附附图更全面地描述示例实施方式。

利用光纤激光技术的进步，本公开内容提出了一种临床SRS显微术，其允许在患者护理环境下执行SRS显微术检查。通过激光源的独特的偏振保持(PM)实现方式和光纤芯进行的光引导实现了操作室中的免维护操作。本文所述的系统还包括用于高相对强度噪声抑制(这是执行基于光纤激光器的SRS显微术的主要挑战之一)的改进的噪声消除电子设备。

本文所述的系统展示了，除其他事项外，SRS显微术可以作为传统组织学方法的有效、简化的替选，消除了将标本转移出操作室送往病理学实验室进行切片、封固(mount)、染色和解译的需要。此外，由于用于SRS显微术的组织制备是最低限度的，因此保留了在涂片制备中通常丢失的关键组织构造细节以及在冷冻切片中经常模糊不清的细胞学特征。此外，本公开内容提出了一种模拟苏木精和伊红(H&E)染色的SRS图像处理方法，该方法被称为受激拉曼组织学(SRH)，该方法突显出肿瘤(例如，脑肿瘤)的关键组织构造特征，并且实现与基于H&E的常规技术基本一致的诊断。此外，本公开内容描述了例如基于量化SRH图像属性的各种监督机器学习方法如何有效地区分脑肿瘤的诊断类别。因此，SRH可以为术中组织病理学提供一种自动化的标准化方法，其可以在未来被用于改进脑肿瘤的手术护理。

本公开内容的各方面描述了SRS图像在组织诊断中的使用。然而，本文描述的构思和实现方式同样适用于产生厚组织标本的光学切片的其他新鲜组织成像模式。这些可以包括无标记成像技术，例如但不限于共焦反射显微术、单光子或双光子自发荧光显微术、荧光寿命成像(FLIM)、二次谐波发生(SHG)显微术、三次谐波发生(THG)显微术和/或相干反斯托克斯拉曼散射(CARS)显微术。此外，本文所述的系统和方法还可以利用基于标记或染色的成像技术，例如单光子或双光子荧光共焦或宽视场显微术或光片显微术。典型的活体染色包括但不限于DAPI、伊红、罗丹明、赫斯特染色或吖啶橙。在一些示例中，本文描述的系统和方法可以利用无标记成像技术和基于标记或染色的成像技术的组合。

所有这些技术之间的共同特征是光学切片。这与如在组织病理学过程中通常进行的对组织样本的物理切片形成对比。这意味着图像是由组织标本内的焦平面生成的，该焦平面的厚度小于样本本身的厚度。离焦信号不生成或被拒绝。光学切片的厚度可以由所使用的物镜的数值孔径确定。使用这些技术，可以但不需要获取在相对于样本表面各种深度处的标本深度堆叠。在一个示例中，这可以通过系统地改变样本与物镜之间的距离来实现。

现在参照图1，示出了用于获得和分析光学组织学图像的示例性成像系统10。成像系统10通常包括成像装置12和在计算装置14上实现的诊断模块15。在操作期间，成像装置通过进行光学切片来捕获新鲜组织样本的一个或更多个图像。即，成像装置12在组织样本的光学切片处捕获组织样本的图像，其中组织样本的厚度大于光学切片的厚度。在示例实施方式中，成像装置12使用受激拉曼散射来生成组织样本的图像。诊断模块15被配置成从成像装置12接收图像，并且通过向这些图像应用机器学习算法来生成对组织样本的诊断，如下文进一步描述的。成像系统10还可以包括用于显示诊断结果的显示装置16。

更具体地，完全集成的受激拉曼散射(SRS)成像系统10包括五个主要部件：1)具有机动台的光纤耦合受激拉曼散射(SRS)显微镜；2)双波长光纤激光器模块；3)激光控制模块；4)显微镜控制模块；5)用于图像采集、显示和处理的计算机。整个系统可以安装在便携式独立临床推车中，可以利用标准的壁式插头，并且可以避免使用水冷却。以这种方式，图1的系统可以消除对与操作室中SRS显微术的执行不兼容的光学硬件的依赖。

图2是进一步示出成像系统10的一个示例的功能框图。图2示出了用作便携式临床兼容SRS成像系统(例如，图1的SRS成像系统)的一部分的双波长光纤激光器耦合显微镜的部件。在图2中，激光器图的上分支指示用于生成斯托克斯束(红色)的方案，而下分支生成泵浦束(橙色)。两个束被合并(紫色)并且穿过标本，其中Er＝铒；HLNF＝高度非线性的光纤；PD＝光电二极管；PPLN＝周期性极化铌酸锂；以及Yb＝镱；

双波长光纤激光器可以基于以下事实进行操作：两种主要光纤增益介质铒(Er)和镱(Yb)的差频与拉曼光谱的高波数区域交叠。因此，如例如关于图2示出的，SRS成像所需的两个同步窄带激光脉冲序列是通过对从单光纤振荡器得出的宽带超连续区进行窄带滤波并且随后在各个增益介质中进行放大而生成的。

根据一些示例，(例如，对于临床实现方式)，图1至图2的成像系统可以构成基于偏振保持(PM)部件的全光纤系统，其与非PM系统相比可以在稳定性方面提供显著改进。本文中关于图1至图2描述的系统可以在整个横贯大陆的运输(例如，从加利福尼亚到密歇根)中保持稳定性，并且可以在临床环境中保持连续、免维护的长期(>1年)操作而不需要重新对准。为了实现具有与固态激光器能达到的信噪比相当的信噪比的高速诊断质量成像(例如，每波长2秒1兆像素)，在40MHz重复率和2皮秒变换限制脉冲持续时间下，对于固定波长790nm泵浦束，激光器输出功率可以被缩放到大约120mW，而对于在1010nm至1040nm的整个调谐范围内的可调谐斯托克斯束，激光器输出功率可以被缩放到大约150mW。根据一些示例，完全定制的激光控制器电子器件可以被包括为成像系统的一部分，以基于微控制器紧密地控制该多级激光系统的许多设置。根据一些示例，一旦组装完成，SRS显微术可以包括360nm的横向分辨率(半最大值的全宽度)和1.8μm的轴向分辨率。

尽管对于SRS的临床实现而言可能期望开发全光纤系统，但是光纤激光器固有的相对强度噪声可能使SRS图像质量极大地劣化，如图3a所示。为了提高图像质量，本文所述的成像系统可以实现基于自动平衡检测的噪声消除方案，在该方案中对激光束的一部分进行采样以提供对激光噪声的测量，然后可以实时地减去该激光噪声。根据一些示例，如图3b所示，可以在无需进行调整的情况下在临床环境中实现信噪比的～25倍的改进，这对于揭示显微组织架构是必要的。

图4a至图4e示出了根据本公开内容的某些方面的用于将SRS图像处理成SRH图像的示例性方法。即，图4a至图4d示出了用于下述目的的方法：将一个或更多个SRS图像转换成SRH图像(例如，图4e所示的SRH图像)使得图4e所示的SRH图像与根据常规的福尔马林固定、石蜡包埋和酸性(苏木精)或碱性(伊红)(H&E)染色产生的图像(参见图4f)非常相似。

通过背景，可以在组织中以多个拉曼位移(例如，以2850cm^-1和2930cm^-1或者2850cm^-1、2930cm^-1和2960cm^-1)对组织中的常见分子例如，脂类、蛋白质和核酸(如DNA)的拉曼光谱成像。举例来说，使用光谱分离技术，可以生成多色SRS图像，其可以被显示为具有不同的伪色(例如蓝色和绿色或者粉色和紫色)以模仿H&E染色。CH₂振动(2845cm^-1)的SRS图像示出了富含脂类的结构，例如髓鞘化轴突和细胞外基质。CH₃振动(2930cm^-1)的SRS图像示出了富含蛋白质和DNA的结构，例如细胞核和胶原纤维。这样的SRS图像可以叠加或缝合在一起。例如，SRS显微术特有的独特化学对比度通过揭示肿瘤浸润组织中的组织细胞性、轴突密度以及蛋白质:脂类比例的量化改变来实现肿瘤检测。

分类方案可以将稳健的、经量化的SRS图像属性(例如，细胞过多、轴突密度、蛋白质:脂类比例)聚合为用于检测浸润的单一度量。因此，在某些方面，可以从SRS图像评估核的数目、轴突密度和蛋白质:脂类比例。与通过高光谱SRS显微术获得虚拟H&E图像的先前方法不同，SRH能够采用仅两个拉曼位移(例如，2845cm^-1和2930cm^-1)来生成必要的对比度。尽管SRH图像中的颜色与酸性(苏木精)部分或碱性(伊红)部分的染色不完全对应，但两种方法之间存在强的交叠(参见图4f)，从而简化了解译。为了产生SRH图像，可以以2秒每帧的速度以拼接图案获取视场(FOV)，将其缝合并重新着色。最终结果可以是类似于传统H&E染色玻片的SRH拼接图(如图4g所示)。根据一个示例，拼接图的获取时间可以约为2.5分钟，并且可以将拼接图直接从操作室快速传送至任何联网的工作站，如下文更详细描述的。

根据本公开内容的一些示例，SRH可以用于利用SRH的诊断组织学特征检测。SRH已证明能够通过经由机构审查委员会(IRB)批准的协议对来自神经外科患者的新鲜手术标本进行成像而揭示对CNS肿瘤进行检测和分类所需的诊断特征。像常规的H&E图像一样，SRH图像揭示了允许区分非病变组织(如图5a至图5c所示)和病变组织(如图5d至图5i所示)的细胞和构造特征。在通过SRH成像的情况下，前颞叶切除术患者的结构正常的脑组织展现具有含脂褐质颗粒的角细胞体的神经元(如图5a所示)和呈现为白色线结构的富含脂类的轴突(如图5a至图5b所示)。可能使术中诊断复杂化的包括胶质增生(如图5b所示)和巨噬细胞浸润(如图5c所示)的非肿瘤反应性变化也易于通过SRH可视化。区分低级别胶质瘤(参见图5d)和高级别胶质瘤(参见图5e至图5f)的细胞结构、血管模式(vascular pattern)和核构造的差异也很明显。值得注意的是，SRH表明在冷冻切片上通常不可见并且被认为是固定的伪影的少突胶质细胞瘤细胞的核周晕(参见图5d)反映了丰富的富含蛋白质的肿瘤细胞细胞质。此外，通过突出血管的富含蛋白质的基底膜，SRH非常适合于突出高级别胶质瘤中的微血管增生(如图5f所示)。

SRH还揭示了使得能够诊断非胶质源性肿瘤的组织构造特征(如图5g至图5i所示)，其包括脑膜瘤的螺纹构造(参见图5g)、淋巴瘤的多面性单形细胞(参见图5h)以及转移性腺癌的腺体构造、大的上皮样细胞、和尖锐边缘(参见图5i)。SRH还能够将区分三种最常见的小儿后颅窝肿瘤(即，幼年毛细胞型星形细胞瘤、成神经管细胞瘤和室管膜瘤，其中每一种的手术处理的目标不同)时必不可少的形态特征可视化。在毛细胞型星形细胞瘤中，SRH检测到毛状(毛发状)构造和罗森塔尔纤维，其由于高蛋白质含量而在SRH上显得较暗。SRH还揭示了成神经管细胞瘤中明显的细胞数目增多、小的圆形蓝色细胞外观和玫瑰花结以及室管膜瘤中形成血管周围假玫瑰花结的单形的圆形到卵形细胞。

SRH也可以用于检测肿瘤内的异质性。胶质瘤通常具有组织学异质性，这使诊断和治疗选择变得复杂。异质性在疑似经历恶性演进的低级别胶质瘤中尤其常见，并且间变性转化的证实对于做出诊断至关重要。SRH可以用于检测从患有右额皮层的复发性少突胶质细胞瘤的患者收集的标本中的肿瘤级别的异质性。在这样的标本中，SRH可以揭示低级别构造和高级别构造区域二者，其以细胞数目增多、间变性和有丝分裂的活性肿瘤为特征，如本文中的图6a所示。

在其他肿瘤(例如混合性胶质神经元肿瘤)中，组织学异质性是诊断的必要标准：尽管任何单个组织病理学样本可以揭示胶质或神经元构造，但对于诊断而言识别全部两者是必要的。在患有疑似神经节胶质细胞瘤、胶质神经元肿瘤的患者中，表面标本的术中SRH图像(参见图6b)揭示成簇的发育异常神经元，而较深的标本揭示细胞数目增多的毛状胶质构造。因此，通过提供对多个标本成像的快速手段，SRH可以揭示在手术期间建立级别和组织构造两者的临床相关变化所需的肿瘤内异质性。

根据本公开内容的一些示例，本文描述的系统和方法可以促进基于SRH的诊断的定量评估。例如，考虑到其揭示诊断组织学特征的能力，可以利用SRH来提供对现有的术中诊断方法的替选。为了测试该假设，对来自30位神经外科患者的标本进行成像，其中使用常规冷冻切片或细胞学技术来呈现术中诊断。相同标本的相邻部分被用于常规组织学和SRH两者。

为了模拟对术中组织学诊断的实践，创建基于计算机的调查，其中向三位通过资格认证的神经病理学家(分别在不同的机构工作)提供SRH图像或常规(涂片和/或冷冻)图像以及关于患者年龄组(儿童/成人)、病变位置和相关的既往病史的简要临床历史。神经病理学家以其在自己的临床实践中的方式对每种病例的术中诊断作出回应。基于以下标准将响应分级：1)组织被分类为病变还是非病变；2)对于病变组织，其具有胶质源性还是非胶质源性；以及3)回应是否包含与官方临床术中诊断相同的诊断信息量(病变状态、级别、组织学亚型)。

对病理学者在利用SRH时的诊断表现与利用临床冷冻切片时的诊断表现进行评价，揭示了用于区分病变组织和非病变组织(κ＝0.84-1.00)和用于区分胶质源性的病变与非胶质源性的病变(κ＝0.93-1.00)的两种组织学方法之间的近乎完美的一致性(Cohen'skappa)，如下表1所示。预测最终诊断时的两种模态之间也存在近乎完美的一致性(κ＝0.89-0.92)(参见表1)。SRH与用于预测诊断的基于标准H&E的技术之间其在审阅者中的评价者间可信度以及一致性也近乎完美(κ＝0.89-0.92)。值得注意的是，利用SRH，病理学家在区分病变组织与非病变组织、胶质瘤与非胶质瘤以及预测诊断时高度准确，准确率分别为98％、100％和92.2％。这些发现表明，病理学家根据SRH图像得出组织病理学诊断的能力既准确又与传统组织学方法高度一致。

表1：SRH与常规组织学调查结果

尽管这两种方法在预测诊断方面都高度准确，但如上表1和图7c所示，六种基于SRH的诊断差异出现在对胶质肿瘤的分类。

简要参照图7a至图7c，图7a至图7c示出了用SRH对术中组织学诊断的模拟。更具体地，图7a至图7c在其中示出了针对调查中提供的如下六个标本部分示例的SRH和H&E制备：胶质脑组织、成神经管细胞瘤、间变性星形细胞瘤、脑膜瘤、胶质母细胞瘤和转移性癌(比例尺＝50μm)。

在三个单独的实例中，病理学家能够正确地将标本鉴定为胶质瘤，但是未提供具体的级别。通过SRH被分类为“胶质瘤”的两个标本在使用基于H&E的技术的情况下被分类为“高级别胶质瘤”。胶质瘤的高级别特征包括：显著的核非典型性、有丝分裂活性、微血管增生和坏死。核非典型性和有丝分裂象的评定是主观的，并且需要基于对数百个病例的回顾的足够的专业知识来设置标本中的“正常”形态与非典型形态的阈值。考虑到H&E和SRH中的核构造外观的细微差异，病理学家对于用SRH呈现肿瘤细胞的非典型和有丝分裂属性方面可能更保守。

常规技术(即，切片)与SRH(即，温和压制(gentle squash))之间在组织制备方面的差异引起血管构造的外观差异。微血管增生被限定为腔内内皮增生(给定血管中的若干层内皮细胞)，并且在术中会诊时对于胶质瘤分级至关重要。这可以更易于在对组织进行二维切片和分析时进行观察。相比之下，尽管SRH能够突出基底膜，但在一些情况下，它可能无法揭示微血管增生的经典构造特征。

对于标本的欠采样也可能导致观察到差异。在三个调查项中，病理学家使用SRH图像将室管膜瘤误诊为“毛细胞型星形细胞瘤”，或更笼统地将该肿瘤描述为“低级别胶质瘤”。室管膜瘤和毛细胞型星形细胞瘤可能具有类似的核形态：嵌入在由薄胶质突起(类毛状)组成的背景中的单调细长核。在没有明显的血管周围假玫瑰花结、室管膜的玫瑰花结或透明化血管的情况下(其在调查项中不明显并且可能在整个肿瘤中分布得不均匀)，可以理解室管膜瘤可能被错误分类为毛细胞型星形细胞瘤。考虑到患者中的SRH图像与传统H&E图像的一致性，在不将本公开内容限制于任何特定理论的情况下，假设如果向审阅者提供较大的标本则可以避免这些错误。

本文所述的系统和方法也可以用于执行基于机器学习的组织诊断。对于临床决策而言最有用的术中图像数据是迅速获得且准确的数据。由病理学家对组织病理学图像进行解译费力且费时，并且易出现观察者之间的易变性。因此，本文所述的系统和方法在脑肿瘤手术期间非常有帮助，其能够快速产生及时、一致且准确的组织诊断。尽管可以通过对组织属性的自动分析依据定量的SRS图像来预测肿瘤浸润，但本公开内容想到可以采用如下文阐述的更鲁棒的计算处理来预测肿瘤诊断类。

具体地，根据一些示例，提出了一种称为多层感知器(MLP)的机器学习过程以用于诊断预测，因为该机器学习过程1)易于迭代；2)易于验证；以及3)在当前计算能力下高效。为了创建MLP，将来自患者的12,879个400×400μm SRH FOV合并。根据一个示例，可以采用WND-CHRM(其计算2,919个图像属性以用于机器学习)等以将量化属性分配给每个FOV。归一化的量化图像属性可以被馈送至MLP中以用于训练，迭代直到预测的诊断与观察到的诊断之间的差异最小化，如下文更详细描述的。尽管提供了对MLP的引用，但容易理解，本文描述的技术适用于其他类型的机器学习算法。

根据一些示例，可以用两个软件库Theano和Keras对MLP编程。然而，前述库本质上仅是示例性的，并且在不脱离本文中的教导的情况下，可以采用其他合适的软件库(例如，tensorflow、caffe、scikit-learn、pytorch、MXNet和CNTK)作为MLP的一部分。Theano是用于训练MLP的高性能低级数学表达式评估器。Keras是高级Python框架，其用作Theano的包装器，允许快速迭代和测试不同的MLP配置。

根据一些示例，本文描述的MLP被设计为完全连接的1,024个单元一个隐藏层神经网络。在一个示例中，网络包括按以下顺序的八个连续层：1)经过统一初始化的密集输入层；2)双曲正切激活层；3)具有丢弃概率0.2的丢弃层；4)经过统一初始化的密集隐藏层；5)双曲正切激活层；6)具有丢弃概率0.2的丢弃层；7)经过统一初始化的密集输出层；以及8)对应于分类数量的softmax激活层。本公开内容还设想了其他实现方式。

根据一些示例，可以使用除调查测试集之外的训练集来执行对MLP的训练。可以使用多类对数损失策略来计算损失。所选择的优化器可以包括以下参数：学习率＝0.001、β_1＝0.9、β_2＝0.999和ε＝1×10^-8。

为了测试MLP的准确性，使用了留一法(leave-one-out approach)，其中训练集包含除被测试患者的FOV之外的所有FOV。这种方法使训练集的大小最大化，并且消除了训练集中的样本与测试集中的样本之间的可能的相关性。MLP可以被配置成针对单独的FOV水平进行预测，产生给定FOV属于以下四个诊断类别之一的概率：非病变；低级别胶质瘤；高级别胶质瘤或非胶质瘤(包括转移瘤、脑膜瘤、淋巴瘤和成神经管细胞瘤)(参见图8a)。根据该示例，选择了四个诊断类别，因为它们提供用于在脑肿瘤手术期间影响决策的重要信息。

为了证明这一点，针对在对神经病理学家执行的调查中使用的30名患者采用了留一法。对于用来评估MLP的30位患者中的每一个，来自该患者的所有FOV(n个)被放置在测试集中。训练集由12879-n个其余的FOV组成。这12,879个FOV由神经病理学家筛选以确保它们表示分配给它们的诊断。FOV被分类为非病变、毛细胞型星形细胞瘤、室管膜瘤、少突胶质细胞瘤、低级别弥漫性星形细胞瘤、间变性少突胶质细胞瘤、间变性星形细胞瘤、胶质母细胞瘤、脑膜瘤、淋巴瘤、转移性肿瘤和成神经管细胞瘤。

MLP被训练达25次迭代，其中后续26个迭代权重被记录以用于测试集的验证。将测试集馈送至这26个权重中的每一个，其中对12个诊断类别中的每一个的所得概率求平均，以创建每个FOV的每个诊断的最终概率。这12个诊断被压缩为四类(非病变、低级别胶质、高级别胶质和非胶质)以实现诊断预测。低级别胶质类包括被分类为毛细胞型星形细胞瘤、室管膜瘤、少突胶质细胞瘤和低级别弥漫性星形细胞瘤的FOV。高级别胶质类包括被分类为间变性少突胶质细胞瘤、间变性星形细胞瘤和胶质母细胞瘤的FOV。非胶质类包括被分类为脑膜瘤、淋巴瘤、转移性肿瘤和成神经管细胞瘤的FOV。

图8a至图8b示出了SRH图像的MLP分类。在图8a至图8b中，来自患者87的标本(低级别室管膜瘤)被MLP分类为低级别胶质瘤。在图8a中，概率反映如下：P(NL)＝非病变的概率；P(LGG)＝低级别胶质的概率；P(HGG)＝高级别胶质的概率；P(NG)＝非胶质的概率。此外，代表性的FOV包括：被分类为低级别胶质瘤的具有少量卵形肿瘤细胞(箭头)的FOV(左上方，橙色轮廓)；被分类为非胶质肿瘤的具有高细胞结构和常见的透明化的血管(箭头)的FOV(右上方，绿色轮廓)；被分类为低级别胶质瘤的具有中等细胞结构和丰富的毛状突起的FOV(右下方，黄色轮廓)；以及被分类为高级别胶质肿瘤的具有较高细胞结构和几个突出的血管(箭头)的FOV(左下方，蓝色轮廓)。各个FOV的比例尺为100μm，并且图8a中心处的拼接图像的比例尺为500μm。

考虑到CNS肿瘤的组织构造异质性以及一些标本可能包含正常FOV和病变FOV的混合的事实，已经基于每个标本内最常见或模型预测的FOV诊断类来判断MLP的诊断准确度(参见图8b)。例如，尽管来自患者87的标本在各种SRH FOV中呈现出所有诊断类的一些特征(参见图8a)，但MLP将低级别胶质类指定为FOV占优势的最高概率诊断(参见图8b)，使得该标本被正确分类为低级别胶质肿瘤。

图9a至图9c示出了基于MLP的诊断预测结果，其中“Y”指示正确的MLP预测，而“N”指示不正确的预测。正确图块的部分由每个热图图块的色相和强度以及预测的诊断类指示，其中，NL＝非病变，LG＝低级别胶质瘤，HGG＝高级别胶质瘤，以及NG＝非胶质瘤。

为了在由多个病理学家读取的病例的测试集中评估MLP，如上所述，将留一法应用于在向病理学家执行的调查中包括的30个病例中的每一个。基于模态诊断，MLP以100％的准确度将病变标本与非病变标本准确地区分开(参见图9a)。此外，MLP将各个FOV分类为病变或非病变的诊断能力是优异的——其特异性为94.1％，并且敏感性为94.5％。在病变标本中，MLP在样本层面以90％的准确度区分了胶质标本与非胶质标本(参见图9b)。在调查环境下由病理学家呈现的预测诊断类中，由MLP预测的模态诊断类的准确度为90％(参见图9c)。

被MLP错误分类的病例包括来自被分类为非病变而不是低级别胶质瘤的毛细胞型星形细胞瘤(患者84)的具有少量罗森塔尔纤维的最低程度的细胞密集标本。在该标本中，许多FOV类似于正常的胶质组织。来自患有软脑膜转移癌的患者(患者72)的另一错误分类的标本仅包含两个含有肿瘤的FOV。被MLP错误分类为非胶质肿瘤的来自患者82的胶质母细胞瘤标本包含富含蛋白质的结构元素，其类似于用SRH成像的转移性肿瘤的组织构造。尽管存在这些错误，但MLP在病变状态和诊断类的自动检测方面的准确性和整体能力为如何将MLP用于自动化诊断预测提供了原理证明。

在一些实施方式中，接着，诊断模块使用神经网络将组织样本分类为类别，其中该神经网络是利用来自预先指定的类别的图像训练的。在图19中示出了一个示例实施方式中的类别。在该示例实施方式中，诊断模块将组织样本分类成包括肿瘤组织类或非肿瘤组织类的类别，其中肿瘤组织类是具有肿瘤的组织样本，而非肿瘤组织类是没有肿瘤的组织样本。肿瘤组织类进一步包括手术子类和非手术子类，其中手术子类指示应当通过手术去除肿瘤，而非手术子类指示不应当通过手术去除肿瘤。手术子类包括针对胶质瘤的子类和针对非胶质瘤的子类。针对非胶质瘤的子类可以进一步包括针对神经鞘瘤的子类、针对脑膜瘤的子类、针对转移性肿瘤的子类、针对垂体瘤的子类和针对髓母细胞瘤的子类。针对胶质瘤的子类可以进一步包括针对胶质母细胞瘤的子类和针对低级别胶质瘤的子类。非肿瘤组织类包括针对正常脑组织的子类和针对胶质增生组织的子类。这些类别中可以或可以不包括针对无法归类的图像的无诊断类。对于无诊断类，可以利用被指定为无法归类的图像来训练神经网络。这些类别仅是一个实现方式的说明，而非旨在进行限制。

图16和图17进一步示出了用于分析由成像系统10捕获的SRH图像的示例方法。作为起始点，在161处例如直接从成像装置接收图像。在这种情况下，图像对应于成像装置的视场(例如，1000×1000像素)。在另一示例中，图像可以大于成像装置的视场(例如，6000×6000像素)，其中较大图像是成像装置捕获的较小图像缝合在一起。

在162处将图像分割成两个或更多个条带以用于后续处理。例如，可以将6000×6000像素的大图像分割成六(6)个1000×6000像素的条带。在一些示例中，由于直接从成像装置接收两个或更多个条带，因此不需要分割。在任何情况下，如163处所示的，获取并处理每个条带。容易理解，条带的处理和诊断可以由成像系统所关联的计算机处理器分开且不同的计算机处理器执行。在一些情况下，图像条带可以被传送至远程位置以进行处理，如下文进一步描述的。

对于每个条带，如164处所示以及关于图17进一步描述的，针对该条带计算诊断。在示例实施方式中，通过神经网络将条带分类，并且将分类模型中的每一类的概率返回作为诊断。对于第一条带，在167处报告概率分布作为对组织样本的诊断。然而，随着接收到更多数据(即，来自成像器的更多条带)，诊断被实时更新。为此，在165处将后续条带的概率与当前条带的概率结合。在一个示例中，将给定类之内的概率被相加在一起以形成累积的概率分布。在166处以下面进一步描述的方式将累积的分布归一化。然后，如167处所示，报告归一化的累积分布以作为诊断。如168处所示，对组成图像的每个新条带重复该过程，直到不再有剩余的条带。假设当数据首次变得可用时分布是宽泛的，并且随着图像接近完成，分布变得更显著，从而给予外科医生更大的判断信心。

参照图17，在逐个图块的基础上执行对条带的诊断。在示例实施方式中，条带被进一步分割成多个图块。例如，包括900×6000像素的条带可以被分割成六十(60)个图块，其中每个图块是300×300像素。条带和图块的大小仅是示例性的，而非限制性的。

为了计算针对条带的诊断，首先在171处使用神经网络将条带中的每个图块分类。在示例实施方式中，分类器输出是针对存储在N×14阵列中的每个图块，其中N是条带中图块的数量，并且14是分类模型中类的数量。这些类中的一个优选为针对无法被归类的图块的无诊断类。已设想到，利用例如被病理学家指定为无法归类的图像来训练神经网络。

可以对被认为无诊断的条带进行筛选。例如，如果组成给定条带的图块中的大多数被分类为无诊断，则该给定条带可以在173处被丢弃并且因此对诊断没有贡献。另一方面，如果组成给定条带的图块中的少于大多数被分类为无诊断，则如172处所示继续进行对该条带的处理。

接下来，进行关于给定条带是否表示正常组织的评定。在示例实施方式中，遍及给定条带的类别的概率被归一化为一。将组成正常组织(例如，灰质、白质和胶质增生)的类别的归一化概率相加在一起，并且与阈值(例如，90％)进行比较。如果正常组织类的总计概率超过阈值，则将给定条带视为正常组织，并在177处返回此结果。相反，如果正常组织类的总计概率未超过阈值，则在175处将这些正常组织类的概率设置为零，并且将经调整的遍及给定条带的所有类别的概率重新归一化为一。在这种情况下，将这些重新归一化的概率返回作为给定条带的诊断结果。这是有意义的，因为它允许对组织进行更鲁棒的统计分析。当组织具有80％的总“肿瘤”诊断并且其余的20％“正常”组织被清零，亚肿瘤准确度提高。在一些肿瘤病理学中，组织的一部分可能具有处于正常组织背景上的嵌套肿瘤。即使组织的一部分可能是正常的，该“重新归一化”算法也将正确地诊断该嵌套肿瘤。在图18所示的图中进一步描绘了用于分析SHR图像的该方法。

此外，以下阐述了该方法的示例实现方式的伪代码。

在脑肿瘤手术期间，准确的术中组织诊断是必不可少的。外科医生和病理学家依靠可信的技术，例如冷冻切片和涂片制备，这些技术是可靠的但易于出现限制解译并可能延迟手术的伪影。如本文所呈现的，用于术中组织学的简化的标准化方法创建了使用术中组织学以确保对肿瘤内以及周围的组织进行更高效、全面采样的机会。通过确保在手术期间采样到高质量的组织，SRH提高了对于在呈现最终诊断中日渐重要的分子标记活检(例如，IDH和ATRX突变、1p19q共缺失、MGMT和TERT启动子改变)进行检测的产出率。本公开内容报告了SRS显微术在临床环境中的首次展示，并且示出了其可以如何用于从新鲜标本快速创建具有可与常规技术相比的诊断值的组织学图像。

已经提出荧光引导手术、质谱分析、拉曼光谱、相干反斯托克斯拉曼散射显微术和光学相干断层扫描术(其利用肿瘤浸润与正常组织之间的组织学和生物化学差异)作为用于引导脑和其他类型肿瘤切除的方法。然而，迄今为止，尚无在临床环境中测试过的能成功地快速创建诊断质量的图像以影响术中决策的显微成像方法。因此，本文的系统和方法利用光学和光纤激光工程学的进步提供了一种易于操作、耐用且与患者护理环境兼容的SRS显微术，其可以快速提供诊断性组织病理学图像。

SRH很适合整合到脑肿瘤手术的工作流程中。能够同时收集用于SRH的活检并且由立体定向导航系统跟踪的手术器械能够在单个显示器中实现组织学和位置信息的关联。SRH和手术导航的整合创建了验证已经对整个手术腔执行最大安全细胞减灭术的可能。在通过SRH检测到肿瘤但不能安全去除肿瘤的情况下，例如，可以将SRH用作用于更好地关注辅助治疗的实施的方式。

随着医疗数据越来越基于计算机，经由SRS显微术获取虚拟组织学切片的机会创造了很多机会。例如，在实行脑肿瘤手术的许多临床环境中，无法获得神经病理学服务。目前，美国存在785名通过资格认证的神经病理学家为大约1400家执行脑肿瘤手术的医院服务。联网的SRS显微术(例如，本文公开内容之一)简化了样本制备和成像两者，并且创建了将专业神经病理学家与外科医生(在同一家医院内或在世界的另一地点)连接的可能，以在手术期间提供精确的术中诊断。

计算机辅助诊断可以最终减少病理学诊断固有的阅读者间的易变性，并且可以在没有专业神经病理学家的环境下提供指导。例如，并且如本文所述，可以使用机器学习算法来检测和诊断脑肿瘤。神经病理学中的计算机辅助诊断显示了区别于福尔马林固定、石蜡包埋、H&E染色的全玻片图像形式的诊断实体的前景。本文所述的用于术中组织学的计算机辅助诊断系统可以被配置成可靠地预测小的新鲜组织样本的诊断。本文报告的分类器能够区分病变组织样本与非病变组织样本，并且能够基于合并的图块数据预测诊断类别。根据一些示例，一种机器学习方法(例如本文所描述的方法)可以被配置成执行更精细的诊断分类。此外，诊断分类器(例如，本文所描述的那些)的准确度也可以经由以下方式提高：1)进行卷积的替选神经网络配置和系统；2)采用基于特征的分类；3)利用支持向量机或统计建模方法；以及4)应用说明人口统计学因素和病史的数据解译规则，如下文进一步详细描述的。

如本文所述，现在可以利用SRS显微术在临床设置中提供对组织构造的快速术中评估，而对手术工作流程的干扰最小。SRH图像可以用于以高度准确性和与标准的术中组织学技术接近完美的一致性来呈现脑肿瘤标本方面的诊断。

根据一些示例，根据从SRS显微术获取的2845cm^-1和2930cm^-1图像生成虚拟H&E图像可以利用每个通道的简单线性颜色映射。在通道减法和平坦化(在以下部分中描述)之后，对2845cm^-1和2930cm^-1通道应用线性颜色重新映射。2845cm^-1图像(灰度图像)被线性地映射使得2930cm^-1图像中的强信号映射为类似伊红的淡红粉色(reddish-pink)而不是白色。对2930cm^-1图像应用类似的线性映射，其中类似苏木素的深蓝色/紫色被映射至强信号。最后，将这两层线性地加在一起以产生最终的虚拟着色H&E图像。

通过基于真实H&E染色玻片的集合的线性优化来选择H&E转换的确切颜色。针对两次H&E转换均随机选择初始种子颜色。利用这些初始种子颜色完成先前描述的线性颜色映射和相加过程。随后的图像被手工分割成细胞质和细胞核部分。将这些部分与真实H&E图像进行比较，并且阐明生成的伪着色H&E与真实H&E之间的细胞质和细胞核色调差异。根据这些相应的色调差异修改H&E种子颜色，并且重复此过程直到生成图像与真实图像之间的差异为色调差异小于1％。

可以根据SRS图像生成虚拟着色H&E图像，并且缩写的SRS图像和SRH图像包括以下步骤：

1)在控制计算机上启动拼接图获取脚本，该脚本从预先载入的组织样本获取(N×N)个1024×1024像素图像序列。这些图像以2845cm^-1和2930cm^-1拉曼位移获取，并且作为单独的两通道FOV被存储到预先指定的文件夹中。

2)复制所述两通道图像，并且对复制图像应用高斯模糊。然后，将原始的两通道图像除以高斯模糊以去除获取和组织制备的伪影。

3)从每个FOV中的2930cm^-1通道中减去2845cm^-1通道。

4)使用2845cm^-1通道和2930cm^-1减去2845cm^-1通道创建新FOV。

5)运行虚拟着色H&E脚本(在以上章节中描述)以创建经减法运算并平坦化的图块的H&E版本。

6)如先前所述的那样缝合原始图块。如果初始缝合产生了不可接受的图像，则向用户提供使用不同缝合参数重新缝合的选项。一旦成功缝合，根据缝合图像中各个图块的终点位置生成布局文件。

7)使用在第6步中生成的布局文件来缝合虚拟着色H&E图像，这是比重新计算缝合偏移并从头开始合并明显更快的过程。

根据一个示例，用于将原始SRH图像转换成针对每种诊断的概率向量的过程可以按照以下步骤执行：1)使用FIJI从CH₃层减去CH₂层，并且使图像平坦化，如在“组织收集和成像”小节中描述的；2)使用FIJI将双通道图像分割成单独的CH₂层和CH₃-CH₂层；3)对于每个先前的图块，创建具有90度旋转的4个图块复制品(“旋转异构体”)；4)使用WNDCHRM等针对先前步骤中的每个图块生成签名文件；5)将这些签名文件归一化，使得所有特征值被一致地且线性地映射到区间(-1.0，1.0)；6)(CH₂)对于对应于CH₂通道图块的每个图块，运行如上所述的MLP；7)(CH₂)收集给定图块的所有旋转异构体，并且对它们的预测值求平均(算术平均)，以创建给定CH₂通道图块的一个合并的诊断概率向量；8)对CH₃-CH₂通道重复步骤6至7；9)对于给定的图块，比较CH₂通道和CH₃-CH₂通道，并且丢弃具有较低最大概率值的图块的诊断概率向量；以及10)针对逐个病例的诊断，将每个病例的所有图块分组，去除不具有>0.25的诊断概率的任何图块，并且在图块集合中用最普遍(模式)诊断来诊断该病例。该过程仅是说明性的而不旨在进行限制。

现在转至图10，提供了无标记、未处理的SRH和常规H&E染色的冷冻切片的对照。如图所示，SRH图像保留了常规冷冻切片所见的诊断性组织构造特征，同时增加了在经H&E染色的组织中看不到的独特特征，例如轴突(间变性星形细胞瘤标本中的白色线结构)。图10中的比例尺为50μM。

除了以上讨论的SRH成像和分析技术的优点之外，本文描述的SRH成像和分析技术还可以提供以下附加益处。具体地：1)能够使用未经处理的新鲜手术标本容易地获得SRH图像；2)SRH图像具有与常规组织学图像可比的诊断内容(参见图10)：在头部对头部的比较中，SRH图像和常规组织学图像的准确度均超过92％。常规组织学与SRH之间的一致性在κ>0.89时接近完美；3)SRH图像能够在操作室中迅速获得：在几分钟内(而不是30至45分钟——这是在机构处进行术中诊断的典型周转时间)获得诊断图像；4)SRH图像保留组织以进行第二分析：用SRH成像的组织保持其结构和生化完整性，并且适合于H&E、IHC分析和测序；5)SRH图像可以被轻松地上传至医院图片存档与通信系统(PACS)，集成到医疗记录中并且经由现有的PACS查看器进行查看。上传和传输图像的能力解锁了远程解译的可能，从而将缺乏神经病理学资源的中心连接至人员齐全的中心，并且为术中诊断提供更简化的工作流程；6)SRH图像是可量化的，从而允许自动的图像分类和诊断。

如果SRH广泛应用于脑肿瘤手术以及更大范围的手术肿瘤学领域，则SRH将通过以减少等待诊断所花费的时间的方式提高操作室中的效率来影响癌症患者的手术护理。获得SRH图像的速度创造了扩大组织学数据的使用以推动更好的手术决策的机会。例如，通过SRH，神经外科医生可以在切除腔边缘处验证组织的肿瘤内容。根据临床情况，可以在检测到SRH可检测到的肿瘤的位置处实行进一步的手术、有针对性的术后放疗或局部化疗。

值得注意的是，SRH在手术肿瘤学的其他学科中(其中术中诊断和肿瘤检测是必要的)有潜在应用。例如，受激拉曼散射显微术也可以适用于对头部和颈部手术标本中肿瘤的检测、还有乳腺癌手术领域和胸部肿瘤学领域。最后，SRH图像的可量化性质为应用人工智能和基于计算机的图像分类方面的进步以帮助肿瘤检测和诊断创造了途径。

在实行脑肿瘤手术的许多临床环境中，无法获得专业神经病理学服务。在没有可靠的方法来建立术中诊断的情况下，向脑肿瘤患者实施最佳可行护理可能有挑战性。由于病理学诊断的实践在很大程度上依赖于模式识别，这是计算机非常适合进行的任务，因此已经提出了用于肿瘤组织病理学诊断的基于人工智能(AI)的系统。AI(包括本文中公开的基于AI的系统和方法)可以用于帮助病理学家(尤其是未经神经病理学正规专科培训的病理学家)呈现准确的组织诊断。

在分子诊断的时代，仅基于形态学对肿瘤分类越来越不足以呈现最终诊断。然而，可以通过单独评估组织形态和细胞学来回答影响手术决策的绝大多数有关的术中问题。具体地，组织形态学特征可以区分病变组织与非病变组织，确保收集的组织对于呈现最终诊断以及将应当手术去除的病变(胶质瘤、转移瘤)与不应当手术去除的病变(淋巴瘤和生殖细胞瘤)区分开将是有用的。基于形态特征的图像分类是随着人工智能的计算能力和进步的发生而迅速发展的计算机科学领域。

根据本公开内容的某些示例，自动图像分析可以与人工智能相结合以在手术期间得出诊断分类。初步数据展示了在脑肿瘤手术期间采用图像量化和AI来回答决定手术策略的关键问题的可行性。已经表明，SRH图像属性(即，细胞结构和轴突密度)可量化并且为检测肿瘤的存在创建了基础，即使在看起来非常正常的区域中也是如此。此外，可以采用全面的定性图像分析，将2,919个图像属性并入多层感知器中，其能够：(1)以100％的准确度区分病变标本与非病变标本；(2)以90％的准确度区分胶质肿瘤与非胶质肿瘤；以及(3)以90％的准确度区分在非病变组织、低级别胶质瘤、高级别胶质瘤和非胶质瘤，如图9a至图9c所示。

现在参照图11，提供了常规组织学的工作流程与相应的SRH图像生成的工作流程的比较。如图11所示，SRH由于消减了常规技术固有的时间和资源而可以用于简化和加速当前的术中组织学实践。SRH的核心优势是如图11所示的获取组织学图像的直接过程。常规技术需要必须在规范的专用病理实验室中实行的涉及有毒化学物质的7至10个处理步骤，而SRH可以以三个简单步骤来执行，所有这些步骤都可以在几分钟内在操作室内执行。

通过简化术中组织学的实践，将以如下方式改进癌症患者的临床护理：1)减少在建立术中诊断时操作室中的停工时间；2)对于一定范围的标本，依赖于不易出错且更均匀的制备组织的协议；3)依赖于不引入冷冻伪影并保留组织和细胞构造的组织制备协议；4)为病理学家建立用以评析诊断组织学图像并且在医院内以及医院之间与外科医生交流发现的直接方式；以及5)提供术中病理学数据的中央数据储存库，其可以用于开发和测试AI方法以帮助诊断。

除了前述益处之外，SRH还提供其他益处。例如，(i)SRH不依赖染料，并且(ii)SRH可以在操作室常见的环境照明条件下进行。这两个属性均有助于确保操作室中的手术团队能够成功实行SRH，并且对现有工作流程的干扰最小。SRH具有使被成像的组织完全不受干扰的附加益处。由于未以任何方式对组织进行标记，因此可以在以后将组织用于常规H&E染色、组织化学分析和测序。此外，尽管存在其他组织学技术，但仅SRH被证明具有与固有化学对比度和亚微米空间分辨率结合以揭示实现快速癌症检测和诊断的组织形态学线索的能力。

存储医学图像的工业标准借助DICOM格式。DICOM图像通常存储在PACS上。先前已经建立了用于将SRH图像转换成DICOM格式以及将SRH图像存储在医院PACS系统上的路径，可以经由基于Web的DICOM查看器通过来自医院电子医疗记录的链接来访问PACS系统。然而，利用常规系统和方法无法记录评论、对图像进行诊断或注解。

因此，本文描述的系统和方法的一个目的是提供高速路径，通过该高速路径，小信息包可以在医院网络内从病理学家的工作站传输至操作室中的SRH成像器，以促进SRH图像审阅期间外科医生与病理学家之间的协作等。以这种方式，利用本公开内容的系统和方法的病理学家可以操纵(平移、缩放)操作室中的SRH成像器上的SRH图像，并且使用可见光标或静态动画工具来注解图像内的关键特征。这可以允许病理学家向外科医生确切地展示为什么他或她得出了给出的诊断结论，其优点是病理学家无需到冷冻切片实验室审阅玻片并且外科医生无需为了审阅玻片并与病理学家讨论诊断结果而离开操作室中的患者。

现在转至图12，示出了用于实现SRH图像的双向传输和注解的系统的一个示例(例如，网络架构)。该系统可以促成通过集中式图像数据中心将操作室中的SRH成像系统链接至病理学家的虚拟协作空间。具体地，该系统可以包括驻留在操作室中的成像子系统和相对于操作室远程定位的图像解译子系统。成像子系统以上述方式捕获组织样本的图像。通信装置与成像子系统对接并且进行操作以通过网络将图像传送至图像解译子系统。图像解译子系统进而操作以显示组织样本的图像。在一些实施方式中，已设想到图像解译子系统还包括诊断模块，该诊断模块也以上述方式操作。

根据一些示例，系统可以如下操作。神经外科医生与神经病理学家之间的无限制沟通有助于在脑肿瘤手术期间建立初步诊断并且创建治疗计划。然而，操作室与冷冻切片实验室之间的物理间隔以及玻片制备所需的时间可能妨碍手术期间神经外科医生与神经病理学家之间关于组织诊断的自由沟通。例如，在操作期间，外科医生可能难以离开手术室与神经病理学家会面并且在冷冻切片实验室中评析玻片。病理学家也可能难以在医学园区的多个冷冻切片实验室中进行监督并作出诊断，从而增加了为外科医生提供指导所需的时间。

因此，结合本文所述和图12所示的协作系统，可以根据建立的DICOM通信协议通过医院PACS系统执行大图像数据集。可以通过超越DICOM的单独通信通道执行实时协作，并且允许元数据的高速双向通信(例如，实时成像平移/缩放或注解)。

在SRH成像器、PACS档案库和病理学家工作站之间实现通信路径面临的两个示例性挑战包括：(1)确保数据完整性；以及(2)为相当大的数据集(数百兆字节)提供实时协作。为了解决这些挑战，本文所述和图12所示的体系结构促进了根据建立的医学数字成像和通信(DICOM)通信协议通过医院PACS系统进行的数据交换，以确保大型医学图像数据集(最初设计用于大型MRI 3D图像数据集)的通信的鲁棒性和建立在外科医生与病理学家之间以用于实时协作的通过对等通信的第二通信路径。在该体系结构中，成像器的现有图形用户接口(GUI)的功能可以针对外科医生而被扩展，并且可以包括针对病理学家的新颖的图像查看器。

根据本公开内容的一个实现方式，提供了用于优化SRH成像器图形用户接口(GUI)的系统和方法。此外，本公开内容提供了SRH图像查看器，其具有用于向PACS档案库传送SRH图像和从PACS档案库传送SRH图像的快速、DICOM兼容的上传和下载能力。根据一个示例，可以利用来自H.R.Z.软件服务有限公司的DICOMIZER软件等将SRH图像转换成DICOM格式。经转换的SRH图像可以被上传至PACS系统(例如，医院PACS系统)，并且例如经由链接至电子医疗记录的Epic图像查看器等进行访问。以这种方式，可以将该功能集成在SRH成像系统的GUI中，使得在执行图像获取时自动开始上传。SRH图像可能非常大(呈RGB的100兆像素，即，约300兆字节)，但获取速率(～1MB/s)慢于典型的医院内联网速度。因此，通过与图像获取并行地开始上传，可以实现最小的时延。

类似地，本公开内容提供了针对病理学家的SRH图像查看器，其能够识别对PACS系统的研究并且下载图像。在一个示例中，SRH图像查看器可以被配置成周期性地(例如，重复不断地)对PACS系统进行ping操作以获取新的图像数据，并且随着数据从SRH成像系统出现开始下载数据。通过依靠针对图像通信的严格DICOM标准和建立的PACS系统，可以确保数据完整性。

根据本公开内容的其他实现方式，提供了用于注解SRH图像以实现快速协作的双向路径的接口。尽管PACS系统是为承载大型图像数据而设计的，但它们并未被设计用于快速协作。在读取冷冻切片期间，病理学家通常会展示具有支持他们推荐的诊断的诊断组织构造的区域。因此，本公开内容的一个目的是提供允许病理学家评析图像，向图像元数据中插入注解以及编辑包含用于记录诊断想法的自由文本框的表单的快速路径(不存在感知的时延)。所有注解和呈现的诊断都可以在操作室中在对组织成像的SRH成像器上可见。

通过应用本文公开的系统和方法，当经注解的图像和/或诊断可用时，将在操作室中实时地通知等待病理结果的外科医生。关键的实现效果是，，原始图像数据集已经通过PACS通信被呈现在成像器和查看器上，并且仅需要传送当前图像坐标、缩放水平和注解而无需传送全HD图像，这将是非常低的数据量(例如，几个字节)。根据一个示例，本文描述的成像器GUI和成像器查看器可以配备有针对图像元数据(例如，注解或图像坐标/缩放)的对等直接通信协议。

根据一些示例，在实现本文描述的系统和技术之后，病理学家可以在获取的1分钟内查看上传的SRH图像，并且外科医生可以在感知不到时延的情况下查看病理学家在SRH图像中的注解。

现在转至图13，提供了示出用于使用合并的SRH图像和常规组织学图像执行诊断的方法的流程图。通过将SRH诊断与由研究病理学家进行的常规组织学诊断和/或由会诊病理学家进行的临床诊断相结合，可以提高给出的诊断的准确度。

现在转至图14，提供了示出根据一个示例实现方式的缝合图像获取的图。缝合图像获取可以作为本文所述的允许快速协作的对SRH图像注解的双向通信路径的一部分或与其结合来实行。

更具体地，并且继续参照图14，描述了根据本公开内容的各方面的用于获取、传送和显示术中组织学图像的系统。

因为外科医生并非总是病理学方面的专家，因此他们依赖专门的病理学家进行术中会诊。在当前的临床实践中，对组织进行活检并且将其运输到冷冻切片实验室进行处理。病理学家来到该实验室对染色的组织切片进行解译，并且告诉外科医生结果。替选的术中组织病理学(受激拉曼组织学(SRH))对操作室(OR)或服务多个OR的相邻核心实验室中的新鲜组织标本进行分析。病理学家通常不去OR，因为进入无菌环境是耗时的，并且在许多机构中，病理学家在医院的不同部分。在一些情况下，手术在没有专门病理学人员的附属环境或医院执行。

因此，需要以数字格式将图像从成像器传输至解译站。术中组织病理学成像系统的关键特征之一是诊断时间，因为OR时间是宝贵的；通常期望使受麻醉的时间最小化，并且长的诊断等待时间会抑制使用病理学作为映现手术腔以了解残余肿瘤的手段。因此，期望使图像数据的传输时间最小化。

已知病理学成像数据非常大，因为以高分辨率扫描并缝合毫米到厘米大小的组织标本。单个视场(FOV)的大小取决于物镜的放大倍数和采样，但通常约为500μm×500μm，因而扫描5mm×5mm的组织区域需要缝合100个FOV。通常，各个FOV具有1至5兆像素(即，在8位RGB模式下为3MB至15MB)，并且因此缝合图像将为300MB至1.5GB，并且仅图像传输就可能花许多分钟。先进的方法使用条带平铺，其中在机动台沿正交方向移动的同时获取线图像，以获取呈图像条带形式的FOV，其长度与物镜长度无关。尽管这种方法减少了需要缝合的FOV的数量，但并没有减少数据的大小。

FOV是组织标本的较大图像的子集，FOV可以或可以不与邻近FOV具有一些交叠。在一些情况下，FOV可以被缝合以提供组织标本的较大图像。FOV可以被单独解译、保存或传输至远程存储、解译或查看站。FOV的性质可以与如何获取图像有关。在一个示例中，借助于条带平铺来获取图像，其中，通过1轴扫描镜或线相机扫描图像，并且机动台沿或多或少垂直的方向移动样本以随着时间获取图像条带。在这种情况下，FOV将是矩形条带。在另一示例中，可以将条带人为地细分为子部分，每个子部分可以是其自己的FOV。在又一示例中，通过使用2轴扫描仪或2D相机来获取图像。在这样的示例中，FOV可以是来自该2D扫描或图像的输出。在其他示例中，可以将这样的2D扫描或图像细分为子部分，每个子部分可以是其自己的FOV。这样细分的FOV的大小会更小。

现有的数字病理学系统将图像获取、传输和显示视为独立系统。获取系统完成图像的扫描和缝合并且将其作为整体进行传输。这有助于确保医学图像的数据完整性。经常使用压缩算法来减小数据大小，但是压缩算法可能以不可预测的方式损害图像质量，这对于医学图像数据而言是不理想的。

因此，本公开内容提供了替选的系统架构，其中，FOV作为部分图像被传送，并且由查看系统基于表示例如获取顺序的识别标签来执行组合图像的缝合和显示，获取顺序可以基于获取系统与查看系统之间的共享设置而与图像中条带的位置相关联。使用这种方法，成像系统一获取部分图像就可以启动图像传输，而不必等到所有部分图像都被获取并缝合。

在一个示例中，数据传输可以是对等的，使得成像仪器直接连接至解译站。在其他示例中，连接可以包括一个或更多个中间设备。例如，在一些实施方式(例如，图12中所示的实现方式)中，成像仪器可以通过PACS(在一些示例中其可以被实现为一个或更多个服务器计算机)与图像解译站通信。在后一种情况下，图像上传至PACS系统和从PACS系统下载图像可以基于部分图像数据，并且可以由查看系统执行组合图像的组装。

通常，医学图像数据符合存储和传输成像文件的DICOM标准。根据一些示例，本文描述的方法可以适于在该框架内工作。在图像获取开始时，可以在PACS系统或观看系统处生成新序列，并且可以经由网络传输部分图像。在一些示例中，可以利用与图像数据整体关联的DICOM标签，以将部分图像与样本中的特定位置自动关联。这样的标签可以是实际位置(例如，表示部分图像的中心位置)，或者可以是能够基于获取协议的知识与实际位置相关联的抽象数字。然后，查看系统可以接收这些部分图像并将其下载为组合图像。查看系统可以等到整个获取完成，或者当部分图像变得可用时开始显示部分图像数据。可以在相邻或交叠的位置处获取图像，并且查看系统可以开始修改组合图像，或者图像可以来自分开的位置，这些位置仅在组装整个图像之后才提供完整图像。

DICOM的一个优点是它与现有的医院IT基础结构兼容。然而，应当注意，本文描述的概念和示例可以与DICOM图像存储和传输协议无关，并且可以应用于本领域已知的任何图像数据格式(例如*.jpg、*.tiff、*.bmp等)。这在提供包括图像获取系统、数据存储解决方案和/或查看站中的一个或更多个的专用SRGH术中病理学解决方案的情况下尤其成立。在这种情况下，使用DICOM以外的数据格式或传输协议会是有利的。

在许多应用中，有利的是，获取具有一定程度的空间交叠的部分图像，并且使用交叠算法将两个邻近的部分图像交叠和合并为组合图像(例如，使用互关联和/或线性/非线性拉伸)。这样的交叠和合并可以在成像获取系统或观看系统上执行。在第一种情况下，仍然可以由查看系统执行对部分图像的基于位置的简单缝合，但是数据将以如下方式组织：交叠区域的合并部分将仅随第二部分图像传输。

一些术中组织学技术(包括本文所述的那些)可能依赖于同时或依次实行的多色成像。同一组织区域中的不同颜色通道可以以多通道图像的形式组合传送，或可以作为单个通道图像单独传送。在后一种情况下，本文所述的查看系统可以被配置成将这样的图像组装成多通道图像。

在一些示例中，可能有利的是，在与控制图像获取的计算机系统分开的计算机系统上执行计算机辅助的图像解译或诊断。如果单独的计算机系统比成像系统的计算机系统(例如，基于医院的服务器或基于Web的服务器)具有更大的计算能力，则可能是这种情况。单独的计算机系统可以是医院网络的一部分，或可以是远程的。如果成像系统的计算机系统不应受解译所需的计算负荷的影响以使其可以确保正确地执行图像获取，例如需要关键定时，则也可能是这种情况。在这样的示例中，可能期望对单独的FOV而不是完整图像执行计算机辅助的图像解译或诊断，并且允许各个FOV的部分图像传输。一旦FOV在单独的计算机系统上可用，则可以启动计算机辅助的图像解译和诊断。计算机系统可以包括个人计算机(PC)、服务器、微控制器、GPU或FPGA。

在一些示例中，执行图像解译或诊断的计算机系统可以是与控制图像获取、确定何时已获取足够的图像数据以基于到目前为止获取和解译的FOV呈现具有足够的置信度的图像解译或诊断的计算机系统相同或不同的计算机系统。例如，可以通过组合来自各个FOV的图像解译或诊断并且应用一些加权(例如，各个FOV的置信度)来生成图像解译或诊断的总体置信度得分。通常，获取和解译较多的FOV将产生更好的总体置信度，但可能是如下情况：特定图像解译或诊断的置信度高于基于一个或几个FOV的某个阈值，或者通过获取和/或解译较少的FOV所节省的时间比增加置信度水平更为重要。在某种程度上，这可能取决于所需的诊断水平，例如，区分病变组织与非病变组织可能基于或几乎不基于FOV，而区分例如胶质肿瘤与非胶质肿瘤或者建立完整的术中诊断可能需要获取和解译更多FOV。基于期望的输出和针对这些情况中的每种情况的诊断的正确解译的置信度水平，执行诊断的图像解译的计算机系统可以确定已经获取和/或解译了足够的FOV。

在一些示例中，并非需要FOV中的每个像素来呈现图像解译或诊断，并且可能有利的是，通过下采样来减少计算能力和/或时间。如以下示例中所述，从1000×1000像素FOV或1024×1024像素FOV到299×299像素FOV的下采样可以产生优异的解译结果，同时将数据量减少10倍以上。该结果是出乎意料的，因为通常，用于人工解译的成像系统力图提供例如通过分辨率和/或采样密度测量的尽可能最佳的图像质量。例如，可能采用分辨率<＝500nm并且FOV>＝500um的昂贵的奥林巴斯25×1.05NA物镜，并且获取系统可以获取>＝1000×1000像素，以进行采样(甚至对光学分辨率进行过采样)。然而，在保持计算机辅助图像解译或诊断的可接受的结果的同时，对这些图像进行下采样可能是可接受的。因此，根据一些示例，本文所述的成像系统可以被配置成以与光学分辨率匹配(或过采样)的采样获取图像，然后对图像进行1D或2D下采样方法，例如使用内插、滤波、卷积等离散方法(例如，选择每个第三样本)或更高级的方法。在其他示例中，本文所述的成像系统可以被配置成例如通过在数据获取中选择适当的采样率和/或数字滤波器和/或通过选择2D方向上的非对称采样来直接产生欠采样图像(例如，在借助于条带平铺获取图像的情况下，可能可以以比获取正方形像素所需的速度快的速度将载物台沿与1D光束扫描方向基本垂直的方向移动)。例如，当通过控制图像获取的同一计算机系统执行图像解译或诊断时，可以使用FOV的下采样或欠采样，或者可以将FOV的下采样或欠采样与上述系统和方法结合使用，其中在将图像传送至单独的计算机系统以进行图像解译或诊断之前执行下采样，以尝试减小传输大小。

鉴于前述内容，根据本公开内容的一个示例，提供了用于获取和查看组织标本的放大图像的系统。该系统可以包括：(i)显微镜系统，其被配置成在组织标本的第一位置处获取至少第一部分放大图像并且在组织标本的第二位置处获取第二部分放大图像；(ii)第一计算机系统，其被配置成经由网络传送和上传第一部分放大图像和第二部分放大图像；以及(iii)至少第二计算机系统，其被配置成接收和/或下载第一部分放大图像和第二部分放大图像，并且(例如，经由被包括为第二计算机系统的一部分的显示装置)将第一放大图像和第二放大图像显示为组织标本的组合放大图像。

除了提供用于获取、传送和显示术中组织学图像的系统，根据本公开内容中的一些示例，还公开了用于使用一种特定类型的机器学习(一种卷积神经网络(CNN))来基于SRH图像诊断医学病症的系统。

更具体地，本文描述的系统和方法的一个目的是提供用于预测术中诊断的CNN，即，基于机器学习的计算模型，其在无需人工输入的情况下准确地将术中组织标本分类。这种进步加上快速的SRH图像获取时间可以允许外科医生在获得组织的几分钟内获得关键的诊断信息。为了实现基于CNN的诊断，本文所述的系统可以考虑以下中的一个或更多个：图像预处理(例如，归一化、增强、统计分割等)、网络结构、大小以及CNN诊断性能的输出基数。

在一个示例中，SRH获取过程可以包括以拼接图案对视场(FOV)依次成像，直到已经对整个玻片成像。然后可以缝合每个FOV以创建整个玻片的完整的高分辨率图像。在一个示例中，病理学家可以使用基于Web的接口来审阅将被包括在训练集中的所有FOV，消除空白区、烧灼伪影或血凝块占主导的FOV。

其余的FOV可能包含表示冷冻切片诊断(基本真值)的组织构造特征。手动审编允许将高质量、准确的FOV用于机器学习分类器的训练。在一些示例中，在测试集中未使用经手动审编的FOV。当前约450位患者的数据集已产生约1000个组织玻片和70,000个FOV。SRH数据存储和可视化服务器的一个示例可以包括4核4.0GHz、32GB存储器和2TB HDD台式计算机。然而，在不脱离本公开内容的教导的情况下，可以等同地采用其他合适的数据存储和可视化计算装置。

在一个示例中，可以分别在训练类、验证类和测试类之间随机划分70％/10％/20％的患者。这种划分允许在每个类中最少一个患者具有要表示的每种诊断。没有患者会具有跨越训练/验证/测试划分的玻片和/或FOV。

用SRS显微镜获取FOV是一种可重复、稳定且确定性过程。然而，为了防止组织或获取物中的小变化使分类器有偏差，本公开内容提出了两种在将FOV包括在机器学习流水线的其余部分中之前对每个FOV的预处理步骤：1)平均减法：对每个图像的每个通道执行平均减法允许去除任何获取伪影；2)以零为中心和归一化：这允许移除FOV之间可能存在的任何亮度和对比度差异。

在这些图像的获取中没有固有的旋转或空间取向：无论如何呈现FOV，神经病理学家都可以同样地对图像进行诊断。使用该原理，存在可以增强用于训练的多个独特FOV的许多保留事实的变换。通过竖直和水平镜像反射以及基本旋转，单个FOV可以在不遮盖任何诊断信息的情况下生成16个独特的FOV。这可以将训练大小从49,000个FOV(70,000个FOV*0.7训练比例)扩大到392,000个FOV(49,000个独特的训练FOV*4次旋转*2次镜像反射)。

根据本公开内容的一些示例，可以使用卷积神经网络(CNN)进行FOV的诊断。CNN构成了用于将原始图像转换为不同类集的分类的计算机视觉解决方案。已经出现了一些用于解决真实世界的对象识别问题的著名的CNN，包括InceptionV3、InceptionV4和Xception。根据某些示例，可以利用上述FOV训练集来训练这些网络中的每一个，旨在在验证集上优化准确性并且在测试集上进行测试。为了使训练时间最小化，可以根据真实世界的挑战首先使用预训练的权重，这也被称为迁移学习。此外，可以基于卷积、激活和最大合并的CNN运算符创建多个新颖的网络。

以这种方式，本文阐述的系统和方法可以提供高性能的CNN，其能够分析FOV并且针对每个FOV输出可能的诊断。这可以利于对整个组织标本的准确、快速的诊断。

术中组织经常包含组织构造的异质混合物，这使完整的标本诊断复杂化。因此，本文所述的系统和方法的一个目的是使用在各个FOV上收集的分析来准确地诊断整个标本。

现在转至图15，提供了示出用于使用CNN实现诊断的一个示例方法的流程图。在一个实施方式中，诊断模块通过对图像应用第二方法(例如，通过确定细胞结构的定量测量)来生成对组织样本的第二诊断。例如，在与上述基于CNN的分析并行的流水线中，可以提供利用诸如CellProfiler等图像细胞性工具(即，自动细胞图像分析)对每个FOV的定量分析。根据一些示例，可以(但不必总是)使用该附加信息来补充针对每个FOV的基于CNN的诊断。在示例实施方式中，当第二诊断与来自机器学习算法的对组织样本的诊断匹配时，诊断模块输出诊断，但在其他方面，当第二诊断与来自机器学习算法的对组织样本的诊断不匹配时，诊断模块将组织样本分类为无诊断类。注意，第二方法优选地不使用机器学习。

更具体地，神经元网络被设计成将图像分类成预定类别，并且可能难以预测故障模式(例如，成像系统的使用错误或硬件故障)如何影响神经元网络的输出。提出了一种方法，其中通过两个或更多个独立的装置来分析图像，这两个或更多个独立的装置一起提供计算机辅助分析(例如，卷积神经元网络用于呈现术中诊断，以及诸如CellProfiler的细胞计数器用于生成对细胞结构的测量)。仅在两个装置均符合预定义的度量标准的情况下才提供最终输出(例如，仅在细胞结构高于某个阈值的情况下才呈现对“高级别胶质瘤”的诊断，或者对于“正常白质”的诊断需要细胞结构测量低于某个阈值)。在独立装置不符合预定义的度量标准的情况下，最终输出指示无分类。

在另一特征中，可以训练神经元网络以提供一定水平的细胞结构(例如，每个样本区域的细胞核)。这可以是有用的指示，因为肿瘤通常具有升高的细胞结构水平。尽管已经证明这些方法对常规组织学图像(例如，H&E切片)或用细胞核染料(例如，DAPI)染色的细胞/组织有效，但是由于图像对比度对于细胞核不太特异，因此尚未扩展到SRH。特定的问题来自于表现为球形对象的红细胞、表现为与细胞核具有相同拉曼签名的富含胶原质的纤维、以及白质组织中被髓鞘化轴突的强拉曼信号淹没的细胞核。出乎意料的是，如果在训练集中包括适当的带注解的数据集，则可能将神经元网络训练成基于SRH图像提供鲁棒的细胞结构测量。

利用输入构成整个组织玻片的N个FOV，CNN可以提供与每个诊断的概率对应的N个分类向量。此外，定量图像细胞术分析可以提供描述每个FOV的细胞计数、细胞核和纹理特性的数据的另外N个向量。为了将这些数据向量中的每一个融合到整个玻片诊断中，可以包括完全连接的多层感知器，以将这些数字输入中的每一个转化为诊断。可以合并的其他技术包括随机森林和基于平均概率的统计非机器学习方法。在图15中总结此处提出的自动诊断的整个工作流程。

在整个本公开内容(包括权利要求书)中描述的系统所具有的特定功能可以适当地由一个或更多个模块执行。在本公开内容中，包括以下定义，术语“模块”或术语“控制器”可以用术语“电路”来代替。术语“模块”可以指、作为其中一部分、或包括下述部件：专用集成电路(ASIC)；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列(FPGA)；执行代码的处理器电路(共享、专用或组)；存储由处理器电路执行的代码的存储器电路(共享、专用或组)；提供所述功能的其他合适的硬件部件；或者上述中的一些或全部的组合，例如在片上系统中。

模块可以包括一个或更多个接口电路。在一些示例中，接口电路可以包括连接至局域网(LAN)、因特网、广域网(WAN)或其组合的有线接口或无线接口。本公开内容的任意给定模块的功能可以分布在经由接口电路连接的多个模块之中。例如，多个模块可以实现负荷平衡。在另一示例中，服务器(也称为远程或云)模块可以代表客户端模块来实现一些功能。

上文使用的术语“代码”可以包括软件、固件和/或微代码，并且可以指代程序、例程、函数、类、数据结构和/或对象。术语“共享处理器电路”包含执行来自多个模块的一些或全部代码的单处理器电路。术语“组处理器电路”包括与附加的处理器电路结合的执行来自一个或更多个模块的一些或全部代码的处理器电路。对多处理器电路的引用包括分立晶片上的多处理器电路、单个晶片上的多处理器电路、单处理器电路的多个核、单处理器电路的多个线程、或者以上的组合。术语“共享存储器电路”包含存储来自多个模块的一些或全部代码的单存储器电路。术语“组存储器电路”包含与附加存储器结合的存储来自一个或更多个模块的一些或全部代码的存储器电路。

术语“存储器电路”是术语“计算机可读介质”的子集。如本文中所使用的，术语“计算机可读介质”不包含通过介质(例如在载波上)传播的暂态的电信号或电磁信号，因此术语“计算机可读介质”可以被认为是有形的且非暂态的。非暂态有形计算机可读介质的非限制性示例有非易失性存储器电路(例如闪速存储器电路、可擦除可编程只读存储器电路、或掩模型只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)和光存储介质(例如CD、DVD或蓝光光盘)。

本申请中描述的设备和方法可以由通过将通用计算机配置成执行体现在计算机程序中的一个或更多个特定功能而创建的专用计算机来部分地或完全地实现。上述功能块、流程图组件和其他元件用作软件说明，其可以通过有经验的技术人员或编程人员的例行工作被编译成计算机程序。

计算机程序包括存储在至少一个非暂态、有形计算机可读介质上的处理器可执行指令。计算机程序还可以包括或依赖于存储的数据。计算机程序可以包含与专用计算机的硬件进行交互的基本输入/输出系统(BIOS)、与专用计算机的特定装置交互的装置驱动器、一个或更多个操作系统、用户应用程序、后台服务、后台应用程序等。

计算机程序可以包括：(i)要解析的描述性文本，例如HTML(超文本标记语言)、XML(可扩展标记语言)或JSON(JavaScript对象符号)；(ii)汇编代码，(iii)由编译器根据源代码生成的目标代码，(iv)用于由解译器执行的源代码，(v)用于由即时编译器编译和执行的源代码，等。仅作为示例，源代码可以使用下述语言的语法来编写，所述语言包括：C、C++、C#、Objective C、Swift、Haskell、Go、SQL、R、Lisp、

Fortran、Perl、Pascal、Curl、OCaml、

HTML5(超文本标记语言第5版)、Ada、ASP(动态服务器页面)、PHP(PHP：超文本预处理器)、Scala、Eiffel、Smalltalk、Erlang、Ruby、

Visual

Lua、MATLAB、SIMULINK以及

出于说明和描述的目的，已经提供了实施方式的上述描述。其不旨在穷举或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式，而是在适用的情况下可互换并且可以用于所选择的实施方式中，即使没有具体示出或描述。特定实施方式的各个元件或特征可以以许多方式变化。这样的变型不被视为脱离本公开内容，并且意在将所有这样的修改包括在本公开内容的范围内。

Claims

1.一种系统，包括：

成像装置，其在组织样本的光学切片处捕获所述组织样本的图像，其中，所述组织样本的厚度大于所述光学切片；以及

诊断模块，其被配置成从所述成像装置接收所述组织样本的所述图像，并且通过向所述图像应用机器学习算法来生成对所述组织样本的诊断。

2.根据权利要求1所述的系统，其中，所述成像装置使用受激拉曼散射来生成所述组织样本的图像。

3.根据权利要求2所述的系统，其中，所述成像装置以2820cm^-1至2880cm^-1范围内的第一拉曼位移以及以2920cm^-1至2980cm^-1范围内的第二拉曼位移对所述组织样本成像。

4.根据权利要求3所述的系统，其中，所述成像装置还以2750cm^-1至2820cm^-1范围内的第三拉曼位移对所述组织样本成像。

5.根据权利要求1所述的系统，其中，所述诊断模块使用卷积神经网络来生成对所述组织样本的诊断。

6.根据权利要求1所述的系统，其中，所述诊断模块将所述组织样本分类为包括有肿瘤组织类或非肿瘤组织类的类别，其中，所述肿瘤组织类是具有肿瘤的组织样本，而所述非肿瘤组织类是没有肿瘤的组织样本。

7.根据权利要求6所述的系统，其中，所述肿瘤组织类包括手术子类和非手术子类，其中，所述手术子类指示应当通过手术去除肿瘤，而所述非手术子类指示不应当通过手术去除肿瘤。

8.根据权利要求6所述的系统，其中，所述非肿瘤组织类包括针对正常脑组织的子类和针对胶质增生组织的子类。

9.根据权利要求7所述的系统，其中，所述手术子类包括针对胶质瘤的子类和针对非胶质瘤的子类。

10.根据权利要求9所述的系统，其中，所述针对非胶质瘤的子类进一步包括针对神经鞘瘤的子类、针对脑膜瘤的子类、针对转移性肿瘤的子类、针对垂体瘤的子类和针对髓母细胞瘤的子类。

11.根据权利要求9所述的系统，其中，所述针对胶质瘤的子类进一步包括针对胶质母细胞瘤的子类和针对低级别胶质瘤的子类。

12.根据权利要求1所述的系统，其中，所述诊断模块将所述组织样本分类为类别，使得所述类别中的至少一个是针对无法归类的图像的无诊断类。

13.根据权利要求12所述的系统，其中，所述诊断模块使用神经网络将所述组织样本分类为类别，并且所述神经网络是利用被指定为无法归类的图像训练的。

14.根据权利要求12所述的系统，其中，所述诊断模块通过向所述图像应用第二方法来生成对所述组织样本的第二诊断，并且在所述第二诊断与来自所述机器学习算法的对所述组织样本的诊断不一致的情况下，将所述组织样本分类到所述无诊断类中，其中，所述第二方法不使用机器学习。

15.根据权利要求14所述的系统，其中，所述诊断模块通过确定细胞构成的定量测量来生成对所述组织样本的第二诊断。

16.根据权利要求1所述的系统，其中，所述诊断模块通过确定所述组织样本的细胞构成的定量测量来生成对所述组织样本的诊断。

17.根据权利要求1所述的系统，其中，所述诊断模块接收所述组织样本的两个或更多个图像段，通过向每个图像段应用所述机器学习算法来生成对所述图像段的诊断，并且通过将对所述图像段的诊断进行聚合来生成对所述组织样本的诊断。

18.根据权利要求17所述的系统，其中，对于每个图像段，所述诊断模块使用神经网络将所述组织样本分类成类别，由此产生每个类别的概率并且将遍及所述类别的概率归一化为一。

19.根据权利要求18所述的系统，其中，所述诊断模块通过省略对被分类在无诊断类中的图像段的诊断来生成对所述组织样本的诊断，其中，所述无诊断类指示给定段无法归类。

20.根据权利要求18所述的系统，其中，对于所述给定图像，所述诊断模块将任何非肿瘤组织类的概率设置为零并且将遍及所述类别中的所有类别的概率重新归一化为一，其中，所述非肿瘤组织类指示组织样本没有肿瘤。

21.一种系统，包括：

成像装置，所述成像装置通过进行光学切片来捕获组织样本的至少一个图像；

图像解译子系统，其被配置成从所述成像装置接收所述至少一个图像并且进行操作以显示所述组织样本的所述至少一个图像；以及

通信模块，所述通信模块与所述成像装置对接，并且进行操作以将所述至少一个图像从所述成像装置传送至相对于所述成像装置远程定位的所述图像解译子系统。

22.根据权利要求21所述的系统，其中，所述图像解读子系统包括诊断模块，所述诊断模块被配置成接收所述组织样本的所述至少一个图像，并且通过对所述图像应用机器学习算法来生成对所述组织样本的诊断。

23.根据权利要求22所述的系统，其中，所述成像装置使用至少两个不同视场来捕获所述组织样本的多个图像，所述通信模块在所述捕获完成之后传送所述多个图像中的每个图像，并且所述图像解译子系统将所述多个图像组装成所述组织样本的一个组装图像并且显示所述组装图像。

24.根据权利要求23所述的系统，其中，所述诊断模块通过应用所述机器学习算法来生成对从所述成像装置接收的每个图像的诊断，并且通过将对所述多个图像的诊断进行聚合来生成对所述组织样本的诊断。

25.根据权利要求21所述的系统，其中，所述通信模块根据医学数字成像与通信(DICOM)通信协议来传送所述图像。

26.根据权利要求21所述的系统，还包括图片存档与通信系统(PACS)，其中，所述通信模块将所述图像传送至PACS以进行存储。

27.根据权利要求21所述的系统，其中，所述图像解译子系统经由第二通信链路将对所述组织样本的解译从所述图像解译子系统传送至所述成像装置。

28.根据权利要求27所述的系统，其中，对所述组织样本的解译呈DICOM结构化报告的形式。