CN112789622A - 针对生物样本的增强的焦深扩展 - Google Patents

Abstract

一种用于构建三维生物样本的数字合成图像的系统和方法。该系统包括光学系统，其捕获载玻片上存在的细胞和组织的图像。该系统系统地获取整个样本载玻片上不同片段处的图像栈。对于每个片段，系统动态地计算最佳焦平面。一旦为每个图像栈确定了最佳焦平面，系统就通过从每个最佳焦平面复制最清晰的对象来生成合成图像。

Description

针对生物样本的增强的焦深扩展

技术领域

本发明总体上涉及医疗诊断领域。更具体地，本发明属于用于处理数字显微镜图像的改进的系统和方法以便于癌和癌前组织和细胞的检测。

背景技术

病理学家通常利用高分辨率显微镜来检查组织样本，例如以标识癌症或癌前细胞的体征。为了做出准精确且正确的诊断，病理学家必须在高分辨率显微镜下观察到关注的细胞和组织特征。然而，病理学家使用的高分辨率显微镜具有局限性，这使得难以分析在不同平面上具有感兴趣的对象的厚的生物样本。

具体地，显微镜的镜头只能聚焦在单个点处，并且在焦点前后有限的距离处可以认为是清晰的。该有限的距离称为景深。众所周知，诸如病理学家使用的那些高分辨率显微镜具有有限的或狭窄的景深。因此，出现在显微镜的给定景深或焦平面之外的对象是模糊且失焦的，这迫使病理学家在观察厚的样本时不断地手动改变焦点。这限制了病理学家的生产率，也增加了他或她错过可能仅在狭窄的焦平面中出现的细微特征的概率。

该限制在分析厚的组织样本(例如，比显微镜物镜的景深更厚的那些样本)或不均匀组织样本时尤为严重，这是因为无法在单个焦平面上对整个样本进行成像。这类样本的三维特征需要不断地重新聚焦，以观察样本不同轮廓上的细胞。因此，病理学家看不到关注的整个样本，从而限制了病理学家识别在多个焦平面上扩展的细微的诊断特征的能力。

例如，当获取非撕裂性刷拭活检组织时，使用足够坚硬的刷以便穿透组织。在获取全厚度组织样本的过程中，除单个细胞和细胞团外，还获得了组织片段并将其转移到显微镜载玻片上。例如在专利号为6,258,044的美国专利中描述了这种厚样本的采集。

这样的样本包含单个细胞、细胞团和组织片段，并且基本上是细胞涂片和组织切片之间的混合物。这样的样本可以是例如20至60微米厚。然而，具有0.75NA(数值孔径)的典型20x显微镜的景深可能仅为4微米。因此，这样的样本不容易成像，从而常规的显微镜检查不能提供病理学家在进行诊断时需要的所有信息(例如，完全合焦的图像)。

除单个细胞外，观察组织片段的能力将使病理学家在进行诊断时具有优势。例如，完整的组织向病理学家提供有关组织架构的重要信息，而这些信息在细胞涂片中是不可得的。该益处在胃肠道组织的评估中尤其关键，胃肠道组织是包含各种细胞类型(包括例如腺上皮、鳞状上皮和柱状上皮)的复杂组织。

在专利号为8,199,997的美国专利(“'997专利”)中提供了解决上述问题的一种方案。该专利公开了从厚的三维样本中构成二维图像的系统和方法。这允许病理学家从三维样本中捕获可用信息，而没有与常规显微镜相关联的缺点。'997专利中公开的系统和方法利用焦深扩展(“EDF”)处理技术。如'997专利所述，通过EDF处理，自动显微镜捕获(在同一位置)沿z轴以规律间隔拍摄的成组的图像切片，然后从每个切片中恢复合焦的那些像素以根据合焦的像素构建单个合成图像。

尽管'997专利的发明呈现了对常规显微镜技术的重大改进，然而需要对基于EDF的成像系统进行进一步的改进，以对厚的半透明生物样本进行成像。在这方面，无论图像元素在成组的图像中的位置如何，常规的EDF系统和方法使所有图像元素变得清晰。这些系统和方法可以通过迭代地遍历图像集合并标识每个图像的最清晰部分来实现。然后，仅使用位于图像集中每个图像的最清晰部分中的像素来形成合成图像。该常规过程适用于不透明的对象，在不透明的对象中，无法看到表面以下的任何对象。然而，在半透明图像对象(例如，组织样本)中，显微镜可以看到表面以下的对象，这带来了额外的复杂性。

具体地说，常规的EDF系统和方法将使表面上的对象和表面下的对象合焦，这使得上方对象和下方对象看起来都在同一焦平面上，并导致对象看起来比实际情况更靠近彼此。这种不期望的图像伪影会导致细胞看起来拥挤，因此看起来不健康，这可能显著地改变病理学家和/或计算机系统提供的区域的诊断，例如，从良性变为异常(即，癌前期)。在这方面，健康的组织看起来在细胞之间具有规则的间隔，而在癌组织中，细胞之间的间隔是非常不规则的，或者细胞彼此不均匀地对齐。常规的EDF还具有减小对象之间的z关系以增强聚焦的自然趋势，而期望的是保留细胞核之间的间隔，从而进行真实的诊断。

因此，需要在保持不同平面上的对象之间的空间关系的同时根据图像集合创建合成图像的系统和方法。此外，需要用于标识图像集合的最佳焦平面的系统和方法。

常规的EDF系统的另一个问题是，放大倍率随着显微镜物镜在焦平面之间的上下移动而变化。特别地，当物镜移动时，新对象将出现在焦点上，而其他对象将变得不那么合焦。同时，由于放大倍率的变化，那些不太合焦的对象也变得更小。因此，图像中的边缘随着焦点的变化而移动，并且图像相应地缩小，这有可能使算法将每个移动的边缘识别为每个焦平面上的单独边缘。这可能导致系统将单个边缘分成合成EDF图像中的“阶梯状”的多个相邻边缘。在这种情况下，“移动”的假边缘可能淹没图像本身，并在合成EDF图像上引入阶梯状的伪影。这些伪影可能在合成图像上显示为例如白色片状。

在EDF系统中，通常有利的是沿z轴以较大的图像间步长获得许多图像(例如，为了提高成像过程的速度)。该步长可以接近系统的景深。因此，需要保留对象边缘但允许图像间的较大步长的系统和方法。

此外，需要利用刷拭活检样本中独特地包含的有价值的诊断信息的系统和方法。举例来说，美国和全球范围内的大量患者接受内窥镜检查，从而医生使用内窥镜观察上消化道、胆管或身体其他部位的截面。在这样的过程中，医生可以进行钳夹活检和/或刷拭活检来取回组织样本以进行实验室分析。

在钳夹活检过程中，以给定的间隔从食道的聚焦区域切除组织的一小部分。在实验室中，利用切片机将切下的组织片段切成平片(flat sheet)，以供病理学家进行分析。这样，检验这些常规组织样本的病理学家分析基本上平坦的组织切片，在这种情况下，需要最小程度的重新聚焦。

另一方面，在刷拭活检过程中，具有硬毛的刷拭活检仪器用于扫过大范围的组织并获得宽组织区域的全厚度的组织样本。活检刷去除了小的组织片段，这些组织片段被完整地转移到了载玻片上。由于这些组织片段没有被切片(如上文关于钳夹活检所描述的)，因此保持了组织的自然架构。重要的是，这保留了组织的正面视图，以供病理学家观察和/或通过计算机系统进行分析(与由于组织切片而破坏了正面视图的常规的组织学组织制备不同)。

组织的正面视图提供了有价值的诊断信息。例如，胃肠道的细胞以形成“蜂窝”的格子结构组织。这种六角形组织架构是人体中腺细胞(例如，胆管、结肠、乳房等)以及鳞状和腺组织相遇的过渡区域(例如，食道或宫颈细胞)的典型特征。

在健康的组织中，可以观察到均匀间隔的细胞核，形成蜂窝外观。然而，在早期病变中，单个细胞核可能稍微变大，正常核质比(nuclear cytoplasmic ratio)增加。发生这种情况时，相邻的细胞核彼此靠近并开始聚集在一起。另外，取代挤成有组织的蜂窝，细胞核变得杂乱无章，并且细胞彼此之间的关系在自然状态下变得杂乱无章。因此，存在或缺乏蜂窝结构以及拥挤和混乱的程度是检测早期疾病和辨别异常增生状况与良性状况的重要诊断特征。

尽管刷拭活检能够获得保留组织的正面视图并保留蜂窝以进行临床观察的组织片段，然而形成蜂窝的组成细胞通常位于不同的焦平面，因此，病理学家无法观察合焦的蜂窝。相反，病理学家需要孤立地在第一焦距下观察一个或多个细胞，然后孤立地在第二焦距下观察一个或多个细胞，依此类推。此手动过程不仅繁琐，而且也不可靠。在这方面，病理学家必须记住在不同焦距下细胞之间的关系和距离，然后在大脑中将其观察到的所有信息拼凑起来。打个比方，病理学家被迫查看各个树木而不是观察森林的图片，并试图在他/她的大脑中构建森林的图像。

由于无法保留厚的半透明样本中的细胞之间的空间关系，已知的EDF技术不能合适地对蜂窝成像。因此，蜂窝没有清晰地成像，并且难以评估其规则性和潜在的异常。在常规的EDF系统中，所有细胞核都将出现在同一平面上，从而使蜂窝显得更拥挤，给病理学家以细胞变得异常的错误印象。

因此，需要改进的系统和方法，其可以创建蜂窝结构的合焦的视图以供计算机和/或病理学家进行分析。

发明内容

本发明的目的是提供一种EDF系统，该EDF系统生成生物样本的合焦合成图像，在该合成图像中，将具有诊断意义的重要图像对象呈现为合焦的，并且不强调下面的对象。

本发明的另一个目的是确定生物样本的不同片段的多个最佳焦平面，并从多个最佳焦平面获得图像对象以生成数字合成图像。

本发明的又一个目的是确定组织中的细胞之间的距离是否在预定的健康距离之内，并且当进行这种确定时，不强调由预定的健康距离内的细胞占据的平面之下的图像对象。

本发明的另一个目的是生成组织的正面图像，其中包括该组织的组成细胞位于不同的平面上。

附图说明

参考以下结合附图的详细描述，将更充分地理解本公开的特征和优点，附图中：

图1是使用常规的EDF系统成像的代表性组织样本的示意性截面图。

图2是使用本发明的增强的EDF系统的实施例成像的代表性组织样本的示意性截面图。

图3是根据本发明实施例的增强的EDF系统的框图。

图4是根据本发明实施例的增强的EDF处理方法的实施例的流程图。

图5是示出根据本发明实施例的使用增强的EDF系统捕获的代表性图像的元素的图。

图6是描绘根据本发明实施例的由增强的EDF系统执行的方法的一个步骤的图。

图7是描绘根据本发明实施例的由增强的EDF系统执行的方法的另一步骤的图。

图8A是柱状上皮组织切片的示意性侧面透视图。

图8B是图8A的组织切片的示意性俯视图，示出了蜂窝图案。

图9示出了柱状上皮组织切片的示意性侧视图，其中，组织切片的组成细胞占据不同的平面。

图10示出了柱状上皮组织切片的示意性侧视图，其中，一系列细胞占据上平面，而下面的细胞占据下平面。

图11示出了不使用根据本发明实施例的增强的EDF系统的情况下获得的组织样本的合成图像。

图12示出了使用根据本发明实施例的增强的EDF系统获得的组织样本的合成图像。

图13示出了根据本发明实施例的具有“阶梯状伪影”的样本区域和消除了伪影的同一样本区域的示意性比较表示。

具体实施方式

现在将参考上述附图中的图来描述本发明的实施例。然而，本发明的附图和说明书不旨在限制本发明的范围。将理解的是，在不脱离本发明的精神的情况下，可以对本发明的本说明书进行各种修改。而且，可以省略本文描述的特征，可以包括附加特征，和/或可以以与本文描述的特定组合不同的方式组合本文描述的特征，所有这些都没有背离本发明的精神。

如上所述，常规的EDF系统通常在生成合成图像时从每个焦平面盲目地提取最清晰的像素。因此，当将这样的算法应用于厚的半透明生物样本时，常规的EDF系统不一定考虑哪些特定像素属于哪些特定对象，因此有时无法保留这些对象的空间布置。例如，在多个对象或细胞位于不同的平面中(但彼此重叠)的情况下，由常规的EDF系统生成的合成图像可能看起来表示单个细胞，而实际上存在彼此堆叠的多个细胞。这是因为当使用常规的EDF时，并不总是保留不同平面中对象之间的空间关系。这个问题会显著地改变由病理学家和/或计算机系统呈现的区域的诊断，例如，从良性变为异常(即，癌前期)。

图1展示了常规的EDF系统的操作。样本1是深度为D的半透明组织样本，并且包含感兴趣的对象(例如，细胞)10、20和30。对象30位于第一焦平面(最靠近样本顶部)上，对象20位于第二较低的焦平面上，对象10位于第二焦平面下方的第三焦平面上。位于第二焦平面中的对象20与位于第三焦平面上的对象10重叠。标准EDF系统的输出在合成图像5中示出。可以看出，常规的EDF系统在生成合成图像时盲目地提取与各焦平面中最清晰的对象相对应的像素。常规的EDF平面6没有考虑或保留样本1中各种对象的空间关系。因此，即使对象10和20实际上位于不同的平面上，它们在合成图像5中看起来也挤在一起。这些对象可能错误地显示为合成图像5中的单个细胞或群(mass)，这可能导致病理学家或计算机系统做出错误的诊断。关于这一点，当合成图像5仅包括位于不同平面上的健康细胞时，病理学家可能将其解释为异常。因此，期望的是EDF系统能够提供对象20和30合焦而对象10失焦的合成EDF图像。

参照图2展示本发明的增强的EDF系统的操作，图2示出了与图1相同的示意性样本。具体地，样本1是具有深度D的半透明组织样本，并且包含感兴趣的对象(例如，细胞)10、20和30。对象30位于第一焦平面(最靠近样本顶部)上，对象20位于第二焦平面(对象30下方)上，对象10位于第三焦平面(对象20下方)上。对象20与对象10重叠。然而，增强的EDF系统不是将与各焦平面中最清晰的对象相对应的像素盲目地复制到合成图像5中，而是标识样本1中的最佳焦平面7。因此，当生成合成图像5时，不强调对象10，并且保留对象10相对于对象20的空间表示。

样本采集和制备：

尽管适用于许多领域，然而已经发现，本发明的系统和方法在分析使用刷拭活检仪器采集的组织样本，用于其他涂片制备以及用于通过高NA物镜以40X成像的常规组织学样本方面是有用的。如上所述，当获取组织的刷拭活检时，使用足够坚硬的刷，以穿透组织(例如，上皮组织)的各个层。在获取全厚度组织样本的过程中，除单个细胞和细胞团外，还采集组织片段。

通常，在制备用于病理学的细胞样本时，临床医生将细胞和/或组织转移并固定在玻璃显微镜载玻片上。然后，将载玻片送到实验室进行进一步处理和医学诊断。进一步的处理可以包括对载玻片染色以增强在显微镜下观察时样本(或样本的特定特征)的对比度。这种染色剂可以包括例如富尔根(Feulgen)、巴氏染色液(Papanicolaou)、苏木精(hematoxylin)和曙红(eosin)(H&E)、阿尔辛蓝(alcian blue)和IHC染色剂。实验室技术人员也可以将盖玻片和标签贴到载玻片。此前，标签可以标识施加到样本上的染色剂类型。该信息可以用条形码表示或嵌入在电子跟踪装置(例如，无线射频识别RFID装置)中。如下面进一步讨论的，在随后的处理步骤中，计算机系统可以读取该信息以确定要应用于特定样本的最佳处理算法。

然而，在本发明中，载玻片在被病理学家和/或计算机系统检查之前可能经历额外的处理。具体地，细胞样本的捕获的数字显微镜图像由本文描述的增强的EDF系统进行进一步处理，该增强的EDF系统产生保留了诊断上重要的对象及其彼此之间的空间关系的增强的数字图像。由于减少了伪影和虚假图像并将对诊断有重要意义的感兴趣的对象清晰地呈现给计算机，因此提高了计算机分析系统的准确性。

图3示出了本发明的增强的EDF系统100的框图。系统100包括光学系统40，其用于从载玻片获得图像集合。光学系统40可以包括大功率显微镜、载玻片定位载物台和摄像头。计算机设备44控制载物台在z方向上的移动以获得足够数量的图像切片以构成特定x-y位置的图像。系统100还包括存储装置42，其用于存储图像集合。存储装置42可以包括硬盘驱动器或SSD(固态驱动器)或其他类型的高速存储装置。计算机设备44(或一起工作的多个计算机)处理z堆栈(z-stack)图像的集合以便生成本文所讨论的增强的合成图像。计算机设备44可以利用专用的图像处理硬件(例如，图形处理单元或“GPU”)来提高处理速度。

本领域普通技术人员将理解，光学系统40可以被配置为在载物台的每一次移动之后捕获并存储图像，或者其可以替代地被配置为在载物台以恒定速度移动的同时，以规律的时间间隔连贯地且连续地捕获图像。在本发明的实施例中，后一种方法可以更快地创建z堆栈。然而，必须注意(例如，经由频闪仪)向系统中添加足够的光，使得图像捕获积分时间可以被保持为最小。在本发明的其他实施例中，系统被配置为对z堆栈图像执行有损或无损压缩，并且离线移动z堆栈图像的压缩版本(例如，通过以太网)以进行更密集的EDF计算。这样做是为了可以以最大速度(受机械运动限制)进行图像z堆栈捕获过程，在该过程中，EDF处理可以由多台计算机并行执行。这种解耦允许以最小的成本实现最大的吞吐量和最大的可扩展性。所有机械运动都与扫描仪/图像部件分离，而第二部分通过在必要时添加额外的计算机以循环方式在各个z堆栈上工作而高度可缩放。

图4的流程图中示出了由增强的EDF系统执行的处理步骤的一个实施例。

图像采集：

如图4的步骤S1所示，光学系统获得图像切片的集合，每个图像切片在z轴(即，显微镜轴)上不同的焦深(或焦平面)处拍摄。图像的集合优选地存储在计算机的存储器中，CPU可以直接访问计算机存储器以进行加强的EDF操作，或者在另一实施例中，z堆栈图像可以被存储在具有能够执行快速EDF操作的单独的CPU、RISC、GPU或FPGA处理器的单独的处理或采集板(grabber board)中。一旦EDF完成，就将图像的集合存储在数据存储装置(图3的42)中，以供计算机设备检索。Z堆栈中的图像的数量可能取决于许多因素，包括处于检查中的样本的厚度以及显微镜物镜的景深。通常，优选的是使用小于显微镜物镜景深的间隔来满足过采样的标准。这样可确保在整个样本的全厚度上保持一致的清晰度。例如，假设样本厚度为60um，并且以4um焦深间隔拍摄图像，则总共可以采集15个或更多图像(或切片)。

例如，可以基于预先建立的数据来预先确定采样间隔。可替代地，采样间隔可以由计算机系统动态地确定，例如通过以下方式确定：测量每个焦平面上清晰像素的数量并且在发现相对少的清晰像素时调整处理。可以通过以下方式来调整该算法：如果仍要找到其他清晰像素，则提前终止z扫描或扩展z扫描；如果找到最少的清晰像素，则增加焦平面之间的z距离。可以采取的步骤越少，系统可以呈现最终EDF图像的速度就越快，但这必须与步骤过大时可能发生的图像质量损失相平衡。

预处理：

在一个实施例中，堆栈中的图像被转换为灰度图，如图4的步骤S2所示。已经发现，通过将每个图像转换为灰度图，在不牺牲诊断精度的情况下，显著地减少了图像数据和关联处理的数量。关于这方面，灰度转换可以针对特定的免疫染色剂(例如，针对H&E或阿尔辛蓝)进行优化。例如，可使用颜色反卷积增强免疫染色的细胞并确保特定的颜色保持合焦。在一个实施例中，系统自动从载玻片上读取与施加的染色剂有关的信息，以确定要应用于特定样本的最佳处理算法。

在另一个实施例中，增强的EDF系统不将采集的图像转换为灰度图，而是直接对彩色图像执行EDF处理。例如，可以从RGB三色图像直接计算出边缘对比度，作为红色、绿色和蓝色对比度的最大值。

在步骤S3中，可以对图像处理所需的各种数据结构进行初始化。这些数据结构可以包括多个二维阵列，包括最大清晰度阵列和Z-索引阵列(将在下面进一步讨论)。可以使用本领域技术人员已知的替代数据结构(例如，集合、表格或数据对象)来代替像素阵列。

定位图像集合中最清晰的对象：

参照图4的步骤S4、S5和S6，增强的EDF系统迭代地遍历沿z轴以不同焦距拍摄的图像集合，以便标识图像集合中最清晰的对象的位置。具体而言，从图像栈的顶部(或底部)开始，系统通过计算第一图像平面上的对象的清晰度来进行初始化。计算出的清晰度值存储在最大清晰度阵列中，并且利用起始图像平面(例如，表示最上层平面的平面1)的索引填充Z-索引阵列。对于沿z轴的所有后续平面，系统计算该平面中每个像素或对象的清晰度，并将新图像平面中的对象的清晰度与存储在最大清晰度阵列中的那些清晰度进行比较。如果找到新的最大清晰度值，则系统：(1)将新的最大清晰度值存储在最大清晰度阵列中(代替旧的最大值)，并(2)将其位置(即，图像切片所在的位置的索引)存储在Z-索引阵列中。

确定最佳焦平面：

接下来，增强的EDF系统为检查中的样本计算最佳焦平面(步骤S7)。如上所述，该步骤确保保持样本内感兴趣的对象之间的空间关系。作为获得最佳焦平面并使用得出的最佳焦平面创建合成图像的结果，上层对象呈现为合焦，而下层对象保持失焦。

在本发明的实施例中，最佳焦平面通过计算细胞之间的距离并确定细胞是否距离彼此处于正常或健康距离(称为“h距离”，图2)内来确定。在本发明的实施例中，健康距离或“h距离”是细胞边缘之间或两个细胞核之间的预定距离。例如，在本发明的一个实施例中，通过测量相邻细胞的细胞核的边缘之间的距离来计算h距离，在另一实施例中，通过测量相邻细胞核的中心之间的距离来计算h距离。

在确定两个细胞在h距离内的情况下，系统断定这两个细胞属于同一组织，因此，相邻细胞所占据的平面将成为焦平面，并且位于下面的细胞将保持失焦。然而，如果两个细胞之间的距离大于h距离，则系统将移动焦平面，以使两个无关的细胞都保持合焦。

例如，参考图2，系统确定对象20之间的距离(例如，距离A)在h距离内。因此，对象20所占据的平面被选择为该载玻片片段的最佳焦平面，并且对象20呈现为合焦。另一方面，下面的对象10保持失焦。相反，对象20’和对象30’之间的距离B被确定为大于h距离。因此，焦平面移动(在所示的取向上向右)到对象30距离彼此位于h距离内的载玻片片段。根据本发明的实施例，h距离可以通过线性度量单位或通过像素数量来测量。

在本发明的一个实施例中，通过对Z索引阵列执行“闭运算”来确定焦平面。闭运算是一组运算集，其中在预定次数的灰度膨胀后进行相等次数的灰度腐蚀。例如，假设h距离为5个像素，则系统利用5个像素的结构元素，或者执行多次迭代以覆盖h距离。因此，膨胀将完全覆盖h距离间隙。一旦填充了间隙并且间隙任一侧上的像素融合，任何后续的腐蚀都不会产生任何影响。然而，如果未填充间隙，则随后的腐蚀将使边缘恢复到其原始位置。因此，闭运算可以完全填充间隙(即，产生相同的z-索引)，因此如果在间隙之间存在这样的图像，则不会将下面的图像(例如，细胞核)带到表面。然而，如果闭运算未填充间隙，并且间隙之间存在一个或多个下层细胞核，则将细胞核带到表面的终点。将理解的是，腐蚀和膨胀可以通过本领域中任何已知的各种技术来进行，例如，Gil-Kimmel膨胀/腐蚀算法(参见，Gil,J.Y.,&Kimmel,R，Efficient dilation,erosion,opening,and closing algorithms(有效的膨胀、腐蚀、开和闭算法)，IEEE模式分析与机器智能汇刊，24(12)，1606-1617(2002))。

因此，在图2所示的示例性实施例中，细胞20’与30’之间的距离B大于h距离。这样，尽管膨胀将在所有方向上延伸细胞20’的图像并且还在所有方向上延伸细胞30’的图像，然而无法填充相应细胞之间的间隙。因此，在执行腐蚀之后，细胞20’和30’的原始边缘将被恢复，并且细胞20所占据的平面将不会与细胞30所占据的平面融合。相反，焦平面有效地从细胞20所占据的平面移动到细胞30所占据的平面。相反，由于细胞20之间的距离在h距离之内，所以对细胞20执行的膨胀将具有填充相应细胞20之间的间隙的效果，这不会被随后的腐蚀所逆转。因此，由细胞20占据的平面将被确定为焦平面，因而细胞20将呈现为合焦，而在细胞20之间的间隙下方的细胞10将被呈现为失焦。这确保了保留细胞20和较低位置的细胞10之间的空间关系。

在一个实施例中，使用近似圆形的平坦的5x 5核进行腐蚀和膨胀。在另一个实施例中，例如以上引用的Gil-Kimmel参考文献中教导的那样，使用灰度高斯核。选择腐蚀和膨胀的次数以将上层对象呈现为合焦，而保持下面的对象失焦。由于响应于对象之间的距离来确定最佳焦平面，因此最佳焦平面可能随着系统在整个样本的距离上移动而变化，从而更多地集中在上面的细胞核层上(在该细胞核层上，细胞核是最可见并且具有最清晰的特征(光在半透明介质的表面附近衍射较少))，然而仍然能够将更深的细胞核带到表面。

在图5和图6中进一步示出以上讨论的膨胀/腐蚀过程的结果。在图5中，示出了图像栈15，其中，图像I₁₀位于图像栈的顶部。图像I₅和I₁包括在这些图像平面中的每一个中合焦的各种对象。对象20在z轴上与对象10重叠。图6示出从图像栈15生成的代表性Z-索引阵列11的一部分。可以看出，Z-索引阵列包含与图像栈15(图5)中最清晰的对象相对应的像素的位置(即，图像平面编号)。具体地，对象20的位置由“5”表示，而对象10的位置由“1”表示。如果要从图6中的Z-索引阵列11编译最终的合成图像(即，如在常规的EDF中那样)，则对象10和20将表现为单个对象(即，对象10和对象20将挤在一起)。如上所述，这可能导致误诊。因此，需要保留合成图像中的空间关系，以便准确地描绘样本并做出正确的诊断。

图7描绘了执行了多次膨胀和腐蚀之后的图6的代表性Z-索引阵列。具体而言，位于图像I₁上的对象被成功弱化，并保持了对象的空间关系。可以看出，索引12中仅保留由“5”表示的对象20。因此，当编译最终的合成图像时，将从图像I₁中检索到的像素从图像I₅中检索出来。

在一个实施例中，膨胀或腐蚀的次数等于健康组织中细胞核之间的h距离。如上所述，如果上层的细胞核之间的距离小于h距离，则增强的EDF系统将不强调下部对象或不会使下部对象合焦。另一方面，如果距离大于h距离，则可以假定两个细胞核不是同一组织，因此可以在不引入上述拥挤效果的情况下安全地使任何较低层级的对象合焦。例如，h距离可以是5个像素或18微米。

已经发现，该过程有效地定位了图像集合的最佳焦平面，并且消除了不期望的拥挤效果。本文描述的系统可用于找到感兴趣的细胞结构(例如，细胞核)的最佳焦平面。然而，该系统可以适于关注其他感兴趣的结构，特别是杯状细胞和/或细胞边界中的细胞质粘液囊，以增强对细胞的蜂窝布置的检测。

已经发现，为了找到大的明亮的粘液区域，系统可以用较大尺寸的核(例如，在10x10至20x20范围内(取决于图像的分辨率)的那些核)进行膨胀和腐蚀。该过程生成大的明亮的高对比度对象(例如，杯状细胞中发现的粘蛋白区域)的Z-索引阵列。为了找到细胞边界，该算法执行形态学运算以增强细黑线(通过环结构元素进行腐蚀，然后通过相同尺寸的实体结构元素进行膨胀)。这为细黑线(例如，在细胞顶表面处的鱼鳞)产生Z-索引阵列。三个Z索引阵列可用于创建三个单独的EDF图像，从而允许用户在不同的焦平面处看到不同的感兴趣细胞结构。或者，可以通过采用具有最大清晰度的Z索引然后通过5x5高斯核进行平滑来组合三个Z-索引阵列。

生成合成图像并进行后处理：

如步骤S8所示，接下来，系统基于Z-索引阵列(现在包含要包括在合成图像中的最佳像素的位置)和原始的图像集合来生成合成图像。还应该理解的是，对于单个载玻片可以获得多个图像栈，分别进行分析(如下所述)，并将所得到的合成图像拼接在一起以形成单个合成图像。或者，可以获得单个图像栈并将其发送到多个算法，每个算法寻找特定特征并且每个算法生成独特的合成图像。例如，用户可以为杯状细胞选择最佳的合成图像，为异常细胞选择另一个合成图像，并为蜂窝图案选择另一个合成图像。

可选地，可以对合成图像执行各种后处理运算(步骤S9)。在一个实施例中，后处理包括清晰度校正，其使对象的边缘显得更明显，从而有助于诊断。在一个实施例中，清晰度校正包括反锐化掩模，其已知为在不增加噪声的情况下锐化边缘。通常，反锐化掩模使用模糊的负像(例如，高斯模糊)来创建原始图像的掩模，以标识高频和低频区域。然后，该掩模与原始图像组合，以创建比原始图像更清晰的图像。进一步的后处理步骤包括导向滤波、XYZ膨胀、除雾和Z插值，如下所述。

蜂窝结构分析

如所描述的，刷拭活检组织采集允许采集保持完整的组织的正面视图的组织片段。也就是说，将常规的组织学样本切片并作为组织切片呈现给病理学家，因此，病理学家从不观察组织的正面视图。组织的正面蜂窝外观产生重要的临床信息，这些信息是独特地通过刷检活检采集可得的。增强的EDF系统的实施例允许整体观察和分析组织的蜂窝结构，即便形成蜂窝的组成细胞可能占据多个焦平面。

图8A示出了腺上皮组织的片段48的示意图。如图所示，该组织由纵向挤在一起的柱状细胞(例如，50)形成。细胞的核52位于细胞50的底段。细胞50位于基底膜53上。细胞的顶表面形成组织表面。当焦点位于核水平处在显微镜下进行观察时，核呈六边形图案。当焦点位于顶部时，细胞膜形成六边形的“鱼鳞”图案。当焦点位于顶表面和核之间时，可以最清楚地看到杯状细胞的清晰粘蛋白区域。病理学家的大多数观察都集中在核的水平，尽管粘蛋白和鱼鳞水平的视图也可用于协助病理学家进行诊断。

图8B示出了焦点水平在细胞的核时图8A的组织片段的俯视图。可以观察到规则的细胞核图案(即，“蜂窝”)。

然而，在三维刷拭活检组织制备中，形成蜂窝的细胞可以位于不同的焦平面上。此时，在不创建蜂窝的合成图像的情况下，就不可能观察到合焦的蜂窝。

例如，参考图9，在第一焦平面P1处示出核细胞54和60，在不同的焦平面P2上示出核细胞56，而在又一不同的焦平面P3上示出核细胞58。当显微镜物镜被设置为合焦观察核细胞58时，则细胞54、60和56的核将失焦。当细胞56的核合焦时，细胞58和细胞54的核将失焦。在这方面，利用手动显微镜的病理学家将不能观察合焦的整个蜂窝图案。现有的EDF系统不能充分解决这个问题，这是因为现有的EDF系统会无差别地将所有细胞核带到顶表面。这样，与可能位于蜂窝下面的细胞或组织相关联的位于较低的核可能被包括在合成图像中，这可能导致图像伪影。

另一方面，本发明的系统动态地移动焦平面以捕获样本的每个片段的最佳焦平面，因此，即使蜂窝结构的构成细胞位于多个焦平面上，也能合焦地对蜂窝结构成像。此外，与蜂窝不相关联的细胞将保持失焦。

例如，仍然参考图9，本发明的EDF系统将动态地选择P1作为样本的部分E的最佳焦平面，选择P2作为样本的部分F的最佳焦平面，选择P3作为样本的部分G的最佳焦平面，并且选择P1作为样本的部分H的最佳焦平面。另外，如上所述，本发明的EDF系统创建合成图像，该合成图像不强调位于计算出的最佳焦平面下方的特征。因此，在基于一系列上部细胞的接近度确定最佳焦平面的情况下，可能在上部细胞正下方的细胞将保持失焦，从而保留上部细胞与下部细胞之间的空间关系。例如，在图10中，示出了一系列细胞62，其各自的核占据焦平面P4。细胞64示出为在细胞62下方。然而，在所示的实施例中，细胞62之间的距离在h距离内，因而系统将焦平面P4确定为最佳焦平面。因此，下面的细胞64将保持失焦。明显地，与细胞64相关联的特征将不会被带到表面。

分析所得到的合成图像的计算机将更加准确和灵敏，这是因为蜂窝中的每个细胞都合焦地呈现，并且下面的细胞不会引起图像伪影。类似地，合成图像为病理学家提供了蜂窝的格式塔视图(gestalt view)，而不是孤立地分析细胞和细胞团。这允许病理学家在其他细胞和细胞团的背景下分析细胞和细胞团。

图11是在没有增强的EDF系统的情况下获得的组织样本的合成图像。可以看出，图像的大部分是模糊并且失焦的。值得注意的是，不能观察到蜂窝结构整体。

图12是使用本发明的增强的EDF系统获得的组织样本的合成图像。在此图像中，蜂窝结构是合焦的。这样，病理学家可以更容易地观察和分析蜂窝。

重要的是，由于增强的EDF系统对整个蜂窝进行成像，因此计算机系统可以执行形态分析以标识样本中的异常。例如，已经发现可以将细胞核与细胞质区分开。一旦核被分离，就可以测量核之间的距离(h距离)。然后，计算机系统可以例如通过以下方式来评估蜂窝是正常还是异常：计算到核最近的邻居的均值h距离和标准差h距离，然后计算在规则的六边形非异常增生组织中发现的范围之外的核与h距离的比例。另外，可以通过细胞边界层级的焦平面而不是核层级的焦平面来可视化和评估六边形布置，在该焦平面处，图像呈现规则的六边形“鱼鳞”外观，而没有明显的核，如图11所示。

导向滤波

保留样本中存在的组织和细胞结构的边缘是有利的。然而，标准平均或其他非歧视性平滑技术无法区分边缘。因此，在本发明的实施例中，利用新颖的导向滤波来执行精确的边缘保留平滑，而不会移动Z-索引阵列中的陡峭的轮廓的xy位置，陡峭的轮廓对于厚样本而言尤其严重。通过任何使用放大透镜的物镜，放大倍率随着远离焦平面移动而变化。在每次z移动时，要成像的对象都会收缩，从而导致虚假边缘相应地移动。使用导向滤波，将重点放在真实边缘所在的位置，从而消除虚假边缘的影响。导向滤波可以应用于灰度或彩色图像。导向滤波在此应用中的新颖用法使Z-索引阵列变得平滑，该阵列包含最清晰像素的z位置。这可以动态消除z-索引噪声，并且比其他平滑技术更可取。

XYZ膨胀算法

根据各种焦距获得多个图像的一种潜在的不期望的效果是出现伪影边缘，这些伪影边缘随着每个焦点出现。也就是说，随着每个EDF图像切片的获取，与真实边缘相邻的失焦像素可能呈现为“虚假”边缘。当产生一系列这样的伪影边缘时，它们可能呈现出阶梯状的外观(即，阶梯效应)。例如，图13(“之前”图像)示出了在合成图像上形成阶梯状呈现的一系列伪影边缘66。这可能使样本变形，并使有用的、诊断上有重要意义的组织或细胞特征模糊。

在本发明的实施例中，这种阶梯状问题通过z索引后处理算法解决，该算法被设计为消除执行如上所述的EDF算法步骤时因选择失焦像素而导致的阶梯状伪影边缘。这通过抑制多个相邻边缘并仅保留最强边缘来实现的。在本发明的实施例中，这是通过对z值的“随身携带(carry-along)”进行膨胀来实现的。为此，系统被配置为确定边缘并运行例程或算法，该例程或算法将边缘强度置于16位图像的前8位中，并将最佳焦点的z索引置于后8位中。在膨胀期间(例如，12x12膨胀)，携带后8位的z值以及前8位中的对应边缘对比度，作为膨胀算法的副作用。因此，具有错误的z索引的相邻较弱边缘被替换为具有较好的z索引的较强边缘。然后，使用来自膨胀的图像的后8位更新最佳合焦的z索引图像。

因此，图13(“之前”图像)示出了通过EDF系统处理的合成图像，该图像不包括所述的“随身携带(carry-along)”特征。如图所示，在组织边缘处存在一系列虚假边缘66。另一方面，在“之后”图像中，示出了使用上述“随身携带”算法进行了后处理的同一样本。如图所示，已经消除了阶梯状伪影，并且存在清晰的真实边缘68。

图像去雾

显微镜图像通常包括由未聚焦的散射光引起的雾度。图像去雾可以通过估计图像雾度并从原始图像中减去雾度以产生更清晰的图像(在该图像中更容易看到诊断信息)来执行。在一个实施例中，该系统通过腐蚀具有平坦的5×5近似圆形内核的RGB图像，取腐蚀的最小值，进行引导图像滤波以平滑雾度，并将去除的雾度对比度剪裁为32个灰度级的最大值(按256的标度)。

Z插值

在所描述的EDF系统中，从一个聚焦水平到下一个聚焦水平，Z索引值可能存在很大的跃迁，而现实中聚焦水平则平滑地变化。这种差异可能导致图像伪影。为了解决这个问题，EDF系统可以被配置为执行后处理Z插值例程以消除这种伪影。在该实施例中，系统确定显微镜调焦步长的大小，该步长可以与显微镜的景深一样大，例如对于20X物镜高达4微米。Z插值算法在执行Z索引阵列的导向滤波之前，拉伸Z索引阵列以增加对比度。这将生成平滑的z索引。然后，该算法使用两个最佳相邻焦点水平对图像强度进行插值，从而获得平滑图像。

如上所述，在远心和非远心EDF系统中，单个边缘可能在合成EDF图像中显示为多个边缘。已经发现可以通过上述处理步骤中的一个或多个来解决该问题。在替代实施例中，可以例如通过在导向滤波之前应用XYZ膨胀来改变步骤的顺序。

尽管已经结合以上概述的实施例描述了本发明，然而显然，对于本领域技术人员而言，许多替代、修改和变化将是显而易见的。因此，如上所述的本发明的示例性实施例旨在是说明性的，而不是限制性的。在不脱离本发明的精神和范围的情况下，可以进行各种改变。

Claims (14)

1.一种用于生成生物样本的合成数字图像的系统，包括：

计算机设备，被配置为根据所述生物样本的多个图像生成所述生物样本的合成图像，所述多个图像中的每一个沿单个轴获取，其中，所述计算机：

(a)标识针对位于所述生物样本的第一x-y位置的第一图像对象集合的第一焦平面，以及

(b)标识针对位于所述生物样本的第二x-y位置的第二图像对象集合的第二焦平面，以及

(c)组合来自所述第一焦平面的图像对象和来自所述第二焦平面的图像对象，并生成所述合成数字图像，其中

位于所述第一焦平面上的图像对象被呈现为合焦的，并且不强调位于所述第一焦平面下方的图像对象，并且其中

位于所述第二焦平面上的图像对象被呈现为合焦的，并且不强调位于所述第二焦平面下方的图像对象。

2.根据权利要求1所述的系统，其中，所述第一焦平面包括第一z距离，并且所述第二焦平面包括第二z距离。

3.根据权利要求2所述的系统，其中，所述计算机设备计算所述第一焦平面和所述第二焦平面中的图像对象的清晰度值，并且生成具有最高清晰度值的对象的位置的二维图。

4.根据权利要求3所述的系统，其中，所述计算机设备通过对第一多个图像和第二多个图像中具有最高清晰度值的对象的位置的二维图执行一次或多次膨胀和腐蚀来标识所述第一多个图像和所述第二多个图像的所述第一焦平面和所述第二焦平面。

5.根据权利要求4所述的系统，其中，腐蚀和膨胀的次数与健康组织中细胞边界之间的距离成比例。

6.根据权利要求1所述的系统，其中，图像集合中的一个或多个图像是彩色图像，并且所述计算机设备在标识所述图像集合的焦平面之前将所述图像集合中的一个或多个彩色图像转换为灰度图。

7.根据权利要求1所述的系统，其中，所述合成图像包括所述生物样本的蜂窝结构。

8.根据权利要求7所述的系统，其中，所述蜂窝结构基本上是合焦的。

9.根据权利要求1所述的系统，还包括显微镜和摄像头。

10.根据权利要求9所述的系统，还包括显微镜载物台。

11.一种用于生成具有蜂窝结构的组织切片的合成图像的系统，包括：

光学系统，用于以不同的焦距捕获所述组织切片的多个图像；

计算机设备，被配置为：

选择与所述组织切片的多个片段相对应的多个焦平面，所述多个焦平面中的每一个包括图像对象；

将来自所述多个焦平面的图像对象进行组合，以生成所述组织切片的合成图像，其中，所述蜂窝结构是合焦的，并且不强调位于所述蜂窝结构下方的图像对象。

12.根据权利要求11所述的系统，其中，所述组织切片包括位于不同平面上的细胞核。

13.根据权利要求12所述的系统，其中，位于不同焦平面上的细胞核在所述合成图像中呈现为合焦的。

14.根据权利要求11所述的系统，其中，通过计算所述多个图像中的图像对象的清晰度值并计算细胞边界之间的距离以确定细胞边界之间的所述距离是否在预定距离内，来选择所述多个焦平面中的每个焦平面。

Images