CN115485714A - 三维生物样本的Z-stack图像集的图像处理与分割 - Google Patents

Abstract

本文提供了将样本的有限景深图像的跨深度堆栈投影到单个样本图像中的方法，所述单个样本的图像可以提供图像三维内容的聚焦图像信息。这些方法包括将滤波器应用于图像堆栈，以识别聚焦捕获的每个图像中的像素。然后将这些聚焦像素组合来提供样本的单个图像。将这些图像堆栈过滤还可以用于确定深度图或关于样本成分的其他几何信息。该深度信息还可以影响样本图像的分割，例如，进一步划分与多个不同深度的样本成分相对应的识别区域。

Description

三维生物样本的Z-stack图像集的图像处理与分割

背景技术

各种生物实验包括大样本分析，每个实验可能涉及通过测量或评估样本产生的多个参数或其他信息。此类样本可以包括细胞或其他生物成分，每个样本在生长培养基(例如激素、细胞因子、药物或生长培养基中的其他物质)、来源(例如培养、活检或以其他方式从自然组织中移植)、培养条件(例如温度、pH值、光照水平或光谱、电离辐射)，或其他一些控制条件方面有所不同，以观察细胞或其他生物成分对所施加条件的响应。可以在，例如，为了评估样本对假定治疗的反应，为了阐明某些生物过程，或调查某些其他目标问题的情况下进行。

评估此类样本可以包括使用显微镜、荧光成像装置或其他方法对样本进行微观成像。在实践中，由于用于样本成像的光学或其他设备的限制，可能会阻碍样本的大景深成像。例如，用于样本成像的客观元件或其他元件可能在焦距深度方面受到限制，使得难以或不可能同时成像。在焦点上，沿着用于对样本成像装置的光学轴，样本涵盖的体积大于成像装置的焦距深度的范围。这种“三维”样本，与分布在载玻片上和/或切成切片的样本相比，其涵盖的体积可以在成像装置的景深内，可能包含各种目标结构，例如类器官、肿瘤球体或其他三维多细胞结构。

发明内容

本发明的一个方面涉及生成三维样本的投影图像的方法，所述方法包括：(i)获取样本的图像集，其中图像集的每个图像对应于样本中的各自焦平面；(ii)将滤波器应用于图像集中的每个图像，以确定样本的输出图像的每个像素的对应深度值，其中给定的深度值表示样本内深度，在所述深度所述样本成分可以聚焦成像；和(iii)基于所述输出图像的像素的深度值来确定所述输出图像的每个像素的图像值。确定输出图像的特定像素的图像值包括：(1)识别图像集中与特定像素的深度值对应的图像；和(2)基于所述识别的图像的像素确定所述特定像素的图像值，所述识别的图像的像素在所述识别的图像内具有与所述特定像素对应的位置。

本发明的另一方面涉及生成三维样本的投影图像的方法，所述方法包括：(i)获取样本的图像集，其中图像集的每个图像对应于样本中的各自焦平面；(ii)将滤波器应用于图像集中的每个图像，以确定深度图的每个像素的对应深度值，其中所述深度值表示样本内深度，在所述深度所述样本成分可以聚焦成像；和(iii)基于所述深度图的对应像素的深度值来确定输出图像的每个像素的图像值。

本发明的又一方面涉及用于分割样本图像的方法，所述方法包括：(i)获取样本图像；(ii)获取样本成分的深度图；(iii)基于图像生成样本的第一分割图；和(iv)基于深度图，通过进一步划分第一分割图的至少一个区域来生成样本的第二分割图。

本发明的另一方面涉及一种计算机可读介质，被配置为至少存储计算机可读指令，当由计算设备的一个或多个处理器执行时，使得所述计算设备执行计算机操作以执行本文所述的一种或多种方法。这种计算机可读介质可以是非瞬态计算机可读介质。

本发明的再一方面涉及一个系统，所述系统包括：(i)一个或多个处理器；和(ii)非暂态计算机可读介质，被配置为至少存储计算机可读取指令，当由一个或多个处理器执行时，使得所述系统执行本文所述的一种或多种方法。

对于本领域的普通技术人员来说，通过阅读以下具体实施方式，并在适当的情况下参考附图，这些方面以及其他方面、优点和替代方案将变得显而易见。此外，应当理解，本文件发明内容和其他地方提供的说明旨在以举例的方式说明所请求保护的主题，而不是通过限制的方式。

附图说明

图1是由成像系统成像的样本的横截面示意图。

图2A描绘了样本的示例图像集。

图2B描绘了基于图2A的示例图像集生成的投影图像。

图3A描绘了样本的示例投影图像和示例深度图。

图3B描绘了用于生成图3A的深度图的样本的示例图像集。

图3C是通过样本的深度范围确定的纹理值的示例集。

图4描绘了用于生成样本投影图像的样本的示例图像集。

图5A是样本的示例图像。

图5B是由图5A的图像表示的样本的第一分割图的示例。

图5C示出了覆盖在示例深度图上的图5B的第一分割图的特定分段。

图5D是从图5B的第一分割图确定的第二分割图的示例。

图6示出了示例系统的透视图元件。

图7是示例系统元件的示意图。

图8是示例方法的流程图。

图9是示例方法的流程图。

图10是示例方法的流程图。

具体实施方式

本文描述了方法和系统的实施例。应理解，本文使用“示例性(exemplary)”、“示例(example)”和“说明性的”等词来表示“作为示例、实例或说明”。本文中被描述为“示例性的”、“示例”或“说明性的”任何实施方式或特征不一定必需被解释为优于或有益于其他实施方式或特征。此外，本文所述的示例性实施方式并不意味着具有限制性。可以很容易地理解，所公开的系统和方法的某些方面可以以多种不同的配置被布置和组合。

一、样本成像实施例

在各种应用中对样本进行显微成像是有益的。例如，样本可以包括培养的人细胞(如癌细胞、正常细胞)，进行样本成像可以有助于确定药物在样本中清除细胞的有效性(如化疗药物在清除癌细胞方面的有效性)，确定物质的毒性(如化疗药物对非癌细胞的毒性)，或者确定关于样本成分和/或物质对样本成分影响的其他信息。进行样本成像可以包括使用明视野显微镜检术、荧光显微镜检技术、结构照明、共聚焦显微术或其他成像技术来生成关于样本成分的图像数据。

明视野显微镜检术的优点是，可以在不添加染料、荧光团或其他标签(例如，通过添加标签和/或将样本成分转染以表达标签)的情况下进行，这些标签可以改变样本成分的“天然”行为(这种成像，如果不添加标签，可以称为“无标签”成像)。或者，可以添加荧光染料或其他标签，以促进特定组织结构和/或生理过程的成像。例如，可以添加基于Annexin V绿色荧光染料的试剂以对样本中的细胞死亡位置、速率或其他信息成像。在另一个实施例中，可以添加NucLight Red指示剂以进行关于样本中细胞增殖信息的成像。在一些实施例中，可以对样本中的细胞进行基因修饰，以表达荧光蛋白或与目标的过程相关的其他标签。例如，患者来源的神经诱导多能干细胞(iPSC)可以通过基因修饰表达Aβ_1-42-GFP或与阿尔茨海默病相关的某些其他荧光标记蛋白，以促进对阿尔茨海默病治疗方案的评估。

用于样本成像的成像装置的许多物镜或其他光学元件可能在景深方面受到限制。也就是说，所述光学装置可能限于从相对小体积和/或基本平面体积的样本接收的光进行聚集成像。接收自此体积外部的光可以在焦点外被接收(通过电荷耦合装置或成像装置的其他光敏元件)。这种限制可能与成像装置的成本或总体质量有关，旨在减少成像装置的色度、轴向、球形或其他像差，旨在减少成像装置的体积、尺寸、重量或零件数量，旨在通过限制其用于小体积和/或基本平面体积成像的某种方式，或由于某些其他因素提高设备的性能。成像装置景深的这种限制可以以多种方式进行补偿。

在一些实施例中，要成像的样本可能本身是小体积和/或基本上是平面的，或者可以被改变为这样。然而，许多目标样本包含单个对象，这些对象可能涵盖一个体积，所述体积不适用于成像装置的窄景深，和/或可能包含关于多个对象在样本内距离的分布、互连或其他空间信息的有用信息，所述样本内距离是垂直于成像装置的成像平面且超过成像装置的窄景深的方向上的距离。这种“三维”样本可能包括类官器、肿瘤球体或其他一些目标的三维、多细胞结构。此外，这种结构可能在介质(例如，圆顶或其他形状的体积的细胞外基质)中培养或以其他方式处置，而所述介质涵盖的体积不适用于成像装置的窄景深。例如，当肿瘤球(或某些其他种类的球体)以层状排列并嵌入在基底胶体积内时，样本可以是多球体试验(multi-spheroid assay)的一部分。

类官器(例如胰腺细胞类官器、肝细胞类官器、肠细胞类官器)和肿瘤球是特定目标，因为它们的三维结构更接近于模拟被培养细胞的“天然”三维环境。因此，类器官、肿瘤球或其他此类三维多细胞结构对药物或其他应用实验条件的反应可能更接近模拟人体或其他一些目标环境中相应样本的反应。类器官可以从患者自己的细胞中培养出来，以预测特定患者对一系列不同可能的治疗的反应。例如，可以从患者身上提取iPSC，并用于培养神经元类器官、乳腺癌类器官或与目标相似的一些其他健康或非健康(例如，癌)组织的类器官，以便于评估这些组织对可能的治疗的反应。

为了使用有限的景深成像装置对此类样本成分成像，可以使用多种技术。在一些实施例中，可以将部分或全部样本铺展到显微镜载玻片或其他平坦构件上，以便于对样本进行成像。但是，使样本与有限景深成像装置兼容的样本铺展方法或其他样本预处理方法可能不适用于目标样本，可能导致样本的破坏、样本信息的丢失或失真(例如，由于与微型切片机的相互作用、冻结、固定、从样本容器中移除、铺展等而导致的样本失真)或其他副作用，或者可能不适用于特定目标样本。此外，这种样本预处理方法排除了在多个时间点对相同样本(例如，培养的类器官或肿瘤球的相同样本)成像的可能性，例如，分析药物或其他实验条件随时间的长期影响。

另外地或可选地，具有浅景深的成像装置可被替换为具有深景深的成像装置；然而，这种改进的成像装置可能成本太高，可能太大而不适用于孵化器或其他目标环境，或者在某些其他方面是不可行的。

使用本文所述的方法，可以完全或部分缓解有限景深成像装置的上述限制。将这些方法应用于这种有限景深成像装置的操作，使得能够生成图像信息，所述图像信息可以从景深等于或大于样本在平行于成像装置的光学轴方向上跨越体积的成像装置中可选地获得。本文所述的图像处理方法包括生成“三维”样本的多个图像(可以称为图像的“堆栈”，每个图像对应于样本内的不同深度)。通过使用电机或其他驱动器控制成像装置相对于样本的位置，可以在聚焦样本内以不同的深度拍摄每个图像。这可以包括移动相机、移动样本容器或移动样本容器和相机。

图1示出了可用于生成该图像集的示例系统100。所述系统100包括成像装置110(例如，照相机、物镜和/或其他光学或电子元件)和光源120，所述光源120可用于对样本容器130中包含的样本进行成像。所述样本容器130可以是多孔孵育板或培养板(例如，96孔培养板)的孔。所述样本容器130包含在样本介质135(例如，用圆顶的细胞外基质培养类器官后，将类器官转移到96孔多孔培养板或某些其他多孔培养板的孔中，之后应用于各种不同的假定治疗或其他实验条件，或包括以层状排列并嵌入在基底胶体积内的肿瘤球的多球体试验)内的多个对象105(例如，类器官、肿瘤球或其他三维生物对象)。

图1中的元件(例如照相机110和光源120)的排列旨在作为非限制性示例。用于照射样本的光源可以位于与相机或其他成像装置的样本相对的位置，与成像装置位于样本的同一侧，位于与成像装置相对的样本侧，或与样本和成像装置相对的某些其他位置。此外，光源可以被并入成像装置和/或可以与成像装置共享一个或多个光学元件或光学路径(例如，共聚焦成像系统的物镜可以在用于照射样本的激光器或其他元件与用于从样本接收的光进行成像的电荷耦合装置或其他元件之间共享)。在一些实施例中，可以在多个位置提供多个光源，例如，为便于根据不同模式(例如荧光成像、明场成像、反射/散射可见光成像、结构光照明成像、相位对比成像)对样本进行成像。

相机110和/或光源120可以被配置为使照相机110能够将从样本容器130内的小的、基本上是平面的体积接收到的光进行成像。可以选择这种配置替代大景深配置，以降低成本、增加可靠性、减小尺寸或质量或提供一些其他益处。例如，可以选择这样的配置来减小相机的尺寸和/或重量，以便于将相机110、光源120和/或成像装置的其他元件安装在孵化器内的驱动器机架上，从而允许在多个时间点对孵化器内的多个样本进行长期自动成像。区域140a在横截面中表示可由这种有限景深成像装置聚焦成像的第一示例体积的范围。区域140b在横截面中表示该区域的另一示例，所述区域140b在样本容器130内的深度方面不同于第一区域140a，但在垂直于照相机110的光轴的方向上涵盖基本上相同的区域。

可以在不同的时间点设置相机110相对于样本容器130的位置，以便于对样本容器130内不同的体积或深度进行成像。这可以包括使用驱动器机架或其他方法改变相机110相对于样本容器130的位置(例如，移动相机110和/或移动样本容器130)，以便选择样本容器130内的平坦区域以聚焦成像。例如，在第一时间段(例如，图1所示的时间段)中，可以操作相机110对第一体积140a聚焦成像。然后，相机110可以相对于样本容器130向下移动，然后被操作以对第二体积140b聚焦成像。可以在样本容器130内的多个不同体积和相应深度下重复这样的过程，以生成表示样本容器130成分的图像集或图像“堆栈”。该过程可促进生成对象105(例如，类器官、肿瘤球或其他三维生物对象)的聚焦成像信息，所述对象105具有大于相机110的景深的特征维度和/或位于样品容器130内沿垂直维度排列的距离大于相机110的景深的点。

可以以自动的方式执行生成“堆栈”的图像集的过程。例如，可操作照相机和相关驱动器以在指定数量的时间点生成样本的图像集(例如，每小时一次、每24小时一次等，以便于分析样本成分对应用的实验条件随时间的响应)。另外地或可选地，样本可以位于多孔样本容器内，并且可以通过在两个维度上启动相机以选择特定样本(例如，通过操作包含相机机架的驱动器)以及在第三维度上对特定样本内不同深度成像，从而为容器中的每个样本生成图像集。

图2A示出样本的示例图像集(或“堆栈”)200。图像集200中的每个图像对应于样本中的各个焦平面。因此，每个图像可以基于与图像对应的焦平面相关的成分的位置，表示聚焦样本的不同成分。在第一示例中，图像集200的顶部图像210a对应于第一焦平面，其中没有样本成分位于所述焦平面上。因此，顶部图像210a的图像信息全部不聚焦。在另一示例中，图像集200的第二图像210b对应于另外的、不同的焦平面，一些样本成分位于所述焦平面。因此，第二图像210a的一些图像信息(即，第二图像左下角的三维对象)被聚焦，而第二图像210b的图像信息的其他部分未被聚焦。

这样的图像集200可以包含足够的聚焦图像信息，以生成样本的投影图像，所述投影图像提供了样本中成分分布的改进视图。例如，样本的部分或全部成分可以在投影图像中聚焦表示。投影图像可以近似于样本的图像，就好像它是使用更宽景深生成的一样。图2B示出了从图2A所示的包括图像集200的图像集生成的这种投影图像250的示例。这种投影图像有助于改进成像和样本成分的分析。例如，可以分割投影图像以识别投影图像的离散细胞、类器官、肿瘤球或其他三维成分。然后，可以使用这种图像分割来自动确定关于细胞、类器官、肿瘤球的数量、尺寸、标识、形态或其他信息，或对样本成分的某些其他分析。另外地或可选地，这种投影图像可以促进病理学家、研究人员、流行病学专家或其他人对样本成分的主观分析。

可以以多种方式从对应于样本内不同焦平面的图像集中生成样本的投影图像。在一些示例中，这可以包括使用图像集来确定深度，样本成分定位于所述深度和/或在所述深度进行聚焦。然后可以使用来自图像或图像集的与确定深度相对应的像素或其他图像信息(或“投影”)来生成投影图像的相应像素。另外地或可选地，所述深度信息可以用于生成样本成分的深度图(例如，促进三维几何分析和/或样本成分的排列)和/或改进投影图像(或样本的某些其他图像)的分割。

二、深度图生成实施例

样本的窄景深图像集(例如，明场图像)，对应于不同深度，所述深度涵盖样本内深度范围，可以包含足够的信息来确定关于样本成分深度的信息。这种“堆栈”图像集还可以包含足够的图像信息，所述图像信息可以与深度信息相结合，以生成表示在深度范围内聚焦的样本成分的样本投影图像(例如，作为样本的模拟宽景深图像的一种形式)。本文描述的方法有助于从窄视野图像集(例如，明场图像、荧光图像)生成这种深度信息(例如，深度图)和投影图像。

这些方法包括检测图像集中的每个图像的边缘、纹理或其他高空间频率成分。在特定图像中的特定位置处存在这种高空间频率成分，可以表明在特定位置处的样本成分被聚焦成像。因此，可以假设在特定位置的样本的成分位于样本中对应于特定图像深度的深度处。因此，可以通过识别样本的图像集的每个图像中的“聚焦”区域来为样本生成深度图或其他深度信息。然后，可以在整个图像集中组合这些识别区域，以生成样本的单一深度图和/或投影图像。

识别样本的图像集的每个图像中的“聚焦”区域可以包括对每个图像应用滤波器或进行变换。例如，可以应用Canny边缘检测器或其他边缘检测滤波器或算法来为图像集中的每个图像生成各自的“边缘图像”，所述“边缘图像”表示边缘在每个图像中的位置。在另一示例中，纹理滤波器可以被应用于图像集中的每个图像，以生成各自的“纹理图像”，所述“纹理图像”表示增加的高空间频率信息(或“纹理”)位于的区域在每个图像的位置。

“纹理”可以通过多种方式确定。例如，可以通过确定特定像素邻域的像素集的熵、数值范围、标准偏差、方差、变异系数，或一些其他可变性测量来确定图像的特定像素的纹理值。这种邻域可以是邻域像素的正方形或其他形状区域，例如，位于确定纹理值的特定像素中心的五乘五正方形像素。“相邻”区域中的像素可以同等加权，也可以以加权方式用于确定纹理值(例如，在确定熵、标准偏差等时，通过给予相比待确定纹理值的特定像素更远的像素以更高的权重的方式)。可以为图像中的每个像素，如图像中的像素的子集(例如，对于每个其他像素)或图像中的一些其他位置确定所述纹理值。

如上所述，具有更高纹理值(或与图像的高空间频率内容相关的某些其他属性的更高值)的特定窄景深图像的区域更有可能被聚焦成像。因此，对应于样本的特定图像的特定高纹理位置的样本成分很可能位于对应于所述特定图像的焦平面深度的样本内的深度处。可以在所有图像中比较图像集中特定位置的纹理信息(例如，对应于每个图像中特定像素索引的位置)，以确定特定位置的单个深度值。这种确定可以被用于生成样本的全深度图和/或生成样本的投影输出图像的像素(例如，通过选择图像集中与用于生成投影图像像素的确定深度相对应的图像的像素)。

为了说明该过程，图3A示出了样本的图像301(例如，如本文所述生成的投影图像)。图像301显示在样本的深度图300的附近。图像301中的每个对象可以包括一个或多个类器官、肿瘤或其他三维多细胞对象。深度图300显示，在图像301中描绘的一些明显的奇特对象可能描绘了样本内部不同深度的多个重叠对象。

图3B示出了样本的深度图300和对应于样本内不同深度处的不同焦平面的样本的窄景深图像集310a、310b、310c、310d。深度图300和图像集中的图像具有相同的分辨率和像素位置，以便于解释。本领域的技术人员将认识到，本文的方法可以适应于具有不同分辨率和/或像素位置情况的图像集的深度图、投影图像和/或输入图像。

可基于图像集310a、310b、310c、310d的每个图像中对应像素315a、315b、315c、315d的纹理值(或表示高空间频率图像内容的局部幅度的其他值)来确定深度图300的特定像素305的深度值。如图3B所示，图像集的图像和深度图可以具有相同的大小和分辨率，在这种情况下，像素可能是一一对应。这是一个非限制性的示例，旨在基于来自输入图像中对应于深度图中特定像素的位置的每个输入图像的纹理信息来确定深度图中特定像素的深度值。

深度值可以以多种方式基于纹理(或其他高空间频率图像内容)值集来选择。例如，可以确定最高纹理值(或者，如果较低纹理值对应于更大量的高空间频率图像内容，则确定最低纹理值)，并且根据与最高纹理值对应的输入图像的深度确定深度。这可以基于这样的假设，即对于特定像素位置，最高纹理值可能对应于在该特定位置最聚焦的图像，因此样本的成分可能位于样本内的相应深度。

可以应用另外地或可选地方法以基于纹理值集确定深度值。例如，可以基于在纹理值集中检测到的峰值或其他特征的深度来确定深度。图3C示出了为输出深度图的特定像素确定的纹理值集320的示意图，作为用于生成纹理值的输入图像的深度的函数。纹理数据中存在峰值325；可以检测所述峰值，并由此确定深度(图3C中的“d₁”)。峰值检测可以用于基于以下假设来确定深度值：对于特定像素位置，作为深度函数的纹理值内的峰值可能与聚焦于该特定位置的样本成分相对应，因此样本成分可能位于样本内的相应深度。

如上所述确定的深度值可以直接作为深度图的像素使用，以生成投影图像的像素，改进样本的一个或多个图像的分割，或促进某些其他应用。或者，可以在此类应用之前，对确定的深度值进行一定程度的空间预处理(例如，可以对如上所述确定的深度值集进行空间预处理，以生成深度图)。例如，二维低通滤波器或其他类型的线性滤波器可应用于深度值，然后再将深度值应用于应用程序。另外地或可选地，也可以应用非线性预处理方法。例如，可以应用保边低通空间滤波器。作为另一个示例，可以删除与其邻接的异常的深度值(例如，由于超过特定量来超过其邻接的平均值，例如，其邻接的标准偏差的倍数)，设置为特定量(例如，其邻接的平均值、中值或其他心度量值)，使用更严格的滤波器参数滤波，或以某些其他方式预处理，以减少此类异常值对后续过程的影响。

三、图像形成实施例

样本的深度信息(例如，深度图、单个深度值)可以用于将像素或其他图像信息从样本的图像集投影到样本的单个投影图像(例如，如在示例投影图像250和301中)。当设置投影图像的每个像素的强度、颜色或其他图像信息时，深度信息可以用于确定图像集中的图像从所述图像集的哪个(哪些)图像提取。如上所述，在输入图像集随样本中的焦平面而变化的情况下，当生成投影图像的像素时，深度信息可以被用于选择投影图像，以使投影图像完全聚焦或者相对于输入图像集进行改进。

图4示出了样本的投影图像400和对应于样本内不同深度处的不同焦平面的样本的窄景深图像集410a、410b、410c、410d。投影图像400和图像集的图像具有相同的分辨率和像素位置，以便于解释。本领域的技术人员可以认识到，本文所述方法可以适于具有不同分辨率和/或像素位置的图像集的深度图、投影图像和/或输入图像的情况。

可以基于为特定像素405确定的深度值来确定投影图像400的特定像素405的图像值(例如，亮度、色度、红色、绿色和/或蓝色通道的颜色值中的一个或多个)。该深度值可以从样本的深度图获得，或者可以在逐个像素的基础上确定。深度值可以如上所述确定(例如，通过识别在对应于投影图像的每个像素的位置处具有最高纹理值的图像集的图像的深度)，或者使用一些其他方法，例如，使用相位对比图像、深度传感器、一些其他深度检测手段。

确定特定像素405的图像值可以包括复制与特定像素405的深度值匹配的图像的对应像素的图像值。例如，在图4中，第二图像410b的深度对应于为特定像素405确定的深度值。因此，复制或投影第二图像410b的对应像素415b的图像值(例如，亮度、强度等)，作为特定像素405的图像值。

该图像值的一对一投影旨在作为确定投影图像的特定像素的图像值的非限制性示例，所述投影图像基于深度值和对应于该深度值的一个或多个窄景深图像。可以使用另外的像素(例如，在加权组合中组合)来生成特定像素405的图像值。在一些示例中，基于与第二图像410b的对应像素415b相邻的像素数，可以全部或部分地确定特定像素405和/或相邻像素的图像值。另外地或可选地，可以使用与特定像素405的深度值的指定范围内的深度值相对应的多个图像的图像信息来生成特定像素405的图像值。例如，可以基于第二图像410b的对应像素415b和第一图像410a和第三图像410c的对应像素415a、415c的组合来确定特定像素405的图像值，所述第一图像410a和第三图像410c对应于特定像素405的深度值的邻域(例如，指定范围)内的深度。

四、图像分割实施例

在各种情况下，以自动方式识别生物样本或其他目标环境的图像中有关的类器官、肿瘤球、细胞、颗粒或其他三维、多细胞离散成分的范围、位置、大小、标识和/或其他信息可能是有益的。这种过程可以被称为“图像分割”。图像分割可以用于自动地对图像内容进行各种分析，例如，确定样本中细胞、类器官或肿瘤球的数量、类型、体积/大小、空间分布、形状、生长速率或其他特性。

本领域提供了多种用于对生物样本的显微图像进行分割的方法。这些方法可以包括阈值、聚类、边缘检测、区域增长、人工神经网络或其他机器学习算法中的一个或多个，或一些其他技术或技术组合，以识别图像中假定的不同相邻区域。使用这些方法识别的每个区域可以对应于相应的类器官、肿瘤球、细胞或其组分或部分。这些方法可应用于样本的一个或多个窄景深图像。可以通过分割如上所述确定的样本的投影图像来改进分割，因为该投影图像与用于生成投影图像的任何单个窄景深图像相比代表更多的聚焦样本的成分。

图5A示出了样本的示例图像500。所述图像可以是如本文其他地方所述生成，或者可以以其他方式获得的投影图像。如图5B所示，可以分割图像500以生成样本的第一分割图510。区域包括第一示例区域515a、第二示例区域515b和第三示例区域515c。每个区域可以代表样本中的不同对象、多个对象和/或部分对象(例如，类器官、肿瘤球、细胞)。

所识别区域的精度可能受到输入图像500中可获得的图像信息的限制。例如，输入图像内、分离重叠或相邻对象之间的边界可能是模糊的或在一定程度上次优的，阻止分割方法将分离对象识别为分割图中的各自不同区域。图5C示出了由输入图像500表示的样本的深度图520。所述深度图520可以使用本文描述的方法基于窄景深图像集生成(例如，基于图像集中存在的纹理信息)，或者可以通过一些其他方法(例如，使用深度传感器)生成。深度图520示出了，基于深度图520的区域525a、区域525b内不同相邻区域之间的深度差，第一分割图510的第一区域515a和第二区域515b中的至少第一区域515a和第二区域515b可能表示多个可区分对象，所述深度图520的区域525a、区域525b分别对应于第一区域515a和第二区域515b。

因此，可以应用深度图520或从一些其他来源提供的深度信息来改进图像的分割。这可以包括使用深度图中的深度信息进一步分割第一分割图像的一个或多个区域以生成改进的第二分割图像。例如，可以分析与第一分割图510的特定区域对应的深度信息，以确定其是否代表深度值的多个潜在离散群体。如果是这样，可以根据每个离散群体的深度值的位置进一步划分特定区域。

例如，图5C和5D示出了对第一分割图510的第一区域515a和第二区域515b的分析，以确定在生成改进的第二分割图530时是否进一步分割这些区域。对于第一区域515a，可以分析与第一区域515a(在图5C中表示为深度值的第一图像块(patch)525a)的位置和范围相对应的深度值(例如，深度图520的像素)以识别可以进一步划分第一区域515a的区域。

这可能包括对第一图像块525a内的深度值群体执行聚类、区域生长或其他分析，以识别第一图像块525a内的两个或多个区域。然后，所述第一区域515a可以进一步被划分为第二分割图530的区域535a、535b和535c。所述划分可以包括基于对应于所识别的每个聚类簇的深度图520的深度图像素的位置而产生的额外的划分。该过程可以包括执行滤波、区域生长、边缘保留或其他过程，以确保确定的分割在父区域515a的划分之后产生连续和/或还算平滑的区域535a、535b和535c。类似的处理可以用于将第一分割图510的第二区域515b划分为第二分割图530的相应区域535d、535e。注意，这样的分析也可以导致不执行分割，因为第一分割图510的第三区域515c在第二分割图530中作为单个区域535f被保留。

五、应用实施例

本文所述的系统和方法可以被用于促进样本成像中的各种生物应用。这可以包括使用自动成像系统在数小时、数天、数周或某些其他时间段内的多个时间点，或位于孵化器内的多个样本(例如，96孔样本板各孔内包含的96个样本)进行成像，以避免样本从孵化器中移除对样本的干扰。成像的样本可以包含人细胞或肿瘤细胞、类器官、肿瘤球或其他细胞的3D培养物。所述细胞可以是天然的，也可以是某些实验过程的结果(例如，暴露于致癌物以产生癌细胞的结果)。此外，细胞可以用荧光染料标记，或进行基因修饰，以表达荧光蛋白、其他报告物质，或提供一些其他生物学见解(例如，评估基因修饰对细胞的影响)。

可制备样本并对样本成像，以便在免疫学、肿瘤学、神经科学、细胞治疗或其他研究领域进行药物开发和/或评估药物或其他物质的毒理学。例如，在样本包括和/或允许开发类器官的情况下，对样本进行成像可以促进器官发育的研究、疾病模型的开发和/或量化和/或再生医学的发展。

所述系统和方法支持各种成像模式。例如，可以获得类器官、嵌入细胞外基质或其他三维样本(例如，可以在96孔测验的孔中处理这些样本)的多球体的无标记、明视野图像。荧光成像可以被用于对荧光报告分子(reporter)成像，所述荧光报告分子可以作为荧光分析的一部分对细胞进行标记和/或作为细胞功能或某些其他目标特性的报告分子。例如，可以进行基于Annexin V绿色荧光染料试剂的成像以评估样本中细胞死亡的位置、速率或其他信息，可以用Nuclight Red指示剂进行成像以评估样本中细胞增殖的信息，或者可以用某些其他荧光报告分子或报告分子系统(例如，多颜色FUCCI分析)进行成像以评估关于细胞分裂、功能、识别或分化的信息。可以为了例如，对含有类器官、多球体或其他目标的三维对象的样本进行细胞健康分析而进行。

如果在多孔板(例如96孔板)中对多个不同的样本进行成像，则样本在细胞成分(例如细胞类型、肿瘤细胞类型)、添加物质的量或特性(例如，添加药物的剂量、作为药物研发试验一部分而添加药物的变体的特定种类)、基因修饰的类型或某些其他不同的实验条件方面可能会有很大的不同。然后，本文所述的自动成像和图像处理技术可以被应用于评估所应用的物质/治疗的有效性和/或毒性，或确定目标的某些其他实验数据。

六、系统实施例

可以使用各种系统(例如，编程)来执行本文所述的各种实施方案。这些系统可以包括台式机、笔记本电脑、平板电脑或其他单用户工作站。另外地或可选地，本文所述的实施方案可以由服务器、云计算环境或其他多用户系统执行。

这些系统可以分析从其他系统接收的数据，例如从服务器上的远程数据存储器、远程单元计数器或其他仪器或从某些其他来源接收的数据。另外地或可选地，被配置用于执行本文所述实施方案的系统可以包括和/或耦合到自动孵化器、样本成像系统或能够生成用于分析的实验数据的其他仪器。例如，这种仪器可以包括含有多孔样本容器的孵化器。这种多孔样本容器中的样本在样本基因组、样本来源、应用于样本的生长介质、应用于样本的药物或生物或应用于样本的某些其他条件方面可能不同。

可以通过多种方式对此类设备内的样本进行实验评估。可以对样本进行成像(例如，使用可见光、红外和/或紫外线)。此类成像可以包括样本成分的荧光成像，例如，在样本中添加和/或由样本细胞产生(例如，在插入荧光团编码基因后)的荧光染料或报告分子成像。自动机架位于孵化器内，以便于在样本容器的各孔内对各种样本进行成像，或便于在样本容器的各孔内测量和分析各种样本。

例如，可以使用自动成像系统以自动方式获取图像(例如，明视野图像、荧光图像)，所述图像为在不同扫描周期的多个时间段内，在样本容器的各个孔中的多个生物样本的图像。自动成像系统可以在每个扫描周期内对每个样本拍摄图像集，例如，与样本内的焦平面不同的图像集。然后，可以根据例如本文所述的方法分析图像，以确定深度图、投影图像或关于样本的某些信息。

与手动成像相比，使用这种自动成像系统可以显著降低生物样本成像的人员成本，并提高生成图像的时间、位置和图像参数的一致性。此外，这种自动成像系统可以被配置为在孵化器内操作，无需从孵化器中取出样本进行成像。因此，可以更一致的保持样本的生长环境。此外，如果自动成像系统用于移动与样本容器相关的显微镜或其他成像装置的情况时(而不是，例如，移动样本容器由静态成像装置进行成像)，可以减少样本移动相关的干扰。这可以改善样本的生长发育，减少与运动有关的混杂因素。

这种自动成像系统可以在扫描过程中获得一个或多个图像，这些图像之间的间隔超过24小时、3天以上、30天以上或更长时间。扫描可以被指定为以特定的速率进行，例如每天一次、每天多次、每天两次以上或每天三次以上。扫描可以被指定为在24小时内进行至少两次、至少三次或更多次。在一些示例中，可以分析一个或多个扫描的数据(例如，根据本文所述的方法)，并用于确定另外的扫描的时间(例如，增加扫描的速率、持续时间、图像捕获速率或某些其他属性，以检测预计在样本中发生的离散事件的发生)。

使用这种自动成像系统可以促进在较长时间内在多个时间点对同一生物样本进行成像。因此，可以随时间分析单个细胞和/或细胞网络(例如，类器官、肿瘤球)的发育和/或行为。例如，可以在单个样本内、在不同的、间隔较长的时间间隔内进行的扫描中识别细胞集、细胞的一部分或其他对象。然后，可以在扫描之间比较这些已识别的对象集，以便跨扫描识别相同的对象。因此，单个类器官、肿瘤球、细胞或部分细胞的行为可以在数小时、数天、数周或数月内进行跟踪和分析。

图6示出了该自动成像系统600的元件。所述自动成像系统600包括附接所述自动成像系统600的其它元件的框架610。所述框架610可以被配置(例如，大小)为安装在孵化器内。自动成像系统600包括样本容器620，所述样本容器620可拆卸地放置在与框架610连接的样本容器托盘630内。样本容器托盘630可以是可拆卸的和/或可以包括可拆卸的插入物，以便于容纳各种不同的样本容器(例如，各种工业标准样本容器)。系统600还包括一个被配置成相对于样本容器620的定位成像装置640的驱动器机架650，使得所述成像装置640可以移动以获取样本容器620(例如，示例孔625)的各个孔中成分的图像。

成像装置640可以包括显微镜、荧光成像仪、双光子成像系统、相位对比成像系统、一个或多个光源、一个或多个光学滤波器和/或被配置为促进样本容器620内的样本进行成像的其他元件。在一些示例中，所述成像装置640包括布置在样本容器620的两侧的元件(例如，相干、偏振、单色或其他指定照明的光源，以促进，例如生物样本的相位对比成像)。在这种示例中，所述样本容器620两侧的元件可以耦合到不同机架上，可以耦合到同一个机架上的不同栅，并且/或者样本容器620一侧的元件不能相对于样本容器620移动。

所述驱动器机架650耦合到所述框架610和所述成像装置640，并且被配置成在相对于所述样本容器620的至少两个方向上控制所述装置640的位置，以促进对所述样本容器620内的多个不同样本进行成像。所述驱动器机架650还可被配置成控制所述成像装置640的位置在第三方向上靠近和远离所述样本容器620，以便于控制使用成像装置640获得的图像的焦距和/或控制样本容器620内的可使用成像装置640成像的材料深度。另外地或可选地，所述成像装置640可以包括一个或多个控制成像装置640焦距的驱动器。所述成像装置640可以包括一个或多个电机、压电元件、液晶镜头，或者其他便于控制成像装置640的焦距设置的驱动器。例如，成像装置640可以包括被配置成控制成像装置640和被成像样本之间的焦距的驱动器。这样做是为了确保图像被聚焦和/或允许图像被拍摄，使得样本中的各种不同焦平面在各自的不同图像中表示。

所述驱动器机架650可以包括元件，所述元件被配置成便于检测成像装置640相对于样本容器620(例如，与样本容器620的特定孔)的绝对和/或相对位置。例如，所述驱动器机架650可以包括编码器、限位开关和/或其他位置感知元件。另外地或可选地，可将成像装置640或系统的其他元件配置为检测样本容器620和/或样本容器托盘630的基准标记或其他特征，以确定成像装置640相对于样本容器620的绝对和/或相对位置。

可以由一个或多个计算系统执行计算功能(例如，在指定时间段内，操作所述驱动器机架650和/或成像装置640以对样本容器620内的样本进行成像的功能和/或执行本文所述的某些其他方法的功能)。该计算系统可以被集成到实验室仪器系统(例如，600)中，可以与该系统相关联(例如，通过直接有线或无线连接、本地网络和/或通过互联网上的安全连接而连接)，和/或可以采取某些其他形式(例如，与自动成像系统通信和/或可访问生物样本图像存储的云计算系统)。

图7示出了可以用于实现本文所述方法的此类计算系统700的示例。示例计算系统700包括通信接口702、用户接口704、处理器706、一个或多个传感器707(例如，光电探测器、照相机、深度传感器、显微镜或一些其他仪器化实验室设备)和数据存储器708，所有这些都通过系统总线710可通信地连接在一起。

所述通信接口702可以具有允许计算系统700使用电、磁、电磁、光或其他信号的模拟或数字调制与其他设备、接入网络和/或传输网络通信的功能。因此，通信接口可以促进电路交换和/或分组交换通信，例如普通老式电话服务(POTS)通信和/或互联网协议(IP)或其他分组通信。例如，通信接口702可以包括用于与无线接入网络或与接入点进行无线通信的芯片组和天线。另外，通信接口702可以采用无线接口的形式或包括无线接口，例如以太网、通用串行总线(USB)或高清多媒体接口(HDMI)端口。通信接口也可以采用无线接口的形式或包括无线接口，例如WiFi、

全球定位系统(GPS)或广域无线接口(如WiMAX或3GPP长期演进(LTE))。但是，可以在通信接口702上使用其他形式的物理层接口和其他类型的标准或专有通信协议。此外，通信接口702可以包括多个物理通信接口(例如，WiFi接口、

接口和广域无线接口)。

在一些实施方案中，通信接口702可以具有允许计算系统700与其他设备、远程服务器、接入网络和/或传输网络通信的功能。例如，通信接口702可以用于传输和/或接收生物样本图像(例如，与在样本内的焦平面成像的图像不同的明视野图像集或其他类型的图像集)或某些其他信息的指示。

该计算系统700的用户接口704可以实现允许计算系统700与用户交互的功能，例如接收来自用户的输入和/或向用户提供输出。因此，用户接口704可以包括输入组件，例如小键盘、键盘、触敏控制板或显示(presence)敏感控制板、计算机鼠标、跟踪球、操纵杆、麦克风等。用户接口704还可以包括一个或多个输出组件，例如可以与显示敏感控制板组合的显示屏。显示屏可以基于CRT、LCD和/或LED技术，或其他已知或最新开发的技术。用户接口704还可以被配置为通过扬声器、扬声器插孔、音频输出端口、音频输出设备、耳机和/或其他类似设备生成音频输出。

在一些实施方案中，用户接口704可以包括用于向用户呈现视频或其他图像(例如，在特定生物样本的特定扫描期间生成的图像的视频)的显示器。另外地，用户接口704可以包括促进计算设备配置和操作的一个或多个按钮、开关、旋钮和/或拨号盘。这些按钮、开关、旋钮和/或拨号盘中的一些或全部可能作为触敏控制板或显示敏感控制板上的功能来实现。用户接口704可以允许用户指定包含在自动成像系统中的样本的类型，指定用于对样本进行成像或其他评估的时间表，指定图像分割、事件分析和/或系统700将要执行的某些其他分析的参数，或者输入某些其他命令或参数以用于自动实验室系统的操作和/或分析由此生成的数据。

处理器706可以包括一个或多个通用处理器(例如，微处理器)和/或一个或多个专用处理器(例如，数字信号处理器(DSP)、图形处理单元(GPU)、浮点运算单元(FPU)、网络处理器、张量处理单元(TPU)或专用集成电路(ASIC)。在某些情况下，专用处理器能够进行图像处理、图像对齐、统计分析、滤波或降噪等应用或功能。数据存储器708可以包括一个或多个易失性和/或非易失性存储组件，例如磁存储器、光存储器、闪存存储器或有机存储器，并且可以与处理器706整体或部分集成。数据存储器708可以包括可移动和/或不可移动组件。

处理器706能够执行存储在数据存储器708中的程序指令718(例如，编译或未编译的程序逻辑和/或机器代码)，以执行本文所述的各种功能。因此，数据存储器708可以包括非暂态计算机可读取介质，其存储有程序指令，所述程序指令为由计算设备700执行时使计算设备700执行本说明书和/或附图中公开的任何方法、工序或函数。处理器706执行程序指令718可以导致处理器706使用数据712。

例如，程序指令718可以包括安装在计算设备700上的操作系统722(例如，操作系统内核、设备驱动程序，和/或其他模块)和一个或多个应用程序720(例如，滤波函数、数据处理函数、统计分析函数、图像处理函数、深度测定函数、图像分割函数)。数据712可以包括显微图像或其他数据，其包括单个样本的图像集、样本的深度信息和/或样本的分割信息。

应用程序720可以通过一个或多个应用程序接口(API)与操作系统722通信。这些API可以促进例如应用程序720经由通信接口702接收信息、接收和/或显示用户接口704的信息等。

应用程序720可以采取“软件(app)”的形式，所述“app”可以通过一个或多个在线应用商店或应用市场(例如，通过通信接口702)下载到计算设备700。然而，应用程序也可以以其他方式安装在计算设备700上，例如通过网页浏览器或通过计算设备700的物理接口(例如，USB端口)。

在一些示例中，根据应用，本文所述的方法的一部分可以由不同的设备执行。例如，系统中的不同设备可以具有不同数量的计算资源(例如，存储器、处理器周期)和用于设备之间通信的不同的信息带宽。例如，第一设备可以是嵌入式处理器，所述嵌入式处理器可以操作驱动器机架、成像装置或其他元件，以在多个不同时间和/或在多个不同时间段内生成关于生物样本的信息。然后，第二设备可以从第一设备接收(例如，通过互联网，通过专用的有线链路)来自第一设备的信息(例如，图像信息、深度信息)，并对所接收的数据执行本文描述的工序和分析方法。本文所述方法的不同部分可以依此类推。

七.方法实施例

图8是用于生成三维样本的投影图像的方法800的流程图。方法800包括获取样本的图像集，其中图像集的每个图像对应于样本内的各个焦平面(810)。方法800还包括对图像集中的每个图像应用滤波器，以确定样本的输出图像的每个像素各自的深度值，其中给定的深度值表示样本成分可以聚焦成像的样本内的深度(820)。方法800还包括基于输出图像的像素的深度值来确定输出图像的每个像素的图像值，其中，确定输出图像的特定像素的图像值包括：(i)识别与特定像素的深度值相对应的图像集中的图像；和(ii)基于识别的图像的像素来确定所述特定像素的图像值，所述识别的图像的像素在识别的图像中具有对应于所述特定像素的位置(830)。方法800可以包括附加元素或特征。

图9是用于生成三维样本的投影图像的方法900的流程图。方法900包括获取样本的图像集，其中图像集的每个图像对应于样本内的各个焦平面(910)。方法900还包括对图像集中的每个图像应用滤波器，以确定深度图的每个像素的各个深度值，其中给定的深度值表示样本成分可以聚焦成像的样本内的深度(920)。方法900还包括基于深度图的对应像素的深度值来确定输出图像的每个像素的图像值(930)。所述方法900可以包括附加元素或特征。

图10是用于分割样本图像的方法1000的流程图。方法1000包括获取样本的图像(1010)。方法1000还包括获取样本成分的深度图(1020)。方法1000还包括基于所述图像生成样本的第一分割图(1030)。方法1000还包括基于所述深度图，通过进一步划分第一分割图的至少一个区域来生成样本的第二分割图(1040)。方法1000可以包括附加元素或特征。

八.结论

上述具体实施方式参照附图描述了所公开的系统、设备和方法的各种特征和功能。在图中，相似符号通常标识相似的组件，除非上下文另有指示。具体实施方式、附图和权利要求中描述的说明性实施方案并不旨在限制。不超出本文所述主题的范围的情况下，可以使用其他实施方案，并可以进行其他改变。应当理解的是，如本文所述和附图所示，本公开的各个方面可以以各种不同的配置进行布置、替换、组合、分离和设计，所有这些配置都是本文中明确预期的。

附图的任何或全部信息流图、场景和流程图，并且如本文所讨论的，每个步骤、区块和/或通信可以表示根据示例实施方案的信息处理和/或信息传输。可选的实施方案包括在这些示例实施方案的范围内。在这些可选的实施方案中，例如，被描述为步骤、区块(block)、传输、通信、请求、响应和/或消息的功能可以不按照显示或讨论的顺序执行，包括基本上同时执行或按相反顺序执行，这取决于所涉及的功能。此外，更多或更少的步骤、区块和/或功能可以与本文讨论的任何信息流图、场景和流程图一起使用，并且这些信息流图、场景和流程图可以部分或整体地与另一个信息流图、场景和流程图相结合。

表示信息处理的步骤或区块可以对应于可被配置来执行本文所述方法或技术的特定逻辑功能的电路。可选地或另外地，表示信息处理的步骤或区块可以对应于模块、段或部分程序代码(包括相关数据)。程序代码可以包括由处理器执行的一个或多个指令，以实现方法或技术中的特定逻辑功能或操作。程序代码和/或相关数据可以被存储在任何类型的计算机可读介质上，例如存储设备，包括磁盘驱动器、硬盘驱动器或其他存储介质。

计算机可读介质还可以包括非暂态计算机可读取介质，例如短时间段存储数据的计算机可读取介质，诸如寄存器存储器、处理器缓存和/或随机存储器(RAM)等。计算机可读介质还可以包括非暂态计算机可读介质，其可以更长时间的存储程序代码和/或数据，例如二级或持久的长期存储，例如只读存储器(ROM)、光盘或磁盘和/或只读光盘(CD-ROM)。计算机可读介质也可以是任何其他易失性或非易失性存储系统。例如，计算机可读取介质可以被视为计算机可读存储介质或有形存储设备。

此外，表示一个或多个信息传输的步骤或区块可以对应于同一物理设备中软件和/或硬件模块之间的信息传输。但是，其他信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。

虽然本文公开了多个方面和实施方案，但对于本领域技术人员来说，其他的方面和实施方案将是显而易见的。本发明公开的各个方面和实施方案旨在说明而非限制性的，其真正的范围如权利要求所示。

Claims (49)

1.一种生成三维样本的投影图像的方法，所述方法包括：

获取样本图像集，其中图像集的每个图像对应于样本内的各自焦平面；

将滤波器应用于图像集中的每个图像，以确定样本的输出图像的每个像素的对应深度值，其中给定的深度值表示可以使样本成分聚焦成像的样本内的深度；和

基于输出图像的像素的深度值确定所述输出图像的每个像素的图像值，其中，确定所述输出图像的特定像素的图像值包括：(i)识别图像集中与特定像素的深度值对应的图像；和(ii)基于所述识别的图像的像素确定所述特定像素的图像值，所述识别的图像的像素在所述识别的图像内具有与所述特定像素对应的位置。

2.根据任一前述权利要求所述的方法，其中所述滤波器是纹理滤波器，并且将所述滤波器应用于图像集的特定图像包括，对于特定图像的特定像素，确定位于所述特定像素邻域的特定图像的标准偏差、熵或像素的数值范围中的至少一个。

3.根据任一前述权利要求所述的方法，还包括根据深度值为样本生成深度图。

4.根据任一前述权利要求所述的方法，还包括：

根据输出图像生成样本的第一分割图；和

基于所确定的深度值，通过进一步划分所述第一分割图的至少一段，生成所述样本的第二分割图。

5.根据权利要求4所述的方法，其中进一步划分所述第一分割图的至少一段，包括：

从确定的深度值中选择对应于所述第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于所述识别地至少两个聚类簇进一步划分所述特定区域。

6.根据任一前述权利要求所述的方法，还包括：

空间预处理确定的深度值，其中基于输出图像的像素的深度值来确定输出图像的每个像素的图像值，包括基于输出图像的像素的空间预处理的深度值来确定输出图像的每个像素的图像值。

7.根据任一前述权利要求所述的方法，其中所述图像集是样本的明视野图像集。

8.根据任一前述权利要求所述的方法，其中所述图像集是样本的荧光图像集。

9.根据任一前述权利要求所述的方法，其中所述样本包含至少一个三维培养的多细胞结构。

10.根据权利要求9所述的方法，其中所述至少一个三维培养的多细胞结构包括至少一个嵌入细胞外基质或肿瘤球中的类器官。

11.根据权利要求10所述的方法，其中所述至少一个三维培养的多细胞结构包括嵌入在细胞外基质中的类器官，其中所述细胞外基质为圆顶形式的细胞外基质。

12.根据权利要求10所述的方法，其中所述至少一个三维培养的多细胞结构包括肝细胞类器官、胰腺细胞类器官或肠细胞类器官中的至少一个。

13.根据任一前述权利要求所述的方法，其中确定所述输出图像的特定像素的图像值还包括：(iii)识别与特定像素的深度值的邻域内的深度值相对应的图像集的两个或多个另外的图像，其中基于识别的图像的像素确定特定像素的图像值，所述识别的图像的像素在识别的图像内具有与所述特定像素对应的位置，包括对所述识别的图像和两个或多个另外的图像的像素执行像素级操作，所述另外的图像在其各自的识别的图像中具有与所述特定像素对应的位置。

14.一种生成三维样本投影图像的方法，所述方法包括：

获取样本的图像集，其中所述图像集的每个图像对应于样本内的各自焦平面；

将滤波器应用于所述图像集中的每个图像，以确定深度图的每个像素的对应深度值，其中所述深度值表示可以使样本成分聚焦成像的样本内深度；和

基于深度图的对应像素的深度值，确定输出图像的每个像素的图像值。

15.根据权利要求14所述的方法，其中所述滤波器是纹理滤波器，并且当将所述滤波器应用于所述图像集的特定图像时，对于所述特定图像的特定像素，确定位于所述特定像素邻域的所述特定图像的像素的标准偏差、熵或数值范围中的至少一个。

16.根据权利要求14-15中任一项所述的方法，还包括：

根据输出图像生成样本的第一分割图；和

基于确定的深度值，通过进一步划分所述第一分割图的至少一个区域来生成样本的第二分割图。

17.根据权利要求16所述的方法，其中进一步划分所述第一分割图的至少一个区域，包括：

从确定的深度值中选择对应于第一分割图的特定区域的深度值集；

在所选的深度值集中识别至少两个聚类簇；和

根据识别的至少两个簇进一步划分所述特定区域。

18.根据权利要求14-17中任一项所述的方法，其中所述图像集是样本的明视野图像集。

19.根据权利要求14-17中任一项所述的方法，其中所述图像集是样本的荧光图像集。

20.根据权利要求14-19中任一项所述的方法，其中所述样本含有至少一个类器官。

21.一种用于分割样本图像的方法，所述方法包括：

获取样本的图像；

获取样本成分的深度图；

基于图像生成样本的第一分割图；和

基于所述深度图，通过进一步划分第一分割图的至少一个区域，生成样本的第二分割图。

22.根据权利要求21所述的方法，其中所述深度图包含多个深度值，并且所述进一步划分第一个分割图的至少一个区域包括：

从所述深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分所述特定区域。

23.根据权利要求21-22任一项所述的方法，其中所述样本含有至少一个类器官。

24.一种非暂态计算机可读介质，其中，所述非暂态计算机可读介质上存储有至少一个处理器可执行的指令，以执行以下操作：

获取样本的图像集，其中图像集的每个图像对应于样本内的各自焦平面；

将滤波器应用于所述图像集中的每个图像，以确定样本的输出图像的每个像素的对应深度值，其中给定的深度值表示可以使样本成分聚焦成像的样本内的深度；和

基于输出图像的像素的深度值确定输出图像的每个像素的图像值，其中，确定输出图像的特定像素的图像值包括：(i)从图像集中识别与所述特定像素的深度值对应的图像；和(ii)基于识别的图像的像素确定所述特定像素的图像值，所述识别的图像的像素在所述识别的图像内具有与所述特定像素对应的位置。

25.根据权利要求24所述的非暂态计算机可读介质，其中所述滤波器是纹理滤波器，并且将滤波器应用于所述图像集的特定图像包括，对于特定图像的特定像素，确定位于所述特定像素邻域的特定图像的标准偏差、熵或像素的数值范围中的至少一个。

26.根据权利要求24-25中任一项所述的非暂态计算机可读介质，其中所述操作进一步包括基于所述深度值生成样本的深度图。

27.根据权利要求24-26中任一项所述的非暂态计算机可读介质，其中所述操作还包括：

基于输出图像生成样本的第一分割图；和

基于所述确定的深度值，通过进一步划分所述第一分割图的至少一段，生成所述样本的第二分割图。

28.根据权利要求27所述的非暂态计算机可读介质，其中进一步划分所述第一分割图的至少一段，包括：

从所述确定的深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分特定区域。

29.任何权利要求24-28中任一项所述的非暂态计算机可读介质，其中所述操作还包括：

空间预处理所述确定的深度值，其中，基于输出图像的像素的深度值来确定输出图像的每个像素的图像值，包括基于输出图像的像素的空间预处理深度值来确定输出图像的每个像素的图像值。

30.根据权利要求24-29中任一项所述的非暂态计算机可读介质，其中，确定所述输出图像的特定像素的图像值还包括：(iii)识别图像集的两个或多个另外的图像，所述图像集与特定像素的深度值的邻域内的深度值相对应，并且基于识别的图像的像素确定所述特定像素的图像值，所述识别的图像的像素在识别的图像内具有与所述特定像素对应的位置，包括对所述识别的图像的像素和两个或更多另外的图像的像素执行像素级操作，所述两个或更多另外的图像包括各自识别的图像内对应于所述特定像素的位置。

31.一种非暂态计算机可读介质，其中，所述非暂态计算机可读介质上存储有至少一个处理器可执行的指令，以执行以下操作：

获取样本的图像集，其中图像集的每个图像对应于样本内的各自焦平面；

将滤波器应用于图像集中的每个图像，以确定深度图的每个像素的对应深度值，其中给定的深度值表示可以使样本成分聚焦成像的样本内的深度；和

基于所述深度图的对应像素的深度值，确定输出图像的每个像素的图像值。

32.根据权利要求31所述的非暂态计算机可读介质，其中滤波器是纹理滤波器，并且将滤波器应用于图像集的特定图像包括，对于特定图像的特定像素，确定位于该特定像素邻域的特定图像的标准偏差、熵或像素的数值范围中的至少一个。

33.根据权利要求31-32中任一项所述的非暂态计算机可读介质，其中所述操作还包括：

基于输出图像生成样本的第一分割图；和

基于所述确定的深度值，通过进一步划分所述第一分割图的至少一个区生成样本的第二分割图。

34.根据权利要求33所述的非暂态计算机可读介质，其中进一步划分所述第一分割图的至少一个区域，包括：

从所述确定的深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分特定区域。

35.一种非暂态计算机可读介质，其中，所述非暂态计算机可读介质上存储有至少一个处理器可执行的指令，以执行以下操作：

获取样本的图像；

获取样本成分的深度图；

基于图像生成样本的第一分割图；和

基于所述深度图，通过进一步划分第一分割图的至少一个区域，生成样本的第二分割图。

36.根据权利要求35所述的非暂态计算机可读介质，其中所述深度图包含多个深度值，并且所述进一步划分第一分割图的至少一个区域包括：

从所述深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分所述特定区域。

37.一个系统，包括：

一个或多个处理器；和

一种非暂态计算机可读介质，其上存储有可以由一个或多个处理器中的至少一个处理器执行的指令，以执行以下操作：

获取样本的图像集，其中所述图像集的每个图像对应于所述样本内的各自焦平面；

将滤波器应用于图像集中的每个图像，以确定样本的输出图像的每个像素的对应深度值，其中给定的深度值表示可以使样本成分聚焦成像的样本内的深度；和

基于输出图像的像素的深度值确定输出图像的每个像素的图像值，其中，确定输出图像的特定像素的图像值包括：(i)从图像集中识别与所述特定像素的深度值对应的图像；和(ii)基于识别图像的像素确定所述特定像素的图像值，所述识别的图像的像素在所述识别的图像内具有与所述特定像素对应的位置。

38.根据权利要求37所述的系统，其中滤波器是纹理滤波器，并且将滤波器应用于所述图像集的特定图像包括，对于特定图像的特定像素，确定位于所述特定像素邻域的特定图像的标准偏差、熵或像素的数值范围中的至少一个。

39.根据权利要求37-38中任一项所述的系统，其中所述操作进一步包括基于所述深度值生成样本的深度图。

40.根据权利要求37-39中任一项所述的系统，其中所述操作还包括：

基于输出图像生成样本的第一分割图；和

基于所述确定的深度值，通过进一步划分所述第一分割图的至少一段，生成所述样本的第二分割图。

41.根据权利要求40所述的系统，其中所述进一步划分第一个分割图的至少一段，包括：

从所述确定的深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分所述特定区域。

42.根据权利要求37-41中任一项所述的系统，其中所述操作还包括：

空间预处理所述确定的深度值，其中，基于输出图像的像素的深度值来确定输出图像的每个像素的图像值，包括基于输出图像的像素的空间预处理深度值来确定输出图像的每个像素的图像值。

43.根据权利要求37-42中任一项所述的系统，其中确定所述输出图像的特定像素的图像值还包括：(iii)识别图像集的两个或多个另外的图像，所述图像集与特定像素的深度值的邻域内的深度值相对应，并且其中，基于识别的图像的像素确定所述特定像素的图像值，所述识别的图像的像素在识别的图像内具有与所述特定像素对应的位置，包括对所述识别的图像的像素和两个或更多另外的图像的像素执行像素级操作，所述两个或更多另外的图像包括各自识别的图像内对应于所述特定像素的位置。

44.一个系统，包括：

一个或多个处理器；和

一种非暂态计算机可读介质，其上存储有可以由一个或多个处理器中的至少一个处理器执行的指令，以执行以下操作：

获取样本的图像集，其中所述图像集的每个图像对应于所述样本内的各自焦平面；

将滤波器应用于图像集中的每个图像，以确定深度图的每个像素的对应深度值，其中给定的深度值表示可以使样本成分聚焦成像的样本内的深度；和

基于深度图像图的对应相素的深度值，确定输出图像的每个像素的图像值。

45.根据权利要求44所述的系统，其中滤波器是纹理滤波器，并且将滤波器应用于所述图像集的特定图像包括，对于特定图像的特定像素，确定位于所述特定像素邻域的特定图像的标准偏差、熵或像素的数值范围中的至少一个。

46.根据权利要求44-45中任一项所述的系统，其中所述操作还包括：

基于输出图像生成样本的第一分割图；和

基于所述确定的深度值，通过进一步划分所述第一分割图的至少一个区域，生成所述样本的第二分割图。

47.根据权利要求46所述的系统，其中进一步划分所述第一分割图的至少一个区域，包括：

从所述确定的深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分所述特定区域。

48.一个系统，包括：

一个或多个处理器；和

一种非暂态计算机可读介质，其上存储有可以由一个或多个处理器中的至少一个处理器执行的指令，以执行以下操作：

获取样本的图像；

获取样本成分的深度图；

基于图像生成样本的第一分割图；和

基于所述深度图，通过进一步划分第一分割图的至少一个区域，生成样本的第二分割图。

49.根据权利要求48所述的系统，其中所述深度图包含多个深度值，并且所述进一步划分第一分割图的至少一个区域包括：

从所述深度值中选择对应于第一分割图的特定区域的深度值集；

在所选深度值集中识别至少两个聚类簇；和

基于识别的至少两个聚类簇进一步划分所述特定区域。

Images