CN113939759A - 用于校正显微镜物镜视场中对焦平面变化的系统和方法 - Google Patents

Abstract

公开了用于生成放置在成像系统的样本保持器上的样本的聚焦校正图像的计算机实现系统和方法。成像系统包括图像传感器和相对于图像传感器可移动的透镜。生成透镜的特征映射，其将图像的每个像素的坐标与透镜的定位相关联。根据在在透镜位于透镜的对应定位时所获取的样本的多个图像，图像生成器生成样本的聚焦校正图像的输出像素。图像生成器根据特征映射选择第二定位，从与第二定位相关联的样本的图像中选择图像，并且根据与输出像素对应的所选择图像的像素值来确定输出像素值。

Description

用于校正显微镜物镜视场中对焦平面变化的系统和方法

相关申请

本申请要求于2019年6月3日提交的美国申请第16/429,955号的优先权，通过引用而将其全文内容并入本文。

技术领域

本主题涉及显微系统，并且更具体地，涉及一种用于从中生成聚焦校正图像的系统和方法。

背景技术

成像系统可用于获得生物样本的显微图像。可以使用图像分析系统来处理这样的图像，来识别与其中的感兴趣对象(细胞、细胞器等)相关联的图像像素、来对图像中表示的不同类型的感兴趣对象进行分类、来获得关于这些感兴趣的对象或其部分的度量等等。这样的度量可以包括例如感兴趣对象的计数、生物样本中表示的每种类型感兴趣对象的计数、细胞的大小(面积、周长、体积)、感兴趣对象的大小的统计数据(平均值、众数、中位数、标准偏差等)等等。

成像系统包括可放置待成像样本的X-Y载物台、光源、物镜和图像传感器(例如电荷耦合器件、互补金属氧化物半导体传感器或其它光敏传感器)。物镜可以是单透镜或包括彼此耦接的多个透镜的复合透镜。

载物台和图像传感器通常具有彼此相对的平行平面表面，并且物镜(单透镜或复合透镜)设置在这些表面之间。可以将物镜和图像传感器作为一个单元沿着垂直于这些表面的方向移动，以调整物镜和载物台之间的距离。以这种方式移动物镜和图像传感器在载物台和物镜之间确定聚焦平面，该聚焦平面将在图像传感器上聚焦。图像传感器根据在其上形成的图像产生信号，并且这样的信号用于确定由图像传感器产生的输出图像的像素。然而，由于例如物镜的像场弯曲或其它聚焦像差，在图像传感器上形成的图像在图像的中心部分对焦时，图像的外围(或其它)部分可能会失焦。

可以通过将附加透镜包括到复合物镜和/或选择构成物镜的一个或多个透镜的不同材料来改善上述聚焦像差。然而，即使使用此类附加透镜或材料，也可能无法消除此类聚焦像差。此外，使用此类附加透镜可能会显著增加成像系统的成本或对成像系统的其它因素(例如光通量)产生负面影响。

发明内容

根据一个方面，一种用于使用成像系统生成在样本保持器上的样本的图像的计算机实现系统，该成像系统包括图像传感器和相对于样本保持器在第一位置(position)和第二位置之间可移动的透镜，其中图像传感器产生二维像素阵列，计算机实现系统包括图像采集器和图像生成器。图像采集器在处理器上操作并从图像传感器接收样本的多个图像，其中样本的多个图像中的每一个在透镜位于在第一位置和第二位置之间的透镜的第一多个定位/指定位置(location)中的相应一个定位时被捕获。图像生成器选择与透镜相关联的特征映射，其中特征映射将由图像传感器产生的图像的每个像素的坐标与第一位置和第二位置之间的透镜的第二多个定位中的一个定位相关联。此外，图像生成器根据特征映射从与输出图像像素的坐标相关联的第二多个定位中选择第一定位、根据第一定位从第一多个定位中选择第二定位、从与第二定位相关联的样本的多个图像中选择图像、并根据多个图像中与输出像素相对应的所选择图像的像素值来确定输出像素值。

根据另一方面，一种使用成像系统生成样本图像的方法包括使非传递性(non-transitive)计算设备选择与透镜相关联的特征映射的步骤，成像系统包括图像传感器和相对于样本保持器在第一位置和第二位置之间可移动的透镜。特征映射将由图像传感器产生的图像的每个像素的坐标与第一位置和第二位置之间的透镜的第一多个定位中的一个定位相关联。非传递性计算设备还从图像传感器接收样本的多个图像，其中样本的多个图像中的每一个在透镜位于在第一位置和第二位置之间的透镜的第二多个定位中的相应一个定位时被捕获，并从与输出图像像素的坐标相关联的第一多个定位中选择第一定位，根据第一定位从第二多个定位中选择第二定位，并从与第二定位相关联的样本的多个图像中选择图像。非传递性计算设备还根据多个图像中与输出像素相对应的所选择图像的像素值来确定输出像素值。

在考虑以下具体实施方式和附图后，其它方面和优点将变得显而易见，其中在整个说明书中相同的数字表示相同的结构。

附图说明

图1是产生聚焦校正图像的系统的框图；

图2是可以与图1系统一起使用以产生聚焦校正图像的成像系统的框图；

图3是由图1系统的特征映射生成器执行的步骤的流程图；

图4是由图1系统的图像采集器执行的步骤的流程图；

图5是由图1系统的特征映射生成器执行的附加步骤的流程图；

图6是由图1系统的图像生成器执行的步骤的流程图；和

图6A是由图1系统的图像生成器执行的步骤的另一流程图。

具体实施方式

对本领域普通技术人员来说显而易见的，由图像传感器产生的图像的每个像素都与X坐标和Y坐标相关联，并且这样的坐标与图像传感器的特定区域相关联。

根据本文描述的实施例，生成聚焦校正图像的系统(本文中也作为聚焦校正系统)产生物镜的聚焦特征的特征映射(characteristic map)。具体来说，大体平面的聚焦目标设置在载物台上，物镜位于距聚焦目标的聚焦平面预定最小距离处，并且由图像传感器生成第一聚焦目标图像。此后，物镜以第一预定步长远离聚焦目标的聚焦平面移动，并且图像传感器产生第二聚焦目标图像。以此方式产生多个聚焦目标图像，直到聚焦目标的聚焦平面与物镜之间的距离至少为第一预定最大距离。

分析包括多个聚焦目标图像的图像，以针对图像传感器产生的每个像素选择聚焦目标图像，在该聚焦目标图像中围绕该像素的区域(或图像子部分)具有最佳聚焦。

为了生成特征映射，聚焦校正系统图像将由图像传感器生成的像素的X和Y坐标与由采集所选择图像时物镜与聚焦目标的聚焦平面的距离表示的Z坐标相关联。

在为特定物镜生成特征映射后，聚焦校正系统可以使用这样的特征映射来生成放置在已经校正(即减少或甚至消除)了聚焦像差的载物台上的样本的图像。特别地，将样本放置在载物台上，并且将物镜放置在距样本的聚焦平面第二最小距离处，并且由图像传感器采集样本的第一图像。此后，将物镜从样本移开第二预定步长，并且采集样本的第二图像。以这种方式定位物镜并且采集样本的附加图像，直到物镜到达离样本的聚焦平面至少第二最大距离为止。在一些实施例中，第二最小距离大于或等于第一最小距离，并且第二最大距离小于或等于第一最大距离。第一步长可以与第二步长相同或不同。

多个图像由系统处理以创建输出图像，其中减少了由于透镜的聚焦像差(例如像场弯曲)导致的离焦区域。具体来说，对于输出图像的坐标(X,Y)处的每个像素，聚焦校正系统使用特征映射来确定导致与坐标(X,Y)相关联的像素区域中的最佳聚焦的坐标Z的值。此后，聚焦校正系统从样本的多个图像中选择与坐标Z相关联的样本图像，并将坐标处输出图像的坐标(X,Y)处像素的强度值设置为所选择图像的坐标(X,Y)处像素的强度值。聚焦校正系统以这种方式选择输出图像的所有像素的强度值以产生这样的输出图像。

参考图1和图2，如下文更详细描述的，聚焦校正系统100与成像系统102一起操作以生成放置在成像系统102中的样本的聚焦校正图像。聚焦校正系统100包括与操作员计算机106通信的操作员接口104、与成像系统102通信的成像系统接口108、图像采集器110、特征映射生成器112、聚焦分析器114和图像生成器116。此外，聚焦校正系统100包括图像数据存储器118、物镜数据库120和特征映射数据库122。

在一个实施例中，成像系统102包括与成像系统接口108通信的控制器150、X-Y载物台152、一个或多个物镜154、一个或多个照明源156、图像传感器158和聚焦装置160。

为了生成放置在X-Y载物台152上的样本162的透射光图像，控制器150操作照明源156a以将光透射通过放置在X-Y载物台152上的样本162。然后将光引导通过物镜154，可选地由镜164重定向以在图像传感器158的表面上形成图像。图像传感器158根据这种图像生成信号，控制器将该图像转换成成像系统102的输出图像。

为了生成放置在X-Y载物台152上的样本162的荧光图像，控制器操作照明源156b以生成光，光由一个或多个镜164重定向并通过物镜并到达样本162。到达样本162的光可以激发样本162并导致样本162发荧光。样本162发出的光穿过物镜并被一个或多个镜164引导以在图像传感器158的表面形成图像，图像传感器158响应于这种图像而生成信号，控制器150将该图像转换成输出图像。

可以以类似的方式，通过以下方式生成放置在X-Y载物台152上的样本162的反射光图像：使用一个或多个镜164将来自照明源156b的光重定向到样本162并捕获由样本162反射并穿过物镜并由一个或多个镜164引导的任何光，以在图像传感器158的表面上形成图像。

在一些实施例中，聚焦机构160耦接到物镜154、图像传感器158和组件(例如，照明源156b和镜164)以沿大体线性路径一致地移动这些元件，使得这些元件更靠近或更远离X-Y载物台。可替代地，聚焦机构160可以耦接到X-Y载物台152并沿大体线性路径移动X-Y载物台152，使得X-Y载物台152更靠近或远离物镜154。

在一些实施例中，控制器150可指示聚焦机构160将X-Y载物台152与物镜154的参考部分之间的距离设置为特定量。在一些实施例中，这样的参考点是物镜154的最靠近X-Y载物台152的顶面或部分。此外，控制器150可指示聚焦机构160以特定量增加或减少X-Y载物台152载物台与物镜154的参考部分之间的距离。在本公开中，将物镜154和X-Y载物台152之间的距离假定为物镜154的预定参考部分和X-Y载物台152之间的距离。

操作员可以使用操作员计算机106来指示聚焦校正系统100来为物镜152创建特征映射、或使用已经创建的特征映射来生成装载在X-Y载物台152上的样本162的聚焦校正图像。

聚焦校正系统100的操作员接口104从操作员计算机106接收为物镜152创建特征映射的指令。这种指令包括要表征的物镜154的标识符和聚焦目标已经加载到成像系统102的X-Y载物台152上的指示。在一些实施例中，操作员接口104指示操作员计算机106显示与可以与成像系统102一起使用的物镜相关联的标识符的预定列表，并请求操作员从该列表中选择标识符。可替代地，操作员可以将代表与物镜154相关联的标识符的一个或多个字符的字符串输入到操作员计算机104。可以使用对本领域普通技术人员而言显而易见的其它方式来提供物镜标识符的标识符。

在一些实施例中，操作员在引导操作员计算机106指示聚焦校正系统100生成特征映射之前，在成像系统102中加载物镜154并将聚焦目标加载到X-Y载物台152上。在其它实施例中，操作员计算机106可由操作员接口104指示以使用户将聚焦目标和/或物镜154加载到成像系统102中。在一些实施例中，操作员接口104可以接收与物镜相关联的标识符并且经由成像系统接口108指示成像系统102自动选择和加载与这样的标识符相关联的物镜154。

在加载聚焦目标和物镜154并接收物镜154的标识符之后，调用特征映射生成器112以创建与物镜154相关联的特征映射。图3示出了特征映射生成器112为创建这种特征映射而执行的步骤的流程图300。

参考图3，在步骤302，特征映射生成器112使用物镜标识符来查询物镜数据库120以获得与该标识符相关联的物镜154的特征。这样的特征包括X-Y载物台152和物镜154之间的预定最小距离(Z_min)和预定最大距离(Z_max)，在该距离处应该采集多个聚焦图像。在步骤304，特征映射生成器112确定在序列图像之间调整X-Y载物台152和物镜154之间的距离的步长值ΔZ。在一些实施例中，值ΔZ与关于物镜154的其它信息一起存储在物镜数据库120中。在其它实施例中，物镜数据库120存储物镜154的分辨力，而特征映射生成器112根据此分辨力计算值ΔZ。在一个实施例中，计算与这种分辨力相关联的奈奎斯特频率并且将值ΔZ设置为与这种奈奎斯特频率相关联的步长。在一些实施例中，可以根据物镜154的景深计算ΔZ的值，并且这种景深可以根据与物镜154相关联的数值孔径和用于对样本162成像的光的波长来确定。

在一些实施例中，与低放大率物镜154相关联的值ΔZ在大约10微米到30微米之间，并且与高放大率物镜154相关联的ΔZ值在0.1微米到10微米之间。在其它实施例中，与低放大率透镜154相关联的ΔZ值在大约50微米到100微米之间，并且与高放大率物镜154相关联的ΔZ值在0.2微米到1.0微米之间。

其后，在步骤306，特征映射生成器112指示图像采集器110获取多个聚焦目标图像，如图4的流程图所示。

参考图4，在步骤308，图像采集器110将变量Z的值设置为值Z_min。在步骤310，图像采集器110引导成像系统接口108以指示成像系统102的控制器150在必要时移动物镜154，使得物镜154与设置在X-Y载物台152上的聚焦目标的聚焦平面相距Z。在步骤312，图像采集器110经由成像系统接口108指示成像系统的控制器150操作照明源156和图像传感器158以采集放置在X-Y载物台152上的聚焦目标的图像。在步骤314，图像采集器110通过成像系统接口108接收所采集图像。在步骤316，图像采集器将采集的聚焦目标图像存储在图像数据存储器118中，并将这样的存储图像与变量Z的值相关联。在一些实施例中，图像数据存储器118包括用于跟踪与物镜154相关联的多个聚焦目标图像的数据库。在这样的实施例中，图像采集器110在这样的数据库中创建包括变量Z的值和与这样的变量相关联的所采集图像的条目。在其它实施例中，将所采集图像存储为具有包括变量Z的值的文件名。可以使用本领域普通技术人员显而易见的其它方式将存储在图像数据存储器118中的图像与变量Z的值相关联。

此后，在步骤318，图像采集器110将变量Z的值累加值ΔZ。在步骤320，图像采集器110确定变量Z的值是否小于或等于值Z_max，并且如果是，则返回步骤310以增加物镜154与X-Y载物台152之间的距离并采集另一图像。否则，处理进行到步骤322(图3)。

在步骤322，对于在步骤306采集和存储的每个聚焦目标图像，特征映射生成器112调用聚焦分析器114。聚焦分析器114将聚焦测量算子应用到图像以形成每个像素值，该值表示该像素相对于围绕该像素的区域中的像素的聚焦质量。对于本领域普通技术人员来说显而易见的，这种聚焦测量算子分析图像梯度数据、边缘数据、小波系数、离散余弦变换系数等以评估图像区域的聚焦。对于所分析的每个聚焦目标图像，聚焦分析器114均生成二维聚焦评估阵列值。聚焦评估阵列的尺寸与聚焦目标图像的尺寸相同，使得阵列的每个元素均对应于聚焦目标图像的一个像素。阵列的每个元素的值是该元素对应的像素周围区域的聚焦的指示。

在一些实施例中，通过分析像素区域的聚焦质量来确定阵列的元素的聚焦值，该像素区域是与这样的元素相关联的每个聚焦目标的例如200像素乘200像素。在一些实施例中，这样的分析识别在与元素相关联的区域中具有最高频率内容的聚焦目标图像并且将与这样的聚焦目标相关联的Z值用作聚焦值。在一些实施例中，可以对这样的区域中的像素的强度值进行这样的频率分析，其中更高的频率与更好的聚焦相关联。在一些实施例中，可以进行三维评估以识别物镜154和X-Y载物台152之间的距离，该距离导致与和该元件相关联的最佳聚焦相关联的图像并且该距离代表聚焦值。在一些实施例中，可以对图像进行二次采样，并且阵列可以包括与多个像素相关联的元素。这种元素的值可以通过计算与元素相关联的像素的聚焦得分的中值或其它统计量来确定。

在步骤324，特征映射生成器112分析在步骤322生成的聚焦评估阵列以生成特征映射阵列。图5示出了特征映射生成器112为生成特征映射阵列而执行的步骤的流程图。

参考图5，在步骤326，特征映射生成器112初始化特征映射阵列。特征映射阵列的维度与聚焦分析器114在步骤322生成的聚焦评估阵列的维度相同。

在步骤328，特征映射生成器112将变量R和C的值设置为1。这些变量用于迭代特征映射阵列的每个元素。在步骤330，特征映射生成器112检查所有聚焦评估阵列的R行和C列的元素，以选择在R行和C列具有最高聚焦值(即与最佳聚焦相关联的值)的聚焦评估阵列。然后在步骤332，特征映射生成器112确定与所选择聚焦评估阵列相关联的变量Z的值(即物镜154和X-Y载物台152之间的距离)。在步骤334，特征映射生成器112将特征映射阵列在R行和C列的元素的值设置为与在步骤330选择的聚焦评估阵列相关联的变量Z的值。

在步骤336，特征映射生成器112累加变量C的值，并且在步骤338，检查以确定变量C的值是否小于或等于特征映射阵列中的列数。如果是，则特征映射生成器112返回到步骤330。

否则在步骤340，特征映射生成器112累加变量R的值，并且在步骤342，检查以确定变量R的值是否小于或等于特征映射阵列中的行数。如果是，则特征映射生成器112返回到步骤330。否则，特征映射生成器112进行到步骤340(图3)。

在一些实施例中，在如上所述生成特征映射阵列的所有元素的值后，特征映射生成器112可以对特征映射阵列的值应用平滑滤波器。这种平滑滤波器可以包括例如中值滤波器、降噪滤波器、高斯滤波器、形态开/关滤波器等。

再次参考图3，在一些实施例中，在步骤324形成的特征映射阵列与物镜154的标识符相关联地存储在特征映射数据存储器122中，物镜154用于创建形成特征映射阵列的聚焦目标图像。

在一些实施例中，在步骤346，特征映射生成器112可以将三维表面方程与特征映射阵列中的值进行拟合。表面方程表示将特征映射阵列的一行和一列映射到该行和列处的元素值的代数函数。为了确定这样的函数，特征映射生成器112可以使用例如最小二乘拟合技术，将b-样条函数、多项式函数或对于本领域普通技术人员显而易见的任何其它类型的函数与特征映射阵列的元素的值进行拟合。在一些实施例中，与从物镜数据库检索的物镜154相关联的特征数据可以包括关于适于与特征映射阵列中的值进行拟合的预定类型的函数的信息。

将方程与特征映射阵列拟合可以减少使用物镜154捕获的聚焦目标图像中的噪声或其它图像伪影的影响，或者减少产生与这些图像的像素相关联的聚焦值时的误差的影响。

在步骤344，特征映射生成器112将表面方程作为与物镜154相关联的特征映射存储在特征映射数据存储器122中。此后，特征映射生成器112退出。

在如上所述创建和存储特征映射之后，操作员可以加载要在成像系统102中成像的样本162，如上所述选择与物镜154相关联的标识符，并且使用操作员计算机106来指示聚焦校正系统100使用物镜154生成样本162的聚焦校正图像。

作为响应，图像生成器116使用成像系统102和特征映射数据存储器122中存储的特征映射来生成样本162的聚焦校正图像。图6示出了图像生成器116为生成这样的聚焦校正图像而执行的步骤的流程图400。

参考图6，在步骤402，图像生成器116向物镜数据库120查询关于将用于生成样本162的聚焦校正图像的物镜154的信息。图像生成器116检索的信息包括物镜154与放置在X-Y载物台152上的样本162的聚焦平面之间的最小距离(Z’_min)和最大距离(Z’_max)，图像生成器116会捕获样本162的图像以产生聚焦校正图像。

对本领域普通技术人员来说显而易见的，可以例如使用与成像系统102相关联的自动聚焦机构(例如基于激光的聚焦系统)来确定样本162的聚焦平面。

信息还包括将在样本162的序列图像之间调整距离的步长(ΔZ')。Z’_min、Z’_max和ΔZ’的值用于生成样本162的聚焦校正图像，可以与用于生成与物镜154相关联的特征映射的Z_min、Z_max和ΔZ的值相同。可替代地，这些值可以不同。例如，使ΔZ'的值大于ΔZ的值减少了所采集的样本162的图像的数量，从而减少了生成聚焦校正图像所需的时间量。在一些实施例中，可以经由操作员计算机106提供以使操作员从与较大的ΔZ'值相关联的快速成像模式、与较小的ΔZ'值相关联的中速成像模式、以及ΔZ值等于ΔZ’值的慢速成像模式中进行选择。

在步骤404，图像生成器116从特征映射数据存储122加载与用于对样本162成像的物镜154相关联的特征映射。如果已经根据如上所述的特征映射阵列创建了表面方程，则图像生成器116将表面方程作为特征映射加载。否则，图像生成器116将特征映射阵列作为特征映射加载。

在步骤406，图像生成器116调用图像采集器110以利用物镜154采集样本162的多个图像。图像采集器110执行与图4所示的大体相同的步骤来采集多个聚焦目标图像，但是在步骤308、318和320中分别使用值Z’_min、Z’_max和ΔZ’来代替Z_min、Z_max和ΔZ。此外，图像采集器110设置物镜154和在X-Y载物台152上的样本162的聚焦平面之间的距离，而不是在步骤310中的物镜154和X-Y载物台之间的距离。此外在步骤320之后，如果变量Z的值不小于或等于Z’_max的值，则处理进行到步骤406而不是步骤322。

在步骤408，图像生成器116创建并初始化与图像采集器110采集的图像尺寸相同的输出图像。在步骤410，图像生成器116将变量X和Y的值都设置为1。这些变量用于分别沿输出图像的宽度和高度来遍历(iterate through)像素。

在步骤412，图像生成器116确定与输出图像在坐标(X,Y)处像素对应的特征映射的值。在一些实施例中，这样的值是特征映射阵列的行X和列Y处的元素的值。如上所述，该值(即Z值)代表物镜154与放置在X-Y载物台152上的聚焦目标的聚焦平面之间的距离，其中包含成像系统102生成的图像在坐标(X,Y)处像素的区域的聚焦最佳。如果特征映射是表面函数，则通过将表面函数应用于坐标(X,Y)来计算这种Z值。如果特征映射是特征映射阵列，则这样的Z值就是坐标(X,Y)处的阵列元素的值。

如果在步骤402加载的Z'_min、Z'_max和ΔZ'中的一个或多个值分别不等于用于创建特征映射的值Z_min、Z_max和ΔZ，那么在生成特征映射时可能不会在与坐标(X,Y)处的像素相关联的Z值处捕获任何聚焦目标图像。

在步骤414，图像生成器116确定在物镜154和样本162的聚焦平面之间的距离大体等于Z值时是否采集了在步骤406采集的任何图像。如果是，则图像生成器进行到步骤416，否则图像生成器116进行到步骤418。

在步骤416，当物镜154和样本162的聚焦平面之间的距离大体等于在步骤412确定的Z值时，图像生成器116将输出图像在坐标(X,Y)处像素的强度值设置为在步骤406采集的图像在坐标(X,Y)处像素的强度值。此后，图像生成器进行到步骤420。

如果在步骤406没有捕捉到与在步骤412确定的Z值相关联的图像，则在步骤418，图像生成器116选择在距离Z1和Z2处分别获得的第一图像和第二图像，其中Z1小于Z值并且Z2大于Z值并且Z1和Z2值最接近Z值(即Z1和Z2值限定Z值)。

此后在步骤422，图像生成器116通过例如在第一图像的坐标(X,Y)处的像素的强度值和第二图像的坐标(X,Y)处的像素的强度值之间的线性插值来确定坐标(X,Y)处输出像素的强度值。对于本领域技术人员来说，显然可以使用其它类型的插值，例如三次插值。

在输出图像的坐标(X,Y)处生成像素之后，图像生成器116在步骤420将变量X的值累加1，并且在步骤424确定X的值是否小于或等于沿输出图像的宽度的像素数。如果是，则图像生成器116进行到步骤412以沿输出图像的宽度生成另一个像素的强度值。否则，图像生成器116进行到步骤426。

在步骤426，图像生成器116将变量Y的值累加1，并且在步骤428，确定变量Y的值小于或等于沿输出图像的高度的像素数。如果是，则图像生成器116进行到步骤412以生成输出图像的另一个像素。否则在步骤430，图像生成器116将输出图像存储在图像数据存储器118中以进一步分析这样的图像和/或将这样的图像传输到用于显示和/或进一步分析的操作员计算机106和/或另一系统(未示出)。这种进一步分析可以包括将聚焦校正图像中的对象分类为生物细胞、细胞器等，对已分类为特定类型的对象计数，测量这些对象的面积和/或周长等等。

在一些实施例中，作为在步骤406采集和存储样本的多个图像、然后在步骤410-428产生输出图像的像素的强度值的替代，图像生成器116可以在捕获样本162的每个图像之后生成输出图像的某些像素。图6A是图像生成器116为以这种方式生成输出图像而执行的处理的流程图500。

如上文结合图6的步骤402所述的，参考图6A，在步骤502，图像生成器116加载Z’_min、Z’_max和步长ΔZ的值。如上文结合图4的步骤404所述的，在步骤504，图像生成器116加载与物镜相关联的特征映射。在步骤506，图像生成器116将变量Z的值设置为Z’_min。在步骤508，图像生成器116生成新的输出图像。

在步骤510，图像生成器116引导图像采集器110将物镜154定位在距样本162的聚焦平面距离Z处，并且在步骤512指示图像采集器110捕获样本162的图像。

在步骤514，图像生成器116使用与物镜154相关联的特征映射来确定在物镜154和样本162之间的距离Z处捕获的应包括在输出图像中的所采集图像的像素(即，所采集图像的在这样的距离Z处对焦(in-focus)的那些像素)。特别地，图像生成器116识别特征映射中值等于Z、或在Z的ΔZ范围内的元素。

在步骤516，对于与在步骤514识别的特征映射的元素相对应的输出图像的每个像素，图像生成器116将输出图像的该像素的强度值设置为与其对应的在步骤512捕获的图像的像素的强度值。

在步骤518，图像生成器116将Z的值累加ΔZ的值，并且在步骤520确定Z的值是否小于或等于Z’_max的值。如果是，则图像生成器116进行到步骤510。否则，图像生成器116进行到步骤522以存储和/或提供如上文结合图6的步骤430所述的输出图像。

如上所述，结合图4的步骤418和422，特定像素对焦处的物镜位置可以在步骤512捕获样本图像的两个距离之间。在这种情况下，如结合图4的步骤422所述，图像生成器116在步骤516根据在步骤512采集的两个(或更多)图像的像素确定输出像素的强度。

在一些实施例中，可以为物镜154创建多个特征映射，每个特征映射与特定成像配置相关联。例如，可以根据通过对透射穿过第一聚焦目标的光进行成像而获得的第一多个聚焦目标图像来创建第一特征映射，可以根据通过对第二聚焦目标在被第一特定波长的光激发时发射的荧光进行成像而产生的第二多个聚焦目标图像来创建第二特征映射，可以根据通过对第三聚焦目标在被第二特定波长的光激发时发射的荧光进行成像而产生的第三多个聚焦目标图像来创建第三特征映射，以此类推。在一些实施例中，图像生成器116使用以特定成像配置生成的特征映射，以根据在相同特定成像配置下采集的多个图像生成样本162的输出图像。在其它实施例中，图像生成器116可以使用以第一成像配置采集的特征映射，以根据使用第二成像配置采集的样本162的多个图像生成样本162的聚焦校正图像。

使用在第一成像系统102中的第一物镜154采集的多个聚焦目标图像为第一物镜154生成的特征映射可以被图像生成器116使用，以根据使用第一或第二成像系统102中的第二物镜154采集的样本162的多个图像来产生聚焦校正的输出图像，其中第一物镜154与第二物镜154具有相似的特征。

对本领域普通技术人员来说显而易见的，在图像生成器116从中生成聚焦校正图像之前，可以将附加的图像处理功能(包括例如平场校正、背景强度校正等)应用于样本162的多个图像。类似地，可以将一个或多个附加图像处理功能应用于由图像生成器116产生的样本162的聚焦校正图像。

所描述的生成特征映射和使用这种特征映射生成样本162的聚焦校正图像的实施例可以与使用明场、荧光或共焦成像的成像系统102结合使用。

尽管已经将图像生成器116描述为生成在其特定聚焦平面处拍摄的样本162的聚焦校正二维图像，但显然图像生成器116可用于创建在不同聚焦平面处拍摄的样本162的多个图像。可以针对物镜154的聚焦像差来校正这样的多个图像中的每个图像。这多个图像可以用作图像的Z-堆叠(Z-stack)，该图像的Z-堆叠有助于查看样本162的聚焦校正的三维图像再现和/或有助于对由图像的Z-堆叠表示的对象的三维分析。这种分析可以包括计算图像中三维对象的数量，表征这些对象(例如作为细胞、细胞器等)的类型，测量这些对象的体积和/或表面积等等。

对本领域技术人员来说显而易见的，可以使用硬件和/或软件的任何组合来实现本文描述的聚焦校正系统100。将理解和掌握，结合图1至图6描述的一个或多个过程、子过程和过程步骤可以通过在一个或多个电子或数字控制设备上的硬件、软件或硬件和软件的组合来执行。软件可以驻留在合适的电子处理组件或系统中的软件存储器(未示出)中，例如图1至图6中示意性描绘的功能系统、控制器、设备、组件、模块或子模块中的一个或多个。软件存储器可以包括用于实现逻辑功能的可执行指令的有序列表(即，“逻辑”，其可以以例如数字电路或源代码的数字形式实现，或以例如模拟源(例如模拟电、声音或视频信号)的模拟形式实现)。可以在处理模块或控制器(例如，图1的操作员接口104、成像系统接口108、图像采集器110、特征映射生成器112、聚焦分析器114和图像生成器116)内执行指令，处理模块或控制器包括例如一个或多个微处理器、通用处理器、处理器的组合、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、和/或图形处理单元(GPU)。此外，示意图描述了具有不受功能的体系结构或物理布局限制的物理(硬件和/或软件)实现的功能的逻辑划分。本申请中描述的示例系统可以以各种配置来实现，并且可以在单个硬件/软件单元中、或在独立的硬件/软件单元中作为硬件/软件组件进行操作。

对本领域技术人员来说显而易见的，聚焦校正系统100的一个或多个组件可以(例如使用通过局域网或广域网连接的分布式计算和存储系统(例如，互联网或专用网络))在云环境中操作。例如，操作员接口104、成像系统接口108、图像采集器110、特征映射生成器112、聚焦分析器114和图像生成器116中的一个或多个可以在远离操作员计算机106、远离成像系统102和/或彼此远离的一台或多台计算机上操作。在一个这样的配置中，例如成像系统接口108可以通过局域网或广域网与控制器150通信以从成像系统102采集图像并将以这种方式采集的图像存储在基于云的图像数据存储器118中。在本地或在云中操作的特征映射生成器112可以从本地或在云中存储的物镜数据库120访问物镜154信息，生成特征映射，并将特征映射存储在本地或基于云的存储系统中的特征映射数据存储器102中。(在本地服务器上或在云环境中操作的)图像生成器116可以访问存储在特征映射数据存储器122中的特征映射以形成输出图像。

可执行指令可以实现为其中存储有指令的计算机程序产品，在由电子系统的处理模块执行时指示电子系统执行指令。计算机程序产品可以选择性地体现在任何非暂态计算机可读存储介质中，以供指令执行系统、装置或设备使用或结合使用，例如基于电子计算机的系统、包含处理器的系统、或可以选择性地从指令执行系统、装置或设备获取指令并执行指令的其它系统。在本文档的语境中，计算机可读存储介质是可以存储程序以供指令执行系统、装置或设备使用或结合使用的任何非暂态装置。非暂态计算机可读存储介质可以选择性地是例如电、磁、光、电磁、红外或半导体系统、装置或设备。非暂态计算机可读介质的更具体示例的非详尽列表包括：具有一根或多根电线的电连接(电)；便携式计算机软盘(磁)；随机存取(即易失性)存储器(电)；只读存储器(电)；可擦除可编程只读存储器，例如闪存(电)；光盘存储器，例如CD-ROM、CD-R、CD-RW(光)；和数字多功能光盘存储器，即DVD(光)。

还应理解，本文档中使用的信号或数据的接收和传输意味着两个或多个系统、设备、组件、模块或子模块能够通过在某种信号路径上传播的信号相互通信。信号可以是可以将第一系统、设备、组件、模块或子模块的信息、功率或能量沿第一和第二系统、设备、组件、模块或子模块之间的信号路径传输到第二系统、设备、组件、模块或子模块的通信、功率、数据或能量信号。信号路径可以包括物理、电、磁、电磁、电化学、光学、有线或无线连接。信号路径还可以包括第一和第二系统、设备、组件、模块或子模块之间的附加系统、设备、组件、模块或子模块。

本文引用的所有参考文献，包括出版物、专利申请和专利，以相同的程度通过引用并入本文，如同每篇参考文献都被单独且具体地指示为通过引用而将其全文并入本文一样。

除非本文另有说明或与上下文明显矛盾，否则在描述本发明的语境中(尤其是在以下权利要求的语境中)，术语“一”和“一个”和“所述”的使用以及类似的引用被解释为涵盖单数和复数。除非本文另有说明，否则本文对数值范围的引用仅旨在作为单独提及落入该范围内的每个单独值的简写方法，并且将每个单独值并入说明书中如同其在本文中单独引用一样。除非本文另有说明或与上下文明显矛盾，本文所述的所有方法都可以任何合适的顺序进行。除非另有声明，否则本文提供的使用任何和所有示例或示例性语言(例如，“诸如”)仅旨在更好地阐明本公开而不构成对本公开范围的限制。说明书中的任何语言都不应被解释为表明任何未要求保护的元素对于本公开的实践是必不可少的。

鉴于前面的描述，本公开的许多修改对于本领域技术人员来说将是显而易见的。应当理解，所示出的实施例仅是示例性的，不应被视为限制本公开的范围。

Claims (20)

1.一种用于使用成像系统生成在样本保持器上的样本的图像的计算机实现系统，所述成像系统包括图像传感器和相对于所述样本保持器在第一位置和第二位置之间可移动的透镜，其中，所述图像传感器生成二维像素阵列，所述计算机实现系统包括：

在处理器上操作的图像采集器，所述图像采集器从所述图像传感器接收所述样本的多个图像，在所述透镜位于所述第一位置和所述第二位置之间的所述透镜的第一多个定位中的相应一个定位时，所述样本的所述多个图像中的每一个均被捕获；和

图像生成器，所述图像生成器：

选择与所述透镜相关联的特征映射，所述特征映射将由所述图像传感器生成的图像的每个像素的坐标与所述透镜的在所述第一位置和所述第二位置之间的第二多个定位中的一个定位相关联；

根据所述特征映射，从与输出图像像素的坐标相关联的所述第二多个定位中选择第一定位；

根据所述第一定位，从所述第一多个定位中选择第二定位；

从与所述第二定位相关联的所述样本的所述多个图像中选择图像；以及

根据所述多个图像中与所述输出像素相对应的所选择图像的像素值，来确定所述输出像素的值。

2.根据权利要求1所述的计算机实现系统，还包括特征映射生成器，其中，所述特征映射生成器分析多个聚焦目标图像，每个聚焦目标图像在所述透镜位于所述第一多个定位中的相应一个定位时均已被捕获。

3.根据权利要求2所述的计算机实现系统，还包括聚焦分析器，所述聚焦分析器分析每个聚焦目标图像的聚焦，以关联表示围绕所述聚焦目标图像的每个像素的区域的聚焦的值。

4.根据权利要求3所述的计算机实现系统，其中，所述特征映射生成器生成特征映射阵列，其中，针对所述特征映射阵列的每个元素，所述特征映射生成器选择具有与该元素的该坐标相关联的最大聚焦分数的聚焦目标图像。

5.根据权利要求4所述的计算机实现系统，其中，所述特征映射生成器将表面方程与所述特征映射阵列进行拟合，以生成所述特征映射。

6.根据权利要求4所述的计算机实现系统，其中，所述特征映射生成器将平滑滤波器应用于所述特征映射阵列，以生成所述特征映射。

7.根据权利要求2所述的计算机实现系统，其中，所述特征映射生成器在第一计算机上操作，并且所述图像生成器在第二计算机上操作，其中，所述第一计算机和所述第二计算机位于彼此远离的位置。

8.根据权利要求1所述的计算机实现系统，其中，所述第一多个定位不同于所述第二多个定位。

9.根据权利要求1所述的计算机实现系统，其中，所述图像生成器根据所述特征映射生成包括输出图像的多个像素，并且所述图像生成器生成多个该输出图像以产生表示所述样本的三维呈现的图像的Z-堆叠。

10.根据权利要求1所述的计算机实现系统，其中，所述成像系统位于远离所述计算机实现系统的位置。

11.一种使用成像系统生成样本的图像的方法，其中，所述成像系统包括样本保持器、图像传感器和相对于所述样本保持器在第一位置和第二位置之间可移动的透镜，所述方法包括以下步骤：

使得一个或多个非传递性计算设备执行：

选择与所述透镜相关联的特征映射，其中，所述特征映射将由所述图像传感器生成的图像的每个像素的坐标与所述透镜在所述第一位置和所述第二位置之间的第一多个定位中的一个定位相关联；

从所述图像传感器接收所述样本的多个图像，其中，当所述透镜位于所述第一位置和所述第二位置之间的所述透镜的第二多个位置中的相应一个时，捕获所述样本的所述多个图像中的每一个；

从与输出图像像素的坐标相关联的所述第一多个定位中选择第一定位；

根据所述第一定位，从所述第二多个定位中选择第二定位；

从与所述第二定位相关联的所述样本的所述多个图像中选择图像；以及

根据所述多个图像中与所述输出像素相对应的所选择图像的像素值来确定所述输出像素的值。

12.根据权利要求11所述的方法，还包括以下步骤：分析多个聚焦目标图像，每个聚焦目标图像在所述透镜位于所述第一多个定位中的相应一个定位时均已被捕获。

13.根据权利要求12所述的方法，还包括以下步骤：分析每个聚焦目标图像的聚焦，以关联表示围绕所述聚焦目标图像的每个像素的区域的聚焦的值。

14.根据权利要求13所述的方法，还包括以下步骤：生成特征映射阵列，所述特征映射阵列具有多个元素；以及针对所述特征映射阵列的每个元素，选择具有与该元素的该坐标相关联的最大聚焦值的聚焦目标图像。

15.根据权利要求14所述的方法，还包括以下步骤：将表面方程与所述特征阵列进行拟合，以生成所述特征映射。

16.根据权利要求14所述的方法，还包括以下步骤：将平滑滤波器应用于所述特征映射阵列。

17.根据权利要求12所述的方法，其中，在第一非传递性计算设备上执行生成所述特征映射阵列的步骤，以及在第二非传递性计算设备上执行生成所述输出像素的步骤，其中，所述第一非传递性计算设备和所述第二非传递性计算设备位于彼此远离的位置。

18.根据权利要求11所述的方法，其中，所述第一多个定位不同于所述第二多个定位。

19.根据权利要求11所述的方法，其中，所述输出像素是输出图像的多个输出像素中的一个，并且所述多个输出像素中的每一个与所述输出图像的相应坐标相关联，所述方法还包括以下步骤：根据所述特征映射，生成所述多个输出像素，以及生成多个该输出图像，以产生表示所述样本的三维呈现的图像的Z-堆叠。

20.根据权利要求11所述的方法，其中，所述成像系统位于远离所述非传递性计算设备中的至少一个的位置。

Images