CN107690596B - 用于供在结构化照明成像系统中使用的可更换照明滤波器组的系统和方法 - Google Patents

Abstract

一种用于生成结构化照明图像的设备，包括：壳体；成像光学件，其安装在所述壳体内，所述成像光学件被配置成聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；反射器，其安装在所述壳体内且被配置成将所述照明反射到样品；滤光设备，其包括安装在所述壳体内的一个或多个滤光片，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；以及在所述壳体上的安装特征，所述安装特征被配置成允许将所述设备安装在成像系统内。

Description

用于供在结构化照明成像系统中使用的可更换照明滤波器组 的系统和方法

本申请案主张2015年6月2日申请的第62/169,655号美国申请案的优先权，所述美国申请案以全文引用的方式并入本文中。

技术领域

本文所述的实施例涉及荧光成像，且更确切地说，涉及在荧光成像系统中生成复合共焦图像。

背景技术

荧光显微镜为用以替代反射和吸收或除了反射和吸收之外还使用荧光来研究有机或无机物质的性质的光学显微镜。荧光显微镜是基于以下现象：在用特定波长的光辐照时，某些材料发射可检测为可见光的能量。样品可以在其天然形式下发荧光(如叶绿素)，或其可以用荧光斑点加以处理。

在此项技术中众所周知的基本宽视场荧光显微镜包含光源和对应于匹配荧光斑点的波长的若干滤光片。提供激发滤光片用于选择来自光源的光的激发波长，且二色性分束器反射来自光源的光以对试样进行照明。照明光利用发射滤光片与弱得多的所发射荧光分离。荧光区域可以在显微镜中观察到，且以高对比度对照暗背景照射出来。

结构化照明成像系统使用与上文所描述的宽视场成像系统大同小异的原理，关键是在任何一个时间对样品的仅一部分进行照明。激发光的大部分被阻断，同时未阻断照明的图案扫过整个样品，使得样品的每个区域接收大致相等的激发光。通常，在此过程中以离散间隔俘获多个图像，且通过图像处理算法生成单个完全照明的图像，所述图像处理算法分析离散输入图像以建构对应输出图像。此输出图像优于使用简单宽视场成像技术俘获的图像，因为从样品的离焦区域搜集的光减少，从而导致改善的信噪比、较高的侧向和轴向空间分辨率，或两者。

共焦成像系统为一种类型的结构化照明系统。共焦成像系统可以用来改善信噪比或增大光学分辨率。在共焦成像系统中，物镜仅对样品的处于焦点处的薄部分进行成像，从而拒绝来自聚焦平面上方及下方的所有光。这与更基本的宽视场成像形成对比，在宽视场成像中，离焦元素仍然显现为图像中的显著元素。

常规共焦系统可以不严谨地划分为单点共焦和多点共焦系统。在单点共焦系统中，用来激发染料的照明通过针孔到样品上，接着来自样品的荧光发射通过另一针孔到光电检测器中。针孔大小和光学件经设计以接受仅从样品的处于焦点的薄切片发射的那些光子返回的光。

所述技术一次仅可以对一个点进行成像。因此，射束或样品必须以二维形式来回扫描以建构单个2D共焦图像。此种常规系统中的射束通常在固定样品上扫描，这需要将非常快速、非常准确的反射镜同步到光电检测器。

在多点共焦系统中，操作原理与以上相同，但并行地对多个点进行成像。通常，具有针孔图案的圆盘自旋，使得照明在曝光期间扫过视场。实例自旋圆盘共焦成像系统说明于图5中。

如可在图5中看出，来自光源的光802入射于包含多个聚焦透镜806的第一圆盘804上，所述聚焦透镜将光聚焦到包含于第二圆盘808中的针孔掩模810上。通过针孔掩模810的光802接着经由物镜812聚焦到试样814上。光802由荧光团吸收，使得所述荧光团发出光816，所述光816向后通过物镜812和针孔掩模810且入射于反射镜818上。反射镜818将发射光816例如经由光学件820反射到传感器822上，在所述传感器处可以检测到所述光。

例如图5中所说明的系统的系统可以比单点系统更快地俘获图像，但此类系统还需要在针孔与检测器之间的更复杂同步。

发明内容

本文公开用于荧光成像系统以使得系统可以用来利用针孔掩模生成复合共焦图像的系统和方法。

根据一个方面，一种用于生成结构化照明图像的设备包括：壳体；成像光学件，其安装在所述壳体内，所述成像光学件被配置成聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；反射器，其安装在所述壳体内且被配置成将所述照明反射到样品；滤光设备，其包括安装在所述壳体内的一个或多个滤光片，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；以及在所述壳体上的安装特征，所述安装特征被配置成允许将所述设备安装在成像系统内。

根据另一方面，一种结构化照明系统包括：成像设备，所述成像设备包括：壳体；成像光学件，其安装在所述壳体内，所述成像光学件被配置成聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；反射器，其安装在所述壳体内且被配置成将所述照明反射到样品；滤光设备，其包括安装在所述壳体内的一个或多个滤光片，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；以及在所述壳体上的安装特征，所述安装特征被配置成允许将所述设备安装在成像系统内；以及安装结构，其被配置成允许将多个成像设备安装在所述系统上或所述系统内。

根据另一方面，一种用于配置包括壳体的成像系统的方法，所述壳体包含针对特定样品染料优化的照明源和光学件，所述方法包括：将成像光学件安装在所述壳体内并配置所述成像光学件以聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；将包括一个或多个滤光片的滤光设备安装到所述壳体中，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；校准所述照明源、成像光学件和滤光设备以对所述样品进行照明；以及将所述壳体安装到安装结构中。

下文在标题为“具体实施方式”的部分中描述这些和其它特征、方面和实施例。

附图说明

结合附图描述特征、方面和实施例，在附图中：

图1为图示根据一个实施例配置的实例荧光成像系统的图；

图2为图示图1的组件中的至少一些的光立方体实施方案的实例实施例的图；

图3为图示根据一个实施例的用于控制图1的照明系统的操作的实例控制系统的图；

图4为图示根据一个实施例的可以用于图1的系统，且明确地说，用于图2的光立方体实施方案中的实例针孔掩模的图；

图5为图示常规自旋圆盘共焦成像系统的图；

图6为图示可以结合本文所描述的各种实施例使用的实例有线或无线系统的框图；

图7为图示根据一个实施例的可以与图1的系统，且明确地说，与图2的光立方体一起使用的实例平移设备的图；

图8为图示根据一个实施例的用于校准图1的系统以便消除对发射路径针孔掩模的需要的实例方法的图；

图9A示出用于图像的针孔的所确定位置；以及

图9B示出图像的一部分的特写，其中所确定位置覆叠有原始数据。

具体实施方式

在本文中所描述的实施例中，公开用于产生复合共焦图像的系统、设备和方法。将理解，所描述的实施例仅作为实例。此外，诸图为说明性的，且希望辅助描述所公开的系统和方法。因此，诸图可能不包括描绘完整系统所需要的所有组件、电路、元件等。因此，诸图和随附公开内容不应被视为将实施例限于某些配置，且不应被视为排除在所公开配置中包含进一步组件等或包含进一步配置。

如上文所指出，结构化照明系统具有优于常规宽视场系统的某些优势。共焦成像系统为一种类型的结构化照明系统。共焦成像系统可以用来增大光学分辨率和对比度，且使得能够从一系列所获得图像重构三维结构。在共焦成像系统中，物镜仅对样品的处于焦点处的薄部分进行成像，从而拒绝来自聚焦平面上方及下方的所有光。这与更基本的宽视场成像形成对比，在宽视场成像中，离焦元素仍然显现为图像中的显著元素。

常规共焦系统可以不严谨地划分为单点共焦和多点共焦系统。在单点共焦系统中，用来激发染料的照明通过针孔到样品上，接着来自样品的荧光发射通过另一针孔到光电检测器中，即，其实质上为单像素相机。针孔大小和光学件经设计以接受仅从样品的处于焦点的薄切片发射的那些光子返回的光。

所述技术一次仅可以对一个点，即图像的一个像素，进行成像。因此，射束或样品必须以二维形式来回扫描以建构单个2D共焦图像。此种常规系统中的射束通常在固定样品上扫描，这需要将非常快速、非常准确的反射镜同步到光电检测器。

在多点共焦系统中，操作原理与以上相同，但并行地对多个点进行成像。通常，具有针孔图案的圆盘自旋，使得照明在曝光期间扫过视场。实例自旋圆盘共焦成像系统说明于图5中。

如可在图5中看出，来自光源的光802入射于包含多个聚焦透镜806的第一圆盘804上，所述聚焦透镜将光聚焦到包含于第二圆盘808中的针孔掩模810上。通过针孔掩模810的光802接着经由物镜812聚焦到试样814上。光802由荧光团吸收，使得所述荧光团发出光816，所述光816向后通过物镜812和针孔掩模810且入射于反射镜818上。反射镜818将发射光816例如经由光学件820反射到传感器822上，在所述传感器处可以检测到所述光。

例如图5中所说明的系统的系统可以比单点系统更快地俘获图像，但此类系统还需要在针孔与检测器之间的更复杂同步。

图1为图示根据本文中所描述的系统和方法配置的荧光成像系统100的实例实施例的图。图1在结构化照明显微镜的上下文中图示本文中所描述的系统和方法。由点线围封的区中的元件包含于图2中所说明的光立方体200中。这些元件包含光源102、照明光学件204(图2中)、光掩模成像光学件106、光掩模108和反射镜110，所述反射镜常常为二向色反射镜或分束器且将结构化照明图案的至少一部分经由物镜112引导到样品114上。光掩模108相对于光掩模成像光学件106聚焦，使得对应于光掩模上的图案的焦点内光图案投射到在物镜112的焦平面处的样品114上。从样品发射的光接着向后通过物镜112，在物镜处，所述光的一部分通过反射镜110到相机透镜中，相机透镜将光聚焦到传感器120上，所述传感器例如是CCD、CMOS或类似类型的传感器。

光掩模108可以由在不透明背景中的透明窗口的某一图案组成。图案应包括可以由坐标系统限定的窗口的可预测图案，所述坐标系统例如是矩形、正方形或圆筒形坐标系统。如果使用基于圆筒形坐标系统的图案，则掩模可以与在x-y平面上的移动相反地自旋。此外，替代针孔，适合于结构化照明的任何其它图案可以用于掩模108。

光掩模108可以安装成使得图案保持在光掩模成像光学件106的焦点内，甚至在运动控制装置横向扫描光掩模108，从而将焦点内结构化照明图案扫过整个样品视场时也是这样。

在其它实施例中，可以替代针孔掩模而使用透明窗口。在此类配置中，系统100将充当常规宽视场成像系统。

因此，系统100包括被配置成产生照明光104的光源102。源102可以取决于实施方案而例如为发光二极管(LED)或激光器。光掩模成像光学件106可以接着可以收集光102且使光102聚焦，使得对应于光掩模上的图案的焦点内光图案投射到在物镜的焦平面处的样品114上。通过掩模108的光入射于例如二向色反射镜的反射镜110上，其例如经由物镜光学件112将光引导到样品114上。光104由荧光团吸收，使得所述荧光团发出光116，所述光116向后通过物镜112和反射镜110到传感器120上。滤光片118可以在发射入射于传感器120上之前对发射进行滤光。

传感器120可以是电荷耦合装置(CCD)。另外，针孔掩模可以是正方形、矩形或卵形掩模，其在x-y平面中移动，例如，与在圆盘上旋转相反。图4为图示根据一个实施例的实例掩模500的图。如可看出，掩模500可以包括多个针孔掩模，例如掩模501和502。

图2示出根据一个实施例的光立方体200的更详细表示，没有较大显微镜围绕所述光立方体但仍然具有在适当位置的光掩模108。存在多个滤光片以及反射镜110。反射镜110可以用机械定位器(未示出)相对于立方体200的其余部分的定向进行调整以允许光恰当地导引到显微镜系统的物镜(图1的112)中。立方体的安装特征提供机械配准和固持点以在使用期间保持立方体定向不改变，以便维持立方体光学件106到光掩模108和物镜112的正确对准。

因为立方体200可以安装在移动轴线上，其允许在单个显微镜中利用多个立方体而不以机械方式在图像俘获之间安装和移除立方体，所述安装特征用来定位且固持立方体。其还允许在稍后时间移除和再插入立方体，而无需系统的再校准。电路板202允许主机系统为光源102供电且控制所述光源，且可以取决于实施例而允许主机系统识别立方体200的各种方面。这些参数尤其可以由软件用来向用户识别立方体200，且配置在使用中的特定立方体的其它仪器参数。

因此，如图2中所示，光源102、成像光学件106、掩模108、反射镜110和滤光片118可以包含于非常紧凑的光立方体200中。光立方体还可以包含可以被配置成与控制系统通信且控制光立方体200的各种方面的电路板202。因此，图4的掩模500可以被配置成插入到光立方体200中。

荧光显微法使用多种染料或荧光团。每种染料具有其吸收光的特定激发波长范围以及其释放光的发射波长范围。激发光无差别地跨越整个样品照射，但发射光仅从样品的上面定位染料的那些特定部分释放。荧光显微法的目标是俘获尽可能多的发射和尽可能少的激发光。这通过使用滤光片而实现。为对特定染料进行成像，滤光片组经设计以仅允许激发波长对样品进行照明，且仅允许发射波长传递到相机。

共焦系统额外要求激发光在到达样品之前通过针孔。在系统设计和操作方面进一步使情况变复杂的是，针孔应位于光线汇聚在一起的共轭平面中，但滤光片应位于光线平行的无限空间中。

存在两种用于使用滤光片的常规方法。在一种情况下，系统可以使用在正常操作期间不可移除的固定滤光片。这些滤光片通常经设计以对一组预定的一种或多种染料起作用。在其它实施例中，可以使用一组多频带滤光片，只要还使用良好的单色光源即可。这些方法具有机械简单性优势，但缺点为需要大量精力来移除和替换滤光片以便使用不被当前滤光片组支持的染料。更常见的策略是使用可移动滤光片，其允许使用更多种染料而无需维护显微镜。这种类型的常规设置使用滤光轮来取决于正使用的染料而将不同滤光片旋转到适当位置。可以提供激发光的若干不同波长的照明模块常常与滤光轮配对以产生可以被配置成对不同染料起作用的系统。

需要若干组光学件来引导激发光。首先，用来供应激发光的LED或其它光源通常具有集成透镜。光学件放置在此与针孔之间以引导最多的光穿过针孔或针孔阵列。在光通过针孔之后，使用另一组光学件将针孔成像到无限空间中，从而取得退出针孔的发散光线且使其弯曲以使其平行。光学件必须谨慎地设计以避免在图像中引入光学或色像差。在传统系统中，这些元件中的每一个单独地安装，且各自具有其自身的对准和校准过程。

图2的光立方体200可以将激发光源102、照明光学件204、滤光片118和掩模成像光学件106中的至少一些组合到针对特定染料优化的单个封装中。在某些实施例中，这些组件中的一个或多个，例如激发光源102，可以保持在立方体200的外部。光立方体可以接着安装在可移动平台上，所述可移动平台允许多个光立方体按顺序使用以从多种染料俘获图像。光立方体可以由用户安装，且将例如经由电路板202上的电路与系统通信以向控制系统识别自身。

光立方体安装特征经设计而使得立方体为自对准式的，从而一旦安装就需要极少的校准。举例来说，光立方体可以使用动态的鸠尾式或其它机械导件安装，所述导件完全约束反射镜的旋转且至少部分地约束立方体的位置，使得反射镜在每次安装立方体时在相同位置和相同定向上插入到光学路径中。

另外，可以在安装光立方体之前完成围绕激发光源的光学件、掩模成像光学件和二向色反射镜的所有调整。容纳针孔掩模108的载片经由狭缝插入光立方体200的侧面中。此方法允许快速且容易地改变滤光片组，这意味着用户可以针对正使用的任何特定染料来优化系统。在常规滤光轮设置中，改变滤光片可能是困难的过程，需要对显微镜进行部分拆卸和再校准。

成像光学件106常常无限校正，使得掩模108的图像处于无限空间中。此可能使得光学件的对准为复杂的。因此，在替代实施例中，成像光学件106可以固定在光立方体200的外部。以此方式，光学件可以更容易地对准，且接着可以安装立方体200。在此类实施例中，某种开口并入到立方体200中以便容纳固定光学件。

在再一实施例中，例如，可以使用有限管光学件，其将导致有限焦点空间。

如上文所指出，可以使用基于圆筒形坐掩模图案。标系统的因此，在某些实施例中，可以替代载片108而使用共焦的自旋圆盘。在此类实施例中，共焦的自旋圆盘将需要定位成使得在光学路径中位于反射镜110之后。

图3为图示用于控制照明系统100的操作的实例控制系统400的图。如可看出，系统400包括图像授权装置(image authority)412。图像授权装置412可以包括实施本文中所描述的系统和方法的某些部分所需要的所有资源。因此，授权装置412可以包括那些部分所需要的所有硬件和软件资源，包含一个或多个处理器，包含任何信号处理器、数字共处理器、微控制器，等，一个或多个服务器、一个或多个路由器、一个或多个终端、一个或多个计算机，包含台式计算机或便携式计算机，以及执行本文中所描述的系统和方法的那些部分或方面所需要的所有API、程序、软件模块等。因此，例如本文中所描述的那些模块的模块可以包括执行指定功能所需要的硬件和软件资源。

具体来说，授权装置412可以包括被配置成控制系统100的操作且处理由其获得的数据的各种模块。如图3中所示，这些模块可以包含图像控制模块402，所述图像控制模块可以被配置成例如经由平移控制模块406控制系统100中的平移台。控制模块402还可以被配置成经由照明控制模块408控制照明。

授权装置410还可以包括被配置成处理由传感器120获得的图像数据的处理模块404。

应注意，平移控制模块406和照明控制模块408中的一些或全部可以驻留在系统100内，例如驻留在光立方体200或立方体200介接到的平移台内。

如上文所描述，替代自旋圆盘，如图5中所示，可以在如图4中所示的小(例如，玻璃)载片上印刷例如针孔的图案。此载片可以保持在激发光源102的前方，例如，如在图2的光立方体配置中。掩模使用小平移台四处移动，所述平移台将掩模定位在适当位置以在每次俘获之前对样品的不同部分进行照明。应注意，尽管如上所述，但实际掩模可以包括针孔之外的其它图案。

图7为图示根据一个实施例的平移设备900的实例配置的图，其包含多个平移台902a、902b和902c以及尖端/倾斜调整机构904。如可看出，平移台902和尖端/倾斜调整机构904可以例如在控制模块402和平移控制406的控制下移动且定位掩模108。除了光立方体200之外，此类型的平移设备900也提供简单且紧凑的解决方案，其允许将若干不同针孔图案，例如501和502，印刷于每个载片上。这允许更大灵活性，向用户给出速度与质量之间的选择。

此外，如上文所指出，在某些实施例中，本文中所描述的系统和方法可以被配置成消除对于发射路径上的针孔掩模的需要。实际上，本文中所描述的系统和方法可以被配置成使用高分辨率CCD传感器120来几乎掩蔽返回的图像，仅记录图像的“良好”区中的数据。为使系统100知晓良好数据的位置，针孔108相对于传感器120的位置必须是已知的。此通过在共焦俘获例程开始时取得校准图像且使用图像处理(例如，在处理模块404内)来确定针孔阵列108相对于传感器120的位置来实现。以此方式，系统至少部分地为自校准式的，且可以容许图像到图像系统定位(例如光立方体200的位置)的小误差而不显著损失图像质量。

可以用来建立针孔阵列相对于相机传感器的位置的过程具有若干离散步骤，如图8中所示。首先，在步骤1005中，可以获得掩模中的针孔的图像。接着，在步骤1010中，可以使用各种图像处理技术来增强掩模的图像以使其更适合于定量分析。因为针孔的间隔是例如处理模块404已知的量，因此可以使用傅立叶变换来在步骤1015中将数据移动到频域中，其中可以使用带通滤波器来在步骤1020中找出与所述间隔对应的数据。

接着可以在步骤1025中移除噪声且考量跨越图像的亮度变化。例如，且开口技术可以用于步骤1025中。接着可以在步骤1030中选择最亮数据。举例来说，直方图分组技术可以用来仅保持此数据中的最亮者。此时，可以在步骤1035中定位增强图像中的针孔。举例来说，可以应用阈值算法，其识别足够明亮而被认为是针孔的信号区。接着可以计算这些区的质心，并存储以供在下一步骤中使用。

接下来，在步骤1040中，已知掩模图案可以拟合到观察到的数据，由此使掩模位置与传感器相关。举例来说，可以使用随机样本一致性(RANSAC)方法来同时对照两个质心对已知掩模图案应用并测试多种旋转、标度和补偿因数。此迭代过程可以并行化以允许在数秒或更短时间内测试数百种可能性。一旦确定了最佳拟合，就存储掩模图案以供在后续共焦俘获例程中使用。

因为图10的整个过程可以在大约数秒内完成，因此在例如消费者级计算机上运行时，在每个共焦俘获之前运行此校准是有可能且可行的。另外，因为多个针孔同时成像，因此系统100可以俘获高分辨率图像而没有原本在单点系统上可能招致的时间损失。

图9A图示针对覆叠有所确定针孔的图像所俘获的数据，其中针孔位置是使用图8的过程确定。图9B图示所确定针孔的特写，其中原始数据在右侧。

图6为图示可以结合本文所描述的各种实施例使用的实例有线或无线系统550的框图。举例来说，系统550可以用作上文所描述的机制或过程中的一个或多个或与其结合使用，且可以表示系统100或400、对应服务器和/或本文中所描述的其它装置的组件。系统550可以是以下中的一个或多个的组合：服务器或任何常规个人计算机，或能够进行有线或无线数据通信的任何其它具备处理器的装置。还可以使用其它计算机系统和/或架构，如所属领域的技术人员将显而易见的。

系统550优选地包含一个或多个处理器，例如处理器560。可以提供额外处理器，例如用以管理输入/输出的辅助处理器、用以执行浮点数学运算的辅助处理器、具有的架构适合于快速执行信号处理算法的专用微处理器(例如，数字信号处理器)、主要处理系统下属的受控处理器(例如，后端处理器)、用于双或多处理器系统的额外微处理器或控制器，或共处理器。此种辅助处理器可以是离散处理器，或可以与处理器560集成。可以与系统550一起使用的处理器的实例包含但不限于

处理器、Core

处理器和

处理器，所有这些处理器都可以购自加利福尼亚圣克拉拉的因特尔公司。

处理器560优选地连接到通信总线555。通信总线555可以包含用于促进系统550的存储装置与其它外围组件之间的信息传送的数据信道。通信总线555进一步可以提供用于与处理器560通信的一组信号，包含数据总线、地址总线和控制总线(未示出)。通信总线555可以包括任何标准或非标准总线架构，例如符合工业标准架构(ISA)、扩充工业标准架构(EISA)、微信道架构(MCA)、外围组件互连(PCI)本地总线或由电气电子工程师学会(IEEE)颁布的标准(包含IEEE 488通用接口总线(GPIB)、IEEE 696/S-100，等等)的总线架构。

系统550优选地包含主存储器565，且还可以包含辅助存储器570。主存储器565提供用于在处理器560上执行的程序的指令和数据(例如上文所论述的函数和/或模块中的一个或多个)的存储。应理解，存储于存储器中且由处理器560执行的程序可以根据任何合适语言，包含但不限于C/C++、Java、JavaScript、Pearl、Visual Basic、.NET等等，来撰写和/或编译。主存储器565通常为基于半导体的存储器，例如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其它基于半导体的存储器类型包含例如同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等等，包含只读存储器(ROM)。

辅助存储器570可以任选地包含内部存储器575和/或可移除式媒体580，例如软盘驱动器、磁带驱动器、压缩光盘(CD)驱动器、数字多功能光盘(DVD)驱动器、其它光盘驱动器、闪存存储器驱动器，等。可移除式媒体580以众所周知的方式读取和/或写入。可移除式存储媒体580可以是例如软盘、磁带、CD、DVD、SD卡，等。

可移除式存储媒体580为在其上存储有计算机可执行代码(即，软件)和/或数据的非暂时性计算机可读媒体。存储于可移除式存储媒体580上的计算机软件或数据读取到系统550中以由处理器560执行。

在替代实施例中，辅助存储器570可以包含用于允许计算机程序或其它数据或指令加载到系统550中的其它类似构件。此种构件可以包含例如外部存储媒体595和接口590。外部存储媒体595的实例可以包含外部硬盘驱动器或外部光盘驱动器，或和外部磁光驱动器。

辅助存储器570的其它实例可以包含基于半导体的存储器，例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)，或闪存存储器(类似于EEPROM的面向块的存储器)。还包含任何其它可移除式存储媒体580和通信接口590，其允许软件和数据从外部媒体595传送到系统550。

系统550可以包含通信接口590。通信接口590允许软件和数据在系统550与外部装置(例如打印机)、网络或信息源之间传送。举例来说，计算机软件或可执行代码可以从网络服务器经由通信接口590传送到系统550。通信接口590的实例包含内置网络适配器、网络接口卡(NIC)、个人计算机存储卡国际协会(PCMCIA)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外线接口、IEEE1394火线，或能够将系统550与网络或另一计算装置介接的任何其它装置。

通信接口590优选地实施行业颁布的协议标准，例如乙太网IEEE802标准、光纤信道、数字订户线(DSL)、异步数字订户线(ADSL)、帧中继、非同步传送模式(ATM)、集成式数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/互联网协议(TCP/IP)、串行线因特网协议/点对点协议(SLIP/PPP)等等，但还可以实施定制或非标准接口协议。

经由通信接口590传送的软件和数据大体呈电通信信号605的形式。这些信号605优选地经由通信信道600提供到通信接口590。在一个实施例中，通信信道600可以是有线或无线网络或任何多种其它通信链路。通信信道600载运信号605，且可以使用多种有线或无线通信构件实施，包含金属线或缆线、光纤、常规电话线、蜂窝式电话链路、无线数据通信链路、射频(“RF”)链路或红外线链路，仅举几例。

计算机可执行代码(即，计算机程序或软件)存储在主存储器565和/或辅助存储器570中。计算机程序还可以经由通信接口590接收且存储在主存储器565和/或辅助存储器570中。此种计算机程序在执行时使得系统550能够执行如先前所描述的本发明的各种功能。

在此描述中，术语“计算机可读媒体”用以指用来将计算机可执行代码(例如，软件和计算机程序)提供到系统550的任何非暂时性计算机可读存储媒体。这些媒体的实例包含主存储器565、辅助存储器570(包含内部存储器575、可移除式媒体580和外部存储媒体595)和以通信方式与通信接口590耦合的任何外围装置(包含网络信息服务器或其它网络装置)。这些非暂时性计算机可读媒体为用于将可执行代码、编程指令和软件提供到系统550的构件。

在使用软件实施的实施例中，软件可以存储在计算机可读媒体上且借助于可移除式媒体580、I/O接口585或通信接口590加载到系统550中。在此类实施例中，软件以电通信信号605的形式加载到系统550中。在由处理器560执行时，软件优选地使得处理器560执行本文中先前所描述的发明性特征和功能。

在一实施例中，I/O接口585提供系统550的一或多个组件与一个或多个输入和/或输出装置之间的接口。实例输入装置包含但不限于键盘、触摸屏或其它触敏式装置、生物计量感测装置、计算机滑鼠、轨迹球、基于笔的指向装置，等等。输出装置的实例包含但不限于阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射显示器(SED)、场发射显示器(FED)，等等。

系统550还包含促进经由语音和经由数据网络的无线通信的任选无线通信组件。所述无线通信组件包括天线系统610、无线电系统615和基带系统620。在系统550中，射频(RF)信号在无线电系统615的管理下由天线系统610无线地发射和接收。

在一个实施例中，天线系统610可以包括一个或多个天线和一个或多个多路复用器(未示出)，所述多路复用器执行切换功能以向天线系统610提供发射和接收信号路径。在接收路径中，所接收RF信号可以从多路复用器耦合到低噪声放大器(未示出)，所述低噪声放大器放大所接收RF信号且将经放大信号发送到无线电系统615。

在替代实施例中，无线电系统615可以包括被配置成经由各种频率通信的一个或多个无线电。在一个实施例中，无线电系统615可以将解调器(未示出)和调制器(未示出)组合在一个集成电路(IC)中。解调器与调制器也可以是单独的组件。在传入路径中，解调器剥除RF载波信号，从而使基带接收音频信号，所述音频信号从无线电系统615发送到基带系统620。

如果所接收信号含有音频信息，则基带系统620对信号进行解码且将其转换为模拟信号。接着，放大所述信号且将其发送到扬声器。基带系统620还从麦克风接收模拟音频信号。这些模拟音频信号转换为数字信号，且由基带系统620编码。基带系统620还对数字信号进行译码以供发射，且生成路由到无线电系统615的调制器部分的基带发射音频信号。调制器混合基带发射音频信号与RF载波信号，从而生成路由到天线系统且可以通过功率放大器(未示出)的RF发射信号。功率放大器放大RF发射信号且将其路由到天线系统610，在所述天线系统处，信号被切换到天线端口用于发射。

基带系统620还以通信方式与处理器560耦合。中央处理单元560能存取数据存储区域565和570。中央处理单元560优选地被配置成执行可以存储于存储器565或辅助存储器570中的指令(即，计算机程序或软件)。计算机程序还可以从基带处理器610接收且存储在数据存储区域565或辅助存储器570中，或在接收到之后即刻执行。此种计算机程序在执行时使得系统550能够执行如先前所描述的本发明的各种功能。举例来说，数据存储区域565可以包含各种软件模块(未示出)。

各种实施例还可以例如使用例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的组件来主要在硬件中实施。实施能够执行本文所描述的功能的硬件状态机也是所属领域的技术人员将显而易见的。各种实施例还可以使用硬件与软件两者的组合来实施。

此外，所属领域的技术人员将了解，结合上述图和本文公开的实施例描述的各种说明性逻辑块、模块、电路和方法步骤常常可以实施为电子硬件、计算机软件，或两者的组合。为清晰地说明硬件与软件的此可互换性，上文已大体就其功能性来描述了各种说明性组件、块、模块、电路和步骤。此功能性是实施为硬件还是软件取决于特定应用和外加于整个系统的设计约束。所属领域的技术人员可以针对每一特定应用以不同方式来实施所描述的功能性，但此种实施决策不应被解释为会引起脱离本发明的范围。此外，模块、块、电路或步骤内的功能的分组是为了易于描述。特定功能或步骤可以从一个模块、块或电路移到另一个。

此外，结合本文公开的实施例描述的各种说明性逻辑块、模块、功能和方法可以利用通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或经设计以执行本文中所描述的功能的其任何组合来实施或执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可以实施为计算装置的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心结合的一个或多个微处理器，或任何其它此类配置。

此外，结合本文公开的实施例描述的方法或算法的步骤可以直接体现于硬件、由处理器执行的软件模块或两者的组合中。软件模块可以驻留在RAM存储器、闪存存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除式磁盘、CD-ROM或任何其它形式的存储媒体(包含网络存储媒体)中。示范性存储媒体可以耦合到处理器，使得处理器可以从存储媒体读取信息和将信息写入到存储媒体。在替代方案中，存储媒体可以与处理器成整体。处理器和存储媒体还可以驻留在ASIC中。

本文中所描述的软件组件中的任一个可以采用多种形式。举例来说，组件可以是独立软件包，或其可以是作为“工具”并入到较大软件产品中的软件包。其可以从例如网站的网络下载，作为独立产品或作为用于安装在现有软件应用程序中的外接程序封装。其还可以用作客户端-服务器软件应用程序、网络允用软件应用程序和/或移动应用程序。

尽管上文已描述某些实施例，但将理解，所描述的实施例仅作为实例。因此，本文中所描述的系统和方法不应限于基于所描述实施例。实际上，本文中所描述的系统和方法在结合以上描述和附图采用时仅应根据所附权利要求加以限制。

Claims (39)

1.一种用于生成结构化照明图像的设备，其包括：

壳体；

成像光学件，其安装在所述壳体内，所述成像光学件被配置成聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；

反射器，其安装在所述壳体内且被配置成将所述照明反射到所述样品；

滤光设备，其包括安装在所述壳体内的一个或多个滤光片，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；以及

在所述壳体上的安装特征，所述安装特征被配置成允许将所述用于生成结构化照明图像的设备安装在成像系统内，

其中所述壳体进一步包括开口以允许将包括所述光掩模的载片在所述照明源与所述成像光学件之间插入到所述壳体中。

2.根据权利要求1所述的设备，其进一步包括照明源光学件，所述照明源光学件安装在所述壳体内且被配置成将来自所述照明源的照明聚焦到所述光掩模上。

3.根据权利要求1所述的设备，其进一步包括安装在所述壳体内的所述照明源。

4.根据权利要求3所述的设备，其中所述照明源为发光二极管LED。

5.根据权利要求1所述的设备，其中所述载片包括一个或多个针孔掩模或透明窗口。

6.根据权利要求5所述的设备，其中所述一个或多个针孔掩模包括由坐标系统限定的针孔图案。

7.根据权利要求1所述的设备，其进一步包括平移设备，所述平移设备被配置成根据俘获产生复合图像所需的多个图像的需要而移动所述载片。

8.根据权利要求1所述的设备，其中所述反射器为二向色反射镜。

9.根据权利要求1所述的设备，其进一步包括电路，所述电路安装在所述壳体上或所述壳体内且被配置成允许所述用于生成结构化照明图像的设备与控制系统通信。

10.根据权利要求9所述的设备，其中所述电路被配置成将关于所述用于生成结构化照明图像的设备的信息提供到所述控制系统。

11.根据权利要求1所述的设备，其中所述照明源和滤光设备针对特定类型的样品染料而优化。

12.根据权利要求1所述的设备，其中所述安装特征被配置成至少部分地约束所述用于生成结构化照明图像的设备的位置，使得所述反射器在每次安装所述用于生成结构化照明图像的设备时在相同位置和定向上定位在与所述用于生成结构化照明图像的设备相关联的光学路径内。

13.根据权利要求1所述的设备，其中所述安装特征包括动态的鸠尾式或其它机械导件中的至少一个或被配置成结合其进行工作。

14.一种结构化照明系统，其包括：

成像设备，所述成像设备包括：

壳体，

成像光学件，其安装在所述壳体内，所述成像光学件被配置成聚焦来自照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上，

反射器，其安装在所述壳体内且被配置成将所述照明反射到所述样品，

滤光设备，其包括安装在所述壳体内的一个或多个滤光片，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器，以及

在所述壳体上的安装特征，所述安装特征被配置成允许将所述成像设备安装在成像系统内；以及

安装结构，其被配置成允许将多个成像设备安装在所述结构化照明系统上或所述结构化照明系统内，

其中所述壳体进一步包括开口以允许将包括所述光掩模的载片在所述照明源与所述成像光学件之间插入到所述壳体中。

15.根据权利要求14所述的系统，其进一步包括照明源光学件，所述照明源光学件安装在所述壳体中且被配置成将来自所述照明源的照明聚焦到所述光掩模上。

16.根据权利要求14所述的系统，其进一步包括所述照明源。

17.根据权利要求16所述的系统，其中所述照明源安装在所述壳体内。

18.根据权利要求16所述的系统，其中所述照明源为发光二极管LED。

19.根据权利要求14所述的系统，其中所述载片包括一个或多个针孔掩模或透明窗口。

20.根据权利要求19所述的系统，其中所述一个或多个针孔掩模包括由坐标系统限定的针孔图案。

21.根据权利要求14所述的系统，其进一步包括平移设备，所述平移设备被配置成根据俘获产生复合图像所需的多个图像的需要而移动所述载片。

22.根据权利要求14所述的系统，其中所述反射器为二向色反射镜。

23.根据权利要求14所述的系统，其进一步包括电路，所述电路安装在所述壳体上或所述壳体内且被配置成允许所述设备与控制系统通信。

24.根据权利要求23所述的系统，其中所述电路被配置成将关于所述设备的信息提供到所述控制系统。

25.根据权利要求14所述的系统，其中所述照明源和滤光设备针对特定类型的样品染料而优化。

26.根据权利要求25所述的系统，其中所述多个成像设备中的每一个针对特定类型的染料而优化，且其中所述结构化照明系统包括用以允许所述多个成像设备中的一个特定成像设备经定位以用于对包括所述相关联染料的样品进行成像的机构。

27.一种用于配置包括壳体的成像系统的方法，所述壳体包含针对特定样品染料优化的照明源和成像光学件，所述方法包括：

将所述成像光学件安装在所述壳体内并配置所述成像光学件以聚焦来自所述照明源的照明，使得对应于光掩模上的图案的焦点内光图案投射到样品上；

通过所述外壳的开口，将包括所述光掩模的载片在所述照明源与所述成像光学件之间插入到所述壳体中；

将包括一个或多个滤光片的滤光设备安装到所述壳体中，所述滤光设备被配置成仅允许来自所述所照明样品的发射传递到传感器；

校准所述照明源、成像光学件和滤光设备以对所述样品进行照明；以及

将所述壳体安装到安装结构中。

28.根据权利要求27所述的方法，其进一步包括将照明源光学件安装在所述壳体中，且连同所述照明源、成像光学件和滤光片一起校准所述照明源光学件。

29.根据权利要求27所述的方法，其进一步包括将反射器安装在所述壳体中且连同所述照明源、成像光学件和滤光片一起校准所述反射器。

30.根据权利要求27所述的方法，其进一步包括：

一旦将所述壳体安装在所述安装结构上，就使用所述照明源经由包含针孔图案的所述光掩模对所述样品进行照明；

使用所述传感器俘获所述样品的图像；

将所述图像转换为数据：

在处理模块中：

使用所述针孔图案中的针孔的已知间隔对所述数据进行滤波以获得对应于所述间隔的数据，

使用阈值来识别剩余数据的足够明亮以与针孔相关联的区，

计算所述区的质心，以及

将所述针孔图案的已知图案拟合到所述区，以便识别所述数据的最佳拟合；以及

将所述最佳拟合数据存储在存储媒体中以供用于后续图像俘获例程。

31.根据权利要求30所述的方法，其进一步包括，在所述处理模块中，增强对应于所述所俘获图像的所述数据。

32.根据权利要求31所述的方法，其中增强所述数据包括提高所述数据的清晰度和对比度。

33.根据权利要求30所述的方法，其中对所述数据进行滤波包括将所述数据变换到频域且将带通滤波器应用于所述经变换数据。

34.根据权利要求30所述的方法，其进一步包括，在所述处理模块中，移除噪声且考量所述经滤波数据中的亮度变化。

35.根据权利要求34所述的方法，其进一步包括，在所述处理模块中，仅在所述经滤波数据中保留超过亮度阈值的数据。

36.根据权利要求35所述的方法，其中使用直方图分组技术来识别超过所述亮度阈值的数据。

37.根据权利要求30所述的方法，其进一步包括，在所述处理模块中，将旋转、标度和补偿因数中的至少一个在迭代过程中应用于成对的质心以辅助识别所述最佳拟合。

38.根据权利要求30所述的方法，其进一步包括使用所述最佳拟合数据来获得所述样品的复合图像。

39.根据权利要求27所述的方法，其进一步包括将所述照明源安装在所述壳体中。

Images