CN115308893A - 预测结构化照射参数 - Google Patents

Abstract

本公开的实现方式涉及使用从由结构化照射系统捕获的结构化照射图像获得的结构化照射参数的估计来预测特定时间点、空间点和/或温度点的结构化照射参数。具体实现方式涉及预测结构化照射频率、相位、定向和/或调制阶数参数。

Description

预测结构化照射参数

本申请是国际申请号为PCT/US2019/038293、国际申请日为2019年6月20日、进入中国国家阶段日期为2019年12月30日、国家申请号为201980003321.8、发明名称为“预测结构化照射参数”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2018年6月29日提交的题为“预测结构化照射参数”的美国临时专利申请第62/692,303号的权益。

背景技术

结构化照射显微镜(SIM)描述了一种技术，通过该技术使得空间结构化(即，图案化)的光可以被用于对样品成像，以将显微镜的横向分辨率增加两倍或更多倍。在一些实例中，在样品成像期间，在不同的图案相位(例如，0°、120°和240°)采集样品条纹图案的三个图像，从而使样品上的每个位置都暴露在一定照射强度范围之内，其中该过程通过使图案定向围绕光轴旋转到3个单独角度(例如，0°、60°和120°)来重复。所捕获的图像(例如，九个图像)可以组合成空间频率带宽扩展的单个图像，该单个图像可以重新变换为真实空间以生成分辨率高于常规显微镜所捕获的图像的分辨率的图像。

在当前的SIM系统的一些实现方式中，线性偏振光束引导通过光束分离器，该光束分离器将光束分成两个或更多个单独的阶数，这些阶数可以组合并且投射在成像样品上作为具有正弦强度变化的干涉条纹图案。衍射光栅是可以生成具有高相干度和稳定传播角度的光束的分束器的示例。当两个这样的光束合并时，它们之间的干涉会创建均匀的规则重复的条纹图案，其中间距由包括干涉光束之间的角度在内的因素确定。

在将图像捕获和/或随后组合或重建为空间频率带宽扩展的单个图像期间，可能需要考虑以下结构化照射参数：相邻条纹之间的间隔(即，条纹图案的频率)、结构化照射图案的相位或角度、以及条纹图案相对于受照样品的定向。在不受机械不稳定和热变化等因素影响的理想成像系统中，这些参数中的每个参数都不会随时间漂移或以其他方式改变，并且与给定图像样品相关联的精确SIM频率、相位和定向参数众所周知。然而，由于诸如激发光束路径的机械不稳定性和/或成像样品的热膨胀/收缩之类的因素，所以这些参数可能随时间漂移或以其他方式改变。

如此，SIM成像系统可能需要估计结构化照射参数以解决它们随时间的变化。由于许多SIM成像系统没有实时执行SIM图像处理(例如，它们脱机处理捕获的图像)，因此这种SIM系统可能会花费大量的计算时间来处理SIM图像，以估计该图像的结构化照射参数。

发明内容

本公开的实现方式涉及使用从由结构化照射系统捕获的结构化照射图像获得的结构化照射参数的估计来预测特定时间点、空间点和/或温度点的结构化照射参数。

在一个示例中，一种方法包括：使用结构化照射系统来捕获样品的第一图像；使用计算设备以至少使用所捕获的第一图像来估计第一结构化照射参数；使用结构化照射系统来捕获样品的第二图像；使用计算设备以至少使用所捕获的第二图像来估计第二结构化照射参数；以及至少使用第一结构化照射参数或第二结构化照射参数，使用计算装置来预测与第三图像相对应的第三结构化照射参数。第一结构化照射参数、第二结构化照射参数和第三结构化照射参数中的每个结构化照射参数可以包括相位、频率、定向或调制阶数。

在一些实现方式中，在第一时间捕获第一图像，在第一时间之后的第二时间捕获第二图像，在第一时间和第二时间之间的第三时间捕获第三图像，以及通过至少使用内插方法在第三时间预测第三结构化照射参数。内插方法可以包括：使用计算设备来确定从第一时间的第一结构化照射参数到第二时间的第二结构化照射参数的改变率；以及至少使用所确定的改变率，使用计算设备在第三时间预测第三结构化照射参数。

在一些实现方式中，该方法还包括：使用计算设备以至少使用第三图像和第三结构化照射参数来构建高分辨率图像。

在一些实现方式中：在第一时间捕获第一图像，在第一时间之后的第二时间捕获第二图像，在第一时间和第二时间之后或之前的第三时间捕获第三图像，并且通过至少使用外推方法在第三时间预测第三结构化照射参数。

在一些实现方式中，该方法还包括：至少使用第三结构化照射参数来调整结构化照射系统的硬件部件，以在第三时间捕获第三图像之前补偿结构化照射参数的改变。调整硬件部件可以包括：调整以下各项中的一项或多项：调整结构化照射图案的相位或定向的旋转镜；承载衍射光栅以调整结构化照射图案的相位或定向的平移台；以及调整结构化照射图案的相位或定向的样品平移台。

在一些实现方式中，该方法还包括：在结构化照射系统的存储器中存储：第一结构化照射参数、第二结构化照射参数和第三结构化照射参数；使用所存储的第一结构化照射参数、所存储的第二结构化照射参数、所存储的第三结构化照射参数以及基于结构化照射系统的已知物理特性的存储值中的一个或多个来减少第四图像的第四结构化照射参数的搜索空间。

在一些实现方式中，预测与第三图像相对应的第三结构化照射参数包括：对至少第一结构化照射参数和第二结构化照射参数应用最小二乘拟合。在一些实现方式中，预测与第三图像相对应的第三结构化照射参数包括：使用第二结构化照射参数。

在一些实现方式中，在第一样品温度捕获样品的第一图像；在第一样品温度估计第一结构化照射参数；在第二样品温度捕获样品的第二图像；在第二样品温度估计第二结构化照射参数；以及在第三样品温度预测第三结构化照射参数。

在一些实现方式中，该方法还包括：将样品的第一图像划分为多个图像子部分；使用计算设备以至少使用多个图像子部分中的第一图像子部分来估计第四结构化照射参数；使用计算设备以至少使用多个图像子部分中的第二图像子部分来估计第五结构化照射参数；至少使用第四结构化照射参数或第五结构化照射参数，使用计算设备来预测与多个图像子部分中的第三图像子部分相对应的第六结构化照射参数。

在一些实现方式中，该方法还包括：将样品的第一图像划分为多个图像子部分；使用计算设备以至少使用多个图像子部分中的第一图像子部分来估计第四结构化照射参数；以及使用所估计的第四结构化照射参数作为多个图像子部分中的第二图像子部分的预测结构化照射参数。

在一个示例中，一种非暂态计算机可读介质可以在其上存储有可执行的指令，该指令在被处理器执行时，使得处理器执行以下操作：使用结构化照射系统来捕获样品的第一图像；至少使用所捕获的第一图像来估计第一结构化照射参数；使用结构化照射系统来捕获样品的第二图像；至少使用所捕获的第二图像来估计第二结构化照射参数；以及至少使用第一结构化照射参数或第二结构化照射参数，预测与第三图像相对应的第三结构化照射参数。

在一些实现方式中，在第一样品位置处捕获第一图像，在第二样品位置处捕获第二图像，在第一样品位置和第二样品位置之间的第三样品位置处捕获第三图像，通过至少内插法在第三样品位置处预测第三结构化照射参数。内插方法可以包括：使用计算设备来确定从第一样品位置处的第一结构化照射参数到第二样品位置处的第二结构化照射参数的改变率；以及至少使用确定的改变率，在第三样品位置处预测第三结构化照射参数。

在一些实现方式中，指令在被处理器执行时，使得处理器进一步执行以下操作：使用至少第三图像和第三结构化照射参数来构建高分辨率图像。

在一些实现方式中，第三样品位置在第一样品位置和第二样品位置之后，并且通过至少使用外推方法在第三样品位置处预测第三结构化照射参数。

在一些实现方式中，指令在被处理器执行时，使得处理器进一步执行以下操作：至少使用第三结构化照射参数来使得结构化照射系统的硬件部件被调整，以在第三样品位置处捕获图像之前补偿结构化照射参数的改变。

在一些实现方式中，指令在被处理器执行时，使得处理器进一步执行以下操作：将第一结构化照射参数、第二结构化照射参数和第三结构化照射参数存储在结构化照射系统的存储器中；以及使用所存储的第一结构化照射参数、所存储的第二结构化照射参数、所存储的第三结构化照射参数和基于结构化照射系统的已知物理特性的存储值中的一个或多个来减少第四图像的第四结构化照射参数的搜索空间。

在一个示例中，一种结构化照射成像系统包括：发光器，用于发射光；分束器，用于分开由发光器发射出的光，以将结构化照射图案投射在样品的平面上；处理器；以及非暂态计算机可读介质，其上存储有可执行的指令，该指令在被处理器执行时，使得处理器执行以下操作：捕获样品的第一图像；至少使用所捕获的第一图像来估计第一结构化照射参数；捕获样品的第二张图像；至少使用所捕获的第二图像来估计第二结构化照射参数；至少使用第一结构化照射参数或第二结构化照射参数，预测与第三图像相对应的第三结构化照射参数。

在一个示例中，一种方法包括：使用结构化照射系统来捕获样品的第一多个图像；使用计算设备以至少使用所捕获的第一多个图像来估计第一结构化照射参数；使用结构化照射系统来捕获样品的第二多个图像；使用计算设备以至少使用所捕获的第二多个图像来估计第二结构化照射参数；以及至少使用第一结构化照射参数或第二结构化照射参数，使用计算设备来预测与一个或多个图像相对应的第三结构化照射参数。

通过以下结合附图的具体实施方式，所公开技术的其他特征和方面将变得显而易见，这些附图通过示例图示了根据所公开技术的实现方式的特征。该发明内容不旨在限制本文中所描述的任何发明的范围，这些发明由权利要求书和等同物限定。

应当领会，前述概念的所有组合(假设这种构思并不相互矛盾)被认为是本文中所公开的发明主题的一部分。具体地，出现在本公开的末尾处的所要求保护的主题的所有组合被认为是本文中所公开的发明主题的一部分。

附图说明

据一个或多个实现方式，参考以下附图对本公开进行详细描述。提供附图仅出于说明的目的，并且仅描绘示例实现方式。更进一步地，应当指出，为了清楚起见并且便于说明，附图中的元件未必按比例绘制。

本文中包括的附图中的一些附图从不同的视角图示了所公开的技术的各种实现方式。除非另有明确说明，否则尽管所附的描述性文本可以是指诸如“顶视图”、“底视图”或“侧视图”之类的这些视图，但是这种引用仅是描述性的，并不暗示或要求以特定的空间定向实现或使用所公开的技术。

图1A图示了在一个示例中在将1D结构化照射图案投射在样品上的SIM成像系统中随时间可能发生的不期望的频率改变。

图1B图示了在一个示例中在将1D结构化照射图案投射在样品上的SIM成像系统中随时间可能发生的不期望的相位改变。

图1C图示了在一个示例中在将1D结构化照射图案投射在样品上的SIM成像系统中随时间可能发生的不期望的定向改变。

图2图示了在一个示例中根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的SIM成像系统。

图3是图示了根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的双臂SIM成像系统的示例光学配置的光学图。

图4图示了在一个示例中简化的照射条纹图案，其可以在使用结构化光创建高分辨率图像的一个成像循环期间通过图3的SIM成像系统的垂直光栅和水平光栅投射到样品的平面上。

图5A是图示了根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的双光栅载片SIM成像系统的示例光学配置的示意图。

图5B是图示了根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的双光栅载片SIM成像系统的示例光学配置的示意图。

图6图示了在一个示例中简化的照射条纹图案，其可以在结构化照射成像循环内的图像捕获期间通过图5A至图5B的SIM成像系统的第一衍射光栅和第二衍射光栅投射到样品的平面上。

图7示出了在一个示例中在空间(X)和时间(T)中变化的相位参数的估计。

图8示出了在一个示例中参数的估计变化作为x的函数的趋势。

图9是图示了根据本文中所描述的一些实现方式的示例内插方法的操作流程图，该内插方法用于使用从在时间点之前和之后捕获的图像获得的结构化照射参数的估计来预测特定时间点的结构化照射参数。

图10是图示了根据本文中所描述的一些实现方式的示例外推方法的操作流程图，该示例外推方法用于使用从在特定时间点之前捕获的两个或更多个图像获得的结构化照射参数的估计来预测该时间点的结构化照射参数。

图11是图示了根据本文中所描述的一些实现方式的在高分辨率图像重建期间使用预测结构化照射参数以补偿结构化照射参数随时间的不期望改变的示例方法的操作流程图。

图12是图示了根据本文中所描述的一些实现方式的使用SIM成像系统硬件部件的预测的结构化照射参数调整来补偿结构化照射参数随时间的改变的示例方法的操作流程图。

图13是可以与本公开的各种实现方式结合使用的计算部件的示例。

附图不是穷举的，并且没有将本公开限制为所公开的精确形式。

具体实施方式

如本文中所涉及的结构化照射参数，术语“频率”旨在是指结构化照射图案的条纹或线条(例如，条纹或网格图案)之间的间隔。例如，条纹之间的间隔较大的图案的频率低于条纹之间的间隔较小的图案的频率。

如本文中所涉及的结构化照射参数，术语“相位”旨在是指照射样品的结构化照射图案的相位。例如，可以通过相对于受照样品平移结构化照射图案来改变相位。

如本文中所涉及的结构化照射参数，术语“定向”旨在是指结构化照射图案(例如，条纹或网格图案)与由该图案照射的样品之间的相对定向。例如，可以通过相对于受照样品旋转结构化照射图案来改变定向。

如本文中所涉及的结构化照射参数，术语“预测”旨在意指在没有直接测量参数或从与参数相对应的捕获图像估计参数的情况下计算参数的一个或多个值。例如，可以通过在时间t2和t3(其中t2＜t1＜t3)直接测量或估计(例如，从捕获的相位图像中)的相位值之间的内插来在时间t1预测结构化照射图案的相位。作为另一示例，可以通过从在时间t2和t3(其中t2＜t3＜t1)(例如，从捕获的相位图像中)直接测量或估计的频率值外推来预测结构化照射图案在时间t1处的频率。

如本文中所涉及的由衍射光栅衍射的光，术语“阶”或“阶数”旨在意指整数波长的数目，其表示来自相邻狭缝或用于相长干涉的衍射光栅的光的光学路径长度差。入射光束在一系列重复的光栅结构或其他分束结构上的相互作用可以使光束的各个部分从原始光束重定向或衍射到可预测的角度方向。术语“第零阶”或“第零阶最大值”旨在是指由其中没有衍射的衍射光栅发射的中心亮条纹。术语“第一阶”旨在是指被衍射到第零阶条纹的任一侧的两个亮条纹，其中路径长度差为±1个波长。较高阶次从原始光束衍射到更大的角度。可以操纵光栅的特性，以控制多少光束强度引导到不同的阶数。例如，可以制造相位光栅以使±1阶的透射率最大并且使第零阶光束的透射率最小。

如本文中所涉及的样品，术语“特征”旨在意指可以根据相对位置与其他点或区域区分开的图案中的点或区域。单个特征可以包括一个或多个特定类型的分子。例如，特征可以包括具有特定序列的单个靶核酸分子，或者特征可以包括具有相同序列(和/或其互补序列)的几个核酸分子。

如本文中所使用的，术语“xy平面”旨在意指由笛卡尔坐标系中的直线轴x和y限定的二维区域。当参考检测器和检测器所观察到的对象使用时，该区域可以进一步指定为与光束轴正交，或者与检测器和正在被检测的对象之间的观察方向正交。

如本文中所使用的，术语“z坐标”旨在意指指定沿着与xy平面正交的轴的点、线或区域的位置的信息。在特定实现方式中，z轴与检测器所观察的对象的区域正交。例如，光学系统的聚焦方向可以沿着z轴指定。

如本文中所使用的，术语“光耦合”旨在是指一个元件适于将光直接或间接赋予另一元件。

如上文所指出的，可能需要用于SIM图像处理的参数估计，以校正结构化照射参数随时间的不期望的改变。通过示例，图1A至图1C图示了在将一维结构化照射图案投射在规则图案样品上的SIM成像系统中随时间可能发生的频率(图1A)、相位(图1B)和定向(图1C)的不期望的改变。具体地，图1A图示了样品50，其具有在频移之前和之后由具有条纹60的一维结构化照射图案照射的特征51。在任何频率移位之前，相邻条纹60的节距或中心到中心的间隔P与初始频率f相对应。随着时间的流逝，随着系统中温度的变化，节距P可能会增加或减少。例如，热膨胀可能会使节距P增加到P+ΔP₁，从而将频率f减小到f-Δf₁。相反，热收缩可能会使节距P减小到P-ΔP₁，从而将频率f增加到f+Δf₂。

图1B图示了在相位改变之前和之后由具有条纹60的一维结构化照射图案照射的样品50。如所示出的，在相位漂移之前，第一相位状态Φ可以与完全照亮样品50的每第二列的特征51的条纹相对应。随着时间的推移，条纹60相对于样品50的位置可以移位，使得所有相位图像都偏移ΔΦ。例如，SIM成像系统中(例如，激发光束路径中)的机械振动、光栅或样品台所使用的平移台中的不精确、热变化和/或其他因素可能导致相位的不期望的漂移。在相位漂移ΔΦ之后，第一相位状态改变为Φ+ΔΦ，并且条纹不再以每第二列的特征为中心。

图1C图示了在定向改变之前和之后由具有条纹60的一维结构化照射图案照射的样品50。如所示出的，在定向改变之前，条纹相对于样品50的定向完全垂直。随着时间的流逝，定向可能由于诸如激发光束路径的改变、样品的移动、热变化和/或其他因素之类的因素而改变。定向旋转角度Δθ之后，条纹不再相对于样品完全垂直。

如上文所描述的，在SIM成像过程期间进行参数估计以精确说明结构化照射参数的改变有助于确保在没有伪影的情况下从采样图像集合准确重建图像。然而，这种过程可能在计算上是昂贵的并且在图像获取之后经常执行。对于时间临界的SIM成像系统，其牵涉到图像的实时处理和重建，因此牵涉到实时估计诸如频率、相位、定向和调制阶数之类的参数，这些计算要求可能会导致损失数据吞吐量(例如，每单位时间可以处理的数据更少)。在这样的系统中，样品成像的速率可能超过可以直接从采样图像估计结构化照射参数的速率。如此，需要一种生成参数估计的方法，其复杂度低且处理时间少。

为此，本文中所公开的技术的实现方式涉及使用从由结构化照射系统捕获的图像获得的结构化照射参数的估计来预测特定时间点、空间点和/或温度点的结构化照射参数。具体实现方式涉及预测结构化照射频率、相位、定向和/或调制阶数参数。

根据一些实现方式，可以通过对来自图像捕获的结构化照射参数的估计进行内插来预测给定时间点、空间点和/或温度点的结构化照射参数。例如，可以从第一采样图像估计第一频率，可以从第二采样图像估计第二频率，并且可以通过至少使用第一捕获图像和第二捕获图像之间的频率的确定的改变率进行内插来预测与第一捕获图像和第二捕获图像之间的时间点相对应的频率(例如，在第一图像和第二图像之间拍摄的图像的频率)。

根据一些实现方式，可以使用从两个图像捕获获得的结构化照射参数的估计通过外推预测给定时间点、空间点和/或温度点的结构化照射参数。例如，可以从第一采样图像估计第一方向，可以从第二采样图像估计第二方向，并且可以至少使用从第一捕获图像到第二捕获图像的定向所确定的改变率通过外推来预测与在第一捕获图像和第二捕获图像之后的时间点相对应的定向(例如，在第一图像和第二图像之后拍摄的第三图像的定向)。作为第二示例，可以从第一采样图像估计第一定向，可以从第二采样图像估计第二定向，并且可以通过保持来自第二捕获图像的值来预测与在第一捕获图像和第二捕获图像之后的时间点相对应的定向(例如，在第一图像和第二图像之后拍摄的第三图像的定向)。

在实现方式中，估计和预测的结构化照射参数可以用于使预测的其他结构化照射参数的搜索空间变窄。例如，在给定第一时间点、空间点和/或温度点的结构化照射参数的估计值，可以预测把第一时间点、空间点和/或温度点处的预测或估计值考虑在内的第一时间点、空间点和/或温度点附加的第二时间点、空间点和/或温度点的结构化照射参数的值。

在实现方式中，估计和预测的结构化照射参数可以存储在结构化照射系统的存储器中，以供系统将来使用。比如，预测和估计的参数可以存储在诸如查找表之类的历史文件中。可以从估计的参数确定存储在存储器中的预测的参数，或者可以基于结构化照射系统的物理特性来设置参数。例如，可以存储结构化照射系统的标称栅格间距。此后，可以参考所存储的参数以执行以下操作：校准图像重建，向硬件部件提供反馈以校正结构化照射参数的改变，以及在预测附加结构化照射参数时使搜索空间变窄。

在描述本文中所公开的用于预测结构化照射参数的技术的各种实现方式之前，描述可以实现这些技术的示例SIM成像系统是有用的。图2至图6图示了三个这样的示例SIM成像系统。应当指出，尽管主要在生成一维照射图案的SIM成像系统的上下文中描述了这些系统，但是本文中所公开的技术可以利用生成维度更高的照射图案(例如，二维网格图案)的SIM成像系统来实现。

图2图示了根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的结构化照射显微镜(SIM)成像系统100。例如，系统100可以是利用空间结构化激发光来使生物样品成像的结构化照射荧光显微镜系统。

在图2的示例中，发光器150被配置为输出由准直透镜151准直的光束。准直的光由光结构化光学组件155进行结构化(图案化)并且由二向色镜160通过物镜142引导到样品容器110的样品上，该样品容器110位于运动台170上。在荧光样品的情况下，样品响应于结构化激发光而发荧光，并且所产生的光由物镜142收集并且引导到相机系统140的图像传感器以检测荧光。

光结构化光学组件155包括一个或多个光学衍射光栅或其他分束元件(例如，分束器立方体或板)，以生成投射到样品容器110的样品上的光的图案(例如，条纹，通常为正弦形)。衍射光栅可以是一维透射或反射光栅或二维透射或反射光栅。衍射光栅可以是正弦幅度光栅或正弦相位光栅。

在一些实现方式中，一个或多个衍射光栅可以不利用旋转台来改变结构化照射图案的定向。在其他实现方式中，一个或多个衍射光栅可以安装在旋转台上。在一些实现方式中，衍射光栅可以在成像系统的操作期间被固定(即，不需要旋转或线性运动)。例如，在下文所进一步描述的特定实现方式中，衍射光栅可以包括彼此垂直定向的两个固定的一维透射衍射光栅(例如，水平衍射光栅和垂直衍射光栅)。

如图2的示例中所图示的，光结构化光学组件155输出衍射光束的第一阶(例如，m＝±1阶)，同时阻挡或最小化包括第零阶在内的所有其他阶数。然而，在备选实现方式中，光的附加阶数可以投射到样品上。

在每个成像循环期间，成像系统100利用光结构化光学组件155来获取处于不同相位的多个图像，其中条纹图案沿调制方向横向位移(例如，在xy平面中并且垂直于条纹)，其中通过围绕光轴(即，相对于样品的xy平面)旋转图案方向，该过程重复一次或多次。然后，可以对所捕获的图像进行计算重建以生成更高分辨率的图像(例如，横向空间分辨率为单个图像的横向空间分辨率的约两倍的图像)。

在系统100中，发光器150可以是非相干发光器(例如，发射由一个或多个激励二极管输出的光束)，或者是相干发光器(诸如由一个或多个激光器或激光二极管输出的光的发射器)。如系统100的示例中所图示的，发光器150包括用于引导要输出的光束的光纤152。然而，可以使用发光器150的其他配置。在利用多通道成像系统(例如，利用多波长的光的多通道荧光显微镜)中的结构化照射的实现方式中，光纤152可以光学耦合到多个不同的光源(未示出)，每个光源发射不同波长的光。尽管系统100被图示为具有单个发光器150，但是在一些实现方式中，可以包括多个发光器150。例如，在利用多个臂的结构化照射成像系统的情况下，可以包括多个发光器，如下文所进一步讨论的。

在一些实现方式中，系统100可以包括管状透镜156，其可以包括沿着z轴铰接以调整结构化光束形状和路径的透镜元件。例如，可以铰接管状透镜的部件以把容器110中的样品的一定范围的样品厚度(例如，不同的盖玻片厚度)考虑在内。

在系统100的示例中，流体输送模块或设备190可以将试剂(例如，荧光标记的核苷酸、缓冲液、酶、裂解试剂等)的流引导至(并且通过)样品容器110和废液阀120。样品容器110可以包括在其上提供样品的一个或多个基底。例如，在用于分析大量不同核酸序列的系统的情况下，样品容器110可以包括一个或多个基底、要测序的核酸结合、附着或关联在该基底上。基底可以包括可以附接核酸的任何惰性基底或基质，诸如例如，玻璃表面、塑料表面、乳胶、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯酰胺凝胶、金表面、以及硅晶片。在一些应用中，基底在通道或跨越样品容器110以矩阵或阵列形成的多个位置处的其他区域内。系统100还可以包括温度站致动器130和加热器/冷却器135，它们可以可选地调整样品容器110内的流体的条件的温度。

在特定的实现方式中，样品容器110可以被实现为图案化流通池，其包括半透明盖板、基底、以及其间包含的液体，并且生物样品可以位于半透明盖板的内表面或基底的内表面处。流通池可以包括大量(例如，数千、数百万或数十亿)的孔或区域，这些孔或区域被图案化为基底中的限定阵列(例如，六边形阵列、矩形阵列等)。每个区域可以形成生物样品(诸如DNA、RNA、或可以例如使用合成测序来测序的另一基因组材料)的簇(例如，单克隆簇)。流通池可以进一步分为若干个间隔开的通路(例如，八个通路)，每个通路包括六边形簇阵列。

样品容器110可以安装在样品台170上，以提供样品容器110相对于物镜142的移动和对准。样品台可以具有一个或多个致动器，以使其可以在三个维度中的任一维度上移动。例如，就笛卡尔坐标系而言，可以提供致动器以允许平台相对于物镜在X方向、Y方向和Z方向上移动。这可以允许将样品容器110上的一个或多个样品位置定位成与物镜142光学对准。可以通过移动样品台本身、物镜、成像系统的一些其他部件或上述的任何组合来实现样品台170相对于物镜142的移动。其他实现方式还可以包括将整个成像系统在固定样品上移动。可替代地，可以在成像期间固定样品容器110。

在一些实现方式中，可以包括聚焦(z轴)部件175，以控制光学部件在聚焦方向(通常称为z轴或z方向)上相对于样品容器110的定位。聚焦部件175可以包括一个或多个致动器，其物理耦合到光学台或样品台或两者，以相对于光学部件(例如，物镜142)移动样品台170上的样品容器110，以提供适当的聚焦用于成像操作。例如，致动器可以诸如例如通过直接或间接地与台的机械、磁性、流体或其他附接或接触而物理耦合到相应台。一个或多个致动器可以被配置为在将样品台维持在同一平面内(例如，维持与光轴垂直的同高或水平姿态)的同时在z方向上移动台。一个或多个致动器还可以被配置为使台倾斜。例如，可以这样做，以便可以动态调平样品容器110以解决其表面上的任何倾斜。

从正在被成像的样品位置处的测试样品发出的结构化光可以通过二向色镜160引导到相机系统140的一个或多个检测器。在一些实现方式中，可以包括具有一个或多个发射滤光器的滤光器切换组件165，其中一个或多个发射滤光器可以用于穿过特定发射波长并且阻挡(或反射)其他发射波长。例如，一个或多个发射滤光器可以用于在成像系统的不同通道之间切换。在特定的实现方式中，发射滤光器可以被实现为将不同波长的发射光引导到相机系统140的不同图像传感器的二向色镜。

相机系统140可以包括一个或多个图像传感器以监测和跟踪样品容器110的成像(例如，测序)。相机系统140可以被例如实现为电荷耦合器件(CCD)图像传感器相机，但是可以使用其他图像传感器技术(例如，有源像素传感器)。

来自相机系统140的输出数据(例如，图像)可以传达到实时SIM成像部件191，其可以被实现为软件应用，如下文所进一步描述的，该软件应用可以重建在每个成像循环期间捕获的图像以创建具有更高空间分辨率的图像。重建的图像可以把预测的结构化照射参数随时间的改变考虑在内。另外，SIM成像部件191可以用于跟踪预测的SIM参数和/或在给定先前估计和/或预测的SIM参数的情况下对SIM参数进行预测。

可以提供控制器195以控制结构化照射成像系统100的操作，该结构化照射成像系统100包括同步系统100的各种光学部件。控制器可以被实现为控制系统操作的各个方面，诸如例如，光结构化光学部件155(例如，衍射光栅的选择和/或线性平移)的配置、管状透镜156的移动、聚焦、台移动、以及成像操作。控制器还可以被实现为控制系统100的硬件元件以校正结构化照射参数随时间的改变。例如，控制器可以被配置为将控制信号传输到电机或其他设备，这些设备控制光结构光学部件155、运动台170、或系统100的某些其他元件的配置，以校正或补偿结构化照射相位、频率和/或定向随时间的改变。在实现方式中，可以根据使用SIM成像部件191预测的结构化照射参数来传输这些信号。在一些实现方式中，控制器195可以包括用于存储与不同时间和/或样品位置相对应的预测和/或估计的结构化照射参数的存储器。

在各种实现方式中，可以使用硬件、算法(例如，机器可执行指令)或前述的组合来实现控制器195。例如，在一些实现方式中，控制器可以包括具有关联存储器的一个或多个CPU、GPU或处理器。作为另一示例，控制器可以包括控制操作的硬件或其他电路，诸如计算机处理器和其上存储有机器可读指令的非暂态计算机可读介质。例如，该电路可以包括以下各项中的一项或多项：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑设备(PLD)、复杂可编程逻辑设备(CPLD)、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)、以及其他类似的处理设备或电路。作为又一示例，控制器可以包括该电路与一个或多个处理器的组合。

图3是图示了根据本文中描述的一些实现方式的可以实现结构化照射参数预测的双臂SIM成像系统200的示例光学配置的光学图。系统200的第一臂包括：发光器210A、用于准直由发光器210A输出的光的第一光学准直器220A、相对于光轴处于第一定向的衍射光栅230A、旋转镜240A、以及第二光学准直器250A。系统200的第二臂包括：发光器210B、用于准直由发光器210B输出的光的第一光学准直器220B、相对于光轴处于第二定向的衍射光栅230B、旋转镜240B、以及第二光学准直器250B。尽管在该示例中图示了衍射光栅，但是在其他实现方式中，可以使用其他分束元件(例如，分束器立方体或板)来分离在SIM成像系统200的每个臂处接收的光。

每个发光器210A-210B可以是非相干发光器(例如，发射由一个或多个激励二极管输出的光束)，或者可以是相干发光器，诸如由一个或多个激光器或激光二极管输出的光的发射器。在系统200的示例中，每个发光器210A-210B是输出由相应准直器220A-220B准直的光束的光纤。

在一些实现方式中，每个光纤可以光学耦合到诸如激光器之类的对应光源(未示出)。在成像期间，可以使用位于光纤和光源之间的光学路径上的高速快门(未显示)或通过在成像期间以预先确定的频率对光纤的对应光源进行脉动来打开或关闭每个光纤。在一些实现方式中，每个光纤可以光学耦合到相同的光源。在这种实现方式中，可以使用分束器或其他合适的光学元件将来自光源的光引导到光纤中的每个光纤中。在这样的示例中，可以使用位于光纤与分束器之间的光学路径中的高速快门(未示出)来打开或关闭每个光纤。

在示例SIM成像系统200中，第一臂包括固定垂直光栅230A，其用于将第一方向上的光栅图案(例如，垂直条纹图案)投射到样品上，并且第二臂包括固定水平光栅230B，其将第二方向的光栅图案(例如，水平条纹图样)投射到样品271上。SIM成像系统200的光栅不需要进行机械旋转或平移，其可以提高系统速度、可靠性、以及可重复性。

在备选实现方式中，光栅230A和230B可以安装在相应的线性运动台上，该线性运动台可以平移以改变由光栅230A和230B发射的光的光学路径长度(因此改变其相位)。台的线性运动的运动轴可以垂直于或偏离其相应光栅的定向，以实现光栅图案沿着样品271的平移。

光栅230A-230B可以是透射衍射光栅，其包括形成到玻璃基底或其他合适表面中的多个衍射元件(例如，平行狭缝或凹槽)。光栅可以被实现为相位光栅，其提供光栅材料的折射率的周期性变化。可以选择凹槽或特征间隔以使光以合适的角度衍射并且被调谐到成像样品的最小可分辨特征尺寸以用于SIM成像系统200的操作。在其他实现方式中，光栅可以是反射衍射光栅。

在SIM成像系统200的示例中，垂直图案和水平图案偏移约90度。在其他实现方式中，可以使用光栅的其他定向来产生约90度的偏移。例如，光栅可以被定向为使得它们投射与样品271的x或y平面偏移±45度的图像。在矩形网格上具有特征的规则图案化的样品271的情况下，示例SIM成像系统200的配置可能特别有利，因为仅使用两个垂直光栅(例如，垂直光栅和水平光栅)就可以实现结构化分辨率增强。

在系统200的示例中，光栅230A-230B被配置为将输入光束衍射到若干阶(例如，0阶、±1阶、±2阶等)，其中±1阶可以投射在样品271上。如该示例中所示，垂直光栅230A将准直光束衍射为第一阶衍射光束(±1阶)，从而在页面的平面上扩展第一阶，而水平光栅230B将准直光束衍射为第一阶衍射光束，从而在页面的平面的上方和下方(即，在垂直于页面的平面中)扩展阶。为了提高系统的效率，可以阻挡零阶光束和所有其他更高阶光束(即，±2阶或更高阶)(即，从投射在样品271上的照射图案中滤除)。例如，可以在每个衍射光栅之后将诸如阶数滤光器之类的光束阻挡元件(未示出)插入光学路径中，以阻挡0阶光束和更高阶光束。在一些实现方式中，衍射光栅230A-230B可以被配置为仅将光束衍射到第一阶，并且0阶(未衍射的光束)可以被一些光束阻挡元件阻挡。

每个臂包括光学相位调制器或移相器240A-240B，其用于对光栅230中的每个光栅230输出的衍射光进行相移。例如，在结构化成像期间，每个衍射光束的光学相位可能会偏移结构化图案的每个条纹的节距(λ)的某个分数(例如，1/2、1/3、1/4等)。在图3的示例中，相位调制器240A和240B被实现为旋转窗口，其可以使用检流计或其他旋转致动器来旋转和调制每个衍射光束的光学路径长度。例如，窗口240A可以围绕垂直轴旋转以左右移位由垂直光栅230A投射在样品271上的图像，并且窗口240B可以围绕水平轴旋转以上下移位由水平光栅230B投射在样品271上的图像。

在其他实现方式中，可以使用改变衍射光的光学路径长度的其他相位调制器(例如，线性平移台、楔形物等)。附加地，尽管光学相位调制器240A-240B被图示为放置在光栅230A-230B之后，但是在其他实现方式中，它们可以放置在照射系统中的其他位置处。

在备选实现方式中，可以针对不同的条纹图案在两个不同的方向上操作单个相位调制器，或者单个相位调制器可以使用单个运动来调整两个路径长度。例如，大的旋转光学窗口可以放置在具有孔261的反射镜260之后。在这种情况下，可以使用大窗口代替窗口240A和240B来调制垂直衍射光栅和水平衍射光栅输出的两个衍射光束集合的相位。除了相对于光栅中的一个光栅的光轴平行之外，大旋转窗口的旋转轴可能会与垂直光栅和水平光栅中的每个光栅的光轴偏移45度(或某个其他角度偏移)，以允许沿着大窗口的一个公共旋转轴在两个方向上进行相移。在一些实现方式中，大旋转窗口可以由围绕标称光束轴旋转的楔形光学器件代替。

在示例系统200中，具有孔洞261的镜260以无损方式(例如，除了反射涂层中的吸收很小以外，没有明显的光学功率损失)将两个臂组合到光学路径中。镜260可以被定位为使得对来自光栅中的每个光栅的衍射阶数进行空间解析，并且不想要的阶数可以被阻挡。镜260使第一臂输出的第一阶光通过孔洞261。镜260反射由第二臂输出的第一阶光。如此，可以通过打开或关闭每个发射器或通过打开和关闭引导光源的光通过光纤电缆的光学快门来将结构化照射图案从垂直方向(例如，光栅230A)切换到水平方向(例如，光栅230B)。在其他实现方式中，可以通过使用光学开关来改变照射样品的臂来切换结构化照射图案。

在示例成像系统200中还图示了管状透镜265、半反射镜280、物镜270、以及相机290。例如，管状透镜265可以实现为沿着z轴铰接以调整结构化光束形状和路径。半反射镜280可以是二向色镜，以将从每个臂接收的结构化照射光向下反射到物镜270中，以投射到样品271上，并且穿过由样品271发射到相机上的光(例如，以与激发不同的波长发射的荧光)。

来自相机290的输出数据(例如，图像)可以传达到实时SIM成像部件(未示出)，该实时SIM成像部件可以实现为软件应用，如下文所进一步描述的，该软件应用可以重建在每次成像循环期间捕获的图像，以创建具有更高空间分辨率的图像。重建的图像可以考虑预测的结构化照射参数随时间的改变。另外，实时SIM成像部件可以用于在给定先前估计和/或预测的SIM参数的情况下，跟踪预测的SIM参数和/或对SIM参数进行预测。

可以提供控制器(未示出)以控制结构化照射成像系统200的操作，其包括同步系统200的各种光学部件。该控制器可以被实现为控制系统操作的各个方面，诸如例如，每个光学臂的配置(例如，在捕获相位图像期间打开/关闭每个光学臂，致动相位调制器240A-240B)、管状透镜265的移动、样品271的台移动(如果使用任一台)、以及成像操作。控制器还可以被实现为控制系统200的硬件元件以校正结构化照射参数随时间的改变。例如，控制器可以被配置为向控制系统100的每个光学臂或一些其他元件的配置的设备(例如，相位调制器240A-240B)传输控制信号，以校正或补偿结构化照射相位、频率、和/或定向随时间的改变。作为另一示例，当光栅230A-230B安装在线性运动台上时(例如，代替使用相位调制器240A-240B)，控制器可以被配置为控制线性运动台以校正或补偿相位改变。在实现方式中，可以根据使用SIM成像部件预测的结构化照射参数来传输这些信号。在一些实现方式中，控制器可以包括存储器，其用于存储与不同时间和/或样品位置相对应的预测和/或估计的结构化照射参数。

应当指出，为了简单起见，SIM成像系统200的光学部件可能已从前述讨论中省略。附加地，尽管系统200在该示例中被图示为单通道系统，但是在其他实现方式中，它可以被实现为多通道系统(例如，通过使用两个不同的相机和以两个不同的波长发射的光源)。

图4图示了简化的照射条纹图案，该照射条纹图案可以在一个成像循环期间由SIM成像系统200的垂直光栅230A和水平光栅230B投射到样品271的平面上，以使用结构化光来产生高分辨率图像。在该示例中，可以使用垂直光栅230A来捕获具有垂直照射定向的三相图像，并且可以使用水平光栅230B来捕获具有水平照射定向的三相图像。对于每个定向，可以以1/3λ的步长(例如，通过将相位调制器230A或230B设置为三个不同的位置)来对投射条纹的位置进行相移，以捕获定向图案的三个相位图像。

在捕获每个相位图像期间，相机290可以捕获由样品发射的任何光。比如，位于样品271不同特征处的荧光染料可以发出荧光，并且所得光可以由物镜270收集并且引导到相机290的图像传感器以检测荧光。捕获的六个图像可以是对整个样品或较大样品的位置成像。

一旦在成像循环中已经捕获了所有图像(在该示例中为六个图像)，就可以从捕获的图像构建高分辨率图像。例如，可以从图4所示的六个图像重建高分辨率图像。合适的算法可以用来组合这些各种图像，以合成样品的单个图像，其中空间分辨率要比单个部件图像中的任一部件图像好得多。

在构建高分辨率图像期间，可以使用根据本公开预测的结构化照射参数(例如，预测的相位、频率、或定向改变)对结构化照射参数(例如，相位、频率或定向)的不期望的移位或改变进行算法补偿。例如，可以补偿垂直照射图像和/或水平照射图像的相位、定向和/或频率的偏移。

在一些实现方式中，可以通过控制系统200的一个或多个硬件元件来补偿SIM成像系统中的那些改变，来在图像捕获之前补偿结构化照射参数的不期望的移位或改变。例如，在成像序列之前和/或在捕获成像序列的图像之间，可以通过调整相移元件(例如，旋转镜、线性致动器等)来补偿每个光学臂的相移。在一些实现方式中，可以实现硬件和算法补偿的组合。

尽管系统200图示了包括两个以两个不同角度定向的两个光栅的两臂结构化照射成像系统，但是应当指出，在其他实现方式中，本文中所描述的技术可以通过使用两个以上臂的系统来实现。在矩形网格上具有特征的规则图案化的样品的情况下，如上文所描述的，仅利用两个垂直角(例如，垂直光栅和水平光栅)就可以实现分辨率增强。另一方面，为了提高其他样品(例如，六边形图案化的样品)在所有方向上的图像分辨率，可以使用三个光栅角。例如，三臂系统可以包括三个发光器和三个固定衍射光栅(每个臂一个固定衍射光栅)，其中每个衍射光栅围绕系统的光轴定向，以将相应图案定向投射在样品上(例如，0°图案、120°图案、或240°图案)。在这种系统中，具有孔的附加反射镜可以用于以无损方式将附加光栅的附加图像组合到系统中。可替代地，这种系统可以利用一个或多个偏振分束器来组合光栅中的每个光栅的图像。

图5A至图5B是图示了根据本文中所描述的一些实现方式的可以实现结构化照射参数预测的双光栅载片SIM成像系统500的示例光学配置的示意图。在示例系统500中，可以通过沿着单个运动轴线性平移运动台530，对投射在样品570上的光栅图案的所有改变(例如，图案相移或旋转)来做出所有改变，以选择光栅531或532(即，选择光栅定向)或对光栅531-532中的一个光栅进行相移。

系统500包括：发光器510(例如，光学耦合到光源的光纤)、用于准直由发光器510输出的光的第一光准直器520(例如，准直透镜)、安装有第一衍射光栅531(例如，水平光栅)和第二衍射光栅532(例如，垂直光栅)的线性运动平台530、管状透镜540、半反射镜550(例如，二向色镜)、物镜560、样品570、以及相机580。为了简单起见，可以从图5A中省略SIM成像系统500的光学部件。附加地，尽管系统500在该示例中被图示为单通道系统，但是在其他实现方式中，它可以实现为多通道系统(例如，通过使用两个不同的相机和以两个不同的波长发射的光源)。

如图5A所示，光栅531(例如，水平衍射光栅)可以将准直光束衍射成第一阶数衍射光束(在页面的平面上)。如图5B所示，衍射光栅532(例如，垂直衍射光栅)可以将光束衍射成第一阶数(在页面的平面上方和下方)。在该配置中，仅需要具有单个发射器510(例如，光纤)和单个线性运动台的单个光学臂来对样品570成像，这可以提供系统优势，诸如减少移动系统零件的数目以提高速度、复杂性和成本。附加地，在系统500中，不存在偏振器可以提供先前提及的高光学效率的优点。在矩形网格上具有特征的规则图案化的样品570的情况下，示例SIM成像系统200的配置可能特别有利，因为可以仅使用两个垂直光栅(例如，垂直光栅和水平光栅)来实现结构化分辨率增强。

为了提高系统的效率，可以阻挡(即，从投射在样品570上的照射图案中滤除)每个光栅输出的第零阶光束和所有其他更高阶衍射光束(即，±2阶或更高阶)。例如，诸如阶数滤光器的光束阻挡元件(未示出)可以插入运动台530之后的光学路径中。在一些实现方式中，衍射光栅531-532可以被配置为将光束仅衍射成第一阶，并且第零阶(未衍射光束)可能由某个光束阻挡元件阻挡。

在系统500的示例中，两个光栅可以被布置为与运动轴线成大约±45°(或与运动轴线成其他一些其他角度偏移，诸如约+40°/-50°、约+30°/-60°等)，使得可以沿着单个线性运动轴实现每个光栅531-532的相移。在一些实现方式中，两个光栅可以组合成一个物理光学元件。例如，物理光学元件的一个侧可以在第一定向上具有光栅图案，并且物理光学元件的相邻侧可以在与第一定向正交的第二定向上具有光栅图案。

单轴线性运动台530可以包括一个或多个致动器，其用于允许其相对于样品平面沿着X轴移动，或相对于样品平面沿着Y轴移动。在操作期间，线性运动台530可以提供足够的行程(例如，约12-15mm)和精度(例如，约小于0.5微米的可重复性)，以使得投射准确的照射图案以进行有效的图像重建。在诸如荧光显微镜之类的自动成像系统中利用运动台530的实现方式中，该自动成像系统可以被配置为提供高操作速度、最小的振动生成、以及长的工作寿命。在实现方式中，线性运动台530可以包括交叉滚子轴承、线性电机、高精度线性编码器、和/或其他部件。例如，运动台530可以被实现为可以使用控制器来平移的高精度步进器或压电运动台。

来自相机580的输出数据(例如，图像)可以传达到实时SIM成像部件(未示出)，该实时SIM成像部件可以实现为软件应用，如下文所进一步描述的，该软件应用可以重建在每次成像循环期间捕获的图像，以产生具有更高空间分辨率的图像。重建的图像可以把预测的结构化照射参数随时间的改变考虑在内。另外，实时SIM成像部件可以用于在给定先前估计和/或预测的SIM参数的情况下跟踪预测的SIM参数和/或对SIM参数进行预测。

可以提供控制器(未示出)以控制结构化照射成像系统500的操作，其包括同步系统500的各种光学部件。该控制器可以被实现为控制系统操作的各个方面，诸如例如，线性运动台530的平移、管状透镜540的移动、样品570的台移动(如果使用任何台)、以及成像操作。控制器还可以被实现为控制系统500的硬件元件以校正结构化照射参数随时间的改变。例如，控制器可以被配置为向设备(例如，线性运动台530)传输控制信号，以校正或补偿结构化照射相位、频率和/或定向随时间的变化。在实现方式中，可以根据使用SIM成像部件预测的结构化照射参数来传输这些信号。在一些实现方式中，控制器可以包括存储器，其用于存储与不同时间和/或样品位置相对应的预测和/或估计的结构化照射参数。

尽管图5A至图5B的示例图示了可以实现结构化照射参数预测的双光栅载片成像系统，可以在使用安装有两个以上衍射光栅的线性运动致动器的SIM成像系统中实现结构化照射参数预测。

图6图示了简化的照射条纹图案，其在结构化照射成像循环的图像捕获期间可以由双光栅载片SIM成像系统500的第一衍射光栅和第二衍射光栅投射到样品570的平面上。例如，SIM成像系统500可以使用第一衍射光栅531和第二衍射光栅532来生成图6所示的照射图案。如图6的示例中所图示的，这两个光栅在样品570的表面上投射出垂直条纹图案，并且与线性运动平台530的运动轴成约±45°排列。

例如，第一光栅(例如，光栅531)可以将第一阶照射条纹投射在样品570上。相机580可以捕获由样品发射的任何光，可以捕获第一图案的第一相位图像(例如，+45°图案)以创建第一相位图像。为了捕获附加相移图像，可以通过平移线性运动台来对由光栅投射的图案进行相移。这些相移运动在图6中被示为步骤1和2。相移运动可以提供光栅的小(例如，约3至5微米或更小)的移动，以略微移位投射在光栅上的条纹图案。

在捕获了衍射光栅的所有相移图像之后，系统500可以通过平移线性运动台530以将另一衍射光栅光学耦合到成像系统的光源(例如，从图5A至图5B的转变)来切换衍射光栅。在图6的示例中，该运动被图示为步骤3。在改变衍射光栅的情况下，线性运动台可以提供相对较大的平移(例如，量级为12-15mm)。

然后，可以捕获下一光栅的一系列相位图像。比如，如图6所示，第二衍射光栅可以将第一阶照射条纹投射在样品上，并且可以通过平移线性运动台530以捕获光栅图案的三个相位图像来移位投射的条纹的位置(例如，图6的步骤4和5)。

一旦在成像循环中已经捕获了所有图像(在该示例中为六个图像)，就可以从捕获的图像构建高分辨率图像。例如，可以从图6中所示的六个图像重建高分辨率图像。合适的算法可以用于组合这些各种图像，以合成样品的单个图像，其中该图像的空间分辨率要比单个部件图像中的任一部件图像好得多。

在构建高分辨率图像期间，可以使用根据本公开预测的结构化照射参数(例如，预测的相位、频率、或定向改变)对结构化照射参数(例如，相位、频率或定向)的不期望的移位或改变进行算法补偿。例如，可以补偿垂直照射图像和/或水平照射图像的相位、定向和/或频率的偏移。

在一些实现方式中，可以通过控制系统500的一个或多个硬件元件以在图像捕获之前补偿SIM成像系统中的那些改变，来补偿结构化照射参数的不期望的偏移或改变。例如，在成像序列之前和/或在捕获成像序列的图像之间，可以通过平移线性运动台530来补偿相位漂移。在一些实现方式中，可以实现硬件和算法补偿的组合。

根据本文中所描述的实现方式，可以使用从在该时间点之前和/或之后捕获的图像获得的结构化照射参数的估计来预测特定时间点的结构化照射参数。例如，计算资源限制可能会限制SIM成像系统(例如，系统100，200或500)可以直接从捕获的图像估计结构化照射参数(诸如相位、频率和/或定向)的速率。在一些情况下，SIM成像系统可以直接估计或测量每个相位图像的结构化照射参数，在这种情况下，可能不需要预测结构化照射参数。然而，在其他情况下，SIM成像系统可能仅能够直接估计或测量一个成像循环的一些相位图像的结构化照射参数，每个成像循环或甚至更不频繁(例如，每3个成像循环、5个成像循环、10个成像循环、50个成像循环或100个成像循环)一次。在这种情况下，为了跟上系统的图像采样率，利用获得特定时间点和/或空间点的结构化照射参数的直接估计来预测其他时间点和/或空间点处的结构化照射参数可能有利。

为了数学上说明该原理的一个示例，与参考的相关性是估计结构化照射参数的一种方式。

Correlation Output＝∑_rc(x)h(x-f)

(1)

其中h(x)是可以从图像数据中获知或得出的参考，c(x)从与参考相关的图像数据中得出，f是要估计的值(在该示例中为频率)。应当指出，根据本公开，可以利用其他备选估计技术。

在等式(1)的示例中，可以生成f的若干个假设值中的每个架设置的一个相关输出。可以获得参数估计f作为f的值，其使相关幅度最大。然而，在许多情况下，可能需要尝试f的大量假设值以使相关输出最大。搜索空间大会使计算要求增加，结果可能导致系统吞吐量降低(即，每单位时间处理的数据更少)。

为了避免这个问题，来自先前f估计的信息可以用于确信待确定的新f值的“邻域”。作为示例，考虑图7，其示出了在空间(X)和时间(T)中变化的估计(φ)。如图7所示，可以获得与A块相对应的X和T坐标的φ的初始值。假设估计值在空间或时间上缓慢变化，则来自A块的估计(φ_A)可以用作B或E块的初始值。更具体地，可以将B和E块的搜索空间约束为从A块获得φ的值的“邻域”中的值。通过这种途径，可以大大减少标识φ所需的时间，结果，单位时间内处理的数据量可能会相应增加。

为了扩展这个概念，可以在空间(X)或时间(T)维度中预测估计变化的趋势。作为示例，考虑图7，其中每个块估计在空间维度上增加Δφ_X，并且在时间维度上增加Δφ_T。在这一观察的情况下，如图8所示，块B的初始估计可以导出为φ_A+Δφ_x。进一步地，E块的初始估计可以导出为φ_A+Δφ_T。还可以实现使用来自多个块的值在X维度和T维度上的其他预测器。

图9是图示了用于使用从由结构化照射系统捕获的多个图像获得的结构化照射参数的估计来预测结构化照射的示例内插方法900的操作流程图。在实现方式中，方法700可以通过执行存储在SIM成像系统(例如，系统100，200或500)的存储器中的机器可读指令来实现。

在操作910处，可以获得第一SIM图像样品。例如，可以在第一时间点处捕获样品的相位图像。在操作920处，可以使用所捕获的第一图像来估计结构化照射参数。例如，可以估计结构化照射相位、频率、定向或调制阶数中的任一个。可以在特定时间点、空间点和/或温度点获得估计。

在操作930处，可以获得第二SIM图像样品。例如，可以在捕获第一SIM图像样品时的第一时间点之后的第二时间点处捕获样品的相位图像。在一些实现方式中，可以在相同的成像序列期间捕获样品的第一图像和样品的第二图像(例如，作为生成构建成分辨率更高的图像的六个相位图像或九个相位图像的成像序列的一部分)。在其他实现方式中，可以在不同的成像序列期间捕获第一图像和第二图像。在操作940处，可以使用所捕获的第二图像来估计结构化照射参数。例如，可以估计结构化照射相位、频率、定向或调制阶数中的任一个。可以在特定时间点、空间点和/或温度点获得估计。

在操作950处，至少使用从第一图像对结构化照射参数的估计和从第二图像对结构化照射的估计，可以预测与第三图像相对应的结构化照射参数，其中第三图像在第一图像和第二图像之间的时间点、空间点(例如，样品位置)和/或温度点(例如，样品温度)处。例如，可能已经在第一图像之后但在第二图像之前捕获第三图像。作为另一示例，稍后可以在第一图像和第二图像之间的位置处捕获第三图像。

在一些实现方式中，该预测可以基于两个时间点之间的结构化照射参数的至少确定的改变率。通过数学图示，对于第一时间T1和第二时间T2，如果确定结构化照射相位已经漂移了量Δφ_T，则该相位的改变率(例如，漂移)可以表达为Δφ_T/(T2-T1)。使用内插，可以预测时间T3的相位漂移量。例如，如果相位从时间T1的5度偏移漂移到时间T2的15度偏移，则可以预测相位在这两个时间之间的中途时间T3漂移到10度偏移。

尽管在给定结构化照射参数的两个已知估计的情况下，在应用内插来预测特定时间点、空间点和/或温度点处的结构化照射参数的背景下，主要对方法900进行了描述，但是应当指出，方法900可以扩展到存在两个以上已知估计的情况。在这种情况下，适当的趋势估计函数可以用于预测结构化照射参数。例如，在线性趋势估计的情况下，可以将最小二乘拟合应用于已知估计以内插和预测特定时间点、空间点和/或温度点处的结构化照射参数。在一些实现方式中，在收集附加估计时，可以随着时间更新结构化照射参数的预测。附加地，尽管方法900被描述为使用来自第一图像和第二图像的估计来预测与第三图像相对应的参数，但是在一些实现方式中，可以使用两个估计中的一个估计(例如，通过保持估计)来预测参数。

附加地，尽管在给定不同时间处的结构化照射参数的两个已知估计的情况下，在应用内插以预测特定时间处的结构化照射参数的背景下，对方法900进行了描述，但是方法900还可以扩展为考虑空间的维度(例如，成像样品的位置或子集)和温度。在一些实例中，可以应用考虑多个参数(例如，空间、时间和/或温度)的联合预测。例如，如图7所示，在预测结构化照射参数时可以考虑时间和空间中的趋势。可替代地，可以考虑结构化照射参数仅在空间中的趋势。

图10是图示了用于使用从两个或更多个图像获得的结构化照射参数的估计来预测结构化照射参数的示例外推方法1000的操作流程图。在实现方式中，方法700可以通过执行存储在SIM成像系统(例如，系统100，200或500)的存储器中的机器可读指令来实现。

方法1000的操作910-940可以如上文参考方法900所讨论的那样执行。例如，可以使用捕获的图像来估计第一时间点和第二时间点处的结构化照射频率。

在操作1050处，至少使用从第一图像对结构化照射参数的估计和从第二图像对结构化照射产生的估计，可以预测与第三图像相对应的结构化照射参数，其中第三图像在第一图像和第二图像两者之后或在第一图像和第二图像两者之前的时间点、空间点(例如，样品位置)和/或温度点(例如，样品温度)。在一些实现方式中，该预测可以基于两个时间点之间的结构化照射参数的至少确定的改变率。通过数学图示，对于第一时间T1和第二时间T2，如果确定结构化照射频率已经漂移了量Δf，则相位的改变率(例如，漂移)可以是表达为Δf/(T2-T1)。使用外推法，可以预测稍后时间T3处的频率漂移的总量。

尽管在给定结构化照射参数的两个已知估计的情况下，在应用外推预测特定时间点、空间点和/或温度点处的结构化照射参数的背景下，对方法1000进行了描述，但是应当指出，如同方法900的情况一样，方法1000可以扩展到存在两个以上已知估计的情况。在这种情况下，适当的趋势估计函数可以用于预测结构化照射参数。例如，在线性趋势估计的情况下，可以将最小二乘拟合应用于已知估计以外推和预测结构化照射参数。在一些实现方式中，在收集附加估计时，可以随着时间更新结构化照射参数的预测。

附加地，尽管方法1000被描述为使用来自第一图像和第二图像的估计来预测与第三图像相对应的参数，但是在一些实现方式中，可以仅使用两个估计中的一个估计(例如，通过保持估计)来预测参数。

附加地，尽管在给定不同时间的结构化照射参数的两个已知估计的情况下，在应用外推预测特定时间处的结构化照射参数的背景下，对方法1000进行描述，如同方法900的情况一样，方法1000可以还可以扩展为考虑其他维度，诸如空间和温度。

在方法900和1000的实现方式中，使用第一图像估计的结构化照射参数、使用第二图像估计的结构化照射参数和/或针对第三图像预测的结构化照射参数可以存储在SIM成像系统的存储器中。比如，估计/预测的参数可以存储在历史文件(诸如查找表)中，以在高分辨率图像构建期间，在调整SIM成像系统硬件部件以补偿结构化照射参数和/或便于预测其他时间点、空间点和/或温度点处的其他结构化照射参数期间引用。在实现方式中，可以存储与每个估计或预测相对应的时间、样品位置和样品温度。

在方法900和1000的实现方式中，可以使用多个图像来生成用于预测结构化照射参数的第一估计和第二估计。如此，可以使用来自成像序列中第一图像集合的一个或多个图像(例如，1、2、3、4、5、6等)来生成第一估计，并且可以使用来自成像序列中第二图像集合的一个或多个图像(例如，1、2、3、4、5)来生成第二估计。

图11是图示了在高分辨率图像重建期间使用预测的结构化照射参数以补偿结构化照射参数随时间的不期望的改变的示例方法1100的操作流程图。在实现方式中，方法1100可以通过执行存储在SIM成像系统(例如，系统100，200或500)的存储器中的机器可读指令来实现。

在操作1110处，可以使用内插方法预测捕获的图像(例如，相位图像)的结构化照射参数。例如，可以通过实现方法900在与捕获的图像相对应的时间点预测结构化照射参数。在操作1120处，可以使用捕获的图像(例如，相位图像)和其他捕获的图像(例如，其他捕获的相位图像)来执行高分辨率图像构建。在高分辨率图像重建期间，预测的结构化照射参数可以用于补偿结构化照射参数在时间、空间和/或温度维度上的改变。例如，可以补偿频率、相位和/或定向的改变。在一些情况下，操作1120可以包括：使用多个预测的结构化照射参数。例如，可以预测一个以上的相位图像的结构化照射参数。附加地，可以预测给定的相位图像的相位、频率和定向中的两个或更多个。

图12是图示了使用SIM成像系统硬件部件的预测的结构化照射参数调整来补偿结构化照射参数随时间的改变的示例方法1200的操作流程图。在操作1210处，可以使用外推方法来预测结构化照射参数。例如，可以通过实现方法1000在将来的时间点预测结构化照射参数。

在操作1220处，可以至少使用所预测的结构化照射参数来调整SIM成像设备的机械和/或光学部件。比如，基于在时间点T的预测的相位漂移，可以在时间T捕获相位图像之前对SIM成像系统的硬件部件进行调整。

例如，可以对光结构化光学部件155的一个或多个部件进行调整，以补偿在即将到来的时间内预测的SIM成像系统100的相位和/或方向改变。作为另一示例，可以旋转镜240A或240B进行调整以补偿在即将到来的时间内预测的SIM成像系统200的相位改变。作为另一示例，线性平移台530被平移以补偿在即将到来的时间内预测的SIM成像系统500的相位改变。作为另一示例，可以通过调整承载样品的平移台和从光源到样品的光学路径中的一个或多个来补偿预测的SIM成像系统的定向改变。

在一些实现方式中，本文中所描述的用于结构化照射参数预测的技术可以通过将捕获的图像样品分为多个图像子部分而应用于单个捕获的图像样品。例如，在一些实现方式中，一种方法可以包括：获得图像样品；将图像样品分为多个图像子部分(例如，三个或更多个子部分)；使用多个图像子部分中的第一图像子部分来估计第一结构化照射参数；使用多个图像子部分中的第二图像子部分来估计第二结构化照射参数；至少使用来自第一图像子部分的结构化照射参数的估计和来自第二图像子部分的结构化照射参数的估计，预测与多个图像子部分中的第三图像子部分相对应的结构化照射参数。预测的第三图像子部分的结构化照射参数可以是以下各项中的任一项：结构化照射相位、频率、定向或调制阶数。在一些实现方式中，从两个以上的图像子部分获得的结构化照射参数可以用于预测另一图像子部分的结构化照射参数。例如，趋势估计函数或其他适当的拟合函数可以应用于来自其他图像子部分的已知估计，以预测另一图像子部分的结构化照射参数。在其他实现方式中，从第一图像子部分获得的结构化照射参数的估计可以用作第二图像子部分的预测的结构化照射参数。

应用本文中所描述的内插技术，第三图像子部分可以位于第一图像子部分和第二图像子部分之间的空间点(例如，样品位置)或温度点(例如，样品温度)处。例如，第三图像子部分可以沿着笛卡尔轴位于第一图像子部分和第二图像子部分之间。在二维笛卡尔空间中，子部分可以由将图像分为具有相等面积的矩形的网格来定义，尽管子部分的备选定义是可能的。作为另一示例，第三图像子部分的样品温度可以大于第一图像子部分的样品温度但低于第二图像子部分的样品温度。

应用本文中所描述的外推技术，第三图像子部分可以位于第一图像子部分和第二图像子部分之后或之前的空间点(例如，样品位置)或温度点(例如，样品温度)上。例如，第三图像子部分可以沿着笛卡尔轴位于第一图像子部分和第二图像子部分之后。作为另一示例，第三图像子部分的样品温度可以低于第一图像子部分的样品温度并且低于第二图像子部分的样品温度。

在实现方式中，用于使用图像的子部分来预测图像的一个或多个其他子部分的结构化照射参数的这些技术可以与本文中所描述的用于使用从一个或多个图像估计的结构化照射参数来预测另一图像的结构化照射参数的技术结合使用。

如本文所使用的，术语“部件”可以描述可以根据本申请的一个或多个实施方式执行的给定功能单元。如本文所使用的，组件可以利用任何形式的硬件，软件或其组合来实现。例如，可以实现一个或多个处理器，控制器，FPGA，CPU，GPU，ASIC，PLA，PAL，CPLD，逻辑组件，软件例程或其他机制来构成组件。在实现中，本文描述的各种组件可以被实现为离散的组件，或者所描述的功能和特征可以在一个或多个组件之间部分或全部共享。换句话说，对本领域的普通技术人员来说，在阅读本说明书之后将显而易见的是，本文描述的各种特征和功能可以在任何给定的应用中实现，并且可以以各种组合的形式在一个或多个单独的或共享的组件中实现。和排列。即使可以将各种特征或功能要素分别描述或要求保护为单独的组件，本领域普通技术人员将理解，这些特征和功能可以在一个或多个通用软件和硬件要素之间共享，并且这种描述不应要求或暗示使用单独的硬件或软件组件来实现此类功能。

图13图示了可以用于实现本文中所公开的方法的各种特征的示例计算部件1300。计算部件1300可以表示例如计算或处理能力，其在成像设备、台式机和笔记本电脑、手持式计算设备(平板电脑、智能手机等)、大型机、超级计算机、工作站或服务器、或对于给定应用或环境可能是理想的或适当的任何其他类型的专用或通用计算设备内发现。计算部件1300还可以表示嵌入在给定设备内或以其他方式可用于给定设备的计算能力。如本文中所使用的，术语“计算设备”可以是指计算部件的硬件。

计算部件1300可以包括例如一个或多个处理器、控制器、控制部件或其他处理设备(诸如处理器1304)。处理器1304可以使用通用或专用处理引擎(诸如例如，微处理器、控制器或其他控制逻辑)来实现。处理器1304可以是一种计算设备。在所图示的示例中，处理器1304连接到总线1302，尽管任何通信介质都可以用于便于与计算部件1300的其他部件的交互或进行外部通信。

计算部件1300还可以包括一个或多个存储器部件，其在本文中简称为主存储器1308。例如，优选地，可以使用随机存取存储器(RAM)或其他动态存储器来存储要由处理器1304执行的信息和指令。主存储器1308还可以用于存储在执行要由处理器1304执行的指令期间存储临时变量或其他中间信息。计算部件1300可以同样包括只读存储器(“ROM”)或耦合到总线1302用于存储用于处理器1304的静态信息和指令的其他静态存储设备。

计算部件1300还可以包括一种或多种各种形式的信息存储机构1310，其可以包括例如媒体驱动器1312和存储单元接口1320。媒体驱动器1312可以包括驱动器或支持固定或可移除存储介质1314的其他机器。例如，可能提供硬盘驱动器、固态驱动器、光盘驱动器、CD、DVD、或BLU-RAY驱动器(R或RW)、或其他可移除介质驱动器或固定介质驱动器。因此，存储介质1314可以包括例如硬盘、固态驱动器、盒式磁带、光盘、CD、DVD、BLU-RAY、或由媒体驱动器读取、写入或访问的其他固定介质或可移除介质。如这些示例所图示的，存储介质1314可以包括其中存储有计算机软件或数据的计算机可用存储介质。

在备选实施例中，信息存储机构1310可以包括用于允许将计算机程序或其他指令或数据加载到计算部件1300中的其他类似工具。这种工具可以包括例如固定或可移除存储单元1322和接口1320。这种存储单元1322和接口1320的示例可以包括程序盒式存储器和盒式存储器接口、可移除存储器(例如，闪存或其他可移除存储器部件)和存储器插槽、PCMCIA插槽和卡、以及允许软件和数据从存储单元1322传送到计算部件1300的其他固定或可移除存储单元1322和接口1320。

计算部件1300还可以包括通信接口1324。通信接口1324可以用于允许在计算部件1300与外部设备之间传送软件和数据。通信接口1324的示例可以包括外围接口，诸如外围部件互连快速(PCIe)接口、调制解调器或软调制解调器、网络接口(诸如以太网、网络接口卡、WiMedia、IEEE 802.XX、或其他接口)、BLUETOOTH接口、通信端口(诸如例如，USB端口、USB-C端口、THUNDERBOLT端口、或其他端口)或其他通信接口。经由通信接口1324传送的软件和数据通常可以携带在信号上，这些信号可以是电子信号、电磁信号(包括光学信号)或能够由给定通信接口1324交换的其他信号。这些信号可以通过通信接口1324提供给通信接口1324。通道1328。该通道1328可以承载信号并且可以使用有线或无线通信介质来实现。通道的一些示例可能包括电话线、蜂窝链路、RF链路、光学链路、网络接口、局域网或广域网、以及其他有线或无线通信通道。

在本文中，术语“计算机可读介质”、“计算机可用介质”和“计算机程序介质”通常用于指非暂态易失性介质或非暂态非易失性介质，诸如例如，存储器1308、存储单元1322、以及介质1314。这些和其他各种形式的计算机程序介质或计算机可用介质可以包括将一个或多个指令的一个或多个序列携带到处理器以执行。介质上体现的这些指令通常称为“计算机程序代码”或“计算机程序产品”(其可以以计算机程序或其他分组的形式进行分组)。当执行时，这种指令可以使得计算部件1300能够执行本文中所讨论的本申请的特征或功能。

尽管上文针对各种示例性实施例和实现方式进行了描述，但是应当理解，在单独实施例中的一个或多个实施例描述的各种特征、方面和功能的适用性不限于描述它们的特定实施例，但是可以单独地或以各种组合的方式应用于本申请的其他实施例中的一个或多个其他实施例，无论是否描述了这样的实施例以及这样的特征是否被呈现为所描述的实施例的一部分。因此，本申请的广度和范围不应受到上文所描述的示例性实施例中的任一示例性实施例的限制。

除非另有明确说明，否则本文档中使用的术语和短语及其变型应当被解释为开放式的，而非限制性的。作为前述示例，术语“包括”应当理解为“包括但不限于”等；术语“示例”用于提供所讨论的项的示例性实例，而非其详尽或限制性列表；术语“一”或“一个”应当理解为“至少一个”、“一个或多个”等；以及形容词(“常规”、“传统”、“正常”、“标准”、“已知”和类似含义的术语)不应解释为将所描述的项限制为给定时间段或关于给定时间可用的项，而是应当理解为涵盖现在或将来的任何时候可用或已知的常规、传统、正常或标准技术。同样，在本文件是指对本领域普通技术人员而言显而易见或已知的技术的情况下，这种技术涵盖对于本领域技术人员而言当前或将来的任何时候显而易见或已知的技术。

在一些实例中，诸如“一个或多个”、“至少”、“但不限于”或其他类似短语之类的拓宽单词和短语的存在不应理解为在可能没有这种拓宽短语的实例中旨在或要求较窄的情况。

附加地，根据示例性框图、流程图和其他图示描述了本文中所阐述的各种实施例。在阅读本文之后，对于本领域的普通技术人员而言，变得显而易见的是，可以在不限于所图示的示例的情况下实现所示出的实施例及其各种备选方案。例如，框图及其随附的描述不应被解释为要求特定体系架构或配置。

在包括权利要求在内的整个本公开中使用的术语“基本上”和“约”用于描述和解释小的波动，诸如由于处理的变化而引起的波动。例如，它们可以是指小于或等于±5％，诸如小于或等于±2％，诸如小于或等于±1％，诸如小于或等于±0.5％，诸如小于或等于±0.2％，诸如小于或等于±0.1％，诸如小于或等于±0.05％。

在适用的范围内，本文中的术语“第一”，“第二”，“第三”等仅用于将由这些术语描述的各个对象显示为单独的实体，并不意味着表示时间顺序顺序，除非本文另有明确说明。

尽管上文已经描述了所公开技术的各种示例，但是应当理解，它们仅通过示例呈现，但不具有限制性。同样，各个附图可以描绘用于所公开的技术的示例体系架构配置或其他配置，其得以进行以帮助理解可以包括在所公开的技术中的特征和功能。所公开的技术不限于所图示的示例体系架构配置或配置，而是可以使用多种备选体系架构和配置来实现期望的特征。实际上，对于本领域的技术人员而言，显而易见的是，可以如何实现备选功能、逻辑或物理划分和配置以实现本文中所公开的技术的期望特征。此外，除本文中所描述的模块以外的许多不同的组成模块名称可以应用于各种分区。附加地，关于流程图、操作说明和方法权利要求，除非上下文另外指出，否则本文中呈现步骤的次序不应要求实现各种示例以相同次序执行所列举的功能。

尽管上文根据各种示例性实施例和实现方式对本公开进行了描述，但是应当理解，在单独实施例中的一个或多个单独实施例中描述的各种特征、方面和功能在其适用性方面不限于描述它们的特定实施例，而是可以单独地或以各种组合应用于本公开的其他实施例中的一个或多个其他实施例，无论是否描述了这样的实施例以及这种特征是否呈现为所描述的实施例的一部分。因此，本公开的广度和范围不应受到上文所描述的示例性实施例中的任一示例性实施例的限制。

应当领会，前述概念的所有组合(假设这样的概念并不相互矛盾)被认为是本文中所公开的发明主题的一部分。具体地，在本公开中出现的所要求保护的主题的所有组合被认为是本文中所公开的发明主题的一部分。

Claims (20)

1.一种方法，包括：

在结构化照射系统处，捕获样品的第一图像；

在计算设备处，至少使用所捕获的第一图像来估计第一结构化照射参数；

在所述结构化照射系统处，捕获所述样品的第二图像；

在所述计算设备处，至少使用所捕获的第二图像来估计第二结构化照射参数；以及

在所述计算设备处，至少使用所述第一结构化照射参数或所述第二结构化照射参数来预测第三结构化照射参数，所述第三结构化照射参数对应于第三图像，其中预测所述第三结构化照射参数包括：对至少所述第一结构化照射参数或所述第二结构化照射参数应用最小二乘拟合。

2.根据权利要求1所述的方法，其中：

在第一时间捕获所述第一图像；

在所述第一时间之后的第二时间捕获所述第二图像；

在所述第一时间和所述第二时间之间的第三时间捕获所述第三图像；并且

预测所述第三结构化照射参数包括：通过至少使用内插方法预测在所述第三时间的所述第三结构化照射参数。

3.根据权利要求1所述的方法，还包括：

在所述计算设备处，确定从所述第一时间的所述第一结构化照射参数到所述第二时间的所述第二结构化照射的改变率；以及

在所述计算设备处，至少使用所确定的改变率来预测在所述第三时间的所述第三结构化照射参数。

4.根据权利要求1所述的方法，还包括：在所述计算设备处，至少使用所述第三图像和所述第三结构化照射参数来构建高分辨率图像。

5.根据权利要求1所述的方法，其中：

在第一时间捕获所述第一图像；

在所述第一时间之后的第二时间捕获所述第二图像；

在所述第一时间和所述第二时间之后的第三时间捕获所述第三图像；并且

预测所述第三结构化照射参数包括：通过至少使用外推方法预测在所述第三时间的所述第三结构化照射参数。

6.根据权利要求5所述的方法，还包括：至少使用所述第三结构化照射参数来调整所述结构化照射系统的硬件部件，以在所述第三时间捕获所述第三图像之前补偿结构化照射参数的改变。

7.根据权利要求6所述的方法，其中调整所述硬件部件包括：

调整旋转镜，以调整结构化照射图案的相位或定向；

调整承载衍射光栅的平移台，以调整结构化照射图案的相位或定向；或者

调整样品平移台，以调整结构化照射图案的相位或定向。

8.根据权利要求1所述的方法，还包括：

在所述结构化照射系统的存储器中存储：所述第一结构化照射参数、所述第二结构化照射参数、以及所述第三结构化照射参数；以及

使用所存储的第一结构化照射参数、所存储的第二结构化照射参数、所存储的第三结构化照射参数、或者基于所述结构化照射系统的已知物理特性的存储值中的一个或多个来减少第四图像的第四结构化照射参数的搜索空间。

9.根据权利要求1所述的方法，其中：

在所述第一样品温度捕获所述样品的所述第一图像；

在所述第一样品温度估计所述第一结构化照射参数；

在所述第二样品温度捕获所述样品的所述第二图像；

在所述第二样品温度估计所述第二结构化照射参数；并且

预测所述第三结构化照射参数包括：在第三样品温度预测所述第三结构化照射参数。

10.根据权利要求1所述的方法，还包括：

将所述样品的所述第一图像划分为多个图像子部分；

在所述计算设备处，至少使用所述多个图像子部分中的第一图像子部分来估计第四结构化照射参数；

在所述计算设备处，至少使用所述多个图像子部分中的第二图像子部分来估计第五结构化照射参数；以及

在所述计算设备处，至少使用所述第四结构化照射参数或所述第五结构化照射参数来预测与所述多个图像子部分中的第三图像子部分相对应的第六结构化照射参数。

11.根据权利要求1所述的方法，还包括：

将所述样品的所述第一图像划分为多个图像子部分；

在所述计算设备处，至少使用所述多个图像子部分中的第一图像子部分来估计第四结构化照射参数；

使用所估计的第四结构化照射参数作为所述多个图像子部分中的第二图像子部分的预测的结构化照射参数。

12.一种非暂态计算机可读介质，其上存储有可执行的指令，所述指令在被处理器执行时，使得结构化照射系统执行以下操作：

捕获样品的第一图像；

至少使用所捕获的第一图像来估计第一结构化照射参数；

捕获所述样品的第二图像；

至少使用所捕获的第二图像来估计第二结构化照射参数；以及

至少使用所述第一结构化照射参数或所述第二结构化照射参数来预测对应于第三图像的第三结构化照射参数，其中预测所述第三结构化照射参数包括：对至少所述第一结构化照射参数或所述第二结构化照射参数应用最小二乘拟合。

13.根据权利要求12所述的非暂态计算机可读介质，其中：

在第一样品位置处捕获所述第一图像；

在第二样品位置处捕获所述第二图像；

在所述第一样品位置和所述第二样品位置之间的第三样品位置处捕获所述第三图像；并且

预测所述第三结构化照射参数包括：通过至少使用内插方法预测在所述第三样品位置的所述第三结构化照射参数。

14.根据权利要求13所述的非暂态计算机可读介质，其中所述内插方法包括：

确定从所述第一样品位置处的所述第一结构化照射参数到所述第二样品位置处的所述第二结构化照射参数的改变率；以及

至少使用所确定的改变率，预测在所述第三样品位置的所述第三结构化照射参数。

15.根据权利要求12所述的非暂态计算机可读介质，其中所述操作还包括：至少使用所述第三图像和所述第三结构化照射参数来构建高分辨率图像。

16.根据权利要求12所述的非暂态计算机可读介质，其中：

在第一样品位置处捕获所述第一图像；

在第二样品位置处捕获所述第二图像；

在第三样品位置处捕获所述第三图像，所述第三样品位置在所述第一样品位置和所述第二样品位置之后或之前；并且

预测所述第三结构化照射参数包括：通过至少使用外推方法预测在所述第三样品位置的所述第三结构化照射参数。

17.根据权利要求16所述的非暂态计算机可读介质，其中所述操作还包括：至少使用所述第三结构化照射参数来调整所述结构化照射系统的硬件部件，以在所述第三样品位置处捕获所述第三图像之前补偿结构化照射参数的改变。

18.根据权利要求17所述的非暂态计算机可读介质，其中调整的所述硬件部件包括：

调整旋转镜，以调整结构化照射图案的相位或定向；

调整承载衍射光栅的平移台，以调整结构化照射图案的相位或定向；或者

调整样品平移台，以调整结构化照射图案的相位或定向。

19.根据权利要求12所述的非暂态计算机可读介质，其中所述操作还包括：

在所述结构化照射系统的存储器中存储：所述第一结构化照射参数、所述第二结构化照射参数、以及所述第三结构化照射参数；以及

使用所存储的第一结构化照射参数、所存储的第二结构化照射参数、所存储的第三结构化照射参数、或者基于所述结构化照射系统的已知物理特性的存储值中的一个或多个来减少第四图像的第四结构化照射参数的搜索空间。

20.一种结构化照射成像系统，包括：

发光器，用于发射光；

分束器，用于分开由所述发光器发射出的光，以将结构化照射图案投射到样品的平面上；

处理器；以及

非暂态计算机可读介质，其上存储有可执行的指令，所述指令在被所述处理器执行时，使得所述结构化照射成像系统执行以下操作：

捕获所述样品的第一图像；

至少使用所捕获的第一图像来估计第一结构化照射参数；

捕获所述样品的第二图像；

至少使用所捕获的第二图像来估计第二结构化照射参数；以及

至少使用所述第一结构化照射参数或所述第二结构化照射参数来预测对应于第三图像的第三结构化照射参数，其中预测所述第三结构化照射参数包括：对至少所述第一结构化照射参数或所述第二结构化照射参数应用最小二乘拟合。

Images