CN115576094A - 提供参数估计的装置和方法 - Google Patents

Abstract

本申请涉及提供参数估计的装置和方法。一种方法用于生成呈现对应于结构化照明显微术(SIM)光学系统的参数值的报告。参数值至少部分地基于对应于用SIM光学系统捕获的图像组的所执行的调制计算。至少部分地基于第一图像组中的全部图像的平均FWHM值来识别最小FWHM切片。对识别出的最小FWHM切片执行参数估计。至少部分地基于所执行的估计来识别最佳焦点对准参数。对该组中的每个图像执行相位估计。至少部分地基于识别出的最佳焦点对准参数来执行调制计算。该报告至少部分地基于所执行的调制计算。

Description

提供参数估计的装置和方法

本申请是申请日为2020年12月04日，申请号为202011415877.9，发明名称为“提供参数估计的装置和方法”的申请的分案申请。

相关申请

本申请要求2019年12月6日提交的标题为“Apparatus and Method of ProvidingParameter Estimation”的美国临时专利申请号62/944,692的优先权，该临时专利申请的公开内容通过引用被全部并入本文。

背景

在该部分中讨论的主题不应被假设为现有技术，仅仅作为它在该部分中的提及的结果。类似地，在该部分中提到的或者与作为背景提供的主题相关联的问题不应被假设为先前在现有技术中已经被认识到的。在该部分中的主题仅代表不同的方法，其就本身而言也可以对应于所主张的技术的实现方式。

结构化照明显微术(SIM)是一类由多个较低分辨率源图像重建超分辨率图像的计算成像算法。为了确保成功的重建，源原始图像应该具有高质量。高质量原始图像需要成像仪器的光学性能的谨慎调整、校准和评估。除了传统成像仪器表征之外，SIM成像光学设备还有需要被进一步表征和验证的额外部件。

概述

期望的是提供用于利用在SIM系统内、特别是在用于对生物样本(例如核苷酸序列)成像的SIM系统内的成像光学设备和相关光学部件促进质量控制和校准的系统和方法。本文描述了用于处理使用SIM捕获的图像以克服先前存在的挑战并实现如本文所述的益处的设备、系统和方法。

一个实现方式涉及一种方法，其包括接收多个图像组，多个图像组中的每个图像组包括在光学系统中使用结构化照明显微术(SIM)在离受验对象一定距离处捕获的图像，该距离不同于在多个图像组中的另外的图像组中图像被捕获时离受验对象的距离，多个图像组中的每个图像具有相关联通道和相关联光栅角度。该方法还包括至少部分地基于对应于第一图像组的距离来使第一图像组与多个图像组隔离。该方法还包括测量对应于第一图像组中的每个图像的半高全宽(FWHM)值。该方法还包括至少部分地基于在第一图像组中的图像上的平均FWHM值来识别最小FWHM切片。该方法还包括对对应于第一图像组的所识别出的最小FWHM切片执行参数估计。该方法还包括至少部分地基于对应于第一图像组的所执行的参数估计来识别最佳焦点对准参数(best in-focus parameters)。该方法还包括至少部分地基于对应于第一图像组的所执行的参数估计来存储所识别出的最佳焦点对准参数。该方法还包括对在第一图像组中的每个图像执行相位估计。该方法还包括至少部分地基于对应于第一图像的识别出的最佳焦点对准参数来执行调制计算。该方法还包括至少部分地基于对应于第一图像组的所执行的调制计算来生成呈现对应于光学系统的参数值的报告。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括至少部分地基于对应于第二图像组的距离来使第二图像组与多个图像组隔离。该方法还包括测量对应于在第二图像组中的每个图像的半高全宽(FWHM)值。该方法还包括至少部分地基于在第二图像组中的图像上的平均FWHM值来识别最小FWHM切片。该方法还包括在对应于第二图像组的识别出的最小FWHM切片中执行参数估计。该方法还包括至少部分地基于对应于第二图像组的所执行的参数估计来识别最佳焦点对准参数。该方法还包括至少部分地基于对应于第二图像组的所执行的参数估计来存储识别出的最佳焦点对准参数。该方法还包括对在第二图像组中的每个图像执行相位估计。该方法还包括至少部分地基于对应于第二图像组的识别出的最佳焦点对准参数来执行调制计算。所生成的报告至少部分地基于对应于第一图像组的所执行的调制计算和对应于第二图像组的所执行的调制计算的组合。

在方法的一些实现方式中，诸如本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，测量对应于在第一图像组中的每个图像的FWHM值是在第一图像组中的每个图像的中心估计窗口上执行的。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，在对应于第一图像组的识别出的最小FWHM切片中执行参数估计是在识别出的最小FWHM切片的中心估计窗口上执行的。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，所存储的最佳焦点对准参数包括光栅间距或光栅角度中的一者或两者。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，对第一图像组中的每个图像执行相位估计包括执行Wicker相位估计。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，所生成的报告是以表格的形式。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，该方法还包括将报告中的参数与预定义的参数规范集进行比较。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括确定报告中的参数偏离预定义的参数规范集，以及至少部分地基于对报告中的参数偏离预定义的参数规范集的确定来调整在光学系统中的一个或更多个特征。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，多个图像组中的每个图像组包括十二个图像。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，多个图像组中的每个图像具有从包括第一颜色通道和第二颜色通道的组中选择的相关联通道，使得多个图像组包括对应于第一颜色通道的图像和对应于第二颜色通道的图像。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，多个图像组中的每个图像组包括对应于第一颜色通道的图像和对应于第二颜色通道的图像。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，多个图像组中的每个图像具有从包括第一光栅角度和第二光栅角度的组中选择的相关联光栅角度，使得多个图像组包括对应于第一光栅角度的图像和对应于第二光栅角度的图像。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，多个图像组中的每个图像组包括对应于第一光栅角度的图像和对应于第二光栅角度的图像。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，该方法还包括捕获多个图像组。该方法还包括，当捕获多个图像组时，相对于一个或更多个相位掩模将光源从第一定位移动到第二定位，或者相对于光源将一个或更多个相位掩模从第一定位移动到第二定位，第一定位提供第一光栅角度，以及第二定位提供第二光栅角度。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，针对对应于第一图像组中的每个图像的每个光栅角度，使用原始未重构零值相位来执行测量对应于第一图像组中的每个图像的FWHM值。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，所生成的报告包括从包括以下项的组中选择的参数值：在光学系统中的物镜和受验对象之间的距离、对应于多个图像组中的每个图像的通道、角度刻度(angle index)、调制、FWHM值、光栅间距和光栅角度。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，该方法还包括捕获多个图像组。捕获多个图像组包括当光学系统的物镜被定位于离受验对象第一距离处时捕获第一图像组。捕获多个图像组还包括当光学系统的物镜被定位于离受验对象第二距离处时捕获第二图像组。捕获多个图像组还包括当光学系统的物镜被定位于离受验对象第三距离处时捕获第三图像组。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，调制计算包括包含对应于第一图像组中的图像的条纹图案(pattern)的定向和周期的因素。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，受验对象包括核苷酸。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，该方法还包括计算在第一图像组中的图像对之间的相移，所述图像对中的每对图像共享通道和光栅角度。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，所生成的报告包括计算出的相移。

在方法的一些实现方式中，诸如在本概述的任何前面段落中描述的那些方法中的任一个的一些实现方式中，该方法还包括将计算出的相移与相移的预定范围进行比较。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括确定至少一个计算出的相移在相移的预定范围之外。该方法还包括：响应于确定至少一个计算出的相移在相移的预定范围之外，计算增益值以校正在相移的预定范围之外的相移。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括至少部分地基于计算出的增益值来建立新相移电压。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括将新相移电压施加到压电元件，该压电元件用于在光学系统内提供相移。该方法还包括用施加到压电元件的新相移电压捕获新图像组。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括计算在新图像组中的图像对之间的相移，图像对中的每对图像共享通道和光栅角度。该方法还包括将新图像的计算出的相移与相移的预定范围进行比较。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括确定新图像的至少一个计算出的相移在相移的预定范围之外。该方法还包括：响应于确定新图像的至少一个计算出的相移在相移的预定范围之外，计算已更新的增益值以校正新图像的在相移的预定范围之外的相移。

在方法的一些实现方式中，诸如在本概述的前面段落中描述的方法的一些实现方式中，该方法还包括至少部分地基于计算出的已更新的增益值来建立额外的新相移电压。

在一些实现方式中，一种装置包括朝着目标发射结构化照射的第一光学组件。第一光学组件包括光发射组件、将第一图案赋予由光发射组件发射的光的第一相位掩模、将第二图案赋予由光发射组件发射的光的第二相位掩模以及调整由第一相位掩模和第二相位掩模结构化的光的相位的相位调整组件。该装置还包括第二光学组件。第二光学组件包括捕获由第一光学组件照射的目标的图像的图像传感器。该装置还包括处理器。处理器接收多个图像组，多个图像组中的每个图像组包括使用第二光学组件在离受验对象一定距离处捕获的图像，所述距离不同于在所述多个图像组中的另外的图像组中图像被捕获时离受验对象的距离，多个图像组中的每个图像具有相关联通道和相关联光栅角度。处理器还至少部分地基于对应于第一图像组的距离来使第一图像组与多个图像组隔离。处理器还测量对应于第一图像组中每个图像的半高全宽(FWHM)值。处理器还至少部分地基于在第一图像组中的图像上的平均FWHM值来识别最小FWHM切片。处理器还对对应于第一图像组的识别出的最小FWHM切片执行参数估计。处理器还至少部分地基于对应于第一图像组的所执行的参数估计来识别最佳焦点对准参数。处理器还至少部分地基于对应于第一图像组的所执行的参数估计来存储识别出的最佳焦点对准参数。处理器还对第一图像组中的每个图像执行相位估计。处理器还至少部分地基于对应于第一图像组的识别出的最佳焦点对准参数来执行调制计算。处理器还至少部分地基于对应于第一图像组的所执行的调制计算来生成呈现对应于光学系统的参数值的报告。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，目标包括样本容器。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，目标包括在样本容器中的生物样本。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，光发射组件在至少两个通道中发射光。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，至少两个通道包括至少两种颜色，至少两种颜色中的每种颜色对应于至少两个通道的相对应的通道。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，第一光学组件还包括光栅切换器(grating switcher)，光栅切换器选择性地引导或允许从光发射组件发射的光朝向第一相位掩模或第二相位掩模。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，光栅切换器包括至少一个可移动反射元件。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，光栅切换器还包括支撑可移动反射元件的可旋转板，可旋转板是可旋转的以从而相对于第一相位掩模或第二相位掩模选择性地定位反射元件，以从而选择性地引导或允许从光发射组件发射的光朝向第一相位掩模或第二相位掩模。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，相位调整组件包括可移动反射元件。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，相位调整组件还包括移动可移动反射元件的致动器。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，致动器沿着线性路径移动可移动反射元件。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，致动器包括压电元件。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，处理器还计算在第一图像组中的图像对之间的相移，所述图像对中的每对图像共享通道和光栅角度。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，处理器还将计算出的相移与相移的预定范围进行比较。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，处理器还确定至少一个计算出的相移在相移的预定范围之外。处理器还响应于确定至少一个计算出的相移在相移的预定范围之外，计算增益值以校正在相移的预定范围之外的相移。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，处理器还至少部分地基于计算出的增益值来建立新相移电压。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，相位调整组件包括压电元件以调整由第一相位掩模和第二相位掩模结构化的光的相位，新相移电压激活压电元件以提供更接近预定范围的值的相移。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，该装置还包括包含预先形成的光学图案的瞄准设备。瞄准设备使第一光学组件能够朝着预先形成的光学图案发射结构化照射。瞄准设备还使图像传感器能够捕获由第一光学组件照射的预先形成的光学图案的图像。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，预先形成的光学图案包括点的阵列。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，阵列中的点以无序排列定位。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，阵列中的点彼此间隔开至少预定的最小间距距离。

在装置的一些实现方式中，诸如在本概述的任何前面段落中描述的装置中的任一个的一些实现方式中，预先形成的光学图案包括至少一个线对。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置中的任一个的一些实现方式中，第一相位掩模的第一图案包括第一组线。第二相位掩模的第二图案包括第二组线。至少一个线对的线被布置成相对于第一组线中的线和相对于第二组线中的线是偏角的。

在装置的一些实现方式中，诸如在本概述的六个前面段落中描述的装置中的任一个的一些实现方式中，瞄准设备还包括包含响应于来自第一光学组件的光而发荧光的流体的流体填充通道。

在装置的一些实现方式中，诸如在本概述的前面段落中描述的装置的一些实现方式中，流体填充通道具有从大约2μm到大约10μm的深度。

在装置的一些实现方式中，诸如在本概述的六个前面段落中描述的装置中的任一个的一些实现方式中，流体填充通道具有大约3μm的深度。

在一些实现方式中，处理器可读介质包括被配置为通过执行在本概述的前面段落中的任一个中描述的方法中的任一个或更多个的方法来使计算系统处理数据的内容。

应当认识到，前述概念和下面更详细讨论的额外概念的所有组合(假设这样的概念不相互不一致)被设想为本文公开的创造性主题的一部分，并且实现如本文描述的益处/优点。特别是，在本公开的结尾处出现的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。

附图简述

在附图和下面的描述中阐述了一个或更多个实现方式的细节。从描述、附图和权利要求中，其他特征、方面及优点将变得明显。

图1中的图1A描绘了通过使用具有一维(1D)调制的光栅进行的Moire条纹形成的示例。

图1中的图1B描绘了由二维(2D)结构化照射图案产生的照射强度的曲线图示。

图1中的图1C描绘了纳米阱布置的几何图案的示例。

图2描绘了可以利用空间结构化激发光以对样本成像的SIM生物样本成像系统的示意图。

图3描绘了用于在图2的SIM生物样本成像系统中使用的可选的光学组件的示例的示意图。

图4描绘了图3的光学组件的相位掩模组件的示意图。

图5A描绘了具有处于第一状态的光栅切换器和处于第一状态的可调整反射元件的图3的光学组件的示意图。

图5B描绘了具有处于第一状态的光栅切换器和处于第二状态的可调整反射元件的图3的光学组件的示意图。

图5C描绘了具有处于第二状态的光栅切换器和处于第一状态的可调整反射元件的图3的光学组件的示意图。

图5D描绘了具有处于第二状态的光栅切换器和处于第二状态的可调整反射元件的图3的光学组件的示意图。

图6A是由于进行放大的透镜的失真而使平行线弯曲的简化描绘。

图6B示出了对在标称平行线之间的间距的波长进行的第一组测量。

图6C描绘了对在标称平行线之间的间距的波长进行的第二组测量。

图6D描绘了全视场(FOV)图像的子分块或子场的示例。

图7描绘了用于在SIM成像系统中的质量控制检查的过程的示例的流程图。

图8描绘了用于在SIM成像系统中的相位校准的过程的示例的流程图。

图9A描绘了用于在非SIM成像系统中使用的专用目标设备的光学图案。

图9B描绘了用于在SIM成像系统中使用的专用目标设备的光学图案。

图10描绘了示出通过在SIM成像系统中的相长干涉和相消干涉可获得的不同光强度的示例的曲线图。

图11A描绘了同角结构化照射图案的强度分布的示例。

图11B描绘了偏角结构化照射图案的强度分布的示例。

图12描绘了通过对厚度变化的流体通道的SIM成像的再成像调制信号。

将认识到，一些或所有附图是用于说明目的的示意性表示。附图被提供是为了说明一个或更多个实现方式的目的，明确地理解它们将不用于限制权利要求的范围或含义。

详细描述

在一些方面中，在本文公开了用于利用在SIM系统内、特别是在用于对生物样本(例如核苷酸序列)成像的SIM系统内的成像光学设备和相关光学部件促进质量控制和校准的方法和系统。

在对生物样本(例如核苷酸序列)成像的背景中，SIM可以提供从具有来自数百万个样本点的荧光信号的流动池中分辨密集地挤在一起的样本的能力，从而减少对处理所需的试剂并增加图像处理吞吐量。在一些情况下，SIM可以实现对比Abbe衍射限制更密集地被挤在一起的荧光样本的分辨，以用于分辨毗邻的光源。生物样本可以在流动池上的有规律地间隔开的纳米阱中，或者它们可以在随机地分布的簇中。相比于相关光学系统的Abbe衍射限制，相邻的纳米阱可以更靠近地定位在一起。虽然本示例涉及在流动池的纳米阱上的生物样本，但是本文的教导可以应用于在其他的各种布置中的生物样本和在采用用SIM的其他类型的系统中的生物样本。因此，本文的教导不一定限于生物样本的成像。

I.引言

结构化照射可以产生具有数倍于正常照射的所分辨的照射源的图像。具有变化的角度和相位位移的结构化照射的多个图像用于将紧密间隔的、以其他方式不可分辨的高空间频率特征变换成可由光学系统感测的较低频率信号，且不违反Abbe衍射限制。这个限制是由于光和光学设备的性质而在物理上强加在成像上，并被表示为发射波长和最终物镜的数值孔径(NA)的函数。应用SIM重建，来自多个图像的信息从空间域变换到傅里叶域内，被组合和处理，然后被重建为增强的图像。在SIM系统和方法中处理的一组较低分辨率源图像可以被定义为“SIM堆栈”。可以用位于相对于所成像的主题的相对应的z定位或距离处的物镜来获取在每个SIM堆栈中的图像。可以获取同一主题的几个SIM堆栈，每个SIM堆栈具有的z定位与同一主题的其他SIM堆栈中的z定位不同。

在SIM中，在照射源和样本之间使用光栅或生成干涉图案，以生成照射图案，例如在强度上根据正弦或余弦函数变化的图案。在SIM背景中，除了产生结构化照射图案的表面以外，“光栅”有时还用于指所投影的结构化照射图案。可选地，可以生成结构化照射图案作为在分离的相干光束的部分之间的干涉图案。

例如，如图1A所示，结构化照射到样本平面上的投影将照射图案与在样本中的荧光(或反射)源混合以引起有时被称为Moire条纹或混叠的新信号。新信号将高空间频率信息移动到可以在不违反Abbe衍射限制的情况下捕获的较低空间频率。

在捕获用如图1A所示的1D强度调制图案或如图1B所示的2D强度调制图案照射的样本的图像之后，线性方程组被解出并用于从Moire条纹或混叠的多个图像中提取包含从较高空间频率移动到较低空间频率的信息的新信号的部分。

为了解出线性方程，用逐步移动或移位的结构化照射图案捕获若干图像。每角度变化相位的图像可以被捕获以用于分析，且然后由用于傅里叶域移位和重组的波段被分离。增加图像的数量可以通过增加信噪比来提高所重建的图像的质量。然而，它也可以增加计算时间。波段分离的图像的傅里叶表示被移动和求和以产生重建和(reconstructedsum)。最终，逆快速傅里叶变换(FFT)由重建和来重建新的高分辨率图像。

当与2D调制照射图案一起使用时，用于1D调制照射的标准算法可以涉及修改。这可以包括照射峰间距和照射峰角度估计，这可以涉及2D波段分离。修改还可包括Wicker相位估计，其从两个点(而不是一个点)工作，以便在两个维度上估计相位。1D干涉图案可以由如图1A所示的一维衍射光栅或者作为两个光束的干涉图案的结果而被生成。在一些实例中，在样本的成像期间，可以在各种图案相位(例如0°、120°和240°)处获取样本的条纹图案的三个图像，使得在样本上的每个位置被暴露于一定范围的照射强度，该过程通过围绕光轴将图案定向旋转到2个(例如45°、135°)或3个(例如0°、60°和120°)单独角来进行重复。

图1B示出了可由2D衍射光栅或由两对相干光束的干涉产生的强度分布。特别是，2D结构化照射可以由叠加在彼此上的两个正交1D衍射光栅形成。如在1D结构化照射图案的情况中的，2D照射图案可以通过使用2D衍射光栅或通过在两对相干光束之间产生有规律地重复的条纹图案的干涉产生。两条光束沿y轴产生强度图案(水平明暗线)，且因此被称为y对入射光束。另外两个光束沿x轴产生强度图案(垂直明暗线)，且被称为x对入射光束。y对光束与x对光束的干涉产生2D照射图案。图1B示出了这种2D照射图案的强度分布。

图1C示出了在被定位于矩形的角处的流动池的表面处的纳米阱10的布置。图1C还示出了投影到纳米阱10上的结构化照射条纹图案的线20。在所示的示例中，线20相对于纳米阱10的对准稍微有角度地偏移，使得线20既不与纳米阱10的行也不与纳米阱10的列完全对准(或平行)。可选地，线20可以具有与纳米阱10的列或行的对准或者具有纳米阱10的其他空间布置的任何其他合适的空间关系。当使用1D结构化照射时，照射峰角度被选择成使得图像沿着连接矩形的对角地相对的角的线被获取。例如，可以在+45度和-45度角度下获取两组三个图像(总共六个图像)。因为沿对角线的距离大于在矩形的任两条边之间的距离，较高分辨率图像被实现。纳米阱10可以被布置在其他几何布置中，例如在六边形中。然后可以沿着六边形的三条对角线中的每一条获取三幅或更多个图像，导致例如九个或十五个图像。

II.术语

如在本文对提到结构化照射参数所使用的，术语“频率”意在指在结构化照射图案(例如条纹或网格图案)的条纹或线之间的间距的倒数，因为频率和周期是逆向地相关的。例如，具有在条纹之间的较大间距的图案将比具有在条纹之间的较低间距的图案具有更低的频率。

如在本文对提到结构化照射参数所使用的，术语“相位”意在指照射样本的结构化照射图案的相位。例如，可以通过相对于被照射的样本平移结构化照射图案来改变相位。

如在本文对提到结构化照射参数所使用的，术语“定向”意在指在结构化照射图案(例如条纹或网格图案)和由该图案照射的样本之间的相对定向。例如，可以通过相对于被照射的样本旋转结构化照射图案来改变定向。

如在本文对提到结构化照射参数所使用的，术语“预测(predict)”或“预测(predicting)”意在指：(i)计算参数的值而不直接测量参数，或者(ii)从对应于参数的所捕获的图像估计参数。例如，可以通过在时间t2和t3直接测量或估计(例如从所捕获的相位图像)的相位值之间的内插来在时间t1预测结构化照射图案的相位，其中t2<t1<t3。作为另一示例，可以通过从在时间t2和t3直接测量或估计(例如从所捕获的相位图像)的频率值外插来预测在时间t1结构化照射图案的频率，其中t2<t3<t1。

如在本文对提到由衍射光栅衍射的光所使用的，术语“级(order)”或“级数(ordernumber)”意在指整数波长的数量，其表示对于相长干涉的来自衍射光栅的相邻狭缝或结构的光的光程差。入射光束在重复的一系列光栅结构或其他分束结构上的相互作用可以将光束的部分从原始光束重定向或衍射到可预测的角方向内。术语“零级”或“零级最大值”意在指由衍射光栅发射的中心亮条纹，其中没有衍射。术语“一级”意在指衍射到零级条纹的任一侧的两个亮条纹，其中光程差为±1个波长。级越高则从原始光束衍射到的角度越大。光栅的属性可以被操纵以控制有多少光束强度被引导到各个级内。例如，可以制造相位光栅以最大化非零级光束的透射，并最小化零级光束的透射。

如在本文所使用的，术语“光学传递函数”或它的缩写形式“OTF”意在指将成像系统的响应描述为空间频率的函数的复值传递函数。可以从点扩散函数的傅里叶变换导出OTF。在本文描述的示例中，只有OTF的振幅部分是重要的。OTF的振幅部分可被称为“调制传递函数”或它的缩写形式“MTF”。

如在本文中对提到样本所使用的，术语“特征”意在指在图案中的可以根据相对位置与其他点或区域区分开的点或区域。单独的特征可以包括特定类型的一个或更多个分子。例如，特征可以包括具有特定序列的单个靶核酸分子，或特征可以包括具有相同序列(和/或其互补序列)的若干核酸分子。

如在本文所使用的，术语“xy平面”意在指由在笛卡尔坐标系中的直线轴x和y定义的2维区域。当关于检测器和由检测器观察的物体被使用时，该区域可以进一步被指定为与光束轴或在检测器和被检测的物体之间的观察的方向正交。

如本文中所使用的，术语“z坐标”意在指指定沿着与在笛卡尔坐标系中的xy平面正交的轴的点、线或区域的位置的信息。在特定的实现方式中，z轴正交于由检测器观察的物体的区域。例如，可以沿着z轴指定光学系统的聚焦的方向。

如在本文所使用的，术语“光学地耦合”意在指一个元件适合于将光直接或间接地照到另一元件。

如在本文所使用的，以单数形式列举并以词“一(a)”或“一(an)”开始的元件或步骤应被理解为不排除多个所述元件或步骤，除非这样的排除被明确规定。此外，对“一个实现方式”的提及没有被规定为被解释为排除也合并了所列举的特征的另外的实现方式的存在。此外，除非明确地规定相反的情况，否则“包括”或“具有”带有特定属性的一个元件或多个元件的实现方式可以包括另外的元件，而不管它们是否具有该属性。

在整个这个说明书中使用的术语“基本上”、“大约”和“大致”用于描述并说明例如由于在处理中的偏差而引起的小波动。例如，它们可以指小于或等于±5％，例如小于或等于±2％，例如小于或等于±1％，例如小于或等于±0.5％，例如小于或等于±0.2％，例如小于或等于±0.1％，例如小于或等于±0.05％。

术语“基于”应该被理解为意指某事物至少部分地由它被指示为“基于”的事物确定。为了指示某事物必须一定完全由某个其他事物确定，它被描述为排他地基于无论它完全由什么确定。

如在本文所使用的，根据背景，术语“核苷酸序列”或“多核苷酸序列”应被理解为包括多核苷酸分子以及分子的基础序列。多核苷酸的序列可以包含指示特定物理特性的信息(或对该信息编码)。

III.成像系统部件和布置的示例

在SIM系统的一些实现方式中，线性偏振光束被引导穿过光学分束器，该光学分束器将光束分成两个或更多个单独的级，该两个或更多个单独的级可以被组合并作为具有正弦强度变化的干涉条纹图案投影在所成像的样本上。为了在样本平面处实现最大调制，分离的光束在功率上是相等的。衍射光栅是可以产生具有高程度的相干性和稳定的传播角度的光束的分束器的示例。当两个这样的光束组合时，在它们之间的干涉可以产生均匀的、有规律地重复的条纹图案，其中间距由包括在干涉光束之间的角度的因素确定。在条纹周期(FP)、入射角(θ)和光的波长(λ)之间的关系可以用下面的等式(I)表示：

FP＝λ÷2sin(θ)， (I)其中条纹周期(FP)和光的波长(λ)具有相同的单位(例如nm)，以及θ是相对于表面法线的用弧度表示的入射角。

图2-5D示出了SIM成像系统可以采取的不同形式的示例。应当注意，虽然这些系统主要在生成1D照射图案的SIM成像系统的背景中被描述，但是本文公开的技术可以用生成较高维照射图案(例如二维网格图案)的SIM成像系统来实现。

图2示出了根据本文描述的一些实现方式的可实现结构化照射参数预测的SIM成像系统100。例如，系统100可以是利用空间结构化激发光对生物样本成像的结构化照射荧光显微系统。

在系统2的示例中，光发射器150被配置为输出由准直透镜151准直的光束。准直光由光结构化光学组件155结构化(图案化(patterned))，并由分色镜160引导通过物镜142到位于运动平台170上的样本容器110的样本上。在荧光样本的情况下，样本响应于结构化激发光而发荧光，并且所得到的光由物镜142收集并被引导到相机系统140的图像传感器以检测荧光。

光结构化光学组件155包括一个或更多个光学衍射光栅或其他分束元件(例如分束器立方体或板)以生成投影到样本容器110的样本上的光图案(例如通常正弦样的条纹)。衍射光栅可以是一维或二维透射或反射光栅。衍射光栅可以是正弦振幅光栅或正弦相位光栅。在一些版本中，光结构化光学组件155包括一对相位掩模，其中每个相位掩模包括一块玻璃，其具有蚀刻到玻璃内的刻度。

在一些实现方式中，衍射光栅可以不利用旋转台来改变结构化照射图案的定向。在其他实现方式中，衍射光栅可以安装在旋转台上。在一些实现方式中，衍射光栅在成像系统的操作期间可以是固定的(即，不需要旋转或线性运动)。例如，在下面进一步描述的特定实现方式中，衍射光栅可以包括垂直于彼此定向的两个固定的一维透射衍射光栅(例如水平衍射光栅和垂直衍射光栅)。

如在图2的示例中所示的，光结构化光学组件155输出第一级衍射光束，同时阻挡或最小化所有其他级，包括零级。然而，在可选的实现方式中，可以将另外的级的光投影到样本上。

在每个成像周期期间，成像系统100利用光结构化光学组件155来获取在各种相位处的多个图像，条纹图案在调制方向上(例如在x-y平面中并垂直于条纹)横向地移位，这个过程通过围绕光轴(即，相对于样本的x-y平面)旋转图案定向来重复一次或多次。然后，所捕获的图像可以用计算方式被重建以生成较高分辨率图像(例如，具有大约两倍于单独图像的横向空间分辨率的图像)。

在系统100中，光发射器150可以是非相干光发射器(例如，发射由一个或更多个激发二极管输出的光束)或者相干光发射器，例如由一个或更多个激光器或激光二极管输出的光的发射器。如在系统100的示例中所示的，光发射器150包括用于引导待输出的光束的光纤152。然而，可以使用光发射器150的其它配置。在多通道成像系统(例如，利用光的多个波长的的多通道荧光显微镜)中利用结构化照射的实现方式中，光纤152可以光学地耦合到多个不同的光源(未示出)，每个光源发射不同波长的光。尽管系统100被示为具有单个光发射器150，但是在一些实现方式中多个光发射器150可以被包括。例如，在下面进一步讨论的利用多个臂的结构化照射成像系统的情况下，可以包括多个光发射器。

在一些实现方式中，系统100可以包括投影透镜156，投影透镜156可以包括沿着z轴铰接的透镜元件以调整结构化光束形状和路径。例如，投影透镜156的部件可以被铰接以说明在容器110中的样本的样本厚度的范围(例如不同的盖玻片厚度)。

在系统100的示例中，流体输送模块或设备190可以将试剂(例如荧光标记的核苷酸、缓冲液、酶、裂解试剂等)的流引导至(并且穿过)样本容器110和废料排出阀120。样本容器110可以包括一个或更多个基底，在该一个或更多个基底上提供样本。例如，在系统分析大量不同的核酸序列的情况下，样本容器110可以包括一个或更多个基底，待测序的核酸在该一个或更多个基底上被键合、附着或关联。基底可以包括核酸可附着到的任何惰性基底或基质，例如玻璃表面、塑料表面、乳胶、葡聚糖、聚苯乙烯表面、聚丙烯表面、聚丙烯酰胺凝胶、金表面和硅晶片。在一些应用中，基底在通道或在横越样本容器110的矩阵或阵列中形成的多个定位处的其他区域内。系统100还可包括可以可选地调节在样本容器110内的流体的温度条件的温度站致动器130和加热器/冷却器135。

在特定实现方式中，样本容器110可以被实现为包括透明盖板、基底和在其间包含的液体的图案化流动池，并且生物样本可以位于透明盖板的内表面或基底的内表面处。流动池可以包括其被图案化到基底内的所定义的阵列(例如六边形阵列、矩形阵列等)内的大量(例如数千、数百万或数十亿)阱(也被称为纳米阱)或区域。每个区域可以形成生物样本(例如DNA、RNA或例如使用边合成测序而被测序的另一基因材料)的簇(例如单克隆簇)。流动池还可以被划分成多个间隔开的线道(例如八个线道)，每个流道包括簇的六边形阵列。

样本容器110可以被安装在样本台170上以提供样本容器110相对于物镜142的移动和对准。样本台可以具有一个或更多个致动器以允许它在三个维度中的任一个维度上移动。例如，从笛卡尔坐标系方面来说，可以提供致动器以允许台相对于物镜在x、y和z方向上移动。这可以允许在样本容器110上的一个或更多个样本位置被定位成与物镜142光学地对准。可以通过移动样本台本身、物镜、成像系统的某个其他部件或前述项的任何组合来实现样本台170相对于物镜142的移动。另外的实现方式还可以包括在静止样本上方移动整个成像系统。可选地，样本容器110可以在成像期间是固定的。

在一些实现方式中，聚焦(z轴)部件175可被包括以控制光学部件相对于样本容器110在聚焦方向(通常被称为z轴或z方向)上的定位。聚焦部件175可包括物理地耦合到光学台或样本台或两者的一个或更多个致动器，以使在样本台170上的样本容器110相对于光学部件(例如物镜142)移动以为成像操作提供适当的聚焦。例如，致动器可以例如通过直接或间接地机械、磁性、流体地或以其他方式附接到台或与台接触来物理地耦合到相应的台。一个或更多个致动器可以被配置为在将样本台保持在同一平面内(例如，保持垂直于光轴的水平或横平姿态)时在z方向上移动该台。一个或更多个致动器也可以被配置为使台倾斜。例如，可以这样做了，使得样本容器110可以动态地被调整(leveled)以说明在它的表面中的任何坡度。

从样本位置处的被成像的测试样本发出的结构化光可以穿过分色镜160被引导至相机系统140的一个或更多个检测器。在一些实现方式中，可以包括具有一个或更多个发射滤波器的滤波器切换组件165，其中一个或更多个发射滤波器可以用于穿过特定的发射波长并阻挡(或反射)其他发射波长。例如，一个或更多个发射滤波器可以用于在成像系统的不同通道之间切换。在特定实现方式中，发射滤波器可以被实现为分色镜，其将不同波长的光直接发射到相机系统140的不同图像传感器。

相机系统140可以包括一个或更多个图像传感器以监测和跟踪样本容器110的成像(例如测序)。相机系统140可以被实现为例如电荷耦合设备(CCD)图像传感器摄像机，但是其他图像传感器技术(例如有源像素传感器)也可以被使用。虽然相机系统140和相关光学部件在图2中被示为被定位于样本容器110上方，但是一个或更多个图像传感器或其他相机部件可以以多种其他方式被合并到系统100中，这鉴于本文的教导对于本领域中的技术人员明显的。例如，一个或更多个图像传感器可以被定位于样本容器110下方，或者甚至可以集成到样本容器110中。

来自相机系统140的输出数据(例如图像)可以被传递到可以被实现为软件应用的实时SIM成像部件191，如下面进一步所述，该软件应用可以重建在每个成像周期期间捕获的图像以创建具有较高空间分辨率的图像。所重建的图像可以考虑随着时间的过去而预测的结构照射参数的变化。此外，给定先前所估计和/或预测的SIM参数，SIM成像部件191可用于跟踪所预测的SIM参数和/或做出SIM参数的预测。

控制器195可以被提供来控制结构化照射成像系统100的操作，包括使系统100的各种光学部件同步。控制器可以被实现来控制系统操作的方面，例如光结构化光学组件155的配置(例如，衍射光栅的选择和/或线性平移)、投影透镜156的移动、聚焦部件175的激活、台移动和成像操作。控制器还可以被实现来控制系统100的硬件元件以校正结构化照射参数随着时间的变化。例如，控制器可以被配置成将控制信号传输到马达或控制光结构化光学组件155、运动台170或系统100的一些其他元件的配置的其他设备，以校正或补偿结构化照射相位、频率和/或定向随着时间的变化。在实现方式中，可以根据使用SIM成像部件191预测的结构化照射参数来传输这些信号。在一些实现方式中，控制器195可以包括用于存储对应于不同时间和/或样本定位的所预测和/或估计的结构化照射参数的存储器。

在各种实现方式中，可以使用硬件、算法(例如机器可执行指令)或前述项的组合来实现控制器195。例如，在一些实现方式中，控制器可以包括一个或更多个CPU、GPU或具有相关存储器的处理器。作为另一示例，控制器可以包括控制操作的硬件或其他电路，例如计算机处理器和其上存储有机器可读指令的非暂时性计算机可读介质。例如，该电路可以包括下列项中的一个或更多个：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、可编程逻辑设备(PLD)、复杂可编程逻辑设备(CPLD)、可编程逻辑阵列(PLA)、可编程阵列逻辑(PAL)和其他类似的处理设备或电路。作为又一个示例，控制器可以包括该电路与一个或更多个处理器的组合。

图3示出了可合并到系统中的可选的光学组件200(例如，代替光学组件155)的示例。该示例的光学组件200包括光发射组件210、固定反射元件220、相位掩模组件230、光栅切换器250、可调整反射元件270和投影透镜组件280。光发射组件210可以包括多种部件，包括但不限于相干光的源(例如至少一个激光器等)和一对变形棱镜、非相干光的源和准直器或者如鉴于本文的教导将对本领域中的技术人员明显的任何其他合适的部件。在一些版本中，光发射组件210可操作来经由两个或更多个单独通道(例如蓝色通道和绿色通道)发射光。在光在两个或更多个单独通道中发射的版本中，系统100可以包括两个或更多个对应的图像传感器，使得每个图像传感器专用于对应的图像传感器。此外，在一些版本中，光发射组件210可操作来以预定频率以脉冲形式发射光(例如，使用高速快门等)。

本示例的反射元件220包括反射镜，其定位相对于光学组件200的其他部件是固定的。如下面更详细描述的，反射元件220被定位和配置成在光学组件200的操作期间朝着相位掩模组件230和光栅切换器250反射从光发射组件210发射的光。

如在图4中最佳所见，本示例的相位掩模组件230包括固定地安装到底座240的一对三角形玻璃元件232、242。每个玻璃元件232、242包括沿着玻璃元件232、242一侧的反射器234、244。每个玻璃元件232、242还包括沿着玻璃元件232、242的另一侧的相位掩模236、246。在本示例中，每个相位掩模236、246包括形成被蚀刻到玻璃元件232、242的玻璃内的光栅或条纹图案的刻度(例如平行狭缝或凹槽等)。刻度间距可以被选择以在合适的角度下衍射光，并为了系统100的操作被调整到所成像的样本的最小可分辨特征尺寸。如下面将更详细描述的，这些相位掩模236、246被配置成在光学组件200的操作期间产生Moire条纹或混叠。虽然在本示例中通过在玻璃元件232、242的玻璃中的所蚀刻的刻度形成相位掩模236、246，但是相位掩模236、246可以被形成的其他合适的方式鉴于本文的教导对本领域中的技术人员将是明显的。在光学组件200的操作期间，整个相位掩模组件230相对于光学组件200的其他部件保持静止。

为了提高系统的效率，可以阻挡(即，从投影在样本110上的照射图案中滤除)由每个相位掩模236、246输出的零级光束和所有其他更高级衍射光束。例如，光束阻挡元件(未示出)(例如顺序滤波器)可以插入到在相位掩模组件230之后的光路内。在一些实现方式中，衍射光栅相位掩模236、246可以被配置成将光束衍射成仅第一级，并且零级(未衍射的光束)可以被某个光束阻挡元件阻挡。

如图3所示，本示例的光栅切换器250包括安装到轴杆254的板252。轴杆254还与马达256耦合，马达256可操作来使轴杆254和板252绕着轴A旋转。板252的一端260包括一对反射镜262、264，每个反射镜262、264被安装到板252的相对侧。板252的另一端266限定允许光通过的开口268，如下所述。在一些版本中，马达256是步进马达。可选地，马达256可以采取任何其他合适的形式；以及马达256可以用旋转运动的任何其他合适的源代替。如图5A-5D所示并且如下面将更详细描述的，马达256可被激活以通过绕着轴A旋转轴杆254和板252来在第一状态(图5A-5B)和第二状态(图5C-5D)之间转换光栅切换器250。当光栅切换器250在第一状态中时，光栅切换器250和相位掩模组件230可提供第一光栅角度。当光栅切换器250在第二状态中时，光栅切换器250和相位掩模组件230可以提供第二光栅角度。

也如图3所示，本示例的可调整反射元件270包括与致动器272耦合的反射镜，使得致动器272可操作来沿着线性路径LP1驱动反射元件270。在这个示例中，线性路径LP1与轴A平行。在一些版本中，致动器272包括压电元件。作为另一示例，致动器272可以包括螺线管。在一些其他版本中，致动器272包括与可操作来将旋转运动转换成线性运动的机械组件(例如，齿条和小齿轮或蜗轮和螺母等)耦合的步进马达或其他旋转驱动源。如下面更详细描述的，随着致动器272改变反射元件270沿着线性路径LP1的定位，致动器272和反射元件270一起可操作来提供对通过光学组件200传输的光的相位调制。换句话说，致动器272和反射元件270可以一起提供相位调整组件。

作为示例，致动器272可操作来在致动器272的操作期间在大约5μm的整个运动范围内驱动反射元件270，这可提供大约240度的条纹运动，如下面更详细所述。可选地，致动器272可操作来在致动器272的操作期间在范围从大约2μm到大约10μm的整个运动范围内驱动反射元件270。如下面更详细描述的，致动器272可被驱动以在沿着线性路径的整个运动范围内阻止反射元件在两个、三个或更多个不同定位处的运动。

投影透镜组件280可以包括一个或更多个透镜元件(例如管状透镜)和如鉴于本文的教导对本领域中的技术人员将明显的各种其他部件。穿过投影透镜组件280的光最终可以到达样本容器110(例如流动池等)。在一些实例中，这可以使在样本容器110中的生物材料发荧光，这样的荧光被图像传感器(例如相机系统140的图像传感器)拾取，以实现对生物材料的分析。本示例的投影透镜组件280与致动器282耦合，该致动器282可操作来沿着线性路径LP2驱动投影透镜组件280的至少一部分。在一些版本中，致动器282包括压电元件。作为另一示例，致动器282可以包括螺线管。在一些其他版本中，致动器282包括与可操作来将旋转运动转换成线性运动的机械组件(例如，齿条和小齿轮或蜗轮和螺母等)耦合的步进马达或其他旋转驱动源。如下面更详细描述的，随着致动器282改变投影透镜组件280的至少一部分沿着线性路径LP2的定位，致动器282和投影透镜组件280一起可操作来提供SIM光栅焦平面的调整。

如上面所提到的，本示例的系统100包括控制器195。控制器195可用于控制光学组件200的操作和系统100的其他特征，包括使光学组件200和系统100的各种部件同步。控制器195可以被实现来控制系统操作的方面，例如马达256的激活、致动器272的激活、投影透镜组件280的一个或更多个元件经由致动器282的移动、聚焦部件175的激活、相机系统140的激活以及其他成像操作。控制器还可以被实现来控制系统100的硬件元件以校正结构化照射参数随着时间的变化。例如，控制器可以被配置为向设备(例如马达256、致动器272等)传输控制信号以校正或补偿结构化照射相位、频率和/或定向随着时间的变化。在实现方式中，可以根据使用SIM成像部件预测的结构化照射参数来传输这些信号。在一些实现方式中，控制器可以包括用于存储对应于不同时间和/或样本定位的所预测和/或估计的结构化照射参数的存储器。

图5A-5D示出了在各种操作阶段的光学组件200。在图5A所示的阶段，光发射组件210朝着反射元件220发射光，反射元件220朝着相位掩模组件230和光栅切换器250反射光。在这个阶段，光栅切换器250处于第一状态中，使得从反射元件220反射的光由反射镜262进一步反射。由反射镜262反射的光穿过玻璃元件242并到达反射器244，反射器244朝着相位掩模246反射光。当光穿过相位掩模246时，相位掩模246向光提供图案化形式。该图案化或结构化光然后穿过板252的开口268，并到达反射元件270，反射元件270然后朝着投影透镜组件280反射结构化光。在穿过投影透镜组件280之后，结构化光到达作为目标进行成像的物体(例如样本容器110)；以及相机系统140捕获目标物体的第一图像。

在利用图5A所示的光学组件200的配置获取第一图像之后，致动器272被激活以将反射元件270从线性路径LP1上的第一定位驱动到线性路径LP1上的第二定位，使得光学组件200然后在图5B所示的配置中。在图5B所示的阶段，光发射组件210朝着反射元件220发射光，反射元件220朝着相位掩模组件230和光栅切换器250反射光。在这个阶段，光栅切换器250处于第一状态中，使得从反射元件220反射的光被反射镜262进一步反射。由反射镜262反射的光穿过玻璃元件242并到达反射器244，反射器244朝着相位掩模246反射光。当光穿过相位掩模246时，相位掩模246向光提供图案化形式。该图案化或结构化光然后穿过板252的开口268，并到达反射元件270，反射元件270然后朝着投影透镜组件280反射结构化光。在穿过投影透镜组件280之后，结构化光到达作为目标进行成像的物体(例如样本容器110)；以及相机系统140捕获目标物体的另一图像。

在图5A所示的阶段和图5B所示的阶段之间的唯一差异是反射元件270处于第二状态中(即，在沿着线性路径LP1的第二定位处)。因此，因为反射元件270在这个操作阶段期间在不同的定位处，所以用在图5B所示的配置中的光学组件200捕获的图像将具有与用在图5A所示的配置中的光学组件200捕获的图像不同的相位。

在本文描述的过程的一些版本中，在行进到图5C所示和下面描述的阶段之前，当光栅切换器250处于第一状态中时，致动器272被激活以将反射元件270沿着线性路径LP1驱动到第三定位。在该过程的这样的版本中，当光栅切换器250处于第一状态中时，相机系统140可以捕获三个图像，这些图像中的每一个图像基于反射元件270沿着线性路径LP1的相应定位而代表不同的相位。当然，致动器272也可以被激活以将反射构件270驱动到第四定位、第五定位等，使得当光栅切换器250处于第一状态时任何期望数量的相位可以在图像的捕获期间被采用。

在光栅切换器250处于图5A-5B所示的第一状态中的情况下期望数量的图像被获取之后，马达256被激活以使轴杆254绕着轴A旋转，从而使板252绕着轴A旋转以将光栅切换器250转变到图5C-5D所示的第二状态。在图5C所示的阶段，致动器272也被激活以将反射元件270从第二状态(即，在线性路径LP1上的第二定位)返回到第一状态(即，在线性路径LP1上的第一定位)。在一些其他版本中，紧接着在光栅切换器250从第一状态转变到第二状态之后，反射元件270保持在第二状态中；以及当反射元件270处于第二状态中并且光栅切换器250处于第二状态中时，在图像被捕获之后，反射元件270转变到第一状态。

在图5C所示的阶段，光发射组件210朝着反射元件220发射光，反射元件220朝着相位掩模组件230和光栅切换器250反射光。在光栅切换器250现在处于第二状态中的情况下，从反射元件220反射的光穿过开口268并进一步穿过玻璃元件232。穿过玻璃元件232的光到达反射器234，反射器234朝着相位掩模236反射光。当光穿过相位掩模236时，相位掩模236向光提供图案化形式。然后，该图案化或结构化光从反射镜264反射。反射镜264朝着反射元件270反射结构化光，然后反射元件270朝着投影透镜组件280反射结构化光。在穿过投影透镜组件280之后，结构化光到达作为目标进行成像的物体(例如样本容器110)；以及相机系统140捕获目标物体的另一图像。

在图像利用图5C所示的光学组件200的配置被获取之后，致动器272被激活以将反射元件270从第一状态(即，在线性路径LP1上的第一定位)驱动到第二状态(即，在线性路径LP1上的第二定位)，使得光学组件200然后在图5D所示的配置中。在图5D所示的阶段，光发射组件210朝着反射元件220发射光，反射元件220朝着相位掩模组件230和光栅切换器250反射光。在光栅切换器250现在处于第二状态的情况下，从反射元件220反射的光穿过开口268并进一步穿过玻璃元件232。穿过玻璃元件232的光到达反射器234，反射器234朝着相位掩模236反射光。当光穿过相位掩模236时，相位掩模236向光提供图案化形式。然后，该图案化或结构化光从反射镜264反射。反射镜264朝着反射元件270反射结构化光，然后反射元件270朝着投影透镜组件280反射结构化光。在穿过投影透镜组件280之后，结构化光到达作为目标进行成像的物体(例如样本容器110)；以及相机系统140捕获目标物体的另一图像。

在图5C所示的阶段和图5D所示的阶段之间的唯一差异是反射元件270处于第二状态中(即，在沿着线性路径LP1的第二定位处)。因此，因为反射元件270在这个操作阶段期间处于不同的定位处，所以在图5D所示的配置中用光学组件200捕获的图像将具有与在图5C所示的配置中用光学组件200捕获的图像不同的相位。

在本文描述的过程的一些版本中，在完成捕获图像的过程之前，致动器272被激活以当光栅切换器250处于第二状态中时将反射元件270沿着线性路径LP1驱动到第三定位。在该过程的这样的版本中，当光栅切换器250处于第二状态中时，相机系统140可以捕获三个图像，这些图像中的每一个图像基于反射元件270沿着线性路径LP1的相应定位而代表不同的相位。当然，致动器272也可以被激活以将反射构件270驱动到第四定位、第五定位等，使得当光栅切换器250处于第二状态中时任何期望数量的相位可以在图像的捕获期间被采用。

如上面所提到的，可以通过两个或更多个单独通道(例如蓝色通道和绿色通道)来执行图像捕获过程。换句话说，可以通过两个或更多个单独通道来执行上面参考图5A-5D描述的过程。光发射组件210可操作来提供两个通道；或者每个通道可以具有它自己的光发射组件210。在一些版本中，通过光学组件200来同时激活两个单独通道。在一些其他版本中，第一通道在图5A所示的阶段期间被激活，然后第二通道在图5A所示的阶段期间被激活，然后第一通道在图5B所示的阶段期间被激活，然后第二通道在图5B所示的阶段期间被激活，依此类推，直到第二通道在图5D所示的阶段期间被激活为止。作为又一示例，每个通道可以具有它自己的专用光学组件200。在一些这样的版本中，可以利用另外的光学部件来使每个光学组件200的投影透镜组件280能够将来自每个通道的光投影到同一目标(例如样本容器110)。鉴于本文的教导，一个或更多个光学组件200可以实现两个或更多个通道的使用的其他合适的方式对本领域中的技术人员将明显。还应当理解，在系统100内的其他部件(例如滤波器切换组件165)还可以实现两个或更多个通道的使用。在一个通道是蓝色的而另一个通道是绿色的版本中，蓝色通道可以利用在从大约450nm到大约500nm的范围内的波长处的光操作；以及绿色通道可以利用在从大约500nm到大约570nm的范围内的波长处的光操作。

也如上面所提到的，在系统100中使用光学组件200成像的主题可以包括在流动池的纳米阱中的一个或更多个生物样本(例如核苷酸等)，使得一些形式的样本容器110可以包括流动池。这种纳米阱可以以规则的重复图案布置。对于矩形图案，可以基本上沿着连接在图案中的矩形的相对角的两条对角线使用两个结构化照射角，使得结构化照射的强度峰被定向成基本上垂直于两条对角线。可选地，结构化照射角可以沿着与矩形纳米阱图案方向相同的方向(即，不沿着矩形的相对角)被定向。

对于纳米阱的重复的六边形图案，在三条对角线连接在图案中的六边形的相对角的情况下，可以使用三个结构化照射角，强度峰基本上垂直于三条对角线。可选地，可以与具有纳米阱的六边形图案的流动池结合来使用两角照射图案，使得不一定在所有情况下都与纳米阱的六边形图案结合来使用三个结构化照射角。此外，结构化照射角可以沿着与六边形纳米阱图案方向相同的方向(即，不沿着六边形的相对角)被定向。

不管纳米阱的图案的种类如何，相比于相关光学系统的Abbe衍射限制，相邻的纳米阱都可以更靠近地被定位在一起。可选地，样本可以随机地分布在没有纳米阱的成像平面上。或者，样本可以规则地布置在除了纳米阱之外的某个结构上的成像平面上。

IV.图像处理算法的示例

A.SIM图像处理方法的概述

由光学传感器或图像传感器(例如，如集成到相机系统140中的)捕获的图像可以被称为分块。如下所述的图像处理算法可以将所捕获的图像块细分成子分块。每个子分块可以被独立地评估。接近中心的子分块可以与其他子分块不同地被处理。流动池的成像周期可以捕获具有一些重叠的图像分块。子分块可以彼此独立地、甚至并行地被重建。从增强的子分块进行的重建可以被缝合在一起以创建具有增强的空间分辨率的所重建的分块。在一些实例中，图像分块被细分成子分块，使得峰线在子分块内近似均匀地间隔开，从而从横越透镜的视场所重建的子分块实现更好的图像质量。

在一些实例中，为每个子分块映射至少三个参数。这样的参数可以包括照射峰角度、照射峰间距和相位位移。照射峰角度也可以被称为光栅角度。照射峰间距也可以被称为光栅间距。换句话说，照射峰间距定义光栅的周期(例如，在由相位掩模236、246定义的平行线之间的间距)。相位位移或相位是投影到样本平面上的结构化照射图案或光栅的移动(例如，基于如由致动器272驱动的反射元件270沿着线性路径LP1的定位)。换句话说，相位可以被定义为在正交于光栅的方向上从公共参考点到重复照射图案的起点的距离。相位可以用弧度或度数表示；并且可以被认为是重复模式周期的分数(a fraction of the repeatingpattern periodicity)。相位位移也可被称为光栅相位。可以使用二次曲面畸变模型来映射角度和间距。

下文描述了可用于估计用于SIM图像重建的参数的技术的示例。所公开的一些技术补偿由于透镜缺陷而失真或弯曲的条纹峰线。被期望是平行的图案线在图像的中心附近开始平行，但倾向于在透镜的边缘附近会聚或变得不平行。这影响照射峰角度或定向、照射峰间距和相位偏移。图6D示出了将图像分块分成被称为子分块或子窗口或子场的重叠区域。子分块足够小，使得为整个子分块给出令人满意的重建的参数可以被设置。在一些版本中，每个子分块包括光学传感器的512x512个像素。可以使用更大或更小的数量，包括但不限于256、400、1024、2048和4096；或者在256到4096个像素的范围内。子分块可以重叠光学传感器的至少2个像素。可以使用更大或更小的数量。例如，对于512像素宽的窗口，可以使用最多达256像素重叠；以及对于1024像素宽，可以使用最多达512重叠。

可以在两个步骤中执行参数估计。首先，可以对图像的近中心子分块执行参数估计。然后，可以对其他子分块执行参数估计，并与近中心子分块比较，以相对于近中心子分块的参数来确定失真和对失真的校正。

图6A至图6C示出了全视场(FOV)的物理方面。在一个实现方式中，使用5472像素x3694像素的矩形传感器。当然，可以使用正方形传感器或不同尺寸的传感器，例如，5472x5472个像素，或4800x4800个像素。当使用矩形传感器时，最靠近透镜的边缘的失真最大。透镜常常是圆形的，所以矩形传感器在长边上不与在短边上一样靠近透镜的边缘。

图6A呈现示出横越全视场(FOV)的条纹间距失真的两个图示。在左侧的图300是由于进行放大的透镜的失真而使平行线弯曲的简化描绘300。所描绘的线被规定为在图像平面中是平行的。通过透镜被观察，它们看起来相对于在中心中的间距会聚在右端和左端处。在右侧的图302是另一个放大的示例。在这个图中，条纹线在左上角和右下角之间被对角地定向。条纹间距被放大，以使其更容易被看到。条纹线相对于中心会聚在左上角和右下角处。对于特定制造商的透镜，条纹图案可以是不均匀的。

图6B和图6C描绘了对于绿色和蓝色激光照射的在图像平面中的名义上平行的条纹峰之间的图像中的间距的测量。色标指示在2.8和2.22之间的间距的变化。在两个图中，色标指示在平行线之间的中心间距为约2.14。在图6B的右上角中看到在绿色波长照射下的不规则性。在图6C中沿着右边边缘和左边缘看到在蓝色波长照射下的更明显的不规则性。在这些图中，条纹图案是从图的左下角到右上角的一系列成45°角的平行线。因此，在图6C中在箭头的方向上测量间距。这些图说明了对由透镜引起的失真的校正。因为透镜单独地被制造和安装，所以期望在组装之后对单独系统的校准和校正。

图6D示出了在图像分块中的全视场(FOV)的子分块或子场。在该图中，所示的子分块是512像素x512像素。这些子分块可以细分所示视场，或者可以重叠。子分块可以更大或更小。例如，400x400和1024x1024像素子分块已被证明是可使用的。该图示出了5x7个子分块。上面说到的较大的传感器可以具有8x11个子分块。可以使用子分块的其他配置，例如3x3、5x5、5x7、9x9、9x16。较大的传感器可以分成更多的子分块。子分块可以重叠光学传感器的至少2个像素。更大和更小数量的像素可以用于在子分块之间的重叠。例如，对于512像素宽的子分块，可以使用最多达256像素重叠，而对于1024像素宽的子分块，可以使用最多达256像素重叠。与图6B和图6C一致，存在都在透镜的最佳位置(sweet spot)上的几个候选近中心子分块304，包括在奇数×奇数子分块阵列中的中心子分块。如在本文所使用的，近中心子分块包括传感器的中心像素，或者邻接包括中心像素的子分块。在平坦的且具有小误差的一些光学系统中，更远离邻接中心子分块的子分块可用作参考，而不影响整体失真补偿。

所公开的技术包括映射在由图像传感器捕获的基本上全视场上测量的失真。从规则结构化照射进行的增强分辨率SIM重建所依赖于的三个参数包括条纹图案的条纹间距、条纹角度和相位位移。这些变量也被称为结构化照射或光栅图案的间距、角度和相位偏移。可以使用多项式曲面(polynomial surfaces)横越全视场拟合离中心分块值的间距和角度偏差。二次和三次表面都被研究。也可以使用高阶多项式。

图像分块上的条纹间距和条纹角度都可以通过二次曲面来拟合。敏感度分析表明，二次曲面几乎与三次曲面一样好地拟合。二次曲面根据下列等式(II)拟合：

f(x,y)＝c0+(cl*x)+(c2*y)+(c3*x*y)+(c4*x²)+(c5*y²)(II)

相位估计的一个实现方式采用由2013年Wicker等人在他们的标题为“PhaseOptimisation for Structured Illumination Microscopy”的文章第3章中提出的技术。来自2015年Lal等人的标题为“Structured Illumination Microscopy ImageReconstruction Algorithm”和来自2013年Wicker等人的文章的等式帮助解释Wicker相位估计。

下面的等式(III)(取自2015年Lal等人的文章)分离获取的图像

中的频率分量的三个波段：

混合矩阵使用利用对应于图案角度或定向0的正弦照射强度图案

捕获的图像的相位

的估计。Wicker等人在2013年提到在定向处第n个图像的相位为

如果相位具有足够的精度是已知的，去混合或波段分离过程将在频域中从观察到的图像

不完全地分离空间频率分量。实际上，三个空间频率分量

将包含来自其他分量的或多或少的剩余信息，如通过下列等式(III)提供的噪声项所表示的：

其中

具有三个分量的这个公式是从正弦或余弦照射的傅里叶变换得出的。不同的照射函数可以改变等式。

因此，照射正弦强度图案相位的精确知识可能很重要。因为在实验装置中精确地控制这些相位并不总是可能的，从所获取的图像数据确定照射图案相位可能是合乎需要的。Wicker等2013年提出了对在选定频率下使用相干正弦照射获取的SIM数据的相位估计技术。相干照射从具有非常小的照射峰间距`s'的精细光栅产生良好的图案对比度，这增强了重建的分辨率。我们使用照射图案的峰频率来取回第n个图像的照射图案相位。照射图案的峰频率也被称为傅里叶峰。

下面的等式(IV)(来自Wicker等人2013年提出的文章)呈现了关于在频域中的频率

上所获取的图像

的等式(II)的广义形式。每个图像包括与不同的相位叠加的被称为

的三个分量。注意，这三个分量是与等式(III)中的

相同的三个分量。

注意，在等式(IV)中的“c”被称为照射图案的对比度。在没有噪声的情况下，“c”与等式(III)中的混合矩阵M中的调制因子“m”相同。为了确定

在等式(IV)中的频率

用

(其是照射图案的峰频率)代替，得出下面的等式(V)：

等式(V)示出了图案相位

近似等于在频率

上所获取的图像

的相位。当三个准则被遵循时，图案相位

的近似估计可以产生良好的结果。首先，照射图案的对比度c应该足够大。其次，样本功率谱应该随着频率增加而足够快地下降。当这两个准则被遵循时，等式(V)以最后一项为主，且因此可以被简化为下列等式(VI)：

对于任何实值样本，中心频率

将是实值的。此外，如果点扩散函数(PSF)

是实数且对称的，则光学传递函数(OTF)

将是实数。OTF是点扩散函数的卷积。点扩散函数是成像系统的光学传递函数的空间域版本。名称“点扩散函数”指示所有物理光学系统在某种程度上使光的点模糊(扩散)，模糊的量由光学部件的质量确定。成像系统的分辨率由PSF的大小限制。对于不对称的PSF，应考虑OTF的相位。

第三，在图案频率

处的OTF应该足够大以克服噪声。如果OTF太小，在所获取的图像中的噪声可能显著改变在

处测量的相位。为了支持检测OTF，这种相位估计方法不能用于在外部的图案频率

对于这样的频率，

光学系统的OTF可以在实验上被确定。例如，Lal等人2015年提出通过得到具有稀疏地分布的100nm荧光微球的样本的若干图像来计算OTF。对应于多于100个微球的强度分布然后被叠加并取平均以得到关于系统PSF的近似。该PSF的傅里叶变换提供了系统OTF的估计。在这个背景的情况下，相位估计技术可以应用于子分块。

估计分块相对于全视场(FOV)的相位位移可能是有用的，使得在一个子分块中的相位测量可以外推到横越分块的其他子分块。可以使用上面提出的二次模型从子分块的照射峰角度和照射峰间距来估计全FOV的照射峰角度和照射峰间距。相位位移可以是较不规则的，因为它取决于子分块的像素几何形状，这可能产生不规则的阶跃函数，而不是平滑函数。可以使用横越全FOV图像的子分块的公共参考系来表示相位估计。子分块坐标空间可以被映射到全FOV坐标空间。

B.SIM系统的质量控制方法的示例

在SIM光学系统中的各种结构和操作参数可能不利地影响SIM重建超分辨率图像的质量。例如，在包含透镜(例如，在上述透镜组件280内，集成到相机系统140中的一些其他透镜)的任何光学系统中，至少一个透镜可以包括一个或更多个结构像差，这可能在由相机系统140捕获的图像中产生失真。作为另一示例，在光学组件200内或在系统100的光路内的其他地方的部件的定位可能偏离预定的规范，并且这样的偏离可能在由相机系统140捕获的图像中产生失真。在SIM图像重建中使用的计算可能对在使用具有像差的透镜或使用具有其他像差的光学组件200捕获的源图像中的失真是敏感的。增加视场，使用大部分透镜而不是在中心中的最佳位置可能增强SIM图像重建对由透镜中的像差引起的失真的敏感性。因此，下面描述的示例通过提供用于检测上述像差(和其他像差)的系统和方法并根据需要进行调整以解释这样的像差(如果可能的话)来提供对上面识别的图像失真挑战的解决方案。换句话说，下文描述了如何进行在SIM光学系统中的结构和操作参数的质量控制检查或验证以确定它们是否在预定义的规范内的示例。因此，下面提供的质量控制和验证教导可以提供克服由在透镜或光学组件的其他部件中的像差带来的已知挑战的益处。

质量控制检查过程可以包括在两个焦平面(一个是光学焦平面，以及另一个是SIM光栅焦平面)之间的比较。可以通过观察物镜142的定位来建立光学焦平面，物镜142提供在样本容器110中的生物样本的最佳聚焦。在本示例中，可以通过沿着z轴朝着和远离样本容器110移动系统100的物镜142来调整光学焦平面。可以通过激活致动器282沿着线性路径LP2移动投影透镜组件280来调整SIM光栅焦平面。可以通过观察投影透镜组件280的定位来建立SIM光栅焦平面，峰质量条纹或峰干涉可以在该定位处从由相位掩模236、246提供的结构光图案被观察到。理想的SIM组件配置可以提供尽可能靠近光学焦平面的SIM光栅焦平面(例如，在光学焦平面的大约10nm内的SIM光栅焦平面)。在SIM光栅焦平面和光学焦平面之间的这个差异可以被视为“共焦”。

下面的描述提到在处理方法中的SIM堆栈的处理。在本示例中，每个SIM堆栈包括12个图像——来自两个通道的6个图像。对于每个通道，六个图像的组包括当光栅切换器250处于第一状态(例如，如图5A-5B所示)中时利用反射元件270在沿着线性路径LP1的三个不同定位处获取的三个图像以及当光栅切换器250处于第二状态(例如，如图5C-5D所示)中时利用反射元件270在沿着线性路径LP1的相同的三个不同定位处获取的另外三个图像。因此，在SIM堆栈中的每个通道的六个图像的组代表两个不同光栅角度或照射峰角度中的每一个的三个不同相位。可选地，可以使用任何其他合适数量的图像来形成每个SIM堆栈，并且这样的图像可以基于除了上面描述的参数之外的参数而彼此不同。每个SIM堆栈可以在不同的z定位处被收集，意味着可以用位于离样本容器110不同距离处的物镜142来收集每个SIM堆栈。仅作为示例，可以在从大约20个不同的z定位到大约40个不同的z定位处收集SIM堆栈。不同的z定位可以以任何合适的间隔(例如从大约0.1μm到大约1.0μm，或者从大约0.2μm到大约0.8μm，或者大约0.5μm的间隔)间隔开。

该过程可以通过针对每个z定位收集SIM堆栈来开始，如在图7的块400中所示。如上面所提到的，每个SIM堆栈可以包括12个图像。接下来，可以读取每个SIM堆栈以针对在堆栈中的每个图像测量半高全宽(FWHM)，如在图7的块402中所示。可以在每个通道和每个光栅角的中心估计窗口上测量FWHM(光栅角基于在SIM堆栈中的图像被捕获时的光栅切换器250的状态)。为了提供中心估计窗口，可以将图像裁剪到中心区域以省略外边缘和角区域，在外边缘和角区域中相对高的失真也许是可能的。可以使用每个角的原始的、未重建的相位0来完成在每个通道和每个光栅角的中心估计窗口上的FWHM值的测量。对于每个通道-角度对只测量一个相位可以节省计算成本，并且可以提供足够的结果。

在针对每个SIM堆栈测量FWHM之后，该过程将确定额外的SIM堆栈是否需要被处理，如在图7的块404中所示，应当理解的是，每个SIM堆栈对应于唯一的相应z定位。如果另外的SIM堆栈需要被处理，则该过程将继续针对这些SIM堆栈测量FWHM，直到针对所有SIM堆栈测量了FWHM为止。一旦针对所有SIM堆栈(即，所有z定位，在第一遍期间)测量了FWHM，则该过程就将识别具有最佳聚焦z定位的SIM堆栈，如在图7的块406中所示。然后，该过程将测量在具有最佳聚焦z定位的SIM堆栈中的图像的光栅间距、角度和相位，如在图7的块408中所示。

在测量在具有最佳聚焦z定位的SIM堆栈中的图像的光栅间距、角度和相位之后，该过程然后将针对在所有SIM堆栈中的每个通道-角度对测量调制和相位(即，在第二遍期间，在所有z定位处)，如在图7的块410和412中所示。条纹调制是条纹干涉图案强度的定量度量(取值从0到1，其中1是假设完全干涉和无透射损耗的理论最大值)。基于条纹图案的定向和周期的准确估计，预测计算准确调制值。当更远离光栅最佳焦平面的z定位被处理时，调制值被预期越接近0时越降低。

一旦针对在所有的SIM堆栈(即，所有的z定位)中的每个通道-角度对测量了调制和相位，该过程就将针对每个SIM堆栈(即，每个z定位)将所有FWHM、光栅间距、角度、相位和调制制成表，如在图7的块414中所示。在该表格完成之后，对于每个通道-角度对，该过程将拟合关于z定位相对于FWHM和z定位相对于调制的多项式模型或曲线，如在图7的块中416所示。

在针对每个通道-角度对拟合多项式模型或曲线之后，该过程可以针对每个通道-角度对计算共焦度量，如在图7的块418中所示。这个共焦值可以如下被计算：

共焦＝最小FWHM z位置-最大调制z位置。 (VII)如上面所提到的，可能期望的有共焦值，其中SIM光栅焦平面尽可能靠近光学焦平面(例如，在光学焦平面的大约10nm内的SIM光栅焦平面)。

在一些实现方式中，该过程可以产生表格或其他报告。基于上述过程，表格或其他报告可以陈列对应于在手边的成像系统的各种参数。仅作为示例，在报告包括表格的版本中，表格的列可以包括z高度(即，在物镜142和样本容器110之间的距离)、通道、角度刻度、调制、FWHM、光栅间距、光栅角度和任何其他合适的参数。可以将表格中的参数与预定义的规范进行比较以提供质量控制检查。

在表格或其他报告中的任何参数相对于规范偏离超过容许量的情况下，可以对光学组件200或系统100的其他部件做出调整以试图将那些偏离的参数带入规范内。例如，光学组件200的一些版本可以使调整能够固定相移或调制。作为示例，在共焦值相对于规范偏离超过容许量的情况下，调整可以包括移动投影透镜部件280、移动相机系统140、移动电光调制器或移动某个其他部件。作为另一示例，在相位值相对于规范偏离超过容许量的情况下，调整可以包括校准用于驱动致动器272的电压，以便为所有光学配置在样本处实现正确量的条纹平移。作为另一示例，在质量控制检查揭示在倾斜或色差中的像差的情况下，部件相机系统140可以被可移动地调整，但是这样的移动可能影响共焦。如鉴于本文的教导对本领域中的技术人员将明显的，可以提供其他合适种类的调整。

可以再次执行上面所述的质量控制检查过程，以查看调整是否实际上将偏离的参数带进规范内。在不可能进行调整以将偏离的参数带进规范内的情况下，光学组件200的部件或系统100的为偏离的参数负责的其他部件可以被替换。在这样的部件不可能被替换的情况下，完全摈弃光学组件200或系统100可能也是合乎需要的。

C.相位校准方法的示例

如上所述，光学组件200可以通过致动器272的激活来提供相移，这可以通过改变反射元件270沿着线性路径LP1的定位来改变光学组件200的相位。也如上面所提到的，致动器272可以包括压电原动力元件或任何其他合适的部件。在致动器272包括压电原动力元件的版本中，反射元件270沿着线性路径LP1的定位可以基于施加到压电原动力元件的电压而变化。因此，不同的相位可以与提供到致动器272的不同的对应电压相关联。致动器272和反射元件270的电压-移动校准曲线可以直接影响相位移动的准确度。这又可能影响通过包括了致动器272和反射元件270的系统100提供的SIM重建的质量。因此，提供用于校准致动器272的电压以实现准确的相移的方法可能是合乎需要的。下面参考图8详细描述了这种方法的示例。在一些实例中，可以在光学组件200被首次使用之前执行这个过程。此外或者可选地，该过程可以在一些情况下被执行，其中使用上面参考图7描述的过程获得的数据揭示了数据指示光学组件100的相移是不准确的。

在本示例中，像上面描述的十二图像SIM堆栈一样，使用由十二图像SIM堆栈定义的工作的单元来执行校准致动器272的电压的方法。如上所述，该十二图像SIM堆栈可以包括来自每个通道的六个图像。对于每个通道，六个图像的组包括当光栅切换器250处于第一状态(例如，如图5A-5B所示)中时利用反射元件270在沿着线性路径LP1的三个不同定位处获取的三个图像以及当光栅切换器250处于第二状态(例如，如图5C-5D所示)中时利用反射元件270在沿着线性路径LP1的相同的三个不同定位处获取的另外三个图像。换句话说，对于光栅切换器250的每个状态，对于每个通道的每组六个图像将具有三个相关相位(例如，相位0、相位1和相位2)。换句话说，每个通道-角度对可以具有在三个相对应的相位处的三个图像。当然，该过程可以替代地应用于通道、角度和相位配对的任何其他组合。

如在图8的块500中所示，相位校准过程可以以选择在SIM堆栈中的具有最佳聚焦的图像开始，其具有估计窗口大小N、第一相位步长(例如120度)和第二相位步长(例如240度)的相位步进目标以及小于10度的相位偏差目标。

接下来，该过程可以包括将图像视场的中心窗口裁剪成预定尺寸(例如，1024x1024像素)，如在图8的块502中所示。利用这个所裁剪的图像，该过程可以执行SIM参数估计以针对每个通道和每个角度识别光栅间距、光栅角度和调制，如在图8的块504中所示。可以根据上面在图7所示的过程的上下文中提供的教导来执行这个SIM参数估计。

一旦SIM参数估计被完成，该过程就可以对每个通道-角度对执行Wicker相位细化过程以估计每个图像的相位，如在图8的块506中所示。可以根据上面的教导来执行Wicker相位估计过程。

该过程还可以从来自每个通道-角度对的三个相位图像中的每一个相位图像中收集三个相位值，如在图8的块508中所示。接下来，该过程可以针对每个通道-角度对展开相位，如在图8的块510中所示，因此相位值是逐步单调地增加的。该相位展开可以包括向每个连续的通道-角度对增加360度。

然后，对于每个通道-角度对，如在图8的块512中所示，该过程可以将在第一图像和第二图像之间的相移计算为phase_shift_12＝展开的相位2-展开的相位1。类似地，对于每个通道-角度对，该过程然后可以将在第一图像和第三图像之间的相移计算为phase_shift_13＝未展开的相位3-未展开的相位1。

然后，该过程可以通过SIM堆栈来评估所有phase_shift_12值和所有phase_shift_13值，如在图8的块514中所示。如果所有phase_shift_12值和所有phase_shift_13值都在预定范围内(例如，在目标相移步长的10度内)，则该过程可以在电压被适当地校准的情况下被认为是完成的，如在图8的块522中所示。

如果通过SIM堆栈对所有phase_shift_12值和所有phase_shift_13值的评估揭示所有phase_shift_12值和所有phase_shift_13值不在预定范围内，则该过程可以继续计算为每个通道-角度对实现期望的设定点目标所需的比例增益，如在图8的块516中所示。为此目的，该过程可以将在第一图像和第二图像之间的相移的增益计算为gain12＝120/(phase_shift_12)，其中phase_shift_12值以度为单位。该过程可以将在第一图像和第三图像之间的相移的增益计算为gain13＝240/(phase_shift_13)，其中phase_shift_13值以度为单位。可以针对每个通道-角度对执行这些比例增益计算。

在比例增益计算完成之后，该过程可以通过将计算出的增益应用于现有电压值来为致动器272建立新电压，如在图8的块518中所示。对于第一相位(例如，“相位0”)，电压可以保持不变。对于第二相位(例如，“相位1”)，新电压可以是第二相位(相位1)的原始电压乘以如上计算的gain12值的因子。对于第三相位(例如，“相位2”)，新电压可以是第三相位(相位2)的原始电压乘以如上计算的gain13值的因子。可以针对每个通道-角度执行这些新电压计算。

一旦为每个通道-角度对建立了新电压，新电压就可以在新的SIM图像堆栈被捕获时施加到致动器272，如在图8的块520中所示。然后，可以如图8所示重复上述过程，以确定新电压是否将所有phase_shift_12值和所有phase_shift_13值带进预定范围内。如果新电压实际上将所有phase_shift_12值和所有phase_shift_13值带进预定范围内，则该过程可以完成。如果新电压还没有将所有phase_shift_12值和所有phase_shift_12值带进预定范围内，则该过程可以根据需要重复多次，直到电压将所有phase_shift_12值和所有phase_shift_13值带进预定范围内为止。

D.可选的目标设备的示例

如上所述，系统100可以提供样本容器110作为用于成像的目标。在一些其他实例中，提供目标设备来代替样本容器100可能是合乎需要的，该目标设备专用于校准和质量控制检查目的。这样的专用目标设备可以依尺寸被制造和配置成代替样本容器110来安置在系统100内，使得专用目标设备可以具有与由样本容器提供的厚度和成像表面类似的厚度和成像表面。专用目标设备还可以包括在图像目标表面上的一个或更多个光学图案。在SIM系统的背景中，特别注意如何定义这些光学图案可能是必要的。可以适合于如在非SIM系统中使用的专用目标设备的光学图案可能不适合于在SIM系统中使用。例如，使用与彼此平行且与彼此一致地分开的直线的阵列的光学图案、在完美网格中排列的点的阵列或具有有规律地重复的元素的一些其他图案可以不在SIM系统中提供期望的Moire混叠效应。换句话说，这样的图案可能不允许在结构上照射的条纹频率峰从目标图案的伪影频率峰被辨别出。

鉴于前述内容，在专用于在SIM系统中使用的目标设备中的光学图案内提供随机化可能是合乎需要的。这可以包括以随机、无序方式布置的点、线或其他特征的图案。在一些实例中，光学图案可以是伪随机化的。这种伪随机化的示例在图9A和9B中示出。在图9A中，一组点在有序布置中被示出，使得点彼此等距地间隔开。图9A的这个配置可适合于在非SIM系统的目标设备中使用而不适合在SIM系统的目标设备中使用。为了提供伪随机化，目标设计可以以有序阵列点开始，且然后以随机化方式移动每个点以到达如在图9B中所示的图案。在如图9B所示点在伪随机化图案中的情况下，该配置可适合于在SIM系统的目标设备中使用。

在上面参考图9A和图9B描述的示例中，图9B的图案是“伪随机化的”而不是“随机化的”，因为该图案最初在有序布置中被提供。这个“伪随机化”可能相对于“完全随机化”是优选的，因为随机化过程(即，将图9A的图案转换成如在图9B中所示的图案)可以允许在“伪随机化”图案中的点之间提供特定的最小量的间距。换句话说，伪随机化过程可以确保在图案中的点至少从彼此间隔开特定距离。这在SIM成像中可能很重要，因为如果在目标光学图案中的点太接近彼此，SIM成像结果可能是不可接受的或否则是不太理想的。除了实施最小点间距规则之外，伪随机化可以以其他方式允许来自图9A的有序阵列的点的重新定位是完全随机的。

除了包括如上所述的点的图案之外或代替包括如上所述的点的图案，用于在SIM系统中校准和质量控制检查的专用目标设备还可以包括其他光学特征。例如，目标设备可以包括图案化线阵列。这种线阵列可以包括线对。每个对线可以在结构化照射的所需/预期角度下倾斜。因此，当图案化光移动进和移动出线对的相位时，所得到的强度的差异(作为相长/同相和相消/反相干涉的结果)可以实现对在两个图案之间的平行度的测量。如图10所示，当结构化照射(b/d)与线对(a)同相(b)和异相(d)地移动时，这将分别从相长干涉和相消干涉导致更多(c)或更少(e)的所测量的强度。如果两个图案(所印刷的线对和结构化照射)是完全平行的/成同角度的，则所得到的强度分布可以被预期提供一致地成角度的线，如在图11A中所示的那些。然而，如果结构化照射图案是偏角的，则所得到的强度特征(intensity signature)可以揭示循环的暗部分，如在图11B中所示的那些，取决于偏轴角的度数。

专用目标设备包括包含响应于来自光学组件200的光而发荧光的流体的流体通道也可能是期望的。在样本容器110还可能包含流体通道(例如，作为流动池的一部分)这方面来说，一些这样的流体通道可能是相对厚的。相对厚的流体通道可能不太有利于SIM成像，因为可以测量到的重新成像的条纹的调制较少。

图12示出了基于流体通道的深度的不同调制曲线的示例。曲线600示出了随相位变化的以调制的形式的输入信号。曲线602示出了来自相对厚的流体通道(例如，大约75μm厚)的信号的示例，其表示重新成像的条纹的调制。如所示，对相对厚的流体通道的重新成像的调制基本上小于输入调制。曲线604示出了来自相对薄的流体通道(例如，大约3μm厚)的信号的示例，其表示重新成像的条纹的调制。如所示，相比于对相对厚的流体通道的重新成像的调制，对相对薄的流体通道的重新成像的调制基本上更接近输入调制。仅作为示例，对相对厚的流体通道的重新成像的调制可以是输入调制的大约30％；而相对薄的通道的重新成像的调制可以是输入调制的大约70％。曲线606示出了来自甚至更薄的流体通道(例如，任意地，薄于3μm)的信号的示例，其表示重新成像的条纹的调制。

如通过比较这些曲线600、602、604、606可以看到的，流体通道越细，重新成像的调制就越接近输入调制。当流体通道的厚度接近0μm时，重新成像的调制接近输入调制。这可能鼓励设计出在可制造前提下尽可能薄的流体通道。然而，使流体通道变得太薄可能不利地影响在流体通道中的染料的光稳定性。因此，在流体通道中的染料的光稳定性和重新成像的调制的准确度之间进行适当平衡可能是合乎需要的。仅作为示例，在大约3μm的流体通道厚度的情况下，可以找到适当的平衡。可选地，在从大约2μm到大约10μm的流体通道厚度的情况下，可以找到可接受的平衡。

V.其他约定

提供前述描述以使本领域中的技术人员能够实践本文描述的各种配置。虽然参考各种附图和配置特别描述了主题技术，但是应当理解，这些仅仅是为了说明的目的，并且不应当被视为限制主题技术的范围。

可能有实现主题技术的许多其他方式。本文描述的各种功能和元素可以与所示出的那些功能和元素不同地被实践而不偏脱离主题技术的范围。对这些实现方式的各种修改对本领域中的技术人员可以是容易明显的，并且在本文限定的一般原理可应用于其它实现方式。因此，可由本领域中的普通技术人员对主题技术做出许多修改而不偏离主题技术的范围。例如，可以使用不同数量的给定模块或单元，可以使用一种或更多种不同类型的给定模块或单元，可以添加给定模块或单元，或者可以省略给定模块或单元。

可以使用计算机系统来实现本文描述的示例的一些版本，该计算机系统可以包括通过总线子系统与多个外围设备通信的至少一个处理器。这些外围设备可以包括存储子系统，其包括例如存储器设备和文件存储子系统、用户接口输入设备、用户接口输出设备和网络接口子系统。输入和输出设备可以允许用户与计算机系统交互作用。网络接口子系统可以提供到外部网络的接口，包括到在其他计算机系统中的相对应的接口设备的接口。用户接口输入设备可以包括键盘；指向设备，例如鼠标、轨迹球、触摸板或图形输入板；扫描仪；合并到显示器内的触摸屏；音频输入设备，例如语音识别系统和麦克风；以及其他类型的输入设备。一般而言，术语“输入设备”的使用意欲包括将信息输入到计算机系统内的所有可能类型的设备和方式。

用户接口输出设备可以包括显示子系统、打印机、传真机或非视觉显示器，例如音频输出设备。显示子系统可以包括阴极射线管(CRT)、平板设备(例如液晶显示器(LCD))、投影设备或用于创建可视图像的一些其他机构。显示子系统还可以提供非视觉显示器，例如音频输出设备。一般而言，术语“输出设备”的使用意欲包括将信息从计算机系统输出到用户或另一机器或计算机系统的所有可能类型的设备和方式。

存储子系统可以存储提供本文描述的一些或所有模块和方法的功能的编程和数据结构。这些软件模块通常可以由计算机系统的处理器单独地或者与其他处理器结合来执行。在存储子系统中使用的存储器可以包括多个存储器，包括用于在程序执行期间存储指令和数据的主随机存取存储器(RAM)和存储固定指令的只读存储器(ROM)。文件存储子系统可以为程序和数据文件提供永久存储，并且可以包括硬盘驱动器、软盘驱动器连同相关可移动介质、CD-ROM驱动器、光盘驱动器或可移动介质盒。实现特定实现方式的功能的模块可以由在存储子系统中或者在由处理器可访问的其他机器中的文件存储子系统存储。

计算机系统本身可以具有不同类型，包括个人计算机、便携式计算机、工作站、计算机终端、网络计算机、电视机、大型机、服务器场(server farm)、广泛分布的一组松散地联网的计算机或任何其他数据处理系统或用户设备。由于计算机和网络的不断变化的性质，本文描述的计算机系统的示例仅意欲作为用于说明所公开的技术的目的的特定示例。具有比本文描述的计算机系统更多或更少的部件的计算机系统的许多其他配置是可能的。

作为制造物品而不是方法，非暂时性计算机可读介质(CRM)可以被加载有由处理器可执行的程序指令。程序指令当被执行时实现上面所述的计算机实现的方法中的一个或更多个。可选地，程序指令可以被加载在非暂时性CRM上，并且当与适当的硬件组合时成为实践所公开的方法的计算机实现的系统中的一个或更多个的部件。

带下划线和/或斜体的标题和子标题仅为了方便而被使用，不限制主题技术，并且不与主题技术的描述的解释有关地被提到。本领域中的普通技术人员已知或后续将知道的在整个本公开中描述的各种实现方式的元素的所有结构和功能等同物通过引用被明确地并入本文并被规定为由主题技术包括。此外，本文公开的内容没有一个被规定为贡献给公众，而无论这样的公开是否在上面的描述中被明确地叙述。

应当认识到，前述概念和下面更详细讨论的额外概念的所有组合(假设这样的概念不相互不一致)被设想为本文公开的创造性主题的一部分。特别是，在本公开的结尾处出现的所主张的主题的所有组合被设想为本文公开的创造性主题的一部分。

Claims (20)

1.一种方法，包括：

接收多个图像组，所述多个图像组中的每个图像组包括在光学系统中使用结构化照明显微术(SIM)捕获的图像；

使第一图像组与所述多个图像组隔离；

测量对应于所述第一图像组中的每个图像的半高全宽(FWHM)值；

计算所述图像组的共焦度量；以及

至少部分地基于所计算的共焦度量，生成呈现对应于所述光学系统的参数值的报告。

2.根据权利要求1所述的方法，还包括生成与每个图像相关联的参数，所生成的参数包括以下项中的一个或更多个：z高度、通道、角度刻度、调制值、光栅间距或光栅角度。

3.根据权利要求1所述的方法，还包括映射所述图像组中来自所述光学系统的条纹角度。

4.根据权利要求1所述的方法，还包括映射所述图像组中来自所述光学系统的条纹间距。

5.根据权利要求1所述的方法，还包括映射所述图像组中来自所述光学系统的相位位移。

6.根据权利要求1所述的方法，还包括：

至少部分地基于在所述第一图像组中的图像上的平均FWHM值来识别最小FWHM切片；

对与所述第一图像组相对应的所识别出的最小FWHM切片执行参数估计；

至少部分地基于对应于所述第一图像组的所执行的参数估计来识别焦点对准参数；以及

至少部分地基于对应于所述第一图像组的所识别出的焦点对准参数来执行调制计算。

7.根据权利要求6所述的方法，其中在不同的z位置捕获图像，所述最小FWHM切片与第一z位置相关联，所述方法还包括：基于所执行的调制计算来识别与最大调制相关联的第二z位置。

8.根据权利要求7所述的方法，其中计算所述图像组的共焦度量包括从所述第一z位置减去所述第二z位置。

9.一种方法，包括：

接收多个图像组，所述多个图像组中的每个图像组包括在光学系统中使用结构化照明显微术(SIM)捕获的图像，每个图像组在对应的z位置处从成像目标捕获，来自每个图像组的每个图像具有相关联的通道和光栅角度；

测量与所述多个图像组中的每个图像相对应的半高全宽(FWHM)值；

预测所述多个图像组中每个图像的SIM参数的值，所述预测至少部分地基于所测量的FWHM值；

至少部分地基于所预测的SIM参数的值来生成重建图像。

10.根据权利要求9所述的方法，其中，所预测的SIM参数的值包括以下项中的一个或更多个：结构化照射图案的预测相位，或结构化照射图案的预测频率。

11.根据权利要求9所述的方法，还包括至少部分地基于多个图像中的图像的图像捕获时间来存储所预测的SIM参数的值。

12.根据权利要求9所述的方法，还包括至少部分地基于多个图像的图像目标位置来存储所预测的SIM参数的值。

13.根据权利要求9所述的方法，其中，所预测的SIM参数的值包括以下项中的一个或更多个：z位置、通道、角度刻度、FWHM、光栅间距或光栅角度。

14.根据权利要求9所述的方法，还包括：

至少部分地基于在所述多个图像组中的第一图像组中的图像上的平均FWHM值来识别最小FWHM切片；

对与所述第一图像组相对应的所识别出的最小FWHM切片执行参数估计；

至少部分地基于对应于所述第一图像组的所执行的参数估计来识别焦点对准参数；以及

至少部分地基于对应于所述第一图像组的所识别出的焦点对准参数来执行调制计算。

15.一种装置，包括：

第一光学组件，所述第一光学组件朝着目标发射结构化照射，所述第一光学组件包括：

光发射组件；

第一相位掩模，所述第一相位掩模将第一图案赋予由所述光发射组件发射的光；

第二相位掩模，所述第二相位掩模将第二图案赋予由所述光发射组件发射的光；以及

相位调整组件，所述相位调整组件调整由所述第一相位掩模或所述第二相位掩模结构化的光的相位；

第二光学组件，所述第二光学组件包括捕获由所述第一光学组件照射的所述目标的图像的图像传感器；

瞄准设备，所述瞄准设备包括预先形成的光学图案，所述瞄准设备接收来自所述第一光学组件的朝着所述预先形成的光学图案的结构化照射光，所述图像传感器捕获由所述第一光学组件照射的所述瞄准设备的所述预先形成的光学图案的图像；以及

处理器，所述处理器执行下列操作：

接收使用所述第二光学组件捕获的多个图像组，

使第一图像组与所述多个图像组隔离，

测量对应于所述第一图像组中每个图像的半高全宽(FWHM)值，

至少部分地基于所测量的FWHM值来执行参数估计，

至少部分地基于对应于所述第一图像组的所执行的参数估计来识别焦点对准参数，以及

至少部分地基于对应于所述第一图像组的所识别出的焦点对准参数来执行调制计算。

16.根据权利要求15所述的装置，其中所述预先形成的光学图案包括点的阵列，所述点的阵列以无序排列方式定位，并且间隔开至少预定的最小间距。

17.根据权利要求15所述的装置，其中所述预先形成的光学图案包括图案化线阵列。

18.根据权利要求17所述的装置，其中所述图案化线阵列包括至少一个线对，所述第一相位掩模的所述第一图案包括第一组线，所述第二相位掩模的所述第二图案包括第二组线，其中，所述至少一个线对的线被布置成相对于所述第一组线和相对于所述第二组线是偏角的。

19.根据权利要求17所述的装置，其中所述图案化线阵列被配置为能够测量所述图案化线阵列的线与由所述第一光学组件生成的线之间的平行度。

20.根据权利要求15所述的装置，其中所述瞄准设备还包括流体填充通道，所述流体填充通道包含响应于来自所述第一光学组件的光而发荧光的流体，所述流体填充通道的深度为约2μm至约10μm。

Images