CN113508417B

CN113508417B - 一种图像处理系统和方法

Info

Publication number: CN113508417B
Application number: CN202080012667.7A
Authority: CN
Inventors: 陈良怡; 李浩宇; 赵唯淞; 黄小帅
Original assignee: Guangzhou Chaoshiji Biotechnology Co ltd
Current assignee: Guangzhou Chaoshiji Biotechnology Co ltd
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2022-05-24
Anticipated expiration: 2040-06-08
Also published as: EP3942518A4; US20210383516A1; US20220076393A1; JP2023502544A; CN113508417A; CN114998100A; WO2021248262A1; EP3942518A1; CA3124052C; US11189016B1; US20240046416A1; JP7203287B1; CA3124052A1; EP3942518B1; US11790502B2

Abstract

本申请中提供了用于图像处理系统和方法。系统可以通过对由图像获取设备生成的图像数据进行滤波以生成初始图像。系统可以基于第一目标函数，对初始图像执行第一迭代操作以生成中间图像。第一目标函数可以包括与中间图像和初始图像之间的第一差值相关联的第一项，与中间图像的连续性相关联的第二项和与中间图像的稀疏性相关联的第三项。系统还可以基于第二目标函数，对中间图像执行第二迭代操作以生成目标图像。第二目标函数可以与图像获取设备的系统矩阵以及中间图像和目标图像之间的第二差值相关联。

Description

一种图像处理系统和方法

技术领域

本申请涉及图像处理领域，尤其涉及重建超分辨图像的系统和方法以提取超过图像获取设备生成的图像数据的空间分辨率。

背景技术

由图像获取设备(例如，显微镜、望远镜、相机、网络相机)生成或采集的原始图像通常具有相对较差的分辨率和/或相对低的对比度，因为诸如光漂白，光毒性等问题。图像处理技术广泛用于图像重建以产生具有更高质量的图像。然而，传统的图像处理技术受限于诸如信噪比(SNR)、物理光学限制等因素，从而重建的图像通常具有伪影或者重建速度可能相对较低。因此，期望提供有效处理图像的系统和方法，以有效地提高图像分辨率和重建速度。

发明内容

在本申请的一个方面，提供了一种图像处理方法。该方法可以在至少一台机器上实现，每台机器具有至少一个处理器和至少一个存储设备。该方法可以包括通过对由图像获取设备生成的图像数据进行滤波以生成初始图像。该方法可以包括基于第一目标函数，对所述初始图像执行第一迭代操作以生成中间图像。所述第一目标函数可以包括第一项、第二项和第三项。所述第一项可以与所述中间图像和所述初始图像之间的第一差值相关联。所述第二项可以与所述中间图像的连续性相关联。所述第三项可以与所述中间图像的稀疏性相关联。该方法还可以包括基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像。所述第二目标函数可以与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。

在一些实施例中，所述对所述图像数据滤波可以包括通过对所述图像数据执行维纳反滤波来对所述图像数据进行滤波。

在一些实施例中，所述第一迭代操作可以是用于最小化所述第一目标函数的操作。

在一些实施例中，所述第一项可以包括与所述中间图像的图像保真度相关联的第一权重因子。

在一些实施例中，所述第一项还可以包括所述第一差值的L-2范数。

在一些实施例中，所述第二项可以包括所述中间图像的海森矩阵。

在一些实施例中，所述第三项可以包括与所述中间图像的所述稀疏性相关联的第二权重因子。

在一些实施例中，所述第三项可以还包括所述中间图像的L-1范数。

在一些实施例中，所述第二迭代操作可以是用于最小化所述第二目标函数的操作。

在一些实施例中，所述第二迭代操作可以包括迭代反卷积。

在一些实施例中，所述第二差值可以包括所述中间图像与所述目标图像乘以所述系统矩阵之间的第三差值。

在一些实施例中，所述第二目标函数可以包括所述第二差值的L-2范数。

在一些实施例中，该方法还可以包括基于所述初始图像生成估计背景图像。

在一些实施例中，所述第一项还可以与所述第一差值和所述估计背景图像之间的第四差值相关联。

在一些实施例中，所述基于所述初始图像生成估计背景图像可以包括通过对所述初始图像执行迭代小波变换操作以生成所述估计背景图像。

在一些实施例中，所述迭代小波变换操作可以包括一个或多个迭代。每个当前迭代可以包括基于所述初始图像或在前一次迭代中生成的估计图像确定输入图像。每个当前迭代可以包括通过对所述输入图像执行多尺度小波分解操作以生成分解图像；通过多所述分解图像执行逆小波变换操作以生成变换图像；基于所述变换图像和所述输入图像生成更新的变换图像；通过对所述更新的变换图像执行截止操作以生成所述当前迭代的估计图像；以及，响应于确定满足终止条件，将所述估计图像指定为背景图像。

在一些实施例中，所述第一迭代操作可以包括基于所述初始图像确定初始估计中间图像；并基于所述初始估计中间图像执行所述第一目标函数的至少两个迭代来更新估计中间图像。在所述至少两个迭代的每个中，响应于确定满足终止条件，确定所述中间图像。

在一些实施例中，该方法还可以包括对所述初始估计中间图像执行上采样操作。

在一些实施例中，与基于不包括所述第一目标函数的所述第三项的第三目标函数生成的参考图像相比，所述目标图像具有提高的空间分辨率。

在一些实施例中，相对于所述参考图像的第二空间分辨率，所述目标图像的第一空间分辨率提高了50％-100％。

在一些实施例中，所述图像获取设备可以包括结构光显微镜。

在一些实施例中，所述图像获取设备可以包括荧光显微镜。

在本申请的另一方面，提供了一种图像处理系统。该系统可以包括至少一个存储介质，包括一组指令集，和至少一个处理器与至少一个存储介质进行通信。当执行所述指令集时，所述至少一个处理器使所述系统执行操作包括：至少一个处理器可以通过对由图像获取设备生成的图像数据进行滤波以生成初始图像。至少一个处理器可以基于第一目标函数，对所述初始图像进行第一迭代操作以生成中间图像。所述第一目标函数可以包括第一项、第二项和第三项。所述第一项可以与所述中间图像和所述初始图像之间的第一差值相关联。所述第二项可以与所述中间图像的连续性相关联。所述第三项可以与所述中间图像的稀疏性相关联。至少一个处理器可以基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像。所述第二目标函数可以与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。

在本申请的另一方面，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质可以包括用于图像处理的至少一组指令集。当由计算设备的一个或多个处理器执行时，所述至少一组指令集可以使得计算设备执行方法。该方法可以包括通过对由图像获取设备生成的图像数据进行滤波以生成初始图像。该方法可以包括基于第一目标函数，对所述初始图像进行第一迭代操作以生成中间图像。所述第一目标函数可以包括第一项、第二项和第三项。所述第一项可以与所述中间图像和所述初始图像之间的第一差值相关联。所述第二项可以与所述中间图像的连续性相关联。所述第三项可以与所述中间图像的稀疏性相关联。该方法还可以包括基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像。所述第二目标函数可以与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。

在本申请的另一方面，提供了一种图像处理系统。该系统可以包括初始图像生成模块、稀疏重建模块和反卷积模块。所述初始图像生成模块可以被配置为通过对由图像获取设备生成的图像数据进行滤波以生成初始图像所述稀疏重建模块可以被配置为基于第一目标函数，对所述初始图像进行第一迭代操作以生成中间图像。所述第一目标函数可以包括第一项、第二项和第三项。所述第一项可以与所述中间图像和所述初始图像之间的第一差值相关联。所述第二项可以与所述中间图像的连续性相关联。所述第三项可以与所述中间图像的稀疏性相关联。所述反卷积模块可以被配置为基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像。所述第二目标函数可以与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。

本申请的一部分附加特性可以在以下描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过以下讨论的详细示例中阐述的方法、工具和组合的各个方面的实践或使用来实现和获得。

附图说明

进一步详细描述了本申请的示例性实施例。这些示例性实施例将通过附图进行详细描述。这些实施例不是限制性的，并且在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的图像处理系统的示例性应用场景的示意图；

图2是根据本申请一些实施例所示的示例性计算设备的示意图；

图3是根据本申请一些实施例所示的终端所在的示例性移动设备的框图；

图4是根据本申请一些实施例所示的示例性处理设备的示意图；

图5是根据本申请一些实施例所示的图像处理的示例性流程图；

图6是根据本申请一些实施例所示的背景估计的示例性流程图；

图7是根据本申请一些实施例所示的表明稀疏反卷积算法流程图的示例性结果；

图8A-8Q是根据本申请一些实施例所示的表明稀疏-SIM在活细胞中时空分辨率可以大体上达到60nm和毫秒的示例性结果；

图9A-9G是根据本申请一些实施例所示的表明线粒体内和内质网线粒体之间的复杂动力学被双色稀疏-SIM可视化的示例性结果；

图10A-10L是根据本申请一些实施例所示的表明稀疏SD-SIM可以实现三维、多色和小于90nm分辨率的活细胞SR成像的示例性结果；

图11A-11K是根据本申请一些实施例所示的表明上采样可以使稀疏SD-SIM克服奈奎斯特采样限制以实现活细胞的多色三维SR成像的示例性结果；

图12是根据本申请一些实施例所示的表明稀疏反卷积的详细工作流的示例性结果；

图13A-13D是根据本申请一些实施例所示的表明根据合成图像在稀疏反卷积的不同步骤下的空间分辨率基准的示例性结果；

图14A-14D是根据本申请一些实施例所示的表明不同步骤对合成图像的稀疏反卷积的贡献可能随噪声污染程度的不同而不同的示例性结果；

图15A-15F是根据本申请一些实施例所示的表明在处理真实的生物结构时，通过稀疏反卷积算法真实延展空间分辨率的示例性结果；

图16A和16B是根据本申请一些实施例所示的表明通过在不同情况下荧光微珠可视化的傅里叶变换获得光学传递函数的示例性结果；

图17A和17B是根据本申请一些实施例所示的表明利用只有稀疏性、只有连续性、或同时具有稀疏性和连续性的先验重建的示例性结果；

图18A-18E是根据本申请一些实施例所示的表明在SD-SIM和稀疏SD-SIM下的荧光微珠的三维图像堆叠的示例性结果；

图19A-19D是根据本申请一些实施例所示的表明利用稀疏SD-SIM对网格蛋白和肌动蛋白进行双色活细胞成像的示例性结果；以及

图20A和20B是根据本申请一些实施例所示的表明利用稀疏SD-SIM显示内质网溶酶体接触的示例性结果。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其它情况下，为了避免不必要地使本申请的各方面变得晦涩难懂，已经在较高的层次上描述了众所周知的方法、过程、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。

本申请中所使用的术语仅出于描述特定示例实施例的目的，而非限制性的。如本申请使用的单数形式“一”、“一个”及“该”同样可以包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中使用的术语“包括”、“包含”仅提示存在所述特征、整数、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其它特征、整数、步骤、操作、组件、部件和/或其组合的情况。应当理解，术语“对象”和“目标”可以互换使用指的是经历本申请的成像过程的事物。

可以理解的是，本文使用的术语“系统”、“引擎”、“单元”、“模块”和/或“区块”是用于按升序区分不同级别的不同构件、元件、部件、部分或组件的方法。然而，如果可以达到相同的目的，这些术语也可以被其他表达替换。

通常，这里使用的词语“模块”、“单元”或“块”是指体现在硬件或固件中的逻辑，或者是软件指令的集合。本文描述的模块、单元或块可以实现为软件和/或硬件，并且可以存储在任何类型的非暂时性计算机可读介质或其他存储设备中。在一些实施例中，可以编译软件模块/单元/块并将其链接到可执行程序中。应当理解，软件模块可以从其他模块/ 单位/块或本身调用，和/或可以响应于检测到的事件或中断而调用。用于在计算设备(例如，图2所示的处理器210)上执行的软件模块/单元/块可以在计算机可读介质上提供，例如光盘、数字视频光盘、闪存驱动器、磁盘或任何其他有形介质或作为数字下载(并且最初可以存储为在执行之前需要安装、解压缩或解密的压缩或可安装格式)。这里的软件代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以嵌入固件中，例如EPROM。还应当理解，硬件模块/单元/块可以包括在连接的逻辑组件中，例如门和触发器，和/或可以包括可编程单元，例如可编程门阵列或处理器。这里描述的模块/单位/块或计算设备功能可以实现为软件模块/单位/块，但可以以硬件或固件表示。通常，这里描述的模块/单元/块指的是逻辑模块/单元/块，其可以与其他模块/单元/块组合或者分成子模块/子单元/子块，尽管它们是物理组织或存储器件。该描述可以应用于系统、引擎或其一部分。

可以理解的是，除非上下文另有明确说明，当单元、引擎、模块或块被称为在另一单元、引擎、模块或块“上”、“连接”或“耦合至”另一单元、引擎、模块或块时，其可以直接在其它单元、引擎、模块或块上，与其连接或耦合或与之通信，或者可能存在中间单元、引擎、模块或块。在本申请中，术语“和/或”可包括任何一个或以上相关所列条目或其组合。

应当注意，当描述在图像上执行操作时，这里使用的术语“图像”可以指包含图像中的像素的值(例如，像素值)的数据集(例如，矩阵)。如本文所用，为便于描述，图像中的对象(例如，人、器官、细胞或其一部分)的表示可以被称为对象。例如，为便于描述，图像中的细胞或细胞器(例如，线粒体、内质网、中心体、高尔基体等)的表示可以被称为细胞或细胞器。如这里所使用的，为便于描述，对图像中的对象的表示的操作可以被称为对对象的操作。例如，为便于描述，包括细胞或细胞器的表示的一部分图像的分割可以被称为细胞或细胞器的分割。

应该理解，如本文所用的术语“分辨率”是指图像的清晰度的量度。这里使用的术语“超分辨率”或“超分辨率的”或“SR”是指增强的(或增加的)分辨率，例如，可以通过组合一系列低分辨率图像的过程以生成更高分辨率的图像或序列。这里使用的术语“保真度”或“完整性”是指电子设备(例如，图像获取设备)复制其效果(例如，图像)的程度。这里使用的术语“连续性”是指在时间上和/或空间上连续的特征。这里使用的术语“稀疏性”是指向量或矩阵中大多数为零值的特征，例如，向量或矩阵中的0值的计数远大于向量或矩阵中的1值的计数。

根据以下对附图的描述，本申请的这些和其它的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本申请使用的流程图示出了根据本申请公开的一些实施例所示的系统所执行的操作。应明确地理解流程图的操作可以不是按顺序实现的。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。

本申请涉及用于图像处理系统和方法。系统和方法可以通过对由图像获取设备生成的图像数据进行滤波以生成初始图像。系统和方法可以基于第一目标函数，对初始图像执行第一迭代操作以生成中间图像。第一目标函数可以包括第一项、第二项和第三项。第一项可以与中间图像和初始图像之间的第一差值相关联。第二项可以与中间图像的连续性相关联。第三项可以与中间图像的稀疏性相关联。系统和方法可以基于第二目标函数，对中间图像执行第二迭代操作以生成目标图像。第二目标函数可以与图像获取设备的系统矩阵以及中间图像和目标图像之间的第二差值相关联。

根据本申请的系统和方法，可以对图像获取设备生成的图像数据进行重建，考虑图像信息的保真度(和/或完整性)、连续性和稀疏性以生成目标图像，从而提高了重建速度，并减少光漂白。和仅考虑保真度和连续性产生的参考图像对比，处理后(或重建)的目标图像可以具有改进的分辨率。更重要的是，系统和方法可以将目标图像的分辨率延展到超出图像获取设备所构成的物理限制，并且可以在受图像获取设备限制的带宽范围内进行外扩。

此外，尽管本申请中公开的系统和方法主要关于结构光显微镜产生的图像的处理，但应该理解，描述仅用于说明的目的，并不旨在限制本申请的范围。本申请的系统和方法可以应用于包括图像获取设备的任何其他类型的系统的图像处理。例如，本申请的系统和方法可以应用于显微镜、望远镜、相机(例如，监控相机、拍照手机、网络相机)、无人机、医学成像装置等或其任何组合。

仅作为示例，本申请中公开的方法可以用于处理结构光显微镜(SIM)生成的图像，并获得具有相对高分辨率的重建图像。在一些实施例中，为了通过特定的光学和荧光开关指示器来临时编码SR信息，现代活细胞SR显微镜可能最终受到最大收集光子通量的限制。利用荧光结构的稀疏性和连续性的先验知识，本申请提供了超出由硬件构成的物理限制的延展分辨率的数学反卷积算法。作为结果，稀疏结构光显微镜(稀疏-SIM)(例如，如图 5所示的使用稀疏重建(例如，稀疏反卷积)的SIM)可以在大致2ms的时间分辨率中实现大致60nm的分辨率，使其能够解决复杂结构(例如，小的囊泡融合孔、活细胞中的线粒体内膜和外膜之间的相对运动等)。同样地，稀疏的基于旋转圆盘的共聚焦SIM可以允许常规的四色和三维活细胞SR成像(具有大致90nm的分辨率)，展示了稀疏反卷积的一般适用性。

SR荧光显微镜技术的出现可能变革生物学和发现先前未被重视的复杂结构，例如，神经元树突中的周期性肌动蛋白、核孔的复杂结构以及中心粒周围的中心粒外周物质的组织。然而，许多这些先前的实验是在固定细胞中进行的，固定细胞失去了细胞结构的动态结构和功能变化。

尽管理论上所有主要SR技术的分辨率都是无限的，但活细胞SR显微镜的空间分辨率受到限制一方面，对于细胞体积内的有限数量的荧光团，XYZ轴上的空间分辨率增加n 倍可能导致体素减少N³倍，需要增加超过N³倍的照明强度来保持相同的对比度。此外，由于通常采用多张原始图像来重建一张SR图像，所以相对小的体素更有可能受到活细胞中移动分子的运动伪影的影响，这可能降低可实现的分辨率。因此，空间分辨率的增加可能需要与时间分辨率的增加相匹配，以维持有意义的分辨率。鉴于在过度照明下的荧光发射的饱和度，目前活体SR显微镜的最高空间分辨率限制在，例如，大致60nm，无论使用何种成像方式。为了实现分辨率，通常需要过多的光照功率(例如，kW-mw/mm2)和/或长曝光(例如，>2s)，这可能会损害整体荧光结构的完整性和快速移动的亚细胞结构，如管状内质网、脂滴、线粒体和溶酶体，的实际分辨率。

与其他类型的SR成像技术相比，结构光显微镜(SIM)可能具有更高的光子效率，但可能有伪影。通过开发用于SIM重建的海森反卷积，可以仅使用传统SIM中所需的十分之一光照剂量来实现高保真SR成像，这使得在活细胞中实现超高速、长达一小时的成像。然而，海森SIM可能遭受分辨率限制，例如，由线性空间频率混合所带来的90-110nm，这防止了诸如胞膜窖或囊泡融合孔的结构被很好的分辨。尽管非线性SIM可以用于达到大致 60nm的分辨率，但是这种实现可能以降低时间分辨率为代价，并可能需要易受光漂白的光激活或光切换荧光蛋白。另外，因为传统的SIM使用宽视野光照，所以从离焦平面发出的荧光发射和散射可能会影响细胞质和细胞核深层的图像的对比度和分辨率。虽然全内反射照明或掠入射照明可以与SIM结合，但高对比度SR-SIM成像可能在很大程度上局限于成像深度，例如，0.1-1μm。对于SR技术来说，实现具有大致60nm(例如在活细胞中)时空分辨率的毫秒帧率，或者能够进行多色、三维和/或长期的SR成像可能是一项挑战。

如20世纪60年代和70年代所提出的，可以使用数学带宽外扩来提高空间分辨率。因此，当成像的对象具有有限尺寸时，可能存在一个唯一的分析功能，其在图像获取设备的光学传递函数(OTF)的带宽限制频谱带内一致，从而使得通过外扩观察到的光谱来重建完整的对象。然而，这些带宽外扩操作可能在实际应用中失败，因为重建关键取决于假设的先验知识的准确性和可用性。通过用更一般的稀疏假设替换关于对象本身的特定先验知识，压缩感知范例可以使SR在原理证明实验中成为可能。然而，除非在近场中执行测量，否则这种重建可能是不稳定的，而其分辨率限制与SNR成反比。因此，尽管理论上可能，在真实生物实验中展示数学SR技术可能是挑战性的。更多关于数学SR技术的描述可以在本申请的其他地方找到(例如，图4-6及其描述)。更多关于生物实验的描述可以在本申请的其他地方找到(例如，示例1-5、图7-20及其描述)。

通过结合稀疏性和连续性先验，可以提供一种反卷积算法，该算法可以超越图像采集设备的硬件的物理限制，同时提高活细胞SR显微图像的分辨率和对比度。通过将稀疏反卷积算法应用于宽视野显微镜、SIM和基于旋转盘的共聚焦SIM(SD-SIM)，可以证明合法的数学SR，其允许复杂的亚细胞结构和动力学在活细胞中可视化。

应当理解，这里公开的系统和方法的应用场景仅是用于说明的目的而提供的一些示例性实施例，而不是为了限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。

图1是根据本申请一些实施例所示的图像处理系统的应用场景的示例性示意图。如图1所示，图像处理系统100可以包括图像获取设备110、网络120、一个或多个终端 130、处理设备140和存储设备150。

图像处理系统100中的组件可以以一种或多种方式连接。仅作为示例，图像获取设备110可以通过网络120连接到处理设备140。又例如，图像获取设备110可以直接连接到处理设备140，如连接图像获取设备110和处理设备140的虚线中的双向箭头所示。还例如，存储设备150可以直接或通过网络120连接到处理设备140。再例如，终端130可以直接(如通过连接终端130和处理设备140的虚线中的双向箭头指示所示)或通过网络120连接到处理设备140。

成像处理系统100可以被配置为使用稀疏反卷积技术(例如，如图5所示)生成目标图像。目标图像可以具有相对高分辨率，其可以超出由图像获取设备110构成的物理限制。在时间序列中的至少两张目标图像可以形成具有相对高分辨率的视频流。例如，图像处理系统100可以获得由图像获取设备110(例如，SIM)产生的具有相对低分辨率的至少两张原始细胞图像。图像处理系统100可以使用稀疏反卷积技术基于至少两张原始细胞图像生成SR细胞图像。又例如，图像处理系统100可以获得由图像获取设备110(例如，拍照手机或具有相机的手机)捕获的一张或多张图像。一张或多张图像可以是模糊的和/或具有相对低的分辨率，由于在捕获和/或拍照手机构成的物理限制期间，如拍照手机的抖动、被成像对象的移动、对焦不准确等因素。图像处理系统100可以通过使用稀疏反卷积技术来处理图像以生成具有相对高分辨率的一张或多张目标图像。处理后的目标图像可以比没有通过稀疏反卷积技术处理的图像更清晰。因此，图像处理系统100可以为图像处理系统100的用户提供具有相对高分辨率的目标图像。

图像获取设备110可以被配置为获得与其检测区域内的目标相关联的图像数据。在本申请中，“对象”和“目标”可互换使用。目标可以包括一个或多个生物或非生物对象。在一些实施例中，图像获取设备110可以是光学成像装置、基于放射线的成像装置(例如，计算机断层摄影装置)、基于核素的成像装置(例如，正电子发射断层摄影装置)、磁共振成像装置)等。示例性光学成像装置可以包括显微镜111(例如，荧光显微镜)、监视装置 112(例如，安全摄像机)、移动终端设备113(例如，拍照手机)、扫描设备114(例如，平板扫描仪、鼓扫描仪等)、望远镜、网络相机等或其任何组合。在一些实施例中，光学成像装置可以包括用于收集图像数据的捕获设备(例如，探测器或相机)。出于说明的目的，本申请以显微镜111为例来描述图像获取设备110的示例性功能。示例性显微镜可以包括结构光显微镜(SIM)(例如，二维SIM(2D-SIM)、三维SIM(3D-SIM)、全内反射SIM (TIRF-SIM)、基于旋转圆盘的共聚焦SIM(SD-SIM)等)、光激活定位显微镜 (PAMP)、受激发射损耗荧光显微镜(STED)、随机光学重建显微镜(STORM)等。 SIM可以包括诸如EMCCD相机、SCMOS相机等的探测器。由SIM探测的目标可以包括生物结构、生物组织、蛋白质、细胞、微生物等或任何组合的一个或多个对象。示例性细胞可包括INS-1细胞、COS-7细胞、HELA细胞、肝窦内皮细胞(LSECs)、人脐静脉内皮细胞 (HUVECs)、HEK293细胞等或其任何组合。在一些实施方案中，一个或多个对象可以是荧光的或荧光标记的。荧光或荧光标记的对象可以发射荧光进行成像。更多关于示例性SIM设备的描述可以在2018年3月9日递交的题为“一种图像重建的方法和系统”的中文专利申请No.2010196491.X中找到，其内容在此引入作为参考。

网络120可以包括任何合适的网络，其可以促进图像处理系统100交换信息和/或数据。在一些实施例中，图像处理系统100的一个或多个组件(例如，图像获取设备110、终端130、处理设备140、存储设备150等)可以通过网络120与另一组件传送信息和/或数据。例如，处理设备140可以经由网络120从图像获取设备110获取图像数据。又例如，处理设备140可以通过网络120从终端130获得用户指令。网络120可以是和/或包括公共网络(例如，因特网)、专用网络(例如，局域网(LAN)、广域网(WAN)等)、有线网络(例如，以太网)、无线网络(例如，802.11网络、Wi-Fi网络等)、蜂窝网络(例如，长期演进(LTE)网络)、图像中继网络、虚拟专用网络(“VPN”)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其一个或多个的组合。例如，网络120 可以包括电缆网络、有线网络、光纤网络、电信网络、局域网、无线局域网(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信网络 (NFC)等或其组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括有线和/或无线网络接入点，例如基站和/或网络切换点，图像处理系统 100的一个或多个组件通过其可以访问网络120以进行数据和/或信息交换。

在一些实施例中，用户可以通过终端130操作图像处理系统100。终端130可以包括移动设备131、平板计算机132、膝上型计算机133等或其组合。在一些实施例中，移动设备131可以包括智能家居设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等。在一些实施例中，智能家居设备可以包括智能照明设备、智能电气设备、智能监控设备、智能电视、智能摄像机、对讲机的控制设备等或其组合。在一些实施例中，可穿戴设备可包括手镯、鞋、眼镜、头盔、手表、衣服、背包、智能配饰等或其组合。在一些实施例中，移动设备可以包括移动电话、个人数字助理(PDA)、游戏设备、导航设备、销售点 (POS)设备、笔记本电脑、平板电脑、台式机等或其组合。在一些实施例中，虚拟现实设备和/或增强现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等或者其组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleGlass^TM、OculusRift^TM、Hololens^TM或GearVR^TM等。在一些实施例中，终端130可以是处理设备140的一部分。

处理设备140可以处理从图像获取设备110、终端130和/或存储设备150获得的数据和/或信息。例如，处理设备140可以处理由图像获取设备110生成的图像数据以生成具有相对高分辨率的目标图像。在一些实施例中，处理设备140可以是服务器或服务器组。服务器组可以集中式或分布式。在一些实施例中，处理设备140可以是本地的或远程的。例如，处理设备140可以经由网络120访问存储在图像获取设备110、终端130和/或存储设备 150中的信息和/或数据。又例如，处理设备140可以直接连接到图像获取设备110、终端 130和/或存储设备150以访问存储的信息和/或数据。在一些实施例中，处理设备140可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其组合。在一些实施例中，处理设备140可以由具有如图2所示具有一个或多个组件的计算设备200实现。

存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从终端130、图像获取设备110和/或处理设备140获得的数据。在一些实施例中，存储设备150可以存储数据和/或指令，处理设备140可以执行或使用其执行本申请中描述的示例性方法。在一些实施例中，存储设备150可以包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(ROM)等。示例性大容量存储装置可以包括磁盘、光盘、固态硬盘等。示例性可移动存储设备可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性 RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存 (DDRSDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模ROM(MROM)、可编程 ROM(PROM)、可擦除的可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能磁盘ROM等在一些实施例中，存储设备150可以在云平台上执行。例如，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其组合。

在一些实施例中，存储设备150可以连接到网络120以与图像处理系统100的一个或多个其他组件(例如，处理设备140、终端130等)通信。图像处理系统100的一个或多个组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接到图像处理系统100的一个或多个其他组件(例如，处理设备140、终端130等)。在一些实施例中，存储设备150可以是处理设备140的一部分。

图2是根据本申请一些实施例所示的计算设备的示例性示意图；计算设备200可用于实现如本文所述的图像处理系统100的任何组件。例如，处理设备140和/或终端130可以通过其硬件、软件程序、固件或其组合分别在计算设备200上实现。尽管为了方便仅示出了一个这样的计算设备，但是可以多个类似平台以分布式方式实现与这里描述的图像处理系统100有关的计算机功能以分配处理负荷。

如图2所示，计算设备200可以包括处理器210、存储器220、输入/输出(I/O)230 和通信端口240。

处理器210可以根据本文描述的技术执行计算机指令(例如，程序代码)并执行图像处理系统100(例如，处理设备140)的功能。计算机指令可以包括，例如，执行本文描述的特定功能的例程、程序、对象、组件、数据结构、过程、模块和函数。例如，处理器 210可以处理从图像处理系统100的任何组件获得的图像数据。在一些实施例中，处理器 210可以包括一个或多个硬件处理器，例如，微控制器、微处理器、减少指令集计算机 (RISC)、应用特定的集成电路(ASICs)、一种特定于应用程序的指令集处理器 (ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、高级RISC机 (ARM)、可编程逻辑设备(PLD)、能够执行一个或多个功能的任何电路或处理器等或其组合。

仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应当注意的是，本申请中的计算设备200也可以包括多个处理器，因此由如本申请中所述的一个处理器执行的操作和/或方法操作也可以由所述多个处理器共同或分别执行。例如，如果在本申请中，计算设备200的处理器执行操作A和操作B，应该理解，操作A和操作B也可以由计算设备 200中的两个或以上不同的处理器联合或单独地执行(例如，第一处理器执行操作A以及第二处理器执行操作B，或者第一和第二处理器共同执行操作A和B)。

存储器220可以存储从图像处理系统100的任何组件获得的数据/信息。在一些实施例中，存储器220可以包括大容量存储装置、可移动存储装置、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性大容量存储设备可以包括磁盘、光盘、固态硬盘等。可移动存储设备可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。易失性读写存储器可以包括随机存取存储器(RAM)。RAM可以包括动态RAM(DRAM)、双日期速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T- RAM)和零电容RAM(Z-RAM)等。其中ROM可以包括掩模ROM(MROM)、可编程 ROM(PROM)、可擦除的可编程ROM(EPROM)、电可擦除的可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字多功能盘ROM等

在一些实施例中，存储器220可以存储一个或多个程序和/或指令以执行本申请中描述的示例性方法。例如，存储器220可以存储用于处理设备140来处理由图像获取设备110生成的图像的程序。

所述I/O230可以输入和/或输出信号、数据、信息等。在一些实施例中，I/O230可以使用户与图像处理系统100(例如，处理设备140)实现用户交互。在一些实施例中， I/O230可以包括输入设备和输出设备。输入设备的示例可以包括键盘、鼠标、触摸屏、麦克风等或其组合。输出设备的示例可以包括显示设备、扬声器、打印机、投影仪等或其组合。显示设备的示例可以包括液晶显示器(LCD)、发光二极管(LED)、基于发光二极管 (LED)的显示器、平面显示器、曲面屏、电视设备、阴极射线管(CRT)、触摸屏幕等或其组合。

通信端口240可以连接到网络以便于数据通信。通信端口240可以在处理设备140和图像获取设备11、终端130和/或存储设备150之间建立连接。所述连接可以是有线连接、无线连接、能够实现数据传输和/或接收的任何其他通信连接和/或这些连接的任何组合。有线连接可以包括例如电缆、光缆、电话线等或其组合。无线连接可以包括蓝牙^TM链路、Wi-Fi^TM链路、WiMAX^TM链路、WLAN链路、紫蜂^TM链路、移动网络链路(例如， 3G、4G、5G)等或者其组合。在一些实施例中，通信端口240可以是和/或包括标准化通信端口，例如RS232、RS485等。在一些实施例中，通信端口240可以是专门设计的通信端口。例如，可以根据数字成像和医学通信(DICOM)协议来设计通信端口240。

图3是根据本申请一些实施例所示的终端所在的移动设备的示例性框图。

如图3所示，移动设备300可以包括通信单元310、显示单元320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360、存储单元370等。在一些实施例中，任何其他合适的组件，包括但不限于系统总线或控制器(未示出)，也可包括在移动设备300内。在一些实施例中，操作系统361(例如，IOS^TM、Android^TM、Windows Phone^TM等)和一个或多个应用程序362可以从存储单元370加载到内存360中以便由 CPU340执行。应用程序362可以包括浏览器或任何其他合适的移动应用，用于接收和呈现与成像、图像处理或来自图像处理系统100(例如，处理设备140)的其他信息有关的信息。可以通过I/O350实现与信息流的用户交互，并经由网络120提供给处理设备140和/或图像处理系统100的其他组件。在一些实施例中，用户可以经由移动设备300将参数输入到图像处理系统100。

为了实现上述各种模块、单元及其功能，计算机硬件平台可以用作一个或多个元件 (例如，图1中描述的图像处理系统100的处理设备140和/或其他组件)的硬件平台。由于这些硬件元素，操作系统和程序语言很常见；可以假设本领域技术人员可以熟悉这些技术，并且根据本申请中描述的技术他们可以提供成像和评估所需的信息。具有用户界面的计算机可以用作个人计算机(PC)或其他类型的工作站或终端设备。在被正确编程之后，可以使用具有用户界面的计算机作为服务器。可以考虑本领域技术人员也可以熟悉这种类型计算设备的这种结构、程序或一般操作。

图4是图4是根据本申请一些实施例所示的处理设备的示例性示意图。如图4所示，处理设备140可以包括获取模块402、初始图像生成模块404、背景估计模块406、上采样模块408、稀疏重建模块410和反卷积模块412。

获取模块402可以被配置为从图像处理系统100的一个或多个组件获得信息和/数据。在一些实施例中，获取模块402可以从存储设备150或图像获取设备110获得图像数据。如这里所使用的，图像数据可以指由图像获取设备110采集的原始数据(例如，一张或多张原始图像)。关于获得图像数据的更多描述可以在本申请的其他地方找到(例如，图5 中的操作502)

初始图像生成模块404可以被配置为生成初始图像。在一些实施例中，初始图像生成模块404可以通过对图像数据执行滤波操作来确定初始图像。仅仅是示例，初始图像生成模块404可以通过对一张或多张原始图像执行SIM来确定初始图像。关于生成初始图像的更多描述可以在本申请的其他地方(例如，图5中的操作504)找到。

背景估计模块406可以被配置为基于初始图像生成估计背景图像。在一些实施例中，背景估计模块406可以通过对初始图像执行迭代小波变换操作以生成估计背景图像。例如，背景估计模块406可以使用小波滤波器将初始图像分解为频域中的一个或多个频带。示例性小波滤波器可包括Daubechies小波滤波器、双正交小波滤波器、Morlet小波滤波器、高斯小波滤波器、Marr小波滤波器、Meyer小波滤波器、Shannon小波滤波器、Battle-Lemarie小波滤波器等或其任何组合。背景估计模块406可以从频域中的一个或多个频带中提取频域的最低频带(例如，最低频率小波频带)。背景估计模块406可以基于最低频率小波频带生成估计图像。如果估计图像满足第一终止条件，则背景估计模块406可以确定估计图像作为估计背景图像。或者，如果估计图像不满足第一终止条件，则背景估计模块406可以从估计图像中提取最低频率小波频带以确定更新的估计图像，直到满足第一终止条件。关于生成估计背景图像的更多描述可以在本申请中的其他地方找到(例如，图5中的操作506、图6中的操作及其描述)。

上采样模块408可以被配置为执行上采样操作。在一些实施例中，上采样模块408可以确定与初始图像对应的残差图像。例如，上采样模块408可以从初始图像提取估计背景图像以确定残差图像。上采样模块408可以通过对残差图像上执行上采样操作，例如，在残差图像上执行傅里叶插值，以生成上采样图像。在一些实施例中，上采样图像可以具有比残差图像更大的尺寸。关于基于初始图像生成上采样图像的更多描述可以在本申请中的其他地方找到(例如，图5中的操作508及其描述)。

稀疏重建模块410可以被配置为执行稀疏重建操作。在一些实施例中，稀疏重建模块410可以基于第一目标函数对初始图像执行第一迭代操作以生成中间图像。第一目标函数可以包括第一项(也被称为保真项)、第二项(也被称为连续项)和第三项(也被称为稀疏项)。第一项可以与中间图像和初始图像之间的第一差值相关联。第二项可以与中间图像的连续性相关联。第三项可以与中间图像的稀疏性相关联。在一些实施例中，稀疏重建模块410可以基于初始图像确定初始估计中间图像。如果省略了上采样操作，则初始估计中间图像可以指基于初始图像确定的残差图像。或者，如果需要上采样操作，则初始估计中间图像可以指基于残差图像确定的上采样图像。稀疏重建模块410可以基于初始估计中间图像执行第一目标函数的至少两个迭代来更新估计中间图像。在至少两个迭代中的每个中，稀疏重建模块410可以确定是否满足第二终止条件。响应于确定满足第二终止条件，稀疏重建模块 410可以确定中间图像并指定迭代中的估计中间图像作为中间图像。响应于确定不满足第二终止条件，稀疏重建模块410可以确定迭代中更新的估计中间图像。此外，稀疏重建模块 410可以基于更新的估计中间图像执行第一目标函数的下一级迭代。关于产生基于初始图像生成中间图像的更多描述可以在本申请的其他地方(例如，图5中的操作510及其描述)。

反卷积模块412可以被配置为在中间图像上执行反卷积操作以确定目标图像。在一些实施例中，反卷积模块412可以基于第二目标函数来执行中间图像的第二迭代操作以生成目标图像。第二目标函数可以与图像获取设备110的系统矩阵以及中间图像和目标图像之间的第二差值相关联。第二差值可以包括中间图像和目标图像乘以系统矩阵之间的第三差值。在一些实施例中，第二迭代操作可以包括使用Landweber(LW)反卷积算法、RichardsonLucy(RL)的反卷积算法等或其任何组合。关于生成目标图像的更多描述可以在本申请的其他地方找到(例如，图5中的操作512以及其描述)。

应当注意，上述处理设备140的模块的描述仅用于说明的目的，而非用于限制本申请的目的。对于本领域普通技术人员，在本申请的教导下，而不脱离本申请的原理。模块可以以各种方式组合或与其他模块连接作为子系统。在一些实施例中，可以在处理设备140中添加或省略一个或多个模块。例如，可以省略初始图像生成模块404，并且获取模块402可以从处理系统100的一个或多个组件(例如，图像获取设备110、存储设备150等)直接获得初始图像。在一些实施例中，处理设备140中的一个或多个模块可以集成到单个模块中以执行一个或多个模块的功能。例如，模块406-410可以集成到单个模块中。

在某些实施例中，无像差光学成像系统的成像可以由电磁波与光学成像系统中透镜和反光镜的几何理想表面相互作用的简单传播模型来控制。在这种情况下，该过程可以被描述为等式(1)中的二维傅里叶变换：

G(u，v)＝H(u,v)F(u,v)， (1)

其中G表示记录图像的二维傅里叶变换，F表示与图像相关联的对象的强度分布的变换，H 表示光学成像系统的空间频率传递函数(即，OTF)。因为进入任何光学成像系统的光能总量受到物理限制的瞳孔或孔径的限制，OTF可以通过无像差条件下的孔径函数来控制。因此，可以从孔径函数a(x，y)计算OTF H(u，v)

因此，OTF可以是孔径函数的自相关，x和y表示空间域中的坐标，而u和v表示空间频域中的坐标。孔内的电磁波的传输可以是完美的，具有a(x，y)＝1，而在孔径之外，没有波可以传播并且a(x，y)＝0。因此，OTF可以在由孔径函数自相关定义的边界之外改变为零。因为OTF支持之外的对象没有空间频率信息传输到记录设备，所以光学成像系统本身可以总是带宽有限。

在一些实施例中，为了从记录的图像中恢复原始对象的信息，可以重新排列等式(1)为以下形式：

在前述等式中，检索到的对象空间频率仅可能存在于当H(u,v)≠0时。OTF支持区域的外部，对象空间频率可能是模糊的，并且F(u，v)的任何有限值可以与等式(1)和 (3)一致。因此，可能存在无数看不见的小对象，其傅里叶变换是在光学成像系统的OTF 内部为零，因此被检测到。这就是为什么衍射限制了图像的分辨率，并导致人们普遍认为，由于系统OTF的截止而丢失的信息不能通过数学反演或反卷积过程来恢复。

在一些实施例中，在光学中，光学成像系统的空间带宽可能在传统上被认为是不变的。然而，类似于通信系统，其中通道容量可以是恒定的，但是时间带宽可能不是恒定的。在一些实施例中，可以提出，仅光学成像系统的自由度(DOF)是不变的。充当从对象平面传送信息到图像平面的通信通道，最终限制可以由光学成像系统可以发送的DOF来设置。

任何光学场的DOF可以是描述光信号所需的最小数量的独立变量。根据惠更斯原理，如果没有吸收，光波携带的二维信息可以在传播期间保持不变。因此，可以基于香农信息理论分析二维光学成像系统的信息容量，然后加入时间带宽项，最后加入z方向、DC、噪声和偏振项。

光学成像系统的总信息容量可以描述如下：

其中B_x，B_y和B_z表示空间带宽，L_x，L_y，L_z分别表示x、y和z轴中的视野的维度。对于任何给定的观察时间T，B_t表示系统的时间带宽。在等式(4)中，s表示检测信号的平均功率，而n表示添加性噪声功率。因子2表示两个偏振态。

示例性的当前基于硬件的SR技术，包括SIM、STED和PALM/STORM，可以依赖于对象在SR图像形成过程中不发生变化的假设。从等式(4)中显而易见的是，可以在多个曝光的时间序列内编码SR空间信息。从这个意义上讲，因为增加的空间分辨率以减少时间分辨率为代价，所以光学成像系统的信息容量可以保持不变。

在一些实施例中，可以执行数学带宽外扩，并且可以在与光学不同的原理下操作。在一些实施例中，基本原理可以包括：空间有界函数的二维傅里叶变换是空间频域的解析函数。如果空间频域上的解析函数在有限区间上是已知的，则可以证明通过解析延拓的方法可以找到唯一的整个函数。对于光学成像系统，如果一个对象的尺寸有限，那么G(u,v)内可能存在唯一解析函数。通过使用Gerchberg算法等算法推断观察到的光谱，原则上可以在任意精度上重建对象。

因此，如果假设对象是解析的，就有可能从衍射极限之外恢复信息。因此，解析延拓可以代表数学SR的一个关键特征(例如，添加一个关于对象的先验信息用于SR重建)。鉴于等式(4)，添加关于对象的更多信息可以增加系统的总信息容量，理论上可以转移以改善空间分辨率。

在特定条件下通过迭代反卷积操作，可以证明该理论的有效性。可以通过以下等式给出基本算法计算：

对于图像数据g(x,y)和点扩展函数(psf)h(x,y)，(n+1)^th次迭代的对象可以从第n^th次迭代的估计计算。与等式(3)空在间域中的直接反转不同，该计算过程可以在空间域中进行，避免在OTF支持区域之外除以零的问题。因此，超出衍射限制的外扩是可能的，并且可能发生的原因有两个：fⁿ与方括号中其他量的乘积是非线性的以及对象非负值的先验信息。

尽管数学SR在理论上是可行的，但由于图像数据的微小变化，带宽外扩通常不稳定。实际实验中存在的噪声可能不是解析函数，因此不允许基于解析延拓求解带宽外扩。另外，即使在可能存在解决方案的情况下，也可能有许多分析函数可以在OTF内很好地重现数据，但导致在OTF外产生完全不同的频率分量。

从信息容量的角度来看，基于解析延拓的带宽外扩可能会以信噪比为代价扩展空间带宽。对于包含大空间带宽产品的对象场，即使是空间带宽的小扩展也可能导致最终重建中噪声的大量放大。对于包含小空间带宽产品的物体域，通过结合更多的对象信息进行分析延拓，可以获得有意义的分辨率提高。尽管有这些理论可能性，但由于带宽外扩重建容易受到噪声的影响，并且强烈依赖于假设的先验知识，因此可以得出结论，瑞利衍射极限代表了传统成像系统无法克服的实际边界。

在一些实施例中，基于离散信号的稀疏特征执行的压缩感知(CS)可以在许多不同的信号处理领域中成功应用。CS可以是一种可以用比奈奎斯特-香农采样定理要求的更少的测量来实现精确的信号重建的方法。CS理论可以假设离散信号在某些基础上具有稀疏表示。如果使用与信号基础不相关或不连贯的基础进行测量，则可以通过用信号最大频率的两倍的采样率重建信号。CS可以与点扫描共聚焦显微镜组合并且可以用于单分子定位(pointillist)超分辨技术，如PALM和STORM。在一些实施例中，将CS技术应用于这些成像技术可以减少图像采集时间并增加帧速率。

除了利用稀疏性先验进行带宽插值外，还可以利用稀疏性先验进行带宽外扩和数学 SR。因为空间和频率域是最大不相关的基础，并且对象是在空间域中测量的，在空间域稀疏信号的假设下扩展带限频率信息。可以证明，带宽可以在CS框架下外扩，并且可以从带有一些噪声的原始图像中生成比使用Gerchberg算法更准确的重建。这可以提供一个原理的证明，当对象非常稀疏，并且没有显示出亚波长分辨率。在一些实施例中，因为在重建期间原始图像中的噪声显著放大，所以除非在近场中进行测量，否则子波长模式可能通常不稳定。同样地，分辨率可以与SNR成反比，这限制了CS技术的应用。

在一些实施例中，基于CS技术(例如，使用稀疏性)的上述SR技术可以与连续性先验相结合来进行图像处理，这可以在分辨率和SNR之间保持平衡以改善图像数据的分辨率。关于结合连续性先验和稀疏先验的数学SR技术的细节可以描述如下(例如，图5-6及其描述)。

图5是根据本申请一些实施例所示的图像处理的示例性过程的流程图。在一些实施例中，可以由图像处理系统100执行过程500。例如，过程500可以实现为存储在存储设备(例如，存储设备150、存储器220和/或存储单元370)中的一组指令集(例如，应用程序)。在一些实施例中，处理设备140(例如，计算设备200的处理器210、移动设备300 的CPU340和/或图4中所示的一个或多个模块)可以执行该组指令集，并且可相应地被指示执行过程500。以下所示过程的操作仅出于说明的目的。在一些实施例中，可以利用一个或多个未描述的附加操作和/或没有所讨论的一个或多个操作来完成该过程。另外，如图5 所示和下面描述的过程操作的顺序不是限制性的。

在一些实施例中，可能需要满足两个标准以在数学上提高分辨率。首先，先验假设可以在光学成像系统携带的其他不变的总信息之外增加信息。从这个意义上讲，稀疏性先验比对象紧凑性的假设更通用，并且在重建算法中加入更多关于对象的可用信息可能会导致更大的带宽扩展。第二，数学SR图像重建可以提高空间分辨率，但代价是降低对数关系下的信噪比，这暗示了在带宽外扩过程之前从高信噪比图像开始至关重要。

为了解决这些问题，可本申请提供了三步过程。在第一步，在空间频域内对结构照明(网格或针孔)编码的SR空间频率进行估计、提取和重新组合，并使用反滤波器(例如，传统的维纳反滤波器)来获得SR图像。第一步可以提高由光学确定的带宽内提高高频分量的SNR。还可以估计SR图像中的背景，并且可以使用来自SR图像的失焦平面产生的背景荧光去除SR图像，这对于细胞内对象的高保真重建是至关重要的。在第二步中，使用连续性先验信息来进一步增强图像SNR，并且可以使用稀疏性先验信息来将带宽扩展到 OTF的区域外。应用对稀疏性的严格要求来获得更准确的重建可能会导致去除微弱的真实信号。因此，与试图基于解析延拓或CS先验信息揭示对象的所有细节的经典带宽外扩技术相比，图像重建可以被框架化为一个受先验信息约束的迭代过程。

由于分辨率增加和图像SNR之间的对数关系，外扩空间频率通常具有低对比度。因此，在第三步骤中，可以使用迭代反卷积过程来提高OTF之外的新扩展空间频率的对比度。结合非负先验和反卷积程序的非线性也可能导致分辨率在一定程度上的增加。关于三步过程的更多描述可以在过程500中的一个或多个操作(例如，操作506、510和512)中找到。

在502中，处理设备140(例如，获取模块402)可以获得图像数据。

在一些实施例中，本文的图像数据可以指由图像获取设备110采集的原始数据(例如，一张或多张原始图像)。如本文所用，原始图像可以指具有相对低信噪比(SNR)的图像，或者部分损坏的图像等。仅作为示例，对于SIM系统，图像数据可以包括由SIM系统采集的一张或多张原始图像。一组或多组原始图像可以按照时间序列排列。每组原始图像可以包括具有不同相位和/或方向的至少两张原始图像(例如，9张原始图像、15张原始图像)。也就是说，可以通过SIM系统在不同的相位和/或方向上采集至少两张原始图像。

在一些实施例中，处理设备140可以从图像处理系统100的一个或多个组件获得图像数据。例如，图像获取设备110可以采集和/或生成图像数据并将图像数据存储在存储设备150中。处理设备140可以从存储设备150检索和/或获得图像数据。又例如，处理设备 140可以直接从图像获取设备110获得图像数据。

在504中，处理设备140(例如，初始图像生成模块404)可以基于图像数据生成初始图像。

在一些实施例中，处理设备140可以通过对图像数据进行滤波来确定初始图像(例如，SR图像)。示例性滤波操作可以包括维纳滤波、反滤波、最小二乘滤波等或其任何组合。例如，对于图像数据的每组原始图像，处理设备140可以通过对一组原始图像中至少两张原始图像执行维纳滤波以生成图像栈(即，初始图像)。具体地，如果每组原始图像包括 9张原始图像，则处理设备140可以将该组原始图像中的9张原始图像组合到初始图像中。初始图像可以包括9张原始图像中的每张的信息，并且具有比9张原始图像中的每张更高的分辨率。在一些实施例中，可以省略滤波操作。例如，对于拍照手机系统，图像数据可以仅包括一张原始图像，并且处理设备140可以将唯一一张原始图像指定为初始图像。

在506中，处理设备140(例如，背景估计模块406)可以基于初始图像生成估计背景图像。如本文所使用的，估计背景图像可以指包括初始图像的估计背景(例如，低频噪声)的图像。例如，如果初始图像中的对象是活细胞，则初始图像中的活细胞周围的液体可以被视为初始图像中的噪声。处理设备140可以通过估计初始图像中的噪声以生成估计背景图像。又例如，对于2D-SIM系统，初始图像可以包含源自失焦发射和蜂窝自发荧光的强背景荧光信号，其可以被视为初始图像中的噪声。处理设备140可以预测估计背景图像中的噪声。

在一些实施例中，处理设备140可以通过对初始图像执行迭代小波变换操作以生成估计背景图像。例如，处理设备140可以使用小波滤波器将初始图像分解为频域中的一个或多个频带。示例性小波滤波器可包括Daubechies小波滤波器、双正交小波滤波器、Morlet小波滤波器、高斯小波滤波器、Marr小波滤波器、Meyer小波滤波器、香农小波滤波器、Battle-Lemarie小波滤波器等或其任何组合。处理设备140可以从频域中的一个或多个频带中提取频域中的最低频带(例如，最低频率小波频带)。处理设备140可以基于最低频率小波频带生成估计图像。如果估计图像满足第一终止条件，则处理设备140可以确定估计图像作为估计背景图像。或者，如果估计图像不满足第一终止条件，则处理设备140可以从估计图像中提取最低频率小波频带以确定更新的估计图像，直到满足第一终止条件。关于生成估计背景图像的更多描述可以在本申请的其他地方(例如，图6及其描述)发现。

在一些实施例中，在初始图像中的背景噪声低的特定条件下(例如，在超快或长期2D-SIM成像的条件下)，处理设备140可以将估计背景图像中的像素点值直接指定为零。

在508中，处理设备140(例如，上采样模块408)可以基于初始图像生成上采样图像。

在一些实施例中，处理设备140可以确定与初始图像对应的残差图像。例如，处理设备140可以通过从初始图像中减去估计背景图像来确定残差图像。又例如，当初始图像(例如，SD-SIM系统中的初始图像)表现出低且稳定的噪声状分布时，处理设备140可以确定初始图像中的总像素值的平均值。处理设备140可以通过将初始图像中小于该平均值的像素点的值指定为零来确定残差图像。进一步地，处理设备140可以通过对残差图像执行上采样操作，例如，在残差图像上执行傅里叶插值(例如，图像获取设备110的OTF外补零)，以生成上采样图像。例如，处理设备140可以在空间域内残差图像的一个或多个像素点附近(例如，每个像素或边缘上的像素)补零，以确定上采样图像。又例如，处理设备140 可在频域内补零残差图像，以确定上采样图像。。还例如，对于2D-SIM系统，处理设备 140可以使用傅里叶插值(例如，在SIM的OTF外补零)来上采样残差图像。作为另一示例，对于SD-SIM系统，处理设备140可以选择空间过采样方式(例如，在残差图像中每个像素周围补零)，这种方式对信噪比不太敏感，也不太容易产生雪花伪影。

在一些实施例中，上采样图像可以包括比初始图像更大的尺寸。例如，初始图像可以包括256×256的大小，上采样图像可以包括512×512的大小。

在一些实施例中，像素点大小可以是限制SR图像重建/处理的因素。例如，2D-SIM系统的像素尺寸可以是32.5nm，理论上可以延伸到大致60nm，这可能会带来限制空间分辨率的欠采样问题。同样，当EMCCD相机用于SD-SIM系统时，像素尺寸可以是94nm，这可能限制通过稀疏反卷积算法实现的分辨率(大致90nm)。为了解决欠采样的潜在问题，可以在图像重建过程中提供过采样操作(即，上采样操作)。在一些实施例中，可以省略上采样操作，并且可以将残差图像直接用于图像重建。

在510中，处理设备140(例如，稀疏重建模块410)可以基于第一目标函数执行初始图像的第一迭代操作以生成中间图像。中间图像可以被视为从初始图像中恢复的图像，这样中间图像也可以被称为恢复图像。第一迭代操作也可以被称为稀疏重建或稀疏反卷积。

在一些实施例中，处理设备140可以基于初始图像确定初始估计中间图像。如果省略了上采样操作，则初始估计中间图像可以指如操作508中所述的残差图像。或者，如果需要上采样操作，则初始估计中间图像可以指如操作508中所述的上采样图像。处理设备140可基于初始估计中间图像执行第一目标函数的至少两个迭代来更新估计中间图像。在至少两个迭代中的每个中，处理设备140可以确定是否满足第二终止条件。响应于确定满足第二终止条件，处理设备140可以确定中间图像并指定迭代的估计中间图像为中间图像。响应于确定不满足第二终止条件，处理设备140可以确定迭代中更新的估计中间图像。处理设备140 可以基于更新的估计中间图像执行第一目标函数的下一次迭代。

在一些实施例中，第二终止条件可以涉及第一目标函数的值。例如，如果第一目标函数的值最小或小于阈值(例如，一个常数)，则可以满足第二终止条件又例如，如果第一目标函数的值收敛，则可以满足第二终止条件。在一些实施例中，如果在两个或多个连续迭代中的第一目标函数的值的变化等于或小于阈值(例如，一个常数)，则可以认为收敛已经发生。在一些实施例中，如果第一目标函数的值(例如，第一目标函数的值)与目标值之间的差值等于或小于阈值(例如，一个常数)，则可以认为收敛已经发生。在一些实施例中，第二终止条件可以涉及第一目标函数的迭代次数(计数)。例如，当在第一迭代操作执行了指定的迭代次数(或计数)时，可以满足第二终止条件。在一些实施例中，第二终止条件可以涉及第一目标函数的迭代时间(例如，执行第一迭代操作的时间长度)。例如，如果第一目标函数的迭代时间大于阈值(例如，一个常数)，则可以满足终止条件。

在一些实施例中，第一目标函数可以包括第一项(也称为保真项)、第二项(也称为连续项)和第三项(也称为稀疏项)。第一项可以与中间图像和初始图像之间的第一差值相关联。第二项可以与中间图像的连续性相关联。第三项可以与中间图像的稀疏性相关联。在一些实施例中，对于在没有上采样操作的情况下确定的初始图像，第一目标函数可以表示为等式(6)所示的损失函数：

其中，

代表第一项，R_Hessian(g)代表第二项，λ_L1||g||₁代表第三项。在第一项中，f代表初始图像(也被简洁地称为图像f)，b代表估计背景图像(也被简洁地称为图像 b)，g代表中间图像(也被简洁地称为图像g或变量g)，||·||₁代表l₁范数(即，L-1范数)，λ代表与中间图像的初始图像保真度相关联的第一权重因子。在第二项中，R_Hessian(g)代表中间图像的海森矩阵。在第三项中，||·||₂代表l₂范数(即L-2范数)，λ_L1代表与中间图像的稀疏性相关联的第二权重因子。λ和λ_L1可以平衡图像保真度和稀疏度。

在一些实施例中，第二项可以与沿中间图像的xy-t(z)轴的结构连续性相关联，即，沿x轴的连续性与中间图像宽度的维度相关联，沿y轴的连续性与中间图像高度的维度相关联，以及沿t轴(或z轴)的连续性与中间图像的时间维度相关联。例如，第二项(即，R_Hessian(g))可以定义为等式(7)：

其中g_xx表示沿x轴的图像g像素的二阶差的灰度值，g_xy表示沿x轴和y轴的图像g像素的二阶差的灰度值，g_xt表示沿x轴和t轴的图像像素的二阶差的灰度值，g_yx表示沿y轴和x轴的图像g像素的二阶差的灰度值，g_yy表示沿y轴的图像g像素的二阶差的灰度值，g_yt表示沿 y轴和t轴的图像g像素的二阶差的灰度值，g_tx表示沿t轴和x轴的图像g像素的二阶差的灰度值，g_ty表示沿t轴和y轴的图像g像素的二阶差的灰度值，g_tt表示沿t轴的图像g像素的二阶差的灰度值，λ_t表示沿t轴呈现连续性的正则化参数(其在成像高速移动对象之后可能会关闭)，以及||·||₁代表L-1范数。

在一些实施例中，寻找等式(6)(即，损失函数的终止条件)中的损失函数的最佳解决方案可以转换为凸优化问题(COP)。例如，由于收敛速度快，可以采用分裂Bregman 算法(也称为Bregman分裂)。使用Bregman分裂，可以用中间变量u替换变量g。然后，可以将等式(6)中的损失函数变换为约束的最小化问题，如等式(8)：

其中，u_xx＝g_xx，u_yy＝g_yy，u_tt＝λ_t·g_zz，u_xy＝2·g_xy，

u＝λ_L1·g。

在一些实施例中，通过使用拉格朗日(Lagrange)乘子法来弱化实行约束，可以获得等式(9)的无约束问题：

其中μ表示拉格朗日乘数。最后，可以通过等式(10)应用简化的Bregman迭代来严格执行约束：

其中，v用于降低第一迭代操作中的计算复杂性。

在一些实施例中，迭代最小化过程可以如下所示：

v^k+1＝v^k+λ_L1·g^k-u^k， (13)

使用等式(11-13)，COP(平滑凸)可以分为三个步骤。然后，最终的第一迭代操作可以表示如下：

其中，g^k+1代表在最后一次迭代中最终确定的中间图像，

表示x轴方向(例如，

中的二阶导数算子，并且

可以类似地定义为

u^k+1和g^k+1之间的关系和可以表示为等式(15)：

其中，u^k+1表示最终在最后一次迭代中最终确定的中间变量u。使用等式(13-15)，COP 可以很容易解决。

在一些实施例中，对于由上采样操作确定的初始图像，损失函数(6)可以改写为：

其中，D表示下采样矩阵。

在512中，处理设备140(例如，反卷积模块412)可以基于第二目标函数对中间图像执行第二迭代操作以生成目标图像。

在一些实施例中，由第一迭代操作确定的中间图像可以在外扩空间频率中具有低对比度，这主要是由于真实对象与图像获取设备110(例如，2D-SIM/SD-SIM)的PSF的卷积和由于稀疏性和连续性约束造成的带宽扩展。第二迭代操作可用于进一步提高中间图像所获得的带宽，使其超过图像获取设备110所设置的带宽，例如，消除由图像获取设备110本身引起的中间图像的模糊。

在一些实施例中，处理设备140可以基于中间图像确定初始估计目标图像。处理设备140可以基于初始估计目标图像执行第二目标函数的至少两个迭代来更新估计目标图像。在至少两个迭代中的每个中，处理设备140可以确定是否满足第三终止条件。响应于确定满足第三终止条件，处理设备140可以确定目标图像，并将迭代中估计目标图像指定为目标图像。响应于确定不满足第三终止条件，处理设备140可以在迭代中确定更新的估计目标图像。处理设备140可以基于更新的估计目标图像执行第一目标函数的下次迭代。第三种条件可以类似于第二条件，并且在这里不再重复。

在一些实施例中，第二目标函数可以与图像获取设备110的系统矩阵以及中间图像和目标图像之间的第二差值相关联。第二差值可以包括中间图像和目标图像乘以系统矩阵之间的第三差值。例如，第二目标函数可以表示为损失函数，如下所示：

其中，g代表中间图像，A表示系统矩阵，x表示目标图像，Ax表示目标图像乘以系统矩阵，g-Ax表示第三差值，并且||·||₂表示L-2范数。

在一些实施例中，第二迭代操作可以包括使用Landweber(LW)反卷积算法、RichardsonLucy(RL)的反卷积算法等或其任何组合的迭代反卷积。例如，对于具有相对高的SNR的中间图像(例如，2D-SIM系统中的中间图像)，处理设备140可以应用 Landweber(LW)反卷积以处理中间图像，其中，可以采用带有Nesterov动量加速度的梯度下降算法：

y^(j+1)＝x^(j+1)+β_k(x^(j)-x^(j-1))

x^(j+1)＝y^(j+1)+A^T(g^N-Ay^(j+1))

β_j＝1-γ^-1 _j-1， (18)

其中，g^N表示稀疏重建后的图像(即，中间图像)，以及x^j+1表示在j+1次迭代之后的目标图像。即在一些实施例中，为了获得可靠的图像保真度，可以在早期阶段终止第二迭代操作以约束目标图像。反卷积迭代的数量(即，第二目标函数的迭代次数)可以在软件用户手册中的参数表中列出。

又例如，对于具有相对低的SNR的中间图像(例如，SD-SIM系统中的中间图像)，处理设备140可以应用基于RichardsonLucy(RL)的反卷积算法来处理被过多的噪声损坏的中间图像。基于RL的反卷积算法可以加速，表示为：

v^j＝x^j+1-y^j

x^j+1＝y^j+1+α^j+1·(y^j+1-y^j)， (19)

其中，g^N表示稀疏重建之后的图像(即，中间图像)，x^j+1表示j+1迭代之后的目标图像，并且α表示表示计算迭代步长的自适应加速度因子，其可以直接从实验结果估计。在一些实施例中，利用稳定的收敛性能，加速RL算法所需的迭代次数可能比经典RL算法大幅减少 10倍。

在一些实施例中，由于等式(17)未考虑泊松分布噪声的影响，等式(19)中描述的RL-反卷积算法不是稀疏反卷积的理想模型；尽管如此，当处理真实数据(例如，中间图像)时，它可以表现出卓越的性能。这可能发生是因为原始数据g，如公式(19)的第一项所见，约束了迭代反卷积过程，在低信噪比条件下允许相对高保真的恢复而不会引入意外的伪影。

在一些实施例中，与基于第三目标函数生成的参考图像相比，目标图像具有改进的空间分辨率。第三目标函数可以包括第一目标的第一项和第二项，而没有第一目标函数的第三项。例如，处理设备140可以基于第三目标函数对初始图像执行第四迭代操作(类似于第一迭代操作)，从而确定第二中间图像。处理设备140可以基于第二目标函数，对第二中间图像执行第五迭代操作(类似于第二迭代操作)，生成参考图像。相对于参考图像的第二空间分辨率，目标图像的第一空间分辨率可以提高50％-100％。

应当注意的是，上述对过程500的描述仅仅是为了说明的目的而提供，而非打算限制本申请的范围。应该理解，在理解操作原理之后，在本领域中具有普通技能的人可以任意组合任何操作、添加或删除任何操作，或者将操作原理应用于其他图像处理过程，而不脱离原则。在一些实施例中，过程500可以包括一个或多个附加操作。例如，可以在操作512之后添加附加操作以显示目标图像。又例如，可以在操作504之后添加附加操作以预处理初始图像。在一些实施例中，可以省略处理过程500中的一个或多个操作。例如，可以省略操作502、操作506和/或操作508。在一些实施例中，过程500中的两个或多个操作可以集成到一个操作中。例如，操作502和504可以集成到一个操作中。又例如，操作506-510可以集成到一个操作中。在一些实施例中，操作510和512可以统称为稀疏反卷积操作(或算法)。

图6是根据本申请一些实施例所示的背景估计的示例性流程图。在一些实施例中，过程600可以由图像处理系统100执行。例如，过程600可以实现为存储在存储设备(例如，存储设备150、存储器220和/或存储单元370)中的一组指令集(例如，应用程序)。在一些实施例中，处理设备140(例如，计算设备200的处理器210、移动设备300的 CPU340、和/或图4中所示的一个或多个模块)可以执行一组指令集，并且可以相应地被指示以执行过程600。以下所示过程的操作仅出于说明的目的。在一些实施例中，可以通过未描述的一个或多个附加操作来完成该过程，和/或没有讨论的一个或多个操作。另外，如图6 所示和下面描述的过程操作的顺序不是限制性的。在一些实施例中，可以执行过程600的一个或多个操作以实现如图5所示的操作506。

在602中，处理设备140(例如，背景估计模块406)可以基于初始图像确定输入图像。

在一些实施例中，处理设备140可以直接将初始图像指定为输入图像。在一些实施例中，处理设备140可以预处理初始图像并将预处理的初始图像指定为输入图像。例如，处理设备140可以通过将初始图像中小于初始图像中像素点的平均值的像素点值指定为零来确定输入图像。又例如，处理设备140可以通过校正初始图像来确定输入图像。

在604中，处理设备140(例如，背景估计模块406)可以通过对输入图像执行多尺度小波分解操作以生成分解图像。如这里所使用的，分解图像可以指频域中的图像。

在一些实施例中，处理设备140可以使用如图5的操作506中的一个或多个小波滤波器对输入图像执行多尺度小波分解操作。在多尺度小波分解操作之后，处理设备140可以将输入图像分解为频域中的至少两个级别的频带。处理设备140可以从至少两个频带中提取最低频带。进一步地，处理设备140可以基于最低频带生成分解图像。例如，对于2D-SIM系统，处理设备140可以使用2D Daubechies-6小波滤波器来将初始图像分解到频域中的第7级，即，初始图像可以分解为7级频带。处理设备140可以基于7级频带之间的最低频带来确定分解图像。

在606中，处理设备140(例如，背景估计模块406)可以通过对分解图像执行逆小波变换操作以生成变换图像。如这里所使用的，变换图像可以指在空间域中的图像。逆小波变换操作可以指的是可从频域转换到空间域的操作，例如，逆傅里叶变换操作。在一些实施例中，操作606可用于去除由不准确的估计产生的高强度像素。

在一些实施例中，为了防止意外地移除小的有用信息(或信号)，可以对分解图像(即，最低频带)执行逆小波变换操作以在空间域中生成变换图像。例如，处理设备140可以对分解图像执行逆小波变换操作以产生中间变换图像。通过保持每个像素点处的最小值来确定变换图像，处理设备140可以合并中间图像和输入图像的平方根的一半。也就是说，处理设备140可以将中间变换图像中的每个像素点的值与输入图像中的对应像素点的值的平方根的一半进行比较。如这里所使用的，输入图像中的相应像素点相对于输入图像的相对位置可以与中间变换图像中的每个像素点的相对位置相同。如果中间变换图像中的特定像素点的值大于输入图像中的对应像素点的值的平方根的一半，则处理设备140可以通过输入图像中的相应像素点的值的平方根替换中间变换图像中特定像素点的值来确定变换图像。如果中间变换图像中的特定像素点的值小于输入图像中的对应像素点的值的平方根的一半，则处理设备140可以通过保持中间变换图像中特定像素点的值来确定变换图像。附加地或替代地，如果中间变换图像中的特定像素点的值等于输入图像中对应像素点的值的平方根的一半，则处理设备140可以通过保持中间变换图像中特定像素点的值或通过输入图像中的相应像素点的值的平方根替换中间变换图像中特定像素点的值来确定变换图像。

在608中，处理设备140(例如，背景估计模块406)可以通过对变换图像执行截止操作以生成估计图像。在一些实施例中，估计图像也可以被称为低峰值背景估计。

在截止操作之后，变换图像的幅值可以在频域上以一定百分比进行截断。也就是说，频域中的估计图像的幅值可以是变换图像的幅值的特定百分比。例如，处理设备140可以对变换图像执行50％的截止操作。估计图像的幅值可以是变换图像的幅值的50％。又例如，处理设备140可以对变换图像执行40％的截止操作。估计图像的幅值可以是变换图像的幅值的40％。

在610中，处理设备140(例如，背景估计模块406)可以确定是否满足终止条件(即，图5中的第一终止条件)。响应于确定满足第一终止条件，处理设备140可以进行到操作612。响应于确定不满足第一终止条件，处理设备140可以将操作608中确定的估计图像指定为新的输入图像用于执行迭代操作604-608。

在一些实施例中，第一终止条件可以与操作604-608的迭代数量(计数)相关联。例如，如果迭代数量等于阈值计数(例如，3)，则可以满足第一终止条件。在一些实施例中，第一终止条件可以与两次连续迭代中确定的两张估计图像之间的差值相关联。例如，如果在两次连续迭代中确定的两张估计图像之间的差值小于阈值，则可以满足第一终止条件。在一些实施例中，第一终止条件可以与总迭代的迭代时间相关联。例如，如果所有迭代的迭代时间小于阈值，则可以满足第一终止条件。

在612中，处理设备140(例如，背景估计模块406)可以确定估计图像作为初始图像的估计背景图像。此外，如操作508-512中所述，处理设备140可以从初始图像中提取估计背景图像以生成残差图像用于稀疏反卷积。

应当注意，上述过程600的描述仅仅是为了说明的目的而提供的，而非为了限制本申请的范围。应该理解，在理解操作原理之后，本领域中具有技术人员可以任意组合任何操作、添加或删除任何操作、或者将操作原理应用于其他图像处理过程，而不脱离原则。在一些实施例中，在过程600中可以添加或省略一个或多个操作。例如，可以添加其他操作以存储估计背景图像。

在一些实施方案中，荧光显微镜可以通过标记诸如肌动蛋白、微管和囊泡的指定结构来实现高分辨率和对比度，由于大量零值的存在，其在空间域上通常是稀疏的。然而，相对于通过显微镜的OTF滤波的高频信息，最终捕获的荧光图像(例如，原始图像或SR图像)可以被点扩散函数(PSF)模糊，并表现出非零值的增加。在这方面，增强的空间分辨率可能意味着接受SR图像中的稀疏性。然而，以前使用先验稀疏性知识恢复SR信息的尝试可能会遭受不稳定的一步重建，这取决于图像信噪比(SNR)的对数。

在本申请中，提供了一种提升分辨率和维护SR信息的保真度的三步骤，如图7和图12所示。首先，可以使用传统的维纳算法对原始图像执行反滤波，以最大限度地提高由图像获取设备110所确定的组装OTF内SR组件的信噪比(如图5中操作504所述)，并去除来自失焦平面的背景荧光(如图5操作506或图6操作所述)。对于不符合奈奎斯特采样标准的图像(例如，残差图像)，可以手动添加上采样步骤(例如，操作508中所述)。

其次，为了提高重建保真度，沿着xy-t轴的连续性上的海森惩罚可以与稀疏项(各元素绝对值之和的l₁范数)相结合，迭代逼近扩展到OTF之外的SR信息(如图5中操作510所述)。稀疏重建/反卷积可以使用约束优化来从维纳滤波的原始SIM图像f(即，初始图像) 生成优化的图像g(即，中间图像)。图像(即，初始图像)可以首先为背景b进行校正(详细过程可在图5的操作506或图6的操作中呈现)。然后，g可以通过迭代最小化以下损失函数以生成：

其中第一项代表重建图像(即，中间图像)与背景校正滤波数据(即，残差图像)的常规平方偏差，第二项代表连续性约束，作为对结果图像(即，中间图像)的高二阶空间导数(海森曲率)的惩罚，第三项表示稀疏性约束，作为对过多非零值的惩罚。并且，||·||₁和||·||₂分别代表l₁和l₂范数，λ和λ_L1分别表示平衡图像的保真度和稀疏性的加权因子。损失函数可以使用分裂Bregman算法，形成凸优化问题(详细的等式和过程在图5中的操作510中示出)。虽然稀疏项(图像栈中所有像素点的绝对值之和)允许通过图像获取设备110(图13、14、15、16和17)的带宽限制的一些外扩，保真度项(沿xy-t轴的连续性的海森惩罚)可以保证重建具有抗伪影的鲁棒信噪比(图14和17)。

最后，另一个迭代反卷积步骤(例如，如图5中操作512所述)可以基于最大后验估计(图)来进一步增强超出图获取设备110确定的OTF范围的高频分量的对比度(具体步骤见图5中的操作512)。

根据以下示例进一步描述本申请，该示例不应被解释为限制本申请的范围。

示例

材料和方法

细胞维持和准备。

INS-1细胞培养于添加有10％FBS(GIBCO)、1％100mM丙酮酸溶液和0.1％55mM 2-硫醇(GIBCO,21985023)RPMI1640培养基(Gibco，11835-030)中，在37℃、5％CO₂的培养箱中培养至约75％融合。COS-7细胞和HeLa细胞培养于添加有10％胎牛血清 (FBS)(GIBCO)和1％100mM丙酮酸钠溶液(Sigma-Aldrich,S8636)的高糖 DMEM(GIBCO,21063029)中，在37℃、5％CO₂的培养箱中培养至约75％融合。对于2D- SIM成像实验，将细胞接种到盖玻片上(H-LAF10L玻璃，反射指数：1.788，直径： 26mm，厚度：0.15mm，定制)。对于SD-SIM成像实验，在接种转染细胞之前，将25mm 盖玻片(Fisherbrand，12-545-102)涂覆0.01％聚-L-赖氨酸溶液(SIGMA)约24小时。

在2D-SIM实验中，为了标记LEs/LYs，COS-7细胞用1×Lyso View TM488(Biotium，70067-T)在全细胞培养基中于37℃孵育15-30分钟，避光、不清洗和不成像。为了在SD-SIM实验中标记LES/Lys，COS-7细胞在50nm Lyso Tracker Deep Red (Thermo FisherScientific，L12492)中孵育45分钟，并在成像前用PBS洗涤3次。为了标记LDs，COS-7细胞用1×Lipidspot TM488(Biotium，70065-T)在全细胞培养基于37℃孵育30分钟，并在洗涤和成像之前避光。为了标记线粒体，COS-7细胞用250nm Mito Tracker^TM Green FM(ThermoFisher Scientific，M7514)和250nm Mito

Deep Red FM(Thermo FisherScientific，M22426)在含有Ca²⁺和Mg²⁺但没有酚红(Thermo Fisher Scientific，14025076)的HBSS中于37℃孵育15分钟，然后在成像前洗涤三次。为了进行核染色，COS-7细胞用10μg/mL Hoechst(Thermo Fisher Scientific，H1399)在PBS中孵育约5分钟，并在PBS中洗涤3次。

为了用遗传指标标记细胞，用caveolin-EGFP/LifeAct-EGFP/LAMP1-EGFP/LAMP1-mChery/Tom20-mScarlet/Tom20-mCherry/Sec61β-Cherry/Sec61β-EGFP/clathrin-EGFP/clathrin- DsRed转染Cos-7细胞。用Tubulin-EGFP/PEX11A-BFP/LAMP1-MCHERY转染Hela细胞。用Vamp2-pHluorin转染INS-1细胞。根据制造商的说明，使用Lipofectamine^TM 2000(Thermo Fisher Scientific，11668019)进行转染。转染后，将细胞涂在预涂的盖玻片中。在 37℃活细胞成像系统中在没有酚红的全细胞培养基中成像活细胞。对于用INS-1细胞进行的实验，用含有70mM KCl和20mM葡萄糖的溶液刺激细胞，在TIRF-SIM显微镜下观察囊泡融合事件。

基于干扰的SIM设置。

系统的示意图是基于商业倒置荧光显微镜(IX83，Olympus)配备TIRF物镜(ApoN100×/1.7HI Oil，Olympus)、宽视野物镜(100×/1.45Oil，ApoN，Olympus)和多波段二色镜(DM，ZT405/488/561/640-phase R；Chroma)。简言之，采用波长为488nm(Sapphire488LP-200)和561nm(Sapphire 561LP-200,Coherent)的激光和声光可调谐滤波器(AOTF,AA Opto-Electronic,France)对激光器的照明功率进行组合、开关和调节。用准直透镜(焦距:10mm，Lightpath)将激光器与保偏单模光纤(QPMJ-3AF3S,Oz Optics)耦合。输出激光通过物镜(CFI Plan Apochromat Lambda 2×NA 0.10，Nikon)准直，由偏振分束器(PBS)、半波片和SLM(3DM-SXGA,ForthDD)组成的纯相位光栅衍射。然后，衍射光束被另一个消色差透镜(AC508-250,Thorlabs)聚焦到中间瞳孔平面上，在中间瞳孔平面上放置一个精心设计的止光罩，以阻挡零级光束和其他杂散光，只允许±1对有序光束通过。为了最大限度地调制照明模式，同时消除不同激发偏振之间的切换时间，在止光罩(x)之后放置自制的偏振旋转器。下一步，光线通过另一个透镜(AC254-125,Thorlabs)和一个管状透镜(ITL200,Thorlabs) 聚焦在物镜后焦平面上，通过物镜后与像面发生干涉。由同一物镜通过二色镜(DM)、发射滤光片和另一个管状透镜采集发射荧光。最后，发射荧光通过图像分离器(W-View Gemini，Hamamatsu，Japan)裂解，然后被sCMOS(Flash 4.0V3，Hamamatsu，Japan)捕获。

SD-SIM设置。

SD-SIM是一种基于倒置荧光显微镜(IX81，Olympus)的商业系统配备有(100×，1.3NA)浸油物镜和扫描共焦系统(CSU-X1，Yokogawa)。SD-SIM与4束分别为 405nm、488nm、561nm和647nm的激光结合。Live-SR模块(Gataca Systems，France)配备了SD-SIM。图像由sCMOS(C14440-20UP，Hamamatsu，Japan)或EMCCD(iXon3 897,Andor)捕获，如图10或图11所示。

FRC分辨率图。

为了分析SR显微镜的成像能力，可以实现FRC分辨率以描述有效分辨率。为了更清楚地可视化FRC分辨率，可以应用块状FRC分辨率图来评估(稀疏)SIM和(稀疏) SD-SIM图像。更具体地，每个图像可以被划分为独立的块，并且可以单独计算局部FRC 值。如果块中的FRC估计足够相关，则该区域可以在FRC分辨率图中用颜色编码。否则，该区域可以根据其邻居插值进行颜色编码。应该注意，在计算图10A、10H和11A中SD- SIM原始图像的FRC分辨率图之前，可以提前对图像应用小波去噪算法，以避免SD-SIM 原始图像的超低信噪比影响FRC计算。

FWHM和Rayleigh标准分析。

所有从半峰全宽(FWHM)和双峰拟合中提取的数据集都可以使用OriginPro中的多峰拟合和高斯函数进行处理。为了避免大微珠对微珠分辨率估计的影响，可以在(稀疏)SD-SIM的半宽分辨率校准中包含一个微珠大小校正因子(图18)。因此，可以使用以下等式计算确切的分辨率值：

其中，FWHM_m表示直接从图像中的单个点估计的FWHM，FWHM_r表示(稀疏)SD-SIM的校正分辨率，d表示微珠直径，即图18中的100nm。

肌动蛋白网络的网状孔径。

可以分析肌动蛋白网络的网状孔径(图8H)。考虑到2D-SIM和SD-SIM图像的低 SNR条件和高背景，可以使用预滤波器替换预转换。具体地，高斯滤波器和非锐化掩模滤波器可以连续使用，以便对原始图像降噪并移除其背景。孔可以通过Meyer分水岭分割提取。然后，可以通过反二值图像包含的像素点的数量乘以物理像素尺寸来计算孔尺寸。在一些实施例中，稀疏-SIM和稀疏SD-SIM图像(即，稀疏重建得到的目标SIM和SD-SIM图像)可以直接使用硬阈值来分割，因为其背景极清晰。

CCP直径。

在计算图10A中的CCP直径之前，可能涉及两个主要步骤。第一步，对图10A中的图像进行局部自适应阈值分割以分割图像中的环形结构。第二步，对得到的二值图像进行距离变换后进行Meyer分水岭处理以分离触摸CCP，并且目标是生成距离重叠CCP的中心尽可能远的边界。随后，可以以与网状孔径相同的方式计算CCP直径。

图像渲染和处理。

与ImageJ相关联的彩色图SQURREL-FRC可用于表示图8E中的RFC图。彩色图Morgenstemning可用于显示图10H中的溶酶体和图11D中的傅里叶变换结果。图10K的深度可以用16色投影表示，图11K的深度和图10G中其时间序列可以用喷射投影表示。图 11H中的体积可以由ClearVolume渲染。所有的数据处理都可以使用MATLAB和ImageJ实现。所有图像都可以用Matlab、imagej\MicrosoftVisio和OriginPro准备，视频可以通过自编写的Matlab库制作，该库可通过Https://github.com/weisongzhao/img2vid找到。

SD-SIM的自适应滤波器。

共焦类型的图像通常可以显示出孤立的像素

由于电压不稳定或死/热相机像素点引起的极亮值。这些像素的幅度比生物结构的正常强度幅度高约5至100倍。这些孤立的像素可能是不适合稀疏重建的。可以创建自适应中值滤波器以去除这些不适合的像素点。更具体地，代替正常中值滤波器，其在窗口中将每个像素替换为相邻像素的中值，可以设置开发的自适应中值滤波器的阈值。如果窗口中的像素强度大于阈值×中值，则可以用中值替换像素；否则，窗口可以移动到下一个像素。通过使用该算法，可以在不模糊图像的情况下过孤立的像素。相关算法编写为ImageJ插件，可以在 https://github.com/weisongzhao/adaptivemedian.imagej中找到。

软件和GPU加速。

稀疏-SIM可以使用CPU(Intel i9-7900X，3.3GHz、10核、20线程和128GB内存)、NVIDIACUDA快速傅里叶变换库(cuFFT)和GPU(Titan RTX，4608CUDA核和 24GB内存)在MATLAB中实现。利用FFT可以加快稀疏-SIM中高含量和多维矩阵的卷积操作。在GPU内存足以进行输入数据的前提下，随着数据的大小增加，加速度的影响变得更加明显。在大多数情况下，与CPU处理相比，可以通过GPU加速实现60倍的改进。例如，图8A中1536×1536×20的图像数据集，GPU需要大致90秒的时间来处理，远低于 CPU处理所需的46分钟。本申请中使用的稀疏-SIM软件的版本(附带示例数据和用户手册)可以作为补充软件使用。可以在https://github.com/weisongzhao/Sparse-SIM中找到更新的稀疏-SIM软件版本。

示例1：利用稀疏反卷积验证分辨率扩展

首先，利用反卷积算法对已知真实值的合成单纤维来测试空间分辨率的扩展。如图 13所示，经过维纳反滤波后，两根相距约110nm的单纤维可能会被分开，而距离小于约100nm的单纤维很难分辨。基于稀疏先验的迭代图像重建可能只会造成两根单纤维中间部分荧光的微小差异，而反卷积可以使两根距离可达约81nm单纤维明显分离(图13A和13B)。然而，距离约65nm左右的两根单纤维的对比度可能较低(可能受32nm像素大小的限制)，这可以在像素上采样后得到进一步改善(图13C和13D)。接下来，可以在用不同噪声水平损坏的合成单纤维结构上测试算法中不同步骤的功能。不添加稀疏性先验的反卷积可能无法检索由SIMOTF剔除的高频信息，而不添加连续性先验的反卷积可能导致重建伪影，这种伪影在低信噪比原始图像中表现得尤为明显(图14)。然而，连续性和稀疏性先验的结合可以使高频信息的鲁棒和高保真外扩，即便是在噪声过大的情况下(图14，表S1和S2)。

最后，可以测试稀疏反卷积的能力以增加宽视野显微镜的分辨率以及新识别的生物结构的保真度。通过将1.4NA物镜得到的图像与0.8NA物镜合成的PSF进行卷积，可以产生模糊版的肌动蛋白单纤维(图15A和15B)。有趣的是，在低NA物镜下，两根模糊的相对的肌动蛋白单纤维在经过稀疏反卷积和扩展的傅里叶频域耦合后可以清晰地分离(图15C 和15D)。同样地，不是简单地缩小肌动蛋白单纤维的直径，两根相邻的几乎相距120nm (由2D-SIM确认)的单纤维可以通过宽视野图像的稀疏反卷积来分辨(图15E)。另外，在TIRF-SIM下，一个直径为约135nm的CCP可能在宽视野图像中表现为一个模糊点，这可能是经历了常规反卷积，或之前与海森连续性进行了反卷积。只有在稀疏反卷积之后，环形结构才可能会出现(图15F)。所有这些数据都可以验证空间分辨率的扩展的有效性，在不同条件下得到的扩展OTF也证明了这一点(图16)。

示例2：在活细胞中，稀疏-SIM在毫秒曝光内达到60nm分辨率

肌动蛋白可能是构成细胞膜骨架和定义细胞质形状和一般组织的主要细胞骨架结构块。我们知道，浓缩的肌动蛋白可以在细胞皮层下形成凝胶状的网络，并在细胞分裂、迁移、极化形成等过程中受到动态调控。肌动蛋白虽然具有孔径，但电子显微镜可以检测到的直径约为50～200nm；然而，由于缺乏足够的时空分辨率，这些孔径的动态重塑很难被任何活细胞SR成像算法捕获。在宽视野照明下，两根肌动蛋白单纤维大致相隔66nm，这可能无法用2D-SIM或海森SIM区分，可以通过整个算法(如图8A和8B所示)进行反卷积后可清晰地分辨，但只应用算法中的一个子集时不能分辨(图17)。通过增强对比度(如图8D 所示)和提高空间分辨率，可以更好地分离稠密的肌动蛋白，这可以从SR图像的肌动蛋白单纤维的半峰全宽(FWHM)分析和傅里叶环相关(FRC)图分析中得到(如图8E和8F所示)。在肌动蛋白单纤维动态的时移SR成像中，稀疏-SIM的分辨率可以保持稳定，这可以从通过FRC法获得的相对一致的值中得到证明(如图8G所示)。在肌动蛋白网内更频繁地观察到小孔可以很好地证明分辨率的增加。根据稀疏-SIM数据(如图8I所示)，皮质肌动蛋白网孔的平均直径大致为160nm。空间分辨率的提高也可能有助于解决在TIRF光照下COS-7 活细胞的环状胞膜窖(直径约60nm)(如图8J-8L所示)。以前，这种要求非线性的SIM可能会以额外重建伪影和有限的成像时间为代价。对于宽视野光照下的荧光标记的囊泡，如溶酶体和脂滴，稀疏反卷积可以消除背景和低信噪比的重建伪影。这些数据可以表明，在细胞浆深处的对比度和分辨率可以保持，SR图像可能比传统SIM或海森SIM获得的图像更清晰 (如图8M和8N所示)。

最后，从1692Hz帧率和564Hz时间分辨率的滚动重建的原始图像中，在INS-1细胞中，通过VAMP2-pHluorin标记的囊泡融合事件，稀疏反卷积可以提供更清晰的图像。稀疏-SIM也可以区分直径约为60nm的开放融合孔(如图8O和8P所示)，这比传统或海森SIM检测到的孔要小得多(其平均直径大致为130nm，如图8Q所示)。同样，与传统SIM检测的融合孔相比，稀疏-SIM检测的融合孔发生的时间更早(在融合孔的初始开口后，大致 40ms与69ms)，在整个融合过程中图像持续的时间更长(大致182ms与82ms，如图8Q所示)。这些数据可以支持大致60nm和564Hz的稀疏-SIM的时空分辨率，这可能是目前使用其他现有SR算法无法实现的。

示例3：双色稀疏-SIM观察细胞器下结构之间的相对运动

作为纯数学SR技术，稀疏-SIM可以容易地用于双色成像范例，以提高两个波长的分辨率。例如，在用Tom20-mCherry和Mito-Tracker Green标记的外部和内部线粒体膜(OMM和IMM)的细胞中，稀疏-SIM可以显示比传统的2D-SIM更清晰的嵴结构(如图 9A所示))。此外，改进的分辨率还可以允许检测活体线粒体中OMM和IMM之间的微小差异。在

的分辨率下，稀疏-SIM可以很容易地检测到两种类型OMM:IMM配置，例如，从OMM的一侧延伸到距离另一侧约142nm的长嵴，和只向OMM的另一侧延伸约44nm的短嵴(如图9B-9D所示)。活细胞SR成像也可以揭示一些罕见的事件，例如，在少量帧中IMM扩展没有被封闭在Tom20标记的结构中(如图9E所示)。这一结果可能是由于Tom20蛋白在OMM上的非均匀分布。

双色稀疏-SIM成像还可以解决有关细胞器触点的更多细节，包括在线粒体和内质网之间形成的细节。随着对线粒体嵴识别的进一步完善，可以发现内质网小管(Sec61β-mCherry标记)可以在嵴区和嵴间以等概率随机接触线粒体(如图9F所示)。另外，内质网小管与线粒体顶部的接触不仅与线粒体顶部的定向运动有关，而且与之后嵴的协同重排方向有关(如图9G所示)。这种种嵴重塑是否与内质网-线粒体接触有因果关系仍有待于将来的研究，而可视化这些细微结构变化的能力可能会导致对线粒体功能调节的新见解。

示例4：稀疏反卷积也可用于提高基于旋转圆盘的共聚焦SIM(SD-SIM)的三维分辨率

由于连续性和稀疏性假设是SR荧光显微镜的一般特征，算法可以在SD-SIM获得的SR图像数据上进行测试，基于针孔SIM的商业名如Airyscan、Live-SR、SpinSR10、Re- Scan共聚焦显微镜等。尽管SD-SIM的空间分辨率比衍射极限提高了1.5-1.7倍，但由于微透镜和针孔阵列影响了激发和发射效率，因此在活细胞中，SD-SIM的光子消耗和信噪比 (SNR)较低。通过对SD-SIM获得的荧光微珠(100nm)三维图像栈进行稀疏反卷积，并对荧光微珠的尺寸效应进行校正，可获得大致82nm的横向分辨率和大致266nm的轴向分辨率 (如图18所示)，与SD-SIM相比，所有三个轴的空间分辨率几乎提高了两倍。

在Clathrin-EGFP标记的cos7活细胞中，稀疏SD-SIM可以将模糊的荧光点状物分辨为直径为89nm的环状结构(如图10A和10B所示)，这可以与RFC图算法测量的分辨率一致(如图10C所示)。所有环形CCP的平均直径约为154nm(如图10D所示)，与先前用高NATiRF-SIM测量的相同。一些事件，比如一个环形的CCP的消失和另一个CCP分裂成附近的两个更小的环，可以被观察到(如图10E和10F所示)。这些丰富的CCP动力学可以通过同时标记和成像其他分子，如肌动蛋白单纤维(由LifeAct-EGFP标记)，更好地解释。因为稀疏SD-SIM允许的光子预算可以小于大约0.9W/cm²(表S3)，所以在5s的时间间隔，可以在44μm×44μm的大视野监测超过15分钟的肌动蛋白单纤维和CCP(如图 10G和19所示)。在这些条件下，可以看到CCP和单纤维之间的许多相对运动。例如，可以观察到CCP在两根肌动蛋白单纤维的交叉点上的重新出现和稳定对接，然后随着相邻的单纤维闭合并连接在一起，CCP从焦平面上消失(如图19D所示)，这可能与肌动蛋白在 CCP的内吞作用相一致。类似地，双色稀疏SD-SIM也可以揭示内质网小管和溶酶体之间的动态相互作用，例如，搭载行为(如图20所示)。

稀疏SD-SIM不容易受到色差的影响，很容易适应四色SR成像，允许在活细胞中监测溶酶体、线粒体、微管和细胞核的动态(如图8H和8I所示)，FRC分辨率小至 79～90nm(如图8J 所示)。得益于非聚焦荧光的缺失和轴向分辨率的提高，稀疏SD-SIM可以在整个细胞中以相似的对比度水平看到类似的结构，如FWHMs大致为280nm轴向(如图8L 所示)的线粒体外膜结构，维持在大致为7μm厚的活细胞中(如图8K所示)。。

示例5：在奈奎斯特采样不足的情况下，上采样帮助稀疏反卷积提高分辨率

EMCCD相机具有优异的量子效率和电子倍增能力，常用于SD-SIM系统中，但由于其像素尺寸过大，可能会限制系统的分辨率。例如，当在SD-SIM下用稀疏算法反卷积成像内质网小管时，RFC图分析可以产生大致195nm的分辨率，主要是由于奈奎斯特限制的像素大小大致为94nm(如图11A-11B所示)。通过在反卷积前对数据进行人工上采样，可以区分先前模糊的环状内质网小管(如图11C所示)。显微镜的OTF可以在上采样和反卷积之后扩展(如图11D所示)，这与FRC的测量的分辨率可以提高到102nm相一致(如图 11B所示)。

在稀疏反卷积(稀疏×2)之前的上采样也可以扩展到多色稀疏SD-SIM成像，以跟踪不同细胞器之间的动力学。使用共同表达LAMP1-mCherry、Pex11a-BFP和Tubulin-EGFP的HeLa细胞，可以得到溶酶体、过氧化物酶体和微管的结构和动力学(如图11E 所示)。许多过氧化物酶体可能会在微管上接触溶酶体，表现为溶酶体沿着微管移动并与紧密连接在两根微管蛋白单纤维的交叉点上的过氧化物酶体碰撞(如图11F所示)，或溶酶体和过氧化物酶体在分离和离开前沿微管的共迁移(如图11G所示)。如前所述，这些触点可以介导脂质和胆固醇转运。

最后，可以表明SD-SIM的XYZ分辨率也可以通过稀疏性×2过程提高。在用Hoechst、Mito Tracker Deep Red和Tubulin-EGFP标记的COS-7细胞中，可以观察到在活细胞的轴向跨度为6μm的三维体积内的核、线粒体和微管(如图11H所示)。有趣的是，经过稀疏性×2处理后，微管单纤维的轴向FWHM可能会从原始数据集的约465nm大幅减少到约228nm，这再次表明Z轴增加了两倍(如图11I所示)。从体积重建可以明显看到，连续的、凸出的核结构可能向内弯曲，并在一些轴面区域变凹，这些区域被广泛的微管单纤维和线粒体侵入(如图11J所示)。这种相互的变化可能表明微管蛋白网络可能影响核组装和形态。总的来说，稀疏反卷积与SD-SIM的结合使多色、体积SR成像具有最小的光毒性和像差；这些图像可以提供细胞过程更动态的了解。

图7是根据本申请一些实施例所示的表明稀疏反卷积算法流程图的示例性结果。对 2D-SIM或SD-SIM显微镜的原始图像进行维纳反滤波生成SR图像，在最终的迭代反卷积之前，可以利用xy-t(z)轴上的稀疏性和连续性先验信息进行背景减除、上采样和重建。比例尺:1μm。

图8A-8Q是根据本申请一些实施例所示的表明稀疏-SIM在活细胞中可以达到大致60纳秒和毫秒的时空分辨率的示例性结果。图8A显示了在2D-SIM(下)、海森-SIM (上)和稀疏-SIM(中)下观察到的用LifeAct-EGFP标记的典型COS-7细胞。图8B显示了图8A中框810包围的放大区域(左:2D-SIM、中：海森-SIM、右:稀疏-SIM)。图8C为图 8B中线830-850对应的剖面图。图8D为2D-SIM和稀疏-SIM下不同距离的两个峰值的平均对比度。可以根据等式(Imax-Imin)/(Imax+Imin)计算对比度。图8E显示了2D-SIM和稀疏-SIM下肌动蛋白单纤维的RFC图。图8F显示了2D-SIM和稀疏-SIM的分辨率，即通过 FRC技术测量的最窄肌动蛋白单纤维的FWHM。图8G显示了相对于2D-SIM(黑空心三角形)的理论极限，2D-SIM图像(黑空心圆)、海森-SIM图片(灰色空心圆)和和稀疏-SIM图像 (灰色空心方形)最小FRC分辨率随时间的变化。图8H左侧显示的是图8A中810框中肌动蛋白单纤维的放大图，而右侧显示的是被相对较细的线覆盖的分割的单纤维。图8I显示了图8H中由2D-SIM(黑色)和稀疏-SIM(灰色)图像测量的肌动蛋白网格内孔隙大小的累积分布。图8J显示了在TIRF-SIM(左，大致98nm的FRC平均分辨率)和稀疏-SIM(右，大致 58nm的FRC平均分辨率)下用caveolin-EGFP标记的COS-7细胞的典型示例。如图8K所示，从上到下依次为TIRF-SIM、稀疏-SIM(像素大小为32nm)和2×上采样的稀疏-SIM(像素大小为16nm)重建的图8J中白框的放大图。图8L为图8K中线860-880的荧光图谱。在 COS-7活细胞中，如图8M所示，细胞质溶酶体可以用LAMP1-EGFP标记(左，黄色)或 LysoView标记(中间，青色)，而脂滴可以用Lipidpot(右，洋红色)标记。上：2D- SIM(左)和稀疏-SIM(右)下相同结构的比较。下：通过2D-SIM(左)、海森-SIM(中)和稀疏- SIM(右)重建的放大视图。图8N显示了稀疏-SIM检测到的caveolin-EGFP、LAMP1-EGFP 和LipidSpot标记结构的平均直径。图8O显示了在TIRF-SIM(上)和稀疏-SIM(下)配置下观察到的囊泡融合事件的代表性剪辑。INS-1细胞可以用VAMP2-pHluorin标记，并且可以以 564Hz的帧速率进行SR成像。图8P显示了图8O中TIRF-SIM(上)和稀疏-SIM(下)图像中的波形图。图8Q显示了在TIRF-SIM(红色)和稀疏-SIM(青色)配置下测量的平均孔径(左)、孔隙开放时间(中)和孔隙持续时间(右)。中心线，中位数；限制，75％和25％；须，最大值和最小值；误差线，s.e.m.；Cumul.Freq.，累积频率；比例尺:(图8A、8E、8M 上)5μm；(图8B和8J)500nm；(图8H和8M下)1μm；(图8K和8O)100nm；(图 8P)500ms。

图9A-9G是根据本申请的一些实施例表明线粒体内和内质网-线粒体之间的复杂动力学被双色稀疏-SIM可视化的示例性结果。图9A显示了COS-7细胞的一个典型例子，其中外(洋红色)和内(青色)线粒体膜(OMM和IMM)都用Tom20-mScarlet和MitoTrackerGreen 标记，并在2D-SIM(左)和稀疏-SIM(右)下观察。图9B显示了图9A中框910处IMM(左) 和OMM(右)的放大图。图9C显示了Tom20-mScarlet(洋红色)和MitoTrackerGreen(青色) 沿着图9B的连续虚线的荧光强度分布图，对应于右侧示意图中所示的两种线粒体结构(以黑色箭头表示)。图9D显示了图9A中IMM(青色)和OMM(洋红色)在2D-SIM和稀疏-SIM下的平均最小分辨率。沿t轴的20幅图像可用于FRC分析如图9E所示，图9A中的白色虚线框920在三个时间点被放大并显示，揭示了Tom20(右)相对于Mito Tracker Green(左)的非均匀分布。图9F显示了COS-7细胞的一个典型例子，IMM(青色)和ER(洋红色)都被Mito Tracker Green和Sec61β-mCherry标记，并在2D-SIM(左上)和稀疏-SIM(右下)下观察。左下方的插图显示了在线粒体嵴或基质区内质网-线粒体的接触位点。图9G显示了在稀疏-SIM 下图9F的白框930的放大图，图中显示了由于与内质网(显示在左侧)动态接触而重新排列的内嵴结构的方向(940-970箭头所指)，而白框中的重排嵴区域被放大了(显示在右侧)。中心线，中位数；限制，75％和25％；须，最大值和最小值；误差线，s.e.m.；比例尺:(图 9A和F)1μm；(图9C)轴向:0.2任意单位(a.u.)；横向：100nm；(图9B、9E和9G) 500nm。

图10A-10L是根据本申请的一些实施例表明稀疏SD-SIM可以实现三维、多色和亚90nm分辨率的活细胞SR成像的示例性结果。图10A显示了用sCOMS相机在SD-SIM(左三角形)和稀疏SD-SIM(右三角形)下观察到的表达Clathrin-EGFP的COS-7细胞的代表性快照(第三帧，每帧0.2秒曝光)。图10B为CCP中央分辨环(左上)对应的荧光强度曲线。图10C显示了由FRC技术评估的在SD-SIM和稀疏SD-SIM下观察到的CCP的平均最小分辨率。图10D为活细胞中CCP的直径直方图。图10E显示了图10A中框区1010的放大图，显示了CCP的连续消失(由黄色箭头1030-1060表示)。顶部图像是原始的SD-SIM图像；其余是稀疏-SD-SIM图像。图10F显示了图10A中框区1020的放大图，显示了CCP分裂为两个CCP。图10G显示了16.75分钟活细胞SR成像期间CCP颜色的时间投影。图 10H显示了稀疏SD-SIM下四色活细胞SR成像的典型例子。COS-7细胞可以同时用LAMP1-mCherry(黄色)、Mito Tracker(绿色)、Hoechst(蓝色)和Tubulin-EGFP(洋红色)标记。如图10I所示，图10H中框区1070的放大图可以分为两个图像，分别突出线粒体和溶酶体(左)以及核和微管蛋白(右)。SD-SIM和稀疏SD-SIM下的视图可以分别显示在每张图片的左边和右边。图10J显示了在SD-SIM和稀疏SD-SIM下观察到的不同颜色标记的细胞器的平均分辨率，并用FRC技术进行评估。图10K显示了用稀疏SD-SIM观察COS-7活细胞轴向7μm体积内所有线粒体(用TOM20-mCherry标记)的三维分布。可以使用不同的颜色来编码从细胞表面到成像的平面的不同距离。图10L为图10K中框区1080的横切面(左)和纵切面(右)的彩色编码，其中SD-SIM和稀疏SD-SIM获得的图像可分别显示在上方和下方。中心线，中位数；限制，75％和25％；须，最大值和最小值；误差线，s.e.m.；比例尺:(图10A和10I)3μm；(图10E和10F)300nm；(图10G和10L)1μm；(图10H和 10K)5μm。

图11A-11K是根据本发明的一些实施例表明上采样可以使稀疏SD-SIM克服奈奎斯特采样限制以在活细胞中完成多色三维SR成像的示例性结果。图11A显示(从左至右)在SD-SIM、海森SD-SIM、系数SD-SIM和系数SD-SIM×2配置下COS-7细胞(用Sec61β- EGFP标记)外围的内质网小管。SD-SIM系统可以配备有EMCCD相机，而每个SR图像中的物理像素尺寸可以是大致94nm。图11B显示了由FRC技术评估的图11A在不同构型下获得的图像的平均最小分辨率。根据奈奎斯特标准的理论分辨率可以绘制为虚线1120。图 11C为图11A所示内质网小管在不同构型下(从左到右)的放大图。箭头指示的内质网小管结构只能在稀疏SD-SIM×2配置(右侧插图)下分辨。图11D示出了在SD-SIM(左)，海森 SD-SIM(中左)、稀疏SD-SIM(中右)和稀疏SD-SIM×2(右)配置中获得的图像的傅里叶变换。图11E显示了被微管蛋白-EGFP(洋红色)、Pex11a-BFP(青色)和Lamp1- mCherry(黄色)标记的HeLa细胞在SD-SIM(左)和稀疏SD-SIM×2(右)配置下的快照。图 11F显示了图11E中框区1130的放大图，其中不同时间的蒙图(上)显示溶酶体沿着微管移动以与两个过氧化物酶体接触。溶酶体和过氧化物酶体之间的接触可以进一步放大并显示在下方。图11G示出了另一示例，在稀疏SD-SIM×2配置下，溶酶体和过氧化物酶体沿微管共同运动。虚线可以表示微管。图11H示出了稀疏SD-SIM×2方法的活细胞三色三维成像。COS-7细胞可以用微管蛋白-EGFP(绿色)、Hoechst(青色)和Mito Tracker Deep Red(洋红色)标记。图11I为SD-SIM(上)和稀疏SD-SIM×2(下)记录的图11H的z轴视图。线 1140(SD-SIM)和1150(Sparse SD-SIM×2)的荧光图谱可能在z轴上穿过微管单纤维，对于 SD-SIM和稀疏SD-SIM×2，可以用高斯拟合得到大致465nm和大致228nm的FWHM分辨率。图11J显示了三个水平截面的细胞核(上)和线粒体合并微管(下)，其中，核的内凹区域可能被广泛的微管单纤维和线粒体侵入。图11K从左到右显示了细胞核、线粒体和微管的体积。不同的成像平面深度可以以不同的颜色编码。比例尺:(图11A、11D、11E、11H、11I、11J、11K)5μm；(图11B和11F上方，和11G)3μm；(图11C)1μm；(图11F下方) 500nm。

图12是根据本申请一些实施例所示的表明稀疏反卷积的详细工作流程的示例性结果。I-II、III-IV和V-VI可以分别通过使用sCMOS相机的2D-SIM、使用sCMOS相机的 SD-SIM和使用EMCCD相机的SD-SIM捕获。然后，可以使用反维纳滤波重建SR图像。此后，整体相似但略有不同的策略可用于处理这些不同类型的数据集。

图13A-13D是根据本申请一些实施例所示的表明根据合成图像在稀疏反卷积的不同步骤下的空间分辨率基准的示例性结果。图13A为分辨率板，像素大小为16.25nm，包含距离为48.75nm、65.00nm、81.25nm、97.50nm和113.75nm的五对线。合成图像(512×512像素)可以首先通过模式激发照射，然后用显微镜下的PSF(1.4NA，488nm激发)进行卷曲。信号可以用具有65nm的像素大小的sCMOS相机记录，这意味着原始图像(128×128像素点) 的4×上采样。具有5％的峰值强度的高斯噪声也可以包括在原始图像中。然后(从左到右)利用维纳反滤波得到传统SIM图像(256×256像素)，随后在连续性和稀疏性先验信息约束下进行重建，最后进行反卷积。通过等式λ/2(NA_i+NA_d)可以计算维纳SIM的理论限制分辨率为97.6nm，其中i和d分别表示光照和检测NA。图13B示出了图13A中不同的线对对应的强度。只有对原始图像进行全稀疏反卷积处理时，才能分辨出65nm分隔的两条线。如图13C 所示，经过维纳反滤波后得到512×512像素的SIM图像也可以在之后的稀疏反卷积管道中进行上采样和其他步骤处理。图13D示出了图13C中不同的线对对应的强度。注意，在上采样图像中，相隔48.75nm的两条线可以被稀疏反卷积隔开。比例尺:1μm。

图14A-14D是根据本申请的一些实施例所示的表明不同步骤对合成图像的稀疏反卷积的贡献可能随噪声污染程度的不同而不同的示例性结果。如图14A所示，可以使用RandomWalk过程创建合成单纤维结构，并在程序中采用最大曲率生成单纤维结构。为了模拟单纤维结构的延时序列，可以使用亚像素移位操作在这些单纤维中基于t轴上的Markov链产生随机移位，从而生成128×128×5像素的图像栈。为了模拟SIM采集，这些真实值队形可以被模式激发照亮，并用显微镜的PSF(1.4NA,488nm激发，32.5nm像素)进行模糊，以产生宽视野的原始图像。除了单纤维外，还可能包括结合细胞自身荧光和从失焦平面发出的荧光效应的背景信号(通过合成单纤维与距离焦平面1μm的失焦PSF的卷积模拟)。此外，纤维峰值荧光强度中可能掺入不同方差(0％、11％、25％、50％、80％)的高斯噪声。原始图像可由像素大小为65nm、像素振幅为16位的sCMOS相机获取。图14B示出了0％、 11％和80％噪声水平(从上到下)的五种不同类型的SR重建之间的性能比较。具体来说，可以先用维纳反滤波重建原始图像(第1列)，然后只用连续约束重建(第2列)，用连续约束重建和反卷积(第3列)，只用稀疏约束重建和反卷积(第4列)，或者稀疏加连续约束重建和反卷积(列5)。图14C为图14B中两根相对的合成单纤维在不同条件下的荧光强度曲线。在连续性重建之后的反卷积可能无法分离这些单纤维，稀疏重建之后的反卷积可能会在含有 80％噪声的原始图像中造成伪影(指针所示的一个示例)。如图14D所示，与合成的真实值相比，不同技术重建的SR图像的平均峰值信噪比(PSNR)和结构相似度(SSIM)值可能随不同程度的噪声(0％、11％、25％、50％、80％)而不同。更多详情可见表S1和S2。比例尺:图 14A中1μm；轴向：图14C中0.1任意单元(a.u.)；横向：100nm。

图15A-15F是根据本申请一些实施例所示的表明在处理真实的生物结构时通过稀疏反卷积算法真实扩展的空间分辨率的示例性结果。图15A-15D示出了在空间和傅立叶空间进行稀疏反卷积过程后宽视野高NA(1.4)和低NA(0.8)成像之间的对比。如图15A所示，从左到右可以是稀疏反卷积后的高Na(1.4)图像、模拟低NA(0.8)图像和第NA (0.8)图像(数据和图8A中相同)。这里，可以使用公式IFFT{FFT(IMG1.4)× (OTF0.8/OTF1.4)以生成低NA图像。在该公式中，FFT(IFFT)表示(逆)快速傅立叶变换，IMG1.4表示高NA图像。图15B示出了Na＝1.4(OTF1.4)和Na＝0.8(OTF0.8)的光学传递函数。图15C示出了图15A中插图对应的高斯拟合截面。可以看出，在低NA 下，经过稀疏反卷积后，距离为259nm的两个峰可以被分辨出来，这与原始高NA图像中的265nm相似。这表明稀疏反卷积可以实现具有更好对比度的高NA分辨率。如图15D所示，可以从左到右呈现相应的傅里叶空间图像。如图15E和15F所示，利用SIM图像作为真实值，对宽视野(WF)图像进行稀疏反卷积，可以真正提高空间分辨率。可以使用过表达 LifeAct-EGFP(图15E)或Clathrin-EGFP(图15F)的COS-7活细胞，分别用2D-SIM和TIRF- SIM进行成像。对原始数据集，可以采用常规反卷积、连续性重建再反卷积、上采样加稀疏性和连续性重建，或者上采样加稀疏性和连续性重建再反卷积。显然，只有全稀疏反卷积算法才能分辨出两根相对的肌动蛋白单纤维(图15E)和CCP的环状结构(图15F)，其保真度由右侧SIM图像确定。比例尺:(图15A、15B、15D和15F)500nm；(A，插图)200nm。

图16A和16B是根据本申请一些实施例所示的表明通过在不同情况下荧光微珠可视化的傅里叶变换获得光学传递函数的示例性结果。图16A示出了荧光微珠(直径为48nm)在宽视野成像:(左上)、宽视野加反卷积(右上)、宽视野加稀疏性和连续性重建(左下)和宽视野加稀疏和连续性重建然后反卷积(右下)的图像。上方插图:在不同条件下观察到的单个微珠；下方插图:左侧为图像的对应傅里叶变换。图16B示出了从图16A的下方插图中沿白线 1610-1640在频域的振幅，而两根垂直虚线1650和1660表示宽视野显微镜的空间频率限制。比例尺:5μm；插图:500nm。

图17A和17B是根据本申请一些实施例所示的表明利用只有稀疏性、只有连续性、或同时具有稀疏性和连续性先验的重建的示例性结果。图17A示出了在2D-SIM下图8A中COS-7活细胞中使用LifeAct-EGFP标记的肌动蛋白单纤维(左)，其后是稀疏性约束的重建和反卷积(中左)、连续性约束的重建和反卷积(中右)或者包含稀疏性和连续性约束的重建和反卷积(右)。图17B为2D-SIM下Clathrin-EGFP标记的CCP(左)，其后是稀疏性约束的重建和反卷积(中左)、连续性约束的重建和反卷积(中右)或者包含稀疏性和连续性约束的重建和反卷积(右)。比例尺:(图17A)1μm；(图17B)300nm。

图18A-18E是根据本申请一些实施例所示的表明在SD-SIM和稀疏SD-SIM下的荧光微珠的三维图像栈的示例性结果。图18A-18B分别示出了SD-SIM记录(图18A)和经过稀疏反卷积(图18B)后的荧光珠(直径为100nm)(图18A)的最大强度投影(MIP)视图(左) 和的水平截面(右)图。左下角的插图示出了同一荧光微珠在不同重建算法下的放大图。图 18C示出了(图18A左下角)中对应的高斯拟合曲线，可以看出SD-SIM和稀疏SD-SIM的横向分辨率分别为165nm和82nm。图18D在左右两侧示出了图18A和18B中的框1810和 1820放大的水平截面，而SD-SIM图像可以用中值滤波处理以避免拟合结果不收敛。如图 18E所示，可以使用高斯函数拟合图18D中荧光微珠沿轴向的强度曲线，SD-SIM和稀疏 SD-SIM的轴向分辨率分别达到484nm和266nm。比例尺:(图18B)4μm，(图18B，插图)100nm，(图18D)200nm。

图19A-19D。是根据本申请一些实施例所示的表明利用稀疏SD-SIM对网格蛋白和肌动蛋白进行双色活细胞成像的示例性结果。图19A和19B示出了SD-SIM(左)和稀疏SD-SIM(右)16.75分钟间隔5秒记录的CCP(图19A)和肌动蛋白单纤维网络(图19B)。图19C示出了通过Sparse SD-SIM捕获的COS-7细胞中的CCP(青色)和皮质肌动蛋白细胞骨架(洋红色)。图19D示出了在放大后的图19C中的框区1910(图19C)在5个时间点的剪辑。在SD- SIM下观察到的第一图像可能出现在左上角以进行比较。可以观察到，CCP可以在两根肌动蛋白单纤维的连接条件下稳定地对接，然后随着这些相邻的单纤维合并而从焦平面消失。比例尺:(图19A-19C)4μm；(图19D)500nm。

图20A和20B是根据本申请一些实施例所示的表明利用稀疏SD-SIM显示内质网溶酶体接触的示例性结果。图20A示出了通过Sparse SD-SIM可视化的COS-7活细胞中内质网小管(Sec61-EGFP标记，绿色)和溶酶体(Lyso tracker Deep Red标记，洋红色)之间的接触。图20B示出了典型溶酶体-内质网接触动力学的延时图像，从图20A的虚线框区域2010通过SD-SIM(上)和稀疏SD-SIM(下)放大。内质网小管可能随着溶酶体移动，随后管状结构收缩为溶酶体周围的多边形(白色箭头所示)，最后由于内质网小管的收缩，多边形消失。比例尺:(图20A)3μm；(图20B)2μm。

表S1：相对于合成的真实值(G代表高斯噪声)，对不同噪声水平的图像进行不同算法重建 (图13A)的PSNR

表S2：相对于合成的真实值(G代表高斯噪声)，对不同噪声水平的图像进行不同算法重建 (图13A)的SSIM

表S3:不同图中使用的成像条件

通过开发稀疏反卷积算法，可以实现将数学SR应用于来自不同荧光显微镜的图像数据的长期目标。在本申请中，提出了证明数学SR的保真度的证据。第一，在模拟实验中采用合成结构，可以表明稀疏反卷积相比传统SIM反卷积可以提供许多接近真实值的更复杂的细节(图13和14)。第二，通过对原始SIM图像重建得到的宽视野图像进行稀疏反卷积，可以观察到宽视野显微镜无法观察到的复杂结构，如分支的单纤维或环状的CCP(图 15E和15F)。可以通过相应的SR-SIM重建完全确认这些结构的保真度。第三，对于没有真实值图像的真实生物结构，空间分辨率的提高可以通过FRC技术进行定量评估，声称的分辨率可以通过其区分相邻结构的能力得到确认。SD-SIM的分辨率几乎是原来的两倍，从约150nm提高到约80nm，使其能够分辨大多数平均直径在150nm左右的环形CCP(图9)。第四，使用稀疏TIRF-SIM，它可能能够分辨许多直径大致为60nm的环形胞膜窖。同样地，用稀疏-SIM测量的皮质肌动蛋白网孔的尺寸大致为160nm(图8I)。最后，当对个体使用稀疏反卷积时，通过SD-SIM获得的二维图像可以将轴向分辨率提高两倍，而手动上采样结合稀疏反卷积算法可以恢复以前受奈奎斯特采样标准限制的SR信息。综上所述，这些数据可以表明稀疏反卷积算法的空间分辨率扩展是合理和真实的，并可以与其他基于硬件的 SR技术结合，以减少光子预算来提高分辨率(表S3)。

对于显微镜学家来说，人们很早就相信显微镜的带宽是不变的。然而，另一种观点认为显微镜所携带的全部信息可以是不变的，这可以通过本申请中的示例来证明。从这个意义上说，引入成像对象的额外先验知识可以用来实现数学SR。图像获取设备110所限制的带宽频率的真正扩展可归因于本申请中的反卷积算法。在对象连续性上加入海森惩罚可以提高图像的信噪比，这对于超出OTF的任何带限频率外扩是至关重要的。在没有连续性的情况下，稀疏反卷积可能导致过度锐化或随机伪影(图14和17)。相比之下，带宽外扩技术的目的是重建所有对象细节，稀疏性先验可以作为一个可调节的参数来约束SR信息的迭代逼近。通过调整参数以仅对最终重建中的对象的稀疏性仅施加轻度要求，这样可以避免去除微弱的荧光信号，使算法能够普遍适用于不同的数据集。最后的迭代反卷积步骤对于提高超出OTF的高频信息和实现紧密排列结构的视觉分离也是必不可少的(图13、14、16和18)。至少三种显微镜的分辨率可以通过稀疏反卷积算法得到扩展的事实表明稀疏反卷积算法可以普遍适用于其他SR显微镜。

在稀疏反卷积的不同可能的应用中，稀疏-SIM可以实现前所未有的时空分辨率组合。在大致60nm分辨率和564Hz帧速率下，可以更早地看到小于90nm的囊泡融合孔的开放，并且可以容易地观察到更长的孔持续时间(图8O和8P)，这有助于阐明囊泡融合和其他超快过程的分子机制。稀疏-SIM观察到的外部和内部线粒体膜的不同构造可以表明它还可以用于揭示有关活细胞中细胞器和细胞器接触的细节。对于多色三维SR成像，稀疏SD- SIM可能是更好的选择。以降低时间分辨率为代价，稀疏SD-SIM可以更好地保存活细胞内不同平面的分辨率和对比度，减少光照剂量也可以实现长时三维SR成像。

总之，这可以证明稀疏反卷积算法的普遍适用性，其有能力在数学上提高任何现有的荧光显微镜图像的分辨率。其与基于硬件的SR显微镜的结合使约60nm的分辨率达到前所未有的约毫秒(ms)时间分辨率，并为生物学家提供常规的多色、90nm以下的SR成像，这将有助于生物学家更好地在三维空间和时间解析不同结构和动力学。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。因此，本申请的各个方面可以完全由硬件实施、完全由软件 (包括固件、常驻软件、微代码等)或由硬件和软件组合实施。以上硬件或软件均可被称为“单元”、“模块”或“系统”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

计算机可读信号介质可以包含一个内含有计算机程序代码的传播数据信号，例如，在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。

本申请各部分操作所需的计算机程序代码可以用任意一种或以上程序设计语言编写，包括如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python 等的面向对象程序设计语言、如C程序设计语言、VisualBasic、Fortran2103、Perl、 COBOL2102、PHP、ABAP的常规程序化程序设计语言、如Python、Ruby和Groovy的动态程序设计语言或其它程序设计语言等。程序代码可以完全在用户计算机上执行，可以部分在用户计算机上作为独立软件包执行，可以部分在用户计算机上并部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机 (例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其它名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，尽管上述各种组件的实现可以体现在硬件设备中，但也可以实现为纯软件解决方案，例如，在现有服务器或移动设备上的安装。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请的实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

在一些实施例中，用于描述和要求保护本申请的某些实施例的表示数量或性质的数字应理解为在某些情况下被术语“大约”、“近似”或“大致”修饰。例如，除非另外说明，否则“大约”、“近似”或“大致”可以指示其所描述的值的±20％变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果与任何合并材料相关的术语的描述、定义和/或使用与本文件相关的术语之间存在任何不一致或冲突，应以本文件中该术语的描述、定义和/或使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims

1.一种图像处理方法，在至少一台机器上实现，每台机器具有至少一个处理器和至少一个存储设备，其特征在于，包括：

通过对由图像获取设备生成的图像数据进行滤波以生成初始图像；

基于第一目标函数，对所述初始图像执行第一迭代操作以生成中间图像，所述第一目标函数包括第一项、第二项和第三项，所述第一项与所述中间图像和所述初始图像之间的第一差值相关联，所述第二项与所述中间图像的连续性相关联，所述第三项与所述中间图像的稀疏性相关联；以及

基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像，所述第二目标函数与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。

2.如权利要求1所述的方法，其特征在于，所述对所述图像数据进行滤波包括：

通过对所述图像数据执行维纳反滤波来对所述图像数据进行滤波。

3.如权利要求1所述的方法，其特征在于，所述第一迭代操作是用于最小化所述第一目标函数的操作。

4.如权利要求1所述的方法，其特征在于，所述第一项包括与所述中间图像的图像保真度相关联的第一权重因子。

5.如权利要求4所述的方法，其特征在于，所述第一项还包括所述第一差值的L-2范数。

6.如权利要求1所述的方法，其特征在于，所述第二项包括所述中间图像的海森矩阵。

7.如权利要求1所述的方法，其特征在于，所述第三项包括与所述中间图像的所述稀疏性相关联的第二权重因子。

8.如权利要求7所述的方法，其特征在于，所述第三项还包括所述中间图像的L-1范数。

9.如权利要求1所述的方法，其特征在于，所述第二迭代操作是用于最小化所述第二目标函数的操作。

10.如权利要求1所述的方法，其特征在于，所述第二迭代操作包括迭代反卷积。

11.如权利要求1所述的方法，其特征在于，所述第二差值包括所述中间图像与所述目标图像乘以所述系统矩阵之间的第三差值。

12.如权利要求11所述的方法，其特征在于，所述第二目标函数包括所述第二差值的L-2范数。

13.如权利要求1所述的方法，其特征在于，还包括：

基于所述初始图像生成估计背景图像。

14.如权利要求13所述的方法，其特征在于，所述第一项还与所述第一差值和所述估计背景图像之间的第四差值相关联。

15.如权利要求13所述的方法，其特征在于，所述基于所述初始图像生成所述估计背景图像包括：

通过对所述初始图像执行迭代小波变换操作以生成所述估计背景图像。

16.如权利要求15所述的方法，其特征在于，所述迭代小波变换操作包括一个或多个迭代，并且每个当前迭代包括：

基于所述初始图像或在前一次迭代中生成的估计图像确定输入图像；

通过对所述输入图像执行多尺度小波分解操作以生成分解图像；

通过对所述分解图像执行逆小波变换操作以生成变换图像；

基于所述变换图像和所述输入图像生成更新的变换图像；

通过对所述更新的变换图像执行截止操作以生成当前迭代的估计图像；以及

响应于确定满足终止条件，将所述估计图像指定为背景图像。

17.如权利要求1所述的方法，其特征在于，所述第一迭代操作包括：

基于所述初始图像确定初始估计中间图像；以及

基于所述初始估计中间图像执行所述第一目标函数的至少两个迭代来更新估计中间图像，其中，在所述至少两个迭代的每个中，

响应于确定满足终止条件，确定所述中间图像。

18.如权利要求17所述的方法，其特征在于，还包括：

对所述初始估计中间图像执行上采样操作。

19.如权利要求1所述的方法，其特征在于，与基于不包括所述第一目标函数的所述第三项的第三目标函数生成的参考图像相比，所述目标图像具有提高的空间分辨率。

20.如权利要求19所述的方法，其特征在于，相对于所述参考图像的第二空间分辨率，所述目标图像的第一空间分辨率提高了50％-100％。

21.如权利要求1所述的方法，其特征在于，所述图像获取设备包括结构光显微镜。

22.如权利要求1所述的方法，其特征在于，所述图像获取设备包括荧光显微镜。

23.一种图像处理系统，包括：

至少一个存储介质，包括一组指令集；以及

至少一个处理器与所述至少一个存储介质进行通信，其中，当执行所述指令集时，所述至少一个处理器使所述系统执行操作包括：

基于第一目标函数，对所述初始图像进行第一迭代操作以生成中间图像，所述第一目标函数包括第一项、第二项和第三项，所述第一项与所述中间图像和所述初始图像之间的第一差值相关联，所述第二项与所述中间图像的连续性相关联，所述第三项与所述中间图像的稀疏性相关联；以及

24.一种非暂时性计算机可读介质，包括用于图像处理的至少一组指令集，其特征在于，当由计算设备的一个或多个处理器执行时，所述至少一组指令集使得计算设备执行方法，所述方法包括：

25.一种图像处理系统，包括：

初始图像生成模块，其被配置为通过对由图像获取设备生成的图像数据进行滤波以生成初始图像；

稀疏重建模块，其被配置为基于第一目标函数，对所述初始图像进行第一迭代操作以生成中间图像，所述第一目标函数包括第一项、第二项和第三项，所述第一项与所述中间图像和所述初始图像之间的第一差值相关联，所述第二项与所述中间图像的连续性相关联，所述第三项与所述中间图像的稀疏性相关联；以及

反卷积模块，其被配置为基于第二目标函数，对所述中间图像执行第二迭代操作以生成目标图像，所述第二目标函数与所述图像获取设备的系统矩阵以及所述中间图像和所述目标图像之间的第二差值相关联。