CN111052173A

CN111052173A - 用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序

Info

Publication number: CN111052173A
Application number: CN201880049585.2A
Authority: CN
Inventors: C·吉玛; 欧阳伟
Original assignee: Institut Pasteur de Lille
Current assignee: Institut Pasteur de Lille
Priority date: 2017-07-31
Filing date: 2018-07-26
Publication date: 2020-04-21
Anticipated expiration: 2038-07-26
Also published as: EP3662439A1; JP7249326B2; JP2020529083A; US20200250794A1; CN111052173B; WO2019025298A1; US11676247B2

Abstract

本发明涉及从至少一个低信息含量的图像，例如从通过单分子定位显微术获得的衍射受限图像序列，重构合成的密集超分辨率图像。在获得这样的衍射受限图像序列之后，根据单分子定位显微术图像处理，从所获得的衍射受限图像序列重构稀疏定位图像。将重构的稀疏定位图像和/或相应的低分辨率宽场图像输入到人工神经网络，并从人工神经网络获得合成的密集超分辨率图像，该人工神经网络是利用训练数据根据训练目标函数被训练的，该训练数据包括稀疏定位图像、至少部分对应的低分辨率宽场图像、和对应的密集超分辨率图像的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

Description

用于改进从单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序

技术领域

本发明总体上涉及显微术和图像处理领域。更具体地，本发明涉及如下的方法、设备和计算机程序，其用于改进从通过单分子定位显微术获取的衍射受限图像到密集超分辨率图像(即，具有超出衍射限制的分辨率的图像)的重构，使得可以减少用于重构密集超分辨率图像的衍射受限图像的获取时间，而不会显著影响重构图像的质量和分辨率。

背景技术

克服了分辨率的衍射限制(约200至300nm)的荧光显微术方法使得可以对具有接近分子尺度的分子特异性的生物结构进行成像。在超分辨率显微术方法中，基于单分子定位的那些方法(例如PALM(光激活定位显微术)，STORM(随机光学重构显微术)或PAINT(用于纳米拓扑成像的点累积))由于它们的极高空间分辨率且易于实施而特别有吸引力。

在这些单分子定位显微术(SMLM)方法中，荧光团的小随机子集被成像于许多连续的衍射受限图像中，被高精度地计算检测和定位，并且组合的荧光团位置被用于生成例如被定义为独立位置(x_i,y_i)的2D直方图的密集超分辨率图像(或密集图像)。

实际上，作为被表示为K的单个密集超分辨率图像的基础的衍射受限图像(也称为原始图像)的数量通常在1000到100000之间。此约束遵循必须同时满足以确保高空间分辨率的两个条件：

-每个衍射受限图像的激活荧光团的数量(被用ρ指示)少，以避免衍射受限点之间重叠，并允许各个分子的精确定位。ρ的值通常在10到100之间(此数字取决于传感器的大小和分辨率，它必须足够小以使得来自激活荧光团的衍射受限光斑不会重叠或仅很少重叠)，并且

-独立荧光团位置(即对应于不同荧光团的位置)的数量(被表示为N(其中N＝K×ρ))大，以确保对底层生物结构进行足够密集的采样。

图1以STORM图像处理为例说明了从衍射受限图像重构密集超分辨率图像，每个衍射受限图像均包含少量的表现为衍射受限荧光点的活性荧光团。

如图所示，包含分别在时间t₁到t_k拍摄的K个衍射受限图像(或原始图像)的集合105的图像100-1至100-K被用于根据被表示为110的STORM图像处理来重构密集超分辨率图像115(密集超分辨率图像115可以称为STORM图像)，该STORM图像处理即为荧光团检测、具有子像素和次衍射精度的荧光团定位，并显示独立位置(x_i,y_i)的2D直方图。

为了说明起见，每个原始图像的表现为衍射受限荧光点的荧光团的平均数n可以大约等于15，并且用于重构一个STORM图像的原始图像数K可以等于80 000。

SMLM图像获取和处理特别在Betzig,E.等人的“imaging intracellularfluorescent proteins at nanometer resolution(以纳米分辨率成像细胞内荧光蛋白)”，Science(科学)(80-.)，313，1642-1645(2006)中进行了描述。STORM图像的获取和处理特别地在Rust，M.J.，Bates，M.&Zhuang，X的“Sub-diffraction-limit imaging bystochastic optical reconstruction microscopy(通过随机光学重构显微术(STORM)进行的亚衍射限制成像)”，Nat Methods 3，793-795(2006)中进行了描述。

一项早期研究已将由于采样引起的分辨率限制定义为最接近的独立位置之间的平均距离的两倍。为了实现表示为R的给定分辨率，奈奎斯特准则会产生表示为N_Nyq(R)的最小数量的荧光团位置。但是，近期的重新分析和与电子显微镜数据的比较得出结论，实际上需要至少五倍以上的分子位置(N_5×Nyq(R)＝5×N_Nyq(R))。

上述两个条件所暗示的大的图像数量(K＝N/ρ)使单分子定位显微术固有地效率低下且速度慢，从而限制了其在高产量成像(其中，研究领域中的许多视场(FOV)要被成像)中以及对活细胞动态进行成像中的潜力。结果，大多数单分子定位显微术研究被局限于分析少量细胞(通常少于十个)以及与采集时间相比移动缓慢的活细胞成像。

已经探索了多种方法来加速定位显微术。

使用具有快速切换动力学的明亮染料、高功率激光器和快速照相机使得可以在不损失信噪比的情况下最小化曝光时间，但是达到亚毫秒级曝光仍然具有挑战性，并且强辐射加剧了活细胞成像中的光毒性和光漂白，从而缩短了观察期。

另一种方法是增加每个图像的表现为衍射受限荧光点的活性荧光团的数量ρ，从而有可能在不减少独立荧光团位置的数量N的情况下减少图像的数量K，并应用可以处理重叠荧光点的定位算法。但是，这些重叠必定会损害荧光团定位的检测精度，这意味着时间分辨率的任何提高都以降低空间分辨率为代价。

因此，需要改进由单分子定位显微术获得的原始图像重构密集超分辨率图像，以减少总处理时间，尤其是减少获取用于重构密集超分辨率图像的原始图像所需的时间。

发明内容

面对这些限制和限制，发明人提供了用于改进从由单分子定位显微术获取的衍射受限图像重构密集超分辨率图像的方法、设备和计算机程序。

本发明的一个宽泛的目的是弥补如上所述的现有技术的缺点。

根据本发明的第一方面，提供了一种用于从至少一个低信息含量图像重构至少一个合成的密集超分辨率图像的计算机方法，该方法包括以下步骤：

-获得至少一个低信息含量图像；

-将所获得的至少一个低信息含量图像输入到人工神经网络，以及

-从所述人工神经网络获得合成的密集超分辨率图像，

其中，所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括从由单分子定位显微术获取的衍射受限图像序列获得的稀疏定位图像、至少部分对应的低分辨率宽场图像和对应的密集超分辨率图像的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

特别地，所要求保护的方法使得可能以数量小得多的原始图像重构与根据标准算法重构的密集超分辨率图像(例如密集SMLM图像)(例如根据STORM图像处理重构的密集SMLM图像)具有大致相同质量的合成的密集超分辨率图像(例如，合成密集SMLM图像)，导致获取周期短得多。重构的稀疏定位图像可以是重构的稀疏SMLM图像。

根据实施例，所述至少一个低信息含量图像包括根据单分子定位显微术图像处理从衍射受限图像序列重构的稀疏定位图像。

根据实施例，该方法进一步包括以下步骤：

-获得衍射受限图像序列；以及

-从所获得的衍射受限图像序列重构稀疏定位图像。

根据实施例，所述至少一个低信息含量图像包括低分辨率宽场图像。

根据实施例，低分辨率宽场图像至少部分地对应于用于重构稀疏定位图像的衍射受限图像。

根据实施例，该方法还包括计算错误图的步骤，所述错误图表示作为合成的密集超分辨率图像中的位置的函数而发生的错误的概率。

根据实施例，计算错误图的步骤包括以下步骤：从合成的密集超分辨率图像生成低分辨率图像，所生成的低分辨率图像被与输入到人工神经网络的低分辨率宽场图像进行比较。

根据实施例，生成低分辨率图像的步骤在低分辨率估计器网络中实行。

根据实施例，低分辨率估计器网络包括多个卷积层。

根据实施例，该方法进一步包括低分辨率估计器网络的学习步骤。

根据实施例，训练目标函数包括用以选择要输入到人工神经网络中的训练数据的子集的至少一个参数。

根据实施例，训练目标函数包括基于L1范数的目标函数、基于L2范数的目标函数、基于骰子系数的目标函数、以及基于生成式对抗网络类型或条件生成式对抗网络类型的人工神经网络的目标函数中的至少一个。

根据实施例，训练目标函数包括基于条件生成式对抗网络类型的人工神经网络的目标函数中的至少一个，并且其中输入人工神经网络的低分辨率宽场图像被用作所述条件生成式对抗网络的条件。

根据实施例，输入人工神经网络的低分辨率宽场图像是经由荧光显微镜获得的衍射受限图像。

根据本发明的第二方面，提供了一种用于从通过单分子定位显微术获取的衍射受限图像序列重构至少一个合成的密集超分辨率图像的计算机方法，该方法包括以下步骤：

-获得通过单分子定位显微术获取的衍射受限图像序列；

-根据单分子定位显微术图像处理从获得的衍射受限图像序列重构稀疏定位图像；

-将重构的稀疏定位图像输入到人工神经网络，以及

-从人工神经网络获得合成的密集超分辨率图像，

其中所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括稀疏定位图像和对应的密集超分辨率图像的对，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

根据实施例，单分子定位显微术是光激活定位显微术(PALM)，随机光学重构显微术(STORM)或用于纳米级拓扑中成像的点累积(PAINT)。

根据实施例，获得的衍射受限图像序列包括少于300个衍射受限图像，每个衍射受限图像包括1至100个荧光团位置。

根据实施例，用于训练人工神经网络的密集超分辨率图像中的至少一个是由通过单分子定位显微术获得的至少30,000个衍射受限图像的序列构建的。

根据实施例，所获得的序列中的衍射受限图像对应于研究场的第一视场，获得衍射受限图像序列、从所获得的衍射受限图像序列重构稀疏定位图像、将重构的稀疏定位图像输入到人工神经网络、并且从人工神经网络获得合成的密集超分辨率图像的步骤对于研究领域的至少一个第二视场重复进行，所述第一视场和第二视场是不同的。

根据实施例，所述第一视场和所述第二视场在所述研究场内是连续的，该方法还包括以下步骤：通过拼接从所述人工神经网络获得的合成的密集超分辨率图像来创建结果图像。

因此，本发明的方法使得能够对包括许多视场的大研究场进行超分辨率成像，特别是在通常仅用于对数个细胞成像的时间尺度上进行数百个细胞的超分辨率成像。

根据实施例，所获得的序列中的衍射受限图像对应于预定视场，获得衍射受限图像序列、从所获得衍射受限图像序列重构稀疏定位图像、将重构的稀疏定位图像输入到人工神经网络，并且从人工神经网络获得合成的密集超分辨率图像的步骤对于相同的视场周期性地重复。

因此，本发明的方法能够进行高产量成像，促进了动态超分辨率成像，特别是活细胞中的动态超分辨率成像，而无需更高的激发功率或遭受额外的光毒性和光漂白，从而允许在没有过度光损伤的情况下进行更快和更长的活细胞超分辨率成像。

根据实施例，人工神经网络包括编码器网络和解码器网络，该编码器网络包括多个卷积层和下采样层，并且解码器网络包括多个解卷积层和上采样层。人工神经网络可以是U-net类型的。

根据实施例，该方法还包括训练人工神经网络的步骤。

根据实施例，该方法进一步包括将稀疏定位图像和对应的密集超分辨率图像配对以用于训练人工神经网络的步骤。将稀疏定位图像和相应的密集超分辨率图像配对的步骤可包括：

-获得通过单分子定位显微术获取的衍射受限图像的训练序列；

-根据单分子定位显微术图像处理从所获得的衍射受限图像的训练序列的第一子集重构多个稀疏定位图像；

-根据单分子定位显微术图像处理从所获得的衍射受限图像的训练序列的第二子集重构多个密集超分辨率图像，每个第二子集所包含的衍射受限图像比每个第一子集要多。

根据实施例，将稀疏定位图像和对应的密集超分辨率图像配对的步骤包括：

-初始化仿真条件；

-对仿真条件的演变进行仿真；

-根据仿真步骤的结果构建密集超分辨率图像；和

-从所构建的密集图像构建多个稀疏定位图像。

因此，本发明的方法使得能够验证重构的合成密集超分辨率图像的质量。

根据实施例，该方法进一步包括通过变换多个稀疏定位图像中的至少一个稀疏定位图像来构建附加的稀疏定位图像的步骤。变换至少一个稀疏定位图像的步骤可以包括向至少一个稀疏定位图像添加噪声，旋转至少一个稀疏定位图像，裁剪至少一个稀疏定位图像，修改至少一个稀疏定位图像，修改至少一个稀疏定位图像的强度等级，剪切至少一个稀疏定位图像，和/或对至少一个稀疏定位图像施加弹性变形。这使得可以增加用于训练人工神经网络的图像的数量和可变性。

根据本发明的第三方面，提供了一种设备，其包括被配置为执行上述方法的每个步骤的装置。本发明的第三方面具有与上述第一和/或第二方面相似的优点。

由于本发明的各个部分可以用软件实现，因此本发明的各个部分可以体现为计算机可读代码，用以在任何合适的载体介质上提供给可编程装置。有形载体介质可以包括诸如软盘，CD-ROM，硬盘驱动器，磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电气信号，电子信号，光信号，声信号，磁信号或电磁信号之类的信号，例如微波或射频信号。

在一个实施例中，计算机代码利用允许并行处理大矩阵数据的图形处理单元(GPU)。

附图说明

专利或申请文件包含至少一个有色附图。专利局将在必要费用的请求和支付的情况下提供具有一个或多个有色附图的本专利或专利申请公开的副本。

通过查看附图和详细说明，本发明的其他优点将变得显而易见。旨在将任何其他优点并入本文。

现在将仅通过举例的方式并参考以下附图来描述本发明的实施例，其中：

图1以STORM图像处理为例说明了从衍射受限图像(或原始图像)重构密集超分辨率图像，每个衍射受限图像均包含少量的表现为衍射受限荧光点的活性荧光团；

图2示出了用于从一组原始图像重构稀疏SMLM图像和密集SMLM图像以创建训练数据集的方法的第一实施例；

图3示意性地示出了用于基于L2范数的使用来训练人工神经网络的系统的架构的第一示例，该人工神经网络用于从通过单分子定位显微术获得的原始图像重构合成的密集SMLM图像；

图4示意性地示出了使用根据本发明的实施例训练的人工神经网络从通过单分子定位显微术获得的原始图像重构合成的密集SMLM图像的系统的架构的第一示例；

图5示出了图3和图4所示的人工神经网络的架构示例；

图6示出了用于创建要用于训练图3中所示的人工神经网络的图像的步骤的第一示例，根据该示例，所创建的图像基于实验结果；

图7示出了用于创建要用于训练图3所示的人工神经网络的图像的步骤的第二示例，根据该示例，所创建的图像是基于仿真的；

图8示意性地示出了用于基于cGAN/L1损失训练人工神经网络的系统的架构的第二示例，该人工神经网络用于从通过单分子定位显微术获取的原始图像重构合成的密集SMLM图像；

图9示出了在图8所示的人工神经网络的训练阶段期间使用的鉴别器网络的架构的示例；

图10a和10b示出了通过单分子定位显微术获取的原始图像的示例。

图11a示出了通过STORM图像处理从250个原始图像重构的稀疏SMLM图像的示例；

图11b表示图11a中图像的一部分的放大图；

图12a示出了通过STORM图像处理从149,687个原始图像重构的密集SMLM图像的示例；

图12b表示图12a中图像的一部分的放大图；

图13a示出了在如参照图3所描述地使用L2损失训练了所使用的人工神经网络之后、根据本发明的实施例重构的合成密集SMLM图像的示例；

图13b表示图13a中图像的一部分的放大图；

图14a示出了在如参照图8所描述地使用cGAN/L1损失训练了所使用的人工神经网络之后、根据本发明的实施例重构的合成密集SMLM图像的示例；

图14b表示图14a中图像的一部分的放大图；

图15示出了依赖于L2和cGAN/L1的损失的、ANNA-STORM或STORM图像与由密集STORM图像定义的真值(ground truth)之间的作为图像(帧)数目或获取时间的函数的均方误差；

图16包括图16a至16d，示出了本发明的实施例用于包含数百个细胞的1.8mm×1.8mm区域的高产量成像。

图17包括图17a至17l，示出了本发明实施例对于实验扰动的鲁棒性；

图18包括图18a至18f，示出了本发明的实施例对于不同生物结构的使用；

图19是示出在其中可以至少部分地实现本发明的实施例的处理设备的组件的框图；

图20示意性地示出了用于训练人工神经网络的系统的架构的第三示例，该人工神经网络用于从通过单分子定位显微术获取的原始图像重构合成的密集SMLM图像。

图21示意性地示出了使用根据本发明的实施例训练的人工神经网络，从通过单分子定位显微术获取的原始图像以及从低分辨率宽场图像重构合成的密集SMLM图像的系统的架构的第二示例；

图22示出了图20中所示的生成器网络的架构的示例；

图23示出了图20所示的低分辨率估计器网络的架构的示例。

图24示出了图20所示的cGAN鉴别器网络的架构的示例。和

图25至图28示出了如参考图20至图24描述的本发明的实施例的使用示例。

具体实施方式

为了说明起见，下面的描述整体上基于STORM图像处理。然而，应当理解，本发明适用于从通过单分子定位显微术(SMLM)获取的衍射受限图像(也称为原始图像)重构密集超分辨率图像的其他方法，例如PALM图像处理和PAINT成像。PALM图像处理、STORM图像处理和PAINT图像处理通常称为单分子定位显微术成像。

根据实施例，减少了独立荧光团位置的总数N，而没有增加每个原始图像的表现为衍射受限荧光点的激活荧光团的数目ρ，从而与标准单分子定位显微术图像处理方法相比，减少了所获取的原始图像的总数K(K＝N/ρ)。

实际上，已经观察到通过利用大多数生物图像的结构冗余性，可以从大量欠采样的定位显微术数据构建高质量的密集超分辨率图像。

根据实施例，深度学习作为采用人工神经网络(ANN)的机器学习的一个分支，被用于学习数值输入和输出之间的复杂非线性映射，从而从通过单分子定位显微术获取的原始图像构建合成的密集超分辨率图像(也称为ANNA-SMLM图像(人工神经网络加速的SMLM图像)、合成的密集SMLM图像，合成密集图像，合成图像或ANNA-STORM图像(如果相应的原始图像是通过STORM获得的))。

本发明使得可以在不改变位置的平均密度ρ的情况下从数量k少得多的原始图像，即从数量要少得多的荧光团位置(n＝ρ×k<<ρ×K＝N)，重构具有与标准密集超分辨率图像(或密集SMLM图像)基本相似的信息含量的合成的密集SMLM图像(具有K个图像和N个荧光团位置)(k<<K)。

从例如通过SMLM或宽场显微术获取的给定图像获得的信息含量可以用互信息(MI)进行量化。MI测量两个随机变量之间的相互依赖性：生物学结构的图像和实验中观察到的图像。例如，用于重构SMLM图像的原始图像的帧越多，MI值越高，SMLM图像中包含的底层生物学结构的信息就越多。在此基础上，以下定义的“稀疏定位图像”或“低分辨率宽场图像”被视为“低信息含量图像”，而“密集超分辨率图像”和“合成的密集超分辨率图像”被认为是“高信息含量图像”。

图2示出了用于从一组原始图像重构稀疏SMLM图像(也称为稀疏图像)和密集SMLM图像以创建训练数据集(或训练数据子集)的方法的第一实施例。

如图所示，例如通过随机光学重构显微术图像处理，从通过单分子定位显微术获取的原始图像的集合200重构通常表示为SMLM(K_i)的密集SMLM图像的集合205。密集SMLM图像的集合205可以包括一个到数十个密集SMLM图像。根据标准方法(例如STORM图像处理)从包含K个原始图像的集合构建每个密集SMLM，其中，值K是预先确定的或动态确定的。值K通常包括在数千个原始图像到数十万个原始图像之间。

原始图像的集合200有利地包括多于K个的原始图像，从而可以重构不同的密集SMLM图像。可替代地，集合200的所有原始图像被用于重构一个密集SMLM图像。

如下文参考图6和图7所描述的，可以使用数个原始图像集合来创建训练数据集。

类似地，从通过单分子定位显微术获取的原始图像的集合200重构一般表示为SMLM(k_i)的稀疏SMLM图像的集合210。稀疏SMLM图像的集合210可以包括从数百到数万个图像，例如20,000个图像。每个稀疏SMLM图像都是根据标准方法(例如STORM图像处理)从一组k个原始图像(k与K相比非常小(k<<K)，例如小100倍)重构的，值k是预先确定或动态确定的。用于重构稀疏SMLM图像的方法优选地与用于重构各密集SMLM图像的方法相同。值k通常包括在数十个原始图像到数百个原始图像之间。

如上所述，STORM图像处理可以整体上基于以下步骤：

-确定原始图像像素级别上荧光点的数量和大致位置的检测步骤。通常，这是通过对原始图像的某种平滑版本进行阈值化并识别连接的成分来完成的；

-定位步骤，以子像素和亚衍射精度更精确地计算每个荧光团的位置。这往往是通过例如使用最大似然估计(MLE)将点扩散函数的模型拟合到图像来完成的；以及

-渲染步骤，用于从前两个步骤得到的坐标(x，y)的列表重构密集STORM图像。通常，此渲染是通过使用小于预期分辨率(通常为10nm或20nm的像素)的栅格(像素)网格显示定位的2D直方图来完成的。

它可用于重构稀疏SMLM图像和密集SMLM图像两者。

根据实施例，对于一组原始图像，将每个稀疏SMLM图像SMLM(k_j)与每个密集SMLM图像SMLM(K_i)配对，以创建训练数据{(SMLM(k_j)，SMLM(K_i))}。

图3示意性地示出了用于基于L2范数的使用来训练人工神经网络的系统的架构的第一示例，该人工神经网络用于从通过单分子定位显微术获得的原始图像重构合成的密集SMLM图像。

如图所示，例如根据参照图2、6或7描述的方法确定的稀疏SMLM图像SMLM(k)和密集SMLM图像SMLM(K)被用于训练人工神经网络300。

稀疏SMLM图像SMLM(k)用作人工神经网络300的输入，人工神经网络300可被视为输出表示为ANNA-SMLM的合成密集SMLM图像的生成器网络，而密集SMLM图像SMLM(K)对应于期望输出，并且被与人工神经网络300的输出进行比较，以例如使用随机梯度下降算法迭代地使测量实际输出与期望输出的匹配程度的损失误差最小化，来相应地调整人工神经网络300的参数(通常是权重和偏差)。调整人工神经网络300的参数的此步骤被称为学习或训练阶段。

根据实施例，每对训练数据集在训练阶段中使用至少一次。

例如，在将SMLM(k_i)输入到人工神经网络300中之后，将表示为ANNA-SMLM(k_i)(简写为Ak_i)的结果与对应的期望结果SMLM(K_i)(简写为Sk_i)进行比较来计算用于校正人工神经网络300的参数的误差。

在模块305中计算人工神经网络300的输出与对应的期望输出之间的误差。根据图3所示的实施例，根据测量所获得的结果(Ak_i)和对应的期望结果(Sk_i)之间的均方误差(L2范数)的L2损失来调整人工神经网络300的参数。

如下文中参考图5所描述的，人工神经网络300可以是U-net(U网络)类型的，例如包含16个卷积层和大约5500万个参数的U-net。U-net是特殊类型的卷积神经网络，整体上由连接到“上采样”(解码器)网络的“下采样”(编码器)网络组成，其包含大小相等的编码器和解码器特征图之间的跳层(layer-skipping)连接。跳层连接使得能够对于需要保留本地信息的任务(例如图像恢复，例如分割或修复)提供精确的像素级映射。

例如，U-net类型的人工神经网络在Ronneberger，O.，Fischer，P.&Brox，T.等人的标题为“U-net：Convolutional networks for biomedical image segmentation(U-net：用于生物医学图像分割的卷积网络)”，医学图像计算和计算机辅助干预-MICCAI 2015，计算机科学讲座笔记，9351，234-241(Springer国际出版，2015年)的文章中被描述。

图4示意性地示出了使用根据本发明的实施例训练的人工神经网络从通过单分子定位显微术获得的原始图像重构合成的密集SMLM图像的系统的架构的第一示例。

如图所示，稀疏SMLM图像SMLM'(k)是从通过单分子定位显微术获取的被表示为原始图像'1至原始图像'k的k个原始图像的集合获得的。它被用作人工神经网络300的输入，该人工神经网络300输出表示为ANNA-SMLM'(k)的对应的合成密集SMLM图像。

如上所述，优选地，根据与用于获得稀疏SMLM图像以创建训练数据集所使用的图像处理方法相同的图像处理方法，例如STORM图像处理，从原始图像集合获得稀疏SMLM图像SMLM'(k)。

图5说明了图3和图4中说明的人工神经网络的架构示例。

根据该示例，人工神经网络300包括具有跳跃连接的编码器网络和解码器网络。它是具有16个卷积层和54,408,832个参数的U-net。它的输入和输出是包含(256m)×(256m)个像素的图像分块，其中m是整数。输入是稀疏SMLM图像(表示为SPARSE SMLM)，例如稀疏STORM图像，而输出是相同大小的合成密集SMLM图像(表示为ANNA SMLM)。

编码器网络包含多个卷积层，这些卷积层与下采样层交替(由于使用了步幅(stride)设置为2的卷积层而导致)，彼此堆叠，从而形成了大小减半且数量加倍的特征图。解码器网络包含多个卷积层(用于应用转置卷积，也称为解卷积)，这些卷积层与上采样层交替(再次由于使用了步幅设置为2的转置卷积层而导致)，导致大小加倍和数量减半的特征图。U-net近似对称，并且解码器网络的最后一层生成与馈送到编码器网络的输入图像大小相同的输出图像。

根据这样的实施例，使用了步幅为2的卷积层(而不是最大池化层)(不同于原始的U-net)。此外，在编码器中整流线性单元层优选地由泄露整流线性单元层代替。

如上所述，U-net包含对称地位于编码器和解码器中的特征图之间的直接连接。这些具有相同大小的特征图在解码器的对应层中被级联。跳跃层连接允许网络将局部像素信息与通过连续卷积层传播的较大上下文信息进行组合。

如图5的示例所示，编码器500包括8个卷积层，每个层执行2D卷积，表示为Conv(a，b，c，d)，其中，

-a是输入特征图编号，例如值1可以指示输入是在一个通道上的预定位数上编码的；

-b是输出特征图编号，例如，值64可以指示输出是在64个通道上的预定位数上解码；

-c对应于内核大小，例如值4可以指示使用了4×4卷积内核。卷积核在学习阶段被调整；以及

-d定义卷积内核的步幅或移动步长，例如，值2将输出大小减小一半。

第二到第八层包括表示为LReLU的泄露整流线性单元，该单元将以下激活函数应用于上一层的输出：x→max(x，0)+min(εx，0)，例如ε＝0.2。

如图所示，对于第二至第八层中的每一层，优选将表示为BN的批归一化(batchnormalization)应用于卷积的输出以将数据归一化。

同样，解码器505包括8个卷积层，每个层执行表示为TConv(a，b，c，d)的2D解卷积或转置卷积，其中a，b，c和d的含义与参考编码器的卷积层描述的卷积相同。

如图所示，每个解卷积单元中要处理的数据都预先在表示为ReLU的整流线性单元中被处理以用于应用以下函数：

x→max(x，0)

关于解码器505的第一层，整流线性单元的输入对应于编码器的最后一层的输出。关于解码器505的其他层，整流线性单元的输入对应于解码器的前一层的输出，该输出在表示为Ct的级联单元中与编码器的对称层的输出级联(解码器的第一层的输出与编码器的倒数第二层的输出级联，解码器的第二层的输出与编码器倒数第三层的输出级联，依此类推，如图5所示)。

优选地，对于除最后一层以外的每个解卷积单元的输出应用批归一化(BN)以对数据进行归一化，并且具有例如等于0.5的丢弃概率的丢弃(dropout)层(被指示为Dropout)被用于解码器的第二层、第三层和第四层的批归一化的输出处，以防止网络过拟合并提高其对于新数据的性能。

最后一层的解卷积单元的输出进入表示为Tanh的双曲正切单元，以获得U-net的输出。

根据图3所示的示例，人工神经网络300的训练是基于获得的结果与对应的期望结果之间的均方误差的。

为了给定公式清楚起见，将稀疏SMLM输入图像表示为S，将相应的密集SMLM图像(例如，密集STORM图像)，即人工神经网络300的期望输出(或目标)，表示为T，并且人工神经网络300的实际输出，即合成密集SMLM图像，表示为A＝F(S)，其中F指定了人工神经网络300。因此，图像S，T和A分别对应于图像SMLM(k)，SMLM(K)和ANNA-SMLM(k)。

使用在获得的结果和对应的期望结果之间的均方误差(MSE)(常常用于训练人工神经网络)会惩罚网络输出和目标之间的MSE：

其中，

表示期望值；

p_data(S,T)是来自训练数据集的稀疏和超分辨率图像对的联合概率密度；和

||A-T||_L2是L2范数，即图像A和图像T之间的均方根误差

||A-T||_L2＝(∑∑_i，j(A(i，j)-T(i，j))²)^1/2

训练人工神经网络300以最小化此损失函数：

根据实施例，使用例如2014年的Kingma,D.P.&Ba,J.Adam的、标题为“A methodfor stochastic optimization(用于随机优化的方法)”的文章中所描述的随机梯度下降法(SGD)来端到端地训练人工神经网络300，其中最小批处理大小为5，迭代(反向传播步骤)的次数为80,000至120,000。

图6示出了用于创建要用于训练图3中所示的人工神经网络的图像的步骤的第一示例，根据该示例，所创建的图像基于实验结果。

第一步(步骤600)旨在将索引i和j初始化为零。索引i与稀疏SMLM图像SMLM(k)和密集SMLM图像SMLM(K)对相关联，索引j与用于重构稀疏和密集SMLM图像的原始图像集相关联。

接下来，获得一组r个原始图像(步骤605)，r选择得足够大以使得有可能重构高质量的密集SMLM图像(例如，对于STORM成像，从10,000到200,000中选择r)，即能够选择k和K以使得r≥K>>k。这些原始图像可以通过单分子定位显微术直接获取，也可以从存储了通过单分子定位显微术获取的原始图像的存储器中获取。

接下来，从该组r个原始图像中选择k个原始图像，k个原始图像优选地是连续的原始图像(步骤610)，并且例如根据STORM图像处理从所选择的k个原始图像重构稀疏SMLM图像SMLM(k_i)(步骤615)。

并行地，同时地或不同时地，从该组r个原始图像中选择K个原始图像，K个原始图像优选地是连续的原始图像(步骤620)，并且例如根据STORM图像处理从所选择K个原始图像重构密集SMLM图像SMLM(K_i)(步骤625)。

接下来，从重构的稀疏SMLM图像SMLM(k_i)和密集SMLM图像SMLM(K_i)形成一对，并且优选地从该形成的对生成数个对(步骤630)。为了说明起见，这可以通过以下方式来实现：向该对中的每个图像应用随机旋转(介于0°至360°之间的相同随机角度)，随机裁剪(例如512×512像素)，添加随机噪声，修改强度尺度等(可以使用其他类型的变换，例如剪切或弹性变形)，以增加用于训练人工神经网络300的图像的数量和可变性。换句话说，将一组图像变换应用于已形成的对中的每个图像以增强训练数据集。

然后将已经形成的对和已经生成的对添加到训练数据集(步骤635)。

在随后的步骤中，i递增1(步骤640)，并且执行测试以确定索引i是否达到表示为max_i的预定阈值(步骤645)。

重复步骤610至640，直到索引i达到该预定阈值以创建另外的对(SMLM(k_i)；SMLM(K_i))。这里要注意，原始图像的数量r优选地高于要被选择用于重构密集SMLM图像的原始图像的数量K，以使得后者变化。

可替代地，仅重复步骤610、615、630、635和640，直到索引i达到该预定阈值为止，从而对于从同一组原始图像形成的所有重构的稀疏SMLM图像，仅重构一个密集SMLM图像SMLM(K_j)。

接下来，索引j递增1(步骤650)，并且执行测试以确定索引j是否达到表示为max_j的预定阈值(步骤655)。

如果索引j尚未达到预定阈值max_j，则将索引i重置为零(步骤660)，获得新的一组r个原始图像(步骤605)，并重复步骤610至645。

为了说明起见，索引i的最大值可以等于200，索引j的最大值可以等于6，并且应用于已经形成(步骤630)的对的图像变换的数量可等于100。

作为替代，稀疏SMLM图像可以例如通过应用泊松噪声和/或从其他噪声源获得的噪声从密集SMLM图像直接得出。

图7示出了用于创建要用于训练图3所示的人工神经网络的图像的步骤的第二示例，根据该示例，所创建的图像是基于仿真的。

在将索引i和j初始化为零(步骤700)之后，初始化仿真条件(步骤705)，其中索引i与稀疏SMLM图像SMLM(k)相关联，索引j与密集SMLM图像SMLM(K)相关联。为了说明起见，这种初始化模拟条件的步骤可以包括将多条聚合物链初始化为随机游走。

接下来，通过根据预定定律对仿真条件的演变进行仿真来执行仿真(步骤710)。仍然出于说明的目的，该仿真可以针对被用于对多条聚合物链的随机时间演变进行仿真的Langevin动力学仿真。

然后将仿真结果变换为密集SMLM图像，该图像优选地定义SMLM图像(例如STORM图像)中的定位事件的概率密度(步骤715)。该图像被认为是上述的密集图像SMLM(K)。例如，可以通过将仿真结果(特别是如果它包含零厚度曲线)与高斯核进行卷积来完成这种变换。

接下来，可以从在先前步骤中获得的图像中得出与上述稀疏SMLM图像SMLM(k)相当的稀疏SMLM图像(步骤720)。例如，可以通过应用泊松噪声和其他背景噪声来实现。重复该步骤以便获得期望数量的稀疏图像(步骤725和730)，即直到索引j达到表示为max_j的预定阈值为止。同样，重复步骤705至730以获得期望数量的密集SMLM图像并获得对应的稀疏图像，即直到索引i达到表示为max_i的预定阈值为止。

在获得稀疏SMLM图像和密集SMLM图像之后，建立稀疏SMLM图像和密集SMLM图像对的列表(步骤745)。根据实施例，每个稀疏SMLM图像与每个密集SMLM图像相关联以形成一对。

仍然根据特定实施例，图像变换被应用于稀疏SMLM图像和密集SMLM图像对，以增加训练数据集和数据的可变性。再次，这可以例如通过应用随机旋转、通过随机裁剪、通过添加随机噪声、通过修改强度尺度等来完成。

图8示意性地示出了用于基于cGAN/L1损失训练人工神经网络的系统的架构的第二示例，该人工神经网络要用于从通过单分子定位显微术获取的原始图像重构合成的密集SMLM图像。

图3和图8所示架构之间的主要区别在于用于训练人工神经网络300的目标函数。

根据图8所示的实施例，根据cGAN损失来调整人工神经网络300的参数，所述cGAN损失将对抗性生成器和鉴别器损失与所获得的结果与对应的期望结果之间的L1范数的加权和相结合，由800指示。

生成式对抗网络(GAN)和条件对抗网络(cGAN)是例如在Goodfellow，I.等人的标题为“Generative Adversarial Nets(生成式对抗网络)”，2672-2680(2014)的文章和Isola，P.，Zhu，J.-Y.，Zhou，T.&Efros,A.A.等人的文章“Image-to-Image Translationwith Conditional Adversarial Networks(利用条件对抗网络的图像到图像的转化)”(2016)中描述的已知的人工神经网络。

cGAN损失的计算基于生成式对抗网络(GAN)，该网络可以根据一组观察到的示例学习从真实图像分布中生成新样本。鉴别器网络805将稀疏SMLM图像SMLM(k)(简写为Sk)和对应的真实或合成密集SMLM图像，即密集SMLM图像SMLM(K)(简写为SK)或人工神经网络300的输出ANNA-SMLM(k)(简写Ak)，作为输入，并输出图像(SMLM(K)或ANNA-SMLM(k))是真实的还是合成的概率。

人工神经网络300(这里被认为是生成器网络)和鉴别器网络805被同时训练，鉴别器尝试将真实数据与合成数据区分开，而生成器则试图欺骗鉴别器。

图9示出了在图8的人工神经网络300的训练阶段期间使用的鉴别器网络805的架构的示例。

鉴别器网络的输入是一对图像。第一输入图像是稀疏SMLM图像，其源自实验荧光团定位数据或源自仿真数据，如参考图6和7所述。第二图像是人工神经网络300的输出(使用第一输入图像作为输入)，或者是从SMLM图像处理(例如，STORM图像处理)获得的或者是从仿真获得的密集SMLM图像。鉴别器网络的输出是小图像，其像素对应于输入图像的图像分块。当鉴别器网络认为分块对应于从SMLM成像获得的或从仿真获得的密集SMLM图像时，像素值大；而当其认为分块对应于由人工神经网络300产生的图像时，像素值小。

根据实施例，鉴别器网络805具有5个卷积层和2,764,544个参数。它的输入是两个(256m)×(256m)像素图像分块(稀疏SMLM图像，以及其ANNA-SMLM重构图像或对应的密集SMLM图像)，其输出是(30m)×(30m)图像，其像素值指示对应的输入分块是真实的还是生成的，其中m是整数。在第二、第三和第四卷积层之后进行批量归一化。同样，激活函数是泄露整流线性单位，可以表示如下：

x→max(x，0)+min(εx，0)且ε＝0.2。

图9的卷积单元、泄露整流线性单元和批归一化单元的符号与参考图5所描述的符号相似。

再次，认为稀疏SMLM输入图像被表示为S，对应的密集SMLM图像(例如，密集STORM图像)，即人工神经网络300的期望输出，被表示为T，并且人工神经网络300的实际输出被表示为

其中

表示生成器，即人工神经网络300。再次，图像S，T和A分别对应于图像SMLM(k)，SMLM(K)和ANNA-SMLM(k)。

在图8所示的实施例中使用的目标函数得自于生成式对抗网络(GAN)的最新工作。在GAN中，生成器网络

学习将随机输入向量z(从概率密度Pz(z)得到)转换为数据概率密度p_data(x)的新样本。根据图8所示的实施例，数据样本x是密集SMLM图像T。生成器网络

通过针对鉴别器网络D工作而学习，该鉴别器网络D同时学习区分原始数据样本和由生成器网络

生成的样本。因此，对抗训练在于玩最小最大游戏，使得

具有以下形式的目标函数：

或等效地通过同时优化以下两个耦合损耗函数：

请注意，在条件GAN(cGAN)中，生成器和鉴别器网络具有额外的输入向量c，这导致了以下目标函数：

以便生成器学习条件概率密度p_data(x|c)。

根据图8所示的实施例，输入c是稀疏SMLM图像S。除了满足cGAN目标之外，优选地，使人工神经网络300输出与目标图像相似的图像。因此，在生成器输出和目标图像之间的L1惩罚被添加，并用标量系数μ＝100进行了加权(L1优先于L2，因为它惩罚了模糊)。

上述对数损失可以用最小二乘损失代替，该最小二乘损失证明了可以提供良好的结果。

因此，用于调整生成器网络

(即人工神经网络300)的参数的优化问题可以如下地表示为：

图10至图14示出了图4中示出的系统在根据参考图3和图8描述的实施例被训练之后的性能。为了说明起见，系统在免疫标记微管的真实图像上进行了测试。图10a，10b，11a，12a，13a和14a示出了对于同一视场获得的原始图像、稀疏STORM图像、密集STORM图像和ANNA-STORM图像的示例。

仍然出于说明的目的，人工神经网络300的训练基于六个密集SMLM图像并且基于大约20,000个稀疏SMLM图像，每个密集SMLM图像均由STORM图像处理从60,000个微管的原始图像(代表10分钟的序列)获得，每个稀疏SMLM图像均由STORM图像处理从300个原始图像(代表7.5s序列)获得，该300个原始图像选自与用于获得密集SMLM图像的集合相同的集合。每个原始图像的荧光团定位数在大约3到25之间变化。

图10a和10b示出了通过单分子定位显微术获取的原始图像的示例。每个图像示出了少量的荧光团定位。

图11a示出了通过STORM图像处理从250(k＝250)个原始图像重构的稀疏SMLM图像的示例。图11b表示图11a中所示的图像的一小部分(感兴趣区域)的放大图。

尽管在此稀疏STORM图像中已经可以看到微管细丝，但难以辨别局部结构细节，这使得难以追踪单个细丝的路径以及识别局部特征(例如细丝交叉)。此稀疏STORM图像具有通过Nyquist准则测量的次优分辨率。

图12a示出了通过STORM图像处理从149,687(k＝149,687)个原始图像重构的密集SMLM图像的示例。图12b表示图12a中所示图像的一小部分(感兴趣区域)的放大图。

可以看出，从巨量原始图像重构的图像使得可以分析细丝的细节。

图13a示出了在如参照图3所描述地使用L2损失目标函数训练了人工神经网络300之后、根据本发明的实施例重构的合成密集SMLM图像(ANNA-SMLM图像)的示例。

所表示的图像是在输入如图11a所示的通过STORM图像处理从250个(k＝250)原始图像获得的稀疏SMLM图像之后的人工神经网络300的输出。

图13b表示图13a所示图像的一小部分(感兴趣区域)的放大图。

图14a示出了在如参照图8所描述地使用cGAN/L1损失目标函数训练了人工神经网络300之后、根据本发明的实施例重构的合成密集SMLM图像(ANNA-SMLM)的示例。

图14b表示图14a所示图像的一小部分(感兴趣区域)的放大图。

图15示出了依赖于L2和cGAN/L1的损失的、合成密集STORM图像(ANNA-STORM)或密集STORM图像与由具有K＝149,687个图像的密集STORM图像定义的真值之间的作为图像(帧)数或获取时间的函数的均方误差。

标记为1500的曲线表示被标记为STORM的标准STORM图像(例如，图11a中表示的STORM图像)和真值(例如，图12a中表示的密集STORM图像)之间的均方误差。

标记为1505的曲线表示在使用L2损失训练人工神经网络300时根据本发明的实施例获得的被标记为ANNA-STORM(L2)的合成密集SMLM图像(ANNA-SMLM)(例如，图13a中表示的合成密集SMLM图像)与真值(例如，图12a中表示的密集STORM图像)之间的均方误差。

标记为1510的曲线表示在使用cGAN/L1损失训练人工神经网络300时根据本发明的实施例获得的的被标记为ANNA-STORM(cGAN)合成密集SMLM图像(ANNA-SMLM)(例如，图14a中表示的合成超分辨率图像)与真值(例如，图12a中表示的密集STORM图像)之间的均方误差。

从图15可以明显看出，本发明的实施例使得可能以数量小得多的原始图像重构与根据标准算法重构的密集SMLM图像(例如根据STORM图像处理重构的密集SMLM图像)具有大致相同质量的合成密集SMLM图像，导致获取周期短得多。如图所示，与重构标准密集STORM图像相比，重构ANNA-STORM(cGAN)图像可能需要少十六倍的原始图像，因此获取时间要短十六倍(而质量大致相同)。该图像或时间比率可以根据诸如成像结构的类型和图像噪声以及重构误差度量的定义等因素而变化。

应当注意，尽管已经描述了用于训练人工神经网络300的两个不同的目标函数，但是可以使用其他目标函数。此外，若干目标函数可以彼此组合以改善对人工神经网络300的训练。特别地，可以将如上所述的cGAN与L1范数的使用相组合，并且可以将cGAN与L2范数的使用相组合。

还应注意，可以使用其他类型和/或其他架构的人工神经网络。

使用基于深度学习的计算方法来从稀疏采样的、快速获取的单分子定位数据重构高质量的超分辨率图像，使得能够与标准定位显微术相比大大改善获取时间，并且(与其他方法不同)不需要较高的荧光团激活密度，因此不会影响空间分辨率。

本发明的实施例所提供的成像效率的显著改善减轻了定位显微术和高产量成像之间的不兼容性，并且使得能够在通常用于仅对数个细胞成像的时间尺度上对数百个细胞进行超分辨率成像。这有助于对罕见事件、细胞异质性以及部分随机结构(例如细胞骨架聚合物或染色体)进行超分辨率成像研究，其特征需要在许多构型上进行统计。本发明的实施例还适用于大量实验条件(例如药物治疗或基因敲除)的高产量成像。此外，通过将空间相邻场的多个图像拼接在一起，它们可以应用于高分辨率的大样本成像。例如，本发明的实施例仅需要数个小时就可以生成跨越大约五个数量级的图像，从大约2mm到大约20nm。此功能可以很好地适应扩展显微术，这是一种可以物理上增加样本大小但通常需要平铺许多视场才能对甚至单个细胞成像的替代超分辨率技术。因此，本发明的实施例适用于多尺度超分辨率成像。

实际上，本发明的实施例所提供的成像效率(特别是关于整体获取和处理时间)的显著提高为每单位时间对更多的细胞和视场(FOV)成像打开了大门。这已经通过在超过一千(33×33＝1,089)个的部分重叠的FOV中将自动获取协议用于带有免疫标记的微管的细胞进行成像来证明。每个FOV仅使用约10s的成像(例如k＝1，000张图像)，均在总共仅大约3个小时内获得1,089张的55.3μm×55.3μm的稀疏STORM图像。这些稀疏SMLM图像几乎没有提供小尺度信息。然而，本发明的实施例，特别是当在训练阶段使用cGAN损失时，产生了高质量的合成密集SMLM图像，从而可以清晰地查看微管网络，并且能够区分在稀疏STORM图像中表现为非结构区域的密集区域中的微管细丝。将这些图像拼接在一起可得到显示数百个细胞的单个合成密集SMLM图像。该图像包含约70亿个20×20nm像素，并覆盖1.8mm×1.8mm的区域，从而在空间长度上跨越了几乎五个数量级。因此，本发明的实施例使得在标准定位显微术通常可用于成像数量少得多的细胞的时间范围内有可能获得包含数百个细胞的大视场的多尺度图像。

应当注意，本发明的实施例极大地减少了对漂移校正的需要，这是因为减少了原始图像的获取时间，从而导致了空间漂移的影响减小。

实际上，SMLM显微术中的一个常见问题是图像序列获取过程中样品的漂移，如果不正确校正或预防，则会降低空间分辨率。获取后漂移的计算校正需要复杂的算法和/或基准标记物，例如荧光珠。实时漂移校正需要其他光学和电子设备。

更准确地说，图16a是该1.8mm×1.8mm区域的稀疏STORM图像，是通过从各个视场的33×33＝1,089个稀疏STORM图像进行马赛克组装而获得的，每个稀疏STORM图像均从1,000张原始图像获得(每张图像有Δt＝10 862ms的曝光时间)。获取所有这些图像所需的时间约为3个小时。图像的稀疏性在此大尺度并不明显。

图16c中示出了图16a中绿色框区域的放大图。插图示出了框区域的放大视图，突出显示了图像的稀疏性。

图16b是根据本发明的实施例获得的与图16a所示的区域相同区域的合成密集STORM图像(ANNA-STORM(cGAN))。它是通过1089张单独重构合成密集STORM图像(每个视场一个)的马赛克组装而获得的。

在图16d中示出了图16b中的框区域的放大图。同样，插图示出了框区域的放大视图，突出显示了图像的稀疏性。示出了穿过微管的线轮廓，FWHM<50nm(FWHM：半高全宽)。

本发明的实施例对于实验扰动是鲁棒的。实际上，从稀疏定位数据重构高度详细的合成密集SMLM图像的能力取决于其先前对相似图像的训练。这引起了在一种实验条件下训练的人工神经网络是否可以成功地应用于另一种条件的问题。为了对此进行测试，已经在微管上训练了人工神经网络300(如参照图10至图14所描述的)，以分析经受了影响细胞骨架网络的药物的细胞的图像。首先用1μM的紫杉醇处理U373细胞，紫杉醇是禁止微管解聚合并且已知提高其抗弯刚度的抗有丝分裂剂。通过根据本发明的实施例获得的结果清楚地显示了复杂的微管网络，并且通过与从K＝30,000张图像(代表5至15分钟的序列)重构的密集STORM图像进行比较而得到验证。在这些重构中可见的微管排列的特征在于与未处理的对照细胞相比，更直、更平行的微管密度更高，表观交叉更不频繁，这与抑制微管解聚合和提高刚性的预期效果一致。

接下来，用1μM的诺考达唑处理细胞，诺考达唑是一种促进微管解聚合并有望更显著地改变细胞骨架网络的药物。再一次，尽管稀疏STORM图像几乎没有可利用的信息，但是根据本发明的实施例获得的结果提供了破裂的微管网络的清晰而详细的视图，与未处理的细胞相比，以更高曲率呈现出数量少得多的细丝。这些重构与从K＝30,000个图像(代表5分钟的序列)获得的密集STORM图像高度吻合。因此，基于在一种实验条件下对微管的训练，本发明的实施方案可以在新的实验条件下成功地应用于细胞，而无需任何再训练，从而突出了该方法的鲁棒性。

图17包括图17a至17l，示出了本发明实施例对于实验扰动的鲁棒性。

更精确地，图17是未处理细胞(图17a至17d)和用1μM紫杉醇(图17e至17h)或1μM的诺考达唑(图17i至17l)处理的细胞中的微管的STORM和ANNA-STORM图像。

图17a，17e和17i是从前k＝400(图17a)，k＝500(图17e)或k＝200个原始图像(图17i)获得的稀疏STORM图像。示出了完整的55μm×55μm视场。

图17b，17f和17j是利用L2损失获得的ANNA-STORM图像。

图17c，17g和17k是利用cGAN损失获得的ANNA-STORM图像。

图17d，17h，17l是从K＝60,000(图17d)或K＝30,000个原始图像(图17h和17l)获得的密集STORM图像。

稀疏和密集STORM图像中的定位数量如下：图17a n＝283,103，图17d：N≈600万，图17e n＝422,248，图17h N≈570万，图17i n＝72,316，图17l：N≈260万。

本发明的实施例适用于不同的生物结构。实际上，根据本发明的深度学习策略不限于微管或其他细丝，而是原则上如果经过相应的训练就可以适应任何类型的图像。为了显示这种灵活性，已经考虑了核孔，非常不同的生物学结构以及超分辨率成像研究的另一个流行目标。已经观察到，本发明的实施例使得可以显著改善图像质量，使得可以明确地识别几乎所有的单独孔，并且在它们的正确位置(即使有一些错误)几乎识别它们内的每个核孔蛋白。

已经在非洲爪蟾蜍蛙卵的免疫标记的核膜中的核孔蛋白gp210的实验图像上测试了本发明的实施例。在训练阶段，使用了两个密集STORM图像，每个图像K＝30,000，并且包含大约2000万个荧光团定位。然后将本发明的实施例应用于从前k＝6,000个图像获得的gp210的稀疏STORM图像。该图像的稀疏性使得难以清楚地区分单独的核孔。本发明的实施方案提供了更清晰的图像，如核孔所预期的那样，包含许多环状结构。

图18包括图18a至18f，示出了本发明的实施例对于不同生物结构的使用。

更精确地，图18示出了本发明的实施例对于仿真核孔(图18a至图18c)和实际核孔(图18d至图18f)的应用。

图18a是具有n＝544,404个定位的仿真的稀疏STORM图像。单独的核孔很难识别。

图18b是利用L2损失获得的ANNA-STORM图像。包含8个核孔蛋白的单独的核孔清晰可见，几乎没有例外。

图18c是真值仿真的STORM图像(对应于无限数量的定位，N＝∞)。

图18d是如从前k＝6,000个原始图像获得的用Alexa 647做免疫标记的非洲爪蟾蜍核孔蛋白gp210的稀疏STORM图像，(对于所示的8μm×8μm感兴趣区域，n＝25,920，对于整个54μm×54μm视场，n＝3,665,498)。

图18e是使用L2损耗的图18d中图像的ANNA-STORM(L2)图像。

图18f是从所有K＝30,000个原始图像获得的STORM图像(对于所示区域，N＝115,669，对于整个FOV，N＝15,345,116)

连同以上关于微管的结果一起，说明了本发明的实施例的多功能性及其对具有非常不同的结构内容的图像的适用性。

如图所示，该系统基于三个网络：生成器网络2000，低分辨率估计器网络2015和cGAN鉴别器网络2020。

在训练阶段，可以使用标准SMLM成像获得代表感兴趣的分子结构(微管蛋白，肌动蛋白或者核孔蛋白)的一些超分辨率图像，即获取长图像序列(例如，大约10,000至100,000个帧和大约100,000到10,000,000个定位)，然后使用标准定位软件进行处理，从而得到高度采样的(密集)SMLM图像。另外，根据图20所示的实施例，可以获得低分辨率宽场图像(例如，通过荧光显微镜获得的衍射受限图像)，如通常在单分子之前漂白被预激活的荧光团时所做的那样。作为原始图像，低分辨率宽场图像是衍射受限的图像，但在低分辨率的宽场图像中，直到所有荧光团的较高数量的荧光团都处于激活状态。接下来，仅通过使用数量少得多的输入帧(1...k，k<<K)对这些密集SMLM图像进行强欠采样，从而从相同数据生成稀疏SMLM图像。然后，对ANN进行训练，以从这些稀疏SMLM图像和低分辨率宽视场图像恢复密集SMLM图像的近似。一旦被训练好，ANN就准备好进行推断，如参考图21所述，也就是说，它可以用于处理从具有少量帧(k<<K)的图像序列并因此以少得多的时间获得的新的稀疏SMLM图像，和新的低分辨率宽视场图像，以重构以前未见的高质量超分辨率图像(合成密集SMLM图像)。

更精确地，如图20所示，稀疏SMLM图像SMLM(k)，密集SMLM图像SMLM(K)(例如，根据参考图2、6或7所述的方法确定)以及低分辨率宽场图像L被用于训练人工神经网络2000。

稀疏SMLM图像SMLM(k)和低分辨率宽场图像L用作人工神经网络2000(即，生成器网络)的输入，该人工神经网络2000输出表示为ANNA-SMLM的合成密集SMLM图像，而对应于期望输出的密集SMLM图像SMLM(K)与人工神经网络2000的输出进行比较，以相应地调整后者的参数(通常是权重和偏差)，例如使用随机梯度下降算法来迭代地最小化误差，该误差可测量真实输出与期望输出的匹配程度。

这些稀疏SMLM图像SMLM(k)，低分辨率宽场图像L和密集SMLM图像SMLM(K)被用作训练集，在该训练集中，每个三元组优选地在训练阶段使用至少一次。

参照图22描述了人工神经网络2000的架构的示例。

如附图标记2005所示，在学习阶段使用了数个误差函数以便以最佳方式修正权重值。为了说明起见，使用了以下误差函数：

-低分辨率重构误差，代表低分辨率下的重构误差；

-超分辨率重构误差，代表高分辨率下的重构误差；以及

-条件GAN错误。

因此，在SMLM(ki)(简写为Sk_i)和L_i输入到人工神经网络2000中之后，将表示为ANNA-SMLM(ki)(简写为Aki)的结果与对应的期望结果SMLM(K)(简写为SK_i)进行比较以计算用于校正人工神经网络2000的参数的超分辨率误差，如附图标记2010所示并且在下文中详细描述。为了说明起见，该比较可以基于L1范数和/或基于称为多尺度结构相似性索引(MS-SSIM)的方法。此外，在获得Ak_i之后，降低其分辨率，以便可以将其与对应的低分辨率宽场图像L_i进行比较(例如，根据MS-SSIM方法)，以计算也用于校正人工神经网络2000的参数的低分辨率误差，如附图标记2015所示并且在下文中详细描述的。在特定实施例中，在获得Ak_i之后，降低Ak_i和SK_i分辨率，使得可以将它们与对应的低分辨率宽场图像L_i进行比较。然后，图像SK_i，Sk_i，AK_i和L_i用作鉴别器网络2020的输入，如附图标记2020所示并在下文中详细描述，类似于参考图8所描述的鉴别器网络805，该鉴别器网络2020输出图像SK_i或Ak_i是真实还是合成的概率。

同时训练生成器网络2000、低分辨率估计器网络2015和cGAN鉴别器网络2020，cGAN鉴别器试图将真实数据与合成数据区分开，而生成器则试图欺骗鉴别器。

低分辨率估计器网络2015和鉴别器网络2020的架构的示例分别参考图23和24来描述。

如参考图22所描述的，人工神经网络2000可以是Pix2Pix类型，其本身构建在两种最近成功的深度学习方法上：U-net和条件生成式对抗网络(cGAN)。

如上所述，U-net是特殊类型的卷积神经网络，整体上由连接到“上采样”(解码器)网络的“下采样”(编码器)网络组成，其包含大小相等的编码器和解码器特征图之间的跳层(layer-skipping)连接。跳层连接使得能够对于需要保留本地信息的任务(例如图像恢复，例如分割或修复)提供精确的像素级映射。

条件生成式对抗网络包括两个竞争的人工神经网络：输出合成图像的生成器网络(例如，U-net类型的网络)，以及鉴别器网络，该鉴别器网络以真实或合成图像作为输入(不知道其起源)并输出图像为真实还是合成的概率。这两个网络同时受到训练，其中鉴别器试图将真实数据与合成数据区分开，而生成器则试图欺骗鉴别器。

Pix2Pix类型的人工神经网络在2016年的Isola，P.，Zhu，J.-Y.，Zhou，T.&Efros,A.A.等人的标题为“Image-to-Image Translation with Conditional AdversarialNetworks(利用条件对抗网络的图像到图像的转化)”的文章(http://arxiv.org/abs/1611.07004)中被描述。

图21示意性地示出了使用根据本发明的实施例训练的人工神经网络，从通过单分子定位显微术获取的原始图像以及从低分辨率宽场图像重构合成的密集SMLM图像的系统的架构的第二示例。

如图所示，稀疏SMLM图像SMLM'(k)是从在时间t₁至t_k期间通过单分子定位显微术获取的表示为原始图像'1至原始图像'k的k个原始图像的集合获得的。它用作人工神经网络2000的第一输入，该人工神经网络2000输出表示为ANNA-SMLM'(k)的对应的合成密集SMLM图像。还获得代表时间段t₁至t_k的表示为L(k)的低分辨率宽场图像，并将其用作人工神经网络2000(先前已经如参考图20所描述地进行了训练)的第二输入。

根据特定实施例，所获得的合成密集SMLM图像ANNA-SMLM'(k)在低分辨率估计器网络2015中被下转换，以便在误差图生成器2100中与用于生成所获得的合成密集SMLM图像ANNA-SMLM'(k)的低分辨率宽场图像进行比较，以便生成表示更可能发生错误的位置的错误图。

图22示出了图20中所示的生成器网络2000的架构的示例，其中，每条线对应于神经网络的不同层。线显示了层之间的连接。网络的输入是稀疏PALM图像S(S_SMLM)、低分辨率宽场图像W(LR_L)和切换值M(SWITCH)。输出

是相同大小的重构的ANNAPALM图像(A_SMLM)。

切换值使网络有可能在不同类型的图像，诸如分子结构(例如，核孔蛋白或微管)之间，进行切换。

类似于参考图5描述的人工神经网络300，人工神经网络2000包括具有跳跃连接的编码器网络(上部部分)和解码器网络(下部部分)。它是具有16个卷积层和数千万个参数的U-net。它的输入和输出包括包含(256m)×(256m)个像素的SMLM图像分块，其中m是整数。特别地，输入包括稀疏SMLM图像(表示为S_SMLM)，例如稀疏STORM图像。输入进一步包括低分辨率宽场图像(表示为LR_L)，其被调整大小为具有与输入稀疏SMLM图像的大小相同的大小。输出是大小与输入稀疏SMLM图像的相同的合成密集SMLM图像(表示为A_SMLM)。

编码器网络包含多个卷积层(表示为Conv，并具有与参考图5描述的参数相同类型的参数)，并与下采样(最大池化，例如步幅为2的2×2最大池化)层交替，彼此堆叠，得到了大小减半且数量加倍的特征图。编码器被输入两个图像：即稀疏超分辨率图像(S_SMLM)和低分辨率宽场图像(LR_L)，再加上切换(SWITCH)。根据给定的示例，使用双线性插值对低分辨率宽场图像LR_L进行上采样，然后将其与作为不同输入通道的稀疏超分辨率图像S_SMLM级联(Cat，例如，沿每个通道或特征维度将两组输入特征图进行级联)。切换值被使用1位有效编码(表示为1-HOT，使用1位有效表示来编码整数)表示，然后通过核大小为1×1的卷积层(表示为Convl，例如，具有1×1卷积核和步幅为1的2D卷积的特殊情况)被耦合到编码器。对于每个卷积层，将此结果添加到对应的卷积之一(例如，沿每个通道或特征维度表示为+)。

解码器网络包含多个上采样卷积层(表示为UpConv)，得到大小加倍且数量减半的特征图(根据实施例，上采样卷积层的参数类型类似于编码器的卷积层的参数类型)。解码器网络的最后一层生成的输出图像的大小与馈送到编码器网络的输入图像相同。

与在Pix2Pix网络中一样，使用步幅为2的卷积层(而不是最大池化层)，并且编码器中的整流线性单元层(表示为ReLU，例如x→max(x，0))被替换为“泄露ReLUs”(表示为LReLU，例如x→max(x，0)+min(εx，0)，ε＝0.2)。就像在U-net中一样，生成器包含对称地位于编码器和解码器中的特征图之间的直接(跳层)连接。这些具有相同大小的特征图被级联在解码器的对应层(Cat)中。跳层连接使网络能够将局部像素信息与通过连续卷积层传播的较大上下文信息进行组合。

图23示出了图20所示的低分辨率估计器网络2015的架构的示例。

如图所示并根据给定的示例，低分辨率估计器网络2015的架构基于四个卷积层和两个最大池化层。除最后一层外，在每个卷积层之后都使用了丢弃层和泄露ReLU，在最后一层中使用了sigmoid激活函数(例如x→(1+exp(-x))^-1)。低分辨率估计器网络2015将实验获取的密集SMLM图像T或生成器输出

作为输入(表示为INPUT_LD)，并提供小于输入(在给定示例中小4倍)的低分辨率图像作为输出(表示为OUTPUT_LD)。要注意的是，可以添加或去除卷积层和最大合并层，以应对输入图像和输出图像之间的不同大小比。

为了说明起见，低分辨率估计器网络将(256m)×(256m)密集SMLM图像分块或ANNA-SMLM重构分块作为输入，并输出具有(64m)×(64m)像素的重构低分辨率图像。

图24示出了图20所示的cGAN鉴别器网络2020的架构的示例。

根据特定实施例，除了最后一层之外，该结构类似于Pix2Pix网络的鉴别器网络，在该最后一层中，由于目标函数中的对数损失已被最小二乘损失代替，因此已去除了Sigmoid函数。cGAN鉴别器网络2020将低分辨率宽场图像(W)，稀疏SMLM图像(S)以及生成器网络输出的重构

或对应的密集SMLM图像(T)作为输入，这三个图像(S，

或T，W)例如被级联为3通道图像(表示为INPUT_GD)。鉴别器的输出是小图像(表示为OUTPUT_GD)，其像素值指示cGAN鉴别器网络认为稀疏SMLM图像中的对应分块是通过实验获取的真实密集PALM图像T(例如高值)还是重构

(例如低值)。

根据图示的例子，cGAN鉴别器网络具有五个卷积层。它的输入是两个(256m)×(256m)像素图像分块(稀疏SMLM图像及其ANNA-SMLM重构图像或对应的密集SMLM图像)，加上扩展的低分辨率宽场图像，其输出是(30m)×(30m)图像，其像素值指示对应的输入分块是真实的还是生成的。在所有卷积层之后进行批归一化。

训练目标和错误图

生成器网络、低分辨率估计器网络和cGAN判别网络中的每一个均与不同的目标函数(也称为损失)相关联。连同分别用于低分辨率估计器网络(表示为Q)和cGAN鉴别器网络(表示为D)的目标函数

和

一起，生成器的目标函数

本身包含以下三个不同项。在以下等式中，将稀疏输入图像指定为S，将低分辨率宽场输入图像指定为W，将对应的密集SMLM图像(即目标)指定为T，并将生成器输出指定为A＝G(S，W)，其中G代表生成器网络。

在图20中，图像W，S，T和A分别标记为L，SMLM(k)(或Sk)，SMLM(K)(或SK)和ANNA-SMLM(k)(或Ak)。由低分辨率估计器网络2015(Q)从图像A和T重构的低分辨率图像分别指定为WA＝Q(A)和WT＝Q(T)。

的第一项是超分辨率重构误差，以下称为

该项惩罚了生成器输出A与目标图像T之间的差异。该差异可以使用图像A和T之间的多尺度结构相似性指数(MS-SSIM)的加权平均值以及L1范数的修正的加权平均，其中图像A和T之间的绝对差由高斯核平滑，可以定义如下：

其中，

表示期望值；

p_data(S,T,WM)是来自训练数据集的切换设置、宽场图像、密集SMLM图像和稀疏SMLM图像的联合概率密度；

MS_SSIM(A，T)是图像A和T之间的多尺度结构相似性指数；

G_σ是高斯平滑核；

*指示卷积；

|A-T|指示绝对差图像(即，像素(i，j)的值为|A(i，j)-T(i，j)|

并且

ρ是介于0和1之间的标量权重，它平衡了MS_SSIM和修正的L1范数的相对贡献，其可被设置为例如0.84(ρ＝0.84)。

的第二项称为

它用于测量由低分辨率估计器网络2015重构的低分辨率图像WA和WT之间的一致性。它可以表示如下：

可替代地，在上述目标函数中，图像WT可以由实际观察到的低分辨率宽场图像W代替。低分辨率估计器网络2015(Q)与生成器网络2000

同时训练以从密集SMLM图像T产生与观察到的低分辨率宽场图像W一致的低分辨率图像。此训练可以基于以下目标函数来完成：

应当注意，根据实施例，重构的低分辨率图像Q(T)比密集SMLM图像T小四倍。因为输入的低分辨率宽场图像W具有不同的大小，所以可以使用双线性插值将图像W大小调整为与图像Q(T)相同的大小。自然地，如果需要的话，可以通过在低分辨率估计器网络中添加或删除下采样层来实现不同于4的缩放因子。

关于推断，低分辨率估计器网络2015用于产生如参考图21所述的误差图。此错误映射定义如下：

E_O(A，W)＝(1-MS_SSIM(Q(A)，W))(Q(A)+W)

误差图的高值或低值分别表示重构的超分辨率图像A和观察到的低分辨率宽场图像W之间的大小不一致。

的被指示为

的第三项是从有关生成式对抗网络的近期工作(例如Isola，P.，Zhu，J.-Y.，Zhou，T.&Efros,A.A.等人，“Image-to-Image Translation withConditional Adversarial Networks(利用条件对抗网络的图像到图像的转化)”，2016年；Goodfellow，I.，“Generative Adversarial Nets(生成式对抗网络)”，2672-2680，2014年，以及Mao X.等人，“Least Squares Generative Adversarial Networkds(最小二乘生成式对抗网络)”，2016年)得到的。

在GAN中，生成器网络

学习将随机输入向量z(从概率密度p_z(Z)得到)转换为数据概率密度p_data(x)的新样本，数据样本x是密集SMLM图像T。生成器网络

通过针对鉴别器网络D(例如，cGAN鉴别器网络2020)工作而学习，该鉴别器网络D同时学习区分原始数据样本和由生成器网络

生成的样本。因此，对抗训练在于玩最小最大游戏，使得

具有以下形式的目标函数：

或等效地通过同时优化以下两个耦合损耗函数：

在条件GAN(cGAN)中，生成器网络和鉴别器网络具有额外的输入向量c，并且上面的第一个目标函数可以写为：

这样，生成器网络学习条件概率密度p_data(x|c)，并且第二目标函数同样变为以下：

根据实施例，上述对数损失被最小二乘损失代替，因为它们经验性地产生更好的结果。因此，目标函数如下：

根据参考图20至24描述的实施例，输入c是与低分辨率宽场图像W相结合的稀疏SMLM图像S。要注意的是，实际上，噪声z仅通过丢弃层的使用而被引入，如Pix2Pix实现中一样。因此，目标函数为：

以及

结果，组合上述三个损失项会导致以下优化问题：

权重α，β和γ是超参数。作为示例，可以手动将它们设为α＝50，β＝25和γ＝1。

仍然出于说明的目的，图20中所示的整个系统可通过Kingma,D.P.&Ba,J.Adam，“Amethod for stochastic optimization(用于随机优化的方法)”(2014)中所描述的方法使用随机梯度下降法(SGD)来端到端地训练，其中批处理大小为1，迭代(反向传播步骤)的次数为200,000或更大。该实现方式从仿射层的端口改编为Pix2Pix的Torch实现的TensorFlow(Abadi，M.等人，“TensorFlow：Large-Scale Machine Learning onHeterogeneous Distributed Systems(异构分布式系统上的大规模机器学习)”，2016)。

从头开始训练系统通常在单个GPU上需要数小时到数天。一旦训练好后，只需大约一秒钟即可重构2,560×2,560个像素(对应于整个FOV)的超分辨率图像。可以通过预训练(或迁移学习)、GPU群集的使用、或优化数据增强来进一步减少训练时间。

对仿真图像进行验证

为了验证参考图20至24所述的系统，使用布朗动力学仿真生成旨在模拟微管的半柔性细丝的200张密集SMLM图像，分辨率为R_loc≈23nm(对应于定位精度σ_oc≈10nm)。这些有效地代表了“完美的”SMLM图像，该图像将通过无限数量的定位(n＝∞)获得。将变化水平的泊松噪声应用于这些理想图像以创建与有限数量的定位相对应的稀疏PALM图像(n<∞)。然后使用完美图像作为目标，以稀疏图像和对应的低分辨率宽场图像作为输入，在大的范围上改变噪声水平(即定位的数量)，来训练系统。接下来，将经过训练的系统应用于由同一随机仿真生成的SMLM图像的不同集合。

图25a示出了低分辨率宽场图像，图25b示出了从n＝6,834个定位获得的对应的稀疏SMLM图像。虽然即使这张图像是稀疏的，仍可以在该图像中看到曲线结构，但是小尺度特征仍然非常模糊(图25b，插图)，并且根据最近提出的五倍奈奎斯特标准，分辨率因采样到R_5×Nyq≈85nm而被限制；根据此标准，需要n>R_5×Nyq＝60,000个定位才能实现23nm的分辨率。图25c示出了仅从低分辨率宽场图像重构的ANNA-SMLM图像，该图像展现了清晰而连续的细丝，这些细丝在低分辨率宽场图像中无法识别。大多数相对隔离的灯丝大致与图25e中所示的完美SMLM图像一致。然而，在更密集的区域中，许多小的特征是错误的，例如，如图25c中的蓝色箭头所示，细丝被不正确地连接，移位，分裂或合并。相比之下，从稀疏SMLM图像重构的ANNA-SMLM图像与低分辨率宽场图像组合地展现出连续且鲜明的细丝，与完美的SMLM图像非常吻合，如可从图25d，25e和25f观察到的。

这些重构图像的空间分辨率不再受衍射或采样的限制，而仅受定位精度的限制，因此与完美图像一样，R_loc≈23nm。这些结果表明，仅从传统所需的最小数量的定位中的一小部分(此处大约为上述的R_5×Nyq的11％)即可获得高质量的超分辨率图像，因此可以大大减少采集时间。然而，在稀疏定位数据最不明确的区域，例如，如图25d，25e和25f中的白色箭头所示的细丝密度最高之处，仍然发生重构错误。可以通过增加定位数量n来减少这些错误，这意味着在获取时间和重构质量之间进行折中。

为了量化该折中，可以与标准SMLM图像相比，作为例如从

到

的定位数的函数来计算重构ANNA-SMLM图像与完美SMLM图像(n＝∞)之间的MS-SSIM，如图25g所示。根据给定的示例，MS-SSIM介于0到1之间，并且对于完美重构达到1。

如图所示(图25g，黑色曲线)，对于标准SMLM图像，对于n＝2000万个定位，MS-SSIM从大约等于0.2的低值单调增加到大约等于0.95的较高值。仅使用稀疏图像作为输入，ANNA-SMLM重构实现如下的MS-SSIM：与标准PALM相比，其始终更高并且随着定位数量n的增加而更加快速地增加，对于

个定位或更多超过0.9，如图25g中以蓝色虚线所示。仅通过

个定位而不是-60,000个定位，ANNA-SMLM就在五倍奈奎斯特采样水平(约0.65)下实现了与标准PALM相同的MS-SSIM，表明速度大约提高了30倍。如果将低分辨率宽场图像用作附加输入，则MS-SSIM会进一步增加，并且对于低的定位计数会急剧增加，如图25g中的蓝色实线所示。例如，通过n～7,477个定位，ANNA-SMLM实现了与利用n～644,844的标准PALM类似的MS-SSIM(约0.95)，这对应于大约两个数量级的加速。

作为任何图像恢复方法，ANNA-SMLM都可能产生错误。参照图21描述的低分辨率错误图提供了一种估计错误最可能在哪里发生的方法。

图26示出了由ANNA-SMLM产生的低分辨率错误图如何反映稀疏定位图像中的模糊和/或重构错误。图26a和26b代表仿真的“完美”SMLM图像(n＝∞)，其显示高细丝密度区域(左)和低细丝密度区域(右)。图像26a与图25e相同。除了一小段细丝的人为位移之外，图像26b与图像26a相同：与图像26a中的蓝色框相对应的图像部分已在图26b的白色框中再现。

图26c和26d的图像表示通过分别对图26a和26b中所示的完美SMLM图像进行随机子采样而获得的稀疏SMLM图像。

图26e和26f的图像分别是图26c和26d的稀疏PALM图像的ANNA-SMLM重构。将图26a的图像视为真值，蓝色和白色箭头分别指向不正确缺失的细丝的区域(假阴性)和不正确添加的细丝的区域(假阳性)。

图26g和26h的图像是通过ANNA-SMLM分别使用图26e和26f的稀疏SMLM图像作为输入而预测的低分辨率图像。

图26i和26j的图像是合并的图像，其用绿色示出了图26a的真值图像，以及用红色分别示出了图26e和26f的ANNA-SMLM重构。

图26k和26l的图像是通过ANNA-SMLM由图26g和26h的预测低分辨率图像与基于图26a所示的未改变完美SMLM图像被仿真的以及图25a中所示的相同低分辨率宽场图像进行比较而生成的错误图。由图26j中的图像中的蓝色和白色箭头指出的高错误区域反映了图26f中所示的ANNA-SMLM重构中的假阴性和假阳性区域。平均误差值被指示并且对于改变后的图像，该值更高。图26k和26l两者的图像的左侧的高误差区域反映了在高细丝密度区域中的图26c和26d的稀疏定位图像的较大模糊性。

因此，错误图提供了一个有用的工具，其可以突出显示重构图像中最有可能包含错误的区域，并反之，勾勒出重构最值得信赖的区域。这些仿真结果表明，ANNA-SMLM可以显著减少定位显微术的采集时间，并且可以绘制重构可靠性。

免疫组化染色(immunostained)微管的ANNA-SMLM重构

为了在免疫标记的微管的真实图像上测试参考图20至24所描述的系统，已经在10分钟长的采集过程(K＝60,000；Δt＝10ms)中获得的七张密集SMLM图像(具有低分辨率宽场图像)上对系统进行了训练。然后，仅通过9s的采集过程(k＝300；Δt＝30ms)获得了不同FOV中微管的稀疏SMLM图像，以及低分辨率宽场图像(2×50ms曝光时间)，分别在图27a和27b中示出。尽管在稀疏的SMLM图像中已经可以看到微管细丝，但是很难分辨出低于衍射受限的结构细节，这使得难以跟随较密区域中的各个细丝的路径和识别诸如细丝交叉的特征(图27b)。

相比之下，ANNA-SMLM图像，无论是仅由低分辨率宽场图像重构，是仅由稀疏SMLM图像重构，还是由这两者重构(分别如图27d，图27e和27f所示)，都显示出鲜明和连续的细丝，并清楚地揭示了许多结构细节。它们的分辨率与图27c中所示的密集SMLM图像相似甚至更好。可以观察到，在微管细丝彼此远离的区域中，仅从低分辨率宽场图像重构的ANNA-SMLM图像与密集SMLM图像很好地吻合，如图27d和图27g的图像可见。但是，如图27d和图27g中的灰色箭头所示，在高微管密度的地方常常是不正确的。如从图27e和27h的图像可以看出，当将ANNA-SMLM应用于稀疏SMLM图像时，这些重构错误中的大部分都会得到校正。例如，在低分辨率宽场图像中未解析的并且在图27d的图像中不正确合并的两个微管的并行分段现在已清楚地分离并定位在它们的正确位置，并且在使用稀疏SMLM图像时，其它细丝的不正确丢失的部分被恢复，如图27h中的白色和灰色箭头所指示的。反常识地，稀疏SMLM图像在密集SMLM图像没有的某些位置表现出高信号，这大概是由于例如非特定绑定所导致的虚假定位(参见例如图27b中的蓝色箭头)。这样的信号可能导致仅得自于稀疏定位数据的ANNA-SMLM重构中的不正确的特征(例如，参见图27e和27h中的蓝色箭头)。

然而，当组合低分辨率宽场和稀疏SMLM数据时，这些伪像将被大量去除，导致与密集SMLM图像非常吻合的重构，如图27f和图27i中可见。随着帧数k增加，重构的质量也随之提高，如图27j所示。更定量地，与上述用于仿真数据的MS-SSIM分析相似的MS-SSIM分析(但其中真值被定义为密集SMLM图像的ANNA-SMLM输出)表明，与标准SMLM相比，ANNA-SMLM可以减少采集时间多达两个数量级。

如上所述，计算重构可能包含错误。为了帮助预测最有可能出现此类错误的地方，可以使用低分辨率宽场图像来计算错误图。此错误图突出显示了ANNA-SMLM重构确实与密集SMLM图像不一致的区域。相反，在误差图暗淡的大多数区域中，重构质量高。因此，ANNA-SMLM可以从SMLM成像中通常所需的采集时间中的一小部分产生超分辨率图像的高质量近似，并估计出最有可能出现重构错误的地方。

通过单个人工神经网络重构稀疏微管和核孔图像

图28示出了使用在微管和核孔图像两者上被训练的人工神经网络(例如参照图20至24所述的那些人工神经网络之一)重构微管的稀疏定位图像(如图28a，28b和28c所示)或核孔的稀疏定位图像(如图28d，28e和28f所示)。

图28a表示从k＝500个帧获得的微管的稀疏SMLM图像。图28b示出了基于图28a的图像的ANNA-SMLM重构，其中结构切换被设置为微管(指示为“MT”)。图28c表示从K＝60,000个帧获得的密集SMLM图像。

图28d表示从k＝3,000个帧获得的核孔蛋白gp210的稀疏SMLM图像。图28e示出了基于图28d的图像的ANNA-SMLM重构，其中结构切换设置为核孔(指示为“NPC”)。图28f表示从K＝30,000个帧获得的密集SMLM图像。

图28g与图28d相同。

图28h表示基于图28g的图像的ANNA-SMLM重构，其中结构切换设置为微管(“MT”)。要注意的是重构图像的不真实性质。

图28i与图28f相同。

如图所示，系统需要在具有与要重构的稀疏SMLM图像中的结构相似的结构的密集SMLM图像上进行预训练。当稀疏SMLM图像(和/或低分辨率宽场图像)属于与训练图像相同的概率分布时，则有望获得最佳的重构精度。然而，该系统是鲁棒的，并且不需要对于实验引发的结构变化和成像参数的多种变化进行重新训练。对应于切换值M(参考图22进行描述)的结构切换通过为每个图像集分配不同的切换值，允许使用不同的图像集(例如代表不同结构的图像集)来训练单个系统。有利地，切换的使用通过将计算局限于所选择的训练数据集而减少了训练期间人工神经网络的计算时间。

此外，本发明的实施例促进了活细胞中的动态超分辨率成像。实际上，与SMLM或等效图像处理方法相比，可以使用更少的连续原始图像来重构单个超分辨率动画帧，因此可以在不牺牲空间分辨率的情况下提高时间分辨率。它不需要更高的激发功率，因此不会遭受额外的光毒性和光漂白，从而使得可以在较温和的条件下进行长时间观察。因此，它允许更快和更长的活细胞超分辨率成像，而不会造成过多的光损伤。

在特定实施例中，当用稀疏定位图像、至少部分对应的低分辨率宽场图像和对应的密集超分辨率图像的三元组训练诸如参考图20至图24描述的人工神经网络之一之类的人工神经网络时，可以仅使用低分辨率宽场图像作为输入来重构合成的密集超分辨率图像(例如，参见图27d)。由于可以仅在一帧中以通常为50-500ms的获取时间获取低分辨率宽场图像，因此获取速度快得足以将活细胞成像和超分辨率成像结合在一起。使用低分辨率宽场图像作为输入还可以简化染色和样品制备。例如，不需要像STORM中一样使用闪烁缓冲液，可以使用荧光蛋白(例如广泛使用的绿色荧光蛋白(GFP))，从而减少活样品的干扰。使用低分辨率宽场图像作为输入还可以执行高产量活细胞超分辨率成像。

此外，本发明的实施例可以扩展为以相对直接的方式重构3D合成密集SMLM图像。需要的是以下的训练数据集，其由密集3D SMLM数据和将在ANN训练后要重构的一个或多个稀疏3D SMLM数据组成。ANN架构将需要被修正以适应3D输入和输出数据。可以使用多种技术来获得3D SMLM数据，包括点扩散函数(PSF)工程(例如像散、双螺旋或鞍点PSF)或双平面成像，或者具有或不具有z步进的干涉SMLM(例如，iPALM)。在特定实施例中，训练数据集和在训练ANN之后将要重构的稀疏3D SMLM数据包括对应的3D低分辨率宽场图像。当训练数据集包括相应的3D低分辨率宽场图像时，可以仅使用3D低分辨率宽场图像作为输入来重构3D合成密集SMLM图像。

而且，本发明的实施例可以以数种方式扩展到多色成像。

第一种方法是考虑SMLM数据，该数据由p(p是大于1的整数)个颜色通道中获取的原始图像组成，这些原始图像正在被处理以获得p个稀疏SMLM图像。然后，每种颜色可以使用本发明的实施例来独立于其它颜色被处理(可以认为是单色ANNA-PALM方法)，使得p个ANN被独立地训练，每种颜色一个，训练数据的需求是与单色ANNA-PALM相同。为了进行推断，然后将稀疏的多色SMLM图像馈送到这p个ANN中(每种颜色被分配给其对应的ANN)，然后将所得的p个合成密集SMLM图像组合为密集多颜色超分辨率图像。

第二种方法是使用单个ANN同时处理p个颜色通道，将p个稀疏SMLM图像(每种颜色一个)作为输入，并生成p个密集SMLM图像作为输出(每种颜色一个)。这将需要对ANN架构进行小的修正，以容纳p个颜色通道作为输入和输出。在第二种方法中，ANN可以同时学习所有p个颜色通道的联合概率密度。结果，每个颜色通道的重构可以受到其他颜色通道的信息含量的影响，从而允许进一步改善重构质量和/或获取效率。

第三种方法是训练ANN以从单色输入数据产生多色图像作为输出，即执行颜色分解。在这种方法中，训练数据将由在p个颜色通道中获取的SMLM图像组成，每个颜色通道对应于一个不同的目标分子。只需忽略颜色通道，就可以将p个彩色图像组合成一个单色图像。可以使用该单色图像(包含来自所有p个分子种类的定位信息)作为输入，以p个彩色图像作为目标输出来训练ANN。输入数据可以比目标数据更稀疏(例如在单色ANNA-PALM中)，或者不稀疏(对于未不减少采集时间的颜色分解)。一旦训练完成，该ANN将应用于在相同颜色通道中对p个分子种类成像的图像。这种策略可以增加可以被同时成像(无论是否使用SMLM)的不同物种的数量，因为它不再需要光谱上可区分的荧光染料。

要注意的是，本发明的实施例不必需对现有的定位显微术系统进行任何改变，而是仅需要一些标准SMLM图像来进行训练，例如STORM图像(观察到，即使单个STORM图像也足以训练该系统，通过在更大的图像集上训练系统可以预期获得更好的结果(更高的准确性或效率)。

此外，与参考图20至24描述的系统有关的本发明的实施例可被扩展以提高通过不同显微术方法(例如，宽场荧光显微术，共聚焦显微术，或诸如结构照明显微术(SIM)、受激发射损耗(STED)、电子显微术(EM)或低温电子显微术(CryoEM)的超分辨率显微术方法)获取的图像的分辨率。这种方法依赖于使用从具有不同分辨率的两种显微技术获得的图像对的系统的训练，输入图像是从具有较低分辨率的显微技术获得的，而从显微技术获得的对应的期望图像(目标图像)具有更高的分辨率。例如，低分辨率宽场图像可以用作人工神经网络2000的输入，人工神经网络2000可被视为输出合成EM图像的生成器网络，而将与期望输出相对应的目标EM图像与人工神经网络2000的输出进行比较，以相应地调整后者的参数。为了训练系统，输入图像和目标图像应与同一视野对齐，并应逐像素地配准。如果这两个图像的像素大小不同，则可以使用插值法将较小的图像放大为较大的图像，以使它们具有与用于训练人工神经网络的像素大小相同的像素大小。实际上，可以使用配备有不同模块的同一显微镜获得混合了不同超分辨率技术的对齐图像。在EM的情况下，相关光电子显微技术将光显微术和电子显微术结合起来。在这种方法中，通过具有或不具有不同分辨率的不同显微术技术获得的多个图像在它们各自的分辨率低于目标图像的分辨率的情况下也可以用作输入。例如，可以使用共聚焦显微术和对应的SIM图像的三元组作为输入，以及对应的EM图像作为目标图像，来训练人工神经网络。

而且，与参照图20至图24描述的系统有关的本发明的实施例可以被扩展以改善通过电子显微术(EM)获得的图像的特异性。该技术不允许特定地着色或标记不同的分子种类以执行多通道成像，例如光学显微术中的多色成像。为了提高EM的特异性，可以使用EM图像作为输入，将其中标记了期望元素的对应的对齐光学显微图像作为目标图像，来训练人工神经网络，以重构合成的标记EM图像。

图19示意性地示出了处理设备1900，其被配置为实现本发明的至少一部分的至少一个实施例，例如，参照图3至图9描述的算法中的一种或数种。处理设备1900可以是诸如微型计算机、工作站或高度并行计算机的设备。设备1900包括通信总线1913，优选地与以下部件连接：

-中央处理单元1911，例如微处理器，表示为CPU；

-表示为ROM的只读存储器1907，用于存储用于实现本发明的计算机程序；

-表示为RAM的随机存取存储器1912，用于存储本发明实施例的方法的可执行代码，以及适于记录用于实现根据本发明实施例的改进由单分子定位显微术获得的原始图像的组装的方法的变量和参数的寄存器；和

-连接到通信网络1903的通信接口1902，通过该通信网络1903可以发送要处理的数字数据。

可选地，装置1900还可以包括以下组件：

-诸如硬盘之类的数据存储装置1904，用于存储用于实现本发明的一个或多个实施例的方法的计算机程序以及在本发明的该一个或多个实施例的实现期间使用或产生的数据；

-用于磁盘1906的磁盘驱动器1905，该磁盘驱动器适于从磁盘1906读取数据或将数据写到所述磁盘上；

-屏幕1909，用于显示数据和/或通过键盘1910或任何其他指示装置用作与用户的图形界面；和

-未示出的图形处理单元(GPU)，其允许大矩阵数据的并行处理，并且可以特别地用于执行人工神经网络的操作。GPU可能被证明对于优化计算时间是重要的。

通信总线在设备1900中包括的或与其连接的各种元件之间提供通信和互操作性。总线的表示不是限制性的，并且特别地，中央处理单元可操作以将指令直接传送到装置1900的任何元件，或借助于装置1900的另一元件而传送。

磁盘1906可以用任何信息介质代替，例如可重写或不可重写的光盘(CD-ROM)，ZIP磁盘或存储卡，并且一般而言，可以用信息存储装置代替，该信息存储装置可以由微型计算机或微处理器读取，可以集成到设备中，也可以不集成到设备中，可以被移除，并适于存储一个或多个程序，程序的执行使得能够实现根据本发明实施例的用于改进通过单分子定位显微术获得的原始图像的组装的方法。

可执行代码可被存储在只读存储器1907中，硬盘1904上，或例如先前描述的磁盘1906的可移除数字介质上。根据一种变型，可以通过接口1902利用通信网络1903来接收程序的可执行代码，以便在执行之前将其存储在设备1900的存储装置之一中，例如硬盘磁盘1904。

中央处理单元1911适于控制和引导根据本发明的一个或多个程序的指令或软件代码的一部分的执行，这些指令被存储在上述存储装置之一中。在加电时，将存储在非易失性存储器(例如，硬盘1904或只读存储器1907)中的一个或多个程序转移到随机存取存储器1912中，然后该随机存取存储器1912包含一个或多个程序的可执行代码，以及用于存储实现本发明所必需的变量和参数的寄存器。

在该实施例中，该设备是使用软件来实现本发明的可编程设备。然而，可替代地，本发明可以以硬件(例如，以专用集成电路或ASIC的形式)实现。

自然地，为了满足局部和特定要求，本领域技术人员可以将上述修改和变型应用于上述解决方案，但是所有这些修改和变型都包括在由所附权利要求书限定的本发明的保护范围内。

Claims

1.一种用于从至少一个低信息含量图像(SMLM(k_i)，L_i)重构至少一个合成的密集超分辨率图像(ANNA-SMLM(k_i))的计算机方法，至少一个低信息含量图像包括低分辨率宽场图像(L_i)，该方法包括以下步骤：

-获得至少一个低信息含量图像；

-将所获得的至少一个低信息含量图像输入到人工神经网络(2000)，以及

-从所述人工神经网络获得合成的密集超分辨率图像，

其中，所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括从通过单分子定位显微术获取的衍射受限图像序列获得的稀疏定位图像(SMLM(k_i))、至少部分对应的低分辨率宽场图像(L_i)和对应的密集超分辨率图像(SMLM(k_i))的三元组，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

2.根据权利要求1所述的方法，其中，所述至少一个低信息含量图像还包括根据单分子定位显微术图像处理从衍射受限图像序列重构的稀疏定位图像(SMLM(k_i))。

3.根据权利要求2所述的方法，进一步包括以下步骤：

-获得衍射受限图像的序列(200)；以及

-从所获得的衍射受限图像序列重构稀疏定位图像(210)。

4.根据权利要求2或3所述的方法，其中，所述低分辨率宽场图像至少部分地对应于用于重构稀疏定位图像的衍射受限图像。

5.根据权利要求4所述的方法，还包括计算错误图的步骤，所述错误图表示作为合成的密集超分辨率图像中的位置的函数而发生的错误的概率。

6.根据权利要求5所述的方法，其中，计算错误图的步骤包括以下步骤：从合成的密集超分辨率图像生成低分辨率图像(L'(k))，所生成的低分辨率图像被与输入到人工神经网络的低分辨率宽场图像进行比较。

7.根据权利要求1至6中任一项所述的方法，其中，所述训练目标函数包括用以选择要输入到人工神经网络中的训练数据的子集的至少一个参数。

8.根据权利要求1至7中的任一项所述的方法，其中，所述训练目标函数包括基于条件生成式对抗网络类型的人工神经网络的目标函数中的至少一个，并且其中输入人工神经网络的低分辨率宽场图像被用作所述条件生成式对抗网络的条件。

9.根据权利要求1至8中任一项所述的方法，其中，所述稀疏定位图像是3D稀疏定位图像，并且所述密集超分辨率图像是3D密集超分辨率图像。

10.根据权利要求1至8中任一项所述的方法，其中，所述稀疏定位图像是多色稀疏定位图像，并且所述密集超分辨率图像是多色密集超分辨率图像。

11.一种用于从通过单分子定位显微术获取的衍射受限图像序列重构至少一个合成的密集超分辨率图像(ANNA-SMLM’(k_i))的计算机方法，该方法包括以下步骤：

-获得通过单分子定位显微术获取的衍射受限图像序列；

-根据单分子定位显微术图像处理从获得的衍射受限图像序列重构稀疏定位图像(SMLM'(k_i))；

-将重构的稀疏定位图像输入到人工神经网络(300)，以及

-从人工神经网络获得合成的密集超分辨率图像，

其中所述人工神经网络已经利用训练数据根据训练目标函数被训练，所述训练数据包括稀疏定位图像(SMLM(k_i))和对应的密集超分辨率图像(SMLM(K_i))的对，该训练目标函数比较密集超分辨率图像和人工神经网络的对应输出。

12.根据权利要求11所述的方法，其中，所获得的序列中的衍射受限图像对应于研究场的第一视场，获得衍射受限图像序列、从所获得衍射受限图像序列重构稀疏定位图像、将重构的稀疏定位图像输入到人工神经网络，并且从人工神经网络获得合成的密集超分辨率图像的步骤对于研究领域的至少一个第二视场重复进行，所述第一视场和第二视场是不同的。

13.根据权利要求12所述的方法，其中，所述第一视场和所述第二视场在所述研究场内是连续的，所述方法还包括以下步骤：通过拼接从所述人工神经网络获得的合成的密集超分辨率图像来创建结果图像。

14.根据权利要求11至13中的任一项所述的方法，其中，所获得的序列中的衍射受限图像对应于预定视场，获得衍射受限图像序列、从所获得衍射受限图像序列重构稀疏定位图像、将重构的稀疏定位图像输入到人工神经网络，并且从人工神经网络获得合成的密集超分辨率图像的步骤对于相同的视场周期性地重复。

15.根据权利要求11至14中的任一项所述的方法，还包括训练所述人工神经网络的步骤以及将稀疏定位图像和对应的密集超分辨率图像配对以用于训练所述人工神经网络的步骤。

16.根据权利要求15所述的方法，其中，将稀疏定位图像和相应的密集超分辨率图像配对的步骤包括：

-获得通过单分子定位显微术获取的衍射受限图像的训练序列(200)；

-根据单分子定位显微术图像处理从所获得的衍射受限图像的训练序列的第一子集重构多个稀疏定位图像(210)；

-根据单分子定位显微术图像处理从所获得的衍射受限图像的训练序列的第二子集重构多个密集超分辨率图像(205)，每个第二子集中包含的衍射受限图像比每个第一子集要多。

17.根据权利要求11至16中任一项所述的方法，其中，所述稀疏定位图像是3D稀疏定位图像，并且所述密集超分辨率图像是3D密集超分辨率图像。

18.根据权利要求11至16中任一项所述的方法，其中，所述稀疏定位图像是多色稀疏定位图像，并且所述密集超分辨率图像是多色密集超分辨率图像。

19.一种设备，包括被配置为执行根据权利要求1至18中的任一项所述的方法的每个步骤的装置。

20.一种用于可编程装置的计算机程序产品，该计算机程序产品包括用于在由可编程装置加载和执行程序时执行根据权利要求1至18中任一项的方法的每个步骤的指令。