CN106707486B - 基于fpm的宽视场显微成像方法及系统 - Google Patents

Abstract

本发明公开了一种基于FPM的宽视场显微成像方法及系统，其中，方法包括：在LED面板上将多个LED排布为多个同心圆；获取多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数；获取每一层上的LED的排布角度；通过迭代得到最佳LED面板分布结构；将最佳LED面板分布结构作为光源，通过频域叠层拼接显微FPM系统得到成像结果。该方法通过引入圆形的LED阵列，减小曝光次数，提高成像效率，简单易实现。

Description

基于FPM的宽视场显微成像方法及系统

技术领域

本发明涉及计算摄像技术领域，特别涉及一种基于FPM的宽视场显微成像方法及系统。

背景技术

由于物镜能够传输的信息量有限，其SBP(space-bandwidth product，空间带宽积)将受到限制，而SBP为视场大小与空间分辨率的平方的乘积，因而宽视场和高分辨无法兼顾。

FPM(Fourier Ptychographic Microscopy，频域叠层拼接显微)技术利用学科交叉方面的知识，将信息技术的知识应用到了传统的显微技术中，突破了空间带宽积的局限。其具体方法为：利用透镜在傅里叶域为一个低通滤波器的性质，不同角度的光照入射获得的图片对应于样本在傅里叶域不同位置的信息，将一系列低分辨率的图片做傅里叶变换后映射到对应的不同位置，合成一张高分辨率的频谱图。最终的频谱图不仅包含高分辨率的样本强度信息，同时包含着样本的相位信息。因此，FPM是一种宽视场、高分辨率并且能够对相位进行成像的显微技术。

由于FPM技术的出色性能，以及比较低的硬件成本，迅速引起了学术界的关注。目前，FPM技术最大的局限在于其数据采集所耗时间过长。为了使得SBP有着显著的提升，一般至少需要使用15乘15的LED(Light Emitting Diode，发光二极管)阵列来实现。在此条件下，使用传统的采集技术一般需要3分钟左右，这对于观察细胞的动态行为非常不利。

相关技术中，改进FPM的采集时间主要采用两类策略：一类通过对样本的预先估计，获得其频谱不同位置的重要性信息，对于包含重要信息的角度进行定向曝光，对于不重要的位置少曝光或者不曝光，从而减小总的曝光次数，提升采集速率，但是其主要问题在于需要对于样本的预先估计，不但会增加采集过程中的计算量，甚至可能无法连续采集，并且每次各个LED曝光顺序不同，也会增加硬件控制的难度；另一类方法是基于不同位置的LED进行编码，将在频域上覆盖不同位置的LED编码为一组，同时曝光，虽然可以减小单个LED曝光时间的同时，并且也减小了曝光的总次数，但是其最大的问题在于鲁棒性的不足，首先不能保证对于所有的样本按照给出的编码方式进行恢复，其次是该方法对于系统参数过于敏感，系统参数的变化将会对编码方式以及成像效果有着非常大的影响。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于FPM的宽视场显微成像方法，该方法可以减小曝光次数，并且提高成像效率。

本发明的另一个目的在于提出一种基于FPM的宽视场显微成像系统。

为达到上述目的，本发明一方面实施例提出了一种基于FPM的宽视场显微成像方法，包括以下步骤：在LED面板上将多个LED排布为多个同心圆；获取所述多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数；获取所述每一层上的LED的排布角度；通过迭代得到最佳LED面板分布结构；将所述最佳LED面板分布结构作为光源，通过FPM系统得到成像结果。

本发明实施例的基于FPM的宽视场显微成像方法，通过分析频谱的复用特征引入圆形的LED阵列，从而能够在有限的LED个数条件下，保证相邻光照重复度的同时，覆盖更大的频谱面积，从而更加有效率地利用频谱，减小LED曝光个数，最终减小整个系统的数据采集时间，提高成像效率，简单易实现。

另外，根据本发明上述实施例的基于FPM的宽视场显微成像方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述获取所述多个同心圆中每个同心圆的半径，进一步包括：根据最佳频谱重复程度确定最里层同心圆的半径；根据所述最里层同心圆的半径得到所述每个同心圆的半径。

进一步地，在本发明的一个实施例中，所述确定排布层数和每一层上的LED个数，进一步包括：根据所述LED面板的面积确定排布层数；根据所述多个LED中各个LED之间的硬件避让距离确定每一层的LED个数。

进一步地，在本发明的一个实施例中，所述获取所述每一层上的LED的排布角度，进一步包括：根据通过贪婪算法确定所述每一层上的LED与里层的LED的频谱重复程度，以使得所述频谱重复程度最大得到所述每一层上的LED的排布角度。

进一步地，在本发明的一个实施例中，所述多个同心圆中每个同心圆上各个LED均匀分布。

为达到上述目的，本发明另一方面实施例提出了一种基于FPM的宽视场显微成像系统，包括：排布模块，用于在LED面板上将多个LED排布为多个同心圆；第一获取模块，用于获取所述多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数；第二获取模块，用于获取所述每一层上的LED的排布角度；设置模块，用于通过迭代得到最佳LED面板分布结构；成像模块，用于将所述最佳LED面板分布结构作为光源，通过FPM系统得到成像结果。

本发明实施例的基于FPM的宽视场显微成像系统，通过分析频谱的复用特征引入圆形的LED阵列，从而能够在有限的LED个数条件下，保证相邻光照重复度的同时，覆盖更大的频谱面积，从而更加有效率地利用频谱，减小LED曝光个数，最终减小整个系统的数据采集时间，提高成像效率，简单易实现。

另外，根据本发明上述实施例的基于FPM的宽视场显微成像系统还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述第一获取模块还用于根据最佳频谱重复程度确定最里层同心圆的半径，并且根据所述最里层同心圆的半径得到所述每个同心圆的半径。

进一步地，在本发明的一个实施例中，所述第一获取模块还用于根据所述LED面板的面积确定排布层数，并且根据所述多个LED中各个LED之间的硬件避让距离确定每一层的LED个数。

进一步地，在本发明的一个实施例中，第二获取模块具体用于根据通过贪婪算法确定所述每一层上的LED与里层的LED的频谱重复程度，以使得所述频谱重复程度最大得到所述每一层上的LED的排布角度。

进一步地，在本发明的一个实施例中，所述多个同心圆中每个同心圆上各个LED均匀分布。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于FPM的宽视场显微成像方法的流程图；

图2为根据本发明一个实施例的LED面板的结构示意图；

图3为根据本发明一个实施例的仿真复原的效果示意图；以及

图4为根据本发明实施例的基于FPM的宽视场显微成像系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于FPM的宽视场显微成像方法及系统，首先将参照附图描述根据本发明实施例提出的基于FPM的宽视场显微成像方法。

图1是本发明实施例的基于FPM的宽视场显微成像方法的流程图。

如图1所示，该基于FPM的宽视场显微成像方法包括以下步骤：

在步骤S101中，在LED面板上将多个LED排布为多个同心圆。

也就是说，首先确定系统的工作具体、LED面板的几何尺寸。其中，在本发明的实施例中，改变了传统LED面板的矩阵式结构，用圆形的结构所取代，并且对其具体分布进行优化。

可以理解的是，如图2所示，将LED面板改成了圆形结构，相比于原有的矩阵型结构，其可以在有限的LED个数时，保证相邻曝光重复度足够的条件下获得更大的频谱覆盖面积，从而减小曝光次数。这种方法将不需要对于样本的预知信息，可以使用一套不变的曝光策略。此外，由于质量良好的FPM重建要求每一次曝光视场强度要基本相等，而在同一个圆上的每个LED与视场中心的距离相同，所以我们的新结构里同一个圆上可以使用相同的曝光时间，非常有利于硬件的控制。

具体地，FPM技术是一种基于频域拼接的显微技术，其利用一系列从不同角度的光源照射样本得到的低分辨率图片，来最终重建样本的高分辨率图片。其特点为宽视场、高分辨且装置简单，成本低廉，但是采集速率较慢，这大大限制了其在生命科学领域的应用。提升其速率也成为了关键研究内容。目前的FPM技术主要采取对已知的样本进行分析，而定向曝光的方式，这种方式需要对样本有着较高的先验要求，并且实际操作中，需要实时的计算与反馈控制，硬件控制较为复杂，并且耗时较大，实用性不强。而我们提出的方法，为改进其光照的结构。传统的矩阵式的LED面板作为光源，频谱没用更加充分的利用，因而采集的速率较慢。

然而，本发明实施例利用数学方法分析频谱的复用特征，引入了一种圆形的LED阵列，使其能够在有限的LED个数条件下，保证相邻光照重复度的同时，覆盖更大的频谱面积，从而更加有效率地利用频谱，减小LED曝光个数，最终减小整个系统的数据采集时间在50％左右。如图2所示，其中，图2(a)为原有矩阵结构示意图，图2(b)为优化的圆形结构示意图。

在步骤S102中，获取多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数。

即言，确定各层LED的参数。

其中，在本发明的一个实施例中，获取多个同心圆中每个同心圆的半径，进一步包括：根据最佳频谱重复程度确定最里层同心圆的半径；根据最里层同心圆的半径得到每个同心圆的半径。

进一步地，在本发明的一个实施例中，确定排布层数和每一层上的LED个数，进一步包括：根据LED面板的面积确定排布层数；根据多个LED中各个LED之间的硬件避让距离确定每一层的LED个数。

在步骤S103中，获取每一层上的LED的排布角度。

也就是说，优化每一个LED的在当前层上的角度。

进一步地，在本发明的一个实施例中，获取每一层上的LED的排布角度，进一步包括：根据通过贪婪算法确定每一层上的LED与里层的LED的频谱重复程度，以使得频谱重复程度最大得到每一层上的LED的排布角度。

在步骤S104中，通过迭代得到最佳LED面板分布结构。

即言，最后对上述步骤进行迭代，确定最终各个LED的几何位置。

其中，在本发明的一个实施例中，多个同心圆中每个同心圆上各个LED均匀分布。

在步骤S105中，将最佳LED面板分布结构作为光源，通过FPM系统得到成像结果。

在本发明的实施例中，改变了LED面板的结构，在原有的矩阵形式分布的条件下进行了优化，使其能够在相同的LED个数，即相同的曝光时间的条件下，对频谱的利用程度更高。同时，本发明实施例的方法是一种普适性的方法，对于所有的样本，使用相同的一套控制曝光策略即可。相比于其他的方法，其鲁棒性强，计算量小，不需要对样本的预知信息，硬件控制实现简单。可以FPM数据采集时间在50％左右。另外，将普通的正置显微镜的光源替换为本发明实施例给出的LED结构面板，并且配合一台普通计算机进行数据处理即可实现，简单便捷。

在本发明的一个具体实施例中，本发明实施例的方法相比较传统FPM技术中的LED光照面板的结构调整为圆形分布，并且相比于其他FPM提速方法，鲁棒性增强，并且不再依赖于对样本的先验知识，具有普适性，同时降低了硬件控制的难度，其具体包括以下步骤：

步骤S1，LED排布由多个同心圆构成，每一个同心圆上各个LED均匀分布。

步骤S2，首先根据理论上的最佳频谱重复程度确定最里层LED的半径r，然后每层LED同心圆的半径分别为2r，3r，……然后根据整个LED面板的面积确定整体的层数，并根据两个LED间的硬件避让距离确定每一层上的LED个数。

步骤S3，确定LED层数及每层的个数后，再确定每一层上LED的角度。角度的确定方法为保障最大的频谱重复面积。具体实现上，使用贪婪算法，从内而外，每一层选择能够使得该层上的LED与里层LED总的频谱重复程度最大。

步骤S4，对以上过程迭代2～3次，获得最佳的LED面板分布结构。

其中，本发明实施例可以使用普通的正置显微镜，并配合一台普通计算机进行数据处理，同时将光源替换为文中给出的LED结构面板即可实现。

举例而言，如图3所示，其中，图3(a)为原低分辨率的输入图像，图3(b)为重建的高分辨率图像，并且如表1所示，表1为本发明实施例中的圆形结构与原有矩阵式LED结构复原结果的对比结果。

表1

根据本发明实施例的基于FPM的宽视场显微成像方法，通过分析频谱的复用特征引入圆形的LED阵列，从而能够在有限的LED个数条件下，保证相邻光照重复度的同时，覆盖更大的频谱面积，从而更加有效率地利用频谱，减小LED曝光个数，最终减小整个系统的数据采集时间，提高成像效率，通过重新设计LED面板的几何结构，实现了在相同的重建误差的基础上，减小了50％左右的LED个数，即减小了50％左右的数据采集时间，并且提高了适用性，鲁棒性强，计算量小，简单易实现。

其次参照附图描述根据本发明实施例提出的基于FPM的宽视场显微成像系统。

图4是本发明实施例的基于FPM的宽视场显微成像系统的结构示意图。

如图4所示，该基于FPM的宽视场显微成像系统10包括：排布模块100、第一获取模块200、第二获取模块300、设置模块400和成像模块500。

其中，排布模块100用于在LED面板上将多个LED排布为多个同心圆。第一获取模块200用于获取多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数。第二获取模块300用于获取每一层上的LED的排布角度。设置模块400用于通过迭代得到最佳LED面板分布结构。成像模块500用于将最佳LED面板分布结构作为光源，通过FPM系统得到成像结果。本发明实施例的系统10通过引入圆形的LED阵列，减小曝光次数，提高成像效率，简单易实现。

进一步地，在本发明的一个实施例中，第一获取模块200还用于根据最佳频谱重复程度确定最里层同心圆的半径，并且根据最里层同心圆的半径得到每个同心圆的半径。

进一步地，在本发明的一个实施例中，第一获取模块200还用于根据LED面板的面积确定排布层数，并且根据多个LED中各个LED之间的硬件避让距离确定每一层的LED个数。

进一步地，在本发明的一个实施例中，第二获取模块300具体用于根据通过贪婪算法确定每一层上的LED与里层的LED的频谱重复程度，以使得频谱重复程度最大得到每一层上的LED的排布角度。

进一步地，在本发明的一个实施例中，多个同心圆中每个同心圆上各个LED均匀分布。

需要说明的是，前述对基于FPM的宽视场显微成像方法实施例的解释说明也适用于该实施例的基于FPM的宽视场显微成像系统，此处不再赘述。

根据本发明实施例的基于FPM的宽视场显微成像系统，通过分析频谱的复用特征引入圆形的LED阵列，从而能够在有限的LED个数条件下，保证相邻光照重复度的同时，覆盖更大的频谱面积，从而更加有效率地利用频谱，减小LED曝光个数，最终减小整个系统的数据采集时间，提高成像效率，通过重新设计LED面板的几何结构，实现了在相同的重建误差的基础上，减小了50％左右的LED个数，即减小了50％左右的数据采集时间，并且提高了适用性，鲁棒性强，计算量小，简单易实现。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种基于FPM的宽视场显微成像方法，其特征在于，包括以下步骤：

在LED面板上将多个LED排布为多个同心圆；

获取所述多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数，其中，根据最佳频谱重复程度确定最里层同心圆的半径，并根据所述最里层同心圆的半径得到所述每个同心圆的半径，再根据所述LED面板的面积确定排布层数，根据所述多个LED中各个LED之间的硬件避让距离确定每一层的LED个数；

获取所述每一层上的LED的排布角度；

通过迭代得到最佳LED面板分布结构；以及

将所述最佳LED面板分布结构作为光源，通过频域叠层拼接显微FPM系统得到成像结果。

2.根据权利要求1所述的基于FPM的宽视场显微成像方法，其特征在于，所述获取所述每一层上的LED的排布角度，进一步包括：

根据通过贪婪算法确定所述每一层上的LED与里层的LED的频谱重复程度，以使得所述频谱重复程度最大得到所述每一层上的LED的排布角度。

3.根据权利要求1-2任一项所述的基于FPM的宽视场显微成像方法，其特征在于，所述多个同心圆中每个同心圆上各个LED均匀分布。

4.一种基于FPM的宽视场显微成像系统，其特征在于，包括：

排布模块，用于在LED面板上将多个LED排布为多个同心圆；

第一获取模块，用于获取所述多个同心圆中每个同心圆的半径，并确定排布层数和每一层上的LED个数，其中，根据最佳频谱重复程度确定最里层同心圆的半径，并且根据所述最里层同心圆的半径得到所述每个同心圆的半径，并根据所述LED面板的面积确定排布层数，并且根据所述多个LED中各个LED之间的硬件避让距离确定每一层的LED个数；

第二获取模块，用于获取所述每一层上的LED的排布角度；

设置模块，用于通过迭代得到最佳LED面板分布结构；以及

成像模块，用于将所述最佳LED面板分布结构作为光源，通过FPM系统得到成像结果。

5.根据权利要求4所述的基于FPM的宽视场显微成像系统，其特征在于，第二获取模块具体用于根据通过贪婪算法确定所述每一层上的LED与里层的LED的频谱重复程度，以使得所述频谱重复程度最大得到所述每一层上的LED的排布角度。

6.根据权利要求4-5任一项所述的基于FPM的宽视场显微成像系统，其特征在于，所述多个同心圆中每个同心圆上各个LED均匀分布。