CN113554744A - 一种大体积散射样本快速扫描三维成像方法及装置 - Google Patents

Abstract

本申请提出一种大体积散射样本快速扫描三维成像方法和装置，其中，方法包括：对样本进行成像，获得样本在不同方向的光场图像，将光场图像重排得到不同角度下的子孔径图像，通过计算仿真得到光场成像系统的点扩散函数，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。本发明通过采用上述方法，可以快速的对于大体积样本进行原位快速三维成像，通过多角度的像差估计可以获取样本的三维折射率分布，最终重建得到去除相差的三维重建结果。

Description

一种大体积散射样本快速扫描三维成像方法及装置

技术领域

本发明涉及光学成像系统技术领域，特别涉及一种大体积散射样本快速扫描三维成像方法及装置。

背景技术

光场成像是一种快速三维成像方法，通过在光路中加入微透镜阵列记录四维光场信息。由于光场同时记录了空间与角度信息，将单张或者多张光场图进行处理，可得到场景的三维信息。

计算断层成像是一种三维成像方法，其利用探测器对成像对象从多个角度进行成像，获取空间与角度信息，之后通过算法进行反投影重建，获得高质量探测对象三维信息。

在进行多角度采样的过程中，多需要多个镜头，导致系统复杂，或需要将物体进行旋转，导致无法在原位进行实时成像。在宏观成像场景中，镜头等光学元件会带入像差；在显微成像中，大型样本的散射以及折射都会造成不可忽略像差，且样本中不同位置的像差空间不一致。这些像差会导致重建结果不准确，在实际应用中，需要提取像差信息并在重建过程中给予矫正。(另外，由于实际采集的点扩散函数与仿真的不同，一般需要标定系统的点扩散函数，使重建过程更加复杂。)

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为了解决现有技术中的不足，本发明的目的是结合计算断层成像与光场成像方法，对于大体积荧光样本进行原位快速多角度扫描成像，并进行相差矫正与准确的三维重建。

为此，本发明的第一个目的在于提出一种大体积散射样本快速扫描三维成像方法，以结合计算断层成像与光场成像方法，对于大体积荧光样本进行原位快速多角度扫描成像，并进行相差矫正与准确的三维重建。

本发明的第二个目的在于提出一种大体积散射样本快速扫描三维成像装置。

为达上述目的，本发明第一方面实施例提出了一种大体积散射样本快速扫描三维成像方法，包括：

S1，对样本进行成像，获得所述样本在不同方向的光场图像；

S2，将所述光场图像重排得到不同角度下的子孔径图像；

S3，通过计算仿真得到光场成像系统的点扩散函数；

S4，对所述图像对进行配准，计算得到所述图像对的坐标变换关系；

S5，根据所述点扩散函数，并基于所述子孔径图像，使用相差估计同步重建算法进行三维重建。

另外，根据本发明上述实施例的大体积散射样本快速扫描三维成像方法还可以具有以下附加的技术特征：

进一步的，在本发明的一个实施例中，所述对样本进行成像，获得所述样本在不同方向的光场图像，包括：

从不同角度对所述样本进行成像，每次旋转一定角度间隔以多角度成像，并在每次旋转完成后进行成像。

进一步的，在本发明的一个实施例中，所述通过计算仿真得到光场成像系统的点扩散函数，包括：

模拟光路正向传播过程，计算出复数光场，通过相位调制，经过所述光路正向传播过程得到光强分布，以得到各个深度对应的子孔径点扩散函数。

进一步的，在本发明的一个实施例中，基于交替方向乘子法对于相位矩阵与三维重建结果进行交替优化。

进一步的，在本发明的一个实施例中，对于所述相位矩阵与强度矩阵进行全零初始化。

进一步的，在本发明的一个实施例中，对所述强度矩阵和所述相位矩阵进行优化，其中，

选择旋转成像角度，通过阶次累加得到相差矫正矩阵，所述相差矫正矩阵将所述强度矩阵进行正向投影，并结合所述相差矫正矩阵进行矫正得到前向投影结果，计算所述前向投影结果与当前子孔径真值的误差矩阵得到计算结果，基于所述计算结果分别对于所述强度矩阵和所述相位矩阵执行梯度下降算法，进行优化。

进一步的，在本发明的一个实施例中，所述对强度矩阵进行优化，还包括：

结合所述相差矫正矩阵进行背向投影，将所述误差矩阵投影到体积上，以对所述强度矩阵进行优化。

进一步的，在本发明的一个实施例中，顺序或乱序使用所有旋转角度的子孔径对于所述强度矩阵和所述相位矩阵进行优化。

进一步的，在本发明的一个实施例中，重复对所述强度矩阵以及对所述相位矩阵进行优化，直到二者收敛，所述强度矩阵为经过相位矫正的所述三维重建结果。

本发明实施例的大体积散射样本快速扫描三维成像方法，通过对样本进行成像，获得样本在不同方向的光场图像，将光场图像重排得到不同角度下的子孔径图像，通过计算仿真得到光场成像系统的点扩散函数，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。本发明通过采用上述方法，可以快速的对于大体积样本进行原位快速三维成像，通过多角度的像差估计可以获取样本的三维折射率分布，最终重建得到去除相差的三维重建结果。

为达上述目的，本发明第二方面实施例提出了一种大体积散射样本快速扫描三维成像装置，包括：

成像模块，用于对样本进行成像，获得所述样本在不同方向的光场图像；

重排模块，用于将所述光场图像重排得到不同角度下的子孔径图像；

计算模块，用于通过计算仿真得到光场成像系统的点扩散函数；

重建模块，用于根据所述点扩散函数，并基于所述子孔径图像，使用相差估计同步重建算法进行三维重建。

本发明实施例的大体积散射样本快速扫描三维成像装置，通过对样本进行成像，获得样本在不同方向的光场图像，将光场图像重排得到不同角度下的子孔径图像，通过计算仿真得到光场成像系统的点扩散函数，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。本发明通过采用上述方法，可以快速的对于大体积样本进行原位快速三维成像，通过多角度的像差估计可以获取样本的三维折射率分布，最终重建得到去除相差的三维重建结果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的大体积散射样本快速扫描三维成像方法的流程图；

图2为根据本发明一个实施例的旋转光场成像系统示例的结构示意图；

图3为根据本发明一个实施例的光场成像系统光路示意图；

图4为根据本发明一个实施例的单张光场重排示意图；

图5为根据本发明一个实施例的光场图及重排后子孔径图像示意图；

图6为根据本发明一个实施例相差估计同步重建算法流程图；

图7为根据本发明一个实施例的大体积散射样本快速扫描三维成像装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的大体积散射样本快速扫描三维成像方法和装置。

本申请实施例的大体积散射样本快速扫描三维成像方法，提供了一种大体积散射样本快速扫描三维成像方法，通过一个自行设计的旋转镜组，实现单物镜对于固定样本进行快速多角度采集，并且对于物镜采集的每一个角度，使用光场同时记录样本荧光信号的角度与位置信息。之后，对于多个角度光场数据重排得到子孔径图像，并通过凸优化算法ADMM(增广拉格朗日惩罚函数法)，基于多角度的强度与位置信息，对于样本在每个角度的像差进行估计，进而获得样本折射率三维分布。在重建过程中使用折射率分布矩阵对于荧光样本的三维强度分布进行修正，从而获得高精度的三维重建结果。

图1为本发明实施例所提供的一种大体积散射样本快速扫描三维成像方法的流程图。

如图1所示，该大体积散射样本快速扫描三维成像方法包括：

步骤S1，对样本进行成像，获得样本在不同方向的光场图像。

具体的，通过光场旋转成像系统对样本进行成像，获得不同方向的光场图像。图2为根据本发明一个实施例的旋转光场成像系统示例的结构示意图。

1)、首先将样本包埋入表面光滑的透明容器中，固定于旋转镜组前。如图2所示，在成像过程中，旋转台带动镜组运动，使物镜可以从不同角度对于样本进行成像，每次旋转一定角度间隔，以供多角度成像。

2)、采集模块采用光场成像系统，在每次旋转完成后及进行成像。图3中示例点光源为point source，L1和L2为透镜，在L2的后焦面上放置微透镜阵列ML，在微透镜后焦面sensor plane上放置图像传感器进行光场采集。图中f1为L1的焦距，f2为L2的焦距，fml为ML的焦距。所采集信息为4D信息，包含空间信息(2维)和角度信息(2维)。例如，在一显微场景下，光源为某荧光样本，激发光路不做约束。L1和L2分别是物镜和镜筒透镜。

步骤S2，将光场图像重排得到不同角度下的子孔径图像。

可以理解的是，将光场图重排得到子孔径图像，图4为单张光场重排示意图，具体图大小及重排顺序视实际情况而定。图3中为简单起见，每个微透镜对应3*3个传感器像素，图4(a)为光场图示例，图4(b),(c)分别是取光场图中相应位置后进行拼接，可以得到各个子孔径的图像。图中显示了其中两个子孔径图像，该示例一共可得到3*3个子孔径图像。对于该光场图，应插值到原光场图9*9大小。对于扫描光场得到的光场图，同样需要重排，基本流程不变，重排顺序等需要依照实际情况而定。图5为光场图及重排后子孔径图像示例。如图5所示，从光场图中得到的子孔径图像，含有物体不同角度的信息。图5中示例共有13*13个子孔径，对应13*13个子孔径图像。定义子孔径(u,v)对应的子孔径图像为I(u,v)。图4(a)为原始光场图，图4(b)为四个子孔径对应的子孔径图像示例，所对应孔径分别为(2,9),(3,9),(7,7),(1,1)。

步骤S3，通过计算仿真得到光场成像系统的点扩散函数。

可以理解的是，在重建前首先需要获得光场成像系统的点扩散函数(PSF)。具体的，首先通过计算机模拟光路正向传播过程，计算得到仿真子孔径点扩散函数psf。例如图3中光场系统示意图，从点光源point source出发，用计算机模拟光路正向传播过程，计算出微透镜阵列ML前表面的复数光场，通过微透镜阵列的相位调制，在经历一个传播过程，即可得到点光源在传感器表面sensor plane上的光强分布。由此可以计算得到各个深度对应的子孔径点扩散函数。图3中L1和L2为透镜，f1为L1的焦距，f2为L2的焦距，fml为微透镜的焦距。

步骤S4，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。

可以理解的是，对光场图片进行预处理并获得光场成像系统的点扩散函数(PSF)之后，使用相差估计同步重建算法同时从多角度估计相位矩阵和消除相差多角度三维重建。在连续性假设条件之下，该问题是一个凸问题，因此本发明基于交替方向乘子法(ADMM)对于相位矩阵与三维重建结果进行交替优化。图6为根据本发明一个实施例相差估计同步重建算法流程图，如图所示：

c、对于三维重建的范围，对于相位矩阵与强度矩阵进行全零初始化。

d、对于强度矩阵进行优化，首先选择一个旋转成像角度，首先将相位矩阵按照该方向进行阶次累加，获得该方向相差矫正矩阵。选择中该角度的一个子孔径图像，该矩阵将强度矩阵通过光场成像系统的点扩散函数(PSF)进行正向投影，并结合该方向相差矫正矩阵进行矫正，获得前向投影结果。计算前向投影结果与当先子孔径真值的误差矩阵，基于其对于强度矩阵执行梯度下降算法，进行优化。(并结合该方向相差矫正矩阵进行背向投影，将误差矩阵投影到体积上，对于强度矩阵进行优化。)之后顺序或乱序使用所有旋转角度的子孔径对于强度矩阵进行优化。

e、对于相位矩阵进行优化，首先选择一个旋转成像角度，首先将相位矩阵按照该方向进行阶次累加，获得该方向相差矫正矩阵。选择中该角度的一个子孔径图像，该矩阵将强度矩阵通过光场成像系统的点扩散函数(PSF)进行正向投影，并结合该方向相差矫正矩阵进行矫正，获得前向投影结果。计算前向投影结果与当先子孔径真值的误差矩阵，基于其对于相位矩阵执行梯度下降算法，进行优化。之后顺序或乱序使用所有旋转角度的子孔径对于相位矩阵进行优化。

f、重复执行d、e两步，直到二者收敛，则强度矩阵为经过相位矫正的三维重建结果。

根据本发明实施例提供的大体积散射样本快速扫描三维成像方法，通过对样本进行成像，获得样本在不同方向的光场图像，将光场图像重排得到不同角度下的子孔径图像，通过计算仿真得到光场成像系统的点扩散函数，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。本发明通过采用上述方法，可以快速的对于大体积样本进行原位快速三维成像，通过多角度的像差估计可以获取样本的三维折射率分布，最终重建得到去除相差的三维重建结果。

图7为根据本发明一个实施例的大体积散射样本快速扫描三维成像装置的结构示意图。

如图7所示，该大体积散射样本快速扫描三维成像装置10包括：

成像模块100、重排模块200、计算模块300和重建模块400。

成像模块100，用于对样本进行成像，获得样本在不同方向的光场图像；

重排模块200，用于将光场图像重排得到不同角度下的子孔径图像；

计算模块300，用于通过计算仿真得到光场成像系统的点扩散函数；

重建模块400，用于根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。

根据本发明实施例提出的大体积散射样本快速扫描三维成像装置，通过对样本进行成像，获得样本在不同方向的光场图像，将光场图像重排得到不同角度下的子孔径图像，通过计算仿真得到光场成像系统的点扩散函数，根据点扩散函数，并基于子孔径图像，使用相差估计同步重建算法进行三维重建。本发明通过采用上述方法，可以快速的对于大体积样本进行原位快速三维成像，通过多角度的像差估计可以获取样本的三维折射率分布，最终重建得到去除相差的三维重建结果。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种大体积散射样本快速扫描三维成像方法，其特征在于，包括：

对样本进行成像，获得所述样本在不同方向的光场图像；

将所述光场图像重排得到不同角度下的子孔径图像；

通过计算仿真得到光场成像系统的点扩散函数；

根据所述点扩散函数，并基于所述子孔径图像，使用相差估计同步重建算法进行三维重建。

2.根据权利要求1所述的大体积散射样本快速扫描三维成像方法，其特征在于，所述对样本进行成像，获得所述样本在不同方向的光场图像，包括：

从不同角度对所述样本进行成像，每次旋转一定角度间隔以多角度成像，并在每次旋转完成后进行成像。

3.根据权利要求1所述的大体积散射样本快速扫描三维成像方法，其特征在于，所述通过计算仿真得到光场成像系统的点扩散函数，包括：

模拟光路正向传播过程，计算出复数光场，通过相位调制，经过所述光路正向传播过程得到光强分布，以得到各个深度对应的子孔径点扩散函数。

4.根据权利要求1所述的大体积散射样本快速扫描三维成像方法，其特征在于，基于交替方向乘子法对于相位矩阵与三维重建结果进行交替优化。

5.根据权利要求4所述的大体积散射样本快速扫描三维成像方法，其特征在于，对于所述相位矩阵与强度矩阵进行全零初始化。

6.根据权利要求5所述的大体积散射样本快速扫描三维成像方法，其特征在于，对所述强度矩阵和所述相位矩阵进行优化，其中，

选择旋转成像角度，通过阶次累加得到相差矫正矩阵，所述相差矫正矩阵将所述强度矩阵进行正向投影，并结合所述相差矫正矩阵进行矫正得到前向投影结果，计算所述前向投影结果与当前子孔径真值的误差矩阵得到计算结果，基于所述计算结果分别对于所述强度矩阵和所述相位矩阵执行梯度下降算法，进行优化。

7.根据权利要求6所述的大体积散射样本快速扫描三维成像方法，其特征在于，所述对强度矩阵进行优化，还包括：

结合所述相差矫正矩阵进行背向投影，将所述误差矩阵投影到体积上，以对所述强度矩阵进行优化。

8.根据权利要求7所述的大体积散射样本快速扫描三维成像方法，其特征在于，顺序或乱序使用所有旋转角度的子孔径对于所述强度矩阵和所述相位矩阵进行优化。

9.根据权利要求8所述的大体积散射样本快速扫描三维成像方法，其特征在于，重复对所述强度矩阵以及对所述相位矩阵进行优化，直到二者收敛，所述强度矩阵为经过相位矫正的所述三维重建结果。

10.一种大体积散射样本快速扫描三维成像装置，包括：

成像模块，用于对样本进行成像，获得所述样本在不同方向的光场图像；

重排模块，用于将所述光场图像重排得到不同角度下的子孔径图像；

计算模块，用于通过计算仿真得到光场成像系统的点扩散函数；

重建模块，用于根据所述点扩散函数，并基于所述子孔径图像，使用相差估计同步重建算法进行三维重建。

Images