CN113971722B - 一种傅里叶域的光场解卷积方法及装置 - Google Patents

Abstract

本申请提出一种傅里叶域的光场解卷积方法及装置，涉及计算机摄像学技术领域，其中，该方法包括：获取光场显微数据，将光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；将多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。与现有技术相比，本申请通过随机角度组合的方式将获取的光场显微数据进行两两组合以形成多组角度子组，并在傅里叶域中对形成的多组角度子组进行三维重建的方案，在实现了无伪影重建的同时，降低了计算成本，加快了3D成像的重建速度。

Description

一种傅里叶域的光场解卷积方法及装置

技术领域

本申请涉及计算机摄像学技术领域，尤其涉及一种傅里叶域的光场解卷积方法及装置。

背景技术

大量的生物动力学实验只能以3D高速捕获，这对当前的显微技术提出了巨大挑战。光场显微镜（LFM）是具有紧凑系统的一种优雅的计算解决方案，通过捕获快照中的空间和角度信息，LFM可以通过不同的算法恢复高速3D信息，进而通过恢复的高速3D信息来探索各种生物学应用，特别是用于大规模神经活动的3D观察。但是，通过现有技术获取的重建图像伪影严重，计算成本高且恢复速度慢。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种傅里叶域的光场解卷积方法，以实现无伪影重建的同时，降低计算成本，加快3D成像的重建速度。

本申请的第二个目的在于提出一种傅里叶域的光场解卷积装置。

本申请的第三个目的在于提出一种计算机设备。

本申请的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本申请第一方面实施例提出了一种方法，包括：

获取光场显微数据，将所述光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；

将所述多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。

可选的，在本申请实施例中，将所述多组角度子组输入傅里叶域中进行重建迭代处理，具体包括：

在所述傅里叶域下进行重建体前传投影；

在所述傅里叶域下进行实拍图反传投影；

基于所述重建体前传投影和所述实拍图反传投影，生成误差矩阵；

根据所述误差矩阵更新重建体。

可选的，在本申请实施例中，在根据所述误差矩阵更新重建体之后，还包括：

采用3DTV的方式对更新后的重建体进行优化。

可选的，在本申请实施例中，所述的傅里叶域的光场解卷积方法，包括：所述将所述多组角度子组输入傅里叶域中进行重建迭代处理的表达式为：

其中，Xⁱ与Xⁱ⁺¹为第i次和第i+1次的迭代重建体，E为误差矩阵，ω_u为角度或角度组合u的权重，F(·)与F^-1(·)分别表示傅里叶变换与傅里叶逆变换，R(·)表示曾复制函数，N_Z为具体的体层数。

可选的，在本申请实施例中，所述的傅里叶域的光场解卷积方法，包括：所述采用3DTV的方式对更新后的重建体进行优化的表达式为：

其中，α为单次3DTV优化的系数，k为每次3DTV优化的小迭代次数，

和

分别为在第i+1次重建迭代时，第k+1次3DTV小迭代后的迭代体和第k次小迭代后的迭代体，v^k为第k次小迭代的迭代体

的三维总变差，

为三维总变差的L2范数。

为达上述目的，本申请第二方面实施例提出了一种傅里叶域的光场解卷积装置，包括：

获取组合模块，用于获取光场显微数据，将所述光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；

重建迭代处理模块，用于将所述多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。

可选的，在本申请实施例中，所述重建迭代处理模块，具体包括：

第一投影单元，用于在所述傅里叶域下进行重建体前传投影；

第二投影单元，用于在所述傅里叶域下进行实拍图反传投影；

生成单元，用于基于所述重建体前传投影和所述实拍图反传投影，生成误差矩阵；

更新单元，用于根据所述误差矩阵更新重建体。

可选的，在本申请实施例中，所述重建迭代处理模块，还包括：

优化单元，用于采用3DTV的方式对更新后的重建体进行优化。

为达上述目的，本申请第三方面实施例提出了一种计算机设备，包括：包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如本申请第一方面实施例所述的方法。

为了实现上述目的，本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如本申请第一方面实施例所述的方法。

综上所述，本申请实施例提供的傅里叶域的光场解卷积方法、光场解卷积装置、计算机设备和非临时性计算机可读存储介质，该方案将获取的光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；之后，将多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。与现有技术相比，本申请通过随机角度组合的方式将获取的光场显微数据进行两两组合以形成多组角度子组，并在傅里叶域中对形成的多组角度子组进行三维重建的方案，在实现了无伪影重建的同时，降低了计算成本，加快了3D成像的重建速度。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例所提供的一种傅里叶域的光场解卷积方法的流程图；

图2为本申请实施例与现有技术的速度提升对比图；

图3为本申请实施例中的重建算法流程图；

图4为本申请实施例与现有技术的噪声鲁棒性提升对比图；以及

图5为本申请实施例所提供的一种傅里叶域的光场解卷积装置的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

在本申请实施例呈现之前，考虑了通过硬件修改进行大量改进来解决现有技术的问题，或者从算法角度考虑。

考虑到最初提出光场时，光场成像使用传统的几何光学模型进行建模，通过用傅里叶切片理论进行解释，可以将几何光场处理的效率提高几个数量级。但是，几何模型无法在显微镜下准确描述光场，而当样本尺寸接近衍射极限时，会导致LFM的分辨率严重下降。2019年，有学者提出了一种在相空间域中具有平滑先验的相空间反卷积算法，以实现无伪像的高分辨率3D重构，将反卷积过程加速了10倍，但是其反卷积方法仍在空间域中建模，该算法的噪声鲁棒性仍旧有提高空间。

作为一种宽视场成像方法，LFM通常具有非常强的离焦平面背景荧光，这会给相空间测量带来很多散粒噪声。另外，较高的成像帧速率会导致更短的曝光时间，这将进一步降低信噪比（SNR）。与明场成像不同，由于光子总量有限，SNR是荧光显微镜成像速度的固有限制。为了实现高速3D成像，严重的散粒噪声对重建算法提出了另一个要求，即噪声鲁棒性。因此，有必要在光场显微镜（LFM）中开发一种算法，以实现无伪影重建，低计算成本和强大的噪声鲁棒性。

下面参考附图描述本申请实施例的傅里叶域的光场解卷积方法和装置。

图1为本申请实施例所提供的第一种傅里叶域的光场解卷积方法的流程图。

如图1所示，本申请实施例的傅里叶域的光场解卷积方法，包括以下步骤：

步骤101，获取光场显微数据，将光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组。

为了同时提升光场重建算法的速度与质量（抗噪能力），本申请实施例采用随机子组角度来代替原有的单一角度。与之前单一角度重建的算法相比，本申请实施例先通过将光场显微数据通过子角度随机两两组合的方式，形成多组角度组合。

步骤102，将多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。

进一步地，在本申请实施例的一种可能的实现方式中，将多组角度子组输入傅里叶域中进行重建迭代处理，具体包括：

在傅里叶域下进行重建体前传投影；

在傅里叶域下进行实拍图反传投影；

基于重建体前传投影和实拍图反传投影，生成误差矩阵；

根据误差矩阵更新重建体。

本申请实施例采用傅里叶域的方式代替之前的卷积模型，用角度组合的方式代替原有的重建模块。为了便于本领域技术人员更好的理解本申请实施例，现将本申请实施例中重体算法与现有技术中的重体算法对比，详情如下：

在本申请实施例的一种可能的实现方式中，将多组角度子组输入傅里叶域中进行重建迭代处理的表达式为：

其中，Xⁱ与Xⁱ⁺¹为第i次和第i+1次的迭代重建体，E为误差矩阵，ω_u为角度或角度组合u的权重，F(·)与F^-1(·)分别表示傅里叶变换与傅里叶逆变换，R(·)表示曾复制函数，N_Z为具体的体层数。

在之前的卷积模型中，重建过程中采用的解卷积过程通常有重建体前传模块（体投影）与实拍图反传模块（体生成）组成，两者共同发挥作用，进而生成误差矩阵，从而在迭代的过程中改善重建体，其中，重建算法的表达式为：

其中，Xⁱ与Xⁱ⁺¹为第i次和第i+1次的迭代重建体，E为误差矩阵，ω_u为角度或角度组合u的权重，BP为反传模块，FP为前传模块，Y_u为角度（或角度组合）u下的实拍图，H_u为角度（或角度组合）u下的点扩散函数（只随系统变化不随样本变化）。

在这其中，FP函数与BP函数大多采用的是空域卷积的方式来进行前传和反传，这会大大增加系统的计算量，从而大幅降低重建算法的计算时间。

而，为了降低时间消耗，此处，本申请实施例引入了傅里叶域来进行相同的操作，由于在空域的卷积等价于在傅里叶域的乘积，这将会大大减少算法的时间。具体来说，对于直接反传，其算法等效如下：

其中，F(·)与F^-1(·)分别表示傅里叶变换与傅里叶逆变换，R(·)表示曾复制函数，N_Z为具体的体层数。与此同时，先前传后反传的等效算法如下：

由此可知，本申请实施例中的重建方式可大大减少原本卷积过程中的计算量，可通过下式计算量减少率：

其中，T_conv为原卷积式重建方法的耗时，T_fourier为采用傅里叶域的重建方法的耗时，N_x(psf)为PSF（点扩散函数）在xy方向上的大小，N_x为样本在xy方向上的大小。由此可以看出，当样本的深度特别大（N_z较大）或者PSF的大小特别大时，此方法能大幅提升计算效率，降低计算时间，如图2所示，图中展示了采用新的傅里叶方法进行重建时的耗时与现有技术中重建方法耗时的比较。

进一步地，在本申请实施例的一种可能的实现方式中，如图3所示，在根据误差矩阵更新重建体之后，还包括：

采用3DTV的方式对更新后的重建体进行优化。

具体而言，本申请实施例通过在原重建方法的每一次迭代的末尾加入3DTV优化，该优化充分利用绝大部分样本的稀疏性与平滑性先验，适当处理重建体，有助于抵抗低光照强度和低曝光时间下带来的泊松噪声的影响，其中采用3DTV的方式对更新后的重建体进行优化的表达式为：

其中，α为单次3DTV优化的系数，k为每次3DTV优化的小迭代次数，

和

分别为在第i+1次重建迭代时，第k+1次3DTV小迭代后的迭代体和第k次小迭代后的迭代体，v^k为第k次小迭代的迭代体

的三维总变差（Total variation），

为三维总变差的L2范数，L2范数为常见数学表达，L2范数定义为所有元素的平方和的开平方，其中，本申请实施例在大迭代（用i计数）下的小迭代（用k计数），即在大迭代中采用i计数，小迭代中采用k计数。

由此，本申请实施例便可以进一步消除噪声对于重建结果的影响，换言之，采用3DTV优化方式可进一步提升重建算法的抗噪声能力，如图4所示，图中展示了本申请实施例与现有技术中噪声鲁棒性提升对比图。

综上，本申请实施例的傅里叶域的光场解卷积方法，通过引入三维傅里叶变换，将现有的解卷积流程推倒至傅里叶域再实现，进而大幅提升最大似然估计下解卷积算法的速度；另一方面，通过引入随机角度子组序解卷积与3DTV先验性优化，提升光场重建算法在噪声方面的鲁棒性，增强光场的总体光子利用率，提升算法效果。换言之，上述方案能够加速现有的光场重建算法，同时提高现有算法对于原始数据噪声的鲁棒性，即原始数据噪声提高时，本算法能更好的重建出高质量的结果。另外，上述算法的重建流程可在带有显卡的普通PC机器上实现。

为了实现上述实施例，本申请实施例还提出一种傅里叶域的光场解卷积装置。

图5为本申请实施例所提供的一种傅里叶域的光场解卷积装置的结构示意图。

如图5所示，本申请实施例提出的傅里叶域的光场解卷积装置，包括：

获取组合模块10，用于获取光场显微数据，将光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；

重建迭代处理模块20，用于将多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像。

进一步地，在本申请实施例的一种可能的实现方式中，重建迭代处理模块，具体包括：

第一投影单元，用于在傅里叶域下进行重建体前传投影；

第二投影单元，用于在傅里叶域下进行实拍图反传投影；

生成单元，用于基于重建体前传投影和实拍图反传投影，生成误差矩阵；

更新单元，用于根据误差矩阵更新重建体。

进一步地，在本申请实施例的一种可能的实现方式中，重建迭代处理模块，还包括：优化单元，用于采用3DTV的方式对更新后的重建体进行优化。

为了实现上述实施例，本申请还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如上述实施例所描述的方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如如上述实施例所描述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种傅里叶域的光场解卷积方法，其特征在于，包括：

获取光场显微数据，将所述光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；

将所述多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像，其中，所述将所述多组角度子组输入傅里叶域中进行重建迭代处理的表达式为：

其中，Xⁱ与Xⁱ⁺¹为第i次和第i+1次的迭代重建体，E为误差矩阵，ω_u为角度或角度组合u的权重，F(·)与F^-1(·)分别表示傅里叶变换与傅里叶逆变换，R(·)表示曾复制函数，N_Z为具体的体层数。

2.如权利要求1所述的傅里叶域的光场解卷积方法，其特征在于，将所述多组角度子组输入傅里叶域中进行重建迭代处理，具体包括：

在所述傅里叶域下进行重建体前传投影；

在所述傅里叶域下进行实拍图反传投影；

基于所述重建体前传投影和所述实拍图反传投影，生成误差矩阵；

根据所述误差矩阵更新重建体。

3.如权利要求2所述的傅里叶域的光场解卷积方法，其特征在于，在根据所述误差矩阵更新重建体之后，还包括：

采用3DTV的方式对更新后的重建体进行优化。

4.如权利要求3所述的傅里叶域的光场解卷积方法，其特征在于，包括：所述采用3DTV的方式对更新后的重建体进行优化的表达式为：

其中，α为单次3DTV优化的系数，k为每次3DTV优化的小迭代次数，

和

分别为在第i+1次重建迭代时，第k+1次3DTV小迭代后的迭代体和第k次小迭代后的迭代体，v^k为第k次小迭代的迭代体

的三维总变差，

为三维总变差的L2范数。

5.一种傅里叶域的光场解卷积装置，其特征在于，包括：

获取组合模块，用于获取光场显微数据，将所述光场显微数据通过随机角度组合的方式进行两两组合，形成多组角度子组；

重建迭代处理模块，用于将所述多组角度子组输入傅里叶域中进行重建迭代处理，得到重建图像，其中，所述将所述多组角度子组输入傅里叶域中进行重建迭代处理的表达式为：

其中，Xⁱ与Xⁱ⁺¹为第i次和第i+1次的迭代重建体，E为误差矩阵，ω_u为角度或角度组合u的权重，F(·)与F^-1(·)分别表示傅里叶变换与傅里叶逆变换，R(·)表示曾复制函数，N_Z为具体的体层数。

6.如权利要求5所述的傅里叶域的光场解卷积装置，其特征在于，所述重建迭代处理模块，具体包括：

第一投影单元，用于在所述傅里叶域下进行重建体前传投影；

第二投影单元，用于在所述傅里叶域下进行实拍图反传投影；

生成单元，用于基于所述重建体前传投影和所述实拍图反传投影，生成误差矩阵；

更新单元，用于根据所述误差矩阵更新重建体。

7.如权利要求6所述的傅里叶域的光场解卷积装置，其特征在于，所述重建迭代处理模块，还包括：

优化单元，用于采用3DTV的方式对更新后的重建体进行优化。

8.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-4中任一所述的方法。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。

Images