CN113256772A - 一种基于视角转换的双角度光场高分辨重构系统及方法 - Google Patents

一种基于视角转换的双角度光场高分辨重构系统及方法 Download PDF

Info

Publication number
CN113256772A
CN113256772A CN202110503579.3A CN202110503579A CN113256772A CN 113256772 A CN113256772 A CN 113256772A CN 202110503579 A CN202110503579 A CN 202110503579A CN 113256772 A CN113256772 A CN 113256772A
Authority
CN
China
Prior art keywords
light field
angle
resolution
dual
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110503579.3A
Other languages
English (en)
Other versions
CN113256772B (zh
Inventor
费鹏
易成强
朱兰馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110503579.3A priority Critical patent/CN113256772B/zh
Publication of CN113256772A publication Critical patent/CN113256772A/zh
Application granted granted Critical
Publication of CN113256772B publication Critical patent/CN113256772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视角转换的双角度光场高分辨重构系统及方法。系统包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像。方法应用所述基于视角转换的双角度光场高分辨重构系统。本发明基于深度学习的双视角光场高分辨重构方法，可重建出每个视角的物方三维分布，通过图像特征提取和融合形成多通道三位图像，尽可能的保留成像细节，且能够达到近乎各向同性的分辨率。

Description

一种基于视角转换的双角度光场高分辨重构系统及方法
技术领域
本发明属于生物光子显微成像领域，更具体地，涉及一种基于视角转换的双角度光场高分辨重构系统及方法。
背景技术
双向倒置平面照明显微镜通过加入另一探测光路获取三维样本的空间分布，收集正交视角的荧光信号。然后对采集图像进行融合以及迭代反卷积，提高轴向分辨率，从而达到分辨率增强的目的，实现各向同性的三维成像。
然而目前的双角度光场成像，所采用的三维图像重构方法，基于迭代式多视角反卷积，算法时间复杂度较大影响实际成像应用，并且其轴向分辨率仍有待提升空间，无法到达较理想的各向同性分辨率，更重要的是在密集信号的恢复重建上仍有较大限制。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视角转换的双角度光场高分辨重构系统及方法，其目的在于，通过将样本由两路正交的探测光路获取的双视角光场图像，通过势角变换及三位图像特征融合形成的多通道三维图像信息，用于高分辨率重建，获得各向同性的分辨率的同时，保留更多细节，密集信号恢复能力强，由此解决现有的双视角光场重建方法图像细节丢失角度，密集信号的恢复重建上仍有较大限制的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于视角转换的双角度光场高分辨重构系统，其包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；
所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；
所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像。
优选地，所述基于视角转换的双角度光场高分辨重构系统，其包括三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；
所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；
所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；
所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。
优选地，所述基于视角转换的双角度光场高分辨重构系统，其所述三维空间变换网络层通过卷积提取所述第二视角的三维图像的特征，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像。
优选地，所述基于视角转换的双角度光场高分辨重构系统，其所述高分辨率重建网络层采用多尺度残差块的深度卷积神经网络进行高分辨三维图像重建。
按照本发明的另一个方面，提供了所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练；可分别对光场图像重构模块和双视角融合高分辨率模块进行训练或对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练。
优选地，所述基于视角转换的双角度光场高分辨重构系统的训练方法，其所述对光场图像重构模块和双视角融合高分辨率模块进行训练，具体包括以下步骤：
采用光场图像重构模块的损失函数loss1训练所述光场图像重构模块，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；
以及采用双视角融合高分辨率模块的损失函数loss2训练所述双视角融合高分辨率模块，所述损失函数loss2为基于多尺度结构相似度以及pixel-wise的均方差的加权损失函数。
优选地，所述基于视角转换的双角度光场高分辨重构系统的训练方法，其对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，具体为：对所述基于视角转换的双角度光场高分辨重构系统以损失函数loss1和损失函数loss2的加权和作为所述基于视角转换的双角度光场高分辨重构系统的损失函数loss0，训练基于视角转换的双角度光场高分辨重构系统；可具体表示为：
loss0＝t·loss1t(1-t)·loss2
其中t是两个损失函数loss1和损失函数loss2的求和的加权系数。
优选地，所述基于视角转换的双角度光场高分辨重构系统的训练方法，其所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；可具体表示为：
Figure BDA0003057394710000031
其中，N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，Mask是为乘积系数，用于表征图像不同强度梯度区域；GTfeature与Predfeature分别指通过所述深度卷积神经网络提取的深层特征，|GTfeature-Predfeature|2为其二范数，α、β、σ为预设的加权系数；
所述损失函数loss2可具体表示为：
Figure BDA0003057394710000041
其中N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，SSIMPred指的是图像的结构化系数，ξ和γ为预设的加权系数。
优选地，所述基于视角转换的双角度光场高分辨重构系统的训练方法，其训练数据按照如下方法获取：采用各向同性的高分辨率显微三维图像，依据系统参数模拟的点扩散函数卷积生成预设角度的第一与第二视角的模拟光场图像，将所述第一与第二视角的模拟光场图像作为训练数据。
按照本发明的另一个方面，提供了一种基于视角转换的双角度光场高分辨重构方法，其应用本发明提供的基于视角转换的双角度光场高分辨重构系统，将按照正交方向采集的第一与第二视角的光场图像，输入到所述基于视角转换的双角度光场高分辨重构系统的光场图像重构模块输入端，将所述基于视角转换的双角度光场高分辨重构系统的双视角融合高分辨率模块输出的各向同性高分辨率三位图像作为双角度光场高分辨重构结果。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
本发明提供的基于视角转换的双角度光场高分辨重构系统，可重建出每个视角的物方三维分布，通过图像特征提取和融合形成多通道三位图像，尽可能的保留成像细节，且能够达到近乎各向同性的分辨率；并且由于获取到样本另一视角空间分布，在恢复密集信号时能够互补增强重建信号的空间准确度以及强度保真度；此外，基于深度神经网络的高度非线性，通过学习不同视角的空间映射变换，对初步重建结果的校准误差具有容差率，在一定程度上克服了传统多视角反卷积算法中存在的校准误差引起的质量下降的现象；最后，相对于需要多次迭代反卷积的传统方法，该方法通过预训练模型，可快速高效的对采集光场图像进行高分辨率重构。
附图说明
图1是本发明提供的基于视角转换的双角度光场高分辨重构系统结构示意图；
图2是本发明实施例1提供的基于视角转换的双角度光场高分辨重构系统结构的光场图像重构模块结构示意图；
图3是本发明实施例1提供的基于视角转换的双角度光场高分辨重构系统结构的所述双视角融合高分辨率模块结构示意图；
图4是实施例3提供的双视角光场采集系统结构示意图；
图5是实施例3提供的基于视角转换的端到端双角度光场高分辨重构方法效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于视角转换的双角度光场高分辨重构系统，如图1所示，包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；
所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；优选采用针孔视角提取算法图像深度信息，再经多残差跨接式卷积神经网络结构实现重建三维图像。
所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像；包括三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；
所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；其通过卷积提取所述第二视角的三维图像的特征，并且通过局部全连接网络进一步预测出仿射变换矩阵，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像；
如果两个视角并没有很好的对齐，则会导致网络输出结果质量退化，例如模糊，因此视角对齐对于本发明的获得的视角变换三维图像质量至关重要。所述三维空间变换网络层选择将第二视角三维图像的图像特征进行仿射变换，在已知两个视角的旋转关系时需要给网络初始值，即初始仿射变换矩阵，将三维空间变换网络层预测的预测仿射变换矩阵与该初值进行求差，起正则约束的作用从而加强视角对齐的效果。同时三维空间变换网络层是以旁路加载在网络主干上的形式存在，且网络参数小，因此可移植性强。
所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；其基于pixel-wise的强度运算以及深度特征叠加算法；所述双视角融合网络层可采用简单的通过通道扩展融合为多通道三维图像，也可通过进行逐元素的取最大值、均值、或乘积获取一个或多个特征图，然后与输入特征图像进行通道扩展，即在特征图维度上进行通道扩展融合；优选采用旁路提取特征方式对该融合结果进行放缩，用于配合不对称的双角度成像装置，起到突出某一视角信息的作用；
所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。优选所述高分辨率重建网络层采用多尺度残差块的深度卷积神经网络进行高分辨三维图像重建。
由于单角度的光场图像重建结果其分辨率在轴向上分布不均，并且有着随深度增加而下降的趋势，而基于双视角光场的光场重建方法，通过引入正交视角的光场信息，其轴向分辨率得到进一步提升，并且当成像深度增加样本中的散射效应加强时，单视角光场存在信号丢失的情况，而对于双视角的光场重构方法而言，另一视角同时提供信号的强度和空间位置信息，在整个成像范围内能更好的重构出原始信号。然而目前双视角重构的方法，由于为了克服成像各向异性的问题，获得各向同性的成像，采用了取第一与第二视角的叠加部分，进行三维信号恢复。这种方法为了获得分辨率各向同性的图像，图像细节损失较大。本发明双视角融合高分辨率模块，将第一与第二视角的三位图像重构为稠密信号直接进行高分辨率三维图像重建，通过结合第二视角空间分布信息，在一定程度上弥补了单视角重构结果的丢失信号。
所述基于视角转换的双角度光场高分辨重构系统，按照如下方法训练：
训练数据按照如下方法获取：采用各向同性的高分辨率显微三维图像，依据系统参数模拟的点扩散函数卷积生成预设角度的第一与第二视角的模拟光场图像，将所述第一与第二视角的模拟光场图像作为训练数据。
采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练；可分别对光场图像重构模块和双视角融合高分辨率模块进行训练或对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练；
所述对光场图像重构模块和双视角融合高分辨率模块进行训练，具体包括以下步骤：
采用光场图像重构模块的损失函数loss1训练所述光场图像重构模块，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；可具体表示为：
Figure BDA0003057394710000071
其中，N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，Mask是为乘积系数，用于表征图像不同强度梯度区域；GTfeature与Predfeature分别指通过所述深度卷积神经网络提取的深层特征，|GTfeature-Predfeature|2为其二范数，α、β、σ为预设的加权系数。
所述对光场图像重构模块和双视角融合高分辨率模块的训练数据，可采用根据光场实测数据以及高分辨三维数据的空间分布、像质等参数，对数据进行增广以及提升信噪比，并根据光场成像原理，生成光场重构神经网络训练数据对。
以及采用双视角融合高分辨率模块的损失函数loss2训练所述双视角融合高分辨率模块，所述损失函数loss2为基于多尺度结构相似度以及pixel-wise的均方差的加权损失函数；可具体表示为：
Figure BDA0003057394710000081
其中N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，SSIMPred指的是图像的结构化系数，ξ和γ为预设的加权系数。
一般情况下采用逐像素作差来评价角度转换的损失，然而本发明采用的是双角度同时测量得到的图像，在进行角度转换时，由于硬件设备本身的差异，使得第一、第二视角的图像之间存在固有的差异，这种差异同样会体现在像素点上，如果采用像素点差异作为损失函数，将由于无区分硬件带来的图像固有差异和视角转换带来的差异，导致难以收敛。本发明采用多尺度结构相似性来表征视角转换后的图像差异，比较整体上的结构相似性，从而取得更好的训练效果和对准效果。
对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，具体为：对所述基于视角转换的双角度光场高分辨重构系统以损失函数loss1和损失函数loss2的加权和作为所述基于视角转换的双角度光场高分辨重构系统的损失函数loss0，训练基于视角转换的双角度光场高分辨重构系统。所述损失函数loss0，可具体表示为：
loss0＝t·loss1+(1-t)·loss2
其中t是两个损失函数loss1和损失函数loss2的求和的加权系数。
由于实际的机能限制两个模块可以考虑分开训练以显著的节省显存开销，不用考虑只需给自收敛，但是第一段网络丢失信号后一段网络无法完全重建出来。对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，但是需要考虑两个网络之间的训练参数匹配，然而最终获得的基于视角转换的双角度光场高分辨重构系统具有更好的成像质量，图像细节更为丰富。
优选使用Adam优化器，不断降低学习率；所有权重初始化采用He初始化
本发明提供的基于视角转换的双角度光场高分辨重构方法，应用本发明提供的基于视角转换的双角度光场高分辨重构系统，将按照正交方向采集的第一与第二视角的光场图像，输入到所述基于视角转换的双角度光场高分辨重构系统的光场图像重构模块输入端，将所述基于视角转换的双角度光场高分辨重构系统的双视角融合高分辨率模块输出的各向同性高分辨率三位图像作为双角度光场高分辨重构结果。
本发明提供的基于视角转换的端到端双角度光场高分辨重构方法输入两个视角的光场图像，依次光场图像重构模块以及所述双视角融合高分辨率模块得到高分辨率的三维图像，弥补单视角丢失信息，在稠密信号的重建中有明显优势。
以下为实施例：
实施例1
本发明提供了一种基于视角转换的双角度光场高分辨重构系统，包括：光场图像重构模块和双视角融合高分辨率模块；
所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；采用针孔视角提取算法图像深度信息，再经多残差跨接式卷积神经网络结构实现重建三维图像，结构如图2所示。(参考”Light Field Rendering”,Marc Levoy and PatHanrahan Computer Science Department Stanford University,Proc.ACM SIGGRAPH’96.(with corrections,July,1996))
所述双视角融合高分辨率模块，用于第一、第二视角三维图像融合为高分辨率各向同性三维图像，包括三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；结构如图3所示：
所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；其通过卷积提取所述第二视角的三维图像的特征，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像；
所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；其基于pixel-wise的强度运算提取图像特征以及深度特征叠加将第一视角三维图像的图像特征和第二视角的图像特征变换三维图像融合为多通道三维图像；所述双视角融合网络层直接采用简单的通过通道扩展融合为多通道三维图像；本实施例采用旁路提取特征方式对该融合结果进行放缩。
所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。优选所述深度卷积神经网络采用多尺度残差块进行高分辨三维图像重建。
由于单角度的光场图像重建结果其分辨率在轴向上分布不均，并且有着随深度增加而下降的趋势，而基于双视角光场的光场重建方法，通过引入正交视角的光场信息，其轴向分辨率得到进一步提升，并且当成像深度增加样本中的散射效应加强时，单视角光场存在信号丢失的情况，而对于双视角的光场重构方法而言，另一视角同时提供信号的强度和空间位置信息，在整个成像范围内能更好的重构出原始信号。然而目前双视角重构的方法，由于为了克服成像各向异性的问题，获得各向同性的成像，采用了取第一与第二视角的叠加部分，进行三维信号恢复。这种方法为了获得分辨率各向同性的图像，图像细节损失较大。本发明双视角融合高分辨率模块，将第一与第二视角的三位图像重构为稠密信号直接进行高分辨率三维图像重建，通过结合第二视角空间分布信息，在一定程度上弥补了单视角重构结果的丢失信号。
本实施例采用的高分辨率重建网络层，如图3所示，其结构由多个密集残差块组成，每个密集残差块有多个卷积层以及残差连接和短程密集连接组成，并且考虑到训练图像的尺寸，需要考虑其中卷积、池化操作的参数设计；高分辨率重建网络层也可依照实际效果决定，例如可采用参数量更小的Unet结构。
实施例2
实施例1提供的基于视角转换的双角度光场高分辨重构系统，按照如下方法训练：
训练数据按照如下方法获取：采用各向同性的高分辨率显微三维图像，依据系统参数模拟的点扩散函数卷积生成预设角度的第一与第二视角的模拟光场图像，将所述第一与第二视角的模拟光场图像作为训练数据。具体方法如下：
通过双视角光场显微成像系统同时采集光场显微数据；根据双路探测光路参数，建模仿真各视角的点扩散函数，并通过光场显微成像原理结合实际探测装置，计算光场仿真参数；
在对高分辨三维数据预处理后，生成与光场重构神经网络相匹配的训练数据：根据计算得到的光场投影参数，获取高分辨三维数据的模拟光场投影；根据图像空间强度分布的统计特征以及像质，对图像进行剪裁、去噪，并且编写对应的数据处理算法；根据预设定训练样本数量，自适应的对原始高分辨三维数据进行数据增广(横向二维仿射变换，轴向随机移位、多强度投影变换)包括：按照设定训练样本数量，自适应对高分辨三维数据进行二维仿射变换，轴向随机移位，多强度模拟投影；对高分辨三维数据进一步去噪，其方法不限于减去背景噪声，反卷积。
具体而言，实测光场图像含有一定噪声(包括泊松噪声，高斯噪声，热噪声等)和显微成像系统非理想共轴引起的图像形变，通过测量其像素强度涨落可获得主体信号及噪声参数，结合光场成像理论仿真出双视角显微光场成像系统点扩散函数，并将高分辨三维图像基于点扩散函数与信号噪声统计特性，模拟得到光场图像；然后通过数据增广(包括但不限于图像裁剪、二维仿射变换、三维随机移位、不同投影强度等一系列基于光场图像性质及网络模型容量所要求的数据扩充操作)，形成光场重构网络的训练数据。
采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练为对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练；
对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，具体为：对所述基于视角转换的双角度光场高分辨重构系统以损失函数loss1和损失函数loss2的加权和作为所述基于视角转换的双角度光场高分辨重构系统的损失函数loss0，训练基于视角转换的双角度光场高分辨重构系统。所述损失函数loss0，可具体表示为：
loss0＝t·loss1+(1-t)·loss2
其中t两个损失函数loss1和损失函数loss2的求和的加权系数。
其中所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；可具体表示为：
Figure BDA0003057394710000121
其中，N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，Mask是为乘积系数，用于表征图像不同强度梯度区域；GTfeature与Predfeature分别指通过所述深度卷积神经网络提取的深层特征，|GTfeature-Predfeature|2为其二范数，α、β、σ为预设的加权系数。
所述损失函数loss2为基于多尺度结构相似度以及pixel-wise的均方差的加权损失函数；可具体表示为：
Figure BDA0003057394710000131
其中N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，SSIMPred指的是图像的结构化系数，ξ和γ为预设的加权系数。
可根据重建信号的强度范围，形态分布等设定网络的损失函数，主要体现在利用边缘算子获取图像梯度信息，有助于对结构多变信号的恢复重建，并且基于图像前景信号以及背景干扰的强度范围不同，采用二值化掩膜强化突出主体信号在损失函数中的比重；对于双视角融合网络则采取多尺度结构化系数作为优化目标，其有助于缓解网络输出空间分布与高分辨三维数据的差异，使重建结果在像素级接近优化目标的同时，保持局部的结构相似。
需要设定合适的网络超参数使其高效迭代收敛，包括但不限于每次迭代训练样本数量、总训练次数、训练步长、数据归一化方式、卷积核数量、两段网络损失函数比重等。由于不同训练数据的信号分布及图像质量不同，需要对超参数优化调整。
使用Adam优化器，不断降低学习率；网络的所有权重初始化采用He初始化。
实施例3
本发明提供的基于视角转换的端到端双角度光场高分辨重构方法，应用本发明提供的基于视角转换的双角度光场高分辨重构系统，将按照正交方向采集的第一与第二视角的光场图像，输入到所述基于视角转换的双角度光场高分辨重构系统的光场图像重构模块输入端，将所述基于视角转换的双角度光场高分辨重构系统的双视角融合高分辨率模块输出的各向同性高分辨率三位图像作为双角度光场高分辨重构结果。
本发明提供的基于视角转换的端到端双角度光场高分辨重构方法输入两个视角的光场图像，依次光场图像重构模块以及所述双视角融合高分辨率模块得到高分辨率的三维图像，弥补单视角丢失信息，在稠密信号的重建中有明显优势。
两个视角的光场图像获取方式如下：
1、基于双视角光场采集系统，通过两个微透镜阵列同时采集双视角的四维光场信息，获取匹配所述光场重构神经网络实测数据，基于成像体积、分辨率等参数，自动计算光路参数(物镜放大倍率和数值孔径，微透镜阵列节距和焦距等)；
2、根据光场实测数据以及高分辨三维数据的空间分布、像质等参数，对数据进行增广以及提升信噪比。
双视角光场采集系统结构，如图4所示，双视角光场显微成像系统光路：高功率汞灯及滤波片产生特定波长激发样本荧光，通过双视角荧光信号采集单元(由显微物镜、二向色镜及特定焦距透镜组成)收集样本在不同视角下的荧光信号并剥离激发光，然后分别被各视角探测光路中的微透镜阵列调制，通过探测器获取光场的角向信息与位置信息。
如图5所示，该方法重建信号其空间分辨率在横向与轴向上更为均匀，信号强度更为准确；并且由于额外视角的存在，该方法比单角度重建的结果在信号的完整度上更有优势；较于传统的多视角迭代反卷积方式，该方法算法复杂度小，在活细胞成像上具有潜在应用。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视角转换的双角度光场高分辨重构系统，其特征在于，包括：依次连接的光场图像重构模块和双视角融合高分辨率模块；
所述光场图像重构模块，用于将光场图像重构采用深度卷积神经网络重建为三维图像；
所述双视角融合高分辨率模块，用于将第一、第二视角三维图像融合为多通道三维图像信息并经高分辨率重建为高分辨率各向同性三维图像。
2.如权利要求1所述的基于视角转换的双角度光场高分辨重构系统，其特征在于，包括三维空间变换网络层、多融合网络层、以及高分辨率重建网络层；
所述三维空间变换网络层用于将第二视角的三维图像经过三维变换为获得与第一视角同向的视角变换三维图像；
所述多融合网络层用于将第一视角三维图像和第二视角的变换三维图像通过通道拓展融合为多通道三维图像；
所述高分辨率重建网络层，用于将所述多通道三维图像进行高分辨率三维重建，获得各向同性的高分辨率三维图像。
3.如权利要求2所述的基于视角转换的双角度光场高分辨重构系统，其特征在于，所述三维空间变换网络层通过卷积提取所述第二视角的三维图像的特征，进行三维空间仿射变换后通过逐元素相乘，获得所述与第一视角同向的视角变化三维图像。
4.如权利要求2所述的基于视角转换的双角度光场高分辨重构系统，其特征在于，所述高分辨率重建网络层采用多尺度残差块的深度卷积神经网络进行高分辨三维图像重建。
5.如权利要求1至4任意一项所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，采用的以损失函数最小化为目标，对所述基于视角转换的双角度光场高分辨重构系统进行训练；可分别对光场图像重构模块和双视角融合高分辨率模块进行训练或对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练。
6.如权利要求5所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，所述对光场图像重构模块和双视角融合高分辨率模块进行训练，具体包括以下步骤：
采用光场图像重构模块的损失函数loss1训练所述光场图像重构模块，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；
以及采用双视角融合高分辨率模块的损失函数loss2训练所述双视角融合高分辨率模块，所述损失函数loss2为基于多尺度结构相似度以及pixel-wise的均方差的加权损失函数。
7.如权利要求5所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，对所述基于视角转换的双角度光场高分辨重构系统进行端到端的训练，具体为：对所述基于视角转换的双角度光场高分辨重构系统以损失函数loss1和损失函数loss2的加权和作为所述基于视角转换的双角度光场高分辨重构系统的损失函数loss0，训练基于视角转换的双角度光场高分辨重构系统；可具体表示为：
loss0＝t·loss1+(1-t)·loss2
其中t是两个损失函数loss1和损失函数loss2的求和的加权系数。
8.如权利要求6或7所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，所述损失函数loss1为绝对值误差、深层网络特征误差、结构系数误差以及使用多梯度掩膜的加权误差；可具体表示为：
Figure FDA0003057394700000021
其中，N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，Mask是为乘积系数，用于表征图像不同强度梯度区域；GTfeature与Predfeature分别指通过所述深度卷积神经网络提取的深层特征，|GTfeature-Predfeature|2为其二范数，α、β、σ为预设的加权系数；
所述损失函数loss2可具体表示为：
Figure FDA0003057394700000031
其中N为图像的体素数量，GT与Pred分别指样本真实强度空间分布以及网络输出预测值，|GT-Pred|1为其一范数，SSIMPred指的是图像的结构化系数，ξ和γ为预设的加权系数。
9.如权利要求5所述的基于视角转换的双角度光场高分辨重构系统的训练方法，其特征在于，训练数据按照如下方法获取：采用各向同性的高分辨率显微三维图像，依据系统参数模拟的点扩散函数卷积生成预设角度的第一与第二视角的模拟光场图像，将所述第一与第二视角的模拟光场图像作为训练数据。
10.一种基于视角转换的双角度光场高分辨重构方法，其特征在于，应用如权利要求1至4任意一项所述的基于视角转换的双角度光场高分辨重构系统，将按照正交方向采集的第一与第二视角的光场图像，输入到所述基于视角转换的双角度光场高分辨重构系统的光场图像重构模块输入端，将所述基于视角转换的双角度光场高分辨重构系统的双视角融合高分辨率模块输出的各向同性高分辨率三位图像作为双角度光场高分辨重构结果。
CN202110503579.3A 2021-05-10 2021-05-10 一种基于视角转换的双角度光场高分辨重构系统及方法 Active CN113256772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110503579.3A CN113256772B (zh) 2021-05-10 2021-05-10 一种基于视角转换的双角度光场高分辨重构系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110503579.3A CN113256772B (zh) 2021-05-10 2021-05-10 一种基于视角转换的双角度光场高分辨重构系统及方法

Publications (2)

Publication Number Publication Date
CN113256772A true CN113256772A (zh) 2021-08-13
CN113256772B CN113256772B (zh) 2023-08-01

Family

ID=77222404

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110503579.3A Active CN113256772B (zh) 2021-05-10 2021-05-10 一种基于视角转换的双角度光场高分辨重构系统及方法

Country Status (1)

Country Link
CN (1) CN113256772B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917677A (zh) * 2021-09-09 2022-01-11 中国科学院生物物理研究所 一种三维超分辨率光片显微成像方法和显微镜
CN114926339A (zh) * 2022-05-30 2022-08-19 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
CN115311135A (zh) * 2022-06-24 2022-11-08 西南交通大学 一种基于3dcnn的各向同性mri分辨率重建方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
US20200120328A1 (en) * 2018-10-10 2020-04-16 Avalon Holographics Inc. High-Performance Light Field Display Simulator
CN111428586A (zh) * 2020-03-09 2020-07-17 同济大学 基于特征融合与样本增强的三维人体姿态估计方法
CN112750076A (zh) * 2020-04-13 2021-05-04 奕目(上海)科技有限公司 一种基于深度学习的光场多视角图像超分辨率重建方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293825A1 (en) * 2016-04-08 2017-10-12 Wuhan University Method and system for reconstructing super-resolution image
CN108230223A (zh) * 2017-12-28 2018-06-29 清华大学 基于卷积神经网络的光场角度超分辨率方法及装置
CN108280814A (zh) * 2018-02-08 2018-07-13 重庆邮电大学 基于感知损失的光场图像角度超分辨率重建方法
US20200120328A1 (en) * 2018-10-10 2020-04-16 Avalon Holographics Inc. High-Performance Light Field Display Simulator
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN111428586A (zh) * 2020-03-09 2020-07-17 同济大学 基于特征融合与样本增强的三维人体姿态估计方法
CN112750076A (zh) * 2020-04-13 2021-05-04 奕目(上海)科技有限公司 一种基于深度学习的光场多视角图像超分辨率重建方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
LANXIN ZHU: "Deep-learning based dual-view light-field microscopy enabling high-resolution 3D imaging of dense signals演示视频", 《BIO-OPTICS: DESIGN AND APPLICATION 2021》 *
LANXIN ZHU: "Deep-learning based dual-view light-field microscopy enabling high-resolution 3D imaging of dense signals演示视频", 《BIO-OPTICS: DESIGN AND APPLICATION 2021》, 15 April 2021 (2021-04-15) *
NILS WAGNER: "Deep learning-enhanced light-field imaging with continuous validation", 《BIORXIV》 *
NILS WAGNER: "Instantaneous isotropic volumetric imaging of fast biological processes", 《NATURE METHODS》 *
NILS WAGNER: "Instantaneous isotropic volumetric imaging of fast biological processes", 《NATURE METHODS》, 30 June 2019 (2019-06-30), pages 497 - 500 *
ZHAOQIANG WANG: "Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep Learning", 《NATURE METHODS》 *
ZHAOQIANG WANG: "Real-time volumetric reconstruction of biological dynamics with light-field microscopy and deep Learning", 《NATURE METHODS》, 11 February 2021 (2021-02-11), pages 551, XP037446040, DOI: 10.1038/s41592-021-01058-x *
邓武等: "融合全局与局部视角的光场超分辨率重建", 《计算机应用研究》 *
邓武等: "融合全局与局部视角的光场超分辨率重建", 《计算机应用研究》, no. 05, 8 April 2018 (2018-04-08) *
郗子婷: "光场深度信息提取及渲染质量研究", 《中国优秀硕士论文全文库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113917677A (zh) * 2021-09-09 2022-01-11 中国科学院生物物理研究所 一种三维超分辨率光片显微成像方法和显微镜
CN114926339A (zh) * 2022-05-30 2022-08-19 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
CN114926339B (zh) * 2022-05-30 2023-02-03 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
CN115311135A (zh) * 2022-06-24 2022-11-08 西南交通大学 一种基于3dcnn的各向同性mri分辨率重建方法

Also Published As

Publication number Publication date
CN113256772B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
CN110441271B (zh) 基于卷积神经网络的光场高分辨解卷积方法及系统
CN113256772A (zh) 一种基于视角转换的双角度光场高分辨重构系统及方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
Ikoma et al. Depth from defocus with learned optics for imaging and occlusion-aware depth estimation
Li et al. Nonnegative mixed-norm preconditioning for microscopy image segmentation
CN110570363A (zh) 基于带有金字塔池化与多尺度鉴别器的Cycle-GAN的图像去雾方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN109447930B (zh) 小波域光场全聚焦图像生成算法
Mohamad-Djafari Inverse problems in vision and 3D tomography
CN108062744A (zh) 一种基于深度学习的质谱图像超分辨率重建方法
CN109712150A (zh) 基于稀疏表示的光学微波图像融合重建方法和装置
CN110751700A (zh) 用于单像素成像的采样和重建集成深度学习网络及其训练方法
CN116993826A (zh) 一种基于局部空间聚合神经辐射场的场景新视图生成方法
Schambach et al. A multispectral light field dataset and framework for light field deep learning
CN114187263B (zh) 一种融合先验引导和域适应的磨损表面朗伯反射分离方法
CN114998507A (zh) 一种基于自监督学习的光度立体三维重建方法
Huang et al. Light-field reconstruction and depth estimation from focal stack images using convolutional neural networks
CN114373104A (zh) 一种基于动态聚合的三维点云语义分割方法及系统
Cui et al. Remote sensing image recognition based on dual-channel deep learning network
CN112070675A (zh) 一种基于图的正则化光场超分辨率方法和光场显微装置
CN116721017A (zh) 自监督显微图像超分辨处理方法和系统
Gao et al. Variable exponent regularization approach for blur kernel estimation of remote sensing image blind restoration
Shafiei et al. Learning neural transmittance for efficient rendering of reflectance fields
CN115761137A (zh) 一种基于法向量和点云数据相互融合的高精度曲面重建方法和装置
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant