CN113870433A - 一种光场超分辨三维重建方法及系统 - Google Patents

一种光场超分辨三维重建方法及系统 Download PDF

Info

Publication number
CN113870433A
CN113870433A CN202111054312.7A CN202111054312A CN113870433A CN 113870433 A CN113870433 A CN 113870433A CN 202111054312 A CN202111054312 A CN 202111054312A CN 113870433 A CN113870433 A CN 113870433A
Authority
CN
China
Prior art keywords
resolution
light field
super
projection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111054312.7A
Other languages
English (en)
Inventor
费鹏
朱兰馨
易成强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111054312.7A priority Critical patent/CN113870433A/zh
Publication of CN113870433A publication Critical patent/CN113870433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种光场超分辨三维重建方法及系统。方法包括以下步骤：(1)以静态样本为目标，获取其高分辨率的事实三维数据；(2)进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；(3)作为训练数据训练超分辨率网络模型直至模型收敛获得光场超分辨率重建模型；(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入光场超分辨率重建模型，获得目标分辨率的光场图像；(5)进行三维重建，获得静态或动态样本的高分辨率三维图像。本发明能以超高速度获取超衍射极限的光场多视角图像，最终实现对动态样本进行显微成像，例如亚微米级生物动态过程。

Description

一种光场超分辨三维重建方法及系统
技术领域
本发明属于生物光子显微成像领域，更具体地，涉及一种光场超分辨三维重建方法及系统。
背景技术
光场显微成像技术具有极高的体成像速率，相较于需要通过扫描采集多张二维图像来获取三维信息的常规高分辨三维成像技术，其仅需采集单张图像，便能获取图像的三维信息，这极大地提升了三维成像速度，为高速的活体动态成像提供了可能。光场显微技术通过在探测光路中加入微透镜阵列，使其获取的二维图像能同时包含横向与角向信息。但这种方式由于需要通过单张图像同时获取横向与角向信息，横向信息需要欠采样，相较于常规三维成像技术，空间分辨率较低。
为了弥补光场显微成像的空间分辨率较低的问题，目前采用基于深度学习的超分辨率算法，进行光场超分辨率三维成像。然而目前基于深度学习的二维光场图像超分辨算法是通过高规格的光场相机采集到较高分辨率的光场图像作为目标图像，然后通过降质模拟为低分辨光场图像，然后将两者进行配对训练，从而提高光场图像的空间分辨率。上述方式虽致力于提高空间分辨率，但受限于训练样本的分辨率限制，其仍无法突破光场成像原理的衍射极限，相对于其他的三维成像方法，分辨能力依然较低。这导致目前的光场成像技术难以观测到很多亚微米级生物动态过程。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种光场超分辨三维重建方法及系统，其目的在于通过模拟产生实际拍摄无法获取到的超衍射极限的光场图像，与实际拍摄能获取到的光场图像进行配对，在保持光场快速采集三维信息优势的同时，使空间分辨率突破光场衍射极限，由此解决现有的高分辨率三维成像技术不能对动态样本进行显微成像的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种光场超分辨三维重建方法，其特征在于，包括以下步骤：
(1)以静态样本为目标，获取其高分辨率的事实三维数据；
(2)对于步骤(1)获得的高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；
(3)以步骤(2)获取的与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据，训练超分辨率网络模型，直至模型收敛获得光场超分辨率重建模型；
(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入步骤(3)获得的光场超分辨率重建模型，获得目标分辨率的光场图像；
(5)对步骤(4)获得的目标分辨率光场图像进行三维重建，获得所述静态或动态样本的高分辨率三维图像。
优选地，所述光场超分辨三维重建方法，其所述与光场成像系统硬件相匹配的低分辨率光场投影，按照以下方法获得：
将所述高分辨率事实三维数据按照理论波动光学模型进行光场投影，获得所述与光场成像系统硬件相匹配的低分辨率光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像。
优选地，所述光场超分辨三维重建方法，其所述目标分辨率的高分辨率光场投影，按照以下方法获得：
将所述高分辨率事实三维数据进行N倍插值后，获得插值后的高分辨率三维数据，将所述插值后的高分辨率三维数据按照理论波动光学模型进行光场投影欠采样N倍，获得所述目标分辨率的高分辨率光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像；或者：
将所述高分辨率事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述与光场成像系统硬件相匹配的低分辨率光场投影的视角图像分别进行配准，获得三维数据的角度信息；构建所述目标分辨率的高分辨率光场投影。
优选地，所述光场超分辨三维重建方法，其所述超分辨率网络模型，用于对所述低分辨率光场投影和高分辨率光场投影的各个视角的图像进行超分辨率重建；优选包括光场图像信息提取模块、和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
优选地，所述光场超分辨三维重建方法，其所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均。
按照本发明的另一个方面，提供了一种光场超分辨三维重建系统，其包括超分辨率网络模型；超分辨率网络模型的训练数据获取：以静态样本为目标，获取其高分辨率的事实三维数据；对于所述高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；以所述与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据。
优选地，所述光场超分辨三维重建系统，其所述超分辨率网络模型的损失函数选择：所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均。
优选地，所述光场超分辨三维重建系统，其所述超分辨率网络模型，包括光场图像信息提取模块、和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
按照本发明的另一个方面，提供了一种无损模拟光场投影获取方法，其包括以下步骤：
将事实三维数据进行N倍插值后，获得插值后的三维数据，将所述插值后的三维数据按照理论波动光学模型进行光场投影欠采样N倍，获得所述无损模拟光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像。
按照本发明的另一个方面，提供了一种无损模拟光场投影获取方法，其包括以下步骤：
事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述事实三维数据进行光场投影获得的视角图像分别进行配准，获得三维数据的角度信息，构建所述无损模拟光场投影。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明通过模拟产生超分辨光场图像，与实拍欠采样光场图像进行配对，用深度学习网络进行训练后，实现光场图像的超分辨，从而能以超高速度获取超衍射极限的光场多视角图像，最终实现对动态样本进行显微成像，例如亚微米级生物动态过程。
优选方案，提供了两种产生无损的模拟超分辨光场图像的方法：其一，对静态拍摄的高分辨率事实三维数据进行插值模拟膨胀后的样本，然后基于理论波动光学模型进行光场投影模拟光场降采样过程，与膨胀前的模拟光场低分辨图像进行配对，将配对数据的每个视角提取出来，此时得到的高分辨视角图像抵消了光场图像的降采样，相比于事实三维数据无分辨率退化，而实拍低分辨视角图像降采样N倍，最后经由卷积网络训练后，对实拍的高速运动活体样本的光场图像进行超分辨。其二，根据光场的不同视角，对静态拍摄的高分辨的事实三维数据进行不同角度的三维旋转并投影，模拟出每个视角的无降采样高分辨光场图，然后与低分辨光场相应视角进行配对，最后经由卷积网络学习，最终实现实拍高速运动活体样本的光场图像超分辨。以无损的超分辨率光场图像进行光场超分辨率重建模型训练，训练易收敛，获得训练效果良好
附图说明
图1为本发明实施例提供的光场超分辨三位重建方法的流程图；
图2为本发明实施例提供的产生网络训练数据的方法流程图；
图3为本发明实施例的光场三维超分辨重建算法流程图
图4为本发明实施例三维重建效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的光场超分辨三维重建方法，包括以下步骤：
(1)以静态样本为目标，获取其高分辨率的事实三维数据；若以动态样本作为目标，通常的高分辨率三维图像获取方法，是依靠扫描多张二维图像来获取三维信息的，例如光片层析荧光成像、共聚焦扫描荧光成像。由于通过扫描获取三维图像，故最终获取的三维图像的分辨率，只受限于成像系统，不会引入额外的降采样。然而多张二维图像不可能同时获取，因此这种高分辨率的事实三维数据，只能从静态样本获取，或者忽略一定延时带来的失真，从运动较慢的样本获取。如果对动态样本进行扫描成像，会因运动模糊，严重影响之后的超分辨率成像模型的训练过程及训练效果，导致模型无法收敛。
(2)对于步骤(1)获得的高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；
所述与光场成像系统硬件相匹配的低分辨率光场投影，优选按照以下方法获得：
将所述高分辨率事实三维数据按照理论波动光学模型进行光场投影，获得所述与光场成像系统硬件相匹配的低分辨率光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像，由光场光路中的微透镜参数与采集相机像素尺寸决定。
所述目标分辨率的高分辨率光场投影，优选按照以下方法获得：
将所述高分辨率事实三维数据进行N倍插值后，获得插值后的高分辨率三维数据，将所述插值后的高分辨率三维数据按照理论波动光学模型进行光场投影欠采样N倍，此时刚好被插值N倍抵消了欠采样过程，获得所述目标分辨率的高分辨率光场投影。光场欠采样原理是隔像素依次取点，而图像在局部区域的强度变化很小，因此插值后再降采样与直接采样原始值几乎无损。
或者：
将所述高分辨率事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述与光场成像系统硬件相匹配的低分辨率光场投影的视角图像分别进行配准，获得三维数据的角度信息，构建所述目标分辨率的高分辨率光场投影。
该步骤对于高分辨率事实三维数据进行模拟采样，使其横向分辨率超越普通光场图像的衍射极限，在保持光场角向分辨的同时，达到与原始高分辨三维数据同样的横向分辨率。实验显示，如果光场数据分辨率相比目标分辨率太低，则即使使用超分辨率三维的重建网络，其重建效果也不理想，采用本发明获取的与光场成像系统硬件相匹配的低分辨率光场投影，进行后续进一步对光场图像进行超分辨的三维重建训练，理论上可获得最佳的超分辨率三维重建效果。
(3)以步骤(2)获取的与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据，训练超分辨率网络模型，直至模型收敛获得光场超分辨率重建模型；
所述超分辨率网络模型，用于对所述低分辨率光场投影和高分辨率光场投影的各个视角的图像进行超分辨率重建；优选包括光场图像信息提取模块、和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均，写作：
Figure BDA0003253977280000071
Figure BDA0003253977280000072
Figure BDA0003253977280000073
其中，N为输入网络的训练样本数量，x,y,u,v分别指的视角图像的空间坐标以及该视角图像所处的三维角度坐标，
Figure BDA0003253977280000074
为网络预测结果，I为高分辨目标图像，LossEPI为视角约束损失函数，|| ||1为取L1范数，即计算绝对值，
Figure BDA0003253977280000081
分别为在x,y,u,v维度上进行求微分，
Figure BDA0003253977280000082
为网络预测极线图，E目标图像极线图。
训练时按照训练周期数逐步降低学习率，防止网络损失函数震荡难以收敛。
(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入步骤(3)获得的光场超分辨率重建模型，获得目标分辨率的光场图像；
(5)对步骤(4)获得的目标分辨率光场图像进行三维重建，获得所述静态或动态样本的高分辨率三维图像。
本发明提供的光场超分辨三维重建系统，包括超分辨率网络模型；所述超分辨率网络模型，优选包括光场图像信息提取模块和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
按照如下方法训练：
训练数据获取：以静态样本为目标，获取其高分辨率的事实三维数据；对于所述高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；以所述与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据；
损失函数选择：所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均，写作：
Figure BDA0003253977280000091
Figure BDA0003253977280000092
Figure BDA0003253977280000093
其中，N为输入网络的训练样本数量，x,y,u,v分别指的视角图像的空间坐标以及该视角图像所处的三维角度坐标，
Figure BDA0003253977280000094
为网络预测结果，I为高分辨目标图像，LossEPI为视角约束损失函数，|| ||1为取L1范数，即计算绝对值，
Figure BDA0003253977280000095
分别为在x,y,u,v维度上进行求微分，
Figure BDA0003253977280000096
为网络预测极线图，E目标图像极线图。
训练收敛：训练时按照训练周期数逐步降低学习率，防止网络损失函数震荡难以收敛。
本发明提供的无损模拟光场投影获取方法，包括以下步骤：
将事实三维数据进行N倍插值后，获得插值后的三维数据，将所述插值后的三维数据按照理论波动光学模型进行光场投影欠采样N倍，获得所述无损模拟光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像，由光场光路中的微透镜参数与采集相机像素尺寸决定。
本发明提供的无损模拟光场投影获取方法，包括以下步骤：
将事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述事实三维数据进行光场投影获得的视角图像分别进行配准，获得三维数据的角度信息，构建所述无损模拟光场投影。
以下为实施例：
实施例1
本实施例供了一种光场超分辨三维重建方法，如图1所示，将模拟的高分辨光场图像与相应的低分辨光场图像进行配对，提取出配对的高分辨与低分辨多个视角图像，输入卷积神经网络进行训练，通过网络前向推理实现光场图像的超分辨，并结合光场三维重建网络得到超分辨三维图像，可对动态样本进行高分辨率的三维成像。包括以下步骤：
(1)以静态样本为目标，获取其高分辨率的事实三维数据；
(2)对于步骤(1)获得的高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；
具体地采用以下方法来产生训练数据：
如图2所示，与光场成像系统硬件相匹配的低分辨率光场投影获取：
基于理论波动光学模型，对静态拍摄的高分辨事实三维数据进行光场投影，产生模拟的低分辨光场图像，此时的低分辨率光场图像尺寸(像素数)与高分辨率的事实三维数据相同，但同时包含有三维数据的二维空间投影信息与三维角度信息。然后基于光场成像系统光学原理，对光场图像进行视角提取，具体方式如图1中所示，此时得到了N*N个视角的低分辨视角图像，每个视角相对于原始高分辨三维数据降采样了N倍，将此数据作为网络的低分辨输入数据。具体计算方法如下：
首先，根据实际光场光路计算光场投影所需的点扩散函数，基于理论波动光学模型(Michael Broxton,Logan Grosenick,Samuel Yang,Noy Cohen,Aaron Andalman,KarlDeisseroth,and Marc Levoy,"Wave optics theory and 3-D deconvolution for thelight field microscope,"Opt.Express 21,25418-25439(2013))将静态拍摄的高分辨事实三维数据进行光场投影，产生模拟的低分辨光场图像，此时的低分辨率光场图像尺寸(像素数)与高分辨率的事实三维数据相同，但同时包含有三维数据的二维投影信息与三维角度信息。
然后，基于光场成像原理，对光场图像进行视角提取，具体方式如图1中所示，每间隔N个像素为同一视角图像，N由光场光路中的微透镜参数与采集相机像素尺寸决定，此时得到了N*N个视角的低分辨视角图像，每个视角相对于原始高分辨三维数据降采样了N倍，将此数据作为网络的低分辨输入数据。
匹配目标分辨率的高分辨率的光场投影获取：
为了抵消光场的降采样过程，对高分辨率的事实三维数据插值N倍，模拟膨胀后的样本，然后用同样的点扩散函数进行光场投影模拟光场图像，再进行视角提取。此时得到的视角图像刚好抵消了光场图像的N倍欠采样，获得了事实无法采集到的无欠采样超衍射极限的模拟光场图像。由此可得一组低分辨光场视角图像与对应的无损高分辨光场视角图像作为目标训练集。具体计算如下：
首选，对高分辨率的事实三维数据采用双三次插值算法插值N倍，模拟膨胀N倍后的样本，然后用与低分辨光场数据同样的点扩散函数进行光场投影模拟光场图像，再进行同样方式的视角提取。此时得到的视角图像视角数维持N*N不变，每个视角的视差不变，但每个视角的采样率相对于低分辨率光场图像提高N倍，与原始高分辨三维图像一致。
(3)以步骤(2)获取的与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据，训练超分辨率网络模型，直至模型收敛获得光场超分辨率重建模型；
(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入步骤(3)获得的光场超分辨率重建模型，获得目标分辨率的光场图像；
(5)对步骤(4)获得的目标分辨率光场图像进行三维重建，获得所述静态或动态样本的高分辨率三维图像。具体方法如下：
得到光场超分辨图像后，对其进行排列得到多视角图像输入三维图像重建模块，如图3所示。首先对该图像进行光场图像提取，依据光场图像参数，设定不同的卷积操作：扩张卷积以及常规卷积，前者用于扩大卷积感受野提取不同视角之间的关联信息(Multi-Scale Context Aggregation by Dilated Convolutions)，而后者采用非扩张卷积用于提取某一视角内部的空间信息。多视角图像经过二者的连续作用后进入图像重排与上采样模块，从多视角图像提取各个单视角图像并层叠形成三维图像堆栈，并且通过亚像素卷积递进式上采样，使得单视角图像横向尺寸符合三维图像横向尺寸，之后通过基于残差连接的U-Net卷积神经网络将该堆栈转换为三维空间分布的图像堆栈。(Unet结构参考：MultiResUNet:Rethinking the U-Net architecture for multimodal biomedicalimage segmentation)
实施例2
本实施例供了一种光场超分辨三维重建方法，如图1所示，将模拟的高分辨光场图像与相应的低分辨光场图像进行配对，提取出配对的高分辨与低分辨多个视角图像，输入卷积神经网络进行训练，通过网络前向推理实现光场图像的超分辨，并结合光场三维重建网络得到超分辨三维图像。包括以下步骤：
(1)以静态样本为目标，获取其高分辨率的事实三维数据；
(2)对于步骤(1)获得的高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；
具体地采用以下方法来产生训练数据：
如图2所示，匹配光场成像硬件低分辨率的光场投影获取：
基于理论波动光学模型，对静态拍摄的高分辨事实三维数据进行光场投影，产生模拟的低分辨光场图像，此时的低分辨率光场图像尺寸(像素数)与高分辨率的事实三维数据相同，但同时包含有三维数据的二维投影信息与三维角度信息。然后基于光场图像光学原理，对光场图像进行视角提取，具体方式如图1中所示，此时得到了N*N个视角的低分辨视角图像，每个视角相对于原始高分辨三维数据降采样了N倍，将此数据作为网络的低分辨输入数据。具体计算方法如下：
首先，根据实际光场光路计算光场投影所需的点扩散函数(Michael Broxton,Logan Grosenick,Samuel Yang,Noy Cohen,Aaron Andalman,Karl Deisseroth,and MarcLevoy,"Wave optics theory and 3-D deconvolution for the light fieldmicroscope,"Opt.Express 21,25418-25439(2013))，基于理论波动光学模型将静态拍摄的高分辨事实三维数据进行光场投影，产生模拟的低分辨光场图像，此时的低分辨率光场图像尺寸(像素数)与高分辨率的事实三维数据相同，但同时包含有三维数据的二维投影信息与三维角度信息。
然后，基于光场图像光学原理，对光场图像进行视角提取，具体方式如图1中所示，每间隔N个像素为同一视角图像，N由光场光路中的微透镜参数与采集相机像素尺寸决定，此时得到了N*N个视角的低分辨视角图像，每个视角相对于原始高分辨三维数据降采样了N倍，将此数据作为网络的低分辨输入数据。
匹配目标分辨率的高分辨绿的光场投影获取：
将高分辨的事实三维数据进行三维旋转投影，模拟光场不同视角，产生与低分辨视角图像一一对应、视差一致的高分辨视角图像，这样产生的高分辨视角图像在维持了原始三维数据的高分辨率的同时，获取了三维数据的角度信息。由此可得一组低分辨光场视角图像与对应的无损高分辨光场视角图像作为目标训练集。具体如下：
将高分辨的事实三维数据进行三维旋转投影，根据光场理论计算得到不同视角的旋转角度，模拟光场不同视角视差，然后将此角度下的三维数据进行强度叠加投影，产生与低分辨视角图像一一对应、视差一致的N*N个高分辨视角图像，这样产生的高分辨视角图像横向分辨率保持与原始高分辨率三维数据相同的分辨率，同时与低分辨数据获取的角度信息一致。
(3)以步骤(2)获取的与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据，训练超分辨率网络模型，直至模型收敛获得光场超分辨率重建模型；
(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入步骤(3)获得的光场超分辨率重建模型，获得目标分辨率的光场图像；
(5)对步骤(4)获得的目标分辨率光场图像进行三维重建，获得所述静态或动态样本的高分辨率三维图像。具体步骤与实施例1三维重建相同。
本发明提供的基于神经网络的光场超分辨方法能对低分辨光场图进行超分辨，使其横向分辨率超越光场成像系统的衍射极限，在保持光场角向分辨的同时，达到与原始高分辨三维数据同样的横向分辨率，进一步改进后续三维重建结果质量。本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种光场超分辨三维重建方法，其特征在于，包括以下步骤：
(1)以静态样本为目标，获取其高分辨率的事实三维数据；
(2)对于步骤(1)获得的高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；
(3)以步骤(2)获取的与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据，训练超分辨率网络模型，直至模型收敛获得光场超分辨率重建模型；
(4)将光场成像系统以静态或动态样本为目标获得的光场图像数据，输入步骤(3)获得的光场超分辨率重建模型，获得目标分辨率的光场图像；
(5)对步骤(4)获得的目标分辨率光场图像进行三维重建，获得所述静态或动态样本的高分辨率三维图像。
2.如权利要求1所述的光场超分辨三维重建方法，其特征在于，所述与光场成像系统硬件相匹配的低分辨率光场投影，按照以下方法获得：
将所述高分辨率事实三维数据按照理论波动光学模型进行光场投影，获得所述与光场成像系统硬件相匹配的低分辨率光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像。
3.如权利要求1所述的光场超分辨三维重建方法，其特征在于，所述目标分辨率的高分辨率光场投影，按照以下方法获得：
将所述高分辨率事实三维数据进行N倍插值后，获得插值后的高分辨率三维数据，将所述插值后的高分辨率三维数据按照理论波动光学模型进行光场投影欠采样N倍，获得所述目标分辨率的高分辨率光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像；或者：
将所述高分辨率事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述与光场成像系统硬件相匹配的低分辨率光场投影的视角图像分别进行配准，获得三维数据的角度信息；构建所述目标分辨率的高分辨率光场投影。
4.如权利要求1所述的光场超分辨三维重建方法，其特征在于，所述超分辨率网络模型，用于对所述低分辨率光场投影和高分辨率光场投影的各个视角的图像进行超分辨率重建；优选包括光场图像信息提取模块、和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
5.如权利要求4所述的光场超分辨三维重建方法，其特征在于，所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均。
6.一种光场超分辨三维重建系统，其特征在于，包括超分辨率网络模型；超分辨率网络模型的训练数据获取：以静态样本为目标，获取其高分辨率的事实三维数据；对于所述高分辨率事实三维数据进行模拟采样，获得与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影；以所述与光场成像系统硬件相匹配的低分辨率光场投影和目标分辨率的高分辨率光场投影作为训练数据。
7.如权利要求6所述的光场超分辨三维重建系统，其特征在于，所述超分辨率网络模型的损失函数选择：所述训练超分辨率网络模型采用的损失函数Loss为：低分辨率光场投影的各个视角图和高分辨率光场投影的各个视角图的损失函数值的平均。
8.如权利要求6所述的光场超分辨三维重建系统，其特征在于，所述超分辨率网络模型，包括光场图像信息提取模块、和图像超分辨模块；
所述光场图像信息提取模块，采用不同尺寸带有残差连接的卷积模块，分别作用于低分辨率光场投影的各个视角图像，进行多次卷积以及多视角融合，得到不同视角的特征融合信息，提交给所述图像超分辨模块；
所述图像超分辨模块，用于将所述不同视角的特征融合信息进行上采样，获得高分辨率光场投影。
9.一种无损模拟光场投影获取方法，其特征在于，包括以下步骤：
将事实三维数据进行N倍插值后，获得插值后的三维数据，将所述插值后的三维数据按照理论波动光学模型进行光场投影欠采样N倍，获得所述无损模拟光场投影；N为同一角度的获取周期，即每间隔N个像素为同一视角图像。
10.一种无损模拟光场投影获取方法，其特征在于，包括以下步骤：
事实三维数据进行旋转投影，获得模拟的光场不同视角视差图像，与所述事实三维数据进行光场投影获得的视角图像分别进行配准，获得三维数据的角度信息，构建所述无损模拟光场投影。
CN202111054312.7A 2021-09-09 2021-09-09 一种光场超分辨三维重建方法及系统 Pending CN113870433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111054312.7A CN113870433A (zh) 2021-09-09 2021-09-09 一种光场超分辨三维重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111054312.7A CN113870433A (zh) 2021-09-09 2021-09-09 一种光场超分辨三维重建方法及系统

Publications (1)

Publication Number Publication Date
CN113870433A true CN113870433A (zh) 2021-12-31

Family

ID=78995074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111054312.7A Pending CN113870433A (zh) 2021-09-09 2021-09-09 一种光场超分辨三维重建方法及系统

Country Status (1)

Country Link
CN (1) CN113870433A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612613A (zh) * 2022-03-07 2022-06-10 北京拙河科技有限公司 动态光场重建方法及系统
CN114926339A (zh) * 2022-05-30 2022-08-19 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
CN115100666A (zh) * 2022-05-18 2022-09-23 东北大学 基于显著性检测和超分辨率重建的ar会议系统及构建方法
CN116593504A (zh) * 2023-07-17 2023-08-15 中国科学院深圳先进技术研究院 Ct成像方法、装置、设备及存储介质
CN116866731A (zh) * 2023-05-29 2023-10-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质
WO2023231138A1 (zh) * 2022-05-30 2023-12-07 元潼(北京)技术有限公司 基于元成像的多视角图像超分辨重建方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612613A (zh) * 2022-03-07 2022-06-10 北京拙河科技有限公司 动态光场重建方法及系统
CN115100666A (zh) * 2022-05-18 2022-09-23 东北大学 基于显著性检测和超分辨率重建的ar会议系统及构建方法
CN114926339A (zh) * 2022-05-30 2022-08-19 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统
WO2023231138A1 (zh) * 2022-05-30 2023-12-07 元潼(北京)技术有限公司 基于元成像的多视角图像超分辨重建方法及装置
CN116866731A (zh) * 2023-05-29 2023-10-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质
CN116866731B (zh) * 2023-05-29 2024-05-10 武汉工程大学 基于掺铝氧化锌的液晶微透镜阵列成像方法、系统、设备及介质
CN116593504A (zh) * 2023-07-17 2023-08-15 中国科学院深圳先进技术研究院 Ct成像方法、装置、设备及存储介质
CN116593504B (zh) * 2023-07-17 2023-10-03 中国科学院深圳先进技术研究院 Ct成像方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN113870433A (zh) 一种光场超分辨三维重建方法及系统
CN112465701B (zh) 显微图像的深度学习超分辨率重建方法、介质及电子设备
CN109413407B (zh) 高空间分辨率光场采集装置与图像生成方法
CN108550108B (zh) 一种基于相位迭代最小化的傅里叶叠层成像图像重建方法
CN109584156A (zh) 显微序列图像拼接方法及装置
CN111476745B (zh) 一种进行运动模糊超分辨的多分支网络及方法
CN111429562A (zh) 基于深度学习的宽场彩色光切片显微成像方法
WO2016005242A1 (en) Method and apparatus for up-scaling an image
Meng et al. LightGAN: A deep generative model for light field reconstruction
CN117876279B (zh) 基于扫描光场序列图像的去除运动伪影方法及系统
CN116721017A (zh) 自监督显微图像超分辨处理方法和系统
Christensen et al. Spatio-temporal vision transformer for super-resolution microscopy
Tej et al. Enhancing perceptual loss with adversarial feature matching for super-resolution
US20230260083A1 (en) Computer-implemented method, computer program product and system for processing images
CN104574338A (zh) 基于多角度线阵ccd传感器的遥感图像超分辨率重建方法
CN114881907B (zh) 光学显微图像多景深焦点合成方法、系统及图像处理方法
CN107194874B (zh) 基于偏置稳像的超分辨成像系统及方法
Lyn Multi-level feature fusion mechanism for single image super-resolution
JP2013069012A (ja) 多眼撮像装置
CN116805283B (zh) 一种亚微米级超分辨显微成像重构方法及系统
CN112419200B (zh) 一种图像质量优化方法及显示方法
Zhu et al. Super-resolution image reconstruction based on three-step-training neural networks
AU2011238382B2 (en) Generation of a modified 3D image of an object comprising tool marks
US12029594B2 (en) Systems and methods for enhanced imaging and analysis
CN117788292B (zh) 一种基于亚像素位移的序列图像超分辨率重建系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination