CN109615651A - 基于光场显微系统的三维显微成像方法及系统 - Google Patents

基于光场显微系统的三维显微成像方法及系统 Download PDF

Info

Publication number
CN109615651A
CN109615651A CN201910085758.2A CN201910085758A CN109615651A CN 109615651 A CN109615651 A CN 109615651A CN 201910085758 A CN201910085758 A CN 201910085758A CN 109615651 A CN109615651 A CN 109615651A
Authority
CN
China
Prior art keywords
dimensional
microlens array
spread function
point spread
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910085758.2A
Other languages
English (en)
Other versions
CN109615651B (zh
Inventor
戴琼海
卢志
吴嘉敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910085758.2A priority Critical patent/CN109615651B/zh
Priority to US16/357,811 priority patent/US11169367B2/en
Publication of CN109615651A publication Critical patent/CN109615651A/zh
Application granted granted Critical
Publication of CN109615651B publication Critical patent/CN109615651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G02B21/20—Binocular arrangements
    • G02B21/22—Stereoscopic arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于光场显微系统的三维显微成像方法及系统，其中，该方法包括：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从物面到次相机传感器平面的第二点扩散函数，根据第一点扩散函数和第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取三维样本在光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对光场强度图像和第一前向投影矩阵、高分辨率强度图像和第二前向投影矩阵进行三维重建，生成三维样本的三维重建结果。该方法通过增加一路采集光路，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。

Description

基于光场显微系统的三维显微成像方法及系统
技术领域
本发明涉及计算摄像学技术领域，特别涉及一种基于光场显微系统的三维显微成像方法及系统。
背景技术
通常，需要观察的显微样本往往是三维的。在传统的显微技术中，只能对样本的一个深度进行二维成像，观察样本切片，不能观察到样本的立体结构，无法满足一些生物领域的需求。若需要采集三维样本的数据，需要通过纵轴扫描等方法，采集多张不同深度的图像，再进行轴向的拼接，这样的方法速度较慢，在高动态的情况下，纵轴的扫描速度低于生物结构的动态变化速度，难以有效地成像。
光场成像的特点是快速、宽视场、三维成像，但是其横向分辨率与轴向分辨率相互制衡，会导致成像质量的损失。随着计算机技术的发展，我们可以采用计算机对光场图像进行后处理，通过解卷积等方式，重建出三维物体。目前的三维成像技术，主要利用了RL迭代算法进行重建，只利用了光场的信息，受到分辨率相互制约的影响，导致重建效果不够理想，实用性不强。也有研究者试图提升光场重建分辨率，但根据波动光学的理论，焦面处的采样空间分布是稀疏的，所以焦面处的分辨率难以提升。
由于光场显微快速捕获多维信息的特性，迅速引起了学术界的关注。目前，光场显微技术的最大局限在于，采集光场图像时将不同角度的信息集成到同一张图像下，大大牺牲了图像的横向分辨率，且不同角度的图像容易相互串扰，导致重建结果不够理想。有研究者试图提升光场重建分辨率，他们利用波动光学理论，将微透镜阵列对于光学信号的采样率置于奈奎斯特采样率以下，故意造成信息混叠，并利用混叠和微透镜阵列不均一的采样，解出更清晰的图像细节。但是，这一方法受限于成像焦面处的空间分布稀疏，难以提升焦面处的重建分辨率。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于光场显微系统的三维显微成像方法，该方法实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。
本发明的另一个目的在于提出一种基于光场显微系统的三维显微成像系统。
为达到上述目的，本发明一方面实施例提出了一种基于光场显微系统的三维显微成像方法，包括：S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；S2，获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；S3，通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。
本发明实施例的基于光场显微系统的三维显微成像方法，通过分光镜，将样本发出的光分成两路，一路直接用相机传感器采集其焦面处图像，另一路经过微透镜阵列，用相机传感器采集其光场图像，多采集了焦面处的高分辨率信息，将两者结合，进行重建，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。
另外，根据本发明上述实施例的基于光场显微系统的三维显微成像方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：搭建所述光学系统；
所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。
进一步地，在本发明的一个实施例中，所述S1进一步包括：在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。
进一步地，在本发明的一个实施例中，所述S2进一步包括：
S21，将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；
S22，所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；
S23，所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；
S24，将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；
S25，所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。
进一步地，在本发明的一个实施例中，所述预设算法为迭代算法，包括：
a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
为达到上述目的，本发明另一方面实施例提出了一种基于光场显微系统的三维显微成像系统，包括：第一获取模块，用于在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；第二获取模块，用于获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；成像模块，用于通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。
本发明实施例的基于光场显微系统的三维显微成像系统，通过分光镜，将样本发出的光分成两路，一路直接用相机传感器采集其焦面处图像，另一路经过微透镜阵列，用相机传感器采集其光场图像。多采集了焦面处的高分辨率信息，将两者结合，进行重建，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。
另外，根据本发明上述实施例的基于光场显微系统的三维显微成像系统还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，还包括：搭建模块，所述搭建模块用于搭建所述光学系统；
所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。
进一步地，在本发明的一个实施例中，所述第一获取模块，具体用于：在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。
进一步地，在本发明的一个实施例中，所述第二获取模块，具体用于：将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。
进一步地，在本发明的一个实施例中，所述预设算法为迭代算法，包括：
a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于光场显微系统的三维显微成像方法流程图；
图2为根据本发明一个实施例的基于微透镜阵列及两个采集相机传感器的光场显微成像系统的结构示意图；
图3为根据本发明一个实施例的基于光场显微系统的三维显微成像方法流程框图；
图4为根据本发明一个实施例的焦面重建效果与传统光场显微方法的对比结果图；
图5为根据本发明一个实施例的焦面重建信噪比与传统光场显微方法的对比结果图；
图6为根据本发明一个实施例的基于光场显微系统的三维显微成像系统结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
光场显微技术是近些年被提出的一种快速三维显微技术，将传统显微技术采集空间信息的特性扩展到空间信息与角度信息同时采集，实现一次采集，便可获得四维光场信息，包含二维空间信息和二维角度信息，进一步实现三维成像。其具体方法为：在显微镜系统的像面处安装微透镜阵列。微透镜阵列的排列结构十分紧凑，可以同时进行多通道成像，得到光场图像。不同角度的光照入射获得的图片对应于样本在傅里叶域不同位置的信息，即对应于微透镜阵列中单个透镜的不同空间位置。将光场图像中对应位置的像素点取出，即可得到该入射角度的低分辨率图像。通过RL(Richardson-Lucy)算法(一种超分辨率图像复原的算法)，可将其重建为三维立体图像。
下面参照附图描述根据本发明实施例提出的基于光场显微系统的三维显微成像方法及系统。
首先将参照附图描述根据本发明实施例提出的基于光场显微系统的三维显微成像方法。
图1为根据本发明一个实施例的基于光场显微系统的三维显微成像方法流程图。
如图1所示，该基于光场显微系统的三维显微成像方法包括以下步骤：
在步骤S1中，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从物面到次相机传感器平面的第二点扩散函数，根据第一点扩散函数和第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵。
进一步地，在本发明的一个实施例中，还包括：搭建光学系统。
如图2所示，搭建光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、分光镜、微透镜阵列和主相机位于同一条直线上，微透镜阵列在显微镜像面上，主相机在微透镜阵列的焦面处，在分光镜的同侧布设次相机，次相机聚焦到显微镜像面，主相机和次相机通过数据线与计算机连接。
进一步地，在本发明的一个实施例中，S1进一步包括：在光学系统中求解三维样本从物面到微透镜阵列所在平面的第二点扩散函数，将第二点扩散函数与微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成光学系统的第一点扩散函数，对第一点扩散函数与第二点扩散函数取模平方，并离散化形成第一前向投影矩阵和第二前向投影矩阵。
具体地，求解两个相机记录的光路系统点扩散函数，包括以下步骤：
(a)求解三维样本的物面到微透镜阵列所在平面的第二点扩散函数PSF2；
(b)将(a)中求解的第二点扩散函数乘以微透镜的透射系数，并经过微透镜焦距的菲涅尔传播，得到光学系统的第一点扩散函数PSF1；
(c)将PSF1和PSF2取模平方，并离散化形成前向投影H1和H2。
在步骤S2中，获取三维样本在光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像。
进一步地，在本发明的一个实施例中，S2进一步包括：S21，将三维样本放在光学系统中的显微镜的平移台上，使显微镜聚焦在三维样本的中间平面；S22，分光镜置于管镜之后，将光路分为两路，其中，一路光束被次相机采集；S23，次相机置于管镜的后焦面光程处，记录高分辨率强度图像；S24，将微透镜阵列置于分光镜的另一侧，使微透镜阵列置于管镜的后焦面光程处；S25，主相机传感器位于微透镜阵列的焦点位置上，主相机传感器记录三维样本的三维场景在各个视角方向上的基本图像，微透镜阵列成像得到光场强度图像。
具体地，两张图像的获取方法包括以下步骤：
(a)将三维样本物体放在显微镜的平移台上，保证显微镜聚焦在物体内部的某一平面，即需要成像的三维物体中间平面；
(b)分光镜置于管镜之后，将光路一分为二，其中一路光束进入次相机被采集；
(c)次相机置于管镜的后焦面光程处，记录此时的高分辨率强度图像f2。
(d)将微透镜阵列置于分光棱镜的另一侧，保证微透镜阵列置于管镜的后焦面光程处；
(e)主相机传感器位于微透镜的焦点位置上；
(f)主相机传感器记录三维场景在各个视角方向上的基本图像，微透镜阵列同时成像得到光场强度图像f1。
在步骤S3中，通过预设算法对光场强度图像和第一前向投影矩阵、高分辨率强度图像和第二前向投影矩阵进行三维重建，生成三维样本的三维重建结果。
进一步地，在本发明的一个实施例中，预设算法为迭代算法，包括：
a，三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
其中，预设次数为300次。
本发明的实施例是一种改进光场显微技术的方法，在原有光场显微的基础上，增加了一路采集光路，使在同等迭代次数下，焦面处重建信噪比大幅提升，提升幅度超过30％，即重建效果提升超过30％，其他深度层的重建结果也略有提升。
将普通的光场显微镜稍作改进，在微透镜阵列之前增加分光镜，在分光镜的另一侧增加采集光路，拍摄焦面处样本的高分辨率图像，并且配合一台普通计算机进行数据处理即可实现。
如图3所示，为根据本发明一个实施例的基于光场显微系统的三维显微成像方法流程框图。
如图3所示，发明提供的基于光场的高分辨率三维重建方法，包括如下步骤：
(1)搭建光学系统；
(2)计算光学系统从物面到主相机传感器平面的第一点扩散函数PSF1，其离散化第一前向投影矩阵为H1；计算光学系统从物面到次相机传感器平面的第二点扩散函数PSF2，其离散化第二前向投影矩阵为H2；
(3)记录主相机所拍摄到的光场强度图像f1，记录次相机所拍摄的高分辨率强度图像f2；
(4)光场图像f1对应H1，高分辨率强度图像f2对应H2，利用RL算法进行三维重建，在一次迭代中分别对光场图像和宽场高分辨率图像进行重建，在计算机中可以得到准确的三维物体重建结果。
本发明的光场成像技术，相较于传统的光场显微技术，通过增加一路采集光路，在微透镜阵列之前增加分光镜，在分光镜的另一侧增加采集光路，拍摄焦面处样本的高分辨率图像，实现了在同等迭代次数下，显著增强了焦面重建信噪比，重建效果有了很大的提升。
下面结合图4和图5，对本发明进一步说明，对同一三维物体分别进行原始光场显微成像和本发明中提出的光场显微成像，利用信噪比(SNR)作为重建效果的评价函数。由图4可见，在RL重建300次迭代后，得到的焦面分辨率明显优于传统光场重建方法，与真值十分接近。由图4可见，在RL重建迭代过程中，重建图像的焦面信噪比不断提升，本发明实施例的方法得到的重建图像焦面信噪比不断提升，相比于传统光场重建方法，大幅增加，提升效果显著。
根据本发明实施例提出的基于光场显微系统的三维显微成像方法，通过分光镜，将样本发出的光分成两路，一路直接用相机传感器采集其焦面处图像，另一路经过微透镜阵列，用相机传感器采集其光场图像。多采集了焦面处的高分辨率信息，将两者结合，进行重建，实现在同等迭代次数下，增强焦面重建信噪比，光场显微成像的重建效果有很大的提升。
其次参照附图描述根据本发明实施例提出的基于光场显微系统的三维显微成像系统。
图6为根据本发明一个实施例的基于光场显微系统的三维显微成像系统结构示意图。
如图6所示，该三维显微成像10包括：第一获取模块100、第二获取模块200、成像模块300。
其中，第一获取模块100用于在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从物面到次相机传感器平面的第二点扩散函数，根据第一点扩散函数和第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵。
第二获取模块200用于获取三维样本在光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像。
成像模块300用于通过预设算法对光场强度图像和第一前向投影矩阵、高分辨率强度图像和第二前向投影矩阵进行三维重建，生成三维样本的三维重建结果。
该三维显微成像系统在同等迭代次数下，显著增强了焦面重建信噪比，重建效果有了很大的提升，提升了光场显微成像的重建效果。
进一步地，在本发明的一个实施例中，还包括：搭建模块，搭建模块用于搭建光学系统；
搭建光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、分光镜、微透镜阵列和主相机位于同一条直线上，微透镜阵列在显微镜像面上，主相机在微透镜阵列的焦面处，在分光镜的同侧布设次相机，次相机聚焦到显微镜像面，主相机和次相机通过数据线与计算机连接。
进一步地，在本发明的一个实施例中，第一获取模块，具体用于：在光学系统中求解三维样本从物面到微透镜阵列所在平面的第二点扩散函数，将第二点扩散函数与微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成光学系统的第一点扩散函数，对第一点扩散函数与第二点扩散函数取模平方，并离散化形成第一前向投影矩阵和第二前向投影矩阵。
进一步地，在本发明的一个实施例中，第二获取模块，具体用于：
将三维样本放在光学系统中的显微镜的平移台上，使显微镜聚焦在三维样本的中间平面；
分光镜置于管镜之后，将光路分为两路，其中，一路光束被次相机采集；
次相机置于管镜的后焦面光程处，记录高分辨率强度图像；
将微透镜阵列置于分光镜的另一侧，使微透镜阵列置于管镜的后焦面光程处；
主相机传感器位于微透镜阵列的焦点位置上，主相机传感器记录三维样本的三维场景在各个视角方向上的基本图像，微透镜阵列成像得到光场强度图像。
进一步地，在本发明的一个实施例中，预设算法为迭代算法，包括：
a，三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
需要说明的是，前述对基于光场显微系统的三维显微成像方法实施例的解释说明也适用于该实施例的系统，此处不再赘述。
根据本发明实施例提出的基于光场显微系统的三维显微成像系统，通过增加一路采集光路，在微透镜阵列之前增加分光镜，在分光镜的另一侧增加采集光路，拍摄焦面处样本的高分辨率图像，实现了在同等迭代次数下，显著增强了焦面重建信噪比，重建效果有了很大的提升。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于光场显微系统的三维显微成像方法，其特征在于，包括以下步骤：
S1，在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；
S2，获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；
S3，通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。
2.根据权利要求1所述的基于光场显微系统的三维显微成像方法，其特征在于，还包括：
搭建所述光学系统；
所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。
3.根据权利要求2所述的基于光场显微系统的三维显微成像方法，其特征在于，所述S1进一步包括：
在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。
4.根据权利要求2所述的基于光场显微系统的三维显微成像方法，其特征在于，所述S2进一步包括：
S21，将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；
S22，所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；
S23，所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；
S24，将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；
S25，所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。
5.根据权利要求1所述的基于光场显微系统的三维显微成像方法，其特征在于，所述预设算法为迭代算法，包括：
a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
6.一种基于光场显微系统的三维显微成像系统，其特征在于，包括：
第一获取模块，用于在光学系统中，获取三维样本从物面到主相机传感器平面的第一点扩散函数和从所述物面到次相机传感器平面的第二点扩散函数，根据所述第一点扩散函数和所述第二点扩散函数生成第一前向投影矩阵和第二前向投影矩阵；
第二获取模块，用于获取所述三维样本在所述光学系统中的主相机拍摄的光场强度图像和次相机拍摄的高分辨率强度图像；
成像模块，用于通过预设算法对所述光场强度图像和所述第一前向投影矩阵、所述高分辨率强度图像和所述第二前向投影矩阵进行三维重建，生成所述三维样本的三维重建结果。
7.根据权利要求6所述的基于光场显微系统的三维显微成像系统，其特征在于，还包括：搭建模块，
所述搭建模块用于搭建所述光学系统；
所述搭建所述光学系统，包括：将显微镜物镜、管镜、分光镜、次相机、微透镜阵列和主相机依次布设，使显微镜像面、所述分光镜、所述微透镜阵列和所述主相机位于同一条直线上，所述微透镜阵列在所述显微镜像面上，所述主相机在所述微透镜阵列的焦面处，在所述分光镜的同侧布设所述次相机，所述次相机聚焦到所述显微镜像面，所述主相机和所述次相机通过数据线与计算机连接。
8.根据权利要求7所述的基于光场显微系统的三维显微成像系统，其特征在于，所述第一获取模块，具体用于：
在所述光学系统中求解所述三维样本从物面到所述微透镜阵列所在平面的第二点扩散函数，将所述第二点扩散函数与所述微透镜阵列的透射系数相乘，并经过微透镜焦距的菲涅尔传播，生成所述光学系统的所述第一点扩散函数，对所述第一点扩散函数与所述第二点扩散函数取模平方，并离散化形成所述第一前向投影矩阵和所述第二前向投影矩阵。
9.根据权利要求7所述的基于光场显微系统的三维显微成像系统，其特征在于，所述第二获取模块，具体用于：
将所述三维样本放在所述光学系统中的显微镜的平移台上，使所述显微镜聚焦在所述三维样本的中间平面；
所述分光镜置于所述管镜之后，将光路分为两路，其中，一路光束被所述次相机采集；
所述次相机置于所述管镜的后焦面光程处，记录所述高分辨率强度图像；
将所述微透镜阵列置于所述分光镜的另一侧，使所述微透镜阵列置于所述管镜的后焦面光程处；
所述主相机传感器位于所述微透镜阵列的焦点位置上，所述主相机传感器记录所述三维样本的三维场景在各个视角方向上的基本图像，所述微透镜阵列成像得到所述光场强度图像。
10.根据权利要求6所述的基于光场显微系统的三维显微成像系统，其特征在于，所述预设算法为迭代算法，包括：
a，所述三维样本为g，初始为灰度均匀分布的三维矩阵；
b，在第k次迭代中；
c，对g进行光场重建：
d，对b中得到的结果进行高分辨率宽场重建：
e，重复步骤b至d到预设次数。
CN201910085758.2A 2019-01-29 2019-01-29 基于光场显微系统的三维显微成像方法及系统 Active CN109615651B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910085758.2A CN109615651B (zh) 2019-01-29 2019-01-29 基于光场显微系统的三维显微成像方法及系统
US16/357,811 US11169367B2 (en) 2019-01-29 2019-03-19 Three-dimensional microscopic imaging method and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910085758.2A CN109615651B (zh) 2019-01-29 2019-01-29 基于光场显微系统的三维显微成像方法及系统

Publications (2)

Publication Number Publication Date
CN109615651A true CN109615651A (zh) 2019-04-12
CN109615651B CN109615651B (zh) 2022-05-20

Family

ID=66018698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085758.2A Active CN109615651B (zh) 2019-01-29 2019-01-29 基于光场显微系统的三维显微成像方法及系统

Country Status (2)

Country Link
US (1) US11169367B2 (zh)
CN (1) CN109615651B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110675451A (zh) * 2019-09-17 2020-01-10 北京超放信息技术有限公司 基于相空间光学的数字自适应校正方法及系统
CN110888229A (zh) * 2019-12-04 2020-03-17 清华大学深圳国际研究生院 一种光场微型显微系统
CN110967827A (zh) * 2019-12-04 2020-04-07 清华大学深圳国际研究生院 一种基于光场微型显微系统的成像建模方法及装置
CN111182191A (zh) * 2019-11-15 2020-05-19 北京超放信息技术有限公司 基于计算像差补偿的宽视场高分辨率摄像设备及方法
CN112288847A (zh) * 2020-09-28 2021-01-29 清华大学 基于快速傅里叶变换的光场三维重建方法
WO2021098276A1 (zh) * 2019-11-22 2021-05-27 北京大学 显微光场体成像的重建方法及其正过程和反投影获取方法
CN112967268A (zh) * 2021-03-24 2021-06-15 清华大学 基于光场的数字光学层析方法和装置
CN113804605A (zh) * 2021-08-26 2021-12-17 南京信息工程大学 一种基于光场摄像技术的三维雨滴谱仪及其运行工艺和应用
CN113971722A (zh) * 2021-12-23 2022-01-25 清华大学 一种傅里叶域的光场解卷积方法及装置
CN115357845A (zh) * 2022-08-22 2022-11-18 浙江荷湖科技有限公司 一种显微光场迭代重建结果的评价方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327492A1 (en) * 2009-10-09 2012-12-27 Massachusetts Institute Of Technology System, method and apparatus for contrast enhanced multiplexing of images
US20130134310A1 (en) * 2011-11-25 2013-05-30 Robert Furstenberg Chemical mapping using thermal microscopy at the micro and nano scales
CN103926687A (zh) * 2013-01-16 2014-07-16 索尼公司 图像获取装置、图像获取方法以及信息处理程序
CN104062750A (zh) * 2014-06-18 2014-09-24 浙江大学 一种双光子荧光受激发射微分超分辨率显微方法与装置
CN104463961A (zh) * 2014-12-03 2015-03-25 天津大学 几何光学光线追迹仿真微粒衍射图方法
CN104570621A (zh) * 2015-01-14 2015-04-29 清华大学 一种双光束曝光系统中光栅衍射波面误差的反馈调节方法
CN105806250A (zh) * 2016-03-10 2016-07-27 中国科学院上海光学精密机械研究所 高分辨率三维相位显微成像装置和成像方法
US20170045521A1 (en) * 2014-04-22 2017-02-16 The General Hospital Corporation System and method for determination of ligand-target binding by multi-photon fluorescence anisotropy microscopy
CN106842529A (zh) * 2017-01-23 2017-06-13 清华大学 快速三维显微成像系统
CN107091825A (zh) * 2017-03-31 2017-08-25 清华大学 基于微透镜阵列的荧光样本层析显微成像方法
CN108364342A (zh) * 2017-01-26 2018-08-03 中国科学院上海生命科学研究院 光场显微系统及其三维信息重构方法和装置
CN109270678A (zh) * 2018-10-31 2019-01-25 许之敏 一种新型高分辨率光场显微镜结构

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11308662B2 (en) * 2016-08-02 2022-04-19 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction
JP6625144B2 (ja) * 2018-01-05 2019-12-25 キヤノン株式会社 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム、記憶媒体、および、レンズ装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120327492A1 (en) * 2009-10-09 2012-12-27 Massachusetts Institute Of Technology System, method and apparatus for contrast enhanced multiplexing of images
US20130134310A1 (en) * 2011-11-25 2013-05-30 Robert Furstenberg Chemical mapping using thermal microscopy at the micro and nano scales
CN103926687A (zh) * 2013-01-16 2014-07-16 索尼公司 图像获取装置、图像获取方法以及信息处理程序
US20170045521A1 (en) * 2014-04-22 2017-02-16 The General Hospital Corporation System and method for determination of ligand-target binding by multi-photon fluorescence anisotropy microscopy
CN104062750A (zh) * 2014-06-18 2014-09-24 浙江大学 一种双光子荧光受激发射微分超分辨率显微方法与装置
CN104463961A (zh) * 2014-12-03 2015-03-25 天津大学 几何光学光线追迹仿真微粒衍射图方法
CN104570621A (zh) * 2015-01-14 2015-04-29 清华大学 一种双光束曝光系统中光栅衍射波面误差的反馈调节方法
CN105806250A (zh) * 2016-03-10 2016-07-27 中国科学院上海光学精密机械研究所 高分辨率三维相位显微成像装置和成像方法
CN106842529A (zh) * 2017-01-23 2017-06-13 清华大学 快速三维显微成像系统
CN108364342A (zh) * 2017-01-26 2018-08-03 中国科学院上海生命科学研究院 光场显微系统及其三维信息重构方法和装置
CN107091825A (zh) * 2017-03-31 2017-08-25 清华大学 基于微透镜阵列的荧光样本层析显微成像方法
CN109270678A (zh) * 2018-10-31 2019-01-25 许之敏 一种新型高分辨率光场显微镜结构

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XING LIN 等: "Camera array based light field microscopy", 《BIOMEDICAL OPTICS EXPRESS》 *
刘鸿吉 等: "基于环形抽运光的红外超分辨显微成像方法", 《物理学报》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443882A (zh) * 2019-07-05 2019-11-12 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110443882B (zh) * 2019-07-05 2021-06-11 清华大学 基于深度学习算法的光场显微三维重建方法及装置
CN110441271A (zh) * 2019-07-15 2019-11-12 清华大学 基于卷积神经网络的光场高分辨解卷积方法及系统
CN110675451A (zh) * 2019-09-17 2020-01-10 北京超放信息技术有限公司 基于相空间光学的数字自适应校正方法及系统
CN111182191A (zh) * 2019-11-15 2020-05-19 北京超放信息技术有限公司 基于计算像差补偿的宽视场高分辨率摄像设备及方法
WO2021098276A1 (zh) * 2019-11-22 2021-05-27 北京大学 显微光场体成像的重建方法及其正过程和反投影获取方法
CN110967827A (zh) * 2019-12-04 2020-04-07 清华大学深圳国际研究生院 一种基于光场微型显微系统的成像建模方法及装置
CN110888229A (zh) * 2019-12-04 2020-03-17 清华大学深圳国际研究生院 一种光场微型显微系统
CN110967827B (zh) * 2019-12-04 2021-07-02 清华大学深圳国际研究生院 一种基于光场微型显微系统的成像建模方法及装置
CN112288847A (zh) * 2020-09-28 2021-01-29 清华大学 基于快速傅里叶变换的光场三维重建方法
CN112288847B (zh) * 2020-09-28 2022-06-17 清华大学 基于快速傅里叶变换的光场三维重建方法
CN112967268A (zh) * 2021-03-24 2021-06-15 清华大学 基于光场的数字光学层析方法和装置
CN112967268B (zh) * 2021-03-24 2022-08-09 清华大学 基于光场的数字光学层析方法和装置
CN113804605A (zh) * 2021-08-26 2021-12-17 南京信息工程大学 一种基于光场摄像技术的三维雨滴谱仪及其运行工艺和应用
CN113971722A (zh) * 2021-12-23 2022-01-25 清华大学 一种傅里叶域的光场解卷积方法及装置
CN113971722B (zh) * 2021-12-23 2022-05-17 清华大学 一种傅里叶域的光场解卷积方法及装置
CN115357845A (zh) * 2022-08-22 2022-11-18 浙江荷湖科技有限公司 一种显微光场迭代重建结果的评价方法及装置
CN115357845B (zh) * 2022-08-22 2023-05-09 浙江荷湖科技有限公司 一种显微光场迭代重建结果的评价方法及装置

Also Published As

Publication number Publication date
CN109615651B (zh) 2022-05-20
US11169367B2 (en) 2021-11-09
US20200241276A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN109615651A (zh) 基于光场显微系统的三维显微成像方法及系统
CN106872034B (zh) 快速三维多光谱显微成像系统
US9426429B2 (en) Scanning projective lensless microscope system
CN104849852B (zh) 基于相机阵列的光场显微成像系统及方法
Luo et al. Synthetic aperture-based on-chip microscopy
CN104181686B (zh) 基于fpm的光场显微方法
CN107091825A (zh) 基于微透镜阵列的荧光样本层析显微成像方法
CN106842529A (zh) 快速三维显微成像系统
EP3202144A2 (en) Compressed-sensing ultrafast photography (cup)
RU2734447C2 (ru) Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости
CN108120680B (zh) 基于光电特性先验的显微成像的杂散光去除方法及装置
CN111429562B (zh) 基于深度学习的宽场彩色光切片显微成像方法
Nie et al. Fast, 3D isotropic imaging of whole mouse brain using multiangle‐resolved subvoxel SPIM
Alarcon et al. Development of a high-speed plenoptic imaging system and its application to marine biology PIV
WO2021217031A1 (en) Ultrafast light field tomography
CN107145052B (zh) 基于数字插值和相位迭代的全息显微成像方法
WO2023035543A1 (zh) 一种三维超分辨率光片显微成像方法和显微镜
CN113850902A (zh) 一种基于光场显微系统的光场三维重建方法
KR102253320B1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
CN109270678A (zh) 一种新型高分辨率光场显微镜结构
CN110349237B (zh) 基于卷积神经网络的快速体成像方法
Zhu et al. Noise-robust phase-space deconvolution for light-field microscopy
CN110967827B (zh) 一种基于光场微型显微系统的成像建模方法及装置
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
CN113534434A (zh) 一种基于led阵列的光谱显微成像装置及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant