CN104849852B - 基于相机阵列的光场显微成像系统及方法 - Google Patents

基于相机阵列的光场显微成像系统及方法 Download PDF

Info

Publication number
CN104849852B
CN104849852B CN201510229704.0A CN201510229704A CN104849852B CN 104849852 B CN104849852 B CN 104849852B CN 201510229704 A CN201510229704 A CN 201510229704A CN 104849852 B CN104849852 B CN 104849852B
Authority
CN
China
Prior art keywords
micro
light field
camera
array
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510229704.0A
Other languages
English (en)
Other versions
CN104849852A (zh
Inventor
戴琼海
林星
吴嘉敏
何继军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510229704.0A priority Critical patent/CN104849852B/zh
Publication of CN104849852A publication Critical patent/CN104849852A/zh
Application granted granted Critical
Publication of CN104849852B publication Critical patent/CN104849852B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于相机阵列的光场显微成像系统及方法,其中,系统包括:通过相机引出口将显微样本放大到像平面的显微镜;生成光圈平面的放大模块;成像透镜阵列,获取显微样本在不同视角下的样本图像;传感器阵列,每个传感器相应地记录与其对应成像透镜获取的样本图像;控制器,对样本图像进行同步采集和校准以获取显微样本的光场和/或光场视频。本发明实施例的系统,通过对获取的显微样本在不同视角下的样本图像进行校准,从而获取显微场景的光场和光场视频,实现高性能显微成像及应用,提高空间分辨率,提高用户的使用体验。

Description

基于相机阵列的光场显微成像系统及方法
技术领域
本发明涉及显微成像技术领域,特别涉及一种基于相机阵列的光场显微成像系统及方法。
背景技术
LFM(Light field microscopy,光场显微)是一种无需扫描的三维计算成像方法,该方法能够同时记录透过显微样本光线的二维空间和二维角度的分布。根据空间-角度的数据可以计算合成重聚焦图像,从而进行灵活的景深调整,以及实现样本的三维体重建,因而在光学生物成像方面有着重要的应用。
目前,光场显微成像方式可以通过在光学显微镜中间级像平面上加入微透镜阵列的方式实现,使得传感器像素能够在单次曝光过程中采集光场的光线。然而,MALM(Microlens array based light field microscopy,基于微透镜阵列的光场显微)需要在传感器的空间分辨率和角度分辨率之间进行折中,导致所获得的图像空间分辨率相比原始的传感器分辨率降低了几个数量级。
相关技术中,为了解决光场显微空间分辨率降低的问题,例如可以通过3维反卷积的方法来提高三维体重建的空间分辨率,或者通过在波前额外增加相位掩膜编码的方法,从而消除轴向不均匀的空间分辨率,但是计算复杂度较高,成本较高;例如可以通过光圈扫描或者LED(Light Emitting Diode,发光二极管)扫描等方法获得整个传感器分辨率的数字重聚焦结果,但是易牺牲时间分辨率;例如可以通过引入样本先验信息从而计算重构出高分辨率光场,如光场矩成像的高斯角度分布假设,朗伯反射系数先验的光场超分辨率,通过学习过完备字典来利用其内在的冗余性方法,然而这些经验假设在显微成像中通常并不成立。因此,相关技术中的显微成像方法还是未能很好地解决光场显微空间分辨率低的问题,有待改进。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种基于相机阵列的光场显微成像系统,该显微成像系统能够提高空间分辨率,并且简单易实现。
本发明的另一个目的在于提出一种基于相机阵列的光场显微成像方法。
为达到上述目的,本发明一方面实施例提出了一种基于相机阵列的光场显微成像系统,包括:显微镜,用于通过所述显微镜的相机引出口将显微样本放大到像平面;放大模块,用于根据所述像平面生成光圈平面;相机阵列,所述相机阵列中的每个相机具有成像透镜和传感器,所述相机阵列包括:成像透镜阵列,用于通过所述光圈平面获取所述显微样本在不同视角下的样本图像,且所述放大模块将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致;传感器阵列,所述传感器阵列中的每个传感器与所述成像透镜阵列中的每个成像透镜对应,所述每个传感器相应地记录与其对应的成像透镜获取的样本图像;以及控制器,所述控制器与所述相机阵列相连,对所述显微样本在不同视角下的所述样本图像进行校准同步采集和校准以获取所述显微样本的光场和/或光场视频。
根据本发明实施例提出的基于相机阵列的光场显微成像系统,通过相机阵列获取显微样本在不同视角下的样本图像,从而对显微样本在不同视角下的样本图像进行同步采集和光学校准以获取显微样本的高分辨率光场和光场视频,通过整合传感器整列记录的数据,实现高性能显微成像及应用,不但提高了空间分辨率,而且具有更大的灵活性,从而提高了用户的使用体验。
另外,根据本发明上述实施例的基于相机阵列的光场显微成像系统还可以具有如下附加的技术特征:
进一步地,在本发明的一个实施例中,所述相机阵列中的每个相机独立设置。
进一步地,在本发明的一个实施例中,所述放大模块为两级中继系统,且所述两级中继系统包括:第一级中继透镜,所述第一级中继透镜根据所述像平面生成所述光圈平面;以及第二级中继透镜,所述第二级中继透镜将所述光圈平面放大至覆盖整个所述相机阵列的大小。
进一步地,在本发明的一个实施例中,所述第二中继透镜的数值孔径大于所述第一中继透镜的数值孔径。
进一步地,在本发明的一个实施例中,通过对准所述相机阵列、所述两级中继系统和所述相机引出口的光轴,并将所述每个相机的光轴汇聚对准到所述两级中继系统的第二级中继透镜的中心进行光学校准。
进一步地,在本发明的一个实施例中,通过采用主从服务器构架方式对各传感器之间进行同步采集。
本发明另一方面实施例提出了一种基于相机阵列的光场显微成像方法,其中,相机阵列中的每个相机具有成像透镜和传感器,所述相机阵列包括成像透镜阵列和传感器阵列,所述方法包括以下步骤:通过显微镜的相机引出口将显微样本放大到像平面;根据所述像平面生成光圈平面,并且将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致;所述成像透镜阵列通过所述光圈平面获取所述显微样本在不同视角下的样本图像;所述传感器阵列中每个传感器相应地记录与其对应设置的相机获取的样本图像;以及对所述显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述显微样本的光场和/或光场视频。
根据本发明实施例提出的基于相机阵列的光场显微成像方法,通过相机阵列获取显微样本在不同视角下的样本图像,从而对显微样本在不同视角下的样本图像进行同步采集和光学校准以获取显微样本的高分辨率光场和光场视频,通过整合传感器整列记录的数据,实现高性能显微成像及应用,不但提高了空间分辨率,而且具有更大的灵活性,从而提高了用户的使用体验。
另外,根据本发明上述实施例的基于相机阵列的光场显微成像方法还可以具有如下附加的技术特征:
进一步地,在本发明的一个实施例中,所述相机阵列中的每个相机独立设置。
进一步地,在本发明的一个实施例中,所述根据所述像平面生成光圈平面,并且将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致具体包括:根据所述像平面生成所述光圈平面;以及将所述光圈平面放大至覆盖整个所述成像透镜阵列的大小。
进一步地,在本发明的一个实施例中,通过采用主从服务器构架方式对各传感器之间进行同步。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的基于相机阵列的光场显微成像系统的结构示意图;
图2为根据本发明一个实施例的基于相机阵列的光场显微成像系统的结构示意图;
图3为根据本发明一个实施例的评估原型系统的分辨率和景深示意图;
图4为根据本发明一个实施例的采集玫瑰花瓣表皮细胞的光场及合成重聚焦与恢复深度示意图;
图5为根据本发明一个实施例的应用所采集到的果蝇幼虫的光场视频于三维差分相衬和相位的重建示意图;
图6为根据本发明一个实施例的水中秀丽隐杆线虫的光场和合成重聚焦视频示意图;
图7为根据本发明一个实施例的利用采集到的光场实现微透镜阵列的量化相位重建示意图;以及
图8为根据本发明实施例的基于相机阵列的光场显微成像方法的流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下面参照附图描述根据本发明实施例提出的基于相机阵列的光场显微成像系统及方法,以下简称CALM(Camera array based light field microscopy,基于相机阵列的光场显微成像)系统及CALM方法,首先将参照附图描述根据本发明实施例提出的基于相机阵列的光场显微成像系统。参照图1所示,该CALM系统10包括:显微镜100、放大模块200、成像透镜阵列300、传感器阵列400和控制器500。其中,成像透镜阵列300和传感器阵列400组成相机阵列600。
具体地,显微镜100用于通过显微镜的相机引出口101将显微样本放大到像平面。放大模块200用于根据像平面生成光圈平面。相机阵列600中的每个相机具有成像透镜和传感器。成像透镜阵列300用于通过光圈平面获取显微样本在不同视角下的样本图像,且放大模块200将光圈平面的尺寸与成像透镜阵列300的尺寸匹配相一致。传感器阵列400中的每个传感器与成像透镜阵列300中的每个成像透镜对应,每个传感器相应地记录与其对应的成像透镜获取的样本图像。控制器500与相机阵列600相连,控制器500对显微样本在不同视角下的样本图像进行同步采集和光学校准以获取显微样本的光场和/或光场视频。本发明实施例的CALM系统10利用成像透镜阵列300来同时采集显微场景在不同视角下的图像,并且只需要通过对传感器阵列400中传感器所采集到的图像进行简单的光学校准就可以获得显微场景的高分辨率光场,而不需要其它复杂的重构算法或增加先验假设。
进一步地,在本发明的一个实施例中,相机阵列600中的每个相机独立设置。其中,本发明实施例可以通过对每个视角的相机设置不同参数,然后合成单个视角图像,实现高性能显微成像及应用。
进一步地,在本发明的一个实施例中,参照图2所示,放大模块200优选为两级中继系统201,且两级中继系统201包括:第一级中继透镜2011和第二级中继透镜2012。
其中,第一级中继透镜2011根据像平面生成光圈平面。第二级中继透镜2012将光圈平面放大至覆盖整个相机阵列600(的大小,也可以理解为放大至覆盖整个成像透镜阵列300的大小。
进一步地,在本发明的一个实施例中,第二中继透镜2012的数值孔径大于第一中继透镜2011的数值孔径。其中,两级中继系统201的放大倍数由两级中继透镜的焦距比决定,此外为了实现数值孔径的匹配,第二级中继透镜2012的数值孔径要比第一级中继透镜2011的数值孔径大。
具体地,参照图2所示,为了能够生成显微光场的多视角图像,本发明实施例可以采用两级中继系统201将光圈平面扩展到相机阵列600中成像透镜阵列300的尺寸大小,使得相机阵列600中的每个传感器能够采集到子光圈的图像。通过组合校准以及同步之后的不同视角的图像,本发明实施例能够获得在传感器帧率下显微样本的高分辨率四维光场视频,并可以应用于重聚焦、相位重建以及三维成像等。
在本发明的一个具体实施例中,参照图2所示,图2为CALM系统的光学原理示意图。其中,为方便原型系统构建,本发明实施例的显微镜100可以采用商业的宽视场显微镜(Olympus IX73)来放大显微样本700到像平面。显微镜100可以采用白色LED的部分相干光,同时附带中心频率为550nm的干涉滤光片。冷凝器透镜102的数值孔径大小可以为0.55。本发明实施例的显微镜100可以采用10倍物镜103(Olympus,UPLSAPO10X2,N.A.=0.4,F.N.=26.5)。显微镜100的相机引出口101的像平面大小通过两级中继系统201放大到成像透镜阵列300的尺寸,相机引出口101包括透镜套管1011和镜子1012。其中,为减少畸变,本发明实施例可以采用商业镜头作为中继透镜,第一级中继透镜2011(Canon EF,85nm,f/1.8,USM)为第二级中继透镜2012(Computar M0814-MP2,8mm,f/1.4)产生光圈平面,第二级透镜2012将该光圈平面放大到能够覆盖整个成像透镜阵列300的大小。最后,放置成像透镜阵列300(CCTV SV-10035V,100nm,f/3.5)在二级透镜放大后的光圈平面上,每个子光圈成像到相应传感器上。传感器可以采用PointGray Flea2-08S2C-C RGB彩色相机,像素尺寸为4.65nm,分辨率1024*768,帧率30帧/秒。
另外,根据本发明实施例的显微镜100的其它构成以及作用对于本领域的技术人员而言都是已知的,为了减少冗余,不做详细赘述。
在本发明的实施例中,显微镜100的物镜的空间带宽积(SBP)可表示为:SBP=F.O.V/(0.5d)2,其中F.O.V=π(0.5F.N./Magnification)2为物平面的视场大小,d=0.61λ/N.A.是物镜的衍射极限,0.5来自奈奎斯特采样理论。如图2所示,物镜的SBP表示为SBP1,约为3130万像素;成像透镜阵列300的SBP表示为SBP2,约为1990万像素。为充分利用光学系统的信息容量,传感器阵列400可以采用25个传感器,一共1960万像素,系统角度分辨率为5*5。为了和第二级中继透镜2012的有效数值光圈相匹配并减少环境光的影响,成像透镜的f/#设为7.0。系统在接近衍射极限分辨率下工作。由于所使用的物镜衍射极限d为0.84μm,衍射极限所限制的每个视角图像的横向分辨率约为4.20μm。
进一步地,在本发明的一个实施例中,通过采用主从服务器构架方式对各传感器之间进行同步采集。其中,本发明实施例可以采用主从服务器的构架实现各传感器之间的同步,同时实现大容量光场视频的存储,并提供用户交互。
在本发明的一个实施例中,主从服务器构架包括一台主服务器和四台从服务器。主服务器和从服务器通过局域网相连,主服务器用于提供用户操作界面,接受用户指令并向从服务器发送控制命令;从服务器接受主服务器的控制命令并控制相机同步采集,不同相机采集后的图像或者视频数据存储于相应的从服务器。
因此,在本发明的实施例中,本发明实施例的基于相机阵列的光场显微相(CALM)比基于微透镜阵列的光场显微(MALM)具有更大的灵活性。通过三个方面给出两种方法的差异:
第一,尽管光学系统中的SBP(space-bandwidth product,空间-带宽积)限制了光场角度分辨率和空间分辨率乘积的上界(即所采用的传感器像素总数),但是普通CCTV透镜的SBP都能够达到5亿,远远超过了现有传感器分辨率。因此,相比MALM采用单个传感器,CALM通过整合传感器阵列,因此能够获得更高分辨率的光场。
第二,不同视角的图像间存在大量冗余,相比低角度分辨率,人眼对低空间分辨率更加敏感。CALM可以很容易的配置成低角度分辨率、高空间分辨率光场采集,而MALM则要求所采用的微透镜阵列中的每一个微透镜尺寸足够小并且有合适的焦距,加工工艺复杂而且困难。
第三,CALM中的每个相机参数可以根据不同的应用独立设置,比如应用于非均匀光照角度补偿、或聚焦位置不一致的补偿等。
进一步地,在本发明的一个实施例中,参照图2所示,通过对准成像透镜阵列300、两级中继系统201和相机引出口101的光轴,并将每个相机的光轴汇聚对准到两级中继系统201的第二级中继透镜2012的中心进行光学校准。
具体地,对于几何校准,首先要对准相机阵列600、两级中继系统201以及显微镜100的相机引出口101的光轴,然后将相机阵列600中每个相机的光轴汇聚对准到第二级中继透镜2012的中心。校准过程中通过将棋盘格放置在显微镜100的像平面位置,采集到的多视角图像并通过简单的平面视差方法实现配准生成校准后的光场。光场L(x,y,u,v)描述了光线到辐射度的映射,为自由空间位置(x,y)和方向(u,v)的函数。
进一步地,合成重聚焦是光场成像的一个重要应用,该应用通过对四维光场进行剪切并在角度维进行投影来实现。轴向重聚焦的最小步长限制了三维重建的轴向分辨率。本发明实施例中的最小轴向步长可以形式化表达为:δz=δxcot(arcsin(N.A.))/M。其中,δx表示对光场进行单个像素尺寸的剪切;M=1.21是光学系统的放大倍数,通过采集微米尺(OBM1/100,1mm/100units)的图像来测量获得。所以δz=8.8μm,传感器的每个像素在物平面上可分辨特征尺寸为3.84μm。
进一步地,参照图3所示,图4通过使用标准的USAF 1951分辨率板并测量了4.1组到5.6组条带的归一化对比度来评估原型系统的分辨率和景深。通过逐步增加对焦平面的位置(步长20μm),获得标准分辨率板在每个位置的光场,并重新合成对焦到分辨率板上(图3,第一行),从而表明本发明实施例所提出的相机阵列光场显微具备较大的聚焦范围。对于在成像平面(z=0μm)的光场,本发明实施例以步长为20μm的增量合成重聚焦图像,并与采用传统显微镜获得的图像(图3,第二、第三行)进行比较。合成的重聚焦图像很快发生散焦,并可比拟于传统的显微镜,从而表明了本发明实施例具有良好的光学切片功能。由于光学系统畸变和传感器像素尺寸影响,相机阵列光场显微系统和传统显微镜可分辨条带组分别为5.6(线宽8.77μm)和6.6(线宽4.38μm)。
进一步地,参照图4所示,为了验证本发明实施例的CALM系统,采集了玫瑰花瓣表皮细胞的光场(图4,左)。所采集到的不同视角的视差如图5(中间列)所示,并实现了合成重聚焦(图4,右上)。本发明实施例采用散焦深度估计的方法从合成的散焦图像中估计深度(图4,右下)。本发明实例中图像的空间分辨率为880*768。因此,彩色显微样本详细的3维结构能够被完整的重构出来。
进一步地,由于所采用的相机帧率可以达30帧/秒,本发明实施例可以获得多种显微样本的光场视频。参照图5和图6所示,图5是果蝇幼虫的光场视频,图6是大量隐杆秀丽线虫在水中运动的光场视频。果蝇幼虫的DPC(3Ddifferential phase-contrast,三维差分相衬)视频可以通过归一化对称视角图像的差分计算获得(图5,中间两行)。DPC反映了显微样本轴向相位的梯度。因此,可以利用DPC视频的梯度场定量的恢复出相位信息,结果如图5(最后一行)所示。为了更好的呈现视觉效果,相位重构结果以轴向高度h的形式体现出来,其中Δn为显微样本和环境的折射率差异。本发明实施例可以通过量化相位视频分析揭示了果蝇幼虫运动过程中的形态学变化。图6是隐杆秀丽线虫光场和合成重聚焦视频,揭示了沿轴向不同线虫在空间中的相对位置。
进一步地,参照图7所示,本发明实施例还可以定量分析所采集到光场的准确度。采用光学属性优良的塑料材质(Cyclic Olefin Copolymer)的微透镜阵列(透镜尺寸100μm,折射率1.53)来采集光场。CALM所采集的光场如图7(左上)所示,利用相位重建的方法恢复的微透镜阵列的相位如图7(右上)所示。以共聚焦显微镜(Olympus FV1200)扫描结果为参照,CALM采集光场所重构的形状归一化均方误差(NRMSE)为0.0851。图8(下)为CALM所获取得到的微透镜阵列的横截面(图7右上的三条线位置取平均)和采用共聚焦显微镜获取的微透镜阵列的横截面比较曲线。结果表明本发明实施例的光场数据能够实现高精度相位重建,并且与共焦显微结果有很好的一致性。
综上所述,本发明实施例的基于相机阵列的光场显微系统能够获得高精度光场视频,并且通过采用商业的标准光学显微来验证了其有效性,并展示了多种应用。另外,本发明实施例还可以应用到荧光显微等方向的研究,采用三维反卷积算法方法还能更进一步提高轴向和横向分辨率。与傅里叶变光照(Fourier ptychographic)显微方法结合,CALM还可应用于动态广角高分辨率成像。
根据本发明实施例提出的基于相机阵列的光场显微成像系统,通过相机阵列获取显微样本在不同视角下的样本图像,从而对显微样本在不同视角下的样本图像进行同步采集和光学校准以获取显微样本的高分辨率光场和光场视频,通过整合传感器整列记录的数据,实现高性能显微成像及应用,不但提高了空间分辨率,而且具有更大的灵活性,从而提高了用户的使用体验,结构简单,计算复杂度低。
其次,参照附图描述根据发明实施例提出的基于相机阵列的光场显微成像方法。参照图8所示,相机阵列中的每个相机具有成像透镜和传感器,相机阵列包括成像透镜阵列和传感器阵列,该CALM方法包括以下步骤:
S1,通过显微镜的相机引出口将显微样本放大到像平面。
S2,根据像平面生成光圈平面,并且将光圈平面的尺寸与成像透镜阵列的尺寸匹配相一致。
进一步地,在本发明的一个实施例中,根据像平面生成光圈平面,并且将光圈平面的尺寸与所相机阵列的尺寸匹配相一致具体包括:根据像平面生成光圈平面;以及将光圈平面放大至覆盖整个相机阵列的大小。
S3,成像透镜阵列通过光圈平面获取显微样本在不同视角下的样本图像。
进一步地,在本发明的一个实施例中,相机阵列中的每个相机独立设置。其中,本发明实施例可以通过对每个视角的相机设置不同参数,然后合成单个视角图像,实现高性能显微成像及应用。
具体地,参照图3所示,为了能够生成显微光场的多视角图像,本发明实施例可以采用两级中继系统将光圈平面扩展到成像透镜阵列(的尺寸大小,使得相机阵列中的每个传感器能够采集到子光圈的图像。通过组合校准以及同步之后的不同视角的图像,本发明实施例能够获得在传感器帧率下显微样本的高分辨率四维光场视频,并可以应用于重聚焦、相位重建以及三维成像等。
S4,传感器阵列中每个传感器相应地记录与其对应设置的相机获取的样本图像
S5,对显微样本在不同视角下的样本图像进行同步采集和光学校准以获取显微样本的光场和/或光场视频。
进一步地,在本发明的一个实施例中,通过采用主从服务器构架方式对各传感器之间进行同步。
应理解,根据本发明实施例的基于相机阵列的光场显微成像方法的具体实现过程可与本发明实施例的基于相机阵列的光场显微成像系统的工作流程相同,为了减少冗余,此处不做详细赘述。
根据本发明实施例提出的基于相机阵列的光场显微成像方法,通过相机阵列获取显微样本在不同视角下的样本图像,从而对显微样本在不同视角下的样本图像进行同步采集与光学校准以获取显微场景的高分辨率光场和光场视频,通过整合传感器整列记录的数据,实现高性能显微成像及应用,不但提高了空间分辨率,而且具有更大的灵活性,从而提高了用户的使用体验,实现简单。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (5)

1.一种基于相机阵列的光场显微成像系统,其特征在于,包括:
显微镜,用于通过所述显微镜的相机引出口将显微样本放大到像平面;
放大模块,用于根据所述像平面生成光圈平面,其中,所述放大模块为两级中继系统,且所述两级中继系统包括:第一级中继透镜,所述第一级中继透镜根据所述像平面生成所述光圈平面;第二级中继透镜,所述第二级中继透镜将所述光圈平面放大至覆盖整个所述相机阵列的大小;
相机阵列,所述相机阵列中的每个相机具有成像透镜和传感器,所述相机阵列包括:
成像透镜阵列,用于通过所述光圈平面获取所述显微样本在不同视角下的样本图像,且所述放大模块将所述光圈平面的尺寸与所述成像透镜阵列的尺寸匹配相一致;
传感器阵列,所述传感器阵列中的每个传感器与所述成像透镜阵列中的每个成像透镜对应,所述每个传感器相应地记录与其对应的成像透镜获取的样本图像;以及
控制器,所述控制器与所述相机阵列相连,对所述显微样本在不同视角下的所述样本图像进行同步采集和光学校准以获取所述显微样本的光场和/或光场视频。
2.根据权利要求1所述的基于相机阵列的光场显微成像系统,其特征在于,所述相机阵列中的每个相机独立设置。
3.根据权利要求1所述的基于相机阵列的光场显微成像系统,其特征在于,所述第二级中继透镜的数值孔径大于所述第一级中继透镜的数值孔径。
4.根据权利要求1所述的基于相机阵列的光场显微成像系统,其特征在于,通过对准所述相机阵列、所述两级中继系统和所述相机引出口的光轴,并将所述每个相机的光轴汇聚对准到所述两级中继系统的第二级中继透镜的中心进行光学校准。
5.根据权利要求1所述的基于相机阵列的光场显微成像系统,其特征在于,通过采用主从服务器构架方式对各传感器之间进行同步采集。
CN201510229704.0A 2015-05-07 2015-05-07 基于相机阵列的光场显微成像系统及方法 Active CN104849852B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510229704.0A CN104849852B (zh) 2015-05-07 2015-05-07 基于相机阵列的光场显微成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510229704.0A CN104849852B (zh) 2015-05-07 2015-05-07 基于相机阵列的光场显微成像系统及方法

Publications (2)

Publication Number Publication Date
CN104849852A CN104849852A (zh) 2015-08-19
CN104849852B true CN104849852B (zh) 2017-03-08

Family

ID=53849617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510229704.0A Active CN104849852B (zh) 2015-05-07 2015-05-07 基于相机阵列的光场显微成像系统及方法

Country Status (1)

Country Link
CN (1) CN104849852B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3144890A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for calibrating an optical acquisition system
CN105158888B (zh) * 2015-09-29 2020-09-11 南京理工大学 基于lcd液晶面板的可编程显微镜聚光镜装置及其成像方法
US9754351B2 (en) * 2015-11-05 2017-09-05 Facebook, Inc. Systems and methods for processing content using convolutional neural networks
CN106770131A (zh) * 2017-01-17 2017-05-31 清华大学 三维超光谱显微成像系统及成像方法
CN106842539A (zh) * 2017-01-24 2017-06-13 清华大学 穿透散射介质的快速三维成像系统及方法
CN106707482A (zh) 2017-02-28 2017-05-24 浙江大学 一种宽视场多尺度高分辨率显微成像系统和方法
CN107015356B (zh) * 2017-03-17 2019-08-16 中国科学院自动化研究所 显微图像的显示方法、显示装置及包含该装置的成像系统
CN106990523A (zh) * 2017-05-06 2017-07-28 南京东利来光电实业有限责任公司 高分辨率大视野数码显微装置及显微方法
CN109241812B (zh) * 2017-07-10 2022-10-11 安徽爱观视觉科技有限公司 一种原物识别装置及识别方法
CN108090920B (zh) * 2017-12-14 2021-11-30 浙江工商大学 一种光场图像深度流估计方法
CN107966802A (zh) * 2017-12-26 2018-04-27 清华大学 基于相机阵列的超光谱光片光场显微成像系统及方法
CN108537842B (zh) * 2017-12-29 2022-01-07 南京理工大学 差分相衬显微成像中背景非均匀性的校正与补偿方法
JP7323139B2 (ja) 2018-08-08 2023-08-08 バレンシア大学 プレノプティック接眼装置
US11030776B2 (en) * 2019-02-01 2021-06-08 Molecular Devices (Austria) GmbH Calibration of a light-field imaging system
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
US11543654B2 (en) * 2020-09-16 2023-01-03 Aac Optics Solutions Pte. Ltd. Lens module and system for producing image having lens module
CN113724371B (zh) * 2021-08-13 2023-06-13 深圳技术大学 同轴照明光场的三维成像方法、系统、电子装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
CN102822660A (zh) * 2010-01-19 2012-12-12 维森盖特有限公司 断层扫描光场显微镜
CN104079808A (zh) * 2014-07-13 2014-10-01 西安电子科技大学 超高分辨率宽场成像系统
CN104181686A (zh) * 2014-08-25 2014-12-03 清华大学深圳研究生院 基于fpm的光场显微方法
CN104224127A (zh) * 2014-09-17 2014-12-24 西安电子科技大学 基于相机阵列的光学投影断层成像装置及方法
CN104469118A (zh) * 2014-12-26 2015-03-25 大族激光科技产业集团股份有限公司 一种相机阵列的视觉增强系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1941314A4 (en) * 2005-10-07 2010-04-14 Univ Leland Stanford Junior ARRANGEMENTS AND APPROACHES FOR MICROSCOPY
US7872796B2 (en) * 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US9092890B2 (en) * 2012-12-20 2015-07-28 Ricoh Company, Ltd. Occlusion-aware reconstruction of three-dimensional scenes from light field images
US9658443B2 (en) * 2013-03-15 2017-05-23 The Board Of Trustees Of The Leland Stanford Junior University Optics apparatus with detection of light rays received at different angles for output indicative of aliased views

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102822660A (zh) * 2010-01-19 2012-12-12 维森盖特有限公司 断层扫描光场显微镜
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法
CN104079808A (zh) * 2014-07-13 2014-10-01 西安电子科技大学 超高分辨率宽场成像系统
CN104181686A (zh) * 2014-08-25 2014-12-03 清华大学深圳研究生院 基于fpm的光场显微方法
CN104224127A (zh) * 2014-09-17 2014-12-24 西安电子科技大学 基于相机阵列的光学投影断层成像装置及方法
CN104469118A (zh) * 2014-12-26 2015-03-25 大族激光科技产业集团股份有限公司 一种相机阵列的视觉增强系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Light Field Microscopy;Marc Levoy 等;《Association for Computing Machinery》;20061231;第924-934页 *
光场显微镜实现裸眼三维实时显示;戴志华 等;《光学学报》;20121031;第32卷(第10期);第10222005-1至1022005-4页 *
显微镜景深拓展技术研究;张平 等;《应 用 光 学》;20141130;第35卷(第6期);第1075-1082页 *

Also Published As

Publication number Publication date
CN104849852A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
CN104849852B (zh) 基于相机阵列的光场显微成像系统及方法
Park et al. Review of bio-optical imaging systems with a high space-bandwidth product
US11422503B2 (en) Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
US9679360B2 (en) High-resolution light-field imaging
Wu et al. Artificial compound eye: a survey of the state-of-the-art
JP6319329B2 (ja) プレノプティック・カメラを使った表面属性の推定
CN109615651B (zh) 基于光场显微系统的三维显微成像方法及系统
US9952422B2 (en) Enhancing the resolution of three dimensional video images formed using a light field microscope
US10539771B2 (en) Rapid three-dimensional multispectral microscopic imaging system
CN101896856B (zh) 用于光学层析成像的景深扩展
CN111366557A (zh) 一种基于薄散射介质的相位成像方法
CN106901680A (zh) 光领域耳镜的光学设计
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
KR20200126392A (ko) 플렌옵틱 카메라 시스템을 교정하기 위한 방법 및 시스템
CN115220211A (zh) 基于深度学习和光场成像的显微成像系统及方法
Genovese et al. Multi-view digital image correlation systems for in vitro testing of arteries from mice to humans
Lu et al. A practical guide to scanning light-field microscopy with digital adaptive optics
Zhang et al. Three-dimensional light field microscope based on a lenslet array
Shao et al. Mesoscopic oblique plane microscopy with a diffractive light-sheet for large-scale 4D cellular resolution imaging
JP4714674B2 (ja) 光補正要素を有した顕微鏡画像処理システム
CN113746999A (zh) 成像方法、成像装置、光学成像系统及车辆
CN106842539A (zh) 穿透散射介质的快速三维成像系统及方法
CN103558160A (zh) 一种提高光谱成像空间分辨率的方法和系统
Kwan et al. High resolution, programmable aperture light field laparoscope for quantitative depth mapping
CN107015356B (zh) 显微图像的显示方法、显示装置及包含该装置的成像系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant