CN110383137A - 三维显微术 - Google Patents

三维显微术 Download PDF

Info

Publication number
CN110383137A
CN110383137A CN201880015885.9A CN201880015885A CN110383137A CN 110383137 A CN110383137 A CN 110383137A CN 201880015885 A CN201880015885 A CN 201880015885A CN 110383137 A CN110383137 A CN 110383137A
Authority
CN
China
Prior art keywords
microlens array
image
plane
phase
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880015885.9A
Other languages
English (en)
Other versions
CN110383137B (zh
Inventor
因格·克莱珀
马蒂亚斯·瓦尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN110383137A publication Critical patent/CN110383137A/zh
Application granted granted Critical
Publication of CN110383137B publication Critical patent/CN110383137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/0006Arrays
    • G02B3/0037Arrays characterized by the distribution or form of lenses
    • G02B3/0056Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

在一种用于以三维方式对物体(3)成像的显微术方法中,通过成像光束路径将物体成像成位于第一图像平面上的第一图像(12)。第一微透镜阵列(8a)布置在第一图像平面上,并且具有相同节距的第二微透镜阵列(8b)布置在第一微透镜阵列的下游。两个微透镜阵列(8a、8b)将第一图像(12)横向分段成片段(15、16),并且将第一图像(12)成像成第二图像(13),在第二图像(13)中,片段被间隔开并且由间隙(17)分离。在微透镜阵列(8a、8b)下游的光瞳平面(14)上,提供相位掩模(9c),相位掩模(9c)根据像素扩散函数为第二图像(13)的每个片段(15、16)产生光斑(18、19)。检测器(11)检测光斑的形状和结构,并且控制器(11)依据每个片段(15、16)的光斑(18、19)的形状和/或结构确定横向强度分布和深度说明,并且由此产生物体(3)的深度分辨图像。

Description

三维显微术
发明领域
本发明涉及一种用于物体的三维成像的方法,其中物体沿着成像光束路径成像为位于第一图像平面中的第一图像,第一微透镜阵列布置在第一图像平面中,在第一微透镜阵列的下游捕获强度分布,并且从中获得图像数据,并且从后者产生物体的深度分辨图像。
本发明进一步涉及一种用于使用将物体成像为位于第一图像平面中的第一图像的成像装置来进行三维物体成像的照相机,所述照相机包括:第一微透镜阵列,所述第一微透镜阵列用于布置在显微镜的第一图像平面中或布置在借助于中间光学单元由此导出的另一图像平面中;检测器,所述检测器产生图像数据,并且所述检测器设置在第一微透镜阵列下游;和控制装置,所述控制装置用于依据图像数据产生电子深度分辨图像。
背景技术
现有技术已经公开了借助于显微术获得深度分辨率并且因此开发3D显微术的各种方法。为了这个目的,所谓的光场显微术由M.Broxton等人的出版物(《光学快讯》(OpticsExpress),第21卷,第21期,第25418-25439页)提出。在这种显微术方法中,用于物体的三维成像的微透镜阵列布置在显微镜的图像平面中或者布置在借助于中间光学单元由此导出的另一图像平面中,所述微透镜阵列将辐射引导到检测器上。这里,选择设计使得微透镜阵列的个别透镜的像场完全填充检测器所在的平面。由检测器捕获的光场的适当图像处理供应具有更大景深的图像,并且促进来自物体的不同深度位置的部分。这实现了3D显微术。然而,光场显微术将横向分辨率降低到位于图像平面中的微透镜阵列的单个透镜元件的直径。N.Cohen等人的出版物(《光学快讯》(Optics Express),第22卷,第20期,第24817-24839页)借助于在物镜的后侧焦平面中提供第一相位掩模和直接在微透镜阵列上提供的第二相位掩模并且借助于适应于这种改变的图像数据的计算评估来改进光场显微术的横向分辨率。
US 7433042B1描述了微透镜阵列的使用,所述微透镜阵列被采用作为显微镜的镜筒透镜,并且所述微透镜阵列具有紧邻其下游设置的滤色掩模,所述掩模为微透镜阵列的每个透镜提供多个滤色区域。这允许从通过显微术获得的图像获得颜色信息。
R.Berlich等人的出版物(《光学快讯》(Optics Express),第24卷,第6期,第5946-5960页)考虑了借助于操纵点扩散函数来实现物体的三维分辨率。
N.Hagen和M.Kudenov的出版物(《光学工程》(Optical Engineering),第52卷,第9期,2013年9月,第090901-1-090901-23页)解释了从单个显微术记录提取颜色信息的各种选项。
此外,已知不同时操作(即需要多次记录)的深度分辨方法。为了这个目的的一个示例是具有样品的共焦扫描的所谓的光片显微术或激光扫描显微术。由于所述方法需要多个记录的事实,它们在速度方面具有显著的缺点。相比之下,由于减小了光瞳中的有效数值孔径,上文所提到的光场方法在横向分辨率方面受到影响。
发明内容
因此,本发明基于开发三维显微术方法的目的,使得可以从样品的单个图像获得具有最小的可能横向分辨率损失和最简单的可能光学结构的三维信息。
在权利要求1中定义了本发明,涉及显微术方法,并且在权利要求6中定义了本发明,涉及使用显微镜进行三维物体成像的照相机。本发明进一步包括具有这样的照相机的显微镜。
在显微术方法中,出于物体的三维成像的目的,沿着成像光束路径将所述物体成像到第一图像平面中。第一微透镜阵列布置在所述第一图像平面中。在所述第一微透镜阵列的下游捕获强度分布。从中获得图像数据,借助于所述图像数据产生所述物体的深度分辨图像。在这个方面,所述显微术方法对应于光场显微术。然而,第二微透镜阵列现在另外设置在所述第一微透镜阵列的下游。两个微透镜阵列都具有相同的节距。它们一起在第二图像平面中产生所述第一图像的横向分段版本。该第二图像具有多个片段。每个片段与相邻片段间隔开。因此,所述两个微透镜阵列产生通过间隙彼此间隔开的片段。然而,该分段图像不是以这种方式存在的,因为由所述间隙产生的空间被用于所述相位操纵,所述相位操纵在第二图像中为每个片段产生光斑,所述光斑通过根据取决于所述物体中的深度位置的点扩散函数的相位操纵来构造。所述相位操纵被设计成使得所述光斑的形式和/或结构编码所述物体中相关联点的深度位置。因此,所产生的光斑表示与通过所产生的间隙使得可能的原始片段相关的放大。所述光斑至少部分地覆盖间隙。在所述第二图像平面中捕获所述强度分布,针对每个片段分辨所述光斑的形式和/或结构。根据图像处理的范围内的光斑的形式和/或结构针对每个片段确定所述原始片段的横向强度分布(即,在相位操纵之前)以及另外关于在相应物体点处的深度结构的说明。由此产生所述物体的深度分辨图像。
两个微透镜阵列将所述第一图像横向分段并且确保所述第二图像中的片段由间隙分离。所述间隙被用于随后的相位操纵,所述相位操纵由于以深度相关方式操纵的点扩散函数而将所述片段扩展成大于所述原始片段的光斑。所述光斑的形式和/或结构取决于所述物体在所述相应片段中的后向散射或发射辐射(例如,荧光)元件的深度位置。由于间隙,所扩展的光斑保持彼此充分间隔开,并且还可以在分辨所述光斑的形式和/或结构的强度分布的后续评估的范围内,就相应光斑中的横向强度分布方面和深度结构方面进行评估。由于与所述光场显微术不同,所述片段继续承载横向空间信息,所述显微术方法或所述照相机保持所述第一图像的横向空间信息,并且不一定将所述横向空间信息限制到所述第一微透镜阵列的节距。因此,所述横向分辨率不会像在光场显微术中那样被损害到损害所述深度分辨率的程度。
存在用于布置所述两个微透镜阵列的许多选项。在实施例中,所述两个微透镜阵列被实施成使得获得远心中间图像,其中可以实施所述相位操纵的光瞳平面然后由中继光学单元由此生成。然后,所述两个微透镜阵列定位成相距与所述两个阵列的焦距之和对应的距离。在其它实施例中,产生非远心中间图像平面。然后可以省去用于产生另一光瞳的中继光学单元。所述相位操纵光瞳介入直接在所述第二微透镜阵列处实现。后者位于所述第一微透镜阵列的焦平面中。
为了简化所述分段,优选的是,借助于后放大光学单元来相对于传统显微镜图像扩展所述第一图像。
可以针对所述光束路径的整个横截面设计所述相位操纵。然后,将单个相位操纵元件(例如,相位掩模或空间光调制器)放置到所述光束路径(例如,所述光瞳平面)中。因此,所述光束路径可以具有相对于所述元件的反射性或透射实施例。可替选地,可以实施所述相位操纵,使得针对单独的片段提供单独的相位掩模元件。该建构特别适合于具有非远心中间图像的实施例,其中所述相位操纵在所述第二微透镜阵列处实施。然后,所述第二微透镜阵列不仅包括各自具有成像效果的多个微透镜,而且相位操纵元件(例如,相位掩模元件)同时与所述微透镜组合。
为了最小化单独的微透镜的图像之间的串扰,优选地观测所述第一微透镜阵列的微透镜的焦距f与节距(间隔)之间的关系,所述关系满足下述关系式
(f/p)=α/(2NA)。
这里,p是所述微透镜中心的间隔。所述光束横截面的面积相对于所述微透镜的面积由α标示;即,在所述微透镜完全照明的情况下,它假定值为1。NA是所述中间图像中的数值孔径,所述照相机被设计用于所述中间图像。
用于三维物体成像的照相机可以用在传统的宽视场显微镜中。所有需要实施的是将所述微透镜阵列放置在所述显微镜的图像平面中。在这对于结构区域是不可能的情况下,例如因为显微镜凸缘没有提供足够的入口或空间,所述照相机可以包括中间光学单元,所述中间光学单元将所述第一图像平面中的第一图像移动到所述微透镜阵列然后所在的另一图像平面中。该方法是从M.Broxton等人的上述工作中得知的。
可改装的照相机提供一种具有对应的3D能力的成像设备,例如,到目前为止还不允许明显三维物体成像的眼底照相机或显微镜。
附图说明
下面,仍将参考附图,通过示例的方式更详细地解释本发明。在附图中:
图1示出了包括用于3D显微术的照相机的显微镜的示意性图示,
图2示出了具有照相机的显微镜中的光束路径的示意性图示,
图3示出了根据图1的显微镜中或根据图2的光束路径中出现的各种图像的序列,
图4和图5示出了在图2和图1的照相机中微透镜阵列对的布置的可能变体,
图6示出了相位掩模的图示,并且
图7示出了该相位掩模效果的图示。
具体实施方式
图1示意性地示出了用于三维显微术的显微镜1。图2示意性地示出了显微镜1的相关联光束路径。以示例性方式,显微镜1被配置用于宽视场显微术,并且它包括样品台2,待通过显微术检查的物体3位于样品台2上。显微镜1是传统的宽视场显微镜;然而,它已经由照相机补充,所述照相机的光学元件在图1和图2中由附图标记4标示。除了这些光学元件之外,照相机4另外包括控制器11,控制器11可以实施为独立的控制器,或者可以通过在任何情况下都已经被提供用于显微镜1中的其它目的的控制器的特定功能来实现。特定来说,控制器11可以体现为用于传统计算机的软件模块。它经由线路接收图像数据并且处理所述图像数据。
显微镜1经由物镜5和镜筒透镜6对物体3成像,镜筒透镜6用作传统的场透镜。然而,在该实施例中,放大光学单元7(其是可选的)设置在镜筒透镜6的下游。物镜5和镜筒透镜6在图像平面中产生宽视场图像12,所述图像平面由于设置在其下游的照相机4而仅是中间图像平面。中间图像平面中的图像12由微透镜阵列对8记录,微透镜阵列对8包括第一微透镜阵列8a和第二微透镜阵列8b。两个微透镜阵列8a、8b具有相同的节距。第一微透镜阵列8a布置在中间图像平面中。由于之后在图2的光束路径中仍然是其它的中间图像平面或像平面,所以由物镜5、镜筒透镜6和放大光学单元7提供的图像平面在这里被称为第一图像平面或第一中间图像平面。
放大光学单元7的效果是第一中间图像平面中的图像相对于将由物镜5和镜筒透镜6提供的尺寸被扩展。这种扩展不提供额外的图像信息,而是简化了后续微透镜阵列对8的图像信息。
微透镜阵列对8将第一图像12细分成片段。下面将基于图3更详细地解释分段的类型。所分段的图像13b在第二中间图像平面中被发现,并且借助于相位操纵装置9从那里成像成在检测器10上的最终图像15。相位操纵装置9包括中继光学单元9a、9b,中继光学单元9a、9b将第二中间图像平面传送到最终图像平面中,检测器10和最终图像15位于最终图像平面中,其中插置的光瞳平面14出现,相位掩模9c布置在其中。
图2示出了对应的图像平面的序列。图3示出了相关联的图像。由于后续光学单元而仅是第一中间图像的第一图像12出现在第一中间图像平面中。微透镜阵列对8将第一中间图像12细分为单独的片段15、16,其中细分由微透镜阵列8a、8b的节距预先确定。同时,第一中间图像12由微透镜阵列对8扩展,使得单独的片段与相邻片段间隔开。图3示出了用于阐明目的的分段序列。第一图像12在左侧。下一个图像实际上不存在,并且应该仅指示第一幅图像12中的分段效果。然后接下来是第二中间图像13,第二中间图像13实际上是由微透镜阵列对产生的,并且其中在第一中间图像12中,在片段15、16之间现在存在无缝地彼此相对放置的间隙17。这适用于第一中间图像12已经被细分成的所有片段。
间隙17借助于相位操纵装置9为后续的相位操纵提供空间。它经由它的中继光学单元9a、9b记录第二中间图像13,并且将所述第二中间图像成像成在检测器10上的最终图像15,其中相位操纵由插置的光瞳平面14中的相位掩模9b实施。相位掩模9b的相位操纵使每个片段15、16经受取决于物体3中深度位置的点扩散函数。因此,对应的光斑18、19从每个片段15、16出现。它相对于原始片段15、16被扩展;即,它在最终图像15中占据更大的面积。然而,由于微透镜阵列对8在第二中间图像13中产生的间隙17,存在用于将片段15、16扩展成光斑18、19的空间。
为了使单独的微透镜的图像之间的串扰最小化,优选地观测第一微透镜阵列的微透镜的焦距f与中心的间隔(下面称为节距)之间的关系,所述关系满足下述关系式
(f/p)=α/(2NA)(1)。
这里,p是微透镜中心的间隔。光束横截面的面积相对于微透镜的面积用α标示;即,在微透镜完全照明的情况下,它假设值为1。NA是中间图像12中的数值孔径,照相机4被设计用于中间图像12。
该关系基于可归功于发明人的以下发现:在可能的情况下,在微透镜之间不应存在成像串扰的条件可以通过照明参数α借助于α<1的要求来表达。如果定义了相对变量k,后者描述了单独的微透镜的像场的尺寸相对于艾里斑(airy disk)的尺寸(k:=p/艾里直径),则可以通过k的最小尺寸规定其中没有通过衍射进行后续光束成形的相位信息并且因此丢失了其它微透镜上方的分布的状态。以示例方式,如果k显著小于1艾里,则通道中的光束成形的相位信息将不再完全存在。由此得出的是,为了在每个微透镜图像中传输足够的z信息,k必须至少大于1艾里,但更好的是甚至大于2艾里。然后,图像信息可以特别好地编码。对于微透镜阵列的性质,对于微透镜间隔(p)与焦距(f)的比率的可选限制从两个条件中显现出来:
由于艾里斑的尺寸由其直径d=1.22λ/NA给出,并且由于k=p/d适用,所以令人惊讶地清晰起来,上述等式(1)源于等式(2)。
同样,获得足够尺寸减小的微透镜阵列的焦距比是优选的,以便通过每个微透镜的z编码为光束的扩展创建足够的空间。这显然取决于所捕获的z平面的预期数量。
图3示意性地示出了细长光斑18、19的扩展,细长光斑18、19的旋转位置取决于物体3中的深度,片段15、16的图像信息源自物体3。最终图像15由检测器10捕获,检测器10的空间分辨率被设计成使得光斑18、19的形状和/或结构被分辨。然后,依据检测器10的图像数据,控制装置11确定关于深度位置的信息(在图3中以示例性方式由细长光斑18、19的旋转位置表征)和关于在原始片段15、16中存在的横向强度分布的信息。这确定了物体3的三维分辨图像,即深度说明,而微透镜阵列8a、8b的节距的横向分辨率没有降低。
参考以下事实:在图3中,片段15、16仅以示例性方式绘制为矩形。这用于阐明目的。其它片段形式也是可能的,例如,圆形片段。相同情形适用于光斑18、19,出于阐明目的,光斑18、19仅被绘制为细长光斑。
现有技术已经公开了产生依赖于深度的点扩散函数的各种相位掩模。在WO 2012/039636中以及在DE 102012224306 A1中找到了这样的相位掩模的示例。尽管这两个出版物特别是结合所谓的定位显微术(例如,PALM方法)在不同的上下文中解释了相位掩模,但是其中解释的相位操纵同样适合子通过照相机4产生依赖于深度的点扩散函数。在这种观点下,这些文献的公开内容在此以全文引用的方式并入。
在图2的光束路径中,微透镜阵列对8产生第二中间图像13,并且相位操纵装置9将后者转换为最终图像15,同时产生插置的光瞳平面14。为了这个目的,如图4中所示,微透镜阵列对8可以以远心布置配置;即,第一微透镜阵列8a和第二微透镜阵列8b间隔开达它们的焦距之和。然而,没有远心中间图像的配置也是可能的。在图5中阐明了该实施例。然后,第二微透镜阵列8b与第一微透镜阵列8a相距对应于第一微透镜阵列8a的焦距的距离,该第一微透镜阵列8a位于第一中间图像12的第一中间图像平面中。然后,有可能省去中继光学单元9a、9b,并且直接在第二微透镜阵列9b处实施相位操纵。图5以示例性方式绘制了呈相位掩模9c的形式的相位操纵结构,相位掩模9c被施加到微透镜阵列8b的前侧。自然地,对应的结构也可以布置在第二微透镜阵列8b内或其后侧上。同样,有可能在第二微透镜阵列8b的上游或下游直接设置对应的相位掩模。非远心设计的优点首先在于其紧凑性,因为最终图像15在第二微透镜阵列8b和检测器10布置在那里之后相对较短地出现。其次,相邻微透镜阵列之间存在非常低的通道串扰。还有可能省去用于中继光学单元9a、9b的调节费用。
用于相位掩模的各种变体对于两种变体(即,对于具有下游中继光学单元9a、9b的图4和没有该中继光学单元的图5)都被讨论。这里应该区分两种根本不同的方法。在图4中,相位掩模可以在光束路径的整个横截面上实施均匀的相位操纵。作为其替代方案,有可能提供以依赖于深度的方式为单独的片段单独地修改点扩散函数的单独相位掩模元件的阵列。对于图4中的结构,这是可选的;在图5中自动获得这种效果。
由控制器11执行的图像数据的处理可以求助于在开始时指定的光场显微术的算法。如何通过检测器10在强度分布中编码z信息最终取决于所选择的相位掩模。因此,下面独立于特定相位掩模提供用于处理图像数据的方法的一般描述。
在实施例中,基于分配给检测器10的单独像素的点扩展函数(PSF),对图像进行去卷积。这类似于Broxton等人所描述的方法(上面提供的引用)——不同之处在于,PSF现在对于像素来说是单独的。在实施例中,它是预先已知的,并且是依据PSF在第二微透镜阵列8b上方的分布来确定的。
通常,假设对于第二微透镜阵列8b的所有微透镜来说,PSF的分布是相同的就足够了,因此在实施例中,出于确定每像素的PSF的目的,知道用于单独的微透镜的PSF的变化就足够了。因为像素组被分配给每个微透镜,所以对于检测器10的每个像素,每像素的PSF以简单的方式从每微透镜的PSF的变化中出现。
在实施例中,单独的微透镜的PSF是预先已知的,例如依据实验确定,例如通过测量作为样品主体的珠子。在其它实施例中,使用可分析地描述的相位掩模。然后,以类似于Broxton等人的方式(第25427页,等式5)对PSF进行了分析推导——然而,现在也考虑了第二微透镜阵列8b。此外,用于微透镜的PSF可以使用波光学模型以数字方式计算。在其它实施例中,其从整个设置(包含相位掩模)的波-光模拟中是预先已知的。在实施例中,微透镜的PSF可以以类似于光场显微术的方式离散化(参见Broxton等人,第3.2节),并且噪声可以包含在建模中。
在实施例中,去卷积以及因此图像建构以类似于使用Lucy-Richardson形式主义的Broxton等人的方式(参见Broxton等人,第3.4节)使用每像素的PSF来实施。相比之下,由于PSF的空间依赖性,不能考虑传统的线性去卷积方法。
可替选地,在简化的实施例中,可以在不进行去卷积的情况下将检测器的单独像素分配给物体3中的平面。图6示出了例如可以在图2的设置中使用的相位掩模9c的平面图。它产生螺旋点扩散函数。焦平面中的点的图像通过该相位掩模9c被细分成彼此相邻的两个光斑。这些光斑依据距焦平面的距离而围绕公共中心旋转。这里,由于PSF的螺旋形状,光斑的间距也有略微改变。这些条件在图7中示出,图7以示例性方式示出了位于焦平面中(图7中的中心图示)的点的图像,所述点被布置在焦平面的略下方(图7中的左侧图示),或者所述点被布置在焦平面的略上方(图7中的右侧图示)。

Claims (13)

1.一种用于物体(3)的三维成像的方法,其中
沿着成像光束路径将所述物体(3)成像为位于第一图像平面中的第一图像(12),
第一微透镜阵列(8a)布置在所述第一图像平面中,
在所述第一微透镜阵列(8a)的下游捕获强度分布并从所述强度分布获得图像数据,并且从所述图像数据产生所述物体(3)的深度分辨图像,
其特征在于,
具有与所述第一微透镜阵列(8a)相同的节距的第二微透镜阵列(8b)设置在所述第一微透镜阵列(8a)的下游,
借助于所述第一微透镜阵列(8a)和所述第二微透镜阵列(8b)将所述第一图像(12)横向分段成多个片段(15、16),并且将所述第一图像(12)成像为第二图像(13),在所述第二图像(13)中,所述多个片段(15、16)彼此间隔开并且由间隙(17)分离,
在所述第一微透镜阵列(8a)的下游执行相位操纵(9c),所述相位操纵根据点扩散函数在第二图像平面中针对每个片段(15、16)产生光斑(18、19),所述光斑的形式和/或结构对所述物体(3)中的深度位置进行编码并且覆盖所述第二图像(13)中的间隙(17),
捕获针对所述第二图像(13)的强度分布,分辨所述光斑(18、19)的形式和/或结构,并且
从所述光斑(18、19)的形式和/或结构确定针对每个片段(15、16)的横向强度分布和深度说明,并且依据所述横向强度分布和所述深度说明产生所述物体(3)的所述深度分辨图像。
2.根据权利要求1所述的方法,其特征在于,借助于物镜(5)和镜筒透镜(6)在所述成像光束路径中对所述物体(3)进行成像,另外借助于后放大光学单元(7)来扩展所述第一图像(12)。
3.根据权利要求1或2所述的方法,其特征在于,所述第二微透镜阵列(8b)布置在距所述第一微透镜阵列(8a)一距离处,所述距离等于这两个微透镜阵列(8a、8b)的焦距之和,并且所述第二微透镜阵列(8b)之后是中继光学单元(9a、9b),所述中继光学单元(9a、9b)产生光瞳平面(14),在所述光瞳平面(14)中执行所述相位操纵。
4.根据权利要求1或2所述的方法,其特征在于,所述第二微透镜阵列(8b)布置在距所述第一微透镜阵列(8a)一距离处,所述距离等于所述第一微透镜阵列(8a)的焦距,并且相位操纵元件(9c)与所述第二微透镜阵列(8b)组合。
5.根据权利要求1和2中任一项所述的方法,其特征在于,使用作用于所有片段(15、16)的相位掩模(9c)或使用相位掩模阵列来实施所述相位操纵,所述相位掩模阵列包括用于单独的片段(15、16)的单独的相位掩模元件。
6.根据前述权利要求中任一项所述的显微术方法,其特征在于,观测所述第二微透镜阵列(8b)的微透镜的焦距f与微透镜的中心之间的距离p之间的关系,所述关系满足下述关系式
(f/p)=α/(2NA),
其中,α是所述第二微透镜阵列(8b)的每个微透镜处的光束横截面面积与所述微透镜的面积之间的比率,并且NA是所述第一图像(12)中的数值孔径。
7.一种用于使用成像装置进行三维物体成像的照相机,所述成像装置将所述物体(3)成像为位于第一图像平面中的第一图像(12),所述照相机(4)包括:
第一微透镜阵列(8a),所述第一微透镜阵列用于布置在所述显微镜(1)的第一图像平面中或布置在借助于中间光学单元由第一图像平面产生的另一图像平面中,
检测器(10),所述检测器产生图像数据,并且所述检测器设置在所述第一微透镜阵列(8a)的下游,和
控制装置(11),所述控制装置用于依据所述图像数据产生所述物体(3)的深度分辨图像,
其特征在于,
具有与所述第一微透镜阵列(8a)相同的节距的第二微透镜阵列(8b)布置在所述第一微透镜阵列(8a)与所述检测器(11)之间,
所述第一微透镜阵列(8a)和所述第二微透镜阵列(8b)被实施为将所述第一图像(12)横向分段成多个片段(15、16)并且将这些片段成像为第二图像(13),在所述第二图像(13)中,所述片段(15、16)彼此间隔开并且由间隙(17)分离,
相位操纵装置(9)设置在所述第一微透镜阵列(8a)的下游,所述相位操纵装置根据点扩散函数在所述第二图像平面中针对每个片段(15、16)产生光斑(18、19),所述光斑的形式和/或结构编码所述物体(3)中的深度位置并且覆盖所述第二图像(13)中的间隙(17),
所述检测器(10)位于所述第二图像平面中并且捕获所述光斑(18、19)的形式和/或结构,并且
所述控制装置(11)根据所述光斑(18、19)的形式和/或结构确定每个片段(15、16)的横向强度分布和深度位置说明,并且根据所述横向强度分布和所述深度位置说明产生所述物体(3)的所述深度分辨图像。
8.根据权利要求7所述的照相机,其特征在于,所述第二微透镜阵列(8b)布置在距所述第一微透镜阵列(8a)一距离处,所述距离等于所述两个微透镜阵列(8a、8b)的焦距之和,并且所述第一微透镜阵列(8a)和所述第二微透镜阵列(8b)的阵列对之后是中继光学单元(9a、9b),所述中继光学单元(9a、9b)产生光瞳平面(14),相位掩模(9c)被布置在所述光瞳平面(14)中以便由所述中继光学单元(9a、9b)和所述相位掩模(9c)形成所述相位操纵装置(9)。
9.根据权利要求7所述的照相机,其特征在于,所述第二微透镜阵列(8b)布置在距所述第一微透镜阵列(8a)一距离处,所述距离等于所述第一微透镜阵列(8a)的焦距,并且所述相位操纵装置(9)被实施为相位掩模(9c),所述相位掩模与所述第二微透镜阵列(8b)组合或布置在所述第二微透镜阵列(8b)处。
10.根据权利要求7到9中任一项所述的照相机,其特征在于,所述相位操纵元件是相位掩模阵列或作用于所有片段(15、16)的相位掩模(9c),所述相位掩模阵列包括用于单独的片段(15、16)的单独的相位掩模元件。
11.根据权利要求7到10中任一项所述的照相机,其特征在于,在所述第二微透镜阵列(8b)的微透镜的焦距f与所述微透镜的中心之间的距离p之间存在一关系,所述关系满足下述关系式
(f/p)=α/(2NA),
其中,α是所述第二微透镜阵列(8b)的每个微透镜处的光束横截面面积与所述微透镜的面积之间的比率,并且NA是所述第一图像平面中的数值孔径。
12.一种显微镜,所述显微镜包括根据权利要求7到11中任一项所述的照相机(4)。
13.根据权利要求12所述的显微镜,其特征在于,所述显微镜具有成像光束路径,所述成像光束路径包括物镜(5)和设置在所述物镜(5)下游的镜筒透镜(6),以及扩展所述第一图像(12)的后放大光学单元(7)。
CN201880015885.9A 2017-03-10 2018-03-01 三维显微术 Active CN110383137B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017105103.1 2017-03-10
DE102017105103.1A DE102017105103A1 (de) 2017-03-10 2017-03-10 3D-Mikroskopie
PCT/EP2018/055053 WO2018162319A1 (de) 2017-03-10 2018-03-01 3d-mikroskopie

Publications (2)

Publication Number Publication Date
CN110383137A true CN110383137A (zh) 2019-10-25
CN110383137B CN110383137B (zh) 2022-06-07

Family

ID=61655724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880015885.9A Active CN110383137B (zh) 2017-03-10 2018-03-01 三维显微术

Country Status (5)

Country Link
US (1) US11454798B2 (zh)
EP (1) EP3593190B1 (zh)
CN (1) CN110383137B (zh)
DE (1) DE102017105103A1 (zh)
WO (1) WO2018162319A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474699A (zh) * 2020-04-09 2020-07-31 浙江未来技术研究院(嘉兴) 一种可编程孔径的手术显微镜

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN208969331U (zh) * 2018-11-22 2019-06-11 卡尔蔡司显微镜有限责任公司 智能照相显微镜系统
US11676294B2 (en) * 2019-05-01 2023-06-13 William Marsh Rice University Passive and single-viewpoint 3D imaging system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086558A1 (en) * 2010-01-14 2011-07-21 Humaneyes Technologies Ltd. Lenticular image articles and method and apparatus of reducing banding artifacts in lenticular image articles
US20130063825A1 (en) * 2007-06-22 2013-03-14 Tracer Imaging Llc Lenticular product
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views
CN104516097A (zh) * 2013-09-26 2015-04-15 卡尔蔡司医疗技术股份公司 光学成像系统
DE102014102215A1 (de) * 2014-02-20 2015-08-20 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Lichtblattmikroskopie
CN105259664A (zh) * 2015-11-13 2016-01-20 苏州苏大维格光电科技股份有限公司 一种光场成像打印装置及具有三维浮动图像的薄膜

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3013467A (en) 1957-11-07 1961-12-19 Minsky Marvin Microscopy apparatus
US20060256436A1 (en) * 2002-01-23 2006-11-16 The University Of Connecticut Integral three-dimensional imaging with digital reconstruction
US20070079750A1 (en) 2003-05-09 2007-04-12 Herman Miguez Method of laser writing refractive index patterns in silicon photonic crystals
US7433042B1 (en) 2003-12-05 2008-10-07 Surface Optics Corporation Spatially corrected full-cubed hyperspectral imager
DE112011103187B4 (de) 2010-09-24 2021-10-14 Carl Zeiss Microscopy Gmbh System und Verfahren zur 3D-Lokalisierungsmikroskopie
CN104471462B (zh) * 2012-02-23 2017-09-19 美国卫生与公共服务秘书部 多焦结构化照明显微系统和方法
DE102012224306A1 (de) 2012-12-21 2014-06-26 Carl Zeiss Microscopy Gmbh Verfahren zur hochauflösenden 3D-Lokalisierungsmikroskopie
US10317597B2 (en) 2014-08-26 2019-06-11 The Board Of Trustees Of The Leland Stanford Junior University Light-field microscopy with phase masking
US9726875B2 (en) 2014-09-30 2017-08-08 Agilent Technologies, Inc. Synthesizing light fields in microscopy
EP3086155A1 (en) 2015-04-23 2016-10-26 Fundació Institut de Ciències Fotòniques Image cytometer for characterization and quantification of particulate samples
JP6503221B2 (ja) 2015-05-13 2019-04-17 オリンパス株式会社 3次元情報取得装置、及び、3次元情報取得方法
JPWO2017221334A1 (ja) * 2016-06-21 2019-04-11 オリンパス株式会社 顕微鏡用結像光学系およびライトフィールド顕微鏡装置
WO2018039361A1 (en) * 2016-08-23 2018-03-01 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods for instant total internal reflection fluorescence/structured illumination microscopy

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130063825A1 (en) * 2007-06-22 2013-03-14 Tracer Imaging Llc Lenticular product
WO2011086558A1 (en) * 2010-01-14 2011-07-21 Humaneyes Technologies Ltd. Lenticular image articles and method and apparatus of reducing banding artifacts in lenticular image articles
US20140263963A1 (en) * 2013-03-15 2014-09-18 The Board Of Trustees Of The Leland Stanford Junior University Volume imaging with aliased views
CN104516097A (zh) * 2013-09-26 2015-04-15 卡尔蔡司医疗技术股份公司 光学成像系统
DE102014102215A1 (de) * 2014-02-20 2015-08-20 Carl Zeiss Microscopy Gmbh Verfahren und Anordnung zur Lichtblattmikroskopie
CN105259664A (zh) * 2015-11-13 2016-01-20 苏州苏大维格光电科技股份有限公司 一种光场成像打印装置及具有三维浮动图像的薄膜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474699A (zh) * 2020-04-09 2020-07-31 浙江未来技术研究院(嘉兴) 一种可编程孔径的手术显微镜

Also Published As

Publication number Publication date
US20210141205A1 (en) 2021-05-13
US11454798B2 (en) 2022-09-27
EP3593190A1 (de) 2020-01-15
WO2018162319A1 (de) 2018-09-13
EP3593190B1 (de) 2021-05-05
DE102017105103A1 (de) 2018-09-13
CN110383137B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
JP6509914B2 (ja) 深度推定のための画像センサ
JP6605483B2 (ja) ピンホールアレイを用いた撮像システム及び方法
US10657425B2 (en) Deep learning architectures for the classification of objects captured with a light-field camera
JP4915859B2 (ja) 物体の距離導出装置
CN110383137A (zh) 三维显微术
JP4806630B2 (ja) 多軸統合を用いて三次元対象物の光学的画像データを取得する方法
JP2008242658A (ja) 立体物体の撮像装置
JP7252190B2 (ja) 生物試料の向上された被写界深度の合成2d画像を生成するシステム
KR20120008518A (ko) 디지탈 이미징 시스템, 플레놉틱 광학기구 및 이미지 데이타 처리방법
JP6290416B2 (ja) 物体のインラインレンズフリーデジタルホログラフィを実施するための装置および方法
WO2020041517A1 (en) Systems and methods for enhanced imaging and analysis
JP5354254B2 (ja) 形状測定装置及び方法、並びにプログラム
WO2015116939A1 (en) Apparatus and methods for color endoscopy
CN102057397A (zh) 使用结构和均匀照明产生光学截面图像的系统和方法
CN104181686A (zh) 基于fpm的光场显微方法
CN109313807A (zh) 使用光场相机的三维重建方法
JP2005292839A (ja) スリット共焦点顕微鏡およびその作動方法
US20060122498A1 (en) Optical projection tomography
CN108364342B (zh) 光场显微系统及其三维信息重构方法和装置
CN107621463A (zh) 图像重建方法、装置及显微成像装置
JP2011182237A (ja) 複眼撮像装置及び該装置における画像処理方法
CN106154379B (zh) 微反射镜阵列设计方法、系统及微反射镜阵列
JP2018054412A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN107409185A (zh) 基于多抽头成像仪的同步多通道tdi成像
Zhang et al. Three-dimensional light field microscope based on a lenslet array

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant