CN115113382A - 用于形成具有扩展景深的显微图像的显微镜和方法 - Google Patents

用于形成具有扩展景深的显微图像的显微镜和方法 Download PDF

Info

Publication number
CN115113382A
CN115113382A CN202210238707.0A CN202210238707A CN115113382A CN 115113382 A CN115113382 A CN 115113382A CN 202210238707 A CN202210238707 A CN 202210238707A CN 115113382 A CN115113382 A CN 115113382A
Authority
CN
China
Prior art keywords
micro
image
frames
microscopic
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210238707.0A
Other languages
English (en)
Inventor
亚历山大·盖杜克
伊利亚·卡拉宁
帕夫洛斯·伊利奥普洛斯
徐清洙
赵京一
孙晋嵘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SD OPTICS
Stereo Display Co
Carl Zeiss Microscopy GmbH
Original Assignee
SD OPTICS
Stereo Display Co
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SD OPTICS, Stereo Display Co, Carl Zeiss Microscopy GmbH filed Critical SD OPTICS
Publication of CN115113382A publication Critical patent/CN115113382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/006Optical details of the image generation focusing arrangements; selection of the plane to be imaged
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/04Measuring microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/023Mountings, adjusting means, or light-tight connections, for optical elements for lenses permitting adjustment
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明涉及一种用于形成具有扩展景深的显微图像的显微镜和方法,该方法借助于显微镜来产生具有扩展景深的显微图像。该显微镜包括图像传感器,该图像传感器包括布置为由线形成的矩阵的像素。在该方法的一个步骤中,在改变焦点位置(z)的同时获取样本的多个显微帧。逐线获取显微帧。在获取显微帧的个体的过程中改变焦点位置(z)。在进一步的步骤中,识别所获取的线的个体的部分。这些部分对样本锐利地成像。组成线的被识别的部分以便形成具有扩展景深的样本的显微图像。此外,本发明涉及显微镜。

Description

用于形成具有扩展景深的显微图像的显微镜和方法
技术领域
本发明首先涉及一种借助于显微镜产生具有扩展景深的显微图像的方法。本发明还涉及一种具有用于对样本进行光学成像的物镜(objective lens)的显微镜。
背景技术
在2019年1月美洲奥林巴斯公司科学解决方案部的Takeo Ogama的白皮书“选择显微镜相机时要考虑的事项”中,讨论了影响显微成像质量的相机因素。例如,解释了卷帘快门。由卷帘快门引起的图像失真是CMOS传感器快速读出特征的副作用。对于快速移动的样品,在全局快门后的全局重置功能是可以有助于抑制失真的理想解决方案。
在2017年10月Carl Zeiss Microscopy GmbH的手册“Zeiss Axiocam系列-蔡司显微镜相机技术指南”1.0版中,介绍了显微镜相机。关于CMOS技术,据称广泛使用的卷帘快门架构会导致运动物体的几何失真。
在第10届欧洲计算机视觉会议论文集,法国马赛,2008年10月12日至18日,第60至73页的Sujit Kuthirummal、Hajime Nagahara、Changyin Zhou和Shree K.Nayar的论文“灵活的景深摄影”中,描述了原型相机,它使用微致动器在图像集成期间沿光轴平移检测器。介绍了灵活DOF的三种应用。显示了扩展DOF,其中,使用非常宽的光圈捕获大深度范围,但具有几乎与深度无关的散焦模糊。对捕获的图像应用反卷积可以得到具有扩展DOF但是高SNR的图像。此外,还显示了具有不连续DOF的图像的捕获。例如,可以锐利地对近处和远处的对象进行成像,而中间的对象则严重模糊。此外,描述了一种在不倾斜图像检测器的情况下捕获具有倾斜DOF的图像的相机。
在光学通信,第6卷,第1期,1972年9月,第38-42页中的G.
Figure BDA0003540829240000021
的论文“通过两步图像处理增加焦点深度的方法”中,介绍了获得增加景深的方法。该方法包括两个步骤。第一步骤是生成一个修改后的三维对象的非相干图像,其虽然退化了,但对所有对象平面都有相同的退化。第二步骤是在相干图像处理器中对该修改后的图像进行过滤以获得具有增加焦点深度的未退化图像。
DE 197 33 193 A1教导了一种具有自适应光学器件的显微镜。发射波前调制器位于物镜和管透镜之间。该显微镜可用于共聚焦显微镜、激光支持显微镜、常规显微镜或分析显微镜。
US 7,269,344 B2教导了一种光学装置,其具有配备有可变形镜和电子变焦功能的成像光学系统。可变形镜的光线偏转功能根据对应于要使用的图像的对象区域的改变而改变。即使在可变放大率增加时,该解决方案也旨在所拍摄图像的高锐利度。
WO 2005/119331 A1教导了一种可变焦距透镜,该透镜包括多个具有两个自由度旋转和一个自由度平移的微镜。控制微镜的两个自由度旋转和一个自由度平移来改变透镜的焦距并且满足光线的相同相位条件。透镜是衍射菲涅耳透镜。
WO 2007/134264 A2示出了一种具有可变焦距微镜阵列透镜的三维成像系统。微镜阵列透镜包括多个微镜,其中,每个微镜被控制以改变微镜阵列透镜的焦距。成像系统还包括成像单元和图像处理单元,图像处理单元利用成像单元捕获的图像和微镜阵列透镜的焦距信息来产生三维图像数据。
US 2014/0185462 A1公开了一种显微镜,该显微镜具有在z方向上用于定位包括物镜和相机的单元的第一电动驱动器,并且具有在z方向上用于定位接收样本的样本台的第二电动驱动器。第一电动驱动器使得能够获取具有扩展景深的图像。
US 8,581,996 B2公开了一种成像设备,利用该设备可以获取和数字化大面积的样本,并且可以输出具有扩展景深的图像。成像设备包括用于接收样本的可移动样本台和用于改变焦点位置的单元。该成像设备除其他外还包括相机和用于生成具有扩展景深的图像的单元。具有扩展景深的图像是全焦图像。
US 2015/0185465 A1教导了一种用于获取和生成具有扩展景深的图像的数字显微镜。该显微镜被配置为执行在z方向上的异步和并行定位、图像采集和图像处理,以便使得能够更快地获取和生成具有扩展景深的图像。
在US 2015/0185464 A1中,描述了一种旨在节省研究视野的时间的解决方案。为此,调整物镜的放大系数和z方向上的定位等。
来自制造商Keyence的VHX2000和VHX5000型数字显微镜使得能够获取具有扩展景深的显微图像。Keyence制造的VHX5000数字显微镜使得能够在大约9秒的时段内借助于12幅图像的堆叠来获取测量高度约为138μm的样本的拓扑结构。
来自制造商Carl Zeiss Microscopy GmbH的SmartZoom5显微镜使得能够在约25秒内借助于具有约60个图像的图像堆叠来获取高度为10mm的样本的显微图像,随后需要大约19秒来计算具有扩展景深的显微图像。因此,总共需要大约44秒提供具有扩展景深的图像。
DE 10 2017 123 511 A1涉及一种借助于显微镜产生具有扩展景深的显微图像的方法。在该方法的一个步骤中,从不同的焦点位置获取样本的多个显微帧。在另一步骤中,处理多个显微帧以形成具有扩展景深的显微图像。在以可变速度或可变加速度获取至少一些显微帧期间连续地改变焦点位置。
DE 10 2019 119 310 A1教导了一种使用显微镜生成具有扩展景深的显微图像的方法。通过手动改变显微镜的至少一个物镜与待拍摄样品之间的距离,可以手动改变显微镜的焦点位置。在该方法的一个步骤中,识别显微镜的用户是否根据周期函数来手动改变焦点位置。在识别出用户正在根据周期函数改变焦点位置之后,记录具有不同焦点位置的样品的若干显微个体图像。将多个显微个体图像处理成具有扩展景深的显微图像。
发明内容
以现有技术为出发点,本发明的目的是使得能够以更少的努力更快地产生具有扩展景深的显微图像。
通过本发明的方法和根据本发明的显微镜来实现上述目的。
根据本发明的方法用于生成具有扩展景深(EDoF)的显微图像,其也称为EDoF图像。为此目的,使用显微镜,尤其是数字显微镜。显微镜包括物镜和用于将从物镜直接或间接反射的图像转换到图像传感器上的图像传感器。
在根据本发明的方法的一个步骤中,当改变显微镜的焦点位置时,用显微镜来获取样本的多个显微帧。从不同的焦点位置获取显微帧,使得在至少一个显微帧中锐利成像样本的每个单独区域。特别优选地通过对具有可移动镜的微系统的不同致动来实现不同的焦点位置。作为优选的替代方案,通过可变形光学透镜的不同致动来实现不同的焦点位置。作为优选的替代方案,通过改变样本和显微镜物镜之间的距离来形成不同的焦点位置。样本与显微镜物镜之间的距离也可以被描述为z坐标。因此,可以由z坐标的值来描述焦点位置。z坐标通常在称为z方向的垂直方向上。显微帧形成堆叠。堆叠的帧在它们获取的z坐标上彼此不同,因此它们也可以称为z堆叠。
图像传感器包括布置为矩阵的像素。矩阵由线组成,即,矩阵包括多条线。这些线是图像传感器的水平线或垂直线。逐线获取该矩阵的显微帧。在获取显微帧之一的水平线或垂直线之一后,获取该显微帧的下一条线。因此,下一条所获取的线表示比先前所获取的线更晚的时间点处的样本。
在获取显微帧的个体的过程中改变焦点位置。因此,在与先前所获取的线不同的另一焦点位置处获取下一条所获取的线。在不同的焦点位置处获取单个显微帧的线或单个显微帧的线的一部分。与先前所获取的线或在该线之后所获取的线相比,下一条所获取的线可以包含部分或完全不同的z信息。
优选地,样品位置的x坐标和y坐标不改变,而表示z坐标的焦点位置改变。在x方向上测量x坐标并且在y方向上测量y坐标。x方向和y方向垂直于z方向。优选地,改变样品位置的x坐标和y坐标比改变焦点位置慢。优选地,改变样品位置的x坐标和y坐标比在x方向上读出图像传感器慢。
在下一步骤中,选择所获取的显微帧的部分。这些部分应适合于形成具有扩展景深的目标图像。因此,识别所获取的线的个体的部分,其中,这些部分对样本进行锐利地成像。这些部分至少在最小程度上锐利地成像样本。在优选实施例中,这些部分是显微帧的单个像素。因此,识别所获取的线的个体的单个像素组,其中,这些像素锐利地成像样本。
在样品位置的x坐标和y坐标没有改变而显微镜的焦点位置改变的情况下,所描述的选择获取的显微帧的部分的步骤允许无伪影的图像处理。优选地,将多个显微帧组合在一起,其中,对于示出相同x坐标和相同y坐标的每个像素,可以分析显微帧之间的日期以便搜索全局最大值和/或局部最大值;或者可以例如从最大到最小对数据进行排序,以识别具有最大强度和最低强度或噪声水平的区域。
在下一步骤中,对显微帧的线的被识别的部分进行合成以形成样本的显微图像,其中,该显微图像显示扩展景深。该显微图像尽可能仅包含锐利部分。合成线的被识别的部分优选地取决于实验要求,包括合成速度、预定义的噪声抑制、具有扩展景深的目标显微图像的区域完整性的预定义程度、和/或其他图像相关分析。如果线的部分是获取的显微帧的像素,则组合识别的像素以形成样本的显微图像,其中,该显微图像显示扩展景深。
根据本发明的方法的一个特别优点是可以非常快速地以高灵敏度获取显微帧,因为是逐线获取它们。该获取优选地包括获取用于信号处理的其他图像传感器架构特定功能,诸如动态范围调整和偏移应用等。相比之下,使用全局快门在一个时间点获取一个整体的显微帧有助于确保在静态致动器的情况下信息来自相同的焦点位置,或者在动态z执行器的情况下z方向上的信息将被模糊到由z方向的移动速度和帧获取速度限定的程度。此外,全局快门图像传感器往往更慢、更昂贵,并且在系统集成中更需要关注以处理。
在优选实施例中,通过使用卷帘快门来获取多个显微帧。卷帘快门是一种图像拍摄方法,其中,通过垂直或水平地跨视野扫描来捕获帧。卷帘快门可以是机械的或电子的。优选地,卷帘快门是电子的。特别地,卷帘快门被实现为用于读出图像传感器的例程。图像传感器优选地是CMOS图像传感器。与全局快门相比,CMOS图像传感器的读出速度更快。通过使用具有卷帘快门的图像传感器来获取多个显微帧。
在优选实施例中,通过改变样本和显微镜的物镜之间的距离或者通过沿着样本的空间延伸改变焦点位置来改变焦点位置。例如,优选地通过控制具有可移动镜的微系统或通过使物镜的可变形光学透镜变形来改变焦点位置。
优选地,在获取显微帧的个体的过程中连续地改变焦点位置。
在进一步优选的实施例中,逐步地或根据预定义的函数来改变焦点位置。预定义函数可以是随机函数。如果逐步地改变焦点位置,则步长持续时间优选为10ms或更短。在进一步优选的实施例中,焦点位置周期性地改变。优选地,焦点位置在焦点位置的最小值和焦点位置的最大值之间周期性地改变。优选地,焦点位置根据正弦波而改变。优选地,周期性改变的频率至少为100Hz。更优选地,周期性改变的频率至少为1kHz。该频率也可以超过10kHz。
在优选实施例中,在焦点位置的周期性改变的至少十个周期期间获取多个显微帧。优选地,如上所述以高频改变焦点位置。由于这种快速改变,直到获取多个显微帧为止,会经历许多改变周期。更优选地,在焦点位置的周期性改变的至少100个周期期间获取多个显微帧。优选地,在焦点位置周期性改变的至少10个周期的时间期间获取每个显微帧。
在优选实施例中,多个显微帧包括至少20个显微帧。更优选地,多个显微帧包括至少100个显微帧。这个数量定义了z堆叠。
在该方法的优选实施例中,继续获取多个显微帧图像直到满足停止条件为止,特别是直到实现预定义的品质因数为止。这些条件优选地包括具有扩展景深的显微图像的图像区域完整性程度、不存在预定义的伪影、和/或存在预定义的特征。预定义的伪影优选地包括噪声、丢失的数据、和/或暗图像。预定义特征优选地包括锐边缘和/或平坦表面。品质因数优选地与图像获取条件相关,图像获取条件优选地包括曝光时间、噪声水平、数据传输速率、和/或照明强度。品质因数优选地与样品特定参数相关,该样品特定参数优选地包括颜色、单色、先验信息、和/或样品分类数据。品质因数优选地与图像信息内容相关,图像信息内容优选地包括区域上的z信息估计程度、伪影程度、丢失数据的程度、和/或曝光不足或曝光过度区域的程度。
该方法的优选实施例包括进一步的步骤,其中,为每个显微帧的线的每个部分记录焦点位置的值。为了形成具有扩展景深的样本的显微图像,线的被识别的部分的组成基于分配给线的被识别的部分的焦点位置的被记录的值。焦点位置的值优选地由z位置形成。焦点位置的值用于处理显微帧的线的被识别的部分以形成具有扩展景深的显微图像,特别是用于校正每个部分的放大率,从而产生基于均匀放大率的具有扩展景深的显微图像。如果线的被识别的部分是像素,则优选地为每个显微帧的线的每个像素记录焦点位置的值。
该方法的优选实施例包括进一步的步骤,其中,基于分配给线的被识别的部分的焦点位置的被记录的值来确定具有扩展景深的显微图像的高度值。高度值被分配给具有扩展景深的显微图像的单个像素或单个像素组。高度值与样本有关。这些值描述了在分配像素或分配像素组处拍摄的样本某个点处的样本高度。高度值描述了样本在z方向上的尺寸。高度值定义了样本的高度图。高度图与具有扩展景深的显微图像相匹配。
在该方法的优选实施例中,z方向上的高度值对应于具有由用于改变焦点位置的致动器的对应位置定义的z方向上的高度值的像素。该关系优选地基于时间。为此目的,来自致动器的以时间戳或触发信号的形式的定时信号优选地与以时间戳的形式、和/或以和像素读数或像素线读数或针对完整帧或预定义的感兴趣区域定义的帧读数相关的触发信号的形式读出图像传感器的定时相关。
该方法的优选实施例包括进一步的步骤,其中,基于具有扩展景深的显微图像和基于高度值来确定样本的显微三维图像。由于高度值描述了样本在z方向上的尺寸,因此这些值可以用于生成三维图像。
在优选实施例中,控制焦点位置以改变焦点位置。这通常由控制致动器以改变焦点位置的电子控制器完成。该致动器优选地包括用于机械地移动微镜的微系统。因此,通过控制用于机械地移动微镜的微系统来控制焦点位置。基于焦点位置的命令值来控制焦点位置。命令值由改变焦点位置的期望时间过程产生。命令值取决于时间。命令值通常由控制器计算。命令值优选地用于记录每个显微帧的线的每个部分的焦点位置的值。这可以以这种方式完成,因为如果没有发生故障,则改变焦点位置的实际时间过程接近于改变焦点位置的期望时间过程。由于每个显微帧的每个像素被分配给时间点,所以该像素也被分配给焦点位置的命令值。因此,每个显微帧的每个部分被分配给时间点,因此,该部分也被分配给焦点位置的命令值。每个显微帧都包含线的部分,这些线的部分源自具有定义的x坐标和定义的y坐标但来自不同z坐标的位置。
为了识别对样本锐利地成像的所获取的线的个体的部分,必须分析获取的显微帧的锐利度。优选地,通过将锐利度函数随时间应用到图像传感器的信号上来识别所获取的线的部分。例如,通过搜索图像传感器的信号随时间的最大值(maxima)来识别所获取的线的部分。该信号表示显示相同x坐标和相同y坐标但不同z坐标的线的个体的部分。在该信号的各个分段中搜索最大值,这些分段单独地与线的相应部分的局部位置相关,特别是与作为要识别的像素的位置的帧内的x-y位置相关。这些最大值优选地是时间信号的相应分段中的全局最大值。时间信号是通过逐线获取帧,特别是通过使用卷帘快门来产生的。图像传感器的时间信号表示显微帧的内容。最大值表示在相应局部位置的显微帧的线中最锐利的那些部分。线的部分被识别,即,被选择以便被组合以形成具有扩展景深的显微图像。
在进一步的优选实施例中,关于线的相应部分的每个局部位置,尤其是关于作为要识别的像素的位置的帧内的x-y位置,多于一个部分的所获取的线被识别。因此,在与线的相应部分的局部位置相关的、尤其是与作为要识别的像素的位置的在帧内的x-y位置相关的信号的每个分段内搜索多个一个的最大值。这些最大值优选地包括时间信号的相应分段中的全局最大值和局部最大值。关于每个局部位置的所获取的线的多于一个被识别的部分优选地被组合成具有扩展景深的样本的多于一个显微图像。这会产生具有扩展景深的多个显微图像。
在优选实施例中,以每秒至少10帧的帧速率获取多个显微帧。更优选地,以每秒至少50帧的帧速率获取多个显微帧。更优选地,以每秒至少100帧的帧速率获取多个显微帧。
上述用于形成具有扩展景深的显微图像的步骤优选地周期性地重复以形成具有扩展景深的图像序列。优选地,以每秒至少10幅图像的速率形成具有扩展景深的图像。优选地,以每秒至少50幅图像的速率形成具有扩展景深的图像。在确定样本的显微三维图像的上述实施例中,优选地周期性重复确定显微三维图像的步骤以形成显微三维图像的序列。优选地以每秒至少10幅图像的速率形成显微三维图像。
根据本发明的显微镜是数字的并且包括用于在图像平面上对样本进行放大光学成像的物镜。物镜包括用于在图像平面上对样本进行放大光学成像的光学组件。光学组件具体由光学透镜实例化,并且可选地也由一个或多个镜、快门和滤光片实例化。
显微镜优选地包括图像传感器,用于将由物镜直接或间接地反射在图像传感器上的图像转换成电信号。
显微镜包括至少一个用于改变显微镜焦点位置的致动器。在简单的实施例中,致动器优选地被设计成改变样本和物镜之间的距离。为此目的,致动器优选地包括用于移动承载样本的样本台或用于移动物镜的电动机。致动器优选地被设计成改变物镜的焦距。致动器优选地用于致动可以用来调节焦点的有源光学元件。特别优选地,有源光学元件的致动器是用于机械地移动微镜和/或微透镜的微系统。微镜优选地形成透镜。通过改变微镜的位置,可以非常快速地改变透镜的焦距。这种焦距的快速改变使得能够非常快速地调整焦点位置。作为优选的替代方案,致动器被设计成使可变形光学透镜变形。
显微镜还包括控制和图像处理单元,其用于控制致动器和处理显微帧。控制和图像处理单元被配置为执行根据本发明的方法。控制和图像处理单元优选地被配置为执行根据本发明的方法的所述优选实施例之一。此外,显微镜优选地还具有结合根据本发明的方法及其优选实施例指定的特征。
用于机械地移动微镜的微系统优选地为镜阵列透镜系统。在商标MALS下提供这种镜阵列透镜系统。
附图说明
本发明的其他优点、细节和改进将从以下参照附图对本发明的优选实施例的描述中变得显而易见。示出了:
图1:表示根据本发明的方法的优选实施例的信号强度随时间的图;
图2:表示根据现有技术的方法的坐标z上的信号强度图;
图3:根据本发明的方法的一个优选实施例的获取显微帧的图;以及
图4:根据现有技术的获取显微帧的图。
具体实施方式
图1示出了表示根据本发明的方法的优选实施例的信号强度A随时间t的图。在显微镜(未示出)的图像传感器(未示出)的输出处测量信号强度A。信号强度A与图像传感器的像素的局部位置有关。信号强度A取决于时间t,因为随着时间t获取多个显微帧。例如周期地或随机地改变显微镜(未示出)的坐标z处的焦点位置。因此,时间t和坐标z是相关联的。图像传感器(未示出)根据卷帘快门的方法操作。图像传感器(未示出)优选地是CMOS传感器。
信号强度A在z=z_1处显示全局最大值。在z_1处,由图像传感器(未示出)获取的对应帧的像素是锐利的。由于卷帘快门,也存在局部最大值,例如,max_loc。在这些局部最大值max_loc处,由图像传感器(未示出)获取的对应帧的像素也是锐利的。在全局最大值处的锐利像素组成具有扩展景深的显微图像。可选地,在局部最大值max_loc处的锐利像素组成具有扩展景深的进一步显微图像。
图2示出了表示根据现有技术的方法的信号强度A在坐标z上的图。在显微镜(未示出)的图像传感器(未示出)的输出处测量信号强度A。信号强度A与图像传感器的像素的局部位置有关。信号强度A取决于时间t,因为随着时间t获取多个显微帧。显微镜(未示出)的坐标z处的焦点位置周期性地改变。图像传感器(未示出)根据全局快门的方法操作。图像传感器(未显示)是例如CCD传感器。由于全局快门,信号强度A在z=z_1处仅显示最大值。在z_1处,由图像传感器(未示出)获取的对应帧的像素是锐利的。
图3示出了根据本发明的方法的优选实施例来获取显微帧的图。四个显微帧被编号为N、N+n、N+m和N+p。在t_0、t_n、t_m和t_p处随时间t获取四个显微帧N、N+n、N+m、N+p。如上面参照图1所解释的,例如随机地改变在坐标z处的焦点位置。由于图像传感器(未示出)根据卷帘快门的方法进行操作,因此分别在坐标z处焦点位置的不同的z_0、z_1、z_2和z_3值处获得每个单独的显微帧N、N+n、N+m、N+p的线和线的部分。
图4示出了根据现有技术获取显微帧的图。四个显微帧被编号为N、N+1、N+2和N+3。在t_0、t_1、t_2和t_3处随时间t获取四个显微帧N、N+1、N+2、N+3。如上面参照图2所解释的,图像传感器(未示出)根据全局快门的方法操作。由于全局快门,分别在坐标z处(即在z_0、z_1、z_2和z_3处)的焦点位置的单个值处获取每个单独的显微帧N、N+1、N+2、N+3。
在根据本发明的方法的示例性实施例中,在以大约100Hz的频率周期性地改变焦点位置的同时获取样本的20到60个显微帧的堆叠。以每秒60帧的速率获取显微帧。对样本锐利地成像的帧的所获取的线的像素组成具有扩展景深的显微图像。
参考符号列表
A 信号强度
t 时间
z 焦点位置
max 最大值
z_1 最大值处的焦点位置
max_loc 局部最大值

Claims (16)

1.一种借助于包括图像传感器的显微镜形成具有扩展景深的显微图像的方法,其中,所述图像传感器包括布置为由线形成的矩阵的像素,其中,所述方法包括以下步骤:
-在改变焦点位置(z)的同时获取样本的多个显微帧,其中,逐线获取所述显微帧,并且其中,在获取所述显微帧的个体的过程中改变所述焦点位置(z);
-识别对所述样本锐利地成像的被获取的所述线的个体的部分;以及
-组成所述线的被识别的所述部分以便形成具有扩展景深的所述样本的显微图像。
2.根据权利要求1所述的方法,其特征在于,所述多个显微帧是通过使用卷帘快门来获取的。
3.根据权利要求1或2所述的方法,其特征在于,通过改变所述样本与所述显微镜的物镜之间的距离来改变所述焦点位置(z)。
4.根据权利要求1或2所述的方法,其特征在于,周期性改变所述焦点位置(z),其中,所述周期性改变的频率至少为100Hz。
5.根据权利要求4所述的方法,其特征在于,在所述焦点位置的所述周期性改变的至少十个周期期间获取所述多个显微帧。
6.根据权利要求1或2所述的方法,其特征在于,所述焦点位置(z)是逐步改变的。
7.根据权利要求1或2所述的方法,其特征在于,所述多个显微帧包括至少20个所述显微帧。
8.根据权利要求1或2所述的方法,其特征在于,还包括以下步骤:
-记录每个所述显微帧的所述线的每个所述部分的所述焦点位置的值;
其中,为了形成具有扩展景深的所述样本的显微图像,所述线的被识别的所述部分的所述组成是基于分配给所述线的被识别的所述部分的所述焦点位置(z)的被记录的所述值。
9.根据权利要求8所述的方法,其特征在于,还包括以下步骤:
-基于分配给所述线的被识别的所述部分的所述焦点位置(z)的被记录的所述值来确定具有扩展景深的所述显微图像的高度值。
10.根据权利要求9所述的方法,其特征在于,还包括以下步骤:
-基于具有扩展景深的所述显微图像和基于所述高度值来确定所述样本的显微三维图像。
11.根据权利要求8所述的方法,其特征在于,控制所述焦点位置(z)以便基于所述焦点位置的命令值来改变所述焦点位置(z),其中,所述命令值被用于记录每个所述显微帧的所述线的每个部分的所述焦点位置(z)的值。
12.根据权利要求1或2所述的方法,其特征在于,通过搜索图像传感器的信号随时间的最大值(max)来识别所述显微帧的被获取的所述线的所述部分。
13.根据权利要求1或2所述的方法,其特征在于,以每秒至少10帧的帧速率来获取所述多个显微帧。
14.根据权利要求1或2所述的方法,其特征在于,周期性进行重复以便形成具有扩展景深的所述图像的序列,其中,具有扩展景深的所述图像以每秒至少十幅图像的速率形成。
15.一种显微镜,包括:
-物镜,所述物镜用于对样本进行光学成像;
-至少一个致动器,所述至少一个致动器用于改变所述显微镜的焦点位置(z);以及
-控制和图像处理单元,所述控制和图像处理单元被配置为执行根据权利要求1至14中的任一项所述的方法。
16.根据权利要求15所述的显微镜,其特征在于,所述至少一个致动器还包括用于机械地移动微镜和/或微透镜的微系统。
CN202210238707.0A 2021-03-17 2022-03-10 用于形成具有扩展景深的显微图像的显微镜和方法 Pending CN115113382A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21163120.5A EP4060394A1 (en) 2021-03-17 2021-03-17 Microscope and method for forming a microscopic image with an extended depth of field
EP21163120.5 2021-03-17

Publications (1)

Publication Number Publication Date
CN115113382A true CN115113382A (zh) 2022-09-27

Family

ID=74947152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210238707.0A Pending CN115113382A (zh) 2021-03-17 2022-03-10 用于形成具有扩展景深的显微图像的显微镜和方法

Country Status (4)

Country Link
US (1) US11988824B2 (zh)
EP (1) EP4060394A1 (zh)
KR (1) KR20220130023A (zh)
CN (1) CN115113382A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499879A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 一种超景深显微图像获取方法
US20190107702A1 (en) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Microscope and method for producing a microscopic image with expanded depth of field
US20190162945A1 (en) * 2016-04-08 2019-05-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for extended depth-of-field microscopy
US20200195836A1 (en) * 2018-12-13 2020-06-18 Mitutoyo Corporation High-speed tag lens assisted 3d metrology and extended depth-of-field imaging
CN111989608A (zh) * 2018-03-08 2020-11-24 卡尔蔡司显微镜有限责任公司 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19733193B4 (de) 1997-08-01 2005-09-08 Carl Zeiss Jena Gmbh Mikroskop mit adaptiver Optik
JP2004247947A (ja) 2003-02-13 2004-09-02 Olympus Corp 光学装置
US6934072B1 (en) 2004-05-27 2005-08-23 Angstrom Inc. Variable focal length lens comprising micromirrors with two degrees of freedom rotation and one degree of freedom translation
US7742232B2 (en) 2004-04-12 2010-06-22 Angstrom, Inc. Three-dimensional imaging system
JP5154392B2 (ja) 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
CN101826989B (zh) 2009-03-02 2013-11-06 华为技术有限公司 一种故障处理方法和装置
US9143674B2 (en) * 2013-06-13 2015-09-22 Mitutoyo Corporation Machine vision inspection system and method for performing high-speed focus height measurement operations
JP6325816B2 (ja) 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
JP6325815B2 (ja) 2013-12-27 2018-05-16 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体
US9930243B2 (en) * 2016-05-02 2018-03-27 Mitutoyo Corporation Variable focal length imaging system
DE102017101188B4 (de) * 2017-01-23 2021-09-30 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Mikroskopieren einer Probe
FI20175410A (fi) * 2017-05-08 2018-11-09 Grundium Oy Laite ja menetelmä mikroskooppileikkeiden skannaamiseksi
DE102019119310A1 (de) 2019-07-17 2021-01-21 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103499879A (zh) * 2013-10-16 2014-01-08 北京航空航天大学 一种超景深显微图像获取方法
US20190162945A1 (en) * 2016-04-08 2019-05-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Systems and methods for extended depth-of-field microscopy
US20190107702A1 (en) * 2017-10-10 2019-04-11 Carl Zeiss Microscopy Gmbh Microscope and method for producing a microscopic image with expanded depth of field
CN111989608A (zh) * 2018-03-08 2020-11-24 卡尔蔡司显微镜有限责任公司 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法
US20200195836A1 (en) * 2018-12-13 2020-06-18 Mitutoyo Corporation High-speed tag lens assisted 3d metrology and extended depth-of-field imaging

Also Published As

Publication number Publication date
EP4060394A1 (en) 2022-09-21
KR20220130023A (ko) 2022-09-26
US11988824B2 (en) 2024-05-21
US20220299746A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
US10101572B2 (en) Variable focal length lens system with multi-level extended depth of field image processing
CN110235045B (zh) 用于对样品进行显微检查的显微镜和方法
US7729049B2 (en) 3-d optical microscope
US10330906B2 (en) Imaging assemblies with rapid sample auto-focusing
US7723662B2 (en) Microscopy arrangements and approaches
JP5829621B2 (ja) 顕微鏡センサ
JP2017194700A5 (zh)
US20120293645A1 (en) Method and apparatus for acquiring digital microscope images
US11650405B2 (en) Microscope and method for computational microscopic layer separation
CN111989608B (zh) 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法
CN111325785B (zh) 高速tag透镜辅助3d计量和扩展景深成像
US20210149170A1 (en) Method and apparatus for z-stack acquisition for microscopic slide scanner
CN109781745A (zh) 一种光学元件表面缺陷检测自动对焦方法及装置
US11940609B2 (en) Image conversion module with a microelectromechanical optical system and method for applying the same
US10475198B2 (en) Microscope system and specimen observation method
US11988824B2 (en) Microscope and method for forming a microscopic image with an extended depth of field
JP5019279B2 (ja) 共焦点顕微鏡及び合焦カラー画像の生成方法
CN111656163A (zh) 用于在荧光显微成像期间扩展景深的方法和装置
JPH11183803A (ja) 共焦点顕微鏡装置
KR102323136B1 (ko) 플로우스캔 방식을 적용한 3d edof 스캐닝 장치
Zanoguera Autofocus for high speed scanning in image cytometry
AU2004216663B1 (en) High resolution, large format, scanning digital imaging system
JP2012058435A (ja) 実時間被写界深度拡張システム及び実時間被写界深度拡張方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination