CN111989608A - 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法 - Google Patents

对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法 Download PDF

Info

Publication number
CN111989608A
CN111989608A CN201980017358.6A CN201980017358A CN111989608A CN 111989608 A CN111989608 A CN 111989608A CN 201980017358 A CN201980017358 A CN 201980017358A CN 111989608 A CN111989608 A CN 111989608A
Authority
CN
China
Prior art keywords
image
sample
microscope
field
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980017358.6A
Other languages
English (en)
Other versions
CN111989608B (zh
Inventor
阿图尔·德根
亚历山大·盖杜克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sd Optics Ltd
Carl Zeiss Microscopy GmbH
Stereo Display Inc
Original Assignee
Sd Optics Ltd
Carl Zeiss Microscopy GmbH
Stereo Display Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sd Optics Ltd, Carl Zeiss Microscopy GmbH, Stereo Display Inc filed Critical Sd Optics Ltd
Publication of CN111989608A publication Critical patent/CN111989608A/zh
Application granted granted Critical
Publication of CN111989608B publication Critical patent/CN111989608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及用于利用显微镜对样品(01)进行显微观察的方法,在一个方法步骤中,在使显微镜的拍摄区域运动经过样品(01)的不同区域期间,拍摄样品(01)的不同区域的显微的单幅图像。以多个不同的焦点定位(02)拍摄样品(01)的各自区域的显微的单幅图像。从拍摄的单幅图像中确定针对样品(01)的其中每个区域的具有扩展景深的图像或三维图像,并且向使用者呈现之。一旦停止拍摄区域在样品(01)的其中一个区域上的运动,就根据本发明以不同的焦点定位(02)拍摄样品(01)的该区域的另外的显微的单幅图像。另外的显微的单幅图像用于提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的轴向和横向分辨率。此外,本发明还涉及具有用于对样品(01)成像的物镜的显微镜。

Description

对样品进行显微观察以呈现具有扩展景深的图像或三维图像 的显微镜和方法
技术领域
本发明首先涉及用于对样品进行显微观察的方法,其中,在结果中呈现出样品的具有扩展景深的图像或三维图像。本发明还涉及具有用于对样品进行光学成像的物镜的显微镜。
背景技术
DE 10 2014 006 717 A1描述了一种用于在数码显微镜中产生物体的三维信息的方法。在该方法中,分别针对焦点定位拍摄图像,并将其与所属的焦点定位一起保存在图像堆栈中。从图像堆栈的被拍摄的图像中计算出具有扩展景深(Enhanced Depth of Field)的图像,即所谓的EDoF图像。在EDoF图像的计算过程期间,探测到一定数量的像素缺陷,这些像素缺陷通过用相邻像素插值来进行校正。校正后的EDoF图像被用于计算物体的高度图或3D模型。
US 2015/0185462 A1示出了一种显微镜,其具有在z方向上的第一电动式的驱动器,以用于定位包括物镜和相机的单元,以及具有在z方向上的第二电动式的驱动器,以用于定位用来容纳样品的载物台。通过第一电动式的驱动器能够实现拍摄具有扩展景深的图像。
由US 8,581,996 B2公知有一种图像拍摄设备,利用该图像拍摄设备可以拍摄样品的较大区域并对其进行数码化,并且可以输出具有扩展景深的图像。该图像拍摄设备包括用于容纳样品的可运动的载物台和用于改变焦点定位的单元。此外,该图像拍摄设备还尤其包括相机和用于生成具有扩展景深的图像的单元。具有扩展景深的图像是全焦图像。
US 2015/0185465 A1教导了一种数码显微镜,其用于拍摄并产生扩展景深的图像。该显微镜被构造成异步地且并行地实施在z方向上的定位、图像拍摄以及用于产生具有扩展景深的图像的图像处理,以便能够更快速地拍摄和产生具有扩展景深的图像。
由US 7,345,816 B2公知有一种光学显微镜,其包括具有能可控变化的反射表面的镜。通过改变镜的表面,可以拍摄来自不同的焦点定位的图像。
US 7,269,344 B2示出了一种具有成像光学系统的光学设备,该成像光学系统具有可变形的镜和数码变焦功能。由此应当能改变电子放大率同时保持高图像清晰度。
由DE 10 2014 226 942 A1公知有一种进行放大的观察设备,其中,相机被配置成用于捕获被放置在载置区段上的物体的图像。z轴运动单元被配置成用于执行相对高度的自动改变。另外,可以利用xy轴运动机构来改变载置区段的和显微镜透镜区段的相对定位。图像合成单元被用于将在不同的相对高度上捕获到的图像进行合成。
DE 10 2005 032 354 A1教导了一种用于显微地拍摄具有扩展景深的图像的方法,对此,在焦点调节范围变化的同时拍摄多幅单幅图像。这些单幅图像可以分为若干节段。在不同的XY定位上拍摄大量的单幅图像堆栈,并且将对比度最高的节段分别组合成整体图像。
DE 10 2015 118 154 A1示出了一种手术显微镜,在其中,可以改变焦点位置并且其也可以构造为立体显微镜。在相机单元运动时,还应拍摄不同的焦点位置。在此应避免减小孔径。
为了产生具有扩展景深(EDoF–Extended Depth of Field)的宏观和显微的图像,可以使用被称为MALS模块的镜阵列透镜系统。MALS是Mirror Array Lens System(镜阵列透镜系统)。该系统的细节例如在WO 2005/119331 A1或WO 2007/134264 A2中公开。该产品尤其包括LED环形照明、同轴照明、透射光照明、机械台、具有5倍、10倍、20倍和50倍的放大率的物镜以及快速自动的对焦。对焦可以以最高10kHz的频率来改变。
制造商Keyence(基恩士)提供的型号VHX2000和VHX5000的数码显微镜允许拍摄具有扩展景深的显微图像。制造商Keyence的型号VHX5000的数码显微镜允许在大约9秒的持续时间内通过具有12个图像的图像堆栈来拍摄具有大约138μm高度的样品的拓扑图。
发明内容
基于现有技术,本发明任务在于,在对样品显微以目标在于呈现具有扩展景深的图像或样品的三维图像的情况下能够快速且符合人体工程学地在样品上进行浏览。
所述任务通过根据所附的权利要求1的方法以及通过根据所附的并列权利要求15的显微镜来解决。
根据本发明的方法被用于利用显微镜、尤其是利用数码显微镜对样品进行显微观察。数码显微镜优选包括物镜和图像传感器,该图像传感器被用于对直接或间接地从物镜成像到图像传感器上的图像进行转换。
在该方法的一个步骤中,在通过操作者或自动地使显微镜的拍摄区域移动经过样品的不同区域期间,拍摄样品的不同区域的显微的单幅图像。操作者可以实施在xy平面中或在XZ/YZ平面中的运动,以便查看样品中的更多部分,或者以便查看样品的其他xyz定位,或者以便以不同的对比度查看样品。显微镜的面式延展的拍摄区域通过显微镜的样品方的视场来确定。样品可能由于它的尺寸无法通过显微镜的拍摄区域在一瞬间捕获到其整体。通过操作者或自动实施的使拍摄区域运动经过样品被用于探索样品,并且可以被理解为在样品上进行浏览。
该浏览在横向方向上,也就是说垂直于显微镜的光轴地在x和y方向上进行。但是该浏览也可以在深度中、也就是说在光轴方向上、即在z方向上进行。该浏览也可以沿着随机产生或优先限定的曲线在x、y和z方向进行,或者沿着通过样品限定的曲线在x、y和z方向进行。在使显微镜的拍摄区域运动经过样品的不同区域时,使显微镜和样品彼此相对运动。尤其地,使显微镜的物镜和样品相对彼此运动。优选地,让显微镜的载物台运动,以便让布置在载物台上的样品相对于显微镜运动。通过浏览应当粗略地拍摄到样品的结构。像在生理上查看那样地,当眼睛快速运动时,轴向和横向方向上的分辨率并不具有决定性。在浏览时运动越快,样品的各个子体积就越粗糙地被扫描。优选地,分辨率与浏览的速度相匹配。优选地,如此设定横向和轴向的分辨率:使得在显微的单幅图像中不存在伪像。当浏览的速度下降时,则优选地提高分辨率,这相当于在生理上的查看过程。
以多个不同的焦点定位来拍摄样品的其中各自区域的显微的单幅图像。因此,针对运动期间受显微观察的区域中的每个区域分别拍摄了单幅图像中的多幅单幅图像,这些单幅图像在其为了拍摄所设定的焦点定位方面有所不同。以不同的焦点定位来对这些区域中的每个区域拍摄显微的单幅图像,从而使各自区域的细节在其中至少一个显微的单幅图像中清晰成像。特别优选地,不同的焦点定位通过具有可运动的镜的微系统的不同驱控来引起。替选地,不同的焦点定位优选通过对可变形的光学透镜或用于对进行对焦的光学元件进行定位的机械的、压电式的或混合式的执行器的不同驱控来引起。替选地,不同的焦点定位优选由样品与显微镜的物镜之间的间距的不同尺度来形成。替选地,可以改变进行对焦的光学元件在居间像平面或后部的居间焦平面中的定位。样品与显微镜的物镜之间的间距也可以描述为z坐标。样品在拍摄区域运动期间受显微观察的区域中的每个区域的显微的单幅图像形成堆栈。其中每个堆栈的图像在其拍摄的z坐标方面不同,从而它们也可以被称为z堆栈或z堆。
在该方法的进一步的步骤中,针对样品的其中每个区域,从那些以多个焦点定位拍摄的样品的其中各自区域的显微的单幅图像中确定具有扩展景深的图像或三维图像。具有扩展景深的图像也被称为扩展景深图像或EDoF图像。因此,将样品在运动期间受显微观察的区域中的每个区域的显微的单幅图像分别处理成具有扩展景深的显微的图像。为此,尽可能仅使用来自各个拍摄的显微的单幅图像的被清晰成像的细节,以便由此计算具有扩展景深的显微的图像。所要计算的显微的图像将成像出具有扩展景深的样品。替选地,将在运动期间受显微观察的区域中的每个区域的显微的单幅图像分别处理成样品的各自区域的三维图像。三维图像针对空间中的每个点包括关于要呈现的样品的各自区域的信息。例如,在具有x、y和z轴的正交的坐标系中,可以针对空间中的每个点指定有强度值和/或颜色值。可以确定如下三维图像,在这些三维图像中例如针对每对x和y坐标仅已知一个z值。例如,当仅已知三维体的表面的形状时,就是这种情况。还可以为一个点的x和y坐标选择强度值作为第三维。这些和其他情况,使得能够实现呈现出具有三维错觉的图像,这也被称为伪三维或2.5维图像,并且呈现出在本发明的意义下的三维图像。
在进一步的步骤中,呈现出具有扩展景深的图像或三维图像,从而使得操作者可以从视觉上感知到这些图像。该呈现在如下意义中优选与使拍摄区域运动经过样品区域同步地进行,即,在使拍摄区域运动经过样品区域与样品的各个区域的呈现之间仅出现不干扰操作者的延迟。由于用于确定具有扩展景深的图像或三维图像所需的计算,使得该延迟不可能为零,但其优选要小,以使操作者不会感知到它或者至少不会干扰到操作者。在浏览的速度非常大时,用于确定具有扩展景深的图像或三维图像的所需的计算将暂时中止,这是因为不再从视觉上感知到分辨率。当再次有足够的计算能力可供使用时,则可以延迟实施三维图像的3D模型计算。以优选至少大于10幅图像/秒、并且更优选地至少为25幅图像/秒的图像速率呈现出具有扩展景深的图像或三维图像。
根据本发明,一旦停止显微镜的拍摄区域在样品的其中一个区域上的运动,就以不同的焦点定位拍摄样品的该区域的另外的显微的单幅图像。因此,对于拍摄区域停留在其上的区域,以不同的焦点定位拍摄的单幅图像要比对于拍摄区域移动经过样品的那些区域所拍摄的单幅图像更多。所拍摄的另外的单幅图像被用于提高当前呈现的具有扩展景深的图像的或当前呈现的三维图像的轴向分辨率和横向分辨率。轴向分辨率的提高归因于在深度中、也就是说在z方向上的分辨率的提高,这相当于更小的体素大小。分辨率的提高至少导致当前呈现的具有扩展景深的图像的或当前呈现的三维图像的质量的提高。提高的质量可以例如通过放大动态范围、通过减少反射或通过改善显色来表征。
根据本发明的方法的特别的优点在于,在样品上进行浏览期间,操作者得到了以一定图像速率和不可察觉到的延迟呈现的具有扩展景深的图像或三维图像,从而可以让操作者符合人体工程学地并且目的明确地在样品上进行浏览,对此,如需要的话受限地保持这些图像的分辨率和质量。如果操作者在浏览时要停留以便仔细查看当前呈现的区域,则会自动改善当前呈现的具有扩展景深的图像的或当前呈现的三维图像的分辨率和质量。当然,在停留浏览的这一阶段之后,操作者可以恢复对拍摄区域的运动,这可能又导致后续的具有扩展景深的图像或后续的三维图像的分辨率和质量下降,这是因为用于各个区域的具有不同焦点定位的显微的单幅图像的数量再次下降。
为了提高当前呈现的具有扩展景深的图像的或当前呈现的三维图像的轴向分辨率和/或横向分辨率存在有多种可行方案。对此优选地,使用具有可运动的镜的快速的机电式微系统(MEMS)。压电执行器或其他执行器也优选被用于改善拍摄区域的定位或用于沿z方向和/或xy方向的扫描。优选地,使用用于像素移位的方法,以便提高横向分辨率。这种用于像素移位的方法也被称为像素偏移。优选地,进行对样品的结构化照明,其中,优选地对该结构化照明进行精细化,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,使用或以更大程度地使用基于对样品的分段照明来减少图像中的反射的方法,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,使用或以更大程度地使用用于放大图像的动态范围,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,使用用于进行傅里叶叠层成像的方法,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,使用用于多光谱和/或高光谱图像生成的方法,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,拍摄单幅图像的速率和/或处理单幅图像的速度例如通过进行图像处理的硬件来提高,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。优选地,改变用于处理单幅图像的算法的参数,以便提高当前呈现的图像的轴向分辨率和/或横向分辨率。所提到的措施优选地被组合,以用于提高当前呈现的图像的轴向分辨率和/或横向分辨率。
在根据本发明的方法的优选的实施方式中,提高了当前呈现的图像的轴向分辨率和横向分辨率以及必要时的图像(例如2.5维图像)的质量的另外的方面。这种分辨率的提高优选依赖于拍摄区域的运动、也就是说依赖于浏览地进行,并且/或者依赖于至少一个在拍摄区域运动期间或在对焦期间或在步距规定期间改变的参数来进行。优选地,图像的质量的提高以图像的最佳的体素和/或所拍摄的图像中的最佳的光强度和亮度的目的来获得。在第一优选的实施方式中,在拍摄区域运动期间,也就是说在浏览期间,通过如下方式获取更大的像素,即,进行像素合并(Binning),也就是说将单幅图像的相邻像素合并;或者以更高的程度进行像素合并。这些措施能够实现改善图像获取和图像处理以及处理速度,而在拍摄区域运动期间图像分辨率和图像质量却减小。在图像中和/或硬件设定中不存在变化的前提下,也就是说一旦停止拍摄区域的运动,就优选终止或至少以更小的程度执行像素合并,以便提高当前呈现的具有扩展景深的图像的或当前呈现的三维图像的横向分辨率,尤其是以便获得最佳的图像质量。在第二优选实施方式中,通过应用对样品的分段照明来对单幅图像中的反射进行校正,其中,在拍摄区域运动期间,也就是说在浏览期间优选激活照明部的减少数量的、尤其是很少数量的或最少数量的部段,以便实现尽可能高的图像获取速度。这允许提高图像获取的速度,但将导致图像质量更低。在图像中和/或硬件设定中不存在变化的前提下,也就是说一旦停止拍摄区域的运动,就优选再次以更大程度、也就是说利用照明的提高数量的部段来执行反射的减小,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的横向分辨率,尤其是以便获得最佳或最大的图像质量。在第三优选实施方式中,放大图像拍摄和图像处理的动态范围,其中,在拍摄区域运动期间,也就是说在浏览期间,减小了图像的速率和/或针对图像的再处理的工作量。这些措施能够实现高速的图像获取和图像处理,但质量低下。在图像中和/或硬件设定中不存在变化的前提下,也就是说一旦停止拍摄区域的运动,就再次提高图像的速率和/或针对用于放大动态范围的再处理的工作量,以便提高当前呈现的具有扩展景深的图像的或当前呈现的三维图像的横向分辨率,尤其是以便获得最佳的或最大的图像质量。在第四优选实方式中,在拍摄区域的运动过程中,也就是说在浏览期间,不发生像素移位,也就是说不发生像素偏移。在图像中和/或硬件设定中不存在变化的前提下,也就是说一旦停止拍摄区域的运动,就实施单幅图像中的像素移位,也就是说实施像素偏移,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的横向分辨率。在第五优选实施例中,在拍摄区域运动期间,也就是说在浏览期间,不执行结构化照明或利用减少了的扫描条件来执行结构化照明。在图像中和/或硬件设定中不存在变化的前提下,也就是说一旦停止拍摄区域的运动,就使用样品的结构化照明,或者再次提高图像获取和图像处理的参数,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的轴向分辨率和/或横向分辨率。优选也以组合的方式应用所提及的优选的实施方式或对所提及的优选实施方式的选出。
在浏览期间的图像的数量可以是预先限定的并且是恒定的,或者可以依赖于通过操作者执行的经过样品的运动的速度来动态选出。该速度优选基于所拍摄的单幅图像的内容来估计或利用传感器来测量。传感器例如可以由载物台的定位传感器或由用于显微镜或用于样品的全景相机形成。
在根据本发明的方法的优选实施方式中,通过改变样品与显微镜的物镜之间的间距或通过沿着样品的空间延展改变焦点定位来获得不同的焦点定位。优选地,对焦点定位的改变例如通过驱控具有可运动的镜的微系统或通过使物镜的可变形的光学透镜变形来进行。焦点定位在拍摄其中一个单幅图像过程中不必一定是恒定的,而是尤其可以连续变化,从而例如在单幅图像的拍摄之间不必使用于改变承载样品的载物台的高度的执行器停机。
为了拍摄具有不同焦点定位的显微的单幅图像,优选将执行器设立在显微镜的有源光学元件上。机械的执行器例如可以被构造成用于使有源光学元件变形或移位,该有源光学元件可以由柔性透镜、能通过机械振动来控制的透镜、液态透镜或用于测量样品的深度信息的衍射透镜形成。优选地,执行器由用于让微镜和/或微透镜进行机械运动的微系统形成。执行器优选是对焦执行器和/或像差执行器。执行器优选以至少1kHz并且更优选是至少10kHz的频率运行。
在有利的实施方式中,光学执行器被构造为具有能机械运动的微镜的微系统,以用于拍摄扩展景深。在该实施方式中,例如,上述“MALS模块”可以用作光学执行器。MALS模块可以例如被构造为菲涅耳透镜,如这方面例如在WO 2005/119331 A1中所描述的那样。菲涅耳透镜由大量的微镜形成。通过改变微镜的位置允许以快速的方式改变菲涅耳透镜的焦距。焦距的这种快速改变允许非常快速地设定所要成像的焦平面,也就是说所要选定的焦点定位。因此能够实现的是,在短时间内在相邻的焦平面中进行大量拍摄,也就是说以不同的焦点定位进行拍摄。
在根据本发明的方法的优选实施方式中,在使显微镜的拍摄区域移动经过样品的不同区域期间,分别以预定数量的不同的焦点定位来拍摄样品的不同区域。该数量小于用来拍摄显微镜拍摄区域的运动停留处的区域的显微单幅图像的焦点定位的数量。
在根据本发明的方法的优选实施方式中,在使显微镜的拍摄区域移动经过样品的不同区域期间,只要利用显微镜实现的在呈现具有扩展景深的图像或三维图像时的图像速率至少为规定的最小图像速率,就分别以预定数量的不同的焦点定位来拍摄不同的区域。最小图像速率优选为10幅图像/秒,并且更优选为25幅图像/秒,其中,图像是具有扩展景深的图像或三维图像。如果显微镜的拍摄区域快速移动经过样品的不同区域,则并不针对其中每个区域都达到预定数量的不同的焦点定位,但是图像速率并不降到最小图像速率以下。因此,以减少的分辨率、尤其是以沿z方向减小的分辨率或以模糊的区域产生具有扩展景深的图像或三维图像,但是呈现并不停顿。在该实施方式中确保了操作者仅在不觉察到的延迟的情况下获得持续不断的图像呈现,从而使操作者可以符合人体工程学地且目的明确地在样品上浏览。
优选地,通过另外的单幅图像,以与自停止拍摄区域的运动以来经过的持续时间成比例的方式提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率。
在根据本发明的方法的优选实施方式中,一旦停止显微镜的拍摄区域在样品的其中一个区域上的运动,就以不同的焦点定位拍摄样品的该区域的许多单幅图像,直到达到针对该具有扩展景深的图像或针对该三维图像的提前规定的质量水平。提前规定的质量水平可以通过分辨率和/或通过清晰程度来限定。如果操作者在其浏览时在有关的区域上停留了很长时间,则在该实施方式中,质量并不提高到不必要的高的程度。
在根据本发明的方法的优选实施方式中,在停止拍摄区域的运动之后拍摄的另外的单幅图像的焦点定位是随机选择的。在根据本发明的方法的另外的优选实施方式中,在停止拍摄区域的运动之后拍摄的另外的单幅图像的焦点定位被选择为先前选择的焦点定位的均匀的精细化。因此选择位于先前拍摄的单幅图像的焦点定位之间的焦点定位。
在根据本发明的方法的优选实施方式中,基于对该区域的先前分别拍摄的单幅图像的分析来选择在停止拍摄区域的运动之后所拍摄的另外的单幅图像的焦点定位。在该分析中,优选获知在该区域中或在该区域的子区域中的清晰度和/或方位光谱。基于所获知的清晰度和/或所获知的方位光谱,做出如下预测:哪些另外的焦点定位可以导致那些使当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率和质量改善的单幅图像。所提到的子区域可以在唯一的单幅图像之内选择或也可以在其中多幅单幅图像上重叠地选择。
在根据本发明的方法的优选实施方式中,在停止拍摄区域的运动之后所拍摄的另外的单幅图像的焦点定位在先前选择的焦点定位所跨越的区间内选择。因此导致在此区间之内得到精细化。在根据本发明的方法的替选的优选实施方式中,在先前选择的焦点定位所跨越的区间之外选择在停止拍摄区域的运动之后拍摄的另外的单幅图像中的至少多幅另外的单幅图像的焦点定位。因此,在深度中扩展了拍摄的规模,这例如相当于多个EDoF图像,从而可以确定扩展的EDoF图像。
在根据本发明的方法的优选实施方式中,通过如下方式来识别到显微镜拍摄区域在样品区域上运动的停止,即,最后拍摄的单幅图像中的内容具有相同的局部的定位。但是例如也可以通过如下方式识别到显微镜拍摄区域在样品区域上运动的停止,即,应当促使对显微镜的载物台的驱控以用于使载物台停机。优选在遵循消振时间(Entprellzeit)的情况下识别到显微镜拍摄区域在样品区域上的运动的停止,从而使拍摄区域在样品的其中一个区域上的运动的非常短的中断尚不导致对该区域的另外的显微的单幅图像的拍摄。
在根据本发明的方法的另外的优选实施方式中,在使显微镜的拍摄区域移动经过样品的不同区域期间,改变光阑的开口,以便提高所要拍摄的显微的单幅图像的景深,并且以便减少各个区域的单幅图像的数量。光阑位于显微镜的光路中。尤其缩小光阑的开口,以便提高所要拍摄的单幅图像的景深。相应地,减少了各个区域的所要拍摄的显微的单幅图像的数量和区域的横向分辨率,从而优选地将显微的单幅图像的像素合并成像素组,这也被称为像素合并。由此,在拍摄区域高速运动时,图像速率并不下降到图像速率的最小值以下,由此可以在较大的规模上沿横向方向以及在深度上实施拍摄区域的运动,但是接受在三个空间方向上的分辨率下降。
在根据本发明的方法的另外的优选实施方式中,对样品相对于显微镜的倾斜度进行校正。这种校正在显微镜的拍摄区域横向移动经过样品的不同区域期间进行。为此,优选地对具有不同的焦点定位的单幅图像进行分析,以便获知各自区域的各个图像块的取向和/或方位。在该分析中,优选获知单幅图像中的清晰度。优选地,根据对单幅图像的分析来选择另外的焦点定位,从而可以快速且准确地对倾斜度进行校正。优选做出如下预测:哪些另外的焦点定位可以导致那些使当前呈现的具有扩展景深的图像的分辨率改善或使当前呈现的三维图像的分辨率改善的单幅图像。
根据本发明的显微镜优选地是数码的,并且首先包括用于在像平面中对样品进行放大光学成像的物镜。物镜包括光学部件,这些光学部件被用于在像平面中对样品进行放大的光学成像。这些光学部件尤其通过光学透镜并且可能的话还由一个或多个镜、光阑和滤光器形成。
显微镜优选还包括图像传感器,其用于将由物镜直接或间接成像到图像传感器上的图像转换成电信号。
根据本发明的显微镜包括至少一个用于改变显微镜的焦点定位的执行器。在简单的实施方式中,执行器优选地被构造成用于改变样品与物镜之间的间距。为此,执行器优选包括电动马达,该电动马达用于挪动承载样品的载物台或用于挪动透镜。执行器优选地被构造成用于改变物镜的焦距。执行器优选被用于操纵能用来调节对焦的有源光学元件。特别优选地,有源光学元件的执行器由用于机械地运动微镜和/或微透镜的微系统形成。微镜优选构成透镜,尤其是菲涅耳透镜。菲涅耳透镜的焦距可以通过改变微镜的位置来以非常快速的方式改变。焦距的这种快速变化允许非常迅速地设定焦点定位。替选地,执行器优选被构造成用于使可变形的光学透镜变形。
根据本发明的显微镜还包括控制和图像单元,该控制和图像单元用于控制执行器、用于拍摄显微的单幅图像以及用于确定并呈现具有扩展景深的图像或三维图像。控制和图像单元被配置成用于实施根据本发明的方法。优选地,控制和图像单元配置成用于实施根据本发明的方法的所描述的其中一个优选实施方式。另外,根据本发明的显微镜优选还具有结合根据本发明的方法及其优选实施方式所给定的特征。
附图说明
参考附图从对本发明的优选实施例的描述得到本发明的另外的细节和改进方案。其中:
图1:示出在根据本发明的方法的优选实施方式的第一阶段中以多个焦点定位进行拍摄的图示;
图2:示出在根据本发明的方法的优选实施方式的第二阶段中以另外的焦点定位进行拍摄的图示;
图3:示出在根据本发明的方法的优选实施方式的第三阶段中以另外的焦点定位进行拍摄的图示;和
图4:示出用于执行根据本发明的方法的优选实施方式的图形用户界面。
具体实施方式
图1象征性地示出了在根据本发明的方法的优选实施方式的第一阶段中进行显微拍摄的图示。在该第一阶段,操作者使示例性所示的样品01相对于显微镜(未示出)运动,以便探索样品01的不同区域,这也可以被称为在样品01上进行浏览,从而第一阶段也被称为浏览阶段。在根据本发明的方法的该浏览阶段中,以多个等距的焦点定位02分别拍摄样品01的各个被探索的区域的多幅显微的单幅图像,其中,焦点定位02以虚线绘制而成。样品01的各个区域的已拍摄的显微的单幅图像被用于计算样品01各个区域的具有扩展景深的图像或三维图像。焦点定位02的数量在浏览阶段中保持较小,从而对于样品01的其中每个区域,可以在短的持续时间内计算并呈现具有扩展景深的图像或三维图像,由此,操作者在其浏览期间将获得持续不断的运动图像。保持较少数量的焦点定位02可以导致的是,各自的具有扩展景深的图像或各自的三维图像的所有区域并非都是清晰的并且/或者分辨率在深度中是较低的。
图2示出了在图1中已经绘制的根据本发明的方法的实施方式的第二阶段中以另外的焦点定位02进行拍摄的图示。该第二阶段的特征在于,操作者已经中断或中止了样品01相对于显微镜(未示出)的运动,从而使样品01相对于显微镜(未示出)已经到达停留定位中。第二阶段尤其可以用于让操作者更仔细地查看样品01的当前受显微观察的区域。在该第二阶段中,根据本发明,当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率和质量得到改善。因此,第二阶段代表图像改善阶段的开始。在图像改善阶段中,以另外不同的焦点定位02拍摄了样品01的当前受显微观察的区域的另外的显微的单幅图像,从而与图1所展示的浏览阶段相比,焦点定位02的数量得到提高。以如下方式选择另外的焦点定位02,即,使得目的是对先前选择的焦点定位02进行均匀精细化。替选地,另外的焦点定位02也可以被随机地选择或者作为对先前拍摄的显微的单幅图像的分析的结果来选择。以另外的焦点定位02拍摄的显微的单幅图像被用来提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率和质量。
图3示出在已经在图1和2中示出的根据本发明的方法的实施方式的第三阶段中以另外的焦点定位02进行拍摄的图示。该第三阶段表示从第二阶段开始的图像改善阶段的延续,在第三阶段中,样品01相对于显微镜(未示出)停留了另外的持续时间。在该第三阶段中,继续改善当前呈现的具有景深扩展的图像或当前呈现的三维图像的分辨率和质量。以另外不同的焦点定位02拍摄样品01的当前受显微观察的区域的另外的显微的单幅图像,从而与图2所示的第二阶段相比,焦点定位02的数量更进一步提高。此外,以另外的焦点定位02拍摄的显微的单幅图像还被用于提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率和质量。
图4示出了用于执行根据本发明的方法的优选实施方式的图形用户界面。图形用户界面能够实现在利用显微镜进行显微观察时为不同模式选择参数。在“自动对焦”模式下,自动产生对焦后的显微图像。“浏览”模式是指在产生具有扩展景深的图像或三维图像期间进行的浏览。“记录”模式是指在产生具有扩展景深的图像或三维图像期间进行记载。对于其中每种模式,操作者都可以在“开始”输入框中预定在开始时选择多少个z定位;对于其中每种模式,操作者都可以在“结束”输入框中预定在结束时选择多少个z定位。对于其中每种模式,操作者都可以在“步数”输入框中通过如下方式预定步距应有多细微,即,操作者为该步距预定步数。替选地,图形用户界面还可以被配置成用于使操作者可以以公制单位的绝对形式输入这些预定量。操作者通过操纵相应的“应用”切换面来认可其输入。经由“算法”切换面,使得操作者可以选出用于进行增量的算法并选出在运动变化结束时焦点定位的增量的类型。
附图标记列表
01 样品
02 焦点定位

Claims (15)

1.用于利用显微镜对样品(01)进行显微观察的方法,所述方法包括以下步骤:
-在使显微镜的拍摄区域运动经过样品(01)的不同区域期间,拍摄样品(01)的不同区域的显微的单幅图像,其中,以多个不同的焦点定位(02)拍摄样品(01)的各自区域的显微的单幅图像;
-针对样品(01)的其中每个区域,从那些以多个焦点定位(02)拍摄的样品(01)的各自区域的显微的单幅图像中确定具有扩展景深的图像或三维图像;并且
-呈现出具有扩展景深的图像或三维图像;
其特征在于,一旦停止显微镜的拍摄区域在样品(01)的其中一个区域上的运动,就以不同的焦点定位(02)拍摄样品(01)的该区域的另外的显微的单幅图像,并且将所述另外的显微的单幅图像用于提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的轴向分辨率和横向分辨率。
2.根据权利要求1所述的方法,其特征在于,在显微镜的拍摄区域运动期间,通过将单幅图像的相邻像素合并来获取更大的像素,其中,一旦停止显微镜的拍摄区域在样品(01)的其中一个区域上的运动,就至少以更小的程度执行对单幅图像的相邻像素的合并,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的横向分辨率。
3.根据权利要求1或2所述的方法,其特征在于,通过应用对样品(01)的分段照明来对单幅图像中的反射进行校正,其中,一旦停止拍摄区域在样品(01)的其中一个区域上的运动,就激活所述分段照明的提高数量的部段,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的横向分辨率。
4.根据权利要求1至3中任一项所述的方法,其特征在于,一旦停止拍摄区域在样品(01)的其中一个区域上的运动,就实施单幅图像中的像素移位,以便提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的横向分辨率。
5.根据权利要求1至4中任一项所述的方法,其特征在于,通过改变样品(01)与显微镜的物镜之间的间距或通过沿着样品(01)的空间延展改变焦点定位(02)来实现不同的焦点定位(02)。
6.根据权利要求1至5中任一项所述的方法,其特征在于,在使显微镜的拍摄区域运动经过样品(01)的不同区域期间,分别以预定数量的不同的焦点定位(02)拍摄样品(01)的不同区域。
7.根据权利要求1至5中任一项所述的方法,其特征在于,在使显微镜的拍摄区域运动经过样品(01)的不同区域期间,只要利用显微镜实现的具有扩展景深的图像或三维图像的图像速率至少为规定的最小图像速率,就分别以预定数量的不同的焦点定位(02)拍摄样品(01)的不同区域。
8.根据权利要求7的方法,其特征在于,所述最小图像速率为10幅图像/秒。
9.根据权利要求1至8中任一项所述的方法,其特征在于,一旦停止显微镜的拍摄区域在样品(01)的其中一个区域上的运动,就以不同的焦点定位(02)拍摄样品(01)的该区域的许多单幅图像,直到达到针对具有扩展景深的图像或针对三维图像的规定的质量水平。
10.根据权利要求1至9中任一项所述的方法,其特征在于,将在停止拍摄区域的运动之后所拍摄的另外的单幅图像的不同的焦点定位(02)选择为先前选择的焦点定位(02)的均匀的精细化。
11.根据权利要求1至9中任一项所述的方法,其特征在于,基于对样品(01)的区域的先前分别拍摄的单幅图像的分析,选择在停止拍摄区域的运动之后所拍摄的另外的单幅图像的不同的焦点定位(02)。
12.根据权利要求1至11中任一项所述的方法,其特征在于,在先前选择的焦点定位(02)所跨越的区间之外选择在停止拍摄区域的运动之后所拍摄的另外的单幅图像中的至少多幅另外的单幅图像的不同的焦点定位(02)。
13.根据权利要求1至12中任一项所述的方法,其特征在于,通过所述另外的单幅图像,以与自停止显微镜的拍摄区域的运动以来经过的持续时间成比例的方式提高当前呈现的具有扩展景深的图像或当前呈现的三维图像的分辨率。
14.根据权利要求1至13中任一项所述的方法,其特征在于,在使显微镜的拍摄区域运动经过样品(01)的不同区域期间,改变光阑的开口,以便提高单幅图像的景深。
15.显微镜;所述显微镜包括:
-用于对样品(01)进行光学成像的物镜;
-至少一个用于改变所述显微镜的焦点定位(02)的执行器;和
-控制和图像单元,所述控制和图像单元用于控制所述执行器、用于拍摄显微的单幅图像以及用于确定并呈现具有扩展景深的图像或三维图像,其中,所述控制和图像单元被构造成用于实施根据权利要求1至14中任一项所述的方法。
CN201980017358.6A 2018-03-08 2019-02-26 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法 Active CN111989608B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018105308.8 2018-03-08
DE102018105308.8A DE102018105308A1 (de) 2018-03-08 2018-03-08 Mikroskop und Verfahren zum Mikroskopieren einer Probe für die Darstellung von Bildern mit erweiterter Schärfentiefe oder dreidimensionalen Bildern
PCT/EP2019/054644 WO2019170464A1 (de) 2018-03-08 2019-02-26 Mikroskop und verfahren zum mikroskopieren einer probe für die darstellung von bildern mit erweiterter schärfentiefe oder dreidimensionalen bildern

Publications (2)

Publication Number Publication Date
CN111989608A true CN111989608A (zh) 2020-11-24
CN111989608B CN111989608B (zh) 2022-08-23

Family

ID=65724353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980017358.6A Active CN111989608B (zh) 2018-03-08 2019-02-26 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法

Country Status (3)

Country Link
CN (1) CN111989608B (zh)
DE (1) DE102018105308A1 (zh)
WO (1) WO2019170464A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019119310A1 (de) * 2019-07-17 2021-01-21 Carl Zeiss Microscopy Gmbh Mikroskop und Verfahren zum Erzeugen eines mikroskopischen Bildes mit einer erweiterten Schärfentiefe
CN111105415A (zh) * 2019-12-31 2020-05-05 北京理工大学重庆创新中心 一种基于深度学习的白细胞大视场图像检测系统及方法
CN113470166B (zh) * 2021-06-28 2024-04-26 平湖莱顿光学仪器制造有限公司 一种用于呈现三维显微图像的方法与设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090242798A1 (en) * 2008-04-01 2009-10-01 The Jackson Laboratory 3D Biplane Microscopy
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
CN102354046A (zh) * 2011-07-04 2012-02-15 上海理工大学 一种多路频分复用荧光共焦显微成像技术实现方法
US8212915B1 (en) * 2010-03-27 2012-07-03 Lloyd Douglas Clark Externally actuable photo-eyepiece relay lens system for focus and photomontage in a wide-field imaging system
CN102625022A (zh) * 2011-01-29 2012-08-01 麦克奥迪实业集团有限公司 一种带有像方补偿运动的快速显微切片扫描方法及装置
US20130093872A1 (en) * 2011-10-14 2013-04-18 Keyence Corporation Magnification Observation Device
US20150185465A1 (en) * 2013-12-27 2015-07-02 Keyence Corporation Magnifying Observation Apparatus, Magnified Image Observing Method And Computer-Readable Recording Medium
DE102015209758A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und Verfahren zur Strahlformung und zur Lichtblattmikroskopie
US20160363755A1 (en) * 2015-06-09 2016-12-15 General Electric Company System and method for autofocusing of an imaging system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004247947A (ja) 2003-02-13 2004-09-02 Olympus Corp 光学装置
US6934072B1 (en) 2004-05-27 2005-08-23 Angstrom Inc. Variable focal length lens comprising micromirrors with two degrees of freedom rotation and one degree of freedom translation
US7742232B2 (en) 2004-04-12 2010-06-22 Angstrom, Inc. Three-dimensional imaging system
US7345816B2 (en) 2005-01-11 2008-03-18 Olympus Corporation Optical microscope
DE102005032354B4 (de) * 2005-07-08 2008-04-10 Olympus Soft Imaging Solutions Gmbh Verfahren und Vorrichtung zur Bildaufnahme mit erweitertem Tiefenschärfebereich
JP5154392B2 (ja) 2008-12-12 2013-02-27 株式会社キーエンス 撮像装置
CN101826989B (zh) 2009-03-02 2013-11-06 华为技术有限公司 一种故障处理方法和装置
JP2011007872A (ja) * 2009-06-23 2011-01-13 Olympus Corp 観察装置、及び倍率補正方法
US9151944B2 (en) * 2012-07-19 2015-10-06 Sony Corporation Method and apparatus for navigating stacked microscopy images
JP2015127779A (ja) 2013-12-27 2015-07-09 株式会社キーエンス 顕微鏡及びこれを用いた拡大観察方法
DE102014006717A1 (de) 2014-05-05 2015-11-05 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung einer dreidimensionalen Information eines Objektes mit einem Digitalmikroskop und Datenverarbeitungsprogramm zur Abarbeitung des Verfahrens
DE102015118154A1 (de) * 2015-10-23 2017-04-27 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Elektronisches Mikroskop, insbesondere Operationsmikroskop

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090242798A1 (en) * 2008-04-01 2009-10-01 The Jackson Laboratory 3D Biplane Microscopy
US20100283868A1 (en) * 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
US8212915B1 (en) * 2010-03-27 2012-07-03 Lloyd Douglas Clark Externally actuable photo-eyepiece relay lens system for focus and photomontage in a wide-field imaging system
CN102625022A (zh) * 2011-01-29 2012-08-01 麦克奥迪实业集团有限公司 一种带有像方补偿运动的快速显微切片扫描方法及装置
CN102354046A (zh) * 2011-07-04 2012-02-15 上海理工大学 一种多路频分复用荧光共焦显微成像技术实现方法
US20130093872A1 (en) * 2011-10-14 2013-04-18 Keyence Corporation Magnification Observation Device
US20150185465A1 (en) * 2013-12-27 2015-07-02 Keyence Corporation Magnifying Observation Apparatus, Magnified Image Observing Method And Computer-Readable Recording Medium
DE102015209758A1 (de) * 2015-05-28 2016-12-01 Carl Zeiss Microscopy Gmbh Anordnung und Verfahren zur Strahlformung und zur Lichtblattmikroskopie
US20160363755A1 (en) * 2015-06-09 2016-12-15 General Electric Company System and method for autofocusing of an imaging system

Also Published As

Publication number Publication date
CN111989608B (zh) 2022-08-23
DE102018105308A1 (de) 2019-09-12
WO2019170464A1 (de) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110235045B (zh) 用于对样品进行显微检查的显微镜和方法
US7944609B2 (en) 3-D optical microscope
CN111989608B (zh) 对样品进行显微观察以呈现具有扩展景深的图像或三维图像的显微镜和方法
JP5497386B2 (ja) 画像取得装置
EP2916160B1 (en) Image acquisition device and method for focusing image acquisition device
EP2916159B1 (en) Image acquisition device and image acquisition method
WO2005010495A2 (en) System and method for generating digital images of a microscope slide
JP5154917B2 (ja) プロービング装置で焦点を合わせて多平面画像を取得する装置と方法
CN110270769A (zh) 非破坏检测方法
EP2333602A1 (en) Spherical aperration correction for non-descanned applications
US11513329B2 (en) Varying an illumination path of a selective plane illumination microscopy
US20190107702A1 (en) Microscope and method for producing a microscopic image with expanded depth of field
JP2017143759A (ja) 細胞観察装置および細胞観察方法
JP6802636B2 (ja) 顕微鏡システムおよび標本観察方法
US10298833B2 (en) Image capturing apparatus and focusing method thereof
US20190107705A1 (en) Digital microscope and method for acquiring a stack of microscopic images of a specimen
US20190072749A1 (en) Observation device, observation method, and observation device control program
EP4137866A1 (en) Digital microscope and method for capturing and displaying microscopic images
US11988824B2 (en) Microscope and method for forming a microscopic image with an extended depth of field
US20230333452A1 (en) Autofocus method and associated optical imaging system
JP6864115B2 (ja) 顕微鏡装置及びプログラム
US20230236403A1 (en) Microscope Apparatus, Sample Refractive Index Measurement Method For Microscope Apparatus, And Sample Refractive Index Measurement Program For Microscope Apparatus
US20230350180A1 (en) Automatic correction of spherical aberration in selective plane illumination microscopy
EP4016161A1 (en) Control device for a microscope
EP3454105A1 (en) Varying an illumination path of a selective plane illumination microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Analytik Jena

Applicant after: Carl Zeiss Microscopy GmbH

Applicant after: SD optics

Applicant after: Stereo display Co.

Address before: Analytik Jena

Applicant before: Carl Zeiss Microscopy GmbH

Applicant before: SD optics Ltd.

Applicant before: STEREO DISPLAY Inc.

GR01 Patent grant
GR01 Patent grant