CN110520780A - 具有传输函数的相衬成像 - Google Patents
具有传输函数的相衬成像 Download PDFInfo
- Publication number
- CN110520780A CN110520780A CN201880025065.8A CN201880025065A CN110520780A CN 110520780 A CN110520780 A CN 110520780A CN 201880025065 A CN201880025065 A CN 201880025065A CN 110520780 A CN110520780 A CN 110520780A
- Authority
- CN
- China
- Prior art keywords
- transmission function
- image
- sample object
- aperture
- optical system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
一种光学系统(100),包括:样本架(113),其配置为固定样本对象;照明模块(111),其配置为以至少一个结构化照明几何结构(300)照明所述样本对象;光学成像单元(112),其配置为生成所述样本对象的图象表示,该样本对象被检测器(114)上至少一个结构化照明几何结构(300)照明;检测器(114),其配置为基于所述图像表示,捕获所述样本对象的至少一个图像;控制器(115),其配置为基于传递函数(400)和至少一个图像,确定具有相衬的结果图像。在此,所述传递函数(400)对应于已经基于光学成像单元(112)的孔径尺寸进行了缩放的参考传递函数(400)。
Description
技术领域
本发明的各种示例通常涉及具有照明模块的光学系统,该照明模块设置成以结构化照明几何结构照明样本对象。本发明的各种示例尤其涉及基于传递函数和样本对象的至少一个图像来确定结果图像的技术,所述结果图像具有相衬。
背景技术
在样本对象的光学成像中,生成样本对象的所谓相衬图像通常是有价值的。在相衬图像中,至少部分的图像对比度是由穿过被成像的样本对象的光的相移引起的。特别是,这使得那些没有引起衰减,或者仅引起振幅的较小衰减,但有明显相移的样本对象能够以较高的对比度成像。通常,这样的样本对象也称为相位对象。生物样本作为显微镜下的样本对象,通常会产生比电磁场的振幅变化更大的相位变化。
相衬成像技术有很多种,例如,暗场照明、倾斜照明、差分干涉对比度(DIC)或泽尼克(Zernike)相衬等。
上述技术有各种缺点或限制。通常,在所谓的光学成像单元的区域中,可能需要在样本和检测器之间提供附加的光学元件,以便于促进相衬成像。而这可能造成结构限制。此外,还可能存在应用上的限制,例如,提供附加的光学元件可能增加荧光成像的难度。
人们还知道利用结构化照明获得相衬的技术。在DE 10 2014 112 242 A1中公开了借助于结构化照明获得具有相衬的图像的技术的第一个例子。但是,这种技术具有一定的局限性。通过这种技术,其中,不同强度的图像与不同的照明方向相结合,相应的结果图像可能例如以类似梯度的方式表示相衬。这意味着相位对象的相对边缘可能具有不同的对比度符号(sign of the contrast)。因此,通过这样的技术,可能无法,或只能在有限的程度上产生,例如,样本对象的高度轮廓(height profiles),它与样本对象的高(低)点的大(小)值的形成对比。
另一种通过结构化照明获得具有相衬的结果图像的技术是所谓的定量差分相衬(QDPC)技术。参见,例如,L.Tian和L.Waller:“LED阵列显微镜的定量差分相衬成像”(Quantitative differential phase contrast imaging in an LED arraymicroscope),Optics Express 23(2015),11394(Tian,Waller见下)。
然而,这样的技术的缺点在于,取决于所采用的光学系统,对于具有相衬的结果图像不能获得有效的结果。举例来说,出于检测目的,对于照明模块的孔径尺寸相对于光学单元的孔径尺寸,可能存在特定的要求。这可能会限制在实际问题中使用QDPC的能力。此外,可以观察到,例如,如果所采用的孔径存在一定的公差,则在QDPC中可能会发生不希望出现的成像频率的放大。
发明内容
因此,需要有改进的技术来确定具有相衬的结果图像。特别是,需要这样的技术,消除或减少至少一些上述的限制和缺点。
该目标通过独立权利要求的特征实现。从属专利权利要求的特征定义了实施例。
在一个示例中,光学系统包括样本架,所述样本架配置为固定样本对象。所述光学系统还包括照明模块,所述照明模块配置为以至少一个结构化照明几何结构来照明所述样本对象。所述光学系统还包括光学成像单元,该光学成像单元配置为生成所述样本对象的图像表示(an imaged representation),该样本对象被检测器上至少一个结构化照明几何结构所照明。所述光学系统还包括检测器,所述检测器配置为基于所述图像表示,捕获所述样本对象的至少一个图像。所述光学系统还包括控制器,所述控制器配置为基于传递函数和所述至少一个图像来确定结果图像,所述结果图像具有相衬。这里,所述传递函数对应于已经基于所述光学成像单元的孔径尺寸进行了缩放的参考传递函数。
在一个示例中,光学系统包括样本架,所述样本架配置为固定样本对象。所述光学系统还包括照明模块,所述照明模块配置为以至少一个结构化照明几何结构来照明所述样本对象。所述光学系统还包括光学成像单元,该光学成像单元配置为生成所述样本对象的图像表示,该样本对象被检测器上至少一个结构化照明几何结构所照明。所述光学系统还包括检测器,所述检测器配置为基于所述图像表示,捕获所述样本对象的至少一个图像。所述光学系统还包括控制器,所述控制器配置为基于传递函数和所述至少一个图像来确定结果图像,所述结果图像具有相衬。这里,所述照明模块的孔径尺寸小于所述光学成像单元的孔径尺寸。
在一个示例中,一种方法,包括用至少一个结构化照明几何结构照明样本对象。所述方法还包括生成用所述至少一个结构化照明几何结构照明的所述样本对象的图像表示。此外,所述方法包括基于所述图像表示,捕获所述样本对象的至少一个图像表示。基于传递函数和所述至少一个图像,确定具有相衬的结果图像。所述传递函数对应于已经基于所述光学成像单元的孔径尺寸进行了缩放的参考传递函数。
一种计算机程序产品,包括可以由至少一个处理器执行的程序代码。执行所述程序代码使所述至少一个处理器执行一种方法。所述方法包括以至少一个结构化照明几何结构照明样本对象。所述方法还包括生成用所述至少一个结构化照明几何结构照明的所述样本对象的图像表示。此外,所述方法包括基于所述图像表示,捕获所述样本对象的至少一个图像表示。基于传递函数和所述至少一个图像,确定具有相衬的结果图像。所述传递函数对应于已经基于所述光学成像单元的孔径尺寸进行了缩放的参考传递函数。
一种计算机程序,包括可以由至少一个处理器执行的程序代码。执行所述程序代码使所述至少一个处理器执行一种方法。所述方法包括以至少一个结构化照明几何结构照明样本对象。所述方法还包括生成用所述至少一个结构化照明几何结构照明的所述样本对象的图像表示。此外,所述方法包括基于所述图成像表示,捕获所述样本对象的至少一个图像表示。基于传递函数和叔叔至少一个图像,确定具有相衬的结果图像。所述传递函数对应于已经基于所述光学成像单元的孔径尺寸进行了缩放的参考传递函数。
这样的技术使得能够以特别灵活的方式确定具有相衬的结果图像。这是因为这样的技术是基于这样的发现:即使,例如,使用光学成像单元的特别大的孔径,通过选择适当的传递函数也可以确定具有相衬的结果图像。特别地,这样的技术基于以下发现:所述结果图像不必通过相衬对所述样本对象的相位进行定量描述,而是在选择适当传递函数的情况下,所述结果图像继续提供所述样品对象的相位的定性描述,例如,作为高度轮廓。
在不脱离本发明的保护范围的情况下,以上阐述的特征和下面描述的特征不仅可以以明确阐述的相应组合使用,而且可以以进一步的组合使用或单独使用。
附图说明
图1根据各种示例示意性地示出了光学系统,其中,该光学系统具有照明模块,该照明模块配置为以结构化照明几何结构照明样本对象;
图2更详细地示意性地示出了包括多个照明元件的照明模块;
图3示意性地示出了示例性照明几何结构,该示例性照明几何结构可以通过照明模块照明样本对象;
图4示意性地示出了示例性照明几何结构,该示例性照明几何结构可以通过照明模块照明样本对象;
图5示意性地示出了示例性照明几何结构,该示例性照明几何结构可以通过照明模块照明样本对象;
图6示意性地示出了在确定结果图像时,可以根据各种示例所使用的传递函数;
图7示意性地示出了在确定结果图像时,可以根据各种示例所使用的传递函数,其中,图7中的传递函数对图8中的传递函数进行了缩放;
图8示意性地示出了在确定结果图像时可以根据各种示例使用的传递函数;
图9示意性地示出了可以根据各种示例用于确定结果图像的传递函数;
图10是一种示例性方法的流程图。
具体实施方式
通过以下示例性实施例的描述,本发明的上述特性、特征和优点以及实现这些特性和优点的方式将变得更加清晰和更清楚易懂,并将通过附图对这些示例性实施例进行更详细的说明。
在附图中,相同的附图标记表示相同或相似的元件。这些附图是本发明不同实施例的示意图。附图中所示的元素未必按比例绘制。而是以本领域技术人员可以理解其功能和通用性的方式来描绘图中所示的各种元件。如图所示的功能单元和元件之间的连接和耦合也可以实现为间接连接或耦合。可以以有线或无线方式实现连接或耦合。可以通过硬件,软件或硬件和软件的组合的方式实现功能单元。
下面将介绍用于确定具有定制对比度的结果图像的技术。举例来说,所述结果图像可以对具有相衬的相位对象成像。所述结果图像通常可以提供所述样本对象的高度轮廓。
本文所述的技术使得可以通过对样本对象的一个或多个图像进行数字后处理来确定所述结果图像。例如,所述样本对象的一个或多个图像可能是本身没有相衬的强度图像。
所述样本对象的一个或多个图像可以与不同的照明几何结构相关联。这意味着,在每种情况下,可以通过检测器,在借助于相应的照明几何结构对样本对象进行照明的同时,捕获一个或多个图像。
例如,所述不同的照明几何结构可以与不同的照明方向相关联。利用时分多路复用或频分多路复用,可以将不同的照明几何结构或相关的不同图像彼此分开。也可以通过不同的偏振进行分离。照明几何结构可以具有方向依赖性。例如,照明几何结构可具有沿一个或多个空间方向的照度的梯度。举例来说,照度可以沿着空间方向递增地变化,例如,在零和有限值之间或在两个不同的有限值之间。
举例来说,所述样本对象可以包括相对象,例如,细胞或细胞培养物等。所述样本对象可以是预先未知的,即,所述样本架可以固定不同的样本对象。对于所使用的光线,样本对象也可以是不透明的。根据样本对象的类型,可能需要在反射光几何结构或透射光几何结构中操作照明模块和检测器。
在不同的示例中,使用传递函数对一个或多个图像进行数字后处理以获得所述结果图像。例如,该传递函数可以表示对象传递函数和/或所述光学系统的光学传递函数。该传递函数可用于预测在特定的照明下,对于特定的样本对象的至少一个图像。例如,该传递函数可以具有实分量和/或虚分量。这里,传递函数的实分量可以对应于穿过样本对象时光强度的降低。通常,振幅对象具有明显的光阻尼。因此,传递函数的虚部可以表示穿过样本对象的光的相位偏移。通常,相位对象具有明显的光相位偏移。下面将具体地描述用于确定传递函数的虚分量的技术。为了简单起见,在下文中将不总是提及这些技术涉及传递函数的虚部这一事实。在一些示例中,可以使用没有实分量的纯虚数传递函数。
在这种情况下,可以使用各种技术来确定传递函数。在一个示例中,可以基于根据阿贝(Abbe)的技术来确定传递函数。可以通过根据阿贝的技术来确定参考传递函数。此处,样本对象可以被分成不同的空间频率分量。然后,将无限多个谐波光栅叠加可以对样本对象进行建模。光源也可以分解为多个点光源的和。另一个例子涉及基于根据霍普金斯(Hopkins)的技术确定光学传递函数,该光学传递函数描述了样本对象在特定的照明几何结构下的图像表示,参见H.H.Hopkins的“关于光学图像的衍射理论”(On the DiffractionTheory of Optical Images),皇家学会学报A:数学,物理工程科学217(1953)408-432。根据此,可以确定传输交叉系数矩阵(TCC),有时也称为部分相干对象传递函数。TCC可以作为参考传递函数。TCC近似地对应于部分相干成像的传递函数,并且包含光学系统和照明几何结构的属性。通过光学单元传输的频率被限制在TCC采用不等于0的值的范围内。具有高相干因子或相干参数的系统因而具有相对较大的范围,TCC≠0,并且能够映射更高的空间频率。TCC通常包括光学系统的全部信息,并且TCC通常还考虑复值光瞳(complex-valuedpupils),例如,Zernike相衬或由像差触发。TCC可以促进光学传递函数与对象传递函数的分离。在一些示例中,传递函数也可以是预先确定的,而不必像TCC或依据Abbe一样需要确定。
根据所使用的传递函数,可以使用不同的技术来确定结果图像。在Tian,Waller中描述了一个与方程13相关的示例性技术。其中说明了基于Tikhonov正则化,如何通过傅里叶逆变换,并且基于传递函数H*以及进一步基于具有不同照明几何结构的样本对象的两个图像的组合的空间频率空间表示,能确定结果图像:
在这种情况下,表示两个图像IT和IB的组合的光谱分解,这两个图像是在照亮彼此互补的半圆的不同照明几何结构上捕获的:
这些都是例子。通常,例如,照明几何结构不必严格地为半圆形。举例来说,可以使用布置在半圆上的四个发光二极管。举例来说,因此可以使用限定的照明方向,即,各个发光二极管。此外,在公式2中,也可以使归一化为1,而不是IT+IB或其他值。在其他示例中,也可以不使用IT和IB执行计算,而是使用原始数据本身,即,例如,IDPC=IT或IDPC=IB。通过在公式2中形成相应的商,可以减少可能会成为干扰的影响,例如,其他织物的性能,颜色等。通过形成差异,甚至可以基于传递函数的实分量来减少吸收分量。IDPC与基于样本对象的相移的局部增加成比例。样本对象的厚度变化或样本对象的拓扑(topography)变化和/或光学特性的变化可以引起相移。
例如,可以确定两个图像IDPC,1和IDPC,2,一次是通过在垂直于光束路径(IDPC,1)的横向平面上布置的一对半圆形照明几何结构;一次是通过在侧平面(IDPC,2)的左右布置的一对半圆形照明几何结构。由此,在确定结果图像时,可以同时考虑IDPC,1和IDPC,2;参见公式1中的求和指数j。
这些技术是基于特定的假设和简化的,例如,在前面提到的弱对象近似和TCC的表述的情况下。但是,在其他示例中,可以使用其他近似和形式。举例来说,可以使用不同于Tikhonov正则化的反演,例如,直接积分或不同构型的傅里叶滤波。即使在这样的变化中,传递函数的基本属性,如本文中各个示例所述,也有可能保持不变。
图1所示为一个示例性光学系统100。例如,如图1所示的光学系统100,可以实现光学显微镜,例如,具有透射光几何结构的光学显微镜。这种显微镜可用于相衬成像。在其他示例中,根据图1示例的光学系统100还可以实现具有反射光几何结构的光学显微镜。举例来说,可以使用具有反射光几何结构的相应的光学显微镜进行材料测试。可以为此目的以创建样本对象的高度轮廓。
该光学系统100可以允许放大表示固定在样本架113上的样本对象的小结构。例如,光学系统100可以实现宽视场显微镜,在这种显微镜中,在整个区域都照明样本。在一些示例中,光学成像单元112可以在检测器114上创建样本对象的图像表示。由此,检测器114可以配置为检测样本对象的一个或多个图像。同样,可以设想为通过目镜观察。
在一些示例中,可以使用具有大孔径的光学成像单元112。例如,光学成像单元112的数值孔径不小于0.2,可选地不小于0.3,进一步可选地不小于0.5。举例来说,光学成像单元112可以具有浸没物镜。
光学系统100还包括照明模块111。照明模块111配置为照明固定在样品架113上的样本对象。例如,可以通过科勒照明来实现该照明。在此,使用的是聚光镜和聚光镜孔径光阑。这使得用于照明目的光的强度特别均匀地分布在样本物体的平面上。例如,可以实现部分非相干照明。照明模块111也可以配置为在暗场几何结构中照明样本对象。
在图1的示例中,照明模块111配置为便于结构化照明。这意味着可以利用照明模块111实现用不同照明几何结构的光来照明样品对象。不同照明几何结构可以对应于从不同的照明方向照明样品对象。
在此,在本文描述的各种示例中,可以用不同的硬件来实现提供不同的照明几何结构。举例来说,照明模块111可以包括多个可调照明元件,这些可调照明元件配置为局部地修改或发出光。控制器115可以致动照明模块111或照明元件,以实现特定的照明几何结构。
举例来说,控制器115可以实现为微处理器或微控制器。例如,作为备选或补充,控制器115可以包括FPGA或ASIC。作为替代或补充,控制器115也可以致动样本架113,光学成像单元112和/或检测器114。
图2所示为与照明模块111相关的各方面。图2示出了照明模块111包括在矩阵结构中的多个可调照明元件121。在此,所述矩阵结构定向在垂直于光的光束路径的平面上(横向平面;实空间坐标x,y)。
在其他示例中,也可以使用可调元件的不同几何排列代替矩阵结构,例如,环形排列,半圆形排列等。
在一个示例中,可调照明元件121可以实现为光源,例如,作为发光二极管。然后,将有可能,例如,用具有不同发光强度的发光二极管发光照明样本对象。照明几何结构可以以此方式实现。在进一步的实施方式中,照明模块111可以实现为空间光调制器(SLM)。SLM可以对聚光瞳(condenser pupil)进行空间分辨率的干预,这可能会对成像产生直接影响,例如,通过TCC进行正式映射。
图3所示为与示例的照明几何结构300相关的各方面。图3示出了照明模块111的各可调元件121沿着图2的轴线X-X'所提供的发光强度301。照明几何结构300与沿X-X'轴的位置有关,因此是结构化的。
图4所示为与示例的照明几何结构300相关的各方面。图4抽象地说明了使用照明模块111的照明几何结构300。如图4所示,所使用的照明几何结构300,一侧被照亮(图4中为黑色),而另一侧未被照亮(图4中为白色)。图5示出了另一个示例性照明几何结构(具有相应的颜色编码,如图4所示)。
图6所示为与示例性传递函数400相关的各方面(其中,在图6中,黑色表示绝对值+1,白色表示为绝对值-1;在空间频率空间中定义坐标ux和uy,并且对应于实空间坐标x和y)。例如,基于使用根据图4示例的照明几何结构300捕获的图像,传递函数400可用于来确定结果图像,结果图像可以具有相衬。结果图像可以包含样本对象的高度轮廓。
在图6的示例中,传递函数400具有对称轴405,该对称轴405对应于照明几何结构300的对称轴305。由此,可以根据照明几何结构300,选择适当的传递函数400。这样,结果图像可以表现出很强的对比度。
图6还显示了光学成像单元112的检测器孔的直径。由于采用部分非相干照明,上至光学成像单元112的检测器孔径的两倍大小的传递函数不为零。
图7还示出了与传递函数400相关的各方面。这里,原则上,图7的示例对应于图6的示例。但是,在图6的示例中,检测器的孔径尺寸大于图6中示例的尺寸(参见水平虚线;NA表示检测器孔径的尺寸)。
然而,传递函数400由此相应地缩放到图7中与图6相比放大了的检测器孔。例如,图6中示例的传递函数400可以作为参考传递函数。在该例中,例如,控制器115可以配置为按照图7中的示例,基于所述参考传递函数到光学成像单元112的扩大孔径的缩放比例来确定传递函数400。
基于这种的技术,即使在照明模块111的孔径尺寸小于光学成像单元112的孔径尺寸的情况下,也可以确定具有相衬的结果图像。尤其是,在这样的示例中,在通过光学系统100进行成像的特定应用场合中,可能需要使用光学成像单元112的特别大的孔径,例如,照明模块111的孔径尺寸可能小于光学成像单元112的孔径尺寸的50%,可选地小于20%,进一步可选地小于5%。因此,可以进行特别敏感的测量。
从图6和图7的示例可以明显看出,可以不依赖于照明模块111的孔径尺寸确定传递函数400。换句话说,这可能意味着,例如,传递函数400的某个范围或某些特征,例如,极值,零点,拐点等,并不依赖于照明模块111的孔径尺寸。举例来说,图6和图7中的传递函数400没有任何特征,例如,局部极值或零点,这些特征将以依赖于照明模块111孔径尺寸的方式放置在空间频率空间中,即与实空间共轭的空间中。照明模块111。可以利用傅里叶分析和逆傅里叶分析在实空间和空间频率空间之间进行转换。这里的空间频率表示空间周期长度的倒数。相反,传递函数400所处的区域取值非零是由光学成像单元112的孔径尺寸确定的。
这些技术都是基于以下发现:也可以根据光学成像单元的孔径尺寸对传递函数400进行缩放,以确定具有有意义的对比度,例如相衬,的结果图像,或者具有样本对象的高度轮廓的结果图像。由此,在一些示例中,结果图像的对比度可能不包含样本对象相位的定量描述,而是包含样本对象相位的定性描述。特别是,可以在整个图像区域中一致地提供样本对象相位的定性描述。当与例如在DE 10 2014 112 242A1中所描述的参考技术相比时,这可能尤其具有优势。在参考技术中,在结果图像中,用不同的对比符号表示样品对象相位的不同梯度,例如,在样品对象的相对边缘处。
图8所示为与传递函数400相关的各方面(其中,图8中,黑色表示绝对值是+1,白色表示绝对值是-1;坐标ux和uy在空间频率空间中定义,并且与其中的实空间坐标x和y相对应。)。基于利用图5所示的照明几何结构300捕获的图像,传递函数400可以用于确定具有相衬的结果图像。图8还显示了光学成像单元112的检测器孔的直径。
从图6至图8可以看出,可以依赖于结构化照明几何结构300确定传递函数400。特别是,在空间频率空间中传递函数400的几何结构复制了在真实空间中的照明几何结构300。通过使用这些技术,可以在结果图像中获得很强的对比度,即,例如,相衬或高度轮廓的高信噪比。
图9所示为与不同传递函数400相关的各方面(在图9中,用实线,短划线、点虚线和点划线表示不同的传递函数)。
例如,图9所示的传递函数400可以用于不同的照明几何结构(在图9中未示出照明几何结构)。
图9示出了沿着空间频率空间的轴ux的传递函数400。在一些示例中,传递函数可以只沿着空间频率空间的一个坐标变化;然而,在其他示例中,可以沿着两个正交轴ux和uy变化。
在图9的示例中,例如,传递函数400的形式为单调递增的线性函数(实线)。另外,在图9的示例中,另一传递函数400的形式为单调增加的S形函数(短划线)。在图9的示例中,另一传递函数400的形式为卷积的、单调递减的线性函数(点虚线)。在图9的示例中,另一传递函数400的形式为阶跃函数(点虚线)。
传递函数400的这种形式仅仅是示例性的,在其他示例中,可以使用不同形式的传递函数,或在图9的示例中所示的传递函数400的叠加。然而,在本文所述的各种示例中使用的传递函数可能具有特定的特征或特性,使得可以很好地确定结果图像。下面将说明所使用的传递函数的这些特征。
从图9中传递函数400的示例可以看出,在没有局部极值的情况下,即,没有小于绝对极值的局部极大值或极小值,(即图9所示的振幅为+1和-1),可以体现用光学成像单元112的孔径内空间频率的传递函数400。这可以通过单调递增或递减传递函数或通过阶跃函数来实现。
这种避免局部极值的方法在减少结果图像中的信号噪声或伪影方面具有特别有利的效果。举例来说,Tian和Waller使用的传递函数(参见Tian和Waller:图2,左上方)在光学成像单元的两倍孔径内具有局部极值。例如,由于结构的原因,有时可能会出现光学成像单元的实际孔径和公称孔径之间存在偏差。在这种情况下,传递函数的局部极值相对于实际孔径的位置可能在空间频率空间中定位不正确;其结果是:基于相对于实际孔径在空间频率空间中错误定位的局部极值,图像中包含的频率会被错误地过强地放大,从而导致结果图像中出现伪影。由于根据本文所述的不同示例,在检测器孔径内或在检测器两倍孔径内使用没有局部极值的传递函数,可以避免由于传递函数的局部极值移位而导致图像中频率的错误放大。使得捕获图像中包含的频率均匀传播。
此外,从图9所示的传递函数400的示例中可以看出,光学成像单元112的孔径内或光学成像单元112的两倍孔径内的空间频率的传递函数不取值,或者基本上不等于0,也就是说,只有有限的非零值,是可能实现的。通常,有时可能希望避免光学成像单元112的孔径内或光学成像单元112的两倍孔径内的空间频率的传递函数取较小的值,例如,参考对应区域内空间频率的传递函的所有绝对值的最大值。例如,对于光学成像单元112的孔径内或光学成像单元112的两倍孔径内的空间频率的传递函数,其绝对值不小于光学成像单元112的单个孔径范围内传递函数400的所有绝对值的最大值的5%;可选地,不小于2%;进一步可选地,不小于0.5%。例如,这种行为可以通过阶跃函数来提供。
这种技术基于以下发现:当传递函数400的值为零时,可以抑制图像中包含的相应频率。但是,通常可能期望在光学成像单元112的孔径内或光学成像单元112的两倍孔径内不对图像中包含的相应频率进行抑制。例如,Tian和Waller:从图2左上角可以看出,传递函数在光学单元孔径中心的扩展区域中可以取值为零。由此可得,照明模块孔径尺寸与光学单元孔径尺寸的比值越小,传递函数取值为零的区域越大。这意味着,根据Tian和Waller中描述的参考技术,当照明模块的孔径尺寸明显小于光学单元的孔径尺寸时,可能无法,或仅在一定范围内,确定具有相衬的有意义的结果图像。本文描述的各种技术可以解除对参考的实施方式的这种限制。特别是,适当地选择在光学成像单元112的孔径内或者在光学成像单元112的两倍孔径内值不为零或值非常小的传递函数的情况下,使得可以确定具有相衬的结果图像,即使光学成像单元112的孔径相对较大或照明模块111的孔径相对较小。
此外,从图9的示例中可以看出,此处示出的光学成像单元112的两倍孔径之外的空间频率的传递函数取值为零。基本来说,可以使用任意的传递函数,除了那些由光学成像单元112传递的空间频率取值基本上为零的传递函数之外,也就是说,通常除了具有部分相位不相干照明的单个孔径或两倍孔径之外。例如,用于光学成像单元的单个孔径或两倍孔径之外的空间频率的传递函数的绝对值,可能不大于光学成像单元的单个孔径范围或两倍孔径范围内传递函数的所有绝对值的最大值的5%;可选地,不大于2%;进一步可选地,不大于0.5%。这样,可以避免在结果图像中放大伪像或噪声。
图10所示为一种示例性方法的流程图。首先,在1001中,例如,使用样品架来固定样本对象。例如,样本对象可以是相位对象。例如,样品对象可以包括细胞或细胞培养物。样本对象可以包括相位对象。1001是可选的。
接下来,在1002中,用一个或多个结构化照明几何结构照明样本对象。为此,可以相应地致动相应的照明模块。举例来说,可以用两个互补的照明几何结构来照明样本对象,例如,所述两个互补的照明几何结构为半圆形构造,并且对应于相应的照明模块孔内不同的半圆形。
在1003中,使用光学成像单元和检测器(例如,CMOS或CCD传感器)捕获样本对象的一个或多个图像。1003可以包括检测器的相应致动。每个示例中的一个或多个图像分别包含样本对象的图像表示。在这里,不同的图像与1002中不同的照明几何结构相关联。
在一些示例中,可以捕获两对图像,每对图像分别与互补的半圆形照明方向相关联。在其他示例中,也可能只捕获两个或三个图像。
在这种情况下,可能会形成差异,例如,根据:
其中,I(left)和I(right)分别表示每个示例中与面向左或面向右的半圆形照明几何结构相关联的图像,其中I(top)和I(bottom)分别表示每个示例中与面向上或面向下的半圆形照明几何结构相关联的图像。
同样,在公式3中,可选的将分母考虑为归一化。可以只考虑差异。也可以使用原始数据Ileft和Iright以及Itop和Ibottom,即,无需按照公式3或公式2,通过计算进行成对组合。
然后,在1004中确定具有相衬的结果图像。在1004中,基于传递函数确定结果图像,该传递函数借助于相应的光学系统所对应的相应的照明几何结构来描述样本对象的成像。还基于在1003中捕获的至少一个图像来确定结果图像。为此,例如,从1003中捕获的多个与不同照明几何结构相关的图像,可以首先形成差异,并且进行归一化处理。
例如,根据图10的方法可以进一步包括将参考传递函数缩放至光学成像单元的孔径尺寸。这意味着参考传递函数可以适应光学成像单元孔径的大小。
综上所述,上面已经描述了即使在光学成像单元使用孔径较大的的情况下,也可以确定具有强对比度的结果图像的技术,所述结果图像用于表示,例如,样本对象的相位或高度。这些技术是基于对光学成像单元的孔径尺寸来考虑的。由此,例如,可以根据光学成像单元的孔径尺寸缩放指定的参考传递函数。因此,参考传递函数也可以被称为人工传递函数,因为它相对于传递函数可能有偏差,理论上这是可以根据照明几何结构预期的。
这样的技术具有一定的优点。举例来说,可以灵活地确定光学成像单元的孔径尺寸。特别是,例如,可以使用浸没物镜。利用本文所述的技术,通过选择适当的传递函数,可以在结果图像中获得特别大的相衬。特别是,例如,可以相对于根据Tian和Waller的参考实施方式来放大相衬。此外,它可以,例如,数字化地再现特定形式的由硬件实现的相衬图像,例如,Zernike对比度。
毫无疑问,上述本发明实施例的特征和本发明的各个方面可以相互组合。特别地,这些特征不仅可以用于所描述的组合,还可以在不脱离本发明范围的情况,用于其他组合或者单独使用。
这里所描述的不同传递函数的幅度的缩放仅仅是示例性的。例如,这里所描述的不同示例经常说明幅度为+1和-1的传递函数,但在其他示例中,也可以使用具有不同幅度的传递函数。
此外,还例如,已经描述了关于用部分相干的光来照明样本对象的不同实施方式。在此,所传递的空间频率的带宽等于光学成像单元孔径的两倍。然而,在不同的示例中,也可以使用不同的照明技术,这意味着传递的空间频率的带宽具有不同的维度。在这里描述的不同示例中,可以考虑,例如,通过将参考传递函数相应地缩放到所影响的传递空间频率的理论最大值。
此外,本文还描述了使用光学成像单元的特别大孔径的各种示例。然而,本文所述的示例也可用于其他情况,例如,照明模块的孔径尺寸大于或近似等于光学成像单元的孔径尺寸。在这些情况下,也可以获得具有强烈对比度的结果图像。
Claims (14)
1.一种光学系统(100),包括:
样本架(113),配置为固定样本对象;
照明模块(111),配置为以至少一个结构化照明几何结构(300)照明所述样本对象;
光学成像单元(112),配置为生成所述样本对象的图像表示,所述样本对象被检测器(114)上的所述至少一个结构化照明几何结构(300)所照明;
所述检测器(114),配置为基于所述图像表示,捕获所述样本对象的至少一个图像;
控制器(115),配置为基于传递函数(400)和所述至少一个图像,确定具有相衬的结果图像;
其中,所述传递函数(400)对应于已根据所述光学成像单元(112)的孔径尺寸进行了缩放的参考传递函数(400)。
2.一种光学系统(100),包括:
样本架(113),配置为固定样本对象;
照明模块(111),配置为以至少一个结构化照明几何结构(300)照明所述样本对象;
光学成像单元(112),配置为生成所述样本对象的图像表示,所述样本对象被检测器(114)上的所述至少一个结构化照明几何结构(300)所照明;
所述检测器(114),配置为基于所述图像表示,捕获所述样本对象的至少一个图像;
控制器(115),配置为基于传递函数(400)和所述至少一个图像,确定具有相衬的结果图像;
其中,所述照明模块(111)的孔径尺寸小于所述光学成像单元(112)的孔径尺寸。
3.根据权利要求2所述的光学系统(100),其中,所述传递函数(400)对应于参考传递函数(400),该参考传递函数(400)已按比例缩放至所述光学成像单元(112)的孔径尺寸。
4.根据前述权利要求中的任一项所述的光学系统(100),其中,所述照明模块(111)的孔径尺寸小于所述光学成像单元(112)的孔径尺寸的50%,可选地小于20%,进一步可选地小于5%。
5.根据前述权利要求中的任一项所述的光学系统(100),其中,
所述光学成像单元(112)的单倍孔径或两倍孔径内的空间频率的所述传递函数(400)的绝对值不小于所述光学成像单元(112)的单倍孔径或两倍孔径内的空间频率的所述传递函数(400)的所有绝对值的最大值的5%;可选地不小于2%,进一步可选地不小于0.5%。
6.根据前述权利要求中的任一项所述的光学系统(100),其中,所述光学成像单元(112)孔径内的空间频率的所述传递函数(400)没有局部极值。
7.根据前述权利要求中的任一项所述的光学系统(100),其中,根据所述至少一个结构化照明几何结构(300)确定所述传递函数(400)。
8.根据前述权利要求中的任一项所述的光学系统(100),其中,所述传递函数(400)是阶跃函数。
9.根据前述权利要求中的任一项所述的光学系统(100),其中,所述传递函数(400)是单调递增或单调递减的函数,可选地为线性函数或S形函数。
10.根据前述权利要求中的任一项所述的光学系统(100),其中,所述传递函数(400)具有与所述至少一个照明几何结构(300)的对称轴(305)相对应的对称轴(405)。
11.根据前述权利要求中的任一项所述的光学系统(100),其中,所述光学成像单元(112)的单倍孔径或两倍孔径内的空间频率的所述传递函数(400)的绝对值不大于所述光学成像单元(112)的单倍孔径或两倍孔径内的空间频率的所述传递函数(400)的所有绝对值的最大值的5%;可选地不大于2%,进一步可选地不大于0.5%。
12.根据前述权利要求中的任一项所述的光学系统(100),其中,所述控制器(115)配置为基于傅里叶逆变换的Tikhonov正则化来确定所述结果图像。
13.一种方法,包括:
用至少一个结构化照明几何结构照明样本对象(300);
生成用所述至少一个结构化照明几何结构(300)照明的所述样品对象的图像表示;
基于所述图像表示,捕获所述样本对象的至少一个图像;
基于传递函数(400)和所述至少一个图像,确定具有相衬的结果图像;
其中,所述传递函数(400)对应于已根据所述光学成像单元(112)的孔径尺寸进行了缩放的参考传递函数(400)。
14.根据权利要求13所述的方法,其中,所述方法由权利要求1至12中的任一项所述的光学系统(100)实现。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017108873.3 | 2017-04-26 | ||
DE102017108873.3A DE102017108873A1 (de) | 2017-04-26 | 2017-04-26 | Phasenkontrast-Bildgebung mit Übertragungsfunktion |
PCT/EP2018/059452 WO2018197230A1 (de) | 2017-04-26 | 2018-04-12 | Phasenkontrast-bildgebung mit übertragungsfunktion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110520780A true CN110520780A (zh) | 2019-11-29 |
CN110520780B CN110520780B (zh) | 2022-04-15 |
Family
ID=62063493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880025065.8A Active CN110520780B (zh) | 2017-04-26 | 2018-04-12 | 具有传输函数的相衬成像 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN110520780B (zh) |
DE (1) | DE102017108873A1 (zh) |
WO (1) | WO2018197230A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102017115658A1 (de) | 2017-07-12 | 2019-01-17 | Carl Zeiss Microscopy Gmbh | Flackern bei Winkel-variabler Beleuchtung |
DE102018114005A1 (de) | 2018-06-12 | 2019-12-12 | Carl Zeiss Jena Gmbh | Materialprüfung von optischen Prüflingen |
DE102019100419A1 (de) | 2019-01-09 | 2020-07-09 | Carl Zeiss Microscopy Gmbh | Winkelvariable Beleuchtung zur Phasenkontrast-Bildgebung mit Absorptionsfilter |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE1945778A1 (de) * | 1969-09-10 | 1971-04-08 | Osoboje K Bjuro Ministerstwa G | Analysator zur Phasenanalyse von Objekten unter dem Mikroskop |
JP2001194592A (ja) * | 2000-01-07 | 2001-07-19 | Nikon Corp | 位相物体観察装置 |
CN101271191A (zh) * | 2007-03-23 | 2008-09-24 | 卡尔蔡司微成像有限责任公司 | 显微镜物镜 |
CN101288013A (zh) * | 2005-09-19 | 2008-10-15 | Cdm光学有限公司 | 基于任务的成像系统 |
CN101324702A (zh) * | 2007-06-12 | 2008-12-17 | 卡尔蔡司微成像有限责任公司 | 以明场透射光或荧光反射光对比法观察试样的显微镜 |
JP2009086392A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 位相差顕微鏡 |
DE102007061214A1 (de) * | 2007-12-19 | 2009-06-25 | Carl Zeiss Microimaging Gmbh | Mikroskop zum Beobachten einer Probe mittels verschiedener Kontrastverfahren |
JP2011002514A (ja) * | 2009-06-16 | 2011-01-06 | National Institute Of Advanced Industrial Science & Technology | 位相差顕微鏡 |
WO2011020550A1 (de) * | 2009-08-18 | 2011-02-24 | Carl Zeiss Microimaging Gmbh | Beleuchtungseinrichtung für mikroskope und makroskope |
CN102004276A (zh) * | 2010-08-25 | 2011-04-06 | 中国科学院深圳先进技术研究院 | 光子筛相衬物镜、制造方法及成像方法 |
CN102221741A (zh) * | 2010-04-13 | 2011-10-19 | 奥林巴斯株式会社 | 摄像装置 |
CN102998789A (zh) * | 2012-12-31 | 2013-03-27 | 华中科技大学 | 一种超分辨微分干涉相衬显微成像系统及显微成像方法 |
WO2013148360A1 (en) * | 2012-03-30 | 2013-10-03 | Trustees Of Boston University | Phase contrast microscopy with oblique back-illumination |
US20130342825A1 (en) * | 2012-06-26 | 2013-12-26 | Kla-Tencor Corporation | Diode laser based broad band light sources for wafer inspection tools |
CN103534629A (zh) * | 2011-05-18 | 2014-01-22 | 株式会社尼康 | 显微镜系统 |
US20140098416A1 (en) * | 2011-05-27 | 2014-04-10 | Christine Schmidt | Arrangement for Generating a Differential Interference Contrast Image |
US20150077535A1 (en) * | 2013-04-12 | 2015-03-19 | Duke University | Systems and methods for structured illumination super-resolution phase microscopy |
CN104568859A (zh) * | 2013-10-22 | 2015-04-29 | 承奕科技股份有限公司 | 具多组异角度光源的荧光观测装置、基架及荧光显微镜 |
DE102014112242A1 (de) * | 2014-08-26 | 2016-03-03 | Carl Zeiss Ag | Phasenkontrast-Bildgebung |
EP3146501A1 (en) * | 2014-05-19 | 2017-03-29 | The Regents of the University of California | Fourier ptychographic microscopy with multiplexed illumination |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1936422A4 (en) * | 2005-10-13 | 2013-01-16 | Nikon Corp | MICROSCOPE |
-
2017
- 2017-04-26 DE DE102017108873.3A patent/DE102017108873A1/de active Pending
-
2018
- 2018-04-12 CN CN201880025065.8A patent/CN110520780B/zh active Active
- 2018-04-12 WO PCT/EP2018/059452 patent/WO2018197230A1/de active Application Filing
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE1945778A1 (de) * | 1969-09-10 | 1971-04-08 | Osoboje K Bjuro Ministerstwa G | Analysator zur Phasenanalyse von Objekten unter dem Mikroskop |
JP2001194592A (ja) * | 2000-01-07 | 2001-07-19 | Nikon Corp | 位相物体観察装置 |
CN101288013A (zh) * | 2005-09-19 | 2008-10-15 | Cdm光学有限公司 | 基于任务的成像系统 |
CN101271191A (zh) * | 2007-03-23 | 2008-09-24 | 卡尔蔡司微成像有限责任公司 | 显微镜物镜 |
CN101324702A (zh) * | 2007-06-12 | 2008-12-17 | 卡尔蔡司微成像有限责任公司 | 以明场透射光或荧光反射光对比法观察试样的显微镜 |
JP2009086392A (ja) * | 2007-10-01 | 2009-04-23 | Nikon Corp | 位相差顕微鏡 |
DE102007061214A1 (de) * | 2007-12-19 | 2009-06-25 | Carl Zeiss Microimaging Gmbh | Mikroskop zum Beobachten einer Probe mittels verschiedener Kontrastverfahren |
JP2011002514A (ja) * | 2009-06-16 | 2011-01-06 | National Institute Of Advanced Industrial Science & Technology | 位相差顕微鏡 |
WO2011020550A1 (de) * | 2009-08-18 | 2011-02-24 | Carl Zeiss Microimaging Gmbh | Beleuchtungseinrichtung für mikroskope und makroskope |
CN102221741A (zh) * | 2010-04-13 | 2011-10-19 | 奥林巴斯株式会社 | 摄像装置 |
CN102004276A (zh) * | 2010-08-25 | 2011-04-06 | 中国科学院深圳先进技术研究院 | 光子筛相衬物镜、制造方法及成像方法 |
CN103534629A (zh) * | 2011-05-18 | 2014-01-22 | 株式会社尼康 | 显微镜系统 |
US20140098416A1 (en) * | 2011-05-27 | 2014-04-10 | Christine Schmidt | Arrangement for Generating a Differential Interference Contrast Image |
WO2013148360A1 (en) * | 2012-03-30 | 2013-10-03 | Trustees Of Boston University | Phase contrast microscopy with oblique back-illumination |
US20130342825A1 (en) * | 2012-06-26 | 2013-12-26 | Kla-Tencor Corporation | Diode laser based broad band light sources for wafer inspection tools |
CN102998789A (zh) * | 2012-12-31 | 2013-03-27 | 华中科技大学 | 一种超分辨微分干涉相衬显微成像系统及显微成像方法 |
US20150077535A1 (en) * | 2013-04-12 | 2015-03-19 | Duke University | Systems and methods for structured illumination super-resolution phase microscopy |
CN104568859A (zh) * | 2013-10-22 | 2015-04-29 | 承奕科技股份有限公司 | 具多组异角度光源的荧光观测装置、基架及荧光显微镜 |
EP3146501A1 (en) * | 2014-05-19 | 2017-03-29 | The Regents of the University of California | Fourier ptychographic microscopy with multiplexed illumination |
DE102014112242A1 (de) * | 2014-08-26 | 2016-03-03 | Carl Zeiss Ag | Phasenkontrast-Bildgebung |
Non-Patent Citations (4)
Title |
---|
D.K.HAMILTON 等: "Improved imaging of phase gradients in scanning optical microscopy", 《JOURNAL OF MICROSCOPY》 * |
LEI TIAN 等: "3D differential phase-contrast microscopy with computational illumination using an LED array", 《OPTICS LETTERS》 * |
SHALIN B. MEHTA 等: "Quantitative phase-gradient imaging at high resolution with asymmetric illumination-based differential phase contrast", 《OPTICS LETTERS》 * |
ZIJI LIU 等: "Real-time brightfield, darkfield, and phase contrast imaging in a light-emitting diode array microscope", 《JOURNAL OF BIOMEDICAL OPTICS》 * |
Also Published As
Publication number | Publication date |
---|---|
DE102017108873A1 (de) | 2018-10-31 |
CN110520780B (zh) | 2022-04-15 |
WO2018197230A1 (de) | 2018-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4123305B2 (ja) | 画像作成方法および顕微鏡装置 | |
CN111855621B (zh) | 动态高速高灵敏度成像装置及成像方法 | |
Orieux et al. | Bayesian estimation for optimized structured illumination microscopy | |
CN110520780A (zh) | 具有传输函数的相衬成像 | |
US20080245953A1 (en) | Multi-axis integration system and method | |
US11506485B2 (en) | Material testing by angle-variable illumination | |
WO2019135778A1 (en) | Single-frame autofocusing using multi-led illumination | |
CN110462484B (zh) | 具有优化的照明几何结构的结构照明 | |
US20110109736A1 (en) | System and Method for Producing an Optically Sectioned Image Using Both Structured and Uniform Illumination | |
CN107850765B (zh) | 光束成形和光层显微技术的方法和组合件 | |
JP7549691B2 (ja) | コントラストを増進し、かつ焦点を見出すための干渉縞の使用を伴う透過照明撮像 | |
Wolf et al. | Quantitative analysis of digital microscope images | |
Lee et al. | Color-coded LED microscopy for quantitative phase imaging: Implementation and application to sperm motility analysis | |
Mkrtchyan et al. | An adaptive monitoring system for identify of the spots of pollutants on the water surface | |
JP2008216778A (ja) | 構造化照明顕微鏡 | |
Zhang et al. | Super-resolution generative adversarial network (SRGAN) enabled on-chip contact microscopy | |
Maalouf | Contribution to fluorescence microscopy, 3D thick samples deconvolution and depth-variant PSF | |
TWI637166B (zh) | 微分相位對比顯微系統與方法 | |
Wolf et al. | Quantitative analysis of digital microscope images | |
Pospíšil et al. | Analysis of image reconstruction artifacts in structured illumination microscopy | |
US20170237885A1 (en) | Method and Apparatus for High Contrast Imaging | |
US20060045313A1 (en) | Displacement measurements using phase changes | |
JP6016463B2 (ja) | デフォーカス量推定方法、撮像装置、および透光性部材 | |
Gustafsson | Extended-resolution reconstruction of structured illumination microscopy data | |
Bergstue | Motion Tracking Through Moiré Images of Fork Gratings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |