CN103487928A - 散焦量估计方法、成像装置和透明部件 - Google Patents
散焦量估计方法、成像装置和透明部件 Download PDFInfo
- Publication number
- CN103487928A CN103487928A CN201310224826.1A CN201310224826A CN103487928A CN 103487928 A CN103487928 A CN 103487928A CN 201310224826 A CN201310224826 A CN 201310224826A CN 103487928 A CN103487928 A CN 103487928A
- Authority
- CN
- China
- Prior art keywords
- image
- mark
- defocus amount
- transmitted light
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/34—Microscope slides, e.g. mounting specimens on microscope slides
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
- G02B21/08—Condensers
- G02B21/14—Condensers affording illumination for phase-contrast observation
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
- G02B21/20—Binocular arrangements
- G02B21/22—Stereoscopic arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/24—Base structure
- G02B21/241—Devices for focusing
- G02B21/244—Devices for focusing using image analysis techniques
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/32—Fiducial marks and measuring scales within the optical system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
- H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
- H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
- H01J37/28—Electron or ion microscopes; Electron or ion diffraction tubes with scanning beams
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Microscoopes, Condenser (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
公开了散焦量估计方法、成像装置和透明部件。一种用于成像装置的散焦量估计方法,成像装置使用图像传感器捕获由成像光学系统形成的试样的图像,散焦量估计方法包括:使用包括标记的透明部件来固定试样以取得包含试样的图像和标记的图像的捕获图像的捕获图像评估步骤,其中标记将相位变化和振幅变化中的至少一个施加到透射光;以及基于捕获图像对散焦量进行估计的估计步骤。
Description
技术领域
本公开涉及用于估计在成像装置捕获图像时发生的散焦量的方法。
背景技术
近年来,在医疗领域中,被称作虚拟载片(virtual slide)系统的病理诊断支持系统引起了关注。在虚拟载片系统中,虚拟载片(即数字成像装置)捕获要观察的试样的图像,因此取得数字图像。该系统因此能够提供诸如远程诊断和自动诊断之类的新诊断方法,该新诊断方法尚不能够通过使用传统显微镜来实现。另外,在执行病理诊断时需要试样(例如染色的身体组织)的整个观察区域的高分辨率图像。因此对虚拟载片而言,取得具有宽视场的高质量图像是必要的。
在通常病理诊断中,使用其中通过透明部件(即盖玻片)来覆盖并固定试样的制备载片(prepared slide)。然而,在试样和盖玻片中存在不可预测的弯曲(waviness),因此对于每个制备载片散焦不同地发生,或者甚至在同一制备载片中取决于成像位置散焦不同地发生。另外,由于温度变化或者机械误差,散焦发生。因此,估计在各成像位置处的散焦量并且在整个观察区域中对散焦进行校正以取得具有宽视场的高分辨率图像用于执行病理诊断是必要的。
美国专利申请公开号2002/0021434和美国专利申请公开号2005/0112475讨论一种使用具有非对称衍射光栅的掩模的图像强度分布的方法,作为用于估计半导体曝光装置中的散焦量的方法。更具体地,美国专利申请公开号2002/0021434讨论一种使用具有非对称衍射光栅图案的测试掩模的方法。因为非对称衍射光栅图案的图像与散焦量成比例地水平移动,所以通过测量移动量来对散焦量进行量化。另外,美国专利申请公开号2005/0112475讨论一种通过在用于制造的掩模基板上放置非对称衍射光栅来根据投影图像位置与晶片位置之间的关系计算散焦量的方法。
但是,因为美国专利申请公开号2002/0021434讨论使用不同于用于制造的掩模的测试掩模来估计散焦量的方法,所以分离地执行用于聚焦估计的曝光和用于制造的曝光是必要的。换句话说,即使在美国专利申请公开号2002/0021434中讨论的方法被应用到虚拟载片时,测试试样和制备载片也被分离地成像。因此,无法估计由试样和盖玻片中的弯曲所引起的散焦量。另外,在美国专利申请公开号2005/0112475中讨论的非对称衍射光栅被布置在掩模基板上不同于要曝光的设备图案的位置处。因此,考虑到不可预测的弯曲,无法对设备图案表面中的散焦量进行估计。因此,在虚拟载片中,即使在使用在美国专利申请公开号2002/0021434或者2005/0112475中讨论的方法时,考虑到在制备载片的观察区域内的弯曲,也难以对散焦量进行估计。
发明内容
本发明的实施例涉及这样的成像装置,其估计由试样的弯曲引起的散焦量以取得试样的图像。
根据本发明的一方面,一种用于成像装置(该成像装置使用图像传感器捕获由成像光学系统形成的试样的图像)的散焦量估计方法包括:使用包括标记的透明部件来固定试样以取得包含试样的图像和标记的图像的捕获图像的捕获图像评估步骤,其中标记将相位变化和振幅变化中的至少一个施加到透射光;以及,基于捕获图像对散焦量进行估计的估计步骤。
从参照附图对示例性实施例的以下描述中,本发明的其它特征和方面将变得清楚。
附图说明
图1是图示出根据本发明示例性实施例的成像装置(即虚拟载片)的示意图。
图2是图示出制备载片的示意图。
图3A是图示出由盖玻片施加到透射光的相位变化的示意图,图3B是图示出由盖玻片施加到透射光的振幅变化的示意图。
图4是图示出盖玻片的截面视图。
图5图示出试样的强度透射率。
图6图示出制备载片的离焦图像。
图7是图示出评估量计算处理的流程图。
图8图示出用于分割图像的方法。
图9A和图9B图示出评估值相对于像面散焦量的变化。
图10图示出在恢复图像之后的制备载片的离焦图像。
图11图示出使用无标记的盖玻片的制备载片的离焦图像。
图12是图示出根据本发明第一示例性实施例的散焦量估计方法的流程图。
图13图示出盖玻片上标记的布置。
图14图示出根据本发明第二示例性实施例的评估量相对于像面散焦量的变化。
具体实施方式
下面将参照附图描述本发明的各种示例性实施例、特征和方面。
图1是图示出根据本示例性实施例的成像装置(即虚拟载片)的配置的示意图。参考图1,成像装置1000包括成像单元100、控制单元200以及信息处理单元400。下面将描述其中成像装置1000执行对要观察的制备载片103的成像并且取得捕获图像的过程。
控制单元200中的运送单元201根据来自控制器202的指令将制备载片103移动到成像单元100的平台102上。照明系统101照亮装载在平台102上的制备载片103,并且制备载片103的图像经由成像光学系统104被放大并被形成在图像传感器105上。图像传感器105然后将制备载片103的放大图像转换为电信号,并将该电信号作为图像数据传送到信息处理单元400。图像处理单元402将从图像传感器105传送来的图像数据转换为数字信号(即亮度信号),并执行诸如降噪和压缩之类的图像处理。计算单元(即计算机)401存储处理后的数字信号,并针对所存储的捕获图像执行计算。这样,计算单元401估计散焦量并执行图像恢复(下面将详细对此进行描述)。
图2是图示出根据本示例性实施例的制备载片103的配置的示意图。参考图2,制备载片103包括用于固定要观察的试样303的盖玻片302(即透明部件)和载玻片(slide glass)301。在与盖玻片302的光轴垂直的平面中形成多个特定标记。形成在盖玻片上的特定标记将具有特定分布的相位变化和振幅变化(下面将对其细节进行描述)施加到来自照明系统101的透射光。如果试样303和盖玻片302使散焦在制备载片103将被成像时发生,则在捕获图像中生成模糊。根据本示例性实施例,盖玻片用作包括特定标记的透明部件。然而,透明部件的材料不限于玻璃,并且可以是塑料膜。另外,特定标记可以形成在载玻片上而不是在盖玻片上。
图3A图示出根据本示例性实施例的由盖玻片302施加到透射光的相位变化的分布。参考图3A,黑正方形将-π/4弧度的相位变化施加到透射光,每个黑正方形的边长是1μm、在y方向上以3μm的间隔分布并且在x方向上以6μm的间隔分布。根据本示例性实施例,当施加到透射光的相位变化是负值时,在从照明系统101看朝向制备载片103的方向(即图1所图示的+z方向)上生成相位变化。另外,根据本示例性实施例,在盖玻片302中的、施加-π/4弧度的相位变化的每个正方形称作标记A,并且一组标记A称作标记A群。此外,参考图3A,不包含标记A群的区域(即白色区域)不将相位变化施加到透射光。换句话说,由标记A所施加的相位变化是与透过不包含标记A的区域的波前(即基准波前)的差异量。
图3B图示出根据本示例性实施例的由盖玻片302施加到透射光的振幅变化的分布。参考图3B,灰色区域将70%的振幅变化施加到透射光并吸收入射光。与标记A类似地,灰色区域是这样的正方形:每个正方形边长是1μm、在y方向上以3μm的间隔分布并且在x方向上以6μm的间隔分布。根据本示例性实施例,在盖玻片302中的施加70%的振幅变化的正方形称作标记B,并且一组标记B称作标记B群。另外,图3B所图示的不包含标记B群的区域(即白色区域)不将振幅变化施加到透射光。
图4是图示出根据本示例性实施例的在包括标记A和标记B的位置处的盖玻片302的截面视图。参考图4,标记A304是用于将(-π/4弧度的)负相位变化施加到透射光的、边长是1μm的、形成在玻璃基板307的表面上的正方形凹陷。通过将包括标记A304的表面设定为试样(未图示)侧并固定试样,凹陷将被试样填充。凹陷的深度因此由玻璃基板307和试样的折射率、照明光的中心波长以及要施加的相位变化来确定。根据本示例性实施例,如果玻璃基板307的折射率是1.5并且试样的折射率是1.4,那么凹陷深度是照明光的中心波长的1.25倍。可以通过执行诸如蚀刻之类的处理来形成标记A304的凹陷。另外,标记B305是这样的正方形滤光器:边长为1μm,形成在玻璃基板307的表面上用于将振幅变化施加到透射光。例如,如果要将70%的振幅变化施加到透射光,那么布置将透射光的振幅衰减30%的滤光器。可以通过在盖玻片上施加吸光材料来形成标记B305的滤光器。也可以在盖玻片上形成既施加相位变化又施加振幅变化的标记。
根据本示例性实施例,在盖玻片上在+x方向上以3μm的间隔交替布置上述标记A和标记B。然而,标记A组和标记B组的相对位置以及相应标记的分布不限于此。例如,标记A和标记B可以分别在y方向上以6μm的间隔布置并且在x方向上以3μm的间隔布置以构成标记A组和标记B组,并且标记A组和标记B组可以在+y方向上以3μm的间隔布置。另外,根据本示例性实施例,标记A和标记B被各自间隔布置。但是,本发明不限于此。此外,根据本示例性实施例,标记A和标记B是正方形形状,每个标记的边长是1μm。然而,标记的形状不限于此,并且可以是圆形或矩形标记。此外,根据本示例性实施例,标记A将-π/4弧度的相位变化施加到透射光,并且标记B将70%的振幅变化施加到透射光。然而,这些值不限于此,相位变化可以是π/2弧度,并且振幅变化可以是50%。
下面将描述对这样的图像的仿真:该图像是由成像单元捕获的制备载片图像。通过使用根据本示例性实施例的盖玻片来制备制备载片。在仿真中,试样的强度透射率分布如图5所图示。另外,成像光学系统的数值孔径和成像倍率分别是0.7和40倍,并且图像传感器中的像素的像素尺寸和面积孔径比分别是4μm和50%。此外,采用具有550nm波长的单色光和0.7的相干因子σ的部分相干照明系统。假设图像传感器的成像平面是像面,则通过像面散焦量来指示散焦量,并且像面散焦量在图像传感器远离成像光学系统移动时是正值。
图6图示出当像面散焦量改变时从成像单元输出的制备载片的一系列捕获图像(离焦图像)。参考图6,当像面散焦量是0mm时,标记B组的图像呈现黑色。随着像面散焦量增大,不论像面散焦量是正值还是负值,都随后对称地生成模糊。另外,随着像面散焦量在正方向上增大,标记A组的图像呈现白色,并且随着像面散焦量在负方向上增大,标记A组的图像呈现黑色。因此存在随着散焦方向的明暗变化。换句话说,根据本示例性实施例,如果制备载片是利用盖玻片来形成的,那么根据像面散焦量是在正方向还是在负方向上改变,在标记A的图像中存在非对称变化并且在标记B的图像中存在对称变化。
下面将参照图7中所图示的流程图来描述根据由成像单元取得的图像来计算用于估计像面散焦量的评估量的方法(即评估量计算处理)。除非另有说明,否则在该流程图中的每个步骤中执行的处理由成像装置中的计算单元来执行。
在步骤S701(即分割处理)中,计算单元分割图像以使得分割区域包括标记A和标记B中的至少一个,以提取标记A和标记B的相应图像变化。根据本示例性实施例,标记如上所述地以固定间隔布置在盖玻片上。因此,希望如图8图示的虚线所指示的那样对图像进行均等分割,以使得在分割区域的中心处布置有一个标记。
在步骤S702(即第一平均化处理)中,计算单元计算其中标记的图像出现的区域内(即在图8图示的细实线内)的图像的平均值。计算出的值指示标记相对于像面散焦量的变化。然而,因为通过将盖玻片放在试样上来配置制备载片,所以如果在每个分割区域之间存在试样的透射率差异,那么在步骤S702中取得的值在每个分割区域之间变得不同。为了解决这一问题,在步骤S703(即第二平均化处理)中,计算单元计算包括标记的图像的分割区域内(即在图8图示的粗实线内)的图像的平均值。计算出的值对应于分割区域内的试样的透射率。在步骤S704(即除法处理)中,计算单元将在步骤S702中得到的值除以在步骤S703中得到的值,从而去除在分割区域之间的试样透射率差异。对每个分割区域执行从步骤S702到步骤S704中的上述处理。
然而,如果在每个分割区域内存在试样的透射率分布,那么在步骤S704中得到的值对于每个分割区域而言变得不同。为了解决这一问题,在步骤S705(即第三平均化处理)中,计算单元在同一标记组(即标记组A和标记组B中的每一个)中对在步骤S704中得到的值取平均。结果,计算单元计算出其中在每个分割区域中试样的透射率分布影响已经被减小的值。针对标记A组以如上方式得到的值因此被设定为评估量1,而针对标记B组得到的值被设定为评估量2。在步骤S706中,计算单元存储每个评估值。
根据本示例性实施例,通过执行上述评估量计算处理,能够根据包括盖玻片和试样的制备载片的捕获图像来计算评估值。根据本示例性实施例,假定其中针对制备载片的捕获图像来计算评估值的情况,那么已经对评估值计算处理进行过描述。然而,评估量计算处理可以应用于通过仅成像事先不放置试样的盖玻片而取得的图像(即基准图像)。换句话说,在制备制备载片之前,事先仅对盖玻片进行成像,然后对取得的基准图像执行评估量计算处理。基准图像的评估值因此可以存储在计算单元中(下面将详细描述该处理)。
图9A图示出评估量1相对于像面散焦量的变化,图9B图示了评估量2相对于像面散焦量的变化。参考图9A和图9B,实线指示针对有试样的制备载片的捕获图像的评估值,而虚线指示针对仅无试样的盖玻片的基准图像的评估值。在图9A和图9B二者中,实线和虚线类似地改变。因此能够认识到:不论是否包括试样,评估量1和评估量2相对于像面散焦量都是固定值。换句话说,如果针对多个散焦量事先取得基准图像的评估值,那么可以通过将所取得的多个评估值与捕获图像的评估值作比较来估计图像散焦量。
在图9B中,评估量2相对于像面散焦量的变化对称地改变。换句话说,评估量的值根据像面散焦量的绝对值来确定,因此可以通过计算评估量2来估计像面散焦量的绝对值。另外,在图9A中,评估量1相对于像面散焦量的从正方向到负方向的变化非对称地改变。换句话说,可以通过采用评估量1来确定通过使用评估量2而得到的像面散焦量的绝对值实际上是正值还是负值。
如上所述,根据本示例性实施例,采用包括特定标记的盖玻片,从而可以估计由要观察的试样或者盖玻片引起的像面散焦量。在这种情况下,如图6所示,通过捕获制备载片的图像而得到的捕获图像包含试样的图像和在盖玻片上的标记的图像二者。如果要在病理诊断中使用被得到用于估计像面散焦量的捕获图像,那么不希望在诊断中使用包含盖玻片上的标记的图像。为了解决这一问题,通过执行下面将要描述的图像恢复处理来将盖玻片的影响从制备载片的捕获图像去除。
评估量1和评估量2用于根据制备载片的捕获图像来估计像面散焦量。事先存储在计算单元中的多个基准图像(即盖玻片的离焦图像)中的如下图像然后被读取,该图像对应于所估计的像面散焦量。制备载片的捕获图像因此被除以所读取的盖玻片基准图像。图10图示出通过执行图像恢复处理而取得的处理结果,并且出现在图6图示的图像中的盖玻片上的标记没有出现在图10中。图11图示出使用不包括如在本示例性实施例那样的标记的传统盖玻片的制备载片的离焦图像。如果将图10图示的图像与图11图示的图像进行比较,那么在图像之间没有可见差别。因此能够通过使用事先得到的盖玻片基准图像来将盖玻片的影响从制备载片的捕获图像去除。
下面将参照图12所示的流程图来描述根据第一示例性实施例的用于估计散焦量的方法。除非另有说明,否则由成像装置中的计算单元来执行流程图中每个步骤中执行的处理。另外,在与上述条件相同的条件下执行仿真。
在步骤S1201中,成像单元针对多个散焦量对根据本示例性实施例的盖玻片进行成像,并且计算单元存储所取得的多个基准图像(即离焦图像)。根据本示例性实施例,通过在成像光学系统的光轴方向上垂直地驱动图像传感器来在执行成像时改变散焦量。然而,也可以通过驱动其上装载制备载片的平台来改变散焦量。
在步骤S1202中,计算单元根据图7所图示的评估量计算处理,针对在步骤S1201中取得的多个基准图像中的每一个来计算估计量1和估计量2。计算单元然后存储计算出的与各像面散焦量关联的评估量1和评估量2。评估量1和评估量2是与图9A和图9B所图示的虚线所指示的“无试样”的值相同的值。在步骤S1201中取得的多个基准图像和在步骤S1202中计算出的每个评估量可以被设定为基准数据。基准数据然后可被用来估计在对包括要观察试样的制备载片进行成像时的像面散焦量并且用来执行图像恢复。只要在开始对像面散焦量的估计时一次性得到基准数据,就没有必要在每次捕获要观察的试样的图像时得到基准数据。步骤S1201与步骤S1202的处理被总称作基准图像评估步骤。
在步骤S1203中,通过在基准图像评估步骤(S1201)中已经被成像的盖玻片来固定要观察的试样。计算单元然后得到并存储已经制备好的制备载片的捕获图像。在步骤S1204中,计算单元根据图7图示的评估量计算处理,根据在步骤S1203中得到的制备载片的捕获图像来计算评估量1和评估量2。步骤S1203和步骤S1204的处理被总称作捕获图像评估步骤。
在步骤S1205(即估计步骤)中,计算单元将在捕获图像评估步骤(步骤S1204)中取得的各评估量与在基准图像评估步骤(步骤S1202)中存储的基准数据进行比较。计算单元然后估计像面散焦量。例如,假设根据制备载片的捕获图像分别得到的评估量1和评估量2的值是1.13和0.858。如果将这些值与事先存储在计算单元中的基准数据作比较,那么可以根据评估量2估计出像面散焦量大约是±3mm。另外,因为评估量1是正值,所以可以估计出像面散焦量是+3mm。在估计步骤(S1205)中执行的估计方法不限于上述方法。例如,如果根据评估量1估计出像面散焦量是1mm或3mm,那么可以根据评估量2估计出在这两个估计值中3mm是更合适的。另外,通过计算评估量1和评估量2得到的其它值可以用作评估量。
在估计出像面散焦量之后,在步骤S1206(即图像恢复步骤)中,计算单元执行图像恢复。更具体地,计算单元读取在基准图像估计步骤(S1201)中取得的盖玻片的多个基准图像之中的、与在估计步骤(S1205)中估计的像面散焦量对应的图像。计算单元然后将制备载片的捕获图像除以所读取的基准图像。结果,可以从捕获图像去除盖玻片的影响,以便被取得用于估计像面散焦量的捕获图像可以用于执行病理诊断。
如上所述,通过执行根据本示例性实施例的像面散焦量估计方法,可以估计制备载片的在成像位置中的像面散焦量。另外,可以取得其中已经去除盖玻片影响的制备载片的图像。此外,通过在试样的各成像位置处执行像面散焦量估计方法,可以取得试样在整个观察区域中的图像散焦量分布。图13图示出在上述情况中使用的盖玻片上的标记的布置示例。如果对图13图示的每个标记组执行图12图示的处理,那么可以取得其中布置各标记组的观察区域中的像面散焦量以及制备载片的图像。参考图13,在盖玻片上有规律地设置多个标记组,每个标记组包括8个标记A和8个标记B。然而,标记的数量和布置方式不限于此,而是可以根据其中要估计像面散焦量的观察区域来确定。
下面将对根据本发明第二示例性实施例的像面散焦量估计方法进行描述。
根据第一示例性实施例,通过执行与基准数据的比较来估计像面散焦量,基准数据是通过对盖玻片事先成像而取得的。然而,仅为了确定散焦方向是在正方向上还是在负方向上来取得基准数据是不必要的。换句话说,可以基于制备载片的捕获图像中的标记A的图像呈现为亮还是暗来确定散焦方向。例如,如果标记A的图像与周围相比呈现为亮(即呈现白色),则可以确定散焦方向是在正方向上。
另外,根据第一示例性实施例,盖玻片将负的相位变化和振幅变化施加到透射光。然而,可以使用仅施加相位变化的盖玻片来估计像面散焦量。在这种情况下,盖玻片仅需要包括标记A而不需要包括被布置用于施加振幅变化的滤光器(即标记B),从而制造简单。然而,如果使用这样的盖玻片,那么仅得到评估量1,并且其中可以估计像面散焦量的范围受限。例如,根据本示例性实施例的仿真结果,如果像面散焦量处于-2mm和2mm之间的范围内,那么可以通过仅使用评估量1来估计像面散焦量。另外,可以通过如下计算出的值来执行规格化以便以称作瑞利单位的单位来表达这些量,该规格化不依赖于成像光学系统。
波长×倍率的平方/数值孔径的平方/2
结果,可以在-2.24和2.24之间的范围内执行估计。在使用仅施加相位变化的盖玻片的情况下,也可以通过将制备载片的捕获图像除以事先存储的盖玻片基准图像来去除盖玻片的影响。
另一方面,可以使用仅施加振幅变化的盖玻片来估计像面散焦量。在这种情况下,盖玻片仅需要包括标记B而不需要包括用于施加相位变化的凹陷(即标记A),从而制造简单。然而,如果使用这样的盖玻片,那么可以估计的值仅是像面散焦量的绝对值。
此外,除将负的相位变化和振幅变化施加到透射光的标记以外,可以在盖玻片上布置施加正的相位变化的标记。如果施加正的相位变化的标记作为标记C被布置在盖玻片上,那么在盖玻片的离焦图像中的标记C的图像指示出随着散焦方向的亮-暗变化。因为标记C的图像的亮-暗变化与标记A的图像的亮-暗变化相反,所以不论散焦方向如何,这些标记中的一种总是表现为白色。换句话说,如果添加标记C,那么容易在视觉上辨别离焦图像的变化。这可以防止在估计像面散焦量时将标记A的图像错误地识别为施加振幅变化的标记B的图像。
此外,可以通过得到在从标记A得到的评估量1和从标记C得到的评估量1之间的差别,来新取得评估量3。例如,图14图示出在如下情况下的评估量3,在该情况中,施加π/4弧度的相位变化的标记C连同施加-π/4弧度的相位变化的标记A和施加70%的振幅变化的标记B一起布置在盖玻片上。与针对标记A的评估量1类似,评估量3相对于像面散焦量的变化是非对称的。因此可以使用评估量3来确定聚焦以及像面散焦量是正值还是负值。参考图9A,当像面散焦量是0时(即当像面处于最佳的焦点位置时),评估量1的值为0.93。在没有基准数据的情况下不能够指定这些值。相反,当像面处于最佳的焦点位置时,评估量3的值是0,因此当没有基准数据时,与评估量1相比,可以更加准确地确定散焦是否发生。另外,如果组合评估量3和评估量2,那么像使用评估量1时那样,可以类似地取得像面散焦量。如上所述,当布置施加正的相位变化的标记C时,可以通过将制备载片的捕获图像除以盖玻片基准图像来去除盖玻片的影响。
根据上述示例性实施例,通过使用事先取得的盖玻片基准图像的除法,来执行用于去除盖玻片的影响的图像恢复处理。然而,用于计算图像的方法不限于此。例如,可以通过将事先取得的盖玻片基准图像从制备载片的捕获图像减去来去除盖玻片的影响。
尽管已参照示例性实施例对本发明进行了描述,但是将会明了,本发明不限于所公开的示例性实施例。所附权利要求的范围与最宽的解释一致,以包括所有这些修改以及等同结构和功能。
Claims (10)
1.一种用于成像装置的散焦量估计方法,所述成像装置使用图像传感器捕获由成像光学系统形成的试样的图像,所述散焦量估计方法包括:
使用包括标记的透明部件来固定试样以取得包含试样的图像和标记的图像的捕获图像的捕获图像评估步骤,其中标记将相位变化和振幅变化中的至少一个施加到透射光;以及
基于捕获图像对散焦量进行估计的估计步骤。
2.根据权利要求1所述的散焦量估计方法,还包括:在捕获图像评估步骤之前的、捕获透明部件的图像以取得不包括试样的图像的多个基准图像的基准图像评估步骤,
其中,所述估计步骤包括基于捕获图像和基准图像来对散焦量进行估计。
3.根据权利要求2所述的散焦量估计方法,其中,基准图像评估步骤和捕获图像评估步骤包括评估量计算处理,评估量计算处理包括:
将由成像装置取得的图像分割为多个分割区域,每个分割区域包括标记的图像;
执行第一平均化以计算包括在多个分割区域中的标记的图像的每一个图像的平均值;
执行第二平均化以计算多个分割区域的每个分割区域中的图像的每一个图像的平均值;
通过将在第一平均化中算出的每个平均值除以在第二平均化中算出的每个平均值来执行除法;以及
执行第三平均化以通过在多个分割区域中的包括相同标记的分割区域之间、对通过执行除法取得的值取平均来计算评估量。
4.根据权利要求3所述的散焦量估计方法,其中,所述估计步骤包括:基于通过基准图像评估步骤中的评估量计算处理而根据多个基准图像算出的多个评估量以及通过捕获图像评估步骤中的评估量计算处理而根据捕获图像算出的评估量,对散焦量进行估计。
5.根据权利要求2所述的散焦量估计方法,还包括:在估计步骤之后的、通过对捕获图像和基准图像执行计算来将标记的图像从捕获图像去除的图像恢复步骤。
6.根据权利要求1所述的散焦量估计方法,其中,透明部件包括另一标记,所述另一标记:
在标记将振幅变化施加到透射光的情况下将另一相位变化施加到透射光;以及
在标记将相位变化施加到透射光的情况下将另一振幅变化施加到透射光。
7.一种成像装置,包括:
成像光学系统,被配置成形成试样的图像;
图像传感器,被配置成经由成像光学系统捕获试样的图像;以及
计算单元,被配置成估计成像装置中的散焦量,
其中,通过包括标记的透明部件来固定试样,所述标记将相位变化和振幅变化中的至少一个施加到透射光,并且
其中,计算单元基于包含试样的图像和标记的图像的捕获图像来对散焦量进行估计。
8.根据权利要求7所述的成像装置,其中,透明部件包括另一标记,所述另一标记:
在标记将振幅变化施加到透射光的情况下将另一相位变化施加到透射光;以及
在标记将相位变化施加到透射光的情况下将另一振幅变化施加到透射光。
9.一种用于固定要由成像装置观察的试样的透明部件,透明部件包括标记,标记被配置成将在与透明部件的光轴垂直的平面中的相位变化和振幅变化施加到透射光。
10.根据权利要求9所述的透明部件,还包括另一标记,所述另一标记:
在标记将振幅变化施加到透射光的情况下将另一相位变化施加到透射光;以及
在标记将相位变化施加到透射光的情况下将另一振幅变化施加到透射光。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012130104A JP6016463B2 (ja) | 2012-06-07 | 2012-06-07 | デフォーカス量推定方法、撮像装置、および透光性部材 |
JP2012-130104 | 2012-06-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103487928A true CN103487928A (zh) | 2014-01-01 |
Family
ID=49714994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310224826.1A Pending CN103487928A (zh) | 2012-06-07 | 2013-06-07 | 散焦量估计方法、成像装置和透明部件 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130329034A1 (zh) |
JP (1) | JP6016463B2 (zh) |
CN (1) | CN103487928A (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018163683A1 (ja) * | 2017-03-10 | 2018-09-13 | ヤマハ発動機株式会社 | 撮像システム |
WO2019181053A1 (ja) | 2018-03-22 | 2019-09-26 | 富士フイルム株式会社 | デフォーカス量測定装置、方法およびプログラム、並びに判別器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101529305A (zh) * | 2006-10-25 | 2009-09-09 | 株式会社尼康 | 显微镜装置和显微镜图像分析方法 |
CN101583972A (zh) * | 2007-01-17 | 2009-11-18 | 海莫库公司 | 用于确定在样本中包含的对象的位置的装置 |
CN101680848A (zh) * | 2007-06-13 | 2010-03-24 | 株式会社尼康 | 检查装置、检查方法和程序 |
US20100118142A1 (en) * | 2008-08-08 | 2010-05-13 | Canon Kabushiki Kaisha | Image photographing apparatus, its distance arithmetic operating method, and in-focus image obtaining method |
CN102369556A (zh) * | 2010-02-02 | 2012-03-07 | 松下电器产业株式会社 | 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5988716A (ja) * | 1982-11-15 | 1984-05-22 | Toshiba Corp | 自動焦点用プレパラ−ト |
JP3055281B2 (ja) * | 1991-12-16 | 2000-06-26 | 神鋼電機株式会社 | 振動フィ−ダ用視覚装置 |
WO1999053355A1 (fr) * | 1998-04-15 | 1999-10-21 | Vincent Lauer | Microscope generant une representation tridimensionnelle d'un objet et images generees par ce microscope |
US20070163139A1 (en) * | 2003-11-26 | 2007-07-19 | Russell Donald G | Markers, methods of marking, and marking systems for use in association with images |
DE10361150A1 (de) * | 2003-12-22 | 2005-07-21 | Leica Microsystems Imaging Solutions Ltd. | Mikroskopsystem und Verfahren zum Betreiben eines Mikroskopsystems |
US8611632B2 (en) * | 2005-04-08 | 2013-12-17 | 361° Systems, Inc. | Method of selecting and visualizing findings within medical images |
US20070111111A1 (en) * | 2005-11-15 | 2007-05-17 | Yokogawa Electric Corporation | Light measurement apparatus and light measurement method |
JP2008299245A (ja) * | 2007-06-04 | 2008-12-11 | Nikon Corp | 被検体容器、位相差顕微鏡の調整方法およびプログラム |
JP2009109682A (ja) * | 2007-10-30 | 2009-05-21 | Panasonic Corp | 自動焦点調節装置、および自動焦点調節方法 |
JP2010072230A (ja) * | 2008-09-17 | 2010-04-02 | Nikon Corp | 顕微鏡システム、観察体の観察方法 |
JP2010079222A (ja) * | 2008-09-29 | 2010-04-08 | Olympus Corp | 生体観察装置 |
JP5499732B2 (ja) * | 2009-06-23 | 2014-05-21 | ソニー株式会社 | 生体サンプル像取得装置、生体サンプル像取得方法及び生体サンプル像取得プログラム |
US20130027538A1 (en) * | 2011-07-29 | 2013-01-31 | Mitutoyo Corporation | Multi-region focus navigation interface |
TWI467226B (zh) * | 2011-11-15 | 2015-01-01 | Ind Tech Res Inst | 相位物體顯微系統 |
-
2012
- 2012-06-07 JP JP2012130104A patent/JP6016463B2/ja not_active Expired - Fee Related
-
2013
- 2013-06-04 US US13/909,376 patent/US20130329034A1/en not_active Abandoned
- 2013-06-07 CN CN201310224826.1A patent/CN103487928A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101529305A (zh) * | 2006-10-25 | 2009-09-09 | 株式会社尼康 | 显微镜装置和显微镜图像分析方法 |
CN101583972A (zh) * | 2007-01-17 | 2009-11-18 | 海莫库公司 | 用于确定在样本中包含的对象的位置的装置 |
CN101680848A (zh) * | 2007-06-13 | 2010-03-24 | 株式会社尼康 | 检查装置、检查方法和程序 |
US20100118142A1 (en) * | 2008-08-08 | 2010-05-13 | Canon Kabushiki Kaisha | Image photographing apparatus, its distance arithmetic operating method, and in-focus image obtaining method |
CN102369556A (zh) * | 2010-02-02 | 2012-03-07 | 松下电器产业株式会社 | 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20130329034A1 (en) | 2013-12-12 |
JP2013254108A (ja) | 2013-12-19 |
JP6016463B2 (ja) | 2016-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
CN106204524B (zh) | 一种评价图像质量的方法及装置 | |
US10664685B2 (en) | Methods, systems, and devices for optical sectioning | |
JP2007526457A (ja) | 深度情報を含む画像の生成方法と装置 | |
CN106846383B (zh) | 基于3d数字显微成像系统的高动态范围图像成像方法 | |
JP6598850B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP4751689B2 (ja) | 眼球表面解析システム | |
JP2010271312A (ja) | マルチイメージフェーズシフト解析を用いた検査システム及び方法 | |
JP2023134456A (ja) | マルチコアファイバイメージング | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
CN110363734B (zh) | 厚样本显微荧光图像重构方法及系统 | |
JP2010276540A (ja) | 生体組織表面解析装置、生体組織表面解析プログラム、および生体組織表面解析方法 | |
KR20170099959A (ko) | 장면과 관련된 전자기장의 복소 진폭을 결정하는 방법 | |
KR102561360B1 (ko) | 보정을 사용하지 않고 파이버스코프 이미지를 처리하는 방법 및 이를 수행하는 파이버스코프 시스템 | |
JP6362062B2 (ja) | 画像生成装置および画像生成方法 | |
JP4743773B2 (ja) | エッジ検出方法、装置、及びプログラム | |
CN103487928A (zh) | 散焦量估计方法、成像装置和透明部件 | |
JP2012042564A (ja) | 顕微鏡及びゴースト除去方法 | |
JP2010087859A (ja) | 画像処理パラメータ算出装置、画像処理パラメータ算出方法、製造方法、撮像装置、撮像方法、およびプログラム | |
WO2021100328A1 (ja) | 画像処理方法、画像処理装置および画像処理システム | |
KR101195370B1 (ko) | 초점 정보 제공 장치 및 초점 조절 장치 | |
TWI826988B (zh) | 三維影像評估的系統以及方法 | |
KR20130002760A (ko) | 중간시점 영상 생성기를 갖는 표면 거칠기 측정 장치 및 방법 | |
KR102564448B1 (ko) | 구조광과 홀로그래픽 카메라를 이용한 깊이 측정 장치 및 방법 | |
JP2004257934A (ja) | 3次元形状計測方法及び3次元形状計測装置並びにその処理プログラムと記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140101 |