CN102893198A - 自动聚焦成像 - Google Patents

自动聚焦成像 Download PDF

Info

Publication number
CN102893198A
CN102893198A CN201180024191XA CN201180024191A CN102893198A CN 102893198 A CN102893198 A CN 102893198A CN 201180024191X A CN201180024191X A CN 201180024191XA CN 201180024191 A CN201180024191 A CN 201180024191A CN 102893198 A CN102893198 A CN 102893198A
Authority
CN
China
Prior art keywords
image sensor
pixel
auto focus
master image
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180024191XA
Other languages
English (en)
Other versions
CN102893198B (zh
Inventor
B·胡什肯
S·斯托林加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP10305559A external-priority patent/EP2390706A1/en
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN102893198A publication Critical patent/CN102893198A/zh
Application granted granted Critical
Publication of CN102893198B publication Critical patent/CN102893198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1581Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation using linear image-sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/701Line sensors

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及数字病理学领域,并且特别是涉及整个载片扫描器。能够通过采样主图像传感器的第一数量的像素并采样自动聚焦图像传感器的第二数量的像素来执行自动聚焦成像,其中,第二数量在第一数量的四分之一与四分之三之间。从而,可以基于相对于光轴倾斜的附加图像传感器来提供用于迅速光扫描的连续自动聚焦。

Description

自动聚焦成像
技术领域
本发明尤其涉及数字病理学领域。特别是,本发明涉及用于显微镜的自动聚焦成像系统、用于显微镜的自动聚焦成像的方法、计算机可读介质和程序元件,该显微镜包括自动聚焦成像系统。
背景技术
在数字病理学中,并且特别是在整个载片扫描的情况下,对样品进行切片和成像,用于分析目的和教学目的。线传感器可以用于扫描整个组织载片。这些载片扫描器可以执行连续的机械扫描,由此减小缝合问题并容许使用所谓的时间延迟积分(TDI)线传感器以适应于低照明亮度。
为聚焦,可以使用焦点图(focus map)。在实际扫描之前,在载片上的若干位置处确定最佳焦点位置。这导致“焦点图”。此步骤可能是必需的,因为组织层的轴位置可以在整个载片上变化数微米,如图1中可以看到的。组织层的变化从而可以比显微镜物镜的焦点深度更大。在扫描期间,缺陷(objection)的焦点位置设定于内插于选择的测量位置上的测得最佳焦点设定之间的轨迹上。此步骤可能易于出错并且还耗时,由此限制了系统的吞吐量。
WO2005/010495A2描述了用于生成显微镜载片的数字图像的系统和方法,该显微镜包括主相机和相对于光轴倾斜的聚焦相机。
发明内容
然而,自动聚焦功能的性能可能不足。
具有改善的性能的自动聚焦成像系统可能是期望的。
根据本发明的第一方面,提供了一种用于显微镜的自动聚焦成像系统,所述自动聚焦成像系统包括主图像传感器和自动聚焦图像传感器。所述主图像传感器适于获取诸如组织载片的感兴趣的物体的主图像数据。所述自动聚焦图像传感器适于获取所述感兴趣的物体的斜截面的自动聚焦图像数据。所述主图像传感器还适于在物空间中每距离采样第一数量的像素,并且所述自动聚焦图像传感器还适于在物空间中每距离采样第二数量的像素,其中,所述第二数量在所述第一数量的四分之一与四分之三之间。
换句话说,所述自动聚焦图像传感器比所述主图像传感器在物空间中每距离采样的像素的数量小。通过采样较小数量的像素,可以减小计算负荷以及采样时间。此外,通过采样不少于所述主图像传感器采样的像素的四分之一的像素,可以优化所述自动聚焦传感器信号的质量。
根据范例实施例,所述第二数量是所述第一数量的一半。换句话说,所述自动聚焦图像传感器在物空间中每距离采样的像素的数量是所述主图像传感器采样的像素的数量的一半。
所述主图像传感器组件可以包括一个线传感器或可以包括一个以上的线传感器,例如三个或甚至更多线传感器。每个线传感器可以探测不同波长或波长范围。例如,一个线传感器可以探测绿光,第二红光,并且第三线传感器可以探测蓝光(仅)。
根据另一范例实施例,所述自动聚焦图像传感器相对于从感兴趣的物体朝向所述自动聚焦图像传感器的辐射的光轴倾斜,例如,相对于所述主图像传感器的光轴倾斜。以此方式,传感器上的组织层的位置为散焦量的量度。
根据另一范例实施例,所述自动聚焦图像传感器适于获取可见光谱的频率以外的光频率处的所述自动聚焦图像数据。
根据另一范例实施例,所述自动聚焦成像系统适用于所述自动聚焦图像传感器的暗场照明。
换句话说,可以以包括一组传播方向的束来照明感兴趣的物体,使得这些传播方向的角度比所述自动聚焦成像传感器的探测光圈对向的角度大。以此方式,从各表面(空气、盖片、盖片-组织层、组织层-载片、载片-空气)反射的光可以不终止于自动聚焦图像传感器。实际上,可以阻挡所有低物体空间频率并且在自动聚焦图像传感器处仅可以探测从组织发出的信号(其具有足够高的空间频率)。这可以改善能够测量的组织层的轴位置的鲁棒性和精度。
根据本发明的第二方面,提供了一种包括以上和以下描述的成像系统的显微镜。
根据本发明的范例实施例,显微镜适于为用于数字病理学的载片扫描器。
根据本发明的另一方面,提供了一种用于显微镜的自动聚焦成像的方法,其中:通过主图像传感器来获取感兴趣的物体的主图像数据;通过自动聚焦图像传感器来获取所述感兴趣的物体的斜截面的自动聚焦图像数据;在物空间中每距离采样第一数量的像素,所述第一数量的像素为所述主图像传感器的像素;以及在物空间中每距离采样第二数量的像素,所述第二数量的像素为所述自动聚焦图像传感器的像素。所述第二数量在所述第一数量的四分之一与四分之三之间。
根据本发明的另一方面,提供了一种计算机可读介质,其中存储有用于显微镜的自动聚焦成像的计算机程序,当所述计算机程序由显微镜的处理器运行时,所述计算机程序使得所述处理器执行以上和/或以下描述的方法步骤。
此外,根据本发明的另一方面,提供了一种用于显微镜的自动聚焦成像的程序元件,当所述程序元件由显微镜的处理器运行时,所述程序元件使得所述处理器执行以上和/或以下描述的方法步骤。
计算机可读介质可以是软盘、硬盘、CD、DVD、USB(通用串行总线)存储器件、RAM(随机存取存储器)、ROM(只读存储器)以及EPROM(可擦除可编程只读存储器)。计算机可读介质还可以为数据通信网络,例如因特网,其容许下载程序代码。
自动聚焦成像传感器可以是采样物空间中每距离较小数量的像素和主传感器可以看作是本发明的范例实施例的要点,自动聚焦成像传感器可以是二维传感器,主传感器可以是线传感器或者其可以包括一个以上的线传感器。例如,自动聚焦传感器采样所述主传感器采样的像素的数量的一半的像素。
参照以下描述的实施例,本发明的这些和其它方面将变得明显,并且将参照以下描述的实施例阐述本发明的这些和其它方面。
现在下面将针对以下附图描述本发明的范例实施例。
附图说明
图1示出了组织载片组件的横截面;
图2示出了倾斜的自动聚焦图像传感器;
图3示出了散焦对MTF的影响;
图4示出了散焦MTF与零散焦MTF的比;
图5示出了根据本发明的范例实施例的具有自动聚焦成像系统的显微镜;
图6示出了根据本发明的另一范例实施例的具有自动聚焦成像系统的显微镜;
图7示出了根据本发明的另一范例实施例的具有自动聚焦成像系统的显微镜;
图8示出了根据本发明的范例实施例的显微镜系统;
图9示出了根据本发明的范例实施例的方法的流程图。
具体实施方式
图中的示例是示意性的。在不同的图中,给类似或相同的元件提供相同参考数字。
以下,与符号关联的记号一撇(prime)(‘)将意指考虑像空间(例如,传感器基准),而没有撇记号的符号将意指考虑物空间(典型地,样品基准)。例如,当角贝塔一撇(β‘)用于此描述中时,则将指示像空间中的旋转,以及如将更具体地描述的,指示物理传感器的旋转。还有,角贝塔(无撇的β)将指示物空间中的旋转,以及如将更具体地描述的,指示由自动聚焦传感器成像的样品的斜横截面的旋转。
图1示出了组织载片组件的示意性横截面,包括典型地厚度为1mm的显微镜载片1、典型地厚度为0.17mm的盖片2、用于固定和密封组织层4的安装介质3。组织层典型地约为5μm厚,安装层包括组织层并且典型地为10-15μm厚。可以在将盖片附着至载片之前,将安装介质施加至具有液体形式的组织层的载片,随后安装液体固化,从而机械地固定组织层并且将其从外部环境密封以提供防止退化的稳定性。组织层的轴位置可以在整个载片上在数μm内变化。
为在扫描期间提供最佳分辨率,可能必需连续地调节焦点,因为组织层的轴位置变化。
对于“焦点图”方法的使用的替代是使用连续自动聚焦系统,即连续地测量最佳焦点位置并在实际扫描期间调整物镜的轴位置以获取数字图像的附加系统。自动聚焦系统可以基于优化获得的图像中的对比度。各种矩阵(matrix)可以用于对比度优化。然而,以此方式不能确定焦点误差(焦点之上或之下)的正弦,即焦点误差信号不是极坐标的(polar)。对于在最佳焦点设定上需要永久更新的连续自动聚焦系统来说,这可能是不利的。
自动聚焦系统可以使用在物平面处或物平面附近的基准表面处反射的线,物平面诸如是光盘。然而,当应用于组织载片时,此方法的缺点可以是相关界面(显微镜载片与组织层之间以及组织层与盖片之间)可能具有低反射率以及反射信号受到源自附近组织层的散射的扭曲,从而包括鲁棒性。
好的替代是使用相对于光轴倾斜的附加传感器。此自动聚焦图像传感器得到物体的斜截面的图像,如图2中所描绘的。根据组织层的轴位置或相对于物镜的焦平面,此截面可以在某一点切割穿过组织层。以此方式,传感器上的组织层的位置为散焦量的量度。对于这些方面的更多的细节,读者可以参照欧洲专利申请N°09306350。
如从图2能够看到,倾斜的自动聚焦图像传感器得到组织载片组件的斜横截面5。倾斜是在扫描方向6上。传感器具有Nx个像素并且在扫描方向上以每像素Δx以及在轴方向上以每像素Δz对物体进行采样。
例如,自动聚焦成像系统使用可见光谱以外的波长操作,以便不损坏组织层的白光成像。例如,自动聚焦系统使用可见光谱的红外侧的波长操作,因为紫外辐射可以损伤组织并且可能比红外辐射需要更复杂和/或昂贵的光学部件。
在范例实施例中,可以通过使用所谓的暗场照明来提供附加自动聚焦图像。由此,利用包括一组传播方向的束来照明样品,如上面已经描述的。
如果倾斜的自动聚焦传感器与时间延迟积分(TDI)线传感器(主图像传感器)组合用于高吞吐量成像,则可以引起问题。该TDI线传感器记录每个物体像素L次,其中,阶(stage)数L典型地能够高达128。这具有的影响是,与常规单个线传感器相比,总的积分时间,并且因此信号水平,增大为L倍。这用于增大系统的扫描速度。
该系统的设计中的合理的起始点可能是需要使自动聚焦传感器的分辨率Raf近似等于(基于TDI的)图像传感器的分辨率Rim,以能够测试图像中相同水平的锐度。发明人的新见识是这意味着对于自动聚焦图像传感器上的信号水平的问题,如将从以下考虑变得明显的。对于线性扫描速度v,图像传感器的线速率为:
1 T im = 2 v R im - - - ( 1.1 )
(NB:像素尺寸=分辨率的一半)总的积分时间为LTim。为防止运动模糊,自动聚焦传感器必需具有快门,使得收集时间为:
T af = R af 2 v - - - ( 1.2 )
物镜后的束被分束器分为两个部分,分数(fraction)η被朝向自动聚焦传感器引导,且分数1-η被朝向图像传感器引导。如果以强度B(每面积的入射功率)照明载片,则在图像传感器和在自动聚焦图像传感器处的信号水平由下式给出:
I im = η im ( 1 - η ) L B v ( R im 2 ) 3 ( 1.3 )
I af = η af η B v ( R af 2 ) 3
其中ηim是图像传感器(量子)效率,且ηaf是自动聚焦传感器(量子)效率。这些传感器效率可以假定为近似相等。该两个效率的比为:
I af I im = η af η im η ( 1 - η ) L ( R af R im ) 3 - - - ( 1.4 )
如果L0=(1-η)L为没有使用自动聚焦传感器时所需的阶数,且Raf≈Rim以及ηaf≈ηim则:
I af I im &ap; &eta; L 0 < < 1 - - - ( 1.5 )
明显地,在自动聚焦传感器处的信号比在图像传感器处的信号水平小得多。结果,自动聚焦传感器信号将相对嘈杂,其包括焦点误差信号的精度。
与图像传感器上的分辨率需求相比,自动聚焦传感器上的分辨率需求中可以有显著的冗余。从散焦对所谓的调制传递函数(MTF)的影响的研究可以得到此见识,调制传递函数是周期物体的图像中的调制与作为空间频率(周期p的倒数)的函数的物体自身中的调制的比。对于具有相等的聚光器和物镜NA的简化的1D情况,作为散焦的函数的MTF由下式给出:
MTF = sin c ( 2 &pi;&beta;q ( 2 - q ) ) ( 1 - q 2 ) - - - ( 1.6 )
对于sinc(x)=sin(x)/x,q=λ/pNA为归一化的空间频率,且β=ΔzNA2/znλ为散焦参数。图3示出了对于标称焦点对准状况301和对于具有散焦的情况302的MTF。x轴303描绘归一化的空间频率,且y轴304描绘MTF值。
图4示出了两个MTF函数301、302的比401。y轴403描绘MTF比,x值等于1处能够观测到最小值402。两个MTF函数示出了在2NA/λ处的截止(这是所谓的‘衍射极限’),其是常规显微镜的最终分辨率极限。两个MTF函数的比对于中间空间频率示出了下降。根据此分析,我们可以得到:
-对于截止于Rim=λ/2NA(所以像素尺寸为Mimλ/4NA,Mim为从物体至图像传感器的放大倍数)的2NA/λ空间频率,主图像传感器的分辨率优选地由所谓的尼奎斯特(Nyquist)标准确定。
-自动聚焦传感器的分辨率优选地由对截止于Raf=λ/NA(所以像素尺寸为Mafλ/2NA,Maf为从物体至自动聚焦传感器的放大倍数)的空间频率的一半的散焦灵敏度的最大值确定。
根据范例实施例,自动聚焦图像传感器采样(物空间中像素/m)选择为比图像传感器采样小3/4至1/4,或者,例如小至少二的因子。这在散焦灵敏度与自动聚焦图像信号比之间给出了好的折衷。优选地,分束器分数η调整为使得,与图像传感器信号相比,自动聚焦传感器信号足够高。优选地,参数设定是使得基于TDI的线传感器具有足够的冗余,以保持足够高的图像传感器信号,即η>1-L0/Lmax,其中Lmax为最大TDI阶数。
这与基于增加用于自动聚焦的专用图像传感器的第二相机自动聚焦方法的实施不同,该方法不相对于被成像的物中的平面倾斜,并且其中,分辨率的差异(具体是自动聚焦传感器的较低分辨率)用于增加自动聚焦传感器相对于主图像拍摄传感器的速度的唯一目的。还有,对于数个实施例,将像素计数的减小描述为至少3的因子,以及至少10的因子。如在图3的底图中的最小值中能够看到的,发明人具体在分辨率中正好2的减小处发现了最佳值。然而第二实施例的实际范围将是4/3和因子4之间的范围。
自动聚焦系统的深度范围Δztot必需足够大以用于其它参数的实际设定。自动聚焦图像传感器在扫描方向上具有Nx个像素,像素尺寸为b。传感器以角度β’倾斜,使得横向和轴向采样由下式给出:
Δx′=bcosβ′
Δz′=bsinβ′
在物体(组织载片)处的横向和轴向采样由下式给出:
Δx=Δx′/M
Δz=nΔz′/M2
其中,M为放大倍数,且n为物体的折射率。在物体处的轴向采样现在遵循:
&Delta;z = n&Delta; z &prime; ( &Delta; x &prime; / &Delta;x ) 2 = sin &beta; &prime; cos 2 &beta; &prime; n&Delta; x 2 b
因为存在Nx个像素,所以总的深度范围为:
&Delta; z tot = N x &Delta;z = sin &beta; &prime; cos 2 &beta; &prime; N x n&Delta; x 2 b
表1示出了根据本发明的参数设定的范例。在此范例中,自动聚焦分辨率为2×0.9μm,而图像分辨率优选地为约2×0.25μm(利用20×NA 0.75的显微镜物镜)。
作为非限制性范例,图5示出了显微镜的部分,并且特别是光路的成像分支。图6示出了对于外模(epi-mode)暗场照明的实施例。
通过载片1和盖片2(以及组织层4,未示出)的光由具有后光圈21的物镜捕获,其中,阻挡未散射束。分色器22将由管透镜23成像到图像传感器装置上的白光分离出来,该图像传感器装置可以包括第一、第二和第三主图像传感器24、32、33,这些传感器可以适于是用于生成数字组织图像的线传感器24的形式。红外光由第二管透镜25成像到自动聚焦图像传感器26上,自动聚焦图像传感器26相对于从感兴趣的物体朝向自动聚焦图像传感器26的辐射的光轴31倾斜。在此公开的上下文中,“相对于主图像传感器的光轴倾斜”意指撞击到自动聚焦图像传感器上的来自感兴趣的物体的辐射不垂直撞击到自动聚焦图像传感器上。然而,从感兴趣的物体朝向主图像传感器传播的辐射可以垂直撞击到主图像传感器上,虽然如以上所描述的这是不必要的。组织散射的射线能够通过光圈21并且被成像到自动聚焦图像传感器26上。
图6示出了用于具有自动聚焦成像系统的显微镜500的外模暗场照明的光学布局,其具有激光二极管14,照明被与成像分支集成。两个交叉光栅15布置在激光二极管14之后用于生成衍射级,例如第0衍射级S’0、第a+1级S’+1和第a-1级S’-1。此外,场阑16布置为关闭光栅15以限制暗场照明束的宽度,并且准直透镜17对来自激光二极管14的光进行准直。
提供偏振分束器28以在束通过准直透镜17后对其进行分束。此外,显微镜包括四分之一波片29。元件28和29均负责将源自激光器的束朝向物镜引导并将源自组织的散射光朝向自动聚焦图像传感器弹射。
图7示出了用于显微镜500的多斑照明的光学布局,该照明被与成像分支集成。透镜17对入射到用于生成斑阵列30的斑生成器上的束进行准直。通过倾斜整个组件,能够倾斜斑阵列,使得得到的入射斑阵列和载片也倾斜。斑生成器29生成低NA束的阵列,其能够通过分束器27,而不会引入显著像差。
在图7的实施例中,斑阵列用于照明由自动聚焦图像传感器成像的斜截面5。随着斑所聚焦入的区域的吸收和折射率随着扫描而改变,聚焦到组织上的斑可以经历时间相关的散射。通过检查成像在自动聚焦图像传感器上的斑的时间依赖性,可以定位组织层的轴位置。即,接近焦点,高分辨率信息是可见的,远离焦点,这是模糊的。结果,当组织层与焦平面重合时,在相对小的时间尺度上的信号变化可以最大。
图8示出了显微镜系统802,其包括具有自动聚焦成像系统的显微镜500,显微镜500连接至处理器或处理单元800,处理器或处理单元800连接至诸如计算机的用户接口801。
图9示出了根据范例实施例的方法的流程图。在步骤901中,由主图像传感器和自动聚焦图像传感器分别获取感兴趣的物体的主和副,即自动聚焦,图像数据。在步骤902中,对主图像传感器的像素进行采样。在步骤903中(其能够在步骤902之前、之后、或与其同时),在自动聚焦图像传感器的物空间中每距离采样某一数量的像素。此数量小于主图像传感器的像素的采样的数量。然后,在步骤904中,基于采样调节显微镜的焦点。
从而,可以自动调节主图像传感器的焦点。
在本发明的另一实施例中,本发明的原理可以有利地应用于本发明的申请人已经在欧洲专利申请N°09306350中提出的传感器,并且于此通过引用并入了该传感器。
结果,根据此实施例,主图像传感器和自动聚焦图像传感器可以共享相同感测区域。换句话说,主图像传感器和自动聚焦图像传感器可以一起形成独特的传感器,其具有用于自动聚焦和用于图像获取二者的感测器区域(典型地由像素形成)。
根据此实施例,较大的自动聚焦像素可以是与主图像像素的单个阵列或多个阵列相邻设置或与其混杂的实际物理像素,或者自动聚焦像素可以是通过将两个或更多主图像像素组合为较大虚自动聚焦像素而获得的虚像素。可以在传感器自身上,或在分开的处理单元中进行该组合。
描述的自动聚焦系统在数字病理学和迅速的微扫描的其它领域中具有应用。
虽然已经在附图和前述描述中详细示例并描述了本发明,但是该示例和描述应视为示例性或示范性的,而不是限制性的;本发明不限于公开的实施例。根据对附图、说明书、和所附权利要求的研究,实践所声称的发明的本领域技术人员,能够理解和实施对公开的实施例的其它变更。权利要求中,词语“包括”不排除其它元件或步骤,并且不定冠词“一”不排除多个。某些措施记载在相互不同的从属权利要求中的仅有的事实不指示不能有利地利用这些措施的组合。权利要求中的任何参考符号不应视为限制其范围。
Figure BDA00002408137200111
表1.参数设定的范例
参考符号列表
1             显微镜载片
2             盖片
3             安装介质
4             组织层
5             斜横截面
6             扫描方向
14            激光二极管
15            两个交叉光栅
16            场阑
17            准直透镜
18            用于阻挡第0级光线的阑
20            物镜
21            后光圈
22            分色器
23            管透镜
24            第一主成像传感器
25            管透镜
26            自动聚焦图像传感器
28            分束器
29            四分之一波片
31            光轴
32            第二主图像传感器
33            第三主图像传感器
301           标称焦点对准状况的MTF
302           散焦状况的MTF
303           x轴(归一化空间频率)
304           y轴(MTF)
401           MTF函数301、302的比
402            最小值
403            y轴(MTF函数301、302的比)
500            自动聚焦成像系统
800            处理器
801            用户接口
802            显微镜系统
901            方法步骤
902            方法步骤
903            方法步骤
904            方法步骤

Claims (15)

1.一种用于显微镜的自动聚焦成像系统,所述自动聚焦成像系统包括:
主图像传感器装置,包括用于获取感兴趣的物体(4)的主图像数据的主图像传感器(24);
自动聚焦图像传感器(26),用于获取所述感兴趣的物体(4)的斜截面的自动聚焦图像数据;
其中,所述主图像传感器(24)配置为在物空间中每距离采样第一数量的像素;
其中,所述自动聚焦图像传感器(26)配置为在物空间中每距离采样第二数量的像素;
其中,所述第二数量在所述第一数量的四分之一与四分之三之间。
2.如权利要求1所述的自动聚焦成像系统,
其中,所述第二数量是所述第一数量的一半。
3.如权利要求1或2所述的自动聚焦成像系统,
其中,所述主图像传感器的分辨率为λ/(2NA);并且
其中,所述自动聚焦图像传感器的分辨率为λ/(NA)。
4.如权利要求1所述的自动聚焦成像系统,
其中,所述自动聚焦图像传感器(26)相对于所述主图像传感器(24)的光轴(31)倾斜。
5.如权利要求1所述的自动聚焦成像系统,
其中,所述自动聚焦图像传感器(26)在所述自动聚焦成像系统的扫描方向(6)上倾斜。
6.如权利要求1所述的自动聚焦成像系统,还包括:
分束器(22),用于将来自所述物体的束分为朝向所述主图像传感器的第一束和朝向所述自动聚焦图像传感器的第二束;
其中,所述第二束的强度与所述第一束的强度之间的分数大于(1-L0/Lmax),其中,Lmax为所述主图像传感器的最大时间延迟积分阶数。
7.如权利要求1所述的自动聚焦成像系统,
其中,所述自动聚焦图像传感器(24)配置为获取可见光谱的频率以外的光频率处的所述自动聚焦图像数据。
8.如权利要求1所述的自动聚焦成像系统,
其中,所述自动聚焦成像系统(500)配置为用于所述自动聚焦图像传感器的暗场照明。
9.如权利要求1所述的自动聚焦成像系统,
其中,所述主图像传感器装置还包括第二主图像传感器(32)和第三主图像传感器(33);
其中,所述主图像传感器装置的每个所述主图像传感器配置为探测不同波长的光。
10.如权利要求1所述的自动聚焦成像系统,
其中,所述主图像传感器(24)是线传感器;并且
其中,所述自动聚焦图像传感器(24)是二维传感器。
11.如权利要求1所述的自动聚焦成像系统,其中,所述主图像传感器和所述自动聚焦图像传感器共享相同感测区域。
12.一种显微镜(802),包括如权利要求1所述的自动聚焦成像系统(500)。
13.一种用于显微镜(802)的自动聚焦成像的方法,所述方法包括以下步骤:
通过主图像传感器装置的主图像传感器(24)来获取感兴趣的物体的主图像数据;
通过自动聚焦图像传感器(26)来获取所述感兴趣的物体的斜截面的自动聚焦图像数据;
在物空间中每距离采样第一数量的像素,所述第一数量的像素为所述主图像传感器(24)的像素;
在物空间中每距离采样第二数量的像素,所述第二数量的像素为所述自动聚焦图像传感器(26)的像素;
其中,所述第二数量在所述第一数量的四分之一与四分之三之间。
14.一种计算机可读介质,其中存储有用于显微镜的自动聚焦成像的计算机程序,当所述计算机程序由所述显微镜(802)的处理器(800)运行时,所述计算机程序使得所述处理器(800)执行以下步骤:
从主图像传感器装置的主图像传感器(24)获取感兴趣的物体的主图像数据;
从自动聚焦图像传感器(26)获取所述感兴趣的物体的斜截面的自动聚焦图像数据;
在物空间中每距离采样第一数量的像素,所述第一数量的像素为所述主图像传感器(24)的像素;
在物空间中每距离采样第二数量的像素,所述第二数量的像素为所述自动聚焦图像传感器(26)的像素;
其中,所述第二数量在所述第一数量的四分之一与四分之三之间。
15.一种用于显微镜的自动聚焦成像的程序元件,当所述程序元件由所述显微镜(802)的处理器(800)运行时,所述程序元件使得所述处理器执行以下步骤:
从主图像传感器装置的主图像传感器(24)获取感兴趣的物体的主图像数据;
从自动聚焦图像传感器(26)获取所述感兴趣的物体的斜截面的自动聚焦图像数据;
在物空间中每距离采样第一数量的像素,所述第一数量的像素为所述主图像传感器(24)的像素;
在物空间中每距离采样第二数量的像素,所述第二数量的像素为所述自动聚焦图像传感器(26)的像素;
其中,所述第二数量在所述第一数量的四分之一与四分之三之间。
CN201180024191.XA 2010-05-18 2011-05-04 自动聚焦成像系统、成像方法及显微镜 Active CN102893198B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP10305520.8 2010-05-18
EP10305520 2010-05-18
EP10305559.6 2010-05-27
EP10305559A EP2390706A1 (en) 2010-05-27 2010-05-27 Autofocus imaging.
PCT/IB2011/051963 WO2011145016A1 (en) 2010-05-18 2011-05-04 Autofocus imaging

Publications (2)

Publication Number Publication Date
CN102893198A true CN102893198A (zh) 2013-01-23
CN102893198B CN102893198B (zh) 2015-11-25

Family

ID=44201782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180024191.XA Active CN102893198B (zh) 2010-05-18 2011-05-04 自动聚焦成像系统、成像方法及显微镜

Country Status (6)

Country Link
US (3) US10061108B2 (zh)
EP (1) EP2572226A1 (zh)
JP (1) JP5809248B2 (zh)
CN (1) CN102893198B (zh)
BR (1) BR112012029152A8 (zh)
WO (1) WO2011145016A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399397A (zh) * 2013-07-19 2013-11-20 香港应用科技研究院有限公司 用于图像扫描系统的预测聚焦
CN103592754A (zh) * 2013-11-07 2014-02-19 麦克奥迪实业集团有限公司 一种数字切片实时扫描自动聚焦跟踪方法
CN108253898A (zh) * 2016-12-29 2018-07-06 乐金显示有限公司 检测设备及使用该检测设备的检测方法
CN111149037A (zh) * 2017-09-29 2020-05-12 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
CN112525821A (zh) * 2017-03-07 2021-03-19 伊鲁米那股份有限公司 使用混合模式光源来进行改进的聚焦跟踪的系统和方法
US11796785B2 (en) 2018-05-01 2023-10-24 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2572226A1 (en) * 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging
US9841590B2 (en) 2012-05-02 2017-12-12 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
HUE052489T2 (hu) 2013-04-26 2021-04-28 Hamamatsu Photonics Kk Képfelvevõ berendezés és eljárás és rendszer fókusztérkép elõállítására minta számára
HUE051846T2 (hu) * 2013-04-26 2021-03-29 Hamamatsu Photonics Kk Képfelvevõ berendezés és fókuszáló eljárás képfelvevõ berendezés számára
CN105143954B (zh) 2013-04-26 2018-06-19 浜松光子学株式会社 图像取得装置、取得试样的对准焦点信息的方法以及系统
KR102125561B1 (ko) * 2013-12-03 2020-06-22 삼성전자주식회사 촬영 장치 및 이의 제어 방법
RU2718149C2 (ru) * 2015-03-19 2020-03-30 Конинклейке Филипс Н.В. Освещение при сканировании для цифровой патологии
EP3353601A4 (en) 2015-09-24 2019-10-02 Leica Biosystems Imaging, Inc. REAL-TIME FOCUSING IN LINE-BUTASTING IMAGING

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6026311A (ja) * 1983-07-22 1985-02-09 Nippon Kogaku Kk <Nikon> 暗視野顕微鏡用焦点検出装置
JPH08106040A (ja) * 1994-10-04 1996-04-23 Tokuji Shibahara 位置検出装置
US6088083A (en) * 1997-10-22 2000-07-11 Carl-Zeiss-Stiftung Optical image recording arrangement and method of using the same
US20050270611A1 (en) * 2004-05-24 2005-12-08 Hamamatsu Photonics K.K. Microscope system
US20090073553A1 (en) * 2007-09-14 2009-03-19 Olympus Corporation Focus adjustment unit and optical scanning microscope

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3883689A (en) 1973-09-04 1975-05-13 Nasa Servo-controlled intravital microscope system
JPH02136845A (ja) 1988-11-18 1990-05-25 Canon Inc 画像読取装置
US6078681A (en) * 1996-03-18 2000-06-20 Marine Biological Laboratory Analytical imaging system and process
US6917377B2 (en) * 2000-02-04 2005-07-12 Olympus Optical Co., Ltd. Microscope system
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US6855733B2 (en) 2001-01-24 2005-02-15 Soft Gel Technologies, Inc. Formulation and manufacturing process for coenzyme Q10 soft gel capsules
DE10306970B4 (de) * 2003-02-19 2017-02-09 Carl Zeiss Microscopy Gmbh Elektronisches Mikroskop
US7330574B2 (en) 2003-05-08 2008-02-12 Ometrix, Inc. Best-focus estimation by lateral scanning
US20050089208A1 (en) 2003-07-22 2005-04-28 Rui-Tao Dong System and method for generating digital images of a microscope slide
US7232980B2 (en) * 2004-05-24 2007-06-19 Hamamatsu Photonics K.K. Microscope system
JP5403852B2 (ja) * 2005-08-12 2014-01-29 株式会社荏原製作所 検出装置及び検査装置
US7297910B2 (en) * 2005-12-30 2007-11-20 General Electric Company System and method for utilizing an autofocus feature in an automated microscope
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
WO2008137746A1 (en) 2007-05-04 2008-11-13 Aperio Technologies, Inc. Rapid microscope scanner for volume image acquisition
US8681736B2 (en) 2007-09-04 2014-03-25 Telefonaktiebolaget L M Ericsson (Publ) Time-to-trigger handling methods and apparatus
US7667169B2 (en) * 2008-05-22 2010-02-23 Omnivision Technologies, Inc. Image sensor with simultaneous auto-focus and image preview
JP5035702B2 (ja) * 2009-02-27 2012-09-26 カシオ計算機株式会社 撮像装置、オートフォーカス方法及びプログラム
BR112012015931A2 (pt) 2009-12-30 2021-03-02 Koninklijke Philips Eletronics N.V. método para formar imagem microscopicamente de uma amostra com um escaner, microscópio de escaneamento para formação de imagem de uma amostra, uso de um sensor de disposição bidimensional e disposição para formação de imagem de um corte trasnversal oblíquio de uma amostra
EP2572226A1 (en) * 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6026311A (ja) * 1983-07-22 1985-02-09 Nippon Kogaku Kk <Nikon> 暗視野顕微鏡用焦点検出装置
JPH08106040A (ja) * 1994-10-04 1996-04-23 Tokuji Shibahara 位置検出装置
US6088083A (en) * 1997-10-22 2000-07-11 Carl-Zeiss-Stiftung Optical image recording arrangement and method of using the same
US20050270611A1 (en) * 2004-05-24 2005-12-08 Hamamatsu Photonics K.K. Microscope system
US20090073553A1 (en) * 2007-09-14 2009-03-19 Olympus Corporation Focus adjustment unit and optical scanning microscope

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103399397A (zh) * 2013-07-19 2013-11-20 香港应用科技研究院有限公司 用于图像扫描系统的预测聚焦
CN103399397B (zh) * 2013-07-19 2015-11-18 香港应用科技研究院有限公司 用于图像扫描系统的预测聚焦
CN103592754A (zh) * 2013-11-07 2014-02-19 麦克奥迪实业集团有限公司 一种数字切片实时扫描自动聚焦跟踪方法
CN103592754B (zh) * 2013-11-07 2016-03-09 麦克奥迪实业集团有限公司 一种数字切片实时扫描自动聚焦跟踪方法
CN108253898A (zh) * 2016-12-29 2018-07-06 乐金显示有限公司 检测设备及使用该检测设备的检测方法
CN112525821A (zh) * 2017-03-07 2021-03-19 伊鲁米那股份有限公司 使用混合模式光源来进行改进的聚焦跟踪的系统和方法
CN111149037A (zh) * 2017-09-29 2020-05-12 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
CN115061271A (zh) * 2017-09-29 2022-09-16 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
US11454781B2 (en) 2017-09-29 2022-09-27 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm
CN115061271B (zh) * 2017-09-29 2024-02-02 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
US11796785B2 (en) 2018-05-01 2023-10-24 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus
TWI827841B (zh) * 2018-05-01 2024-01-01 美商奈米創尼克影像公司 自動顯微鏡聚焦系統、裝置及方法

Also Published As

Publication number Publication date
US10371929B2 (en) 2019-08-06
US20180210182A1 (en) 2018-07-26
JP5809248B2 (ja) 2015-11-10
CN102893198B (zh) 2015-11-25
BR112012029152A2 (pt) 2017-12-12
US10365468B2 (en) 2019-07-30
BR112012029152A8 (pt) 2018-02-06
US20180203220A1 (en) 2018-07-19
WO2011145016A1 (en) 2011-11-24
EP2572226A1 (en) 2013-03-27
JP2013531270A (ja) 2013-08-01
US10061108B2 (en) 2018-08-28
US20130057674A1 (en) 2013-03-07

Similar Documents

Publication Publication Date Title
CN102893198B (zh) 自动聚焦成像系统、成像方法及显微镜
CN103038692B (zh) 基于差分测量的自动聚焦
CN101303269B (zh) 光学系统评价装置及光学系统评价方法
US9546962B2 (en) Multi-spot scanning collection optics
US8014063B2 (en) Optical projection tomography
US20100314533A1 (en) Scanning microscope and method of imaging a sample
CN104515469A (zh) 用于检查微观样本的光显微镜和显微镜学方法
JP6662529B2 (ja) 光学機器の連続非同期オートフォーカスのためのシステムおよび方法
CN103575218A (zh) 彩色共焦扫描装置
EP1651993A2 (en) Method and arrangement for focusing detection in an optical measurement
CN205352958U (zh) 一种高速大范围高分辨率成像系统
JP2007212305A (ja) 微小高さ測定装置及び変位計ユニット
EP2390706A1 (en) Autofocus imaging.
CN111366088B (zh) 激光共聚焦测高方法
CN105765438A (zh) 用于使样本成像的光学布置
JP2008032995A (ja) 共焦点顕微鏡
JP5454942B2 (ja) 分光装置とそれを用いた顕微鏡
CN212254005U (zh) 一种非接触测量光学晶体包边厚度的装置
JP4768422B2 (ja) 貫通孔の内径測定装置及び内壁観察装置
JP2009288076A (ja) 収差測定装置
CN117740842A (zh) 基于色散线扫共聚焦背散射的晶体内部缺陷检测方法
JP2021043038A (ja) 偏心測定装置及び偏心測定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant