CN112415735A - 一种用于显微镜的实时自动对焦系统 - Google Patents

一种用于显微镜的实时自动对焦系统 Download PDF

Info

Publication number
CN112415735A
CN112415735A CN202010182470.XA CN202010182470A CN112415735A CN 112415735 A CN112415735 A CN 112415735A CN 202010182470 A CN202010182470 A CN 202010182470A CN 112415735 A CN112415735 A CN 112415735A
Authority
CN
China
Prior art keywords
microscope
spot
objective lens
real
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010182470.XA
Other languages
English (en)
Inventor
李思宏
黄术强
傅雄飞
于跃
温慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202010182470.XA priority Critical patent/CN112415735A/zh
Publication of CN112415735A publication Critical patent/CN112415735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/282—Autofocusing of zoom lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明公开了一种用于显微镜的实时自动对焦系统。该系统包括红外光源模块、偏移透镜光路模块、检测模块和对焦控制模块，其中，所述红外光源模块用于发射平行激光光束；所述偏移透镜光路模块将所述红外光源模块出射的平行激光光束扩束为发散光，并通过显微镜物镜照射样品界面，以使照射在样品反射界面处的激光衍射光斑形成彗星形像差；所述检测模块将样品界面反射形成的彗差形衍射光斑调制为线型光斑并通过对该线型光斑分析获得当前视场下显微系统的离焦量相关信息；所述对焦控制模块基于获得的离焦量相关信息迭代控制显微镜物镜的轴向运动，直至离焦量满足设定目标。本发明的系统能够实现显微系统的高精度实时性地对焦。

Description

一种用于显微镜的实时自动对焦系统
技术领域
本发明涉及自动对焦技术领域，更具体地，涉及一种用于显微镜的实时自动对焦系统。
背景技术
近年来，显微成像技术广泛应用于高速发展的生物医学领域，其中分为研究级的全自动显微镜和应用于病理诊断的数字病理切片扫描仪。全自动显微镜通常需要长时间(持续约数小时至数十小时)的自动化观测生物样品，而数字病理切片扫描仪则是借助显微系统快速扫描采集病理切片得到全玻片数字化图像，提供会诊诊断依据。
自动对焦技术是显微系统进行稳定成像的关键核心技术，可以补偿显微系统在长时间的图像数据采集过程中由于环境温度变化、机械振动、运动震动等原因导致的焦点漂移，确保获取到清晰的显微图像。传统的显微镜操作需要使用者频繁地调节物镜和玻片之间的距离以获得合适的焦点，这种方式耗时费力。而自动化的显微成像技术需要稳定可靠的自动对焦技术，以保证采集图像数据的质量。
目前，应用于显微镜的自动对焦方法主要分为两种，一种是基于软件图像算法，即沿着物镜光轴方向扫描不同的成像平面得到多组样品图像，依靠图像质量评价函数确定离焦量；另外一种是基于硬件，借助额外的辅助光源(如激光、LED等)通过物镜照射到样品玻片表面，根据反射的光斑形态确定系统的离焦量。
在现有技术中，基于硬件的自动对焦方法通常借助辅助光源并计算反射光斑形态来确定显微系统的离焦量。这种方法的明显缺点在于：一是对焦参考平面并非实际的样品成像焦平面。由于辅助光源光斑只能于样品与玻片的界面上反射，对焦参考平面为此反射界面，不同于成像焦平面，从而导致在对焦结束后需要移动物镜固定距离才能达到成像焦平面，使对焦精度变差；二是由于对焦点漂移的一次性补偿依赖于离焦量的准确计算和移动机械的精度，在高数值孔径的物镜下会带来不小的偏差，从而进一步降低对焦精度；三是由于引入复杂的光束方法而导致系统复杂和成本高。而基于软件的自动对焦方法，耗时较长且无法实时对焦，并且当样品具备三维结构时，由于清晰的成像焦平面范围较深，软件算法无法寻找到最清晰的成像平面位置，导致对焦失败。
发明内容
本发明的目的是克服上述现有技术的缺陷，提供一种用于显微镜的实时自动对焦系统，通过对显微系统即时的焦点状态进行检测分析，动态地控制物镜调整至最佳对焦点。
本发明提供一种用于显微镜的实时自动对焦系统。该系统包括红外光源模块、偏移透镜光路模块、检测模块和对焦控制模块，其中，所述红外光源模块用于发射平行激光光束；所述偏移透镜光路模块将所述红外光源模块出射的平行激光光束扩束为发散光，并通过显微镜物镜照射样品界面，以使照射在样品反射界面处的激光衍射光斑形成彗星形像差；所述检测模块将样品界面反射形成的彗差形衍射光斑调制为线型光斑，并通过对该线型光斑分析获得当前视场下显微系统的离焦量相关信息；所述对焦控制模块基于获得的离焦量相关信息迭代控制显微镜物镜的轴向运动，直至离焦量满足设定目标。
在一个实施例中，所述红外光源模块包括激光器和分光器件，所述激光器用于产生平行激光光束，该平行激光光束依次经准直器和衰减片后，由所述分光器件入射至所述偏移透镜光路模块。
在一个实施例中，所述偏移透镜光路模块包括第一反射镜、固定在一维电动平移台上的偏移透镜和第二反射镜，所述第一反射镜接收所述红外光源模块出射的平行激光光束，并反射至所述偏移透镜，经所述偏移透镜入射到所述第二反射镜上，并经显微镜内部滤光片反射入物镜，进而照射样品界面。
在一个实施例中，所述检测模块包括聚焦透镜、柱面镜、相机和控制系统，由照射样品界面所反射的激光衍射光斑经所述红外光源模块的分光器件后，由聚焦透镜和柱面镜聚焦在相机的感光芯片上，柱面镜将圆形光斑空间变换为椭圆形光斑，以形成线型光斑，控制系统与相机进行通讯并通过分析该线型光斑的空间位置变化以获得当前视场下显微系统的离焦量相关信息。
在一个实施例中，根据以下步骤计算显微系统的离焦量：
采集包含线型光斑的原始图像；
对原始图像沿垂直于线型光斑方向像素累加，得到图像强度曲线；
从图像强度曲线中检测信号值最高的线型激光光斑的峰值位置；
基于峰值位置截取包含多个像素的图像子窗口；
对原始图像计算二值化分割阈值；
使用分割阈值对图像子窗口进行二值化，得到二值化的图像；
提取二值化图像中心的线型光斑，并结合图像子窗口计算得到亚像素级精度的光斑中心坐标；
利用获得的光斑中心坐标得到光斑移动量dx；
通过焦点漂移量与光斑移动距离的对应关系δ＝K·dx得到离焦量δ，其中K是变换系数。
在一个实施例中，所述对焦控制模块分别连接所述控制系统和显微镜物镜，用于根据获得的离焦量相关信息与显微镜物镜调整反馈量之间的对应关系迭代控制显微镜物镜的轴向运动，直至离焦量满足设定目标。
在一个实施例中，所述对焦控制模块是电机控制器，通过比例-积分-微分控制器确定显微镜物镜的调整反馈量。
在一个实施例中，通过以下公式计算显微镜物镜的调整反馈量：
F(t)＝KP·δ(t)+KI·∫δ(t)+KD·δ′(t)，其中KP、KI、KD表示对应项的系数，δ(t)是实时计算的当前视场下显微系统的离焦量。
在一个实施例中，所述红外光源模块使用波长范围650nm至1100nm、功率小于5mW的近红外或红外波长的激光。
在一个实施例中，所述分光器件是分光镜、D形反射镜或具有刀口的反射镜。
与现有技术相比，本发明的优点在于，所提出的自动对焦系统运行过程与显微成像系统对成像焦平面的选择无关，通过对显微系统即时的焦点状态进行亚像素级精度检测，计算焦点漂移的离焦量，动态地反馈控制物镜调整至最佳对焦点。本发明具备实时性、高稳定性高、高精度以及低成本等优势。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。
图1是根据本发明一个实施例的用于显微镜的实时自动对焦系统的示意图；
图2是根据本发明一个实施例的实时自动对焦原理示意图；
图3是根据本发明一个实施例的离焦量检测方法的流程图；
图4是根据本发明一个实施例的自动对焦效果测试实验的数据图。
附图中，1-激光器；2-分光镜；6-第一反射镜；7-偏移透镜；8-第二反射镜；3-聚焦透镜；4-柱面镜；5-成像相机；9-显微镜内短通滤光片；10-可电动移动控制的物镜；11-样品反射界面；12-控制系统；13-电机控制器。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本发明提供一种用于显微镜的实时高精度自动对焦系统。简言之，该系统采用近红外激光光束通过显微镜的物镜照射到装载生物样品玻片的界面上形成激光光斑，激光光斑经过界面的反射经由同一物镜收集，成像于自动对焦系统的感光芯片。焦点的漂移将带来感光芯片上反射光斑位置的相应移动，通过实时地分析光斑移动量并计算得到系统的焦点漂移量，进而控制显微镜物镜进行漂移量修正，完成实时自动对焦过程。
参见图1所示，该系统涉及多个模块化的子系统，具体包括红外光源模块、偏移透镜光路模块、检测模块和对焦控制模块。
红外光源模块包括激光器1和分光镜2。例如，激光器1产生近红外或红外波长的激光，激光器1的输出端是单模光纤，使用单模光纤耦合激光输出至准直器，以形成基模高斯光束并准直输出发散角小于0.5mrad的平行激光光束。激光光束随后通过衰减片降低功率，通过分光镜2入射至偏移透镜光路模块。在本发明实施例中，可使用近红外或红外波长(如650nm-1100nm)的低功率(小于5mW)激光。
偏移透镜光路模块包括第一反射镜6、偏移透镜7、一维电动平移台(未示出)和第二反射镜8。红外光源模块出射的激光光束入射到第一反射镜6上，反射至偏移透镜7。偏移透镜7安装固定在一维电动平移台上，可以沿光轴调整其位置。激光光束经过偏移透镜7入射到第二反射镜8上，经显微镜内部短通滤光片9反射入物镜10，最终照射在样品界面11处。在本发明的系统中，经过偏移透镜空间变换后的激光光束为具有一定的发散度的发散光束，在物镜10后焦平面处形成与物镜光阑尺寸接近的光斑(如3mm至4mm)进入物镜10，其入射位置由第一反射镜6和第二反射镜8调节至近物镜光阑边缘，使物镜10会聚的激光光束与物镜光轴成一定倾角照射在样品界面11处；入射激光与物镜光轴由第一反射镜6和第二反射镜8调节成一定倾角，使样品界面11处会聚的激光光斑形成较为明显地彗星形像差。反射的激光光斑经由同一路径返回，后经红外光源模块中的分光镜2反射后进入检测模块。
总之，本发明提供的偏移透镜光路模块具有以下特点：偏移透镜固定于一维电动平移台上，可以沿光轴调整其位置，使激光光束的变换可以满足对不同物镜的选择；偏移透镜将平行的激光光束变换为具有一定发散度的发散光束，使经过物镜光束的焦点远离物镜成像的焦平面；发散光束在物镜后焦平面处形成直径与物镜光阑尺寸接近的激光光束，使照射在样品反射界面处的激光光斑形成较为明显的衍射光斑；入射物镜的激光光束光轴与物镜光轴不重合，靠近物镜光阑边缘，使经过物镜会聚的光束与物镜光轴形成一定倾角，倾斜地照射在样品反射界面处；入射物镜的激光光束光轴与物镜光轴具有一定夹角，使照射在样品反射界面处的激光光斑形成较为明显的彗星形像差。
检测模块从光路配置角度包括聚焦透镜3、柱面镜4和成像相机5。反射的激光光斑经过光路系统中的分光镜2后由聚焦透镜3和柱面镜4聚焦在成像相机5的感光芯片上。其中柱面镜4将圆形光斑空间变换为椭圆形光斑，经过适当的选取焦距，可以形成近似线型的光斑。成像光斑由分光镜2调节至相机5的感光芯片的中心。
检测模块还包括控制系统12，在本文中，以计算机控制系统为例进行介绍。具体地，成像相机5与计算机通讯，其感光芯片采集的激光光斑图像由计算机控制系统12进行算法检测和分析，计算得到线型光斑的亚像素级精度坐标，由系数变换得到焦点漂移的离焦量。
对焦控制模块(以电机控制器13为例)用于接收控制系统12对于离焦量分析的反馈并控制物镜运动，例如可通过比例-积分-微分控制器(PID)实现焦点漂移的校正。
结合图1所示，本发明所提供系统的自动对焦过程包括以下步骤：
步骤S210，红外光源模块发射平行激光光束，由偏移透镜光路模块扩束为发散光，通过显微镜物镜照射样品界面，界面反射形成的彗差形衍射光斑由检测模块进一步地空间调制为近似平行线型光斑，并进行图像采集，获得光斑图像；
步骤S220，计算机控制系统对线型光斑图像运行图像检测算法，计算当前视场下显微系统的离焦量；
步骤S230，电机控制器补偿离焦量；
步骤S240，重复步骤S210至S230，直至当前视场下的离焦量小于设定阈值，自动对焦完成。
为清楚起见，下文将结合图1和图2阐述本发明提供的实时对焦系统的原理。
参见图2(A)所示，本发明借助近红外或红外激光在玻片界面处的反射光斑对显微系统的离焦状态进行分析判定。在高数值孔径物镜的应用中，物镜与玻片之间的浸渍介质通常为油或水，以提高分辨率。此时由于折射率的相近，对激光反射较强的界面为玻片与生物样品间的折射率差较大的交界面。物镜的焦平面(即物平面)在远离此反射界面的样品区域中，其与反射界面的距离为焦点偏移距离，调节此焦点偏移距离值可以实现对具有立体结构的生物样品不同深度的成像观察。在显微镜成像过程中，当选定了特定成像焦平面后，即确定了焦点偏移距离。
一束具有很小发散角的激光可视作平行光，其经过物镜的会聚作用将聚焦于物镜焦平面处。在物镜焦平面聚焦的激光光斑由于尺寸极小因而具有极高的能量密度，会对生物组织样品形成局部的热效应。本发明通过在光路中加入偏移透镜，使平行的激光经过偏移透镜形成发散光束，以一定的发散度入射到物镜中。具有一定发散度的激光经过物镜的会聚作用，会在远离物镜处形成与物镜焦平面具有一定距离的激光聚焦面，此激光聚焦面与物镜焦平面的距离取决于入射激光的发散度。此时在激光聚焦面上具有高能量密度的激光光斑由于远离生物样品，因而将不再对生物样品造成影响，在长期的显微生物实验中实现对生物样品的保护。
在本发明提供的实时对焦系统配置下，玻片与样品交接的反射界面将形成一个较大的激光光斑。反射界面对激光光斑具有较强的反射作用，因此能量较低的激光(如小于1mW)即可实现该技术方案。在对焦过程中，当前反射界面处的非聚焦激光光斑的空间位置状态均将作为显微成像系统焦点漂移的依据，而不依赖于成像平面与反射界面距离(即焦点偏移距离)的变化。进一步地，通过调整偏移透镜在光路中相对物镜的距离，使入射到物镜的激光光束达到与物镜孔径近似的尺寸，对聚焦的激光光斑形成较为显著的衍射效应。在衍射效应的影响下，反射界面处较大的激光光斑具有圆孔衍射结构，即同心圆环状的光斑。随着物镜与反射界面距离的变化，此激光光斑大小会随之细微变化。偏移透镜固定在一维电动平台上，可以根据物镜的规格(如放大倍数、数值孔径等)进行相应的距离调整。
参见图2(B)所示，入射到物镜的激光光轴偏离物镜光轴一定距离，经过物镜会聚作用形成与物镜光轴夹角θ入射到反射界面上。同时激光光轴与物镜光轴形成一定的夹角，激光光束形成倾斜入射状态，使反射界面处的激光光斑远离成像视野中心，避开对生物样品的直接照射。倾斜入射一方面能够避免垂直入射情况下，由于显微系统光路中的光学元件间的多重反射导致的光斑鬼影，从而改善对焦效果；另一方面使反射界面上的激光光斑形成彗星形像差，形成非对称结构的偏心圆环状衍射光斑，能量集中于衍射光斑的一侧。光斑的重心两侧分别为圆环结构和本底噪声。本发明利用衍射光斑的非对称性判断显微系统的离焦方向。
对于本发明实施例提供的光路配置，在一定范围内，位于距离物镜不同的反射界面上的激光光斑的大小随着物镜远离反射界面将线性变小，其衍射结构在平面上的位置亦将沿一维方向单调移动。当显微系统由于多种原因导致焦点漂移时，物镜与反射界面之间的距离将发生变化。当物镜远离反射界面，距离变化量为+δ时，此时激光光斑的中心将在水平方向平移+dx量；当物镜靠近反射界面，距离变化量为-δ时，此时激光光斑的中心将在水平方向平移-dx量。
反射界面处的具有彗星形相差衍射结构的激光光斑经过物镜，聚焦于成像相机的感光芯片上。在检测模块中，本发明采用柱面镜对光斑进行一维拉伸。具体地，该柱面镜在与光斑在平面上移动方向的垂直方向上进行拉伸，使衍射结构的激光光斑在成像感光芯片上形成一系列平行的线型光斑。彗星形相差效果则使能量最集中的线型光斑位于平行线的一侧。焦点漂移的离焦量反映在平行线沿其正交方向上的移动，漂移的方向反映是能量最集中的线型光斑的移动方向。离焦量与线型光斑移动距离的对应关系为δ＝K·dx，其中变换系数K通过对系统轴向扫描校正曲线的拟合得到。
进一步地，成像相机与计算机通讯，实时的传输图像数据并对平行的线型激光光斑应用亚像素级精度的位移检测算法。结合图3所示，在一个实施例中，基于位移的离焦量检测方法包括以下步骤：
步骤S310，采集包含平行线型光斑的原始图像，例如，MXN像素大小的图像，表示为I，包含垂直方向的平行线型光斑，其中，M和N可根据原始图像的分辨率和图像尺寸等选取适当值；
步骤S320，对原始图像沿垂直于线型光斑累加，得到1XN的图像强度曲线，表示为Profile；
步骤S330，从曲线Profile中检测信号值最高的线型激光光斑的峰值位置，表示为PeakLoc；
步骤S340，以[PeakLoc，M/2]为中心截取64X64像素大小的图像子窗口，表示为ISub；
步骤S350，使用基于OTSU(最大类间方差法)的阈值算法对原始图像计算二值化分割阈值T；
步骤S360，使用阈值T对图像子窗口进行二值化，得到二值化的图像，表示为BSub；
步骤S370，通过形态学运算提取BSub中心的线型光斑，并结合ISub计算得到亚像素级精度的重心坐标，表示为LocX；
步骤S380，将光斑坐标LocX与采用步骤S310至S370计算得到的焦平面设定值坐标ZeroX比较，得到光斑移动量，表示为dx；
步骤S390，通过焦点漂移量与光斑移动距离对应关系δ＝K·dx的系数变换，得到系统离焦量δ。
当显微系统开始成像时，首先确定(例如人工确定)物镜成像焦平面的位置，此时激光光斑在成像相机中的位置被控制系统自动设定为焦点位置(Z＝0)。控制系统应用检测算法对此时的光斑图像进行上述步骤S310至S370的分析，得到显微系统焦点位置参考值ZeroX。当发生焦点漂移时，控制系统应用完整的检测算法检测到激光光斑的位移量dx，并计算得到离焦量δ，通过PID算法计算出物镜调整反馈量F(t)＝KP·δ(t)+KI·∫δ(t)+KD·δ′(t)(KP、KI、KD是对应项的系数)并反馈至物镜轴向运动控制电机，补偿焦点漂移。在显微系统的离焦量低于预设阈值前，迭代反馈。
需要说明的是，上述实施例仅是示意性，在不违背本发明精神的前提下，本领域技术人员可进行适当的改变或变型，例如，分光镜可替换为D形反射镜或具有刀口的反射镜，在该替代方案下，激光器的功率可以适当降低；偏移透镜可替换为可变焦距透镜，如电致变形驱动的柔性变焦透镜等；成像相机可由线性阵列相机替代；反馈PID算法可替换为其他具有快速调整和稳定性的算法。
为验证本发明的可行性和效果，进行了以下实验。
(1)离焦量与线型光斑移动距离的实验
实验测定离焦量与线型光斑移动距离对应关系δ＝K·dx中的变换系数K。实验中，沿物镜光轴方向以10nm精度的固定步长扫描物镜，在每个位置点对成像相机采集的线型光斑进行算法检测，得到其空间位置(单位为像素坐标)。扫描范围为远超物镜景深范围的±4μm，得到像素坐标-物镜轴向坐标关系的数据，并进行线性拟合。拟合结果中R平方因子达到99.5％，得到自动对焦系统的变换系数K为240纳米/像素，即每检测到1像素的位移，线性对应显微成像系统的离焦量约为240nm。
(2)自动对焦效果测试的实验
实验中，使用60X的油浸物镜，其数值孔径为1.40，景深约为542nm。样品玻片装置在恒温箱内，恒温箱和物镜均持续加热至37℃并维持4小时，实现正常生物活体观测实验条件。实验测试时间为30分钟，分别测试关闭自动对焦和开启自动对焦后，显微成像系统焦点的漂移状况。未开启自动对焦的情况下，成像系统在几分钟之内即失焦，漂移出物镜的景深范围，在整个实验过程中，其漂移量的标准差(STD)达到578.2nm；在开启自动对焦的情况下，成像系统持续性的维持对焦状态，其漂移量的标准差为4.7nm，分布范围为±14.1nm，对焦重复精度可达到物镜景深的5.2％，实现高精度的自动对焦效果。实验结果和实验数据参见图4所示，其中纵坐标表示轴向位置(Axial position)，横坐标表示测试时间，AutofocusOFF表示自动对焦关闭(对应上方曲线)，Autofocus ON表示自动对焦开启(对应下方曲线)。
综上所述，针对现有基于硬件的自动对焦方法，激光聚焦平面为样品反射平面，会对生物样品形成局部高能量密度的照射的问题，本发明使用偏移透镜使激光聚焦平面远离样品成像区域，避开局部高能量密度的光照射；针对现有基于硬件的自动对焦方法，激光聚焦平面为物镜焦平面，与样品反射界面(对焦参考平面)有一定的距离，导致对焦结束后需再度移动物镜固定距离，降低对焦精度的问题，本发明借助非聚焦状态下衍射光斑的空间位置状态作为显微成像系统焦点漂移的依据，不依赖物镜焦平面与反射界面距离的变化，提高了稳定性和对焦精度；本发明利用具有彗星形像差的衍射光斑，在亚像素级精度下分析其实时位移量，并通过PID算法迭代调整显微成像系统的实时离焦量，实现高精度自动对焦。
本发明上述实施例的离焦量检测过程可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种用于显微镜的实时自动对焦系统，包括红外光源模块、偏移透镜光路模块、检测模块和对焦控制模块，其中：
所述红外光源模块用于发射平行激光光束；
所述偏移透镜光路模块将所述红外光源模块出射的平行激光光束扩束为发散光，并通过显微镜物镜照射样品界面，以使照射在样品反射界面处的激光衍射光斑形成彗星形像差；
所述检测模块将样品界面反射形成的彗差形衍射光斑调制为线型光斑，并通过对该线型光斑分析获得当前视场下显微系统的离焦量相关信息；
所述对焦控制模块基于获得的离焦量相关信息迭代控制显微镜物镜的轴向运动，直至离焦量满足设定目标。
2.根据权利要求1所述的用于显微镜的实时自动对焦系统，其中，所述红外光源模块包括激光器和分光器件，所述激光器用于产生平行激光光束，该平行激光光束依次经准直器和衰减片后，由所述分光器件入射至所述偏移透镜光路模块。
3.根据权利要求1所述的用于显微镜的实时自动对焦系统，其中，所述偏移透镜光路模块包括第一反射镜、固定在一维电动平移台上的偏移透镜和第二反射镜，所述第一反射镜接收所述红外光源模块出射的平行激光光束，并反射至所述偏移透镜，经所述偏移透镜入射到所述第二反射镜上，并经显微镜内部滤光片反射入物镜，进而照射样品界面。
4.根据权利要求2所述的用于显微镜的实时自动对焦系统，其中，所述检测模块包括聚焦透镜、柱面镜、相机和控制系统，由照射样品界面所反射的激光光斑经所述红外光源模块的分光器件后，由聚焦透镜和柱面镜聚焦在相机的感光芯片上，柱面镜将圆形光斑空间变换为椭圆形光斑，以形成线型光斑，控制系统与相机进行通讯并通过分析该线型光斑的空间位置变化以获得当前视场下显微系统的离焦量相关信息。
5.根据权利要求1所述的用于显微镜的实时自动对焦系统，其中，根据以下步骤计算显微系统的离焦量：
采集包含线型光斑的原始图像；
对原始图像沿垂直于线型光斑方向像素累加，得到图像强度曲线；
从图像强度曲线中检测信号值最高的线型激光光斑的峰值位置；
基于峰值位置截取包含多个像素的图像子窗口；
对原始图像计算二值化分割阈值；
使用分割阈值对图像子窗口进行二值化，得到二值化的图像；
提取二值化图像中心的线型光斑，并结合图像子窗口计算得到亚像素级精度的光斑中心坐标；
利用获得的光斑中心坐标得到光斑移动量dx；
通过焦点漂移量与光斑移动距离的对应关系δ＝K·dx得到离焦量δ，其中K是变换系数。
6.根据权利要求1所述的用于显微镜的实时自动对焦系统，其中，所述对焦控制模块分别连接所述控制系统和显微镜物镜，用于根据获得的离焦量相关信息与显微镜物镜调整反馈量之间的对应关系迭代控制显微镜物镜的轴向运动，直至离焦量满足设定目标。
7.根据权利要求6所述的用于显微镜的实时自动对焦系统，其中，所述对焦控制模块是电机控制器，通过比例-积分-微分控制器确定显微镜物镜的调整反馈量。
8.根据权利要求7所述的用于显微镜的实时自动对焦系统，其中，通过以下公式计算显微镜物镜的调整反馈量：
F(t)＝KP·δ(t)+KI·∫δ(t)+KD·δ′(t)，其中KP、KI、KD表示对应项的系数，δ(t)是实时计算的当前视场下显微系统的离焦量。
9.根据权利要求1所述的用于显微镜的实时自动对焦系统，其中，所述红外光源模块使用波长范围650nm至1100nm、功率小于5mW的近红外或红外波长的激光。
10.根据权利要求2所述的用于显微镜的实时自动对焦系统，其中，所述分光器件是分光镜、D形反射镜或具有刀口的反射镜。
CN202010182470.XA 2020-03-16 2020-03-16 一种用于显微镜的实时自动对焦系统 Pending CN112415735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010182470.XA CN112415735A (zh) 2020-03-16 2020-03-16 一种用于显微镜的实时自动对焦系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010182470.XA CN112415735A (zh) 2020-03-16 2020-03-16 一种用于显微镜的实时自动对焦系统

Publications (1)

Publication Number Publication Date
CN112415735A true CN112415735A (zh) 2021-02-26

Family

ID=74844067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010182470.XA Pending CN112415735A (zh) 2020-03-16 2020-03-16 一种用于显微镜的实时自动对焦系统

Country Status (1)

Country Link
CN (1) CN112415735A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987292A (zh) * 2021-04-15 2021-06-18 中国人民解放军国防科技大学 基于点阵光斑质心偏差信息的计算机辅助装调方法及装置
CN113329184A (zh) * 2021-08-02 2021-08-31 武汉中导光电设备有限公司 一种基于位置探测器的实时对焦装置及对焦方法
CN113433683A (zh) * 2021-05-24 2021-09-24 南京工程学院 一种基于分时图像的显微成像自动对焦装置及其方法
CN113588798A (zh) * 2021-07-28 2021-11-02 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN113655610A (zh) * 2021-07-14 2021-11-16 中国电子科技集团公司第十三研究所 用于光热反射显微热成像的自动对焦方法及控制装置
CN113885188A (zh) * 2021-09-22 2022-01-04 广东粤港澳大湾区黄埔材料研究院 一种显微镜锁焦方法及系统
CN114112322A (zh) * 2021-10-21 2022-03-01 浙大宁波理工学院 一种基于差分共焦的显微镜焦点偏移测量方法
CN114167434A (zh) * 2022-02-11 2022-03-11 北京九辰智能医疗设备有限公司 提高激光定位检测范围装置、方法、设备及存储介质
CN114326075A (zh) * 2021-12-10 2022-04-12 肯维捷斯（武汉）科技有限公司 一种生物样品的数字显微成像系统及镜检方法
CN114459736A (zh) * 2021-12-21 2022-05-10 浙江大学 一种激光对焦成像系统及系统的偏移量的自动化检测方法
TWI786991B (zh) * 2021-12-13 2022-12-11 國立成功大學 自動對焦系統及自動對焦方法
CN115488494A (zh) * 2021-06-18 2022-12-20 中国科学院上海光学精密机械研究所 超快激光微纳加工平台焦点的确认方法
CN116699821A (zh) * 2023-08-08 2023-09-05 南昌虚拟现实研究院股份有限公司 显微成像离焦量自动补偿系统、方法及显微镜
CN116754565A (zh) * 2023-08-04 2023-09-15 哈尔滨工业大学 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法
WO2024051198A1 (zh) * 2022-09-05 2024-03-14 苏州精濑光电有限公司 一种基于线扫描的自动聚焦系统、方法及应用

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987292A (zh) * 2021-04-15 2021-06-18 中国人民解放军国防科技大学 基于点阵光斑质心偏差信息的计算机辅助装调方法及装置
CN112987292B (zh) * 2021-04-15 2021-08-10 中国人民解放军国防科技大学 基于点阵光斑质心偏差信息的计算机辅助装调方法及装置
CN113433683B (zh) * 2021-05-24 2023-03-14 南京工程学院 一种基于分时图像的显微成像自动对焦装置及其方法
CN113433683A (zh) * 2021-05-24 2021-09-24 南京工程学院 一种基于分时图像的显微成像自动对焦装置及其方法
CN115488494A (zh) * 2021-06-18 2022-12-20 中国科学院上海光学精密机械研究所 超快激光微纳加工平台焦点的确认方法
CN113655610B (zh) * 2021-07-14 2024-04-26 中国电子科技集团公司第十三研究所 用于光热反射显微热成像的自动对焦方法及控制装置
CN113655610A (zh) * 2021-07-14 2021-11-16 中国电子科技集团公司第十三研究所 用于光热反射显微热成像的自动对焦方法及控制装置
CN113588798A (zh) * 2021-07-28 2021-11-02 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN113588798B (zh) * 2021-07-28 2024-02-09 之江实验室 一种超声扫描显微镜实时自动对焦方法
CN113329184A (zh) * 2021-08-02 2021-08-31 武汉中导光电设备有限公司 一种基于位置探测器的实时对焦装置及对焦方法
CN113885188A (zh) * 2021-09-22 2022-01-04 广东粤港澳大湾区黄埔材料研究院 一种显微镜锁焦方法及系统
CN114112322A (zh) * 2021-10-21 2022-03-01 浙大宁波理工学院 一种基于差分共焦的显微镜焦点偏移测量方法
CN114326075B (zh) * 2021-12-10 2023-12-19 肯维捷斯（武汉）科技有限公司 一种生物样品的数字显微成像系统及镜检方法
CN114326075A (zh) * 2021-12-10 2022-04-12 肯维捷斯（武汉）科技有限公司 一种生物样品的数字显微成像系统及镜检方法
TWI786991B (zh) * 2021-12-13 2022-12-11 國立成功大學 自動對焦系統及自動對焦方法
US11940610B2 (en) 2021-12-13 2024-03-26 National Cheng-Kung University Autofocus system and autofocus method
CN114459736A (zh) * 2021-12-21 2022-05-10 浙江大学 一种激光对焦成像系统及系统的偏移量的自动化检测方法
CN114167434A (zh) * 2022-02-11 2022-03-11 北京九辰智能医疗设备有限公司 提高激光定位检测范围装置、方法、设备及存储介质
WO2024051198A1 (zh) * 2022-09-05 2024-03-14 苏州精濑光电有限公司 一种基于线扫描的自动聚焦系统、方法及应用
CN116754565A (zh) * 2023-08-04 2023-09-15 哈尔滨工业大学 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法
CN116754565B (zh) * 2023-08-04 2024-04-26 哈尔滨工业大学 一种光学元件全口径表面微缺陷光致荧光检测用自动对焦检测方法
CN116699821A (zh) * 2023-08-08 2023-09-05 南昌虚拟现实研究院股份有限公司 显微成像离焦量自动补偿系统、方法及显微镜

Similar Documents

Publication Publication Date Title
CN112415735A (zh) 一种用于显微镜的实时自动对焦系统
WO2021184169A1 (zh) 一种用于显微镜的实时自动对焦系统
CN211627931U (zh) 一种用于显微镜的实时自动对焦系统
US9832365B2 (en) Autofocus based on differential measurements
CN106461925B9 (zh) 用于具有自适应光学系统的拉曼散射光学显微镜的系统和方法
KR101824936B1 (ko) 이미지들 내에서 초점 에러 추정
JP5809248B2 (ja) オートフォーカスイメージング
JP7234254B2 (ja) 顕微鏡において光路を操作する方法および装置、顕微鏡においてスタック画像を撮影する方法
EP2333602B1 (en) Spherical aberration correction for non-descanned applications
CN109477954A (zh) 具有相位调制元件的scape显微术和图像重构
AU2018352821B2 (en) Image reconstruction method, device and microscopic imaging device
US20170168280A1 (en) Method and microscope for imaging a volume sample
Zhang et al. Improvement in focusing accuracy of DNA sequencing microscope with multi-position laser differential confocal autofocus method
CN112748510A (zh) 一种兼具自动调平功能的扫描式自动对焦方法及装置
Lu et al. Imaging properties of extended depth of field microscopy through single-shot focus scanning
JP2018516380A (ja) 光学機器の連続非同期オートフォーカスのためのシステムおよび方法
CN109540474B (zh) 后置分光瞳激光差动共焦焦距测量方法与装置
KR101505745B1 (ko) 이중 검출 반사 공초점 현미경 및 이를 사용하는 시편의 높이의 정보를 검출하는 방법
CN115453736A (zh) 自动对焦系统、显微成像系统及自动对焦方法
JP2008267842A (ja) 生物観察容器並びにこれを用いる生物顕微鏡及び生物観察装置
JP2018017970A (ja) 光シート顕微鏡、及び、光シート顕微鏡の制御方法
Wang et al. High-robustness autofocusing method in the microscope with laser-based arrayed spots
CN112748562B (zh) 显微镜和用于确定显微镜中的像差的方法
KR102357212B1 (ko) 랜덤 포레스트 기반의 오토포커싱 장치 및 방법
JP2661430B2 (ja) 光学記号読取装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination