CN112969026A - 一种成像椭圆偏振仪的焦平面自动聚焦方法 - Google Patents

Abstract

本发明属于光学设备聚焦技术领域，是成像椭圆偏振仪技术领域的光学设备相关技术，涉及一种通过分析生物样品聚焦前后图像相关性变化进行成像椭圆偏振仪自动聚焦的方法及其再实际中的应用，包括选取图像、确定特征轮廓、用结构因子增强特征轮廓和生成样本特征因子矩阵等工艺步骤，能更加快速有效地确定成像椭圆偏振仪的焦平面，对半透明、微小生物样品测量节省聚焦时间；测量的偏振光与物质光学相互作用得到椭偏图像数据焦平面变化的数据灵敏度更高，整体设计原理科学可靠，实现工艺步骤简单，自动聚焦效果好，应用价值高，应用环境友好。

Description

一种成像椭圆偏振仪的焦平面自动聚焦方法

技术领域：

本发明属于光学设备聚焦技术领域，属于成像椭圆偏振仪技术领域的光学设备相关技术，涉及一种通过分析聚焦前后图像相关性变化进行成像椭圆偏振仪自动聚焦的方法及其再实际中的应用。

背景技术：

成像椭圆偏振(椭偏)仪技术是在传统椭偏仪基础上增加CCD相机实现用椭圆偏振光成像的技术，是结合了一般椭偏仪厚度方向高分辨率以及样本平面内高分辨率的一种高精度测量方法。成像椭圆偏振仪技术可以提供被测样品的实时动态视频和图像，也提供了薄膜厚度和折射率等相关信息，成像椭偏技术正在引起其他学科如生物医药研究人员越来越多的兴趣，例如研究人员发现利用成像椭偏技术可以和表面等离子共振(SPR)联用，可以实现生物芯片和生物传感器的检测。这些跨学科的研究领域给椭偏技术带来了新研究热点的同时也给该技术带来了挑战，例如在非稳定液体表面进行薄膜测量和显微成像等。

一方面成像椭偏仪可以无损、不需染色标记地对亚微米尺度的细菌生物细胞以及其它生物样品测量；另一方面，生物应用时，一些活细胞在环境中不够稳定，有时可能很快死亡，而活细胞的特性在观测期间发生变化更为常见。在时间有限的情况下，由于可以确保快速准确定位到感兴趣的位置自动聚焦技术变得尤为重要。但是在实际应用中由于更加复杂的偏振光-物质相互作用，很多对一般形貌图像照相(例如相机和全息照相)有效的自动聚焦方法不再适用于成像椭偏仪的自动聚焦。除此之外由于成像椭圆偏振仪的工作方式与一般光学成像系统有所不同，其物镜平面与成像透镜有夹角，而CCD与物镜平面平行，使得成像椭圆偏振仪成像原理更加复杂，增加了在测量微小、半透明的生物样品聚焦定位的难度。

传统相机的自动聚焦方法分为主动型聚焦方法与被动型聚焦方法(Chen CY，Hwang RC，Chen YJ.A passive auto-focus camera control system.Appl SoftComput.2010；10(1):296-303)。主动型聚焦方法利用红外或超声波信号发送到目标，并根据反射信号的到达时间来测量物体距离进行聚焦。被动型聚焦方法通过图像分析实现，例如：对全息照片通过分析图片谱图确定焦平面(Liebling M，Unser M.Autofocus fordigital Fresnel holograms by use ofa Fresnelet-sparsity criterion.J OptSocAmA-Opt Image Sci Vis.2004；21(12):2424-30)；对CCD照片里面气泡和微粒进行灰度值梯度分析渠确定它们是否在焦平面上(Broder D，Sommerfeld M.Planar shadow imagevelocimetry for the analysis of the hydrodynamics in bubbly flows.Meas SciTechnol.2007；18(8):2513-28)；对扫描电镜图片进行高频成分或边缘分析以及梯度探测边缘确定焦平面位置(Groen FCA，Young IT，Ligthart G.A comparison of differentfocus functions for use in autofocus algorithms.Cytometry.1985；6(2):81-91.)；或进行离散小波变换来判断图像是否锐利(Chen CY，Hwang RC，ChenYJ.Apassive auto-focus camera control system.Appl Soft Comput.2010；10(1):296-303)等方法来确定焦平面位置。

传统的检测焦平面方法基本都是基于成像在不同聚焦深度清晰度的不同，图像边缘的锐利与否，例如张国峰；石旭；符郁；陈航；海振坤；熊志仁；陈瑞云；秦成兵；肖连团；贾锁堂在2019年发明的一种激光共聚焦显微镜的自动聚焦的方法[P]，专利号为CN201911009133.4，他们用CCD进行实时采集样品玻片表面(反射激光的面)的反射光，将采集到的图像转换成灰度值二维矩阵，通过测量其中图片灰度值最大位置得到焦平面位置；约翰·B·普特曼；马修·C·普特曼；瓦迪姆·潘斯基；丹尼斯·Y·沙鲁霍夫2019年发明的纳米电子成像有限公司的用于自动显微镜聚焦的系统、装置和方法[P]，专利号：CN201980029638.9通过利用定位在图像成形共轭平面的不同侧上的多个聚焦相机，用由偏移聚焦相机拍摄的图像确定的清晰度值来确定焦点。另外也有利用图像相关性对细微结构进行精准聚焦的工作，如高清透射电子显微镜的聚焦(Isakozawa S，Baba M，Amano J，Sakamoto S，Baba N.Generalized spot auto-focusing method with a high-definition auto-correlation function in transmission electronmicroscopy.Microscopy.2019；68(5):395-412.)；通过图像相关自动对焦也有用于观察细胞的情况(Idinyang SU，Russell NA.Real-time auto-focus implementation2011.2pp.-pp.p)。但这些图像相关法都是用在观测形貌图像的成像技术上。

不是基于简单光学原理，椭圆偏振仪通过测量从样品反射的偏振光的振幅和相位获得样品的信息，可以揭示更细微的特征，在对

厚度变化有要求的半导体工业等领域得到了广泛的应用。基于椭圆偏振仪的成像椭偏仪与一般相机、显微镜、全息照片都不同，椭圆偏振图像随不同聚焦深度可能有完全不同的特征，例如，癌细胞(Chen Y-D，Hsu HY，Khaleel MI，Chang Y-C，Wu C-H，Wu H-C.Study of Biological Reaction in CancerCell with Spectroscopic Imaging Ellipsometry.In:Verma P，EgnerA，editors.Nanoimaging andNanospectroscopy Iv.Proceedings ofSPIE.99252016.)，和变形链球菌细胞(Khaleel MI，ChenY-D，Chien C-H，Chang Y-C.Microscopic imagingellipsometry of submicron-scale bacterial cells.Tropical JournalofPharmaceutical Research.2017；16(11):2713-25)的情况。

其它收集形貌图像(包括全息相片)的相机相对比较容易实现自动聚焦，例如用自动聚焦评价函数法时，只收集一次走过包括焦平面的一组全行程聚焦深度图像，即可分析得到可靠的焦平面位置。例如下面这个确定全息照片焦平面的工作：Langehanenberg P，KemperB，Dirksen D，von Bally G.Autofocusing in digital holographic phasecontrast microscopy on pure phase objects for live cell imaging.ApplOptics.2008；47(19):D176。而对成像椭偏仪用自动聚焦评价函数寻找焦平面位置时(ChenS，Meng Y，Jin G.Study on the autofocus evaluation function in ellipsometricimaging system.Acta Optica Sinica.2005；25(7):923-9)，他们虽然发现对硅片纤维蛋白芯片和多通道蛋白芯片上拉普拉斯函数和索贝尔评价函数较为适用，但为抑制噪声干扰需要采用大于9帧的多帧平均方法。这一方面表明成像椭偏的机理与一般成像不同，另一方面还可以看到在需要快速测量的情况下多次通过包括焦平面的全聚焦深度做测量，然后平均处理这样的定焦方法也不能够快速有效。对成像椭偏仪自动聚焦还尝试过图像亮度梯度锐度函数法(Meng YH，Chen S，Jin G.An auto-focusing method for imagingellipsometry system.In:Arwin H，Beck U，Schubert M，editors.Physica StatusSolidi C-Current Topics in Solid State Physics，Vol 5，No 5.Physica StatusSolidi C-Current Topics in Solid State Physics.5.Weinheim:Wiley-V C H VerlagGmbh；2008.p.1046-9)。这种方法通过沿光轴方向连续移动成像传感器寻找最大亮度梯度的锐利度来确定焦平面，但这种完全依靠亮度梯度确定焦平面方法一方面该方法涉及样品自身信息较少，另外也易受测量环境的影响。

综上所述，由于偏振光与物质的相互作用，成像椭圆偏振仪可以揭示更多的细节，有非常好的应用前景，但是对于微小、半透明、需要快速准确确定焦平面的活细胞等生物样品的情况还没有很好的技术。

另有关的物理背景知识是：椭圆测量法测量参数有表示样本反射的p波(r_p)和s波(r_s)的振幅之比：

其中I_p＝r_p ²和I_s＝r_s ²为样品反射p波(r_p)和s波(r_s)的强度。从样本反射回的p波和s波的振幅比(Ψ)和相位差(Δ)与样品的复菲涅耳反射系数(χ)有关(YoshizawaT.Principles and applications.Handbook of optical metrology.xiii.Boca Raton:CRC Press；2009.p.730；Bubert H，Jenett H.Surface and thin film analysis:principles，instrumentation，applications.Weinheim:Wiley-VCH Verlag GmbH；2002):

总之，成像椭偏仪有望成为研究微小、半透明生物样品的非常有用的设备，但其自动聚焦方法仍存在诸多需要改进的空间，探讨一种成像椭圆偏振仪的自动聚焦方法和工艺具有广泛的理论意义和应用价值。

发明内容：

本发明的目的在于针对现有技术存在的缺点，寻求提供了一种成像椭圆偏振仪的焦平面自动聚焦方法及应用。

为了实现上述目的，本发明所述的成像椭圆偏振仪的焦平面自动聚焦方法的具体步骤包括：

第一步，首先用CCD找到粗聚焦焦平面位置，再在此焦平面上方或下方收集任意一幅图像，裁剪选取该图像上样本的特征区域，减少背景干扰，更好地突出样品信息；

第二步，采用特征轮廓抽取，再用结构因子强化特征轮廓，使生成的特征区域的因子带有足够的特征信息量；

第三步，通过移动样本载台移动成像椭圆偏振仪的物镜聚焦深度，在物镜的聚焦深度全行程上逐点采集椭圆偏振图像；

第四步，将第三步中采集的各个聚焦深度椭偏图像与第二步中处理得到的增强的特征因子逐一卷积，得到一组不同聚焦深度的卷积矩阵。

第五步，计算每一个聚焦深度的卷积矩阵的元素之和，其随聚焦深度的变化曲线上梯度突然下降或者上升的位置就是该测量样本的精准焦平面位置。

本发明涉及的焦平面位置卷积和随聚焦深度上升或下降突变是根据图像特征正负或卷积是增强还是削弱而决定的，通过开发板控制电机移动样本载台使物镜聚焦到焦平面位置即能开展进一步的成像椭偏测量研究与应用。

本发明所述的开发板为Arduino，STM32或现场可编程门阵列(FPGA)类的开发板；通过开发板控制样本载台使物镜聚焦深度走过包括焦平面整个行程，全行程取多点成像椭圆偏振仪的振幅、相位相关的Ψ、Δ、I_p、I_s图像；确定特征轮廓，用结构因子增强特征轮廓，生成样本特征因子矩阵；例如用3×3结构因子增强特征轮廓，其结构因子形状大小没有严格要求，只要不大到使轮廓模糊。

本发明所述的成像椭圆偏振仪的焦平面自动聚焦方法结果在远离焦平面位置的跳变，可以在CCD的粗聚焦范围内予以框定剔除。

本发明还能够提供一种控制成像椭圆偏振仪的辅助聚焦装置，实现过程如下：

(1)从椭偏仪读入各焦平面图像数据；

(2)用本方法分析数据计算出焦平面位置；

(3)将计算得到的焦平面位置传给控制物镜聚焦深度的开发板控制软件，一般通过抬升或下降样本载台实现；

(4)开发板控制移动物镜聚焦深度到相应的焦平面位置。这样完成整个成像椭偏仪的自动聚焦过程。

本发明所述的辅助聚焦装置包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如下步骤：处理器控制驱动电机通过移动样本载台将物镜聚焦平面移动到焦平面上方或下方某处用CCD粗聚焦确定焦平面位置；控制物镜聚焦深度走过包括焦平面整个行程，全行程取多点成像椭圆偏振仪的振幅、相位相关的图像；处理器对CCD粗聚焦于焦平面上方(或下方)任意一幅图像的特征区域进行裁剪、确定特征轮廓、结构因子强化特征轮廓、生成特征因子，得到的图像与增强的特征因子逐一卷积；处理器计算每一个卷积矩阵元素的和，卷积和随聚焦深度的变化曲线上梯度突然下降或者上升位置就是精准焦平面位置。

本发明与现有技术相比，所具备的优点及积极效果为：可以更加快速有效地确定成像椭圆偏振仪的焦平面，对半透明、微小生物样品测量节省了聚焦时间；不像拉普拉斯算子等评价函数法，该方法不需要选择阈值，非常容易使用；测量的偏振光与物质光学相互作用得到椭偏图像数据焦平面变化比同时CCD取图同样处理方法得到的数据灵敏度更高；其成像椭偏图焦平面确定法的灵敏度高，整体设计原理科学可靠，实现工艺步骤简单，自动聚焦效果好，应用价值高，应用环境友好。

附图说明：

图1是本发明涉及的成像椭圆偏振仪的焦平面自动聚焦方法流程图。

图2是本发明涉及的成像椭圆偏振仪的焦平面自动聚焦方法的实现流程图。

图3是本发明涉及的总体结构控制原理模块结构原理示意框图。

图4是本发明涉及的金膜上4个变形链球菌的19个物镜聚焦深度位置成像椭圆偏振仪图像示意图。

图5(a)是本发明涉及的截取第二个聚焦深度样品信息的原始框取过程示意图。

图5(b)是本发明涉及的截取第二个聚焦深度样品信息的5(a)中截取框予以加重示意图。

图6是本发明涉及的通过19个物镜聚焦深度的金膜上4个变形s细胞的图像相关性确定焦平面示意图。

图7是本发明涉及的通过17个物镜聚焦深度的金膜上2个变形s细胞的图像相关性确定焦平面示意图。

具体实施方式：

下面结合附图并通过实施例对本发明做详细的描述。

实施例1：

如图1所示，本实施提供的成像椭圆偏振仪的焦平面自动聚焦方法包括以下步骤：

S101：通过对CCD粗聚焦于焦平面上方或下方任意一幅图像的特征区域进行裁剪、确定特征轮廓、结构因子强化特征轮廓、生成特征因子；

S102：成像椭圆偏振仪物镜聚焦全行程得到的图像与增强的特征因子逐一卷积；

S103：对每一个卷积计算所有矩阵元素的和，卷积和随聚焦深度的变化曲线上梯度突然下降或者上升位置就是精准焦平面位置。

实施例2：

本实施例提供的成像椭圆偏振仪的焦平面自动聚焦方法使用金膜上4个变形链球菌的椭圆偏振图像，样品和成像椭圆偏振仪图像收集详细条件参见(Khaleel MI，ChenY-D，Chien C-H，ChangY-C.Microscopic imaging ellipsometry of submicron-scalebacterial cells.Tropical Journal of Pharmaceutical Research.2017；16(11):2713-25)。物镜的聚焦深度调整是通过移动样品台位置实现的，全行程收集19个聚焦位置图像，利用这些图像使用成像椭圆偏振仪图像自动聚焦方法精确聚焦的具体步骤包括：

第一步，用CCD粗聚焦确定焦平面大致位置，通过Arduino、STM32或其它开发板控制驱动电机将物镜聚焦深度移动到焦平面上方或下方某处；

第二步，通过Arduino、STM32或其它开发板控制物镜聚焦深度走过包括焦平面整个行程，全行程取多点成像椭圆偏振仪的振幅、相位相关的Ψ、Δ、I_p、I_s图像，参考图4所示的19幅椭偏Δ图；

第三步，对某一类图像，如19个聚焦深度位置的Δ图(1-19各个聚焦深度Δ图聚焦深度位置与图6中19个位置依次对应)，选定焦平面上方某一幅图，为突出样品特征减小背景干扰，截取图像上样品大致特征区域，参考图5(a)和图5(b)所示选取的是图5中第二幅图，截取框中特征区域，图5(a)是原始框取过程截图，图5(b)为清晰展示对图中截取框予以加重，截取框大小没有严格要求，只要包括样品信息则可；

第四步，用通用的软件确定特征轮廓，用结构因子增强特征轮廓，生成样本特征因子矩阵，结构因子形状大小都没有严格要求，只要不大到使得轮廓消失则可；

第五步，将成像椭圆偏振仪物镜聚焦深度全行程得到的该类椭偏图像-第二步的19个Δ图，用增强的特征因子矩阵逐一卷积，并计算每一位置卷积矩阵的各元素和；

第六步，卷积矩阵和随聚焦深度的变化曲线上突然下降或者上升位置就是细微结构的焦平面，参考图6；

第七步，通过开发板控制移动样品载台使物镜聚焦到焦平面位置就实现了快速精确的成像椭偏仪自动聚焦，可进一步开展成像椭偏测量的研究与应用。

实施例3：

本发明实施例提供的成像椭圆偏振仪的焦平面自动聚焦方法运用金膜上2个变形链球菌的椭圆偏振图像，样品和成像椭圆偏振仪图像收集详细条件参见(Khaleel MI，ChenY-D，Chien C-H，ChangY-C.Microscopic imaging ellipsometry of submicron-scale bacterial cells.Tropical Journal of Pharmaceutical Research.2017；16(11):2713-25)；物镜的聚焦深度调整通过移动样品台位置实现，全行程收集17个聚焦位置椭偏图像，利用这些图像使用成像椭圆偏振仪图像自动聚焦方法精确聚焦的具体步骤包括：

第一步，用CCD粗聚焦确定焦平面大致位置，通过Arduino、STM32或其它开发板控制驱动电机控制样本载台下降或上升将物镜聚焦深度移动到焦平面上方或下方某处；

第二步，通过Arduino、STM32或其它开发板控制驱动电机移动样品载台控制物镜聚焦深度走过包括焦平面的整个行程，全行程取多点成像椭圆偏振仪的振幅、相位相关的Ψ、Δ、I_p、I_s图像；

第三步，对某一类图像，如Ψ图，如金膜上2个变形链球菌的17个聚焦深度位置的Δ图，选定焦平面上方某一位置成像椭偏图像，例如第一幅Ψ图，为突出样品特征减小背景干扰，截取图像上样品大致特征区域；

第四步，确定特征轮廓，用结构因子增强特征轮廓，生成样本特征因子矩阵，用3×3结构因子，结构因子形状大小要求不严格，只要不太大使轮廓消失就可；

第五步，将成像椭偏仪物镜聚焦深度全行程得到的该类图像(例如Ψ图)用上述增强的特征因子矩阵逐一卷积，计算每一位置的卷积矩阵的各元素和；

第六步，卷积矩阵和随聚焦深度变化曲线上梯度突然下降或者上升位置就是细微结构的焦平面，参考附图7；

第七步，通过开发板控制驱动电机移动物镜聚焦深度到焦平面就实现快速精确的成像椭偏仪自动聚焦，进一步开展成像椭偏测量的研究与应用。

本实施例出现的远离焦平面的跳变，是由于当远离焦平面时，特征色散或模糊导致卷积和的增加，能够在CCD的粗聚焦范围内框定剔除。

实施例4：

本发实施例还包括成像椭圆偏振仪，在成像椭圆偏振仪上安装有CCD相机和物镜辅助设备有开发板和电机；上位机通过软件控制开发板给出控制指令，控制指令包括读取相应图片指令，与CCD相机通过导线连接，开发板通过导线连接电机，电机与样本载台连接达到控制物镜聚焦深度目的，或实现现场可编程门阵列(FPGA)集图像处理和硬件控制一体化的设备。

Claims (4)

1.一种成像椭圆偏振仪的焦平面自动聚焦方法，其特征在于：具体聚焦步骤包括：

第一步，先用CCD相机或电荷耦合器件找到粗聚焦焦平面位置，再在此焦平面上方或下方收集一幅图像，裁剪并选取该图像上样本的特征区域，减少背景干扰，突出样本信息；

第二步，采用特征轮廓抽取，再用结构因子强化特征轮廓，使生成的特征区域的因子带有足够的特征信息量，得增强的特征因子；

第三步，然后，通过移动样本载台而移动成像椭圆偏振仪的物镜聚焦深度，再在物镜聚焦深度的全行程上逐点采集椭圆偏振图像；

第四步，将第三步中采集的各个聚焦深度椭偏图像与第二步中处理得到的增强的特征因子逐一卷积，得到一组不同聚焦深度的卷积矩阵；

第五步，计算每一个聚焦深度的卷积矩阵的元素之和，其随聚焦深度的变化曲线上梯度突然下降或者上升的位置就是该测量样本的精准焦平面位置，从而实现焦平面的自动聚焦。

2.根据权利要求1所述的一种成像椭圆偏振仪的焦平面自动聚焦方法，其特征在于：涉及的焦平面位置卷积和随聚焦深度上升或下降突变是根据图像特征正负或卷积是增强还是削弱而决定的，通过开发板控制电机移动样本载台使物镜聚焦到焦平面位置即能实现成像椭偏测量的应用。

3.根据权利要求1所述的一种成像椭圆偏振仪的焦平面自动聚焦方法，其特征在于：所述的开发板为Arduino，STM32或现场可编程门阵列FPGA类的开发板，通过开发板控制样本载台使物镜聚焦深度走过包括焦平面整个行程，全行程取多点成像椭圆偏振仪的振幅、相位相关的Ψ、Δ、I_p、I_s图像；确定特征轮廓，用结构因子增强特征轮廓，生成样本特征因子矩阵；如用3×3结构因子增强特征轮廓，其结构因子形状大小控制在不使轮廓模糊。

4.根据权利要求1所述的一种成像椭圆偏振仪的焦平面自动聚焦方法，其特征在于：所述的成像椭圆偏振仪的焦平面自动聚焦方法结果在远离焦平面位置的跳变，能够在CCD的粗聚焦范围内予以框定剔除。

Images