CN113467067A - 基于多图像面积关系的显微成像系统自动对焦方法及装置 - Google Patents

基于多图像面积关系的显微成像系统自动对焦方法及装置 Download PDF

Info

Publication number
CN113467067A
CN113467067A CN202110563916.8A CN202110563916A CN113467067A CN 113467067 A CN113467067 A CN 113467067A CN 202110563916 A CN202110563916 A CN 202110563916A CN 113467067 A CN113467067 A CN 113467067A
Authority
CN
China
Prior art keywords
distance
sample
microscope objective
area
laser beam
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110563916.8A
Other languages
English (en)
Other versions
CN113467067B (zh
Inventor
史金飞
何睿清
张健
郝飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Institute of Technology
Original Assignee
Nanjing Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Technology filed Critical Nanjing Institute of Technology
Priority to CN202110563916.8A priority Critical patent/CN113467067B/zh
Publication of CN113467067A publication Critical patent/CN113467067A/zh
Application granted granted Critical
Publication of CN113467067B publication Critical patent/CN113467067B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本发明公开了一种基于多图像面积关系的显微成像系统自动对焦方法,包括以下过程:将两束激光光束投射到样品表面,并接收样品表面反射的两束激光光束形成的两个面积不同的光斑图像,获得显微物镜与样品之间的距离与两个光斑面积之间对应关系;调整显微物镜与样品之间的距离,由不同距离与光斑面积之间映射关系形成面积查找表;获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。本发明采用两条光束投影到测量物体表面,利用两者之间的相互关系来考察聚焦情况,提高检测精度。

Description

基于多图像面积关系的显微成像系统自动对焦方法及装置
技术领域
本发明属于半导体检测领域,具体涉及一种基于多图像面积关系的显微成像系统自动对焦方法,还涉及一种基于多图像面积关系的显微成像系统自动对焦装置。
背景技术
显微镜的自动聚焦(即自动获取对焦图像),被广泛的应用在工业检测,如半导体、液晶屏等领域。传统的聚焦判断方法,如图像清晰度函数、距离测量等,由于速度慢(清晰度函数)、成本高(距离测量)没有办法在工业生产中大规模的使用。现有技术中出现了有采用光束主动投影,利用在被测物表面形成图像,利用图像的信息作为聚焦情况的判断依据,解决了速度与成本问题。但是单幅图像处理时易受到外界因素的影响,如背景光、测量物体表面、测量物体安装的影响导致测量精度的下降。
发明内容
本发明的目的在于克服现有技术中的不足,提供了一种基于多图像面积关系的显微成像系统自动对焦方法,解决了传统方法中由于信源单一导致的深度估计错误率高,对焦效率较低的技术问题。
为解决上述技术问题,本发明的技术方案如下。
第一方面,本发明提供了一种基于多图像面积关系的显微成像系统自动对焦方法,包括以下过程:
基于显微成像系统,将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个面积不同的光斑图像,并计算两个光斑的面积,获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系;
调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表;
获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;
根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。
可选的,所述显微成像系统包括:激光器一、激光器二、分束棱镜一、分束棱镜二、分束棱镜三、显微物镜、透镜、分束棱镜四、带通滤波片一、带通滤波片二、面阵探测器一、面阵探测器二、场镜和面阵探测器三;
激光器一发出的激光光束一,激光器二发出的激光光束二,激光光束一和激光光束二两束光的光轴互相垂直且波长不同;激光光束一和激光光束二经过分束棱镜一合束后,激光光束一和激光光束二两束光光轴重合;合束之后,激光光束一、激光光束二经过分束棱镜二,照射到分束棱镜三上,经过分束棱镜三反射后之后,激光光束一、激光光束二进入显微物镜然后投射到样品的表面上;
激光光束一、激光光束二被样品表面反射后,被显微物镜收集,然后经过分束棱镜三和分束棱镜二的反射至透镜处,经透镜汇聚后到达分束棱镜四,激光光束一、激光光束二经分束棱镜四后,被分为透射部分和反射部分,这两部分均包含激光光束一和激光光束二;反射部分照射到带通滤波片一上,激光光束一被滤除,激光光束二被面阵探测器一接收;透射部分照射到带通滤波片二上,激光光束二被吸收,激光光束一被面阵探测器二接收;面阵探测器一和面阵探测器二上获得两个面积不同的光斑图像;
显微物镜、场镜以及面阵探测器三构成了显微镜,用于显示样品的图像。
可选的,所述光斑图像中光斑面积的计算过程为:
光斑图像记为I1,I1的每个像素大小记为I1(x,y);
设定阈值T,将I1中的每个像素进行公式1的操作,提取图像中光斑区域,得到处理后的图像记为I′1,I′1中的每个像素大小记为I′1(x,y);
Figure BDA0003080013330000031
对I′1图像中像素值求和,得到I1中光斑面积S1
可选的,所述调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表,具体过程为:
1)设显微物镜能够相对样品在竖直方向移动,设单次移动距离为Δdd应为显微镜的景深;
2)假设显微物镜距离样品的垂直距离为d,距离d可变动的最大值与最小值分别标记为dmax和dmin
3)利用Δd对d进行分割,形成N个深度位置;其中第n个深度位置标记为d(n),n取值范围为1~N,d(n)的表达式如公式2所示:
d(n)=dmin+(n-1)Δd (2)
4)将显微物镜移动到每个d(n)处,记录对应的光斑图像I1和I2中光斑面积,记为
Figure BDA0003080013330000032
Figure BDA0003080013330000033
由距离与光斑面积之间映射关系进而形成面积查找表。
可选的,所述获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离,包括:
1)在实际测量中,对于一个距离未知的待测环境,首先获取光斑面积,分别记为S1D和S2D
2)将S1D与面积查找表中所有
Figure BDA0003080013330000041
相比较,查找表中与面积S1D大小最接近的两个值;
具体比较的方法是将S1D
Figure BDA0003080013330000042
做差,如式3所示,遍历表中所有的
Figure BDA0003080013330000043
获得N个
Figure BDA0003080013330000044
记为
Figure BDA0003080013330000045
Figure BDA0003080013330000046
中最小的两个值的上标分别标记为n1和n2
Figure BDA0003080013330000047
3)将S2D与n1和n2位置对应的
Figure BDA0003080013330000048
做差,如式4所示,得到差值
Figure BDA0003080013330000049
Figure BDA00030800133300000410
Figure BDA00030800133300000411
Figure BDA00030800133300000412
中较小数值的上标所对应深度d(n),作为第一次估计的显微物镜和样品之间距离d,记为dstep1
Figure BDA00030800133300000413
4)将S2D与查找表中所有
Figure BDA00030800133300000414
做差,如式5所示,遍历所有的
Figure BDA00030800133300000415
获得N个
Figure BDA00030800133300000416
记为
Figure BDA00030800133300000417
Figure BDA00030800133300000418
中最小的两个值的上标分别标记为n′1和n′2
Figure BDA00030800133300000419
5)将S1D与n′1和n′2位置对应的
Figure BDA00030800133300000420
做差,如式6所示,得到
Figure BDA00030800133300000421
Figure BDA00030800133300000422
Figure BDA00030800133300000423
Figure BDA00030800133300000424
中较小数值的上标所对应深度d(n),作为第二次估计的显微物镜和样品之间距离,记为dstep2
Figure BDA00030800133300000425
6)如果第一次估计和第二次估计的显微物镜和样品之间距离满足以下条件:|dstep1-dstep2|≤σT,其中,σT为预设的距离误差阈值;则表示两者交叉检验吻合,说明得出的距离正确,此时任取dstep1或dstep2中的一个数值作为当前显微物镜和样品之间距离,标记为dc
可选的,还包括:
如果第一次估计和第二次估计的显微物镜和样品之间距离不满足
|dstep1-dstep2|≤σT条件,则表示估计距离有误;此时,须将显微物镜向远离样品的方向移动2Δd后再重复以上过程,直到估计的距离满足条件。
可选的,所述基于离焦距离移动显微物镜相对样品位置,包括:
当离焦距离Δdefocus>0时,将显微物镜向靠近样品的方向移动|Δdefocus|;
当离焦距离Δdefocus<0时,将显微物镜向远离样品的方向移动|Δdefocus|;
当离焦距离Δdefocus=0时,表示当前状态已经对焦。
第二方面,本发明提供了一种基于多图像面积关系的显微成像离焦状态获取装置,包括:
光斑采集模块,用于基于显微成像系统,将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个光斑图像,并计算两个光斑面积,获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系;
查找表生成模块,用于通过调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表;
距离估算模块,用于获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;
对焦调整模块,用于根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。
与现有技术相比,本发明所达到的有益效果是:本发明采用两条光束投影到测量物体表面,由于考察的是同一测量的表面的投影信息,受到的影响相同,利用两者之间的相互关系来考察聚焦情况,可以避免上述因素的影响,提高检测精度。
附图说明
图1为本发明方法的流程图;
图2为发射光路的原理图;
图3为接收光路的原理图;
图4为两个光源对目标探测的原理图;
图5为一个光源对目标探测的原理图。
附图标记:1、激光器一,2、激光器二,3、激光光束一,4、激光光束二,5、分束棱镜一,6、分束棱镜二,7、分束棱镜三,8、显微物镜,9样品,10、透镜,11、分束棱镜四,12、带通滤波片一,13、带通滤波片二,14、面阵探测器一,15、面阵探测器二,16、场镜,17、面阵探测器三。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
本发明的发明构思为:采用两条不同波长的激光光束投影到测量物体表面,考察同一测量表面的投影信息,并利用两者之间的相互关系来考察聚焦情况,可以避免光路传输因素的影响,提高检测精度。
本发明的一种基于多图像面积关系的显微成像系统自动对焦方法,参见图1所示,包括以下过程:
步骤S1,将两束不同波长的激光光束经显微物镜投射到样品表面,并接收样品表面反射的激光光束形成的两个面积不同的光斑图像,用于后期探测。
显微成像系统的结构参见图2所示,激光光束投影到样品表面获得样品的投影信息。激光光束的发射流程,参见图2所示,过程为:激光器一1和激光器二2如图放置,即:两激光器所发出激光的光轴相互垂直。激光器一1发出的激光光束一3(图中实线表示),其波长为λ1,激光器二2发出的激光光束二4(图中虚线表示),其波长为λ2,激光光束一3和激光光束二4两束光的光轴互相垂直,且两光束的波长不同。激光光束一3和激光光束二4两束光照射到分束棱镜一5后,激光光束一3被分束棱镜一5反射,激光光束二4直接穿过分束棱镜一5。经过分束棱镜一5合束后,激光光束一3和激光光束二4两束光光轴重合。合束之后,激光光束一3,激光光束二4经过分束棱镜二6,照射到分束棱镜三7上,分束棱镜三7与激光光束一3,激光光束二4主光轴的夹角均为45°。经过分束棱镜三7反射后之后,激光光束一3,激光光束二4进入显微物镜8然后投射到样品9的表面上。
通过接收光路接收样品反射激光光束的流程,参见图3所示过程:激光光束一3、激光光束二4被样品9表面反射后,被显微物镜8收集,然后经过分束棱镜三7和分束棱镜二6的反射至透镜10处,经透镜10汇聚后到达分束棱镜四11。激光光束一3、激光光束二4经分束棱镜四11后,被分为透射部分和反射部分,这两部分均包含激光光束一3和激光光束二4。由于两光束使用不同波长,因此可以利用滤波片将两种光分开。反射部分照射到带通滤波片一12上,带通滤波片一12的特征为:阻止波长为λ1的光线,通过波长为λ2的光线。因此激光光束一3被滤除,激光光束二4被面阵探测器一14接收。透射部分照射到带通滤波片二13上,带通滤波片二13的特征为:阻止波长为λ2的光线,通过波长为λ1的光线,因此激光光束二4被吸收,激光光束一3被面阵探测器二15接收。面阵探测器一14和面阵探测器二15上获得两个面积不同的光斑图像。
此外,显微物镜8、场镜16,以及面阵探测器三17构成了无限远校正显微镜,简称为显微镜。显微镜显示样品的图像。
步骤S2,通过调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表。
本发明采用两个光源对目标样品9进行探测,其原理如图4所示。图4描述了其中一个激光光源对被探测目标样品进行投射时,观测面上光斑大小(面积)与光源之间的关系,其中光源点发出的光具有一定的发散角,半发散角记为θ。该处光源点可以表示激光器一1或激光器二2。光源点发出的光照射到显微物镜8上,在显微物镜8另一侧进行汇聚形成像点。
为了解释本发明的原理,建立以下模型。此处将显微物镜8可以看作为一个等效透镜,其焦距为f。这个等效透镜不加数字编号,以区别发明方案中的其他透镜。光源点(此处光源点可以指代激光器一1或激光器二2)距离等效透镜的物方主面距离为u(u>f),像点距离等效透镜的像方主面距离为v。在等效透镜上,距离光轴最远的入射光束在出射位置距离光轴的垂直距离记为h。如图4所示,在等效透镜的另一侧放置样品9,此时样品面为观察面,观察面上光斑半径记为r,在光轴方向上观察面距离像方主面的距离为d。通过物像关系以及相似性关系,可以联立方程组,得到r与u,θ,d以及f的关系,从而说明本方法的基本原理。
方程组为:
Figure BDA0003080013330000091
需要说明的是,该方程组中所有变量均为正。联立以上方程可得
Figure BDA0003080013330000092
显然当观察面和显微物镜8位置一定时,d和f都是一定的,那么在光源发出的光线不超过透镜直径的情况下,r与u、θ成正比,即样品表面反射光束形成的光斑面积大小与u、θ正相关。
本方法使用两个光源进行投射,通过调节两光源距离显微物镜8的垂直距离和两光源各自发散角,使得到的光斑大小各不相同。在确定的观测位置(即图4中d一定时),可以利用面阵探测器一14和面阵探测器二15分别获得两个面积不同的光斑,即一个观测位置对应唯一一对面积组合。那么通过构造面积查找表,建立d与两个面积的对应关系。当实际观察时,只需要将实际拍摄到的两个光斑的面积与查找表中的面积进行比较可以确定样品9与显微物镜8之间的距离d。
此外,需要说明的是,如果是单光源进行投射,在单光源的像点两侧放置观测面,可能出现两个光斑面积相同的位置,如图5所示。图5中,如果观察面1,观察面2距离像面的距离a1,a2相等,那么显然观察面1上光斑的半径r1,与观察面2上光斑的半径r2相同,这导致两观察面上光斑面积相等,从而无法据此判断当前观测面的位置。因此引入两个物距不同的光源进行投射。
以上是本发明基本原理,下面首先要计算两个光斑面积,具体过程为:
1)面阵探测器一14探测到的光斑图像记为I1,I1的每个像素大小记为I1(x,y)。面阵探测器二15探测到的光斑图像记为I2。I2的每个像素大小记为I2(x,y)。
2)设定阈值T(可以根据光照强度,相机性质等实际情况进行设置),将I1中的每个像素进行公式1的操作,提取图像中光斑区域,得到处理后的图像记为I′1,I′1中的每个像素大小记为I′1(x,y)。用相同的方法对I2进行处理得到I′2
该步骤提取了图像I1,I2中具有显著亮度的区域,即光斑区域。那么经过(1)式处理,所得到的I′1,I′2代表了I1,I2中的光斑位置。
Figure BDA0003080013330000101
3)分别对I′1和I′2图像中像素值求和,分别得到I1和I2中光斑面积S1和S2
由当前显微物镜和样品之间的距离,计算得到对应的两个光斑面积,获得距离与光斑面积之间映射关系。
然后调整显微物镜8位置,获取不同距离与光斑面积之间映射关系,生成面积查找表生成。具体过程为:
1)设显微物镜8连接电机,可以使显微物镜8相对样品9在竖直方向移动。设电机单次移动距离为Δdd应为显微镜的景深。
2)假设显微物镜8距离样品9的垂直距离为d。距离d可变动的最大值与最小值分别标记为dmax和dmin
3)利用Δd对d进行分割,形成N个深度位置。其中第n个深度位置标记为d(n),n取值范围为1~N,d(n)的表达式如公式2所示。
d(n)=dmin+(n-1)Δd (2)
4)将显微物镜8移动到每个d(n)处,记录对应的I1和I2中光斑面积,记为
Figure BDA0003080013330000102
Figure BDA0003080013330000103
由距离与光斑面积之间映射关系进而形成面积查找表,如表1所示。
表1面积查找表
Figure BDA0003080013330000111
在制作面积查找表时,显微物镜8会移动到对焦位置,即d=v。
步骤S3,获取待测环境中显微成像系统中光斑图像,根据面积查找表获得此光斑面积对应的距离,根据此距离计算实际离焦距离,以便移动显微物镜从而实现自动对焦。
1)在实际测量中,对于一个距离未知的待测环境。首先获取面阵探测器一14和面阵探测器二15的光斑图像,通过公式1获取其光斑面积,分别记为S1D和S2D
2)将S1D与面积查找表中(如表1所示)所有
Figure BDA0003080013330000112
相比较,查找表中与面积S1D大小最接近的两个值。
具体比较的方法是将S1D
Figure BDA0003080013330000113
做差(如式3所示),遍历表中所有的
Figure BDA0003080013330000114
获得N个
Figure BDA0003080013330000115
记为
Figure BDA0003080013330000116
Figure BDA0003080013330000117
中最小的两个值的上标分别标记为n1和n2
Figure BDA0003080013330000118
差值最小表明所拍摄光斑的面积和查找表中序号为n1和n2对应光斑面积最为接近,那么n1和n2所对应的距离中有一个就是显微物镜8和样品9之间的距离。为了进行筛选,进行以下3)步骤。
3)将S2D与n1和n2位置对应的
Figure BDA0003080013330000121
做差,公式如式4所示,得到差值
Figure BDA0003080013330000122
Figure BDA0003080013330000123
Figure BDA0003080013330000124
Figure BDA0003080013330000125
中较小数值的上标所对应深度d(n),作为第一次估计的显微物镜8和样品9之间距离d,记为dstep1
Figure BDA0003080013330000126
例如,如果
Figure BDA0003080013330000127
Figure BDA0003080013330000128
为第一次估计的显微物镜8和样品9之间距离,记为dstep1
以上2)-3)的做法是先用S1D与所有
Figure BDA0003080013330000129
比较,再用S2D进行筛选。为了确保获取深度的正确性,在4)-5)步骤将S2D与所有
Figure BDA00030800133300001210
进行比较,再用S1D进行筛选。最后通过比较2)-3)以及4)-5)各自获取的深度,判断估计深度的正确性。
4)将S2D与查找表中所有
Figure BDA00030800133300001211
做差,公式如式5所示,遍历所有的
Figure BDA00030800133300001212
获得N个
Figure BDA00030800133300001213
记为
Figure BDA00030800133300001214
Figure BDA00030800133300001215
中最小的两个值的上标分别标记为n′1和n′2
Figure BDA00030800133300001216
5)将S1D与n′1和n′2位置对应的
Figure BDA00030800133300001217
做差,公式如式6所示,得到
Figure BDA00030800133300001218
Figure BDA00030800133300001219
Figure BDA00030800133300001220
Figure BDA00030800133300001221
中较小数值的上标所对应深度d(n),作为第二次估计的显微物镜8和样品9之间距离,记为dstep2
Figure BDA00030800133300001222
例如,如果
Figure BDA00030800133300001223
Figure BDA00030800133300001224
为第二次估计的显微物镜8和样品9之间距离,即为dstep2
6)如果第一次估计和第二次估计的显微物镜8和样品9之间距离满足以下条件:|dstep1-dstep2|≤σT,则表示两者交叉检验吻合,说明得出的距离正确,此时任取dstep1或dstep2中的一个数值作为当前显微物镜8和样品9之间距离,标记为dc。其中,σT为预设的距离误差阈值。
如果不满足以上条件,则表示估计距离有误。此时,须将显微物镜8向远离样品9的方向移动2Δd后再重复以上1-5步,再进行判断直到估计的距离满足|dstep1-dstep2|≤σT这一条件。
该步骤中,移动2Δd的原因是调整目前显微物镜8的位置,使得移动后得面阵探测器一14和面阵探测器二15所拍摄图像显著区别于当前位置图像。最后得出显微物镜8和样品9之间距离标记为dc
7)此时,离焦距离为:Δdefocus=dc-v。
8)根据离焦距离调整显微物镜相对样品位置,实现显微物镜的自动对焦。
当Δdefocus>0时,控制电机将显微物镜8向靠近样品9的方向移动|Δdefocus|;当Δdefocus<0时,控制电机将显微物镜8向远离样品9的方向移动|Δdefocus|;当Δdefocus=0时,表示当前状态已经对焦。
当显微成像系统自动对焦之后,利用显微镜可以观察到清晰的样品9的图像。
本发明
实施例2
基于与实施例1方法同样的发明构思,本发明的一种基于多图像面积关系的显微成像离焦状态获取装置,包括:
光斑采集模块,用于基于显微成像系统,将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个光斑图像,并计算两个光斑面积,获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系;
查找表生成模块,用于调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表;
距离估算模块,用于获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;
对焦调整模块,用于根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。
本发明装置中各模块的具体实现方案参见实施例1方法中各步骤过程。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变型,这些改进和变型也应视为本发明的保护范围。

Claims (8)

1.一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,包括以下过程:
基于显微成像系统,将两束激光光束经显微物镜投射到样品表面后接收样品表面反射的两束激光光束形成的两个光斑图像,并计算两个光斑面积,获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系;
通过调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表;
获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;
根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。
2.根据权利要求1所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,所述显微成像系统包括:激光器一、激光器二、分束棱镜一、分束棱镜二、分束棱镜三、显微物镜、透镜、分束棱镜四、带通滤波片一、带通滤波片二、面阵探测器一、面阵探测器二、场镜和面阵探测器三;
激光器一发出的激光光束一,激光器二发出的激光光束二,激光光束一和激光光束二两束光的光轴互相垂直且波长不同;激光光束一和激光光束二经过分束棱镜一合束后,激光光束一和激光光束二两束光光轴重合;合束之后,激光光束一、激光光束二经过分束棱镜二,照射到分束棱镜三上,经过分束棱镜三反射后之后,激光光束一、激光光束二进入显微物镜然后投射到样品的表面上;
激光光束一、激光光束二被样品表面反射后,被显微物镜收集,然后经过分束棱镜三和分束棱镜二的反射至透镜处,经透镜汇聚后到达分束棱镜四,激光光束一、激光光束二经分束棱镜四后,被分为透射部分和反射部分,这两部分均包含激光光束一和激光光束二;反射部分照射到带通滤波片一上,激光光束一被滤除,激光光束二被面阵探测器一接收;透射部分照射到带通滤波片二上,激光光束二被吸收,激光光束一被面阵探测器二接收;面阵探测器一和面阵探测器二上获得两个面积不同的光斑图像;
显微物镜、场镜以及面阵探测器三构成了显微镜,用于显示样品的图像。
3.根据权利要求1所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,所述光斑图像中光斑面积的计算过程为:
光斑图像记为I1,I1的每个像素大小记为I1(x,y);
设定阈值T,将I1中的每个像素进行公式1的操作,提取图像中光斑区域,得到处理后的图像记为I′1,I′1中的每个像素大小记为I′1(x,y);
Figure FDA0003080013320000021
对I′1图像中像素值求和,得到光斑图像I1中光斑面积S1
4.根据权利要求1所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,所述调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表,具体过程为:
1)设显微物镜能够相对样品在竖直方向移动,设单次移动距离为Δdd应为显微镜的景深;
2)假设显微物镜距离样品的垂直距离为d,距离d可变动的最大值与最小值分别标记为dmax和dmin
3)利用Δd对d进行分割,形成N个深度位置;其中第n个深度位置标记为d(n),n取值范围为1~N,d(n)的表达式如公式2所示:
d(n)=dmin+(n-1)Δd (2)
4)将显微物镜移动到每个d(n)处,记录对应的光斑图像I1和I2中光斑面积,记为
Figure FDA0003080013320000031
Figure FDA0003080013320000032
由距离与光斑面积之间映射关系进而形成面积查找表。
5.根据权利要求4所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,所述获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离,包括:
1)在实际测量中,对于一个距离未知的待测环境,首先获取光斑图像I1和I2的面积,分别记为S1D和S2D
2)将S1D与面积查找表中所有
Figure FDA0003080013320000033
相比较,查找表中与面积S1D大小最接近的两个值;
具体比较的方法是将S1D
Figure FDA0003080013320000034
做差,如式3所示,遍历表中所有的
Figure FDA0003080013320000035
获得N个
Figure FDA0003080013320000036
记为
Figure FDA0003080013320000037
Figure FDA0003080013320000038
中最小的两个值的上标分别标记为n1和n2
Figure FDA0003080013320000039
3)将S2D与n1和n2位置对应的
Figure FDA00030800133200000310
做差,如式4所示,得到差值
Figure FDA00030800133200000311
Figure FDA00030800133200000312
Figure FDA00030800133200000313
Figure FDA00030800133200000314
中较小数值的上标所对应深度d(n),作为第一次估计的显微物镜和样品之间距离d,记为dstep1
Figure FDA00030800133200000315
4)将S2D与查找表中所有
Figure FDA00030800133200000316
做差,如式5所示,遍历所有的
Figure FDA00030800133200000317
获得N个
Figure FDA0003080013320000041
记为
Figure FDA0003080013320000042
Figure FDA0003080013320000043
中最小的两个值的上标分别标记为n′1和n′2
Figure FDA0003080013320000044
5)将S1D与n′1和n′2位置对应的
Figure FDA0003080013320000045
做差,如式6所示,得到
Figure FDA0003080013320000046
Figure FDA0003080013320000047
Figure FDA0003080013320000048
Figure FDA0003080013320000049
中较小数值的上标所对应深度d(n),作为第二次估计的显微物镜和样品之间距离,记为dstep2
Figure FDA00030800133200000410
6)如果第一次估计和第二次估计的显微物镜和样品之间距离满足以下条件:|dstep1-dstep2|≤σT,其中,σT为预设的距离误差阈值;则表示两者交叉检验吻合,说明得出的距离正确,此时任取dstep1或dstep2中的一个数值作为当前显微物镜和样品之间距离,标记为dc
6.根据权利要求5所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,还包括:
如果第一次估计和第二次估计的显微物镜和样品之间距离不满足|dstep1-dstep2|≤σT条件,则表示估计距离有误;此时,须将显微物镜向远离样品的方向移动2Δd后再重复以上过程,直到估计的距离满足条件。
7.根据权利要求1所述的一种基于多图像面积关系的显微成像系统自动对焦方法,其特征是,所述基于离焦距离移动显微物镜相对样品位置,包括:
当离焦距离Δdefocus>0时,将显微物镜向靠近样品的方向移动|Δdefocus|;
当离焦距离Δdefocus<0时,将显微物镜向远离样品的方向移动|Δdefocus|;
当离焦距离Δdefocus=0时,表示当前状态已经对焦。
8.一种基于多图像面积关系的显微成像离焦状态获取装置,其特征是,包括:
光斑采集模块,用于基于显微成像系统,将两束激光光束经显微物镜投射到样品表面后并接收样品表面反射的两束激光光束形成的两个面积不同的光斑图像,并计算两个光斑面积,获得显微成像系统中显微物镜和样品之间的距离与两个光斑面积之间对应关系;
查找表生成模块,通过调整显微物镜和样品之间的距离,计算得到对应的两个光斑面积,由不同距离与光斑面积之间映射关系形成面积查找表;
距离估算模块,用于获取待测环境中光斑图像,根据面积查找表获得此光斑面积对应的显微物镜与样品之间距离;
对焦调整模块,用于根据此距离计算得到离焦距离,基于此离焦距离移动显微物镜相对样品位置,从而实现显微成像系统的自动对焦。
CN202110563916.8A 2021-05-24 2021-05-24 基于多图像面积关系的显微成像系统自动对焦方法及装置 Active CN113467067B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110563916.8A CN113467067B (zh) 2021-05-24 2021-05-24 基于多图像面积关系的显微成像系统自动对焦方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110563916.8A CN113467067B (zh) 2021-05-24 2021-05-24 基于多图像面积关系的显微成像系统自动对焦方法及装置

Publications (2)

Publication Number Publication Date
CN113467067A true CN113467067A (zh) 2021-10-01
CN113467067B CN113467067B (zh) 2022-07-01

Family

ID=77871221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110563916.8A Active CN113467067B (zh) 2021-05-24 2021-05-24 基于多图像面积关系的显微成像系统自动对焦方法及装置

Country Status (1)

Country Link
CN (1) CN113467067B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578507A (zh) * 2022-02-18 2022-06-03 电子科技大学 一种实时激光自动聚焦装置及方法
CN114994896A (zh) * 2022-06-08 2022-09-02 合肥埃科光电科技股份有限公司 用于微纳台阶样品的显微镜自动对焦系统及其对焦方法
CN115877391A (zh) * 2023-01-31 2023-03-31 宜科(天津)电子有限公司 一种检测物体距离的数据处理系统
CN117908219A (zh) * 2024-03-06 2024-04-19 东莞市沃德普自动化科技有限公司 一种对焦模组、自动对焦显微成像系统及方法
CN118614863A (zh) * 2024-08-09 2024-09-10 万灵帮桥医疗器械(广州)有限责任公司 裂隙灯设备的虹膜对焦方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102840964A (zh) * 2012-08-27 2012-12-26 中国科学院长春光学精密机械与物理研究所 大口径、长焦距平行光管焦点实时监测系统
US20170023409A1 (en) * 2014-03-05 2017-01-26 Hitachi High-Technologies Corporation Microspectroscopy device
CN107037031A (zh) * 2017-05-23 2017-08-11 北京理工大学 反射式差动共焦cars显微光谱测试方法及装置
CN107621356A (zh) * 2017-10-31 2018-01-23 中国科学院苏州生物医学工程技术研究所 一种显微镜焦点偏移测量设备
CN107884388A (zh) * 2017-12-13 2018-04-06 奥谱天成(厦门)光电有限公司 一种快速自动对焦的显微拉曼光谱仪及其使用方法
CN109975820A (zh) * 2019-02-25 2019-07-05 南京理工大学 基于Linnik型干涉显微镜的同步偏振相移检焦系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102840964A (zh) * 2012-08-27 2012-12-26 中国科学院长春光学精密机械与物理研究所 大口径、长焦距平行光管焦点实时监测系统
US20170023409A1 (en) * 2014-03-05 2017-01-26 Hitachi High-Technologies Corporation Microspectroscopy device
CN107037031A (zh) * 2017-05-23 2017-08-11 北京理工大学 反射式差动共焦cars显微光谱测试方法及装置
CN107621356A (zh) * 2017-10-31 2018-01-23 中国科学院苏州生物医学工程技术研究所 一种显微镜焦点偏移测量设备
CN107884388A (zh) * 2017-12-13 2018-04-06 奥谱天成(厦门)光电有限公司 一种快速自动对焦的显微拉曼光谱仪及其使用方法
CN109975820A (zh) * 2019-02-25 2019-07-05 南京理工大学 基于Linnik型干涉显微镜的同步偏振相移检焦系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114578507A (zh) * 2022-02-18 2022-06-03 电子科技大学 一种实时激光自动聚焦装置及方法
CN114994896A (zh) * 2022-06-08 2022-09-02 合肥埃科光电科技股份有限公司 用于微纳台阶样品的显微镜自动对焦系统及其对焦方法
CN114994896B (zh) * 2022-06-08 2024-05-10 合肥埃科光电科技股份有限公司 用于微纳台阶样品的显微镜自动对焦系统及其对焦方法
CN115877391A (zh) * 2023-01-31 2023-03-31 宜科(天津)电子有限公司 一种检测物体距离的数据处理系统
CN117908219A (zh) * 2024-03-06 2024-04-19 东莞市沃德普自动化科技有限公司 一种对焦模组、自动对焦显微成像系统及方法
CN118614863A (zh) * 2024-08-09 2024-09-10 万灵帮桥医疗器械(广州)有限责任公司 裂隙灯设备的虹膜对焦方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113467067B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN113467067B (zh) 基于多图像面积关系的显微成像系统自动对焦方法及装置
CN109975820B (zh) 基于Linnik型干涉显微镜的同步偏振相移检焦系统
CN108254853B (zh) 一种显微成像系统及其实时对焦方法
CN212206548U (zh) 光学镜头mtf测试装置
CN108646396B (zh) 自动对焦显微镜系统
CN102122055A (zh) 一种激光式自动对焦装置及其对焦方法
JP2016134412A (ja) 欠陥観察方法および装置
CN114578507A (zh) 一种实时激光自动聚焦装置及方法
WO2018188441A1 (zh) 成像方法、装置及系统
JP2008180630A (ja) 流体計測システム、流体計測方法およびコンピュータプログラム
TWI607253B (zh) 自動對焦系統、方法及影像檢測儀器
WO2019114760A1 (zh) 成像方法、装置及系统
CN108693624B (zh) 成像方法、装置及系统
JP4974060B2 (ja) 創薬スクリーニング方法
KR100926019B1 (ko) 결함 입자 측정 장치 및 결함 입자 측정 방법
CN110441311B (zh) 用于多物面成像的多轴多焦镜头
JP2016015371A (ja) 厚さ測定装置、厚さ測定方法及び露光装置
WO2010137637A1 (ja) 形状測定装置、形状測定方法、および、製造方法
JP2013088570A (ja) 顕微鏡装置
CN114199884A (zh) 一种晶圆背检设备及其检测方法
CN113433682A (zh) 基于偏振差分图像的显微成像自动对焦装置及其方法
KR101882696B1 (ko) 초점가변 검경으로 구성된 자동검사시스템의 객담 도말시료 검사 방법
CN108693113B (zh) 成像方法、装置及系统
CN112291469A (zh) 成像方法、装置及系统
CN118158524A (zh) 成像方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant