CN114488520B - 一种基于成像清晰度的显微镜像差校正装置 - Google Patents

一种基于成像清晰度的显微镜像差校正装置 Download PDF

Info

Publication number
CN114488520B
CN114488520B CN202111617209.9A CN202111617209A CN114488520B CN 114488520 B CN114488520 B CN 114488520B CN 202111617209 A CN202111617209 A CN 202111617209A CN 114488520 B CN114488520 B CN 114488520B
Authority
CN
China
Prior art keywords
imaging
microscope
wavefront corrector
function
definition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111617209.9A
Other languages
English (en)
Other versions
CN114488520A (zh
Inventor
周龙峰
任钢
赵琦
陈好
张�浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South West Institute of Technical Physics
Original Assignee
South West Institute of Technical Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South West Institute of Technical Physics filed Critical South West Institute of Technical Physics
Priority to CN202111617209.9A priority Critical patent/CN114488520B/zh
Publication of CN114488520A publication Critical patent/CN114488520A/zh
Application granted granted Critical
Publication of CN114488520B publication Critical patent/CN114488520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种基于成像清晰度的显微镜像差校正装置,包括光学显微镜、波前校正器、成像探测器、控制器、反射镜,建立显微镜像差实时监测闭环控制回路,其中光学显微镜包含物镜、目镜。波前校正器能够对显微镜系统光路波前相位进行调制,成像探测器能够对显微镜系统光学成像进行探测,控制器能够将成像探测器获取的图像信息进行清晰度计算并计算出波前校正器的校正参数,最终对波前校正器施加校正参数,实现对成像清晰度下降进行校正。本发明可以运用已有的光学显微镜系统,该系统只需增加波前校正器、反射镜,控制过程简单可行,能够提升显微镜光学系统的分辨率,具有实际应用的意义。

Description

一种基于成像清晰度的显微镜像差校正装置
技术领域
本发明属于光学系统技术领域,涉及一种闭环控制校正显微镜光学系统误差、样品折射率分布不均匀以及样品吸收的显微镜系统,特别涉及一种以波前校正器作为校正装置、成像探测器作为误差检测设备的像差校正显微镜。
背景技术
光学成像显微镜是科学研究不可或缺的工具,观测目标包含微小颗粒、金属或非金属材料表面结构、生物组织样本等。微小颗粒的观测包括对空气中不同尺度的悬浮颗粒以及烟尘颗粒等。金属或非金属材料表面观测能够对材料由于应力、碰撞等产生的表面结构变化进行直观判断,例如金相显微镜可应用于航空、机械制造等工业测量领域。生物组织样本观测包含生物体的骨髓、细胞组织、蛋白分子等进行活体观测,从而了解生物组织的活体实时变化情况。生物显微观测中往往需要通过荧光染料对生物样品中特定对象进行标记,通过激光照射荧光物质使其发射荧光进行荧光成像。目前,显微成像主要包含普通宽敞显微镜、共聚焦显微镜、多光子显微镜等。
对于颗粒或材料表面结构观测的光学成像显微镜,由于显微镜光学系统误差以及载物玻璃片折射率不均匀等因素的影响,会导致显微镜成像分辨率降低;对于生物成像的荧光显微镜,除了上述因素以外还包含由于生物组织折射率不均匀导致光线经过生物组织时产生像差以及散射和吸收等影响,最终导致光信号强度下降以及成像分辨率降低。
自适应光学(Adaptive Optics,AO)作为波前像差校正技术已经广泛应用于天文、人眼视网膜和激光器调制等领域。在光学显微镜成像领域,自适应光学技术也得到了一定程度的应用,其主要应用领域为生物组织像差校正。对于有波前探测的显微镜光学校正需要在生物组织中寻找合适的点光源或使用荧光微珠作为人工导星,通过波前探测器进行指定位置的波前探测,然后通过波前校正器进行波前畸变的校正。该方法需要找到合适的目标点光源或者人工添加导引星,增加了系统的复杂程度。与此同时,该方法也不适用于微小颗粒或材料表面的观测。无波前探测方法则无需进行波前探测,该方法以图像清晰度作为优化指标进行波前相位的优化搜索。该方法的优点是结构简单,无需增加系统复杂度。
本发明所涉及的基于成像清晰度的显微镜像差校正引入无波前探测自适应光学技术,以显微镜成像探测器采集图像数据作为波前校正评价指标,通过优化算法进行迭代校正。装置不需增加专门的波前探测设备,仅仅需要显微镜系统已有的探测器成像清晰度函数作为评价指标进行闭环迭代校正,所需结构简单,利于实际应用。
发明内容
(一)发明目的
本发明的目的是:克服现有技术的不足,提供一种基于成像清晰度的显微镜像差校正装置,利用该装置能够对系统误差以及样品折射率分布不均匀、样品吸收等进行实时校正,提高系统的成像清晰度。与此同时,该装置不增加系统复杂度,不影响显微镜的正常工作,既可用于普通样品的观测,也可用于活体生物组织的观测。该装置可用于多种类型的显微镜系统,所需设备简单,利于工程实施。
(二)技术方案
为了解决上述技术问题,本发明提供一种基于成像清晰度的显微镜像差校正装置,其包括光学显微镜、波前校正器、成像探测器、反射镜;观测样品放置于载玻片上,显微镜光源所发出的光线先后经过光学显微镜物镜、反射镜、波前校正器后进行分光,一路光线经过光学显微镜目镜后,通过人眼观测,另一路经过聚焦透镜后在成像探测器靶面成像。
其中,还包括控制器,连接成像探测器和波前校正器,对产品成像信息进行实时提取,并通过随机并行梯度下降算法计算出波前校正器各个控制单元的调制参数,将控制信号加载到波前校正器对波前相位信息进行调制,使光学系统像差得到校正。
其中,所述反射镜有多个,分别布置在物镜与波前校正器之间的光路上、以及波前校正器与聚焦透镜之间的光路上,用于实现光路转折。
其中,所述波前校正器采用变形镜或空间光调制器。
其中,所述显微镜为宽场光学显微镜、共聚焦显微镜、多光子显微镜中的任一种。
其中,所述控制器通过采集卡或网线获取产品成像信息,调制参数通过串口线或网线传输到波前校正器实现闭环控制。
其中,所述产品通过聚焦透镜在探测器靶面聚焦成像的特征信息反映在成像清晰度中,通过评价成像清晰度,对波前校正器进行相位调制。
其中,所述成像清晰度评价函数包括灰度变化函数、梯度评价函数、频谱评价函数、熵评价函数。
其中,所述成像清晰度评价函数分别用J1、J2、J3进行描述:
其中u满足:
J1为灰度方差,其中f(x,y)为探测区域每个像素点的光强,靶面共M·N个像素,u为所有光强的平均值,该指标表征成像灰度的变化程度,当图像清晰时,细节更加丰富,故灰度方差越大;
J2为灰度梯度模平方,公式中通过平方运算,当图像灰度梯度越大,对函数的贡献越大;同样,当图像清晰度提高时,灰度模平方越大;
J3为拉普拉斯函数,其中拉普拉斯算子对图像进行二阶微分运算如公式(3)所示;
以成像清晰度函数作为系统性能优化的评价指标,通过迭代收敛使清晰度函数达到极值,实现系统像差的校正。
其中,通过随机并行梯度下降算法、遗传算法、或模拟退火算法计算出波前校正器的调整参数,其中优化算法中的控制变量为波前校正器的控制参数,然后计算调整后成像图像的清晰度函数,当清晰度函数收敛到极值并趋于稳定或在设定的评价标准区间内则停止校正。
(三)有益效果
上述技术方案所提供的基于成像清晰度的显微镜像差校正装置,具有以下有益效果:
(1)本发明装置在闭环校正中无需进行常规波前探测即不增加额外的探测系统,解决了需要比较昂贵的波前探测仪器问题并且在显微镜工作过程中不明显增加系统复杂度。
(2)本发明利用显微镜成像清晰度作为系统像差校正的判断依据,通过已有的探测器获取图像信息并进行数据处理,能够充分利用光能量。
(3)本发明中图像数据的获取、优化算法的实现以及控制信号的发出均通过同一台计算机实现,提高了系统的集成化水平。
(4)本发明工作过程中能够对光学系统进行实时监测,通过对成像清晰度的评判,使校正过程具有客观性。
(5)本发明可用于普通宽场光学显微镜、共聚焦显微镜、多光子显微镜等显微镜系统。
(6)该装置在已有的显微镜系统上进行了简答改造,具有闭环流程客观有效、结构紧凑、容易实现的特点。
附图说明
图1为本发明装置结构示意图。
图2为显微镜系统基于成像清晰度的优化流程图。
具体实施方式
为使本发明的目的、内容和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
基于成像清晰度的显微镜像差校正装置如图1所示,该装置包括光学显微镜、波前校正器、成像探测器、控制器、反射镜。
首先,观测样品放置于载玻片上,显微镜光源所发出的光线先后经过显微镜物镜、反射镜、波前校正器后进行分光,一路光线经过目镜后,通过人眼观测,另一路经过聚焦透镜后在成像探测器靶面成像。人眼观测或探测器获取的样品成像信息主要包含显微镜光学系统误差、样品折射率不均匀以及样品吸收所导致的像差;样品通过聚焦透镜在探测器靶面聚焦成像的特征信息能够在成像的清晰度中反映。此时,利用数据采集系统对成像信息进行实时提取并通过随机并行梯度下降算法等优化算法计算出波前校正器各个控制单元的调制参数。最后,将控制信号加载到波前校正器对波前相位信息进行调制。通过一定次数的优化控制,最终使光学系统像差得到校正。
成像信息的特征能够反映系统像差特性。成像清晰度函数作为反映成像光斑形态的指标得到广泛的应用。基于成像清晰度的系统性能评价函数应该具有唯一性,当系统达到最佳状态时函数出现最大值或最小值。同时,函数与系统像差应具有单调性,当系统像差减小时,函数逐渐趋于极值。常用的图像清晰度评价函数包括灰度变化函数、梯度评价函数、频谱评价函数、熵评价函数等,下列公式1、2、3中为典型的图像清晰度评价函数,分别用J1、J2、J3进行描述。
其中u满足:
J1为灰度方差,其中f(x,y)为探测区域每个像素点的光强,靶面共M·N个像素,u为所有光强的平均值。该指标表征了成像灰度的变化程度,当图像清晰时,细节更加丰富,故灰度方差越大。
J2为灰度梯度模平方,公式中通过平方运算,当图像灰度梯度越大,对函数的贡献越大。同样,当图像清晰度提高时,灰度模平方越大。
J3为拉普拉斯函数,其中拉普拉斯算子对图像进行二阶微分运算如公式(3)所示。
本发明以成像清晰度函数作为系统性能优化的评价指标,通过迭代收敛使清晰度函数达到极值,实现系统像差的校正。根据所选取的清晰度评价函数的不同,优化过程可能向极大值或向极小值方向收敛。例如上述公式中的J1、J2、J3随着图像清晰度的提升评价函数计算值越大。在成像探测器获取光斑信息的过程中,不可避免带来噪声的影响,为了能够较准确的计算成像清晰度函数,在通过图像数据采集卡获取原始数据后需进行噪声处理。原始数据可以进行阈值处理,将每个像素点的峰值强度减去设定阈值,若减去阈值后小于0则自动将其设定为0。
基于成像清晰度的位置优化流程如图2所示。显微镜光学系统处于初始状态时,计算成像观测区域的清晰度函数。在此基础上,通过优化算法如随机并行梯度下降算法、遗传算法、模拟退火算法等计算出波前校正器的调整参数,其中优化算法中的控制变量为波前校正器的控制参数。例如空间光调制器,调制参数为各个液晶控制单元;对于变形镜则为各个驱动单元。然后计算调整后成像图像的清晰度函数,该过程即完成一次迭代。随着迭代的进行,清晰度函数逐渐收敛到极值,根据收敛条件最终对收敛是否结束进行判断。当清晰度函数收敛到极值并趋于稳定或在设定的评价标准区间内则停止校正。以双边扰动随机并行梯度下降算法(B-SPGD)为例,对校正过程进行说明。
算法基本思想为系统性能优化指标J即成像清晰度函数可认为是控制参量U的函数,即J=J(U),其中U=(u1,u2,u3,…un),共包括n个变量。在显微镜像差的校正中,U为波前校正器的校正单元,例如对于1920×1200个液晶控制单元的空间光调制器,则n=1920×1200。对波前校正器控制参量分别施加正扰动{+δu1,+δu2,…+δun}和负扰动{-δu1,-δu2,…-δun},分别得到扰动后的目标函数J+和J-,其中{δu1,δu2,…δun}中n个参量的正负满足伯努利分布。若定义δJ=J+-J-,则第k次迭代后控制变量Uk+1与前一次Uk满足公式(5)。
其中j表示第j个变量,共n个;r为增益系数,若J收敛到极小值,则r为正,反之为负。经过一定次数的迭代,性能指标J收敛到稳定极值即实现了显微镜系统像差的校正。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

Claims (6)

1.一种基于成像清晰度的显微镜像差校正装置,其特征在于,包括光学显微镜、波前校正器、成像探测器、反射镜;观测样品放置于载玻片上,显微镜光源所发出的光线先后经过光学显微镜物镜、反射镜、波前校正器后进行分光,一路光线经过光学显微镜目镜后,通过人眼观测,另一路经过聚焦透镜后在成像探测器靶面成像;
还包括:控制器,通过采集卡或网线获取产品成像信息,调制参数通过串口线或网线传输到波前校正器实现闭环控制;
所述产品通过聚焦透镜在探测器靶面聚焦成像的特征信息反映在成像清晰度中,通过评价成像清晰度,对波前校正器进行相位调制;
成像清晰度评价函数包括灰度变化函数、梯度评价函数、频谱评价函数、熵评价函数;
所述成像清晰度评价函数用J1、J2、J3进行描述:
其中u满足:
J1为灰度方差,其中f(x,y)为探测区域每个像素点的光强,靶面共M·N个像素,u为所有光强的平均值,该指标表征成像灰度的变化程度,当图像清晰时,细节更加丰富,故灰度方差越大;
J2为灰度梯度模平方,公式中通过平方运算,当图像灰度梯度越大,对函数的贡献越大;同样,当图像清晰度提高时,灰度梯度模平方越大;
J3为拉普拉斯函数,其中拉普拉斯算子对图像进行二阶微分运算如公式(3)所示;
以成像清晰度函数作为系统性能优化的评价指标,通过迭代收敛使清晰度函数达到极值,实现系统像差的校正。
2.如权利要求1所述的基于成像清晰度的显微镜像差校正装置,其特征在于,所述控制器连接成像探测器和波前校正器,对产品成像信息进行实时提取,并通过随机并行梯度下降算法计算出波前校正器各个控制单元的调制参数,将控制信号加载到波前校正器对波前相位信息进行调制,使光学系统像差得到校正。
3.如权利要求1所述的基于成像清晰度的显微镜像差校正装置,其特征在于,所述反射镜有多个,分别布置在物镜与波前校正器之间的光路上、以及波前校正器与聚焦透镜之间的光路上,用于实现光路转折。
4.如权利要求1所述的基于成像清晰度的显微镜像差校正装置,其特征在于,所述波前校正器采用变形镜或空间光调制器。
5.如权利要求1所述的基于成像清晰度的显微镜像差校正装置,其特征在于,所述光学显微镜为宽场光学显微镜、共聚焦显微镜、多光子显微镜中的任一种。
6.如权利要求1所述的基于成像清晰度的显微镜像差校正装置,其特征在于,通过随机并行梯度下降算法、遗传算法、或模拟退火算法计算出波前校正器的调整参数,其中优化算法中的控制变量为波前校正器的控制参数,然后计算调整后成像图像的清晰度函数,当清晰度函数收敛到极值并趋于稳定或在设定的评价标准区间内则停止校正。
CN202111617209.9A 2021-12-27 2021-12-27 一种基于成像清晰度的显微镜像差校正装置 Active CN114488520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111617209.9A CN114488520B (zh) 2021-12-27 2021-12-27 一种基于成像清晰度的显微镜像差校正装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111617209.9A CN114488520B (zh) 2021-12-27 2021-12-27 一种基于成像清晰度的显微镜像差校正装置

Publications (2)

Publication Number Publication Date
CN114488520A CN114488520A (zh) 2022-05-13
CN114488520B true CN114488520B (zh) 2024-04-23

Family

ID=81496634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111617209.9A Active CN114488520B (zh) 2021-12-27 2021-12-27 一种基于成像清晰度的显微镜像差校正装置

Country Status (1)

Country Link
CN (1) CN114488520B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115826218A (zh) * 2022-11-02 2023-03-21 北京大学 多光子显微镜主机及多光子显微镜系统
CN115835016B (zh) * 2022-11-16 2024-04-23 中国科学院新疆理化技术研究所 抗辐射摄像机开环式自动对焦方法、装置、设备及介质
CN117152014B (zh) * 2023-09-05 2024-05-28 珠海圣美生物诊断技术有限公司 针对多通道荧光显微镜的平场校正方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008292809A (ja) * 2007-05-25 2008-12-04 Olympus Corp 顕微鏡
CN108646407A (zh) * 2018-05-08 2018-10-12 宜宾学院 一种无波前感知自适应光学成像系统及其成像方法
CN111598834A (zh) * 2020-04-15 2020-08-28 于兴虎 一种显微操作自动聚焦方法及系统
CN112001904A (zh) * 2020-08-21 2020-11-27 珀乐(北京)信息科技有限公司 一种遥感图像质量清晰度综合评价模块及评价方法
CN113141446A (zh) * 2020-01-20 2021-07-20 深圳华大智造科技有限公司 像差处理方法、计算机装置及可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755397B2 (en) * 2018-04-18 2020-08-25 International Business Machines Corporation Automated focusing of a microscope of an optical inspection system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008292809A (ja) * 2007-05-25 2008-12-04 Olympus Corp 顕微鏡
CN108646407A (zh) * 2018-05-08 2018-10-12 宜宾学院 一种无波前感知自适应光学成像系统及其成像方法
CN113141446A (zh) * 2020-01-20 2021-07-20 深圳华大智造科技有限公司 像差处理方法、计算机装置及可读存储介质
CN111598834A (zh) * 2020-04-15 2020-08-28 于兴虎 一种显微操作自动聚焦方法及系统
CN112001904A (zh) * 2020-08-21 2020-11-27 珀乐(北京)信息科技有限公司 一种遥感图像质量清晰度综合评价模块及评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于并行波前校正算法的大视场深穿透光学显微成像;赵琪,等;《中国激光》;20181231;第45卷(第12期);全文 *

Also Published As

Publication number Publication date
CN114488520A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
CN114488520B (zh) 一种基于成像清晰度的显微镜像差校正装置
CN110346340B (zh) 基于波前传感器的机器学习快速像差测量系统与方法
Ji Adaptive optical fluorescence microscopy
CN106461925B9 (zh) 用于具有自适应光学系统的拉曼散射光学显微镜的系统和方法
CN103048779B (zh) 用于确定并校正显微镜成像光路中球差的装置和方法
Wright et al. Exploration of the optimisation algorithms used in the implementation of adaptive optics in confocal and multiphoton microscopy
US9201008B2 (en) Method and system for obtaining an extended-depth-of-field volumetric image using laser scanning imaging
US8237797B2 (en) Three-dimensional image obtaining device and processing apparatus using the same
EP0929826B1 (de) Mikroskop mit adaptiver optik
US7733564B2 (en) Applications of adaptive optics in microscopy
JP6996048B2 (ja) 広視野高分解能顕微鏡
EP3417331A1 (en) Method and system for improving lateral resolution in optical scanning microscopy
JP2020535473A (ja) リアルタイムオートフォーカス合焦アルゴリズム
CN110309910B (zh) 基于机器学习的最优化自适应显微成像方法及装置
CN109001904A (zh) 一种基于动态lut液晶波前校正器的校正方法
Jesacher et al. Sensorless adaptive optics for microscopy
JP6127818B2 (ja) 補償光学素子の設定方法及び顕微鏡
CN115356839A (zh) 贝塞尔双光子显微镜照明光路生物组织像差探测方法
CN111399211A (zh) 一种基于变形次镜的太阳大视场高分辨力成像望远镜
JP3951021B2 (ja) 補償光学用参照点光源の作成法
Bahadur et al. Robust autofocusing in microscopy using particle swarm optimization
CN111474698B (zh) 一种双光源光学显微成像系统及图像处理方法
CN113219643A (zh) 一种基于非相干成像边缘模糊的光学显微镜对焦稳定方法及系统
Li et al. Experimental Study on Wavefront Distortion Correction of 40-Elements Adaptive Optical System Based on SPGD Algorithm
US20240168272A1 (en) Method and device for microscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant