CN110567959A - 一种自适应像差校正图像扫描显微成像方法与装置 - Google Patents
一种自适应像差校正图像扫描显微成像方法与装置 Download PDFInfo
- Publication number
- CN110567959A CN110567959A CN201910874087.8A CN201910874087A CN110567959A CN 110567959 A CN110567959 A CN 110567959A CN 201910874087 A CN201910874087 A CN 201910874087A CN 110567959 A CN110567959 A CN 110567959A
- Authority
- CN
- China
- Prior art keywords
- aberration correction
- aberration
- scanning
- evaluation function
- adaptive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/01—Arrangements or apparatus for facilitating the optical investigation
- G01N2021/0106—General arrangement of respective parts
- G01N2021/0112—Apparatus in one mechanical, optical or electronic block
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2201/00—Features of devices classified in G01N21/00
- G01N2201/12—Circuits of general importance; Signal processing
- G01N2201/127—Calibration; base line adjustment; drift compensation
Landscapes
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及一种自适应像差校正图像扫描显微成像方法与装置,属于光学显微测量领域;本发明在图像扫描显微成像方法中引入像差校正系统进行自适应像差校正。在校正前直接利用sCOMS进行全像素预成像,并利用全像素图像形成自适应像差校正评价函数。在校正过程中实时测试图像评价函数,并利用计算机控制像差校正系统进行自适应像差校正。这一过程无须扫描,快速、简单。利用像差校正过程中的评价函数变化重新设定像素重分配过程的参数,优化像素重分配过程。利用残余像差大小来设定激光扫描显微过程中,sCMOS相机有效像元的个数。该方法可有效校正图像扫描显微成像系统的像差,提升像素重分配过程的有效性,最大限度实现图像扫描成像分辨率的提升。
Description
技术领域
本发明属于光学显微测量领域,主要涉及一种用于微型器件、表面形貌和生物样品中三维微细结构测量的超精密非接触测量方法。
背景技术
传统光学显微成像技术的分辨率受到衍射极限的限制。针对这一问题,科学家们提出了许多显微成像方法以提升成像分辨率。共焦扫描显微采用点探测,通过聚焦光斑扫描样品,并采用光学针孔进行切趾,有效提升了成像分辨率。但由于针孔的存在,也带来了成像信噪比降低的问题。结构光照明技术通过对照明光进行调制,可实现分辨率提升。但是结构光显微成像系统结构复杂,且图像后续处理数据量大。受激辐射损耗(STED)显微技术可将显微成像分辨率提升到几十纳米,但该技术需要对样品进行荧光染色,影响生物样品活性。
图像扫描显微是近几年快速发展起来的一种光学显微方法。该方法将传统扫描显微成像方法中的点探测替代为阵列探测,并经过后续信号处理、像素重新分配等技术将传统扫描显微成像方法的分辨率提升了近两倍。该方法在保证分辨率提升的同时,还保持了良好的信噪比。
在图像扫描显微成像方法中,像素重新分配这一技术至关重要,是分辨率提升的关键步骤。选定像素所探测到光强分布,直接决定最后重构的图像。但是,当利用图像扫描显微成像方法对样品进行深度测量时,由于折射率失配,从而影响像素重分配的效果,降低图像扫描显微成像分辨率。
发明内容
针对上述技术问题,本发明提出一种自适应像差校正图像扫描显微成像方法与装置,其创新在于:在图像扫描显微成像方法中引入像差校正系统进行自适应像差校正。在校正前直接利用sCOMS进行全像素预成像,并利用全像素图像形成自适应像差校正评价函数。在校正过程中实时测试图像评价函数,并利用计算机控制像差校正系统进行自适应像差校正。这一过程无须扫描,快速、简单。利用像差校正过程中的评价函数变化重新设定像素重分配过程的参数,优化像素重分配过程。该方法可有效校正图像扫描显微成像系统的像差,提升像素重分配过程的有效性,最大限度实现图像扫描成像分辨率的提升。
本发明的目的是这样实现的:
一种自适应像差校正图像扫描显微成像装置,所述装置包括:激光器、准直扩束系统、第一分束器、像差校正系统、二维扫描振镜、扫描透镜、管镜、宽场照明光源、第二分束器、物镜、样品、三维位移台、探测透镜、sCOMS相机、计算机控制系统。
其中,所述激光器发出的激光经过准直扩束系统后由第一分束器反射进入像差校正系统;通过计算机连接像差校正系统对入射光场的波面进行相位调制;经调制后的激光依次经过二维扫描振镜、扫描透镜、管镜,透过第二分束器后由物镜聚焦后对样品进行点探测;样品放置于三维位移台上;携带样品信息的反射光由物镜收集,沿原光路返回透过第一分束器,由探测透镜成像于sCMOS相机成像面;宽场照明光源通过第二分束器反射对样品进行宽场照明;完整成像过程由计算机控制系统进行控制。
进一步地,所述的宽场照明光源可以是白光光源或者单色光源。
进一步地,所述的像差校正系统包括空间光调制器和可变形反射镜。
一种自适应像差校正图像扫描显微成像方法,包括以下步骤:
步骤一:开启宽场照明光源照明样品,设置sCMOS相机对样品进行全像素成像。根据图像计算像差评价函数;
步骤二:根据评价函数,利用像差校正系统进行自适应像差校正。在校正过程中,sCMOS相机实时成像,并计算评价函数反馈给计算机。计算机根据评价函数控制像差校正系统进行自适应像差校正;
步骤三:通过二维扫描振镜来控制激光扫描样品,设定sCOMS特定像素采集信号。sCOMS有效像元数量根据像差校正过程的评价函数来确定;
步骤四:对于每一个扫描位置,计算机同步控制sCOMS均采集一次信号;
步骤五:对每个扫描位置采集到的信号求和;对于所有信号根据扫描位置进行像素重分配,重构出最终图像。
所述成像方法,是利用像差校正过程中的评价函数变化重新设定像素重分配过程中的参数阈值,优化像素重分配过程。
进一步地,所述评价函数为sCMOS相机图像的峰值强度或图像锐度。
进一步地,所述像素重分配过程中的参数阈值设定方法为,像差越大,参数阈值设定越小。
所述成像方法,是通过计算最终自适应像差校正后的评价函数来设定激光扫描显微过程中sCMOS相机有效像元的个数。
进一步地,sCOMS有效像元数量确定方法为若评价函数显示经过校正后的残余像差较小,则选择较少的有效像元数量;若评价函数显示经过校正后的残余像差较大,则选择较多的有效像元数量。
本发明的有益效果在于,由于在本发明的图像扫描成像方法中,通过在成像路径中引入像差校正系统,对波前进行了相位调制,从而实现了像差的实时校正。且通过sCMOS相机预成像,并由预成像结果计算评价函数,反馈到计算机,从而进一步控制像差校正系统,实现自适应像差校正。该方法提升了图像扫描显微成像的对比度和分辨率。
附图说明
图1是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置光路示意图。
图2是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置实现流程图。
图3是本发明所述的一种自适应像差校正图像扫描显微成像方法与装置sCMOS相机有效像元分布示意图。
图1中:1-激光器、2-准直扩束系统、3-第一分束器、4-相位型像差校正系统、5-二维扫描振镜、6-扫描透镜、7-管镜、8-宽场照明光源、9-第二分束器、10-物镜、11-样品、12-三维位移台、13-探测透镜、14-sCOMS相机、15-计算机控制系统。
具体实施方式
以下结合附图对本发明的实施实例进行详细的描述。
一种自适应像差校正图像扫描显微成像方法与装置实施例的示意图如图1所示。激光器1发出的激光经过整形扩束系统2整形扩束后由第一分束器3反射进入像差校正系统4。通过计算机控制像差校正系统对入射光场的波面进行相位调制。经调制后的激光依次经过二维扫描振镜5、扫描透镜6、管镜7,透过第二分束器9后由物镜10聚焦后对样品11进行点探测。通过三维位移台12的移动,实现三维测量。携带样品信息的反射光依然由物镜10收集,去扫描化后透过第一分束器3,由探测透镜13成像于sCMOS相机14成像面。宽场照明光源8搭配sCMOS相机14在获得亮场图像的同时,可以在激光扫描前进行sCMOS相机全像素预成像,根据预成像结果计算评价函数,进行自适应像差校正,且定位样品中目标成像区域。
本实施例中,实现流程如图2所示:
步骤一:开启宽场照明光源照明样品,设置sCMOS相机对样品进行全像素成像。根据图像计算像差评价函数。
步骤二:根据评价函数,利用像差校正系统进行自适应像差校正。在上述校正过程中,sCMOS相机实时成像,并计算评价函数反馈给计算机系统。计算机系统根据评价函数控制像差校正系统进行自适应像差校正。
步骤三:使激光扫描样品,设定sCOMS特定像素采集信号。有效像元数量根据像差校正过程的评价函数来确定。
步骤四:对于每一个扫描位置,计算机同步控制sCOMS均采集一次信号。
步骤五:对每个扫描位置采集到的信号求和;对于所有信号根据扫描位置进行像素重分配,重构出最终图像。像素重分配的参数阈值根据像差校正过程的评价函数来进行优化。
本实施例中,参数阈值设定方法为,像差越大,参数阈值设定越小。
本实施例中,sCMOS相机有效像元分布示意图如图3所示。有效像元分布根据残余像差大小进行优化。若评价函数显示经过校正后的残余像差较小,则选择较少的有效像元数量;若评价函数显示经过校正后的残余像差较大,则选择较多的有效像元数量。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效装置或等效方法变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种自适应像差校正图像扫描显微成像装置,其特征在于,所述装置包括:激光器、准直扩束系统、第一分束器、像差校正系统、二维扫描振镜、扫描透镜、管镜、宽场照明光源、第二分束器、物镜、样品、三维位移台、探测透镜、sCOMS相机、计算机控制系统;
其中,所述激光器发出的激光经过准直扩束系统后由第一分束器反射进入像差校正系统;通过计算机连接像差校正系统对入射光场的波面进行相位调制;经调制后的激光依次经过二维扫描振镜、扫描透镜、管镜,透过第二分束器后由物镜聚焦后对样品进行点探测;样品放置于三维位移台上;携带样品信息的反射光由物镜收集,沿原光路返回透过第一分束器,由探测透镜成像于sCMOS相机成像面;宽场照明光源通过第二分束器反射对样品进行宽场照明;完整成像过程由计算机控制系统进行控制。
2.根据权利要求1所述的自适应像差校正图像扫描显微成像装置,其特征在于,所述的宽场照明光源可以是白光光源或者单色光源。
3.根据权利要求1所述的自适应像差校正图像扫描显微成像装置,其特征在于,所述的像差校正系统包括以下至少任一:空间光调制器和可变形反射镜。
4.一种自适应像差校正图像扫描显微成像方法,其特征在于,所述方法基于权利要求1-3任一项所述的自适应像差校正图像扫描显微成像装置,所述方法包括以下步骤:
步骤一:使所述宽场照明光源照明样品,使sCMOS相机对样品进行全像素宽场预成像;所述sCMOS相机根据图像计算像差评价函数;
步骤二:根据评价函数,利用像差校正系统进行自适应像差校正,在所述自适应像差校正过程中,所述sCMOS相机实时成像,并计算评价函数实时反馈给计算机控制系统;计算机根据评价函数控制像差校正系统进行自适应像差校正;
步骤三:通过二维扫描振镜来控制激光扫描样品,使sCOMS相机特定像素采集信号;其中,sCOMS相机有效像元数量根据像差校正过程的评价函数来确定;
步骤四:对于每一个扫描位置,计算机控制系统同步控制sCOMS相机均采集一次信号;
步骤五:对每个扫描位置采集到的信号求和;对于所有信号根据扫描位置进行像素重分配,重构出最终图像。
5.根据权利要求4所述的方法,其特征在于,所述评价函数为sCMOS相机图像的峰值强度或图像锐度。
6.根据权利要求4或5所述的方法,其特征在于,利用像差校正过程中的评价函数变化重新设定像素重分配过程中的参数阈值,优化像素重分配过程。
7.根据权利要求6所述的方法,其特征在于,像素重分配过程中参数阈值设定包括:像差越大,参数阈值设定值越小。
8.根据权利要求4至7任一项所述的方法,其特征在于,通过计算最终自适应像差校正后的评价函数来设定激光扫描显微过程中sCMOS相机有效像元的个数。
9.根据权利要求5所述的方法,其特征在于,所述sCOMS相机有效像元数量确定包括:若评价函数显示经过校正后的残余像差较小,则选择较少的有效像元数量;若评价函数显示经过校正后的残余像差较大,则选择较多的有效像元数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910874087.8A CN110567959B (zh) | 2019-09-17 | 2019-09-17 | 一种自适应像差校正图像扫描显微成像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910874087.8A CN110567959B (zh) | 2019-09-17 | 2019-09-17 | 一种自适应像差校正图像扫描显微成像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110567959A true CN110567959A (zh) | 2019-12-13 |
CN110567959B CN110567959B (zh) | 2022-05-17 |
Family
ID=68780381
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910874087.8A Active CN110567959B (zh) | 2019-09-17 | 2019-09-17 | 一种自适应像差校正图像扫描显微成像方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110567959B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111208635A (zh) * | 2020-02-26 | 2020-05-29 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像扫描显微成像系统及方法 |
CN111580271A (zh) * | 2020-06-24 | 2020-08-25 | 哈工大机器人(中山)无人装备与人工智能研究院 | 自适应像差校正方法及基于该方法的光片显微成像装置 |
CN113176278A (zh) * | 2021-03-19 | 2021-07-27 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种面板缺陷检测设备及面板缺陷检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060012871A1 (en) * | 2004-07-16 | 2006-01-19 | Joerg-Michael Funk | Light scanning electron microscope and use |
CN101788483A (zh) * | 2010-02-23 | 2010-07-28 | 中国人民解放军第四军医大学 | 一种基于激光共聚焦扫描显微镜系统的外周神经系统氯成像方法 |
CN102008289A (zh) * | 2010-12-08 | 2011-04-13 | 苏州六六宏医疗器械有限公司 | 基于自动寻优算法的像差补偿眼底显微镜 |
CN103065917A (zh) * | 2011-10-19 | 2013-04-24 | Fei公司 | 用于调整配备有像差校正器的stem的方法 |
US20150077844A1 (en) * | 2013-09-19 | 2015-03-19 | Carl-Zeiss Microscopy GmbH | Laser scanning microscope and method for correcting imaging errors particularly in high-resolution scanning microscopy |
US20160363538A1 (en) * | 2014-02-27 | 2016-12-15 | Horiba Jobin Yvon Sas | Optical microscopy system and method for raman scattering with adaptive optics |
-
2019
- 2019-09-17 CN CN201910874087.8A patent/CN110567959B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060012871A1 (en) * | 2004-07-16 | 2006-01-19 | Joerg-Michael Funk | Light scanning electron microscope and use |
CN101788483A (zh) * | 2010-02-23 | 2010-07-28 | 中国人民解放军第四军医大学 | 一种基于激光共聚焦扫描显微镜系统的外周神经系统氯成像方法 |
CN102008289A (zh) * | 2010-12-08 | 2011-04-13 | 苏州六六宏医疗器械有限公司 | 基于自动寻优算法的像差补偿眼底显微镜 |
CN103065917A (zh) * | 2011-10-19 | 2013-04-24 | Fei公司 | 用于调整配备有像差校正器的stem的方法 |
US20150077844A1 (en) * | 2013-09-19 | 2015-03-19 | Carl-Zeiss Microscopy GmbH | Laser scanning microscope and method for correcting imaging errors particularly in high-resolution scanning microscopy |
US20160363538A1 (en) * | 2014-02-27 | 2016-12-15 | Horiba Jobin Yvon Sas | Optical microscopy system and method for raman scattering with adaptive optics |
Non-Patent Citations (1)
Title |
---|
刘辰光: ""基于中介层散射原理的共焦显微测量技术及理论研究"", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111208635A (zh) * | 2020-02-26 | 2020-05-29 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像扫描显微成像系统及方法 |
CN111208635B (zh) * | 2020-02-26 | 2022-09-27 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种图像扫描显微成像系统及方法 |
CN111580271A (zh) * | 2020-06-24 | 2020-08-25 | 哈工大机器人(中山)无人装备与人工智能研究院 | 自适应像差校正方法及基于该方法的光片显微成像装置 |
CN113176278A (zh) * | 2021-03-19 | 2021-07-27 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种面板缺陷检测设备及面板缺陷检测方法 |
CN113176278B (zh) * | 2021-03-19 | 2022-07-22 | 哈工大机器人(中山)无人装备与人工智能研究院 | 一种面板缺陷检测设备及面板缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110567959B (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922789B2 (en) | Super-resolution lattice light field microscopic imaging system and method | |
CN110567959B (zh) | 一种自适应像差校正图像扫描显微成像方法 | |
US11454781B2 (en) | Real-time autofocus focusing algorithm | |
US11482021B2 (en) | Adaptive sensing based on depth | |
JP2016534389A (ja) | 開口走査フーリエタイコグラフィ撮像 | |
KR20220092999A (ko) | 디지털 스캐닝 장치 | |
US10955650B2 (en) | Two pass macro image | |
AU2018352821A1 (en) | Image reconstruction method, device and microscopic imaging device | |
CN116183568B (zh) | 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置 | |
KR20210051683A (ko) | 수차를 야기하는 샘플 내의 타겟 오브젝트를 이미징하기 위한 초점 스캔 방식의 이미징 장치 | |
US10776955B2 (en) | Method for the analysis of spatial and temporal information of samples by means of optical microscopy | |
TWI500963B (zh) | An image capturing device and method | |
US11356593B2 (en) | Methods and systems for single frame autofocusing based on color- multiplexed illumination | |
CN115839935A (zh) | 基于共振扫描稀疏结构光照明的层析显微成像装置及方法 | |
US11422349B2 (en) | Dual processor image processing | |
CN117631249B (zh) | 线扫共聚焦扫描光场显微成像装置及方法 | |
US20240053594A1 (en) | Method and Device for Microscopy | |
CN114813564A (zh) | 一种高保真的超分辨显微成像方法和系统 | |
CN117571707A (zh) | 一种基于二次谐波偏振成像的纤维取向超分辨解析方法 | |
CN116124778A (zh) | 一种差动共焦轴向有效测量区域判定装置、方法及系统 | |
CN116539576A (zh) | 寻址扫描超分辨率显微成像方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |