CN114509869B - 一种基于多半径环形照明的显微成像装置及反卷积方法 - Google Patents

一种基于多半径环形照明的显微成像装置及反卷积方法 Download PDF

Info

Publication number
CN114509869B
CN114509869B CN202111680927.0A CN202111680927A CN114509869B CN 114509869 B CN114509869 B CN 114509869B CN 202111680927 A CN202111680927 A CN 202111680927A CN 114509869 B CN114509869 B CN 114509869B
Authority
CN
China
Prior art keywords
annular led
illumination
annular
radius
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111680927.0A
Other languages
English (en)
Other versions
CN114509869A (zh
Inventor
张晓磊
左超
陈钱
胡岩
束业峰
孙佳嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202111680927.0A priority Critical patent/CN114509869B/zh
Publication of CN114509869A publication Critical patent/CN114509869A/zh
Application granted granted Critical
Publication of CN114509869B publication Critical patent/CN114509869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种基于多半径环形照明的显微成像装置及反卷积方法。与传统明场显微镜采用的科勒照明方式不同，本系统使用若干个不同半径的、等宽度的环形LED作为照明光源，通过依次点亮不同的环形LED，对不同空间频率成分的物体信息进行分次采集。在完成数据的采集后，根据系统参数计算出不同环形LED照明下系统的强度传递函数，对图像进行最小二乘反卷积重构。相比传统明场显微镜，本发明所能达到的实际分辨率更高，对噪声的鲁棒性更强。

Description

一种基于多半径环形照明的显微成像装置及反卷积方法
技术领域
本发明涉及光学显微成像技术，具体涉及一种基于多半径环形照明的显微成像装置及反卷积方法。
背景技术
自从Leeuwenhoek于三百多年前第一次使用手工自制显微镜观察细胞以来，人类在显微成像领域陆续开展了诸多探索。其中，以看的更清楚、更精细为目的的高分辨率显微成像是其中重要的一环。1873年，Abbe在德国显微镜学报上发表了显微镜衍射成像理论，对显微镜的成像过程做了科学的阐释，首次提出了显微镜的光学分辨率是有限的，受到物镜数值的限制(张祥翔.现代显微成像技术综述[J].光学仪器,2015(6):550-560.)。
在传统科勒照明下的明场显微成像中，由于衍射光线无法全部通过物镜，所以物空间的一个点经显微镜成像后会映射成一个衍射斑，导致分辨率的降低。在这里，系统的光学分辨率的计算方法常常采用瑞利判据，它规定当一点的衍射极大与另一点的第一衍射极小相重合时，则刚好能分辨两点。(Katsumasa Fujita,Follow-up review:recentprogress in the development of super-resolution optical microscopy[J],Microscopy,Volume 65,Issue 4,August 2016,275–281)在瑞利判据下，显微镜的光学分辨率fR为：
综上所述，在照明光一定的情况下，显微镜的光学分辨率由物镜的数值孔径决定，所以要想对物体看的越精细，就需要越大数值孔径的物镜。然而瑞利判据下的光学分辨率截止频率只是人眼直接观察的分辨率极限，并不是光学成像系统的理论分辨率极限。光学系统的理论分辨率极限f(Chao Zuo,Transport of intensity equation:a tutorial[J],Optics and Lasers in Engineering,Volume 135,2020,106-187,)为：
其中，NAill为照明光源的数值孔径，当物镜数值孔径NAobj较小时，NAill通常与NAobj相等，此时光学系统的理论分辨率极限f为：
但是光学成像系统往往并不能达到其理论分辨率极限，原因是光学成像系统对信息的传递能力随着频率的升高而衰减，到截止频率附近衰减到0，会导致一定范围内的高频信息被淹没在噪声中。所以光学成像系统的实际分辨率难以达到理论分辨率极限的问题亟待解决。
对于这个问题，使用环形照明可以提升高频信息于低频信息的对比度，从而提升高频信息的信噪比。但是对于大数值孔径小景深的成像系统而言，若待测物体具有一定厚度，只使用一个环的环形照明会导致所成像的离焦，此时必须点亮所有方向的照明光才能保证所成像是聚焦的。所以这里我们提出了一种基于多半径环形照明的高分辨率显微成像装置及反卷积方法，可以解决上述问题。
发明内容
本发明公开了一种基于多半径环形照明的显微成像装置及反卷积方法，用于解决传统科勒照明下，因截止频率处信噪比过低而无法达到衍射极限分辨率的问题。
本发明的技术方案如下：一种基于多半径环形照明的显微成像装置，包括多半径环形LED组、载物平台、显微物镜、成像筒镜及相机；当点亮多半径环形LED组中的第i个环形LED单元，所发出的照明光照射在置于载物平台的待测样品上，透过待测样品的一部分衍射光被显微物镜收集，再由成像筒镜汇聚成像于相机上的光敏面上，由相机将形成的光强图拍摄下来。
优选的，多半径环形LED组由若干个不同半径、等宽度的环形LED单元组成，环的个数典型取值范围为[2,8]，当所有环形LED单元同时点亮时照明效果等同于科勒照明。
优选的，环形LED单元的共同圆心位于成像系统的光轴上，关于光轴中心对称，且环形LED单元所在的平面与成像系统的光轴相互垂直。
优选的，所述的多半径环形LED组中序号为n,位于最外侧的环形LED单元外径为Rn2,多半径环形LED组圆心距离待测样品的高度为h，显微物镜的数值孔径为NAobj，且满足
一种反卷积方法，步骤如下：
步骤一.原始图像采集，使用多半径环形LED组作为成像系统的照明光源，依次点亮不同半径的环形LED单元，由相机在同步触发信号下采集一系列不同照明角度下的图像序列Ii(x,y)，其中，I是光强图像，(x,y)是空域坐标，i是光强图像所对应的环形LED单元序号；
步骤二.计算出每个环形LED单元内外径所对应的照明光空间频率大小ρi1,ρi2；
步骤三.计算每个环形LED单元所对应的相干强度传递函数ATFi；
步骤四.对步骤一中拍到的图像序列Ii(x,y)进行最小二乘反卷积，首先对拍到的强度图序列Ii(x,y)做傅里叶变换得到强度图频谱序列(u,v)是频域坐标，然后进行最小二乘反卷积获得重构图像Ideconv(x,y)。
优选的，步骤二中，每个环形LED单元内外径所对应的照明光空间频率大小ρi1,ρi2的计算公式为：
其中，ri1为第i个环形LED单元的内径，ri2为第i个环形LED单元的外径，h为环形LED单元圆心距离待测样品的高度，λ为照明光波长。
优选的，步骤三中，每个环形LED单元所对应的相干强度传递函数ATFi的计算公式为：
ATFi＝Pobj*Pillumination
其中*为卷积符号。Pobj为物镜的相干传递函数，计算公式为：
Pillumination为第i个环形LED单元的照明函数，计算公式为：
其中ρ是极坐标系表示下频域的极径分量，circ为圆函数。
优选的，步骤四中，最小二乘反卷积公式为：
其中，Ideconv(x,y)为反卷积后图像的强度图，F-1傅里叶逆变换，β是正则化参数，典型值的取值范围为[0,0.1]。
本发明与现有技术相比，具有如下优点：(1)使用多半径环形LED组拍摄待测物体的光强图序列，可以对非相干照明中的不同空间频率成分进行高信噪比，高动态范围的信息采集，具有成像分辨率更高，成像效果更好的特点。(2)基于系统实际参数，对不同环形LED单元的光强传递函数进行了计算，然后基于最小二乘法对所拍到的光强图序列进行反卷积重构，所得结果更精确，对噪声的鲁棒性更强。
附图说明
图1是本发明实施例中基于多半径环形照明的高分辨率显微成像装置的示意图。
图2是本发明实施例中反卷积方法的流程图。
图3是本发明实施例中照明模式和传递函数对比图(当使用环的数量为4时，4个环的照明模式图)。
图4是本发明实施例中照明模式和传递函数对比图(合成强度传递函数和传统非相干照明强度传递函数对比)。
图5是传统非相干照明下的成像结果。
图6是本发明实施例的成像结果。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本实施例为一种基于多半径环形照明的高分辨率显微成像装置及反卷积方法，所依赖的实际硬件平台是基于多半径环形照明的显微镜。
实施例中，如图1所示，一种基于多半径环形照明的高分辨率显微成像装置，包括多半径环形LED组1、载物平台3、显微物镜4、成像筒镜5、相机6。其中，当点亮多半径环形LED组1中的第i个环形LED单元8，所发出的照明光照射在置于载物平台3的待测样品2上，透过待测样品2的一部分衍射光被显微物镜4收集，再由成像筒镜5汇聚成像于相机6上的光敏面上，由相机6将形成的光强图拍摄下来。多半径环形LED组1由若干个不同半径、等宽度的环形LED单元8组成，当所有环形LED单元8同时点亮时照明效果等同于科勒照明。环形LED单元8的共同圆心需位于成像系统的光轴上，关于光轴中心对称，且环形LED单元8所在的平面需与成像系统的光轴相互垂直。半径环形LED组1中序号为n,位于最外侧的环形LED单元8外径为Rn2,多半径环形LED组1圆心距离待测样品2的高度为h，显微物镜4的数值孔径为NAobj，且必须满足
本实施例的基于多半径环形照明的高分辨率显微成像装置及反卷积方法包括以下四个步骤。
步骤一：原始图像采集，使用多半径环形LED组作为成像系统的照明光源，依次点亮不同半径的环形LED单元，由相机在同步触发信号下采集一系列不同照明角度下的图像序列Ii(x,y)。其中，I是光强图像，(x,y)是空域坐标，i是光强图像所对应的环形LED单元序号。
步骤二：计算出每个环形LED单元内外径所对应的照明光空间频率大小ρi1,ρi2。每个环形LED单元内外径所对应的照明光空间频率大小ρi1,ρi2的计算公式为：
其中，ri1为第i个环形LED单元的内径，ri2为第i个环形LED单元的外径，h为环形LED单元圆心距离待测样品的高度，λ为照明光波长。
步骤三：计算每个环形LED单元所对应的相干强度传递函数ATFi。每个环形LED单元所对应的相干强度传递函数ATFi的计算公式为：
ATFi＝Pobj*Pillumination
其中*为卷积符号。Pobj为物镜的相干传递函数，计算公式为：
Pillumination为第i个环形LED单元的照明函数，计算公式为：
其中ρ是极坐标系表示下频域的极径分量。
步骤四：对步骤一中拍到的图像序列Ii(x,y)进行最小二乘反卷积。首先对拍到的强度图序列Ii(x,y)做傅里叶变换得到强度图频谱序列(u,v)是频域坐标，然后进行最小二乘反卷积获得重构图像Ideconv(x,y)。最小二乘反卷积公式为：
其中，Ideconv(x,y)为反卷积后图像的强度图，F-1傅里叶逆变换，β是正则化参数，典型值为0.05。
图3、4是本实施例的照明模式和传递函数对比图。图3是当使用环的数量为4时，4个环的照明模式图。图4是本实施例的合成强度传递函数和传统非相干照明强度传递函数对比。可以看到本实施例的合成强度传递函数在中高频区域的信息传递能力高于传统非相干成像的传递函数。
图5、6是本实施例与传统方法的效果对比图。图5是传统非相干照明下的成像结果。图6是本实施例的成像结果。可以看到实施例成像的分辨率与效果要好于传统方法。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.一种基于多半径环形照明的显微成像装置，其特征在于，包括多半径环形LED组（1）、载物平台（3）、显微物镜（4）、成像筒镜（5）及相机（6）；多半径环形LED组（1）位于同一平面；当点亮多半径环形LED组（1）中的第i个环形LED单元（8），所发出的照明光照射在置于载物平台（3）的待测样品（2）上，透过待测样品（2）的一部分衍射光被显微物镜（4）收集，再由成像筒镜（5）汇聚成像于相机（6）上的光敏面上，由相机（6）将形成的光强图拍摄下来。
2.根据权利要求1所述的一种基于多半径环形照明的显微成像装置，其特征在于，多半径环形LED组（1）由若干个不同半径、等宽度的环形LED单元（8）组成，环的个数典型取值范围为[2,8]，当所有环形LED单元（8）同时点亮时照明效果等同于科勒照明。
3.根据权利要求1所述的一种基于多半径环形照明的显微成像装置，其特征在于，环形LED单元（8）的共同圆心位于成像系统的光轴上，关于光轴中心对称，且环形LED单元（8）所在的平面与成像系统的光轴相互垂直。
4.根据权利要求1所述的一种基于多半径环形照明的显微成像装置，其特征在于，所述的多半径环形LED组（1）中序号为n,位于最外侧的环形LED单元（8）外径为,多半径环形LED组（1）圆心距离待测样品（2）的高度为h，显微物镜（4）的数值孔径为/>，且满足
。
5.一种基于权利要求1~4中任一项所述的基于多半径环形照明的显微成像装置的反卷积方法，其特征在于，步骤如下：
步骤一. 原始图像采集，使用多半径环形LED组作为成像系统的照明光源，依次点亮不同半径的环形LED单元，由相机在同步触发信号下采集一系列不同照明角度下的图像序列，其中，/>是光强图像，/>是空域坐标，/>是光强图像所对应的环形LED单元序号；
步骤二. 计算出每个环形LED单元内外径所对应的照明光空间频率大小，计算公式为：
其中，为第i个环形LED单元的内径，/>为第i个环形LED单元的外径，/>为环形LED单元圆心距离待测样品的高度，/>为照明光波长；
步骤三. 计算每个环形LED单元所对应的相干强度传递函数，计算公式为：
其中为卷积符号，/>为物镜的相干传递函数，计算公式为：/>，/>为第i个环形LED单元的照明函数，计算公式为：/>，/>是极坐标系表示下频域的极径分量，circ为圆函数；
步骤四. 对步骤一中拍到的图像序列进行最小二乘反卷积，首先对拍到的强度图序列/>做傅里叶变换得到强度图频谱序列/>，/>是频域坐标，然后进行最小二乘反卷积获得重构图像/>，最小二乘反卷积公式为：
其中，为反卷积后图像的强度图，/>傅里叶逆变换，/>是正则化参数，典型值的取值范围为[0,0.1]。
CN202111680927.0A 2021-12-31 2021-12-31 一种基于多半径环形照明的显微成像装置及反卷积方法 Active CN114509869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111680927.0A CN114509869B (zh) 2021-12-31 2021-12-31 一种基于多半径环形照明的显微成像装置及反卷积方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111680927.0A CN114509869B (zh) 2021-12-31 2021-12-31 一种基于多半径环形照明的显微成像装置及反卷积方法

Publications (2)

Publication Number Publication Date
CN114509869A CN114509869A (zh) 2022-05-17
CN114509869B true CN114509869B (zh) 2024-04-26

Family

ID=81548493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111680927.0A Active CN114509869B (zh) 2021-12-31 2021-12-31 一种基于多半径环形照明的显微成像装置及反卷积方法

Country Status (1)

Country Link
CN (1) CN114509869B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531529A (zh) * 2014-04-04 2016-04-27 生物辐射实验室股份有限公司 环状照明结构
CN106768396A (zh) * 2016-12-23 2017-05-31 电子科技大学 一种基于微分相衬成像还原定量相位图像的方法及系统
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN109580457A (zh) * 2018-11-01 2019-04-05 南京理工大学 基于led阵列编码照明的三维衍射层析显微成像方法
CN111123495A (zh) * 2020-01-18 2020-05-08 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
WO2021053374A1 (en) * 2019-09-19 2021-03-25 Siemens Healthcare Diagnostics Inc. Ptychographic imaging system and method for generating images
CN113160212A (zh) * 2021-05-11 2021-07-23 杭州电子科技大学 基于led阵列位置误差快速校正的傅里叶叠层成像系统及方法
CN113759535A (zh) * 2021-07-26 2021-12-07 南京理工大学智能计算成像研究院有限公司 一种基于多角度照明反卷积的高分辨率显微成像方法
CN113820843A (zh) * 2021-07-22 2021-12-21 西安电子科技大学 基于环形led照明的高分辨定量相位显微系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016187591A1 (en) * 2015-05-21 2016-11-24 California Institute Of Technology Laser-based fourier ptychographic imaging systems and methods

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105531529A (zh) * 2014-04-04 2016-04-27 生物辐射实验室股份有限公司 环状照明结构
CN106768396A (zh) * 2016-12-23 2017-05-31 电子科技大学 一种基于微分相衬成像还原定量相位图像的方法及系统
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN109580457A (zh) * 2018-11-01 2019-04-05 南京理工大学 基于led阵列编码照明的三维衍射层析显微成像方法
WO2021053374A1 (en) * 2019-09-19 2021-03-25 Siemens Healthcare Diagnostics Inc. Ptychographic imaging system and method for generating images
CN111123495A (zh) * 2020-01-18 2020-05-08 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
CN113160212A (zh) * 2021-05-11 2021-07-23 杭州电子科技大学 基于led阵列位置误差快速校正的傅里叶叠层成像系统及方法
CN113820843A (zh) * 2021-07-22 2021-12-21 西安电子科技大学 基于环形led照明的高分辨定量相位显微系统
CN113759535A (zh) * 2021-07-26 2021-12-07 南京理工大学智能计算成像研究院有限公司 一种基于多角度照明反卷积的高分辨率显微成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
傅里叶叠层显微术的照明光强校正研究;杨佳琪;马骁;林锦新;钟金钢;;激光与光电子学进展(第03期);031101-1至031101-8页 *

Also Published As

Publication number Publication date
CN114509869A (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
US11555992B2 (en) Programmable annular led illumination-based high efficiency quantitative phase microscopy imaging method
US8019136B2 (en) Optical sectioning microscopy
US11106029B2 (en) Annular-irradiation high-resolution quantitative phase microimaging method using an annular illumination aperture
US20160048011A1 (en) Sample observation device and sample observation method
WO2014117079A1 (en) Depth of field 3d imaging slm microscope
CN111123495B (zh) 基于环形阵列光源照明的三维全内反射显微成像装置及方法
US9297990B2 (en) Confocal microscope
CN113759535B (zh) 一种基于多角度照明反卷积的高分辨率显微成像方法
CN108426538A (zh) 一种3d形貌检测系统及方法
CN108918465B (zh) 光学三维成像系统及光学三维成像方法
CN114509869B (zh) 一种基于多半径环形照明的显微成像装置及反卷积方法
CN111239992A (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
CN111667548B (zh) 一种多模式显微图像数值重建方法
Rychtarikova et al. Multifractality in imaging: Application of information entropy for observation of inner dynamics inside of an unlabeled living cell in bright-field microscopy
CN111239081B (zh) 基于环形阵列光源照明的超分辨率全内反射显微成像装置及方法
JPH02247605A (ja) レーザ走査蛍光顕微鏡
CN116430571A (zh) 多模态超分辨定量相位显微成像方法
CN117031684A (zh) 一种数字全息成像自动聚焦方法及装置
Kang et al. High-speed three-dimensional surface profile measurement with the HiLo optical imaging technique
US20220244516A1 (en) Microscope device and data generation method using microscope
US5835265A (en) Large numerical aperture imaging device
Markham et al. Parametric blind deconvolution of microscopic images: Further results
CN109141639B (zh) 基于傅里叶变换的干涉离焦像散斑转向判别方法
Hamed Design of a Cascaded Black–Linear Distribution (CBLD) in Circular aperture and its application on confocal laser scanning microscope (CLSM)
CN115713475B (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant