CN112505044B - 一种宽场照明共焦显微成像系统及方法 - Google Patents

一种宽场照明共焦显微成像系统及方法 Download PDF

Info

Publication number
CN112505044B
CN112505044B CN202011342856.9A CN202011342856A CN112505044B CN 112505044 B CN112505044 B CN 112505044B CN 202011342856 A CN202011342856 A CN 202011342856A CN 112505044 B CN112505044 B CN 112505044B
Authority
CN
China
Prior art keywords
camera
coordinate
sample
image
photosensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011342856.9A
Other languages
English (en)
Other versions
CN112505044A (zh
Inventor
钟金钢
彭军政
姚曼虹
周维帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202011342856.9A priority Critical patent/CN112505044B/zh
Publication of CN112505044A publication Critical patent/CN112505044A/zh
Application granted granted Critical
Publication of CN112505044B publication Critical patent/CN112505044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种宽场照明共焦显微成像系统及方法，过程如下：计算机控制照明光源并通过反射器、空间光调制器，产生空间分布不同的结构光，再通过分光器、第一管镜和物镜照明样品；样品被物镜、分光器和第二管镜成像到相机光敏面被记录，存储计算机内；利用单像素成像算法重建不同的弥散斑图像；根据相机的光敏像元和空间光调制器的调制单元点之间的物像共轭坐标对应关系，提取弥散斑图像中共轭物点灰度值，获得一层样品的共焦显微图像；移动样品，重复上述步骤可获得样品不同层的共焦显微图像。本发明采用全场照明方式，相对传统点扫描荧光共焦显微镜，无需三维扫描，可以有效减弱光漂白和光毒性，有望在生物医学等领域获得应用。

Description

一种宽场照明共焦显微成像系统及方法
技术领域
本发明涉及光学显微成像技术领域，具体涉及一种宽场照明共焦显微成像系统及方法。
背景技术
激光共焦显微成像技术因其具有低背景噪声、优秀的层析能力等特点，目前应用于许多领域，特别地，荧光共焦显微成像技术是生物医学领域最常用的显微成像技术之一，在形态学、免疫学、肿瘤学、病毒学、胚胎学等生物医学领域有着极为广泛的应用。
大部分共焦显微成像术都采用单点扫描成像方式(M.Minsky,U.S.Patent#3013467,Microscopy Apparatus(1957).)，它通过使用聚焦的激光束扫描样品，并在探测器前放置一个针孔，能够有效滤除焦平面以外的杂散光，从而仅获得样品在物镜焦平面的光学切片图像。由于采用点扫描成像方式，这种方法需要三维点扫描机械装置，每扫描样品上的一个点就测量一次，一幅M×N像素的图像需测量M×N次，影响成像速度。为了提高成像速度，需降低光束照明每个点的时间，为了获得有用的信噪比信号，就需要提高照明激光的强度，但高强度的激光照明到样品上一个点上，会对样品产生影响，例如容易发生荧光漂白，对生物样品具有光毒性。
为了解决传统点扫描共焦显微镜存在的成像速度慢问题，国内外研究学者陆续提出了许多其他共焦显微成像方法，如转盘共焦显微镜(D.Toomre and J.B.Pawley,Disk-scanning confocal microscopy.In Handbook of biological confocal microscopy(pp.221-238).Springer,Boston,MA(2006))，它通过尼科夫(Nipkow)转盘上的针孔阵列产生多个点光源同时照明样品；亦有研究微透镜阵列(Tiziani H J,Uhde H M.“Three-dimensional analysis by a microlens-array confocal arrangement,”Appl.Opt.,33(4),567-572(1994).)产生多个点光源同时照明样品，然后利用面阵相机采集信号。与单点扫描方式相比，这些共焦显微镜一次测量能够获得样品多个点的信息，原理上成像速度更快，但离焦平面发出的杂散光会通过相邻的针孔被探测器接收，引起串扰，进而降低成像系统的空间分辨率。同时这种多点扫描方式仍然存在荧光漂白和光毒性问题。
总之，现有的点扫描共焦显微镜，存在以下缺陷：1)需要三维点扫描精密机械装置进行逐点测量，测量次数大，影响成像速度；2)单点照明光强度较高，进行荧光共焦成像时容易发生光漂白、对生物样品容易产生光毒性。
发明内容
本发明的目的是为了解决现有点扫描共焦显微镜存在的缺陷：测量次数大、成像速度慢，容易发生光漂白、光毒性问题，提供一种宽场照明共焦显微成像系统及方法。
本发明的第一个目的可以通过采取如下技术方案达到：
一种宽场照明共焦显微成像系统，所述成像系统包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11，所述照明光源1发出的均匀光束经反射器2后照射到空间光调制器3上，形成空间分布不均匀的结构光，上述结构光依次通过第一管镜4、分光器5和物镜6照明固定于载物台8上的样品7；照明光和样品7相互作用后，从样品7发射出的光依次通过物镜6、分光器5和第二管镜9到达相机10的光敏面，相机10拍摄图像并存储到相连的计算机11内；
其中，所述空间光调制器3的调制面设置在第一管镜4的前焦面，所述相机10的光敏面设置在第二管镜9的后焦面，所述样品7位于物镜6的焦平面；
所述第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3中调制单元成像到物镜6的焦平面，成像放大倍数为β1；所述物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：
Figure GDA0003606366870000031
其中，Δc为相机10光敏像元的尺寸，Δs为空间光调制器3中调制单元的尺寸。
进一步地，所述分光器5包含一个激发滤光片51、一个发射滤光片52和一个二向色分光镜50，所述激发滤光片51放置在第一管镜4和二向色分光镜50之间，所述发射滤光片52放置在第二管镜9和二向色分光镜50之间；当照明光源1为一窄带光源时，激发滤光片51可去除。
进一步地，所述空间光调制器3中调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，所述空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。
进一步地，所述载物台8包含一个能够沿物镜6光轴Z方向平移的平移机构。
本发明的第二个目的可以通过采取如下技术方案达到：
一种宽场照明共焦显微成像系统的成像方法，所述成像方法包括以下步骤：
S1、计算机11生成一系列不同的图案：P1、P2、…、Pi、…、PL，每个图案的大小为Ms×Ns像素，依次加载到相连的空间光调制器3；照明光源1发出的均匀光束经反射器2照射到空间光调制器3，然后由空间光调制器3调制生成一系列空间分布不同的结构光：
Figure GDA0003606366870000041
Figure GDA0003606366870000042
上述不同的结构光又依次通过第一管镜4、分光器5和物镜6照明固定于载物台8上的样品7；结构光和样品7相互作用后，样品7发射出的光束通过物镜6、分光器5和第二管镜9，成像到相机10的光敏面，其中i＝1,…,L，Ms×Ns表示图案由Ms行和Ns列像素组成，L、Ms和Ns为整数，(ms,ns)为空间光调制器3的调制单元坐标，ms＝1,…,Ms，ns＝1,…,Ns为整数；
S2、利用相机10依次拍摄经上述不同结构光照明固定于载物台8上的样品7后形成的图像：I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc)，每幅图像的大小为Mc×Nc像素，并存储到计算机11内，每幅图像Ii(mc,nc)对应一个结构光
Figure GDA0003606366870000043
其中Mc×Nc表示相机10的光敏面由Mc行和Nc列像元组成，Mc和Nc为整数，(mc,nc)为相机10光敏面上像元的坐标，mc＝1,…,Mc，nc＝1,…,Nc为整数；
S3、将相机10的每个光敏像元作为一个单像素探测器，从相机10拍摄获得的图像：I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc)中，提取具有相同像素坐标的光敏像元记录的光强值，组成一个一维光强序列，Mc×Nc个光敏像元组成Mc×Nc个一维光强序列；根据每个光敏像元记录的一维光强序列，采用单像素成像图像重建方法，重建一幅样品7的弥散斑图像，Mc×Nc个像元共重建获得Mc×Nc幅弥散斑图像：
Figure GDA0003606366870000044
Figure GDA0003606366870000045
其中j＝1,…,mc×nc,…,Ld,Ld＝Mc×Nc；
S4、根据相机10的光敏像元和空间光调制器3中调制单元之间的物像共轭对应的坐标关系：
Figure GDA0003606366870000046
在空间光调制器3上找到与相机10光敏面上坐标为(mc,nc)的光敏像元共轭的调制单元坐标(xsc,ysc)；然后再以相机10光敏面上坐标为(mc,nc)的光敏像元作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，作为与该相机10光敏面上坐标为(mc,nc)的光敏像元共轭的物点所成的像的灰度值；采用相同的方法，获得与相机10其他光敏像元共轭的物点所成的像的灰度值，将上述灰度值按照光敏像元的像素坐标排列，即获得样品7中处于物镜6焦面层的共焦显微图像，其中，(xsc,ysc)为空间光调制器3上与相机10光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元坐标，xsc和ysc均为实数；
S5、通过载物台8沿z方向移动样品7，使得物镜6对样品7不同层对焦，重复上述步骤S1-步骤S4，获得样品7不同层的共焦显微图像并存储在计算机11中。
进一步地，所述步骤S1中计算机11生成的一系列不同的图案：P1、P2、…、Pi、…、PL，该图案：P1、P2、…、Pi、…、PL为傅里叶变换基底图案、哈达玛变换基底图案或随机分布图案中的任意一种。
进一步地，所述步骤S1中计算机11生成的一系列不同的图案：P1、P2、…、Pi、…、PL，其中，每个图案Pi由u×v个大小相等、图案相同的子图Pi s组成，每个子图Pi s的像素数为
Figure GDA0003606366870000051
图案个数L小于或等于
Figure GDA0003606366870000052
其中u和v为整数。
进一步地，所述步骤S4中相机10的光敏像元和空间光调制器3的调制单元之间的物像共轭对应的坐标关系：
Figure GDA0003606366870000053
由如下方法确定：
S41、计算机11同时控制空间光调制器3的q个离散的调制单元，结合照明光源1生成q个离散的点光源，照明一个均匀发光的平面样品，该平面样品放置在物镜6的焦面，然后用相机10拍摄得到一幅具有q个离散的弥散斑图像；
S42、提取该弥散斑图像中的每个弥散斑的中心坐标；
S43、根据空间光调制器3上q个离散的调制单元的坐标和相机10上q个弥散斑的中心坐标，确定空间光调制器3调制单元和相机10光敏像元之间的坐标映射变换关系；
S44、根据上述坐标映射变换关系确定空间光调制器3上与相机10光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元的坐标(xsc,ysc)，其中，q≥3为整数。
进一步地，所述步骤S4中相机10的光敏像元和空间光调制器3的调制单元之间的物像共轭对应的坐标关系：
Figure GDA0003606366870000061
由如下方法确定：
将弥散斑图像中灰度值最大的坐标，作为空间光调制器3上与相机10光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元的坐标(xsc,ysc)。
进一步地，所述步骤S4中以相机10光敏面上坐标为(mc,nc)的光敏像元作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，当坐标(xsc,ysc)为非整数坐标时，先通过数值拟合获得该坐标点的灰度值，再提取该坐标点(xsc,ysc)的灰度值。
图1是宽场照明共焦显微成像系统的结构示意图，图2是图1的等效光路示意图，图2中f0为物镜6的焦距，ft为第一管镜4和第二管镜9的焦距。图2中，空间光调制器3上坐标为(xsc,ysc)的点S发出的光线经第一管镜4和物镜6聚焦到样品7内的O点；样品7上O点发出的光经物镜6和第二管镜9成像到相机10上的C点。S点和O点是一对物像共轭点，O点和C点也是一对物像共轭点，那么，空间光调制器3上的点S和相机10上的点C形成物像共轭点。
当一宽场光束照明到样品7上，物镜6焦平面上的O点发出的光波将在相机10光敏面形成一个光斑，光斑中心位于共轭像点C，也就是光斑中心部分将被C点所在光敏像元探测，光斑其它部分落在C点四周的其它光敏像元，形成非共轭物点噪声；同样，O点附近的物点(C点的非共轭点)在相机10光敏面形成的光斑，也有部分落在C点所在光敏像元，形成非共轭物点噪声。共焦成像技术的目的就是通过减弱这些非共轭物点噪声以提高成像质量。传统的点扫描共焦成像技术，是通过扫描物点和探测小孔中间的物像共轭关系减弱这些非共轭物点噪声。
本发明提出的成像方法，在宽场照明下可以减弱这些非共轭物点噪声。成像原理是利用单像素成像方法，生成一系列不同的结构光照明样品7，相机10同时拍摄样品7的图像，相机10每个光敏像元将获得一系列不同的光强值，每个光强值包含了来自样品7中多个物点发出的光。根据每个光敏像元记录的一系列光强值，利用单像素成像算法重建得到一幅样品7的弥散斑图像，这幅图像按物点的位置坐标的分布给出了相机像元记录的从样品7中不同物点发出的光。因此，通过这个分布，提取出与该相机像元形成物像共轭的物点对应的光强值，就可消减非共轭物点发出的光对该相机像元形成的噪声。
本发明相对于现有技术具有如下的优点及效果：
(1)本发明获取共焦显微图像所需的测量次数远少于重建图像的像素数；
(2)本发明无需三维精密扫描装置，只需一维轴向扫描装置，即可实现共焦显微三维成像；
(3)本发明由于采用全场照明方式，使得样品上单个物点的照明功率大幅降低，可以有效解决光漂白和光毒性问题。
附图说明
图1是本发明实施例一中公开的宽场照明共焦显微成像系统的组成结构图；
图2是本发明实施例一中公开的宽场照明共焦显微成像系统的等效光路示意图；
图3是本发明实施例一中重建的非荧光样品的共焦显微成像结果图；其中，图3(a)是空间光调制器加载的8192幅哈达玛变换基底图案，图3(b)是利用传统宽场显微成像方法获取的非荧光样品的图像，图3(c)是图3(b)的局部放大示意图，图3(d)是像素坐标为(132,196)的光敏像元所记录的前20个光强值示意图，图3(e)是利用像素坐标为(132,196)的光敏像元重建得到一幅弥散斑图像，图3(f)是图3(e)的局部放大视图，图3(g)是利用本发明所提方法重建的非荧光样品的共焦显微图；
图4是本发明实施例二中公开的宽场照明共焦显微成像系统的组成结构图；
图5是本发明实施例二中重建的荧光样品的共焦显微成像结果图；其中，图5(a)是空间光调制器加载的8192幅傅里叶变换基底图案，图5(b)是利用传统宽场显微成像方法获取的荧光样品的图像，图5(c)是图5(b)的局部放大示意图，图5(d)是像素坐标是(582,452)的光敏像元所记录的前20个光强值示意图，图5(e)是是利用像素坐标为(582,452)的光敏像元重建得到一幅弥散斑图，图5(f)是图5(e)的局部放大视图，图5(g)是空间光调制器加载的傅里叶变化基底图案数目为8192时，利用本发明所提方法重建的荧光样品的共焦显微图，图5(h)是空间光调制器加载的傅里叶变化基底条纹数目为254时，根据像素点(582,452)记录的一维荧光序列重建的弥散斑示意图，图5(i)是图5(h)的局部放大视图，图5(j)是空间光调制器加载的傅里叶变化基底图案数目为254时，利用本发明所提方法重建的荧光样品的共焦显微图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：非荧光样品的应用实例
如图1所示，本实施例公开了一种宽场照明共焦显微成像系统，包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11。所用照明光源1为中心波长623nm的LED光源，反射器2为一平面反射镜，空间光调制器3是一调制单元尺寸为7.6μm的数字微镜DMD，分光器5为分光棱镜，物镜6为标称放大倍率20的显微物镜，第一管镜4和第二管镜9均为焦距180mm的管镜，相机10为一像元尺寸4.54μm的CCD相机，待测样品7为一集成电路芯片，载物台8带有一机械平移装置，计算机11为台式机。
照明光源1发出的光束经反射器2后照射到空间光调制器3上，然后产生一系列空间分布不同的结构光，这些结构光通过第一管镜4、分光器5和物镜6依次照明固定在载物台8上的样品7；样品7发出的光通过物镜6、分光器5和第二管镜9后成像到相机10光敏面；相机10同步拍摄不同的图像并存储到计算机11内。空间光调制器3设置在第一管镜4的前焦面，相机10光敏面设置在第二管镜9的后焦面；样品7放置在载物台8上，载物台8包含一个沿物镜6光轴Z方向平移的平移机构。
第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3上的调制单元成像到物镜6的焦平面，成像放大倍数为β1；物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：
Figure GDA0003606366870000101
其中Δc为相机10光敏像元的尺寸，Δs为空间光调制器3的调制单元的尺寸；空间光调制器3的调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。
首先利用计算机生成一系列空间频率不同的图案Pi，图案大小均为512×512，i＝1,2，…,8192。每幅图案由8×8子图组成，即u和v的值均为8，这样，每个子图包含64×64像素，所有的子图都是由相同的哈达玛变换基底图案构成，如图3(a)所示。接着，将这些不同空间频率的图案依次加载到空间光调制器上，随后空间光调制器将光源发出的均匀光束调制成一系列不同空间频率的结构光；这些结构光经第一管镜、分光棱镜和物镜后照明样品，样品反射的光线通过物镜，分光棱镜、第二管镜后在相机光敏面成像，相机将记录的图像Ii存储计算机内，Ii的大小为952×950像素。每幅图像Ii对应一种空间频率的结构光图案Pi，这样，相机的每个光敏像元将记录一组一维光强序列I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc)，如图3(d)所示为像素坐标是(132,196)的光敏像元所记录的前20个光强值。根据该光敏像元所记录的一维光强序列，采用哈达玛单像素成像算法重建得到一幅弥散斑图像，如图3(e)所示，图3(f)是图3(e)的局部放大视图。从图3(e)中不难发现，只有与该像素点共轭的物点所成的像在图中的灰度值最大，其它非共轭物点所成的像的灰度值都相对较小。因此，从图3(e)中取最大灰度值作为与该光敏像元共轭的物点所成的像。重复上述方法步骤，对相机其它光敏像元记录的一维强度序列采用相同的处理方法，可以得到与相机每个光敏像元共轭的物点所成的像，最后将这些共轭像按照相机光敏像元的像素坐标排列，即可得到样品的共焦显微图像，如图3(g)所示。
作为对比，图3(b)给出了该样品在普通宽场显微成像结果，图像像素数为952×950。从图3(b)中不难发现，普通宽场显微成像结果不仅包含有样品焦面的信息，也包含有离焦信息，离焦信息和焦面信息混叠在一起，导致样品成像结果对比度低。从图3(g)和图3(b)比较可看出，利用本发明所提方法所得到图像，能够有效去除离焦信号的影响，提高成像结果的对比度。
实施例二：荧光样品的应用实例
如图4所示，本实施例公开了另一种宽场照明共焦显微成像系统，包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11。照明光源1为中心波长415nm的LED光源，分光器5为一平面反射镜，空间光调制器3为像元尺寸7.6μm的数字微镜DMD，物镜6为标称放大倍率20的显微物镜，第一管镜4和第二管镜9均为焦距180mm的管镜，相机10为像元尺寸6.5μm的CMOS相机，待测样品7为一团藻，载物台8带有一机械平移装置，计算机11为台式机；分光器5包含一个发射滤光片52和一个二向色分光镜50，二向色分光镜50的反射带宽为415nm-470nm，透射带宽为490nm-720nm；发射滤光片52的中心波长为510nm，带宽为42nm；由于照明光源1LED为一窄带光源，因此，放置在第一管镜4和二向色分光镜50之间的激发滤光片51已去除。
照明光源1发出的光束经反射器2后照射到空间光调制器3上，然后产生一系列空间分布不同的结构光，这些结构光通过第一管镜4、分光器5和物镜6依次照明样品7；样品7发出的光通过物镜6、分光器5和第二管镜9后成像到相机10的光敏面；相机10同步拍摄不同的图像并存储到计算机11内。空间光调制器3设置在第一管镜4的前焦面，相机10的光敏面设置在第二管镜9的后焦面；样品7放置在载物台8上，载物台8包含一个沿物镜6光轴Z方向平移的平移机构。
第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3上的调制单元成像到物镜6的焦平面，成像放大倍数为β1；物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：
Figure GDA0003606366870000121
其中Δc为相机10光敏像元的尺寸、Δs为空间光调制器3的调制单元的尺寸；空间光调制器3的调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。
首先在空间光调制器上依次加载的傅里叶变换基底图案Pi，i＝1,2，…,8192，图案大小均为512×512；每幅图案由8×8子图组成，即u和v的值均为8，这样，每幅子图包含64×64像素，所有的子图都是由相同的傅里叶变换基底图案构成，如图5(a)所示。图5(d)所示为像素坐标是(582,452)的光敏像元所记录的前20个荧光强度值。根据该光敏像元所记录的一维荧光强度序列，采用傅里叶单像素成像算法重建得到一幅弥散斑图像，如图5(e)所示,图5(f)为图5(e)的局部放大视图；从图5(e)中取最大灰度值作为与该光敏像元共轭的物点所成的像。重复上述方法步骤，对相机其它光敏像元记录的一维荧光强度序列采用相同的处理方法，可以得到与相机每个光敏像元共轭的物点所成的像，最后将这些共轭像按照相机光敏像元的像素坐标排列，即可得到样品的共焦荧光显微图像，如图5(g)所示。
最后，本实施例减少投影条纹图数目，缩短相机每个像素点记录的一维荧光序列的长度也能重建共焦显微图像。图5(h)-图5(j)给出了当投影的傅里叶变换基底条纹数目为254，即相机每个相机像素点记录的一维荧光序列的长度为254时重建的结果。其中，图5(h)为根据像素点(582,452)记录的一维荧光序列重建的弥散斑，图5(j)为最后重建的共焦荧光显微图像，图像像素数为650×650。与图5(g)比较，缩短相机每个像素点记录的一维荧光序列的长度不会降低重建的共焦荧光显微图像的质量。如果采用传统的激光共焦扫描显微镜，测量次数等于重建图像像素数，即需要42250次。而本实施例中只需要254次测量，即可重建共焦荧光显微图像。因此，本实施例能够大幅减少测量次数。
作为对比，图5(b)给出了该样品在普通宽场荧光成像结果，图像像素数为650×650。从图5(b)中不难发现，普通宽场荧光成像结果不仅包含有样品位于焦面的信息，也包含有样品在离焦面信息，离焦面的信息和焦面信息混叠在一起，导致样品成像结果对比度低。从图5(g)、图5(j)和图5(b)比较可看出，利用本实施例所提方法，能够有效去除离焦信号的影响，提高成像结果的对比度。
值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种宽场照明共焦显微成像方法，其特征在于，所述成像方法应用于成像系统，该成像系统包括照明光源(1)、反射器(2)、空间光调制器(3)、第一管镜(4)、分光器(5)、物镜(6)、样品(7)、载物台(8)、第二管镜(9)、相机(10)和计算机(11)，所述照明光源(1)发出的均匀光束经反射器(2)后照射到空间光调制器(3)上，形成空间分布不均匀的结构光，上述结构光依次通过第一管镜(4)、分光器(5)和物镜(6)照明固定于载物台(8)上的样品(7)；照明光和样品(7)相互作用后，从样品(7)发射出的光依次通过物镜(6)、分光器(5)和第二管镜(9)到达相机(10)的光敏面，相机(10)拍摄图像并存储到相连的计算机(11)内；
其中，所述空间光调制器(3)的调制面设置在第一管镜(4)的前焦面，所述相机(10)的光敏面设置在第二管镜(9)的后焦面，所述样品(7)位于物镜(6)的焦平面；
所述第一管镜(4)、分光器(5)与物镜(6)构成第一成像透镜组，将空间光调制器(3)中调制单元成像到物镜(6)的焦平面，成像放大倍数为β1；所述物镜(6)、分光器(5)与第二管镜(9)构成第二成像透镜组，将物镜(6)焦平面上的物点成像到相机(10)上的光敏面，成像放大倍数为β2；调整物镜(6)与第一管镜(4)、第二管镜(9)的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：
Figure FDA0003606366860000011
其中，Δc为相机(10)光敏像元的尺寸，Δs为空间光调制器(3)中调制单元的尺寸；
所述成像方法包括以下步骤：
步骤S1、计算机(11)生成一系列不同的图案：P1、P2、…、Pi、…、PL，每个图案的大小为Ms×Ns像素，依次加载到相连的空间光调制器(3)；照明光源(1)发出的均匀光束经反射器(2)照射到空间光调制器(3)，然后由空间光调制器(3)调制生成一系列空间分布不同的结构光：
Figure FDA0003606366860000021
Figure FDA0003606366860000022
上述不同的结构光又依次通过第一管镜(4)、分光器(5)和物镜(6)照明固定于载物台(8)上的样品(7)；结构光和样品(7)相互作用后，样品(7)发射出的光束通过物镜(6)、分光器(5)和第二管镜(9)，成像到相机(10)的光敏面，其中i＝1,…,L，Ms×Ns表示图案由Ms行和Ns列像素组成，L、Ms和Ns为整数，(ms,ns)为空间光调制器(3)的调制单元坐标，ms＝1,…,Ms，ns＝1,…,Ns为整数；
步骤S2、利用相机(10)依次拍摄经上述不同结构光照明固定于载物台(8)上的样品(7)后形成的图像：I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc)，每幅图像的大小为Mc×Nc像素，并存储到计算机(11)内，每幅图像Ii(mc,nc)对应一个结构光
Figure FDA0003606366860000023
其中Mc×Nc表示相机(10)的光敏面由Mc行和Nc列像元组成，Mc和Nc为整数，(mc,nc)为相机(10)光敏面上像元的坐标，mc＝1,…,Mc，nc＝1,…,Nc为整数；
步骤S3、将相机(10)的每个光敏像元作为一个单像素探测器，从相机(10)拍摄获得的图像：I1(mc,nc)、I2(mc,nc)、…、Ii(mc,nc)、…、IL(mc,nc)中，提取具有相同像素坐标的光敏像元记录的光强值，组成一个一维光强序列，Mc×Nc个光敏像元组成Mc×Nc个一维光强序列；根据每个光敏像元记录的一维光强序列，采用单像素成像图像重建方法，重建一幅样品(7)的弥散斑图像，Mc×Nc个像元共重建获得Mc×Nc幅弥散斑图像：
Figure FDA0003606366860000024
Figure FDA0003606366860000025
其中j＝1,…,mc×nc,…,Ld,Ld＝Mc×Nc；
步骤S4、根据相机(10)的光敏像元和空间光调制器(3)中调制单元之间的物像共轭对应的坐标关系：
Figure FDA0003606366860000031
在空间光调制器(3)上找到与相机(10)光敏面上坐标为(mc,nc)的光敏像元共轭的调制单元坐标(xsc,ysc)；然后再以相机(10)光敏面上坐标为(mc,nc)的光敏像元作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，作为与该相机(10)光敏面上坐标为(mc,nc)的光敏像元共轭的物点所成的像的灰度值；采用相同的方法，获得与相机(10)其他光敏像元共轭的物点所成的像的灰度值，将上述灰度值按照光敏像元的像素坐标排列，即获得样品(7)中处于物镜(6)焦面层的共焦显微图像，其中，(xsc,ysc)为空间光调制器(3)上与相机(10)光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元坐标，xsc和ysc均为实数；
步骤S5、通过载物台(8)沿z方向移动样品(7)，使得物镜(6)对样品(7)不同层对焦，重复上述步骤S1-步骤S4，获得样品(7)不同层的共焦显微图像并存储在计算机(11)中。
2.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述分光器(5)包含一个激发滤光片(51)、一个发射滤光片(52)和一个二向色分光镜(50)，所述激发滤光片(51)放置在第一管镜(4)和二向色分光镜(50)之间，所述发射滤光片(52)放置在第二管镜(9)和二向色分光镜(50)之间；当照明光源(1)为一窄带光源时，激发滤光片(51)可去除。
3.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述空间光调制器(3)中调制单元阵列的排列方式和相机(10)的光敏像元阵列的排列方式相同，所述空间光调制器(3)的调制单元和相机(10)的光敏像元一对一形成物像共轭点。
4.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述载物台(8)包含一个能够沿物镜(6)光轴Z方向平移的平移机构。
5.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述步骤S1中计算机(11)生成的一系列不同的图案：P1、P2、…、Pi、…、PL，该图案：P1、P2、…、Pi、…、PL为傅里叶变换基底图案、哈达玛变换基底图案或随机分布图案中的任意一种。
6.根据权利要求5所述的一种宽场照明共焦显微成像方法，其特征在于，所述步骤S1中计算机(11)生成的一系列不同的图案：P1、P2、…、Pi、…、PL，其中，每个图案Pi由u×v个大小相等、图案相同的子图Pi s组成，每个子图Pi s的像素数为
Figure FDA0003606366860000041
图案个数L小于或等于
Figure FDA0003606366860000042
其中u和v为整数。
7.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述步骤S4中相机(10)的光敏像元和空间光调制器(3)的调制单元之间的物像共轭对应的坐标关系：
Figure FDA0003606366860000043
由如下方法确定：
S41、计算机(11)同时控制空间光调制器(3)的q个离散的调制单元，结合照明光源(1)生成q个离散的点光源，照明一个均匀发光的平面样品，该平面样品放置在物镜(6)的焦面，然后用相机(10)拍摄得到一幅具有q个离散的弥散斑图像；
S42、提取该弥散斑图像中的每个弥散斑的中心坐标；
S43、根据空间光调制器(3)上q个离散的调制单元的坐标和相机(10)上q个弥散斑的中心坐标，确定空间光调制器(3)调制单元和相机(10)光敏像元之间的坐标映射变换关系；
S44、根据上述坐标映射变换关系确定空间光调制器(3)上与相机(10)光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元的坐标(xsc,ysc)，其中，q≥3为整数。
8.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述步骤S4中相机(10)的光敏像元和空间光调制器(3)的调制单元之间的物像共轭对应的坐标关系：
Figure FDA0003606366860000051
由如下方法确定：
将弥散斑图像中灰度值最大的坐标，作为空间光调制器(3)上与相机(10)光敏面上坐标为(mc,nc)的光敏像元物像共轭的调制单元的坐标(xsc,ysc)。
9.根据权利要求1所述的一种宽场照明共焦显微成像方法，其特征在于，所述步骤S4中以相机(10)光敏面上坐标为(mc,nc)的光敏像元作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，当坐标(xsc,ysc)为非整数坐标时，先通过数值拟合获得该坐标点的灰度值，再提取该坐标点(xsc,ysc)的灰度值。
CN202011342856.9A 2020-11-26 2020-11-26 一种宽场照明共焦显微成像系统及方法 Active CN112505044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011342856.9A CN112505044B (zh) 2020-11-26 2020-11-26 一种宽场照明共焦显微成像系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011342856.9A CN112505044B (zh) 2020-11-26 2020-11-26 一种宽场照明共焦显微成像系统及方法

Publications (2)

Publication Number Publication Date
CN112505044A CN112505044A (zh) 2021-03-16
CN112505044B true CN112505044B (zh) 2022-06-07

Family

ID=74967836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011342856.9A Active CN112505044B (zh) 2020-11-26 2020-11-26 一种宽场照明共焦显微成像系统及方法

Country Status (1)

Country Link
CN (1) CN112505044B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114486827B (zh) * 2022-01-06 2023-07-28 暨南大学 一种提高结构照明共焦显微成像效率和性能的方法及系统
CN114485480B (zh) * 2022-01-19 2023-08-01 暨南大学 一种线共焦三维轮廓测量方法、系统、装置及介质
CN117828321B (zh) * 2024-03-06 2024-05-03 四川交通职业技术学院 一种钢管混凝土桥梁的密实度检测方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5000839B2 (ja) * 2000-09-18 2012-08-15 ヴァンサン・ロウエ 共焦点用光学走査装置
CN100410719C (zh) * 2006-10-11 2008-08-13 南开大学 采用虚拟共焦针孔的共焦显微成像系统
GB201515862D0 (en) * 2015-09-08 2015-10-21 Univ Southampton Polarisation microscope
CN106092891A (zh) * 2016-08-11 2016-11-09 广东工业大学 一种共焦三维光谱显微成像方法及装置
CN106980175B (zh) * 2017-05-10 2019-05-14 暨南大学 基于环形离轴照明焦面共轭的非荧光成像光切片方法和装置
FR3075401B1 (fr) * 2017-12-14 2021-12-17 Alveole Microscopie 3d spectrale en champ large
CN108594418B (zh) * 2018-03-29 2021-02-05 暨南大学 一种基于阵列单像素探测器的光场显微成像系统及其方法

Also Published As

Publication number Publication date
CN112505044A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112505044B (zh) 一种宽场照明共焦显微成像系统及方法
US8705172B2 (en) Microscopy method and microscope with enhanced resolution
Wilson Confocal microscopy
Inoué Foundations of confocal scanned imaging in light microscopy
JP5485352B2 (ja) 解像度を高めたルミネセンス顕微鏡検査
JP5999121B2 (ja) 共焦点光スキャナ
CN110596059B (zh) 光学超分辨显微成像系统
JP2009223348A (ja) 解像深度が強化された３次元顕微鏡法のための方法及び装置
JP7090930B2 (ja) 超解像光学顕微イメージングシステム
CN108181235B (zh) 一种基于均匀结构光照明的sted并行显微成像系统
JP7225108B2 (ja) 多焦点構造化照明顕微鏡システム及び方法
CN109870441B (zh) 基于移频的三维超分辨光切片荧光显微成像方法和装置
JP2005037388A (ja) 試料内で励起された、および／または後方散乱した光放射を、対物レンズ二重配置により光学的に捕捉するための配置およびその方法
CN211785127U (zh) 光学超分辨显微成像系统
CN114527102A (zh) 一种基于激光扫描的近红外二区显微成像系统及方法
CN110220875B (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
CN111879740A (zh) 基于光子复位技术的全光学超分辨显微装置
US20080174783A1 (en) System and method of interferometric imaging using a digital micromirror device
WO2023060091A1 (en) Enhanced resolution imaging
CN111650739B (zh) 基于dmd的单帧曝光快速三维荧光成像系统及方法
CN212060720U (zh) 一种基于折射窗扫描仪的显微成像装置
CN114486827B (zh) 一种提高结构照明共焦显微成像效率和性能的方法及系统
JP2004219537A (ja) 共焦点顕微鏡
CN115272504A (zh) 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法
CN111175228A (zh) 一种基于Spinning disk的全光学图像扫描显微装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant