CN115272504A - 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法 - Google Patents

一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法 Download PDF

Info

Publication number
CN115272504A
CN115272504A CN202210844789.3A CN202210844789A CN115272504A CN 115272504 A CN115272504 A CN 115272504A CN 202210844789 A CN202210844789 A CN 202210844789A CN 115272504 A CN115272504 A CN 115272504A
Authority
CN
China
Prior art keywords
image
pixel
circle
ring
confocal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210844789.3A
Other languages
English (en)
Inventor
彭军政
钟金钢
周维帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Publication of CN115272504A publication Critical patent/CN115272504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明用于宽场照明共焦显微成像系统的信号提取和重建图像方法，包括以下步骤：将相机每个光敏像元作为单像素探测器，重建得到一幅图像；分别从重建的图像中选择与相机光敏像元共轭的物点的发出的信号，重组得到该物点的衍射图像；从每幅重组的图像中，以每个光敏像元对应的图像像素点为圆心分别定义一个圆和圆环，将圆和圆环上的像素点对应的灰度值累加，赋值给与物点共轭的光敏像元对应的图像像素点，重组得到共焦图像I圆和I环；根据空间光调制器的调制单元和相机光敏像元之间的共轭映射关系，将共焦图像I圆和I环进行坐标变换，获得与空间光调制器所有调制单元共轭的物点形成的共焦图像I′圆和I′环。

Description

一种用于宽场照明共焦显微成像系统的信号提取和重建图像 方法
技术领域
本发明涉及光学显微成像技术领域，更具体地，涉及一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法。
背景技术
激光共焦显微成像技术目前应用于许多领域，大部分共焦显微成像术采用单点扫描成像的方式(M.Minsky,U.S.Patent#3013467,Microscopy Apparatus(1957).)，该方式存在的缺点是每次只能扫描测量样品上的一个像素点，则一幅M×N像素的图像需要测量M×N次，成像速度极低，且需要较高强度的激光照明，以获取具有足够高信噪比的信号，但高强度的激光照明可能对样品产生影响。其余的方式例如有转盘共焦显微镜镜(D.Toomreand J.B.Pawley,Disk-scanning confocal microscopy.In Handbook of biologicalconfocal microscopy(pp.221-238).Springer,Boston,MA(2006))、微透镜阵列(TizianiH J,Uhde H M.“Three-dimensional analysis by a microlens-array confocalarrangement,”Appl.Opt.,33(4),567-572(1994).)等，这些共焦显微镜成像方式与单点扫描成像相比，能够在一次测量中获取到样品多个点的信息，但是更容易收集到离焦平面发出的杂散光，降低空间分辨率，且仍然存在对生物样品产生影响的问题。
近年来，公开号为CN112505044A的发明专利提供了一种宽场照明共焦显微成像系统及方法提出结合激光共焦显微成像技术与单像素成像方法以有效解决上述的问题，该专利提出的成像方法的原理是利用单像素成像方法，生成一系列不均匀的结构光照明样品，相机同时拍摄样品的图像，相机每个光敏像元将获得一系列不同的光强值，每个光强值包含了来自样品中多个物点发出的光。根据每个光敏像元记录的一系列光强值，利用单像素成像算法重建得到一幅样品的弥散斑图像，这幅图像按物点的位置坐标的分布给出了相机像元记录的从样品中不同物点发出的光。因此，通过这个分布，提取出与该相机像元形成物像共轭的物点对应的光强值，就可消减非共轭物点发出的光对该相机像元形成的噪声。从该专利的具体实施方式可看出，利用该专利提出的成像方法可以重建共焦荧光显微图像，测量次数少于样品图像的像素数。但该方法没法保证产生的结构光只调制样品在物镜焦平面的信息，不调制离焦平面的信息，导致得到的共焦显微图像的对比度和光切片能力仍有待提高到。此外，该方法所需要测量的次数至少也需要达到254次，测量次数还是相对较多。
公开号为CN114486827A的发明专利是在公开号为CN112505044A的发明专利的基础上做出的改进方案，提出一种提高结构照明共焦显微成像效率和性能的方法及系统，该方案在利用空间光调制器在调制生成一系列空间分布不均匀的结构光时，仅基于高频条纹图案进行调制生成，高频条纹图案指的是傅里叶交换基底图案中对应高频傅里叶系数的条纹图案，该条纹图案的条纹密度较高。如仅采用对应高频傅里叶系数的条纹图案调制生成一系列结构光，表示本方法仅获取样品图像在傅里叶变换域中的高频傅里叶系数。该方法仅需要获取高频傅里叶系数的原因是高频条纹图案的光调制范围较窄，因此可以保证结构光只调制待测样品在物镜焦平面的信息，不调制离焦平面的信息，从而使后续重建图像的过程中能够得到高对比度、高切片能力的共焦显微图像。同时，由于仅基于高频条纹图案进行结构光的空间光调制，也就是说整体方法所使用的傅里叶基底图案的数量减少，则测量次数也大大减少，且相比于公开号为CN112505044A的发明专利提出的方法及系统，能够重建图像对比度更高的共焦显微图像。
以上所列举的现有技术在显微成像中均采用明场成像的方式重建共焦明场图像，但对于未染色的生物样品、相位物体或高度透明物体，光经过样品后变化甚微，因此重建的共焦明场图像对比度往往还是较低，针对此问题，现有技术也提出采用暗场成像的方式重建共焦暗场图像的方案，暗场成像是指以超出物镜数值孔径的角度照明样品，抑制样品的反射光或者透射光，收集由于样品折射率局部变化而产生的散射光，滤除低频分量，而高频分量进入成像系统，因此，视场成为黑暗的背景，样品边缘则呈现明亮的像。暗场成像的优点在于重建的图像相比于明场成像具有更高的对比度，由于收集的是高频成分，可探测到明场显微镜无法探测到的结构。
现有的共焦暗场显微成像的方式分为三种，第一种方式是通过偏置探测器实现暗场成像，在1982年，I.J.Cox提出在共焦点扫描显微镜中，将针孔放置在探测器平面中爱里斑中的第一个暗环上，相当于消除焦面处的零频分量，此时满足暗场条件。但由于探测器偏移共轭点位置，收集到非共轭点发出信号，使得系统切片能力变低。第二种方式是通过直接斜照明收集样品散射光以实现暗场成像，在2022年，Sun H等人通过激光斜照明光学元件形成暗场成像，收集散射光，检测抛光光学器件的表面缺陷和亚表面缺陷。第三种方式是通过产生适用于暗场显微镜环形照明光束的方式实现暗场成像，在2020年，Jian Liu等人在使用共焦暗场显微镜检测光学元件亚表面缺陷时，通过一对锥透镜产生环形照明光束，倾斜照明样品，通过光阑挡掉反射光，只接收散射光。在2021年，Jian Liu等人提出使用双模光纤产生环形光束，减轻了环形光束中心区域的衍射引起的光强增强，用光纤替换环形光束生成模块有助于显微镜的紧凑性。但现有的暗场共焦显微镜生成环形光束装置较为复杂，而且均需要精密横向点扫描装置。
因此，如何在不增加额外器件的情况下使现有技术中的宽场照明共焦显微成像系统能够应用于共焦暗场成像，或进一步提高宽场照明共焦显微成像系统的成像分辨率，或进一步获得样品的共焦边缘图像是目前亟待解决的问题。
发明内容
本发明旨在克服上述现有技术的至少一种缺陷，提供一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，用于解决如何在不改动装置的前提下将现有技术中的宽场照明共焦显微成像系统能够应用于共焦暗场成像，或进一步提高宽场照明共焦显微成像系统的成像分辨率的问题。
本发明采用的技术方案包括：
第一方面，本发明提供一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，包括：S1：光源发出的光束经空间光调制器，调制生成K幅空间分布不均匀的结构光P1,P2,…,Pk,…,PK；其中k＝1,2,…,K表示结构光图案的数目；
所述空间分布不均匀的结构光被管镜和物镜投影到待测样品，以使所述待测样品与结构光相互作用后发出的光束成像到相机的光敏面；
所述相机拍摄待测样品与空间不均匀的结构光作用后的图像
Figure BDA0003750606930000031
S2：将相机的光敏像元D(1,1)作为单像素探测器，从相机拍摄的每幅图像
Figure BDA0003750606930000032
中选择光敏像元D(1,1)对应的图像像素点的灰度值，组成一维灰度值序列
Figure BDA0003750606930000033
根据该一维灰度值序列，采用单像素成像图像重建方法，重建得到图像ID (1,1)，其中m＝1,2,…M和n＝1,2,…N为整数，分别表示相机光敏像元的序号；
依次将相机其他光敏像元D(1,2),…,D(m,n),…,D(M,N)作为单像素探测器，重复步骤S2，重建得到图像序列
Figure BDA0003750606930000034
S3：从单像素成像重建的图像
Figure BDA0003750606930000035
中选择与待测样品物点W(1,1)共轭的图像像素点的灰度值，记为
Figure BDA0003750606930000041
Figure BDA0003750606930000042
将这些灰度值再分别赋值给光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点，重组获得待测物点W(1,1)在相机光敏面上产生的衍射图像
Figure BDA0003750606930000043
所述待测样品物点W(1,1)与相机光敏像元D(1,1)物像共轭；
从单像素成像重建的图像序列
Figure BDA0003750606930000044
中依次选择与待测样品物点W(1,2),…,W(m,n),…,W(M,N)共轭的相机光敏面像素点的灰度值，重复步骤S3，获得待测物点W(1,2),…,W(m,n),…,W(M,N)在相机光敏面上产生的衍射图像
Figure BDA0003750606930000045
与物点W(1,1),W(1,2),…,W(m,n),…,W(M,N)共轭的相机光敏面像素点在单像素成像重建的图像
Figure BDA0003750606930000046
中的坐标是通过标定相机光敏像元和空间光调制器调制单元的物像共轭映射关系确定的。该共轭映射可用仿射变换矩阵表示。该仿射矩阵可通过空间光调制器产生一幅标定图案投影到标定样品上，然后通过相机拍摄该标定图案的图像，提取标定图案上的多个特征点分别在空间光调制器和相机的坐标，建立特征点坐标对，求解仿射矩阵系数，获得共轭映射关系。
S4：在重建的衍射图像
Figure BDA0003750606930000047
中定义一个以光敏像元D(1,1)对应的图像像素点为圆心，直径为d的圆
Figure BDA0003750606930000048
将圆上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(1,1)对应的图像像素点；重复上述步骤，在其余重建的衍射图像
Figure BDA0003750606930000049
中分别定义一个以光敏像元D(m,n)对应的图像像素点为圆心，直径为d的圆
Figure BDA00037506069300000410
将圆上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(m,n)对应的图像像素点，直至光敏像元D(M,N)对应的像素点赋值完成，得到共焦图像I圆。其中0≤d<2d爱里斑，d爱里斑为待测样品一物点在相机光敏面形成的爱里斑一级暗纹直径；
在重建的衍射图像
Figure BDA00037506069300000411
中定义一个以光敏像元D(1,1)对应的图像像素点为圆心，内径为d内、外径为d外的圆环
Figure BDA00037506069300000412
将环上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(1,1)对应的图像像素点；重复上述步骤，在重建的衍射图像
Figure BDA00037506069300000413
中定义一个以光敏像元D(m,n)对应的图像像素点为圆心，内径为d内、外径为d外的圆环
Figure BDA00037506069300000414
将环上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(m,n)对应的图像像素点，直至光敏像元D(M,N)对应的像素点赋值完成，得到共焦图像I环。其中0≤d内<d外<2d爱里斑，d爱里斑为待测样品一物点在相机光敏面形成的爱里斑一级暗纹直径；
S5：利用步骤S3中标定的共轭映射关系和步骤S4中重建的共焦图像I圆和I环，获得和空间光调制器所有调制单元的物像共轭物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′圆和I′环；
S6:沿着光轴方向等间隔移动样品，重复步骤S1-S5，获得待测样品不同深度的共焦图像。
进一步，所使用的K幅结构光图案是傅里叶基底图案，且所述K幅结构光图案对应的傅里叶系数位于傅里叶频谱面上的同心圆环上。
进一步，傅里叶基底图案可利用数字微镜空间光调制器、液晶空间光调制器、光束干涉空间光调制器产生。
进一步，该方法还包括：在衍射图像中的定义圆之前，以衍射图像中光敏像元D(m,n)对应的图像像素点为起点，沿着0°,90°,180°,270°的方向分别搜索，确定4个灰度值极小值点，确定每个极小值点到共轭点的距离，衍射爱里斑直径通过d爱里斑＝2×mean(r1,r2,r3,r4)确定；其中，r1,r2,r3,r4分别为4个极小值点到起点的距离，mean(·)表示取平均值操作。
所述图像配准方法的步骤包括：先创建L个大小均为M×N的矩阵
Figure BDA0003750606930000051
L等于圆上的采样点数；从重建的衍射图像
Figure BDA0003750606930000052
选择圆上第一个采样点对应的图像灰度值，分别赋值给矩阵
Figure BDA0003750606930000053
的像素点(1,1),(1,2),…,(m,n),…,(M,N)；重复上述步骤，从重建的衍射图像
Figure BDA0003750606930000054
选择圆上第二个采样点对应的图像灰度值，分别赋值给矩阵
Figure BDA0003750606930000055
的像素点(1,1),(1,2),…,(m,n),…,(M,N)，直至圆上的采样点全部赋值完毕，获得L幅图像
Figure BDA0003750606930000056
选择共焦明场图像I0为基准，将图像
Figure BDA0003750606930000057
与图像I0配准，将配准后的图像累加，到共焦图像。
进一步，在步骤S4中，还可以定义两个不同直径d1和d2的同心圆，得到两个不同的共焦图像I圆1和I圆2，两图像相减得到一个新的图像：I圆12＝I圆2-I圆1，其中0≤d1<d2<2d爱里斑。
也可以定义两个不同内外直径d1内、d1外和d2内、d2外的同心圆环，得到两个不同的共焦图像I环1、I环2，两图像相减得到一幅新的图像：I环12＝I环2-I环1，其中0≤d1内<d1外<2d爱里斑，0≤d2内<d2外<2d爱里斑，0≤d1内<d2内<2d爱里斑，0≤d1外<d2外<d爱里斑。
进一步，所述步骤S1还包括：通过标定获得的相机光敏像元和空间光调制器调制单元的物像共轭映射关系，根据共轭映射关系获得与空间光调制器所有调制单元共轭的相机光敏面像素点坐标，再结合相机拍摄的图像
Figure BDA0003750606930000061
获得与空间光调制器所有调制单元的共轭的像素点形成的图像，所述步骤S2-S4还包括：根据所述步骤S1获得的与空间光调制器所有调制单元的共轭的像素点形成的图像，就可直接获得与空间光调制器所有调制单元存在物像共轭关系的物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′圆和I′环。
进一步，所述步骤S4还包括：在重建的所有衍射图像
Figure BDA0003750606930000062
中，定义一个数字模板，将每个衍射图像中的数字模板内所有像素点对应的图像灰度值累加，再分别赋给光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点，也可以获得一幅新的共焦图像。
进一步，方法还包括：在重建的所有衍射图像
Figure BDA0003750606930000063
中，定义两个不同的数字模板，重复步骤S4，获得两幅共焦图像，再将两幅共焦图像相减，得到一幅新的图像。
与现有技术相比，本发明的有益效果为：
本发明提供的一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，利用相机每个光敏像元作为单像素探测器重建的图像，从重建的图像中选择与待测有样品物点共轭的图像像素点对应的灰度值，重组得到物点的衍射图像，在重建的衍射图像中分别定义一个以光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点为圆心的圆；将圆上的所有像素点对应的图像灰度值累加，再分别赋给光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点，重组得到共焦图像。通过调整圆或者圆环的直径，可获取不同的共焦显微图像，包括普通的共焦明场图像、分辨率提升的共焦图像，共焦暗场图像；通过定义两个同心圆或者圆环，重建两幅图像，然后将两幅图像相减，可以获得样品的边缘图像；还可以通过定义不同的数字模板，获得待测样品不同的图像。整体装置无需更改光路、光学元件或显微镜，在同一套宽场照明共焦显微成像系统是实现多种模式的共焦显微成像。
附图说明
图1：(a)为本发明实施例1所采用的实验系统光路图；(b1～b2)为本发明实施例1中定义的圆环的内径为0个像素，外径为2个像素重建的结果；(c1～c5)为搜索衍射图中爱里斑第一级暗环位置的原理示意图。
图2为本发明实施例1中提供的宽场照明共焦显微成像系统的信号提取和重建图像方法的步骤S110～S160的流程示意图。
图3为本发明实施例1中通过改变圆的直径获得不同的图像：(a1-a2)表示圆环的内径为0个像素，内径为2个像素重建的结果；(b1-b2)表示定圆环的内径为4个像素，外径为6个像素，重建的共焦图像。
图4为本发明实施例1中通过定义两个不同的圆环重建的图像：(a1-a2)定义的圆环内径为6个像素，外径为8个像素重建的结果；(b1-b2)定义的圆环内径为8个像素，外径为10个像素重建的结果；(c)是图(a2)减去(b2)的结果。
图5为本发明实施例1中待测样品在不同深度的共焦成像结果：(a1-a5)表示定义的圆环的内径为0个像素，外径为2个像素的重建结果；(b1-b5)表示定义的圆环内径为8个像素，外径为10个像素的重建结果；(c1-c5)表示通过定义两个不同的圆环重建的共焦图像相减的结果，其中一个圆环的内径为6个像素，外径为8个像素，另一个圆环的内径为8个像素，外径为10个像素。
图6为本发明实施例2中采用的实验系统光路图。
图7为本发明实施例2中宽场照明共焦显微成像系统的信号提取和重建图像方法的步骤S210～S260的流程示意图。
图8为本发明实施例2中通过改变圆环的直径，获得待测样品不同的共焦成像结果。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
本实施例提供一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，宽场照明共焦显微成像系统的组成如图1(a)所示，该系统包括单色LED光源、反射镜、空间光调制器、管镜1、分光镜、物镜、样品、管镜2、相机。
其中，单色LED光源的中心波长为623nm。空间光调制器的分辨率为1280×800像素，像元尺寸为7.6μm。管镜1的焦距为200mm。分光镜的透射和反射比为1：1。物镜的数值孔径为0.4，放大倍率为20。管镜2的焦距为200mm。面阵探测器(相机)的像元尺寸为6.5μm，分辨率为2560×2160像素。
本实施例中的待测样品为集成电路芯片。
如图2所示，利用本实施例提供的方法对待测样品进行共焦显微成像的过程包括以下步骤：
S110：光源发出的光束被空间光调制器调制生成140幅空间分布不均匀的结构光；空间分布不均匀的结构光被管镜1和物镜投影到待测样品，以使待测样品与结构光相互作用后发出的光束经过物镜和管镜2成像到相机的光敏面；相机拍摄待测样品与空间不均匀的结构光作用后的图像；
S120：将相机的每个光敏像元D(1,1),D(1,2),…,D(800,800)作为一个单像素探测器，从相机拍摄的每张图像中提取像素坐标相同的光敏像元记录的光强值，组成一个一维光强序列；根据每个一维光强序列，采用单像素成像重建方法重建得到图像
Figure BDA0003750606930000081
S130：分别从单像素成像重建的每一幅图像
Figure BDA0003750606930000082
中选择与待测样品物点W(1,1),W(1,2),…,W(800,800)共轭的图像像素点的灰度值，重组获得该物点发出的光信号在相机光敏面上产生的衍射图像
Figure BDA0003750606930000083
与物点W(1,1),W(1,2),…,W(800,800)共轭的相机光敏面像素点在单像素成像重建的图像
Figure BDA0003750606930000084
中的坐标是通过标定相机光敏像元和空间光调制器调制单元的物像共轭映射关系确定的。该共轭映射关系可用仿射变换矩阵表示，具体见方程(1)：
Figure BDA0003750606930000085
其中(xs,ys)表示空间光调制器坐标系下的点的坐标，(xc,yc)表示相机坐标系下的点的坐标，Ta表示仿射变换矩阵。
在本实施例中，该仿射矩阵Ta是通过空间光调制器产生一幅黑白棋盘格图案投影到分辨率板负片的无图案区上，然后通过相机拍摄该黑白棋盘格图案的图像，分别提取空间光调制器投影的黑白棋盘格图案和相机拍摄的黑白棋盘格图案图像上的角点坐标，建立角点坐标对；将角点坐标对代入到方程(1)中，就能够构造线性方程组，求解仿射矩阵系数，从而确定共轭映射关系。
S140：在重建的衍射图像
Figure BDA0003750606930000091
中分别定义一个以相机光敏像元D(1,1),D(1,2),…,D(800,800)对应的图像像素点为圆心，直径为d的圆；然后将圆上的所有像素点对应的灰度值累加，赋值给相机光敏像元D(1,1),D(1,2),…,D(800,800)对应的图像像素点，重建得到共焦图像。
在本实施例中，圆上像素点的坐标为小数坐标。
如图1(c1)所示，在衍射图像
Figure BDA0003750606930000092
中定义圆之前，以相机光敏像元D(1,1),D(1,2),…,D(800,800)对应的图像像素点为起点，沿着0°,90°,180°,270°的方向分别搜索，确定4个极小值点，极小值点是指图像灰度值最小的点。
如图1(c2)-图1(c5)所示，确定每个极小值点到起点的距离，分别记为r1,r2,r3,r4，衍射爱里斑直径通过公式d爱里斑＝2×mean(r1,r2,r3,r4)确定，mean(·)表示取平均值操作。
优选地，为了消除成像过程中噪声对计算结果的影响，提高鲁棒性，对相机其他像素点采用相同的方法，可以求得衍射图像
Figure BDA0003750606930000093
中的衍射斑直径。统计所有衍射斑图像的衍射斑直径，选择统计数目最多的直径作为衍射斑的直径。在本实施例中，采用上述步骤确定的衍射斑的直径为8个像素。
S150：根据步骤S130标定的共轭映射关系将空间光调制器所有调制单元(xS,yS)映射到相机坐标系，获得与空间光调制器所有调制单元共轭的物点在相机坐标系下的小数像素坐标(xS2C,yS2C)，然后根据S140获得的共焦图像提供的整数像素点(xC,yC)的灰度值，插值计算小数像素坐标(xS2C,yS2C)对应的灰度值，从而获得与空间光调制器所有调制单元共轭的物点形成的共焦图像。
S160：沿着光轴方向移动样品，每次移动1μm，在每个位置重复步骤S110-S160重建样品在不同深度的共焦图像。
图3给出了通过定义不同直径的圆环，利用本发明所提方法获得待测样品的不同图像。其中图3(a1-a2)表示定义一个直径等于2的圆，重建得到共焦图像；图3(b1-b2)表示定义一个内径为4个像素，外径为6个像素的圆环，重建的共焦图像。对比两个结果，不难发现，利用圆环重建的结果和对比度分辨率更高。
图4给出了两个不同的同心圆环，d1内＝6个像素、d1外＝8个像素和d2内＝8个像素、d2外＝10个像素，重建得到两幅不同的共焦图像，然后将两图像相减得到一个新的图像，该图像反映的是待测样品的边缘信息。
图5给出了利用本发明所提方法获得待测样品不同深度的共焦图像,其中(a1-a5)表示定义的圆环的内径为0个像素，外径为2个像素的重建结果；(b1-b5)表示定义的圆环内径为8个像素，外径为10个像素的重建结果；(c1-c5)表示定义通过两个圆环重建的共焦图像相减的结果，其中一个圆环的内径为6个像素，外径为8个像素，另一个圆环的内径为8个像素，外径为10个像素。
实施例2
基于与实施例1相同的构思，本实施例提供一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，用于荧光样品的成像。宽场照明共焦显微成像系统示意图如图6所示，该系统包括单色LED光源、反射镜、空间光调制器、管镜1、二向色分光镜、物镜、样品、管镜2、相机。
其中，单色LED光源的中心波长为470nm。空间光调制器的分辨率为1920×1080像素，像元尺寸为7.6μm。管镜1的焦距为400mm。二向色分光镜的透射波长为570nm-700nm。物镜的数值孔径为0.75，放大倍率为20。管镜2的焦距为200mm。相机的像元尺寸为6.5μm，分辨率为2560×2160像素。
本实施例中的待测样品为自发荧光的铃兰根茎切片。
如图7所示，利用本实施例提供的方法对待测样品进行共焦显微成像的过程包括以下步骤：
S210：光源发出的光束经空间光调制器，调制成生成72幅空间分布不均匀的结构光；该空间分布不均匀的结构光被管镜1和物镜投影到待测样品，相机拍摄待测样品与空间不均匀的结构光作用后的图像，图像的大小为512×512像素；以使待测样品与结构光相互作用后发出的光束经过物镜和管镜2成像到相机的光敏面；
S220：将相机的每个光敏像元D(1,1),D(1,2),…,D(512,512)作为一个单像素探测器，从相机拍摄的每张图像中提取像素坐标相同的光敏像元记录的光强值，组成一个一维光强序列；根据每个一维光强序列，采用单像素成像重建方法重建得到图像
Figure BDA0003750606930000111
S230：分别从单像素成像重建的每一幅图像
Figure BDA0003750606930000112
中选择与待测样品物点W(1,1),W(1,2),…,W(512,512)共轭的像素点的灰度值，重组获得该物点发出的光信号在相机光敏面上产生的衍射图像
Figure BDA0003750606930000113
与物点W(1,1),W(1,2),…,W(512,512)共轭的相机光敏面像素点在单像素成像重建的图像
Figure BDA0003750606930000114
中的坐标是通过标定相机光敏像元和空间光调制器调制单元的物像共轭映射关系确定的。该共轭映射关系的确定方法与实施例1中的方法步骤类似，，只是在本实施例中，标定样品是一个厚度约为2微米的荧光微球样品上。
S240：在重建的衍射图像
Figure BDA0003750606930000115
中分别定义一个以相机光敏像元D(1,1),D(1,2),…,D(512，512)对应的图像像素点为圆心，内径为d内、外径为d外的圆环；将每个圆环上的所有像素点对应的图像灰度值累加，再分别赋给相机光敏像元D(1,1),D(1,2),…,D(512,512)对应的图像像素点，重组得到共焦图像。
在衍射图像中定义圆环之前，以相机光敏像元D(1,1),D(1,2),…,D(512,512)对应的图像像素点为起点，沿着0°,90°,180°,270°的方向分别搜索，确定4个极小值点，极小值点是指强度最小的点。确定每个极小值点到起点的距离，分别记为r1,r2,r3,r4，衍射爱里斑的直径通过公式d爱里斑＝2×mean(r1,r2,r3,r4)确定，mean(·)表示取平均值操作。
优选地，为了消除成像过程中噪声对计算结果的影响，提高鲁棒性，对相机其他像素点采用相同的方法，可以求得重建衍射图像中的衍射斑直径。统计所有衍射图像的衍射斑直径，选择统计数目最多的直径作为衍射斑的直径。在本实施例中，采用上述步骤确定的衍射斑的直径d0为10个像素。
S250：根据步骤S230标定的共轭映射关系将空间光调制器所有调制单元(xS,yS)映射到相机坐标系，获得与空间光调制器所有调制单元共轭的物点在相机坐标系下的小数像素坐标(xS2C,yS2C)，然后根据S240获得的共焦图像提供的整数像素点(xC,yC)的灰度值，插值计算小数像素坐标(xS2C,yS2C)对应的灰度值，从而获得与空间光调制器所有调制单元共轭的物点形成的共焦图像。
S260：沿着光轴方向移动样品，每次移动1μm，在每个位置重复步骤S210-S260重建样品在不同深度的共焦图像。
如图8所示是重建的结果，其中图8(a)表示宽场荧光成像结果；图8(b1-e1)表示在中间衍射图上定义不同的圆环，它们的内径分别是0个像素、4个像素，8个像素和12个像素，外径分别是2个像素，6个像素，10个像素和14个像素；图8(b2-e2)表示将圆环上的像素点对应的灰度值直接相加后重建的结果；图8(b3-e3)表示利用配准的方法重建的结果；对比局部放大视图可知，当圆环的内径小于等于8个像素时，直接相加得到重建的结果和利用配准方法重建的结果相当；此外，随着圆环的内径的增大，重建的共焦图像的分辨率逐渐提高；当圆环的内径为10个像素时，即等于衍射爱里斑的直径时，重建的结果为共焦暗场图像；当圆环的内径为12个像素时，即超过了衍射爱里斑的直径，由于荧光信号比较弱，重建的结果信噪比低。
显然，本发明的上述实施例仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，包括以下步骤：
S1：光源发出的光束经空间光调制器，调制生成K幅空间分布不均匀的结构光P1,P2,…,Pk,…,PK；其中k＝1,2,…,K表示结构光图案的数目；
所述空间分布不均匀的结构光被管镜和物镜投影到待测样品，以使所述待测样品与结构光相互作用后发出的光束成像到相机的光敏面；
所述相机拍摄待测样品与空间不均匀的结构光作用后的图像
Figure FDA0003750606920000011
S2：将相机的光敏像元D(1,1)作为单像素探测器，从相机拍摄的每幅图像
Figure FDA0003750606920000012
中选择光敏像元D(1,1)对应的图像像素点的灰度值，组成一维灰度值序列
Figure FDA0003750606920000013
根据该一维灰度值序列，采用单像素成像图像重建方法，重建得到图像
Figure FDA0003750606920000014
其中m＝1,2,…M和n＝1,2,…N为整数，分别表示相机光敏像元的序号；
依次将相机其他光敏像元D(1,2),…,D(m,n),…,D(M,N)作为单像素探测器，重复步骤S2，重建得到图像序列
Figure FDA0003750606920000015
S3：从单像素成像重建的图像
Figure FDA0003750606920000016
中选择与待测样品物点W(1,1)共轭的图像像素点的灰度值，记为
Figure FDA0003750606920000017
Figure FDA0003750606920000018
将这些灰度值再分别赋值给光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点，重组获得待测物点W(1,1)在相机光敏面上产生的衍射图像
Figure FDA0003750606920000019
所述待测样品物点W(1,1)与相机光敏像元D(1,1)物像共轭；
同样，从单像素成像重建的图像序列
Figure FDA00037506069200000110
中依次选择与待测样品物点W(1,2),…,W(m,n),…,W(M,N)共轭的相机光敏面像素点的灰度值，重复步骤S3，获得待测物点W(1,2),…,W(m,n),…,W(M,N)在相机光敏面上产生的衍射图像
Figure FDA00037506069200000111
Figure FDA00037506069200000112
与物点W(1,1),W(1,2),…,W(m,n),…,W(M,N)共轭的相机光敏面像素点在单像素成像重建的图像
Figure FDA00037506069200000113
中的坐标是通过标定相机光敏像元和空间光调制器调制单元的物像共轭映射关系确定的；
S4：在重建的衍射图像
Figure FDA0003750606920000021
中定义一个以光敏像元D(1,1)对应的图像像素点为圆心，直径为d的圆
Figure FDA0003750606920000022
将圆上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(1,1)对应的图像像素点；
重复上述步骤，在其余重建的衍射图像
Figure FDA0003750606920000023
中分别定义一个以光敏像元D(m,n)对应的图像像素点为圆心，直径为d的圆
Figure FDA0003750606920000024
将圆上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(m,n)对应的图像像素点，直至光敏像元D(M,N)对应的像素点赋值完成，得到共焦图像I圆；其中0≤d<2d爱里斑，d爱里斑为待测样品一物点在相机光敏面形成的爱里斑一级暗纹直径；
在重建的衍射图像
Figure FDA0003750606920000025
中定义一个以光敏像元D(1,1)对应的图像像素点为圆心，内径为d内、外径为d外的圆环
Figure FDA0003750606920000026
将环上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(1,1)对应的图像像素点；
重复上述步骤，在重建的衍射图像
Figure FDA0003750606920000027
中定义一个以光敏像元D(m,n)对应的图像像素点为圆心，内径为d内、外径为d外的圆环
Figure FDA0003750606920000028
将环上的所有像素点对应的图像灰度值累加，再赋给光敏像元D(m,n)对应的图像像素点，直至光敏像元D(M,N)对应的像素点赋值完成，得到共焦图像I环；
其中0≤d内<d外<2d爱里斑，d爱里斑为待测样品一物点在相机光敏面形成的爱里斑一级暗纹直径；
S5：通过上述共轭映射关系和共焦图像I圆和I环，获得和空间光调制器所有调制单元的物像共轭物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′圆和I′环；当圆或者环的直径等于零时，采用步骤S4和S5形成的图像为共焦明场图像I0；
S6:沿着光轴方向等间隔移动样品，重复步骤S1-S5，获得待测样品不同深度的共焦图像。
2.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S1中，所使用的K幅结构光图案是傅里叶基底图案，且所述K幅结构光图案对应的傅里叶系数位于傅里叶频谱面上的同心圆环上。
3.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S1中，利用数字微镜空间光调制器、液晶空间光调制器、光束干涉空间光调制器产生结构光图案，所述结构光图案为傅里叶图案。
4.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S4中，采用图像配准方法处理圆上的采样点对应的灰度值，获得共焦图像I圆和I环；
所述图像配准方法的步骤包括：
创建L个大小均为M×N的矩阵
Figure FDA0003750606920000031
L等于圆或环上的像素点数；
分别从重建的衍射图像
Figure FDA0003750606920000032
中，选择圆或环上第一个像素点对应的图像灰度值，分别赋值给矩阵
Figure FDA0003750606920000033
的像素点(1,1),(1,2),…,(m,n),…,(M,N)；
重复上述步骤，从重建的衍射图像
Figure FDA0003750606920000034
选择圆或环上第二个像素点对应的图像灰度值，分别赋值给矩阵
Figure FDA0003750606920000035
的像素点(1,1),(1,2),…,(m,n),…,(M,N)，直至圆或环上的像素点全部赋值完毕，获得L幅图像
Figure FDA0003750606920000036
选择共焦明场图像I0为基准，将图像
Figure FDA0003750606920000037
与图像I0配准，将配准后的图像累加，获得共焦图像I圆或I环；
所述圆或环上第一个像素点可以是圆或环上任意一个点，按照设定路径选择下一个像素点，直到圆或环上的所有像素点被选择完成为止。
5.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S4中，衍射爱里斑的直径d爱里斑的确定步骤如下：
在重建的衍射图像
Figure FDA0003750606920000038
中，分别以光敏像元D(1,1),D(1,2),…,D(i,j),…,D(m,n)对应的图像像素点为起点，沿着0°,90°,180°,270°的方向分别搜索，确定4个极小值点，计算每个极小值点到起点的距离，衍射爱里斑直径d爱里斑根据式子d爱里斑＝2×mean(r1,r2,r3,r4)确定；
其中，r1,r2,r3,r4分别为4个极小值点到起点的距离，mean()表示取平均值操作。
6.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S4中，定义两个不同直径d1和d2的圆，得到两个不同的共焦图像I圆1和I圆2，两图像相减得到一个新的图像：I圆12＝I圆2-I圆1，其中0≤d1<d2<2d爱里斑。
在步骤S4中，定义两个不同内外直径d1内、d1外和d2内、d2外的环，得到两个不同的共焦图像I环1、I环2，两图像相减得到一幅新的图像：I环12＝I环2-I环1，其中0≤d1内<d1外<2d爱里斑，0≤d2内<d2外<2d爱里斑，0≤d1内<d2内<2d爱里斑，0≤d1外<d2外<d爱里斑。
7.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，在步骤S4中，定义两个不同直径d1和d2的圆，得到两个不同的共焦图像I圆1和I圆2；再通过步骤S5中，获得与空间光调制器所有调制单元存在物像共轭关系的物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′圆1、I′圆2，两图像相减得到一幅新的图像：I′圆12＝I′圆2-I′圆1，其中0≤d1<d2<d爱里斑；
在步骤S4中，定义两个不同内外直径d1内、d1外和d2内、d2外的环，得到两个不同的共焦图像I环1、I环2；再通过步骤S5中，获得与空间光调制器所有调制单元存在物像共轭关系的物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′环1、I′环2，两图像相减得到一个新的图像：I′环12＝I′环2-I′环1，其中0≤d1内<d1外<2d爱里斑，0≤d2内<d2外<2d爱里斑，0≤d1内<d2内<2d爱里斑，0≤d1外<d2外<2d爱里斑。
8.根据权利要求1所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，
所述步骤S1还包括：
通过标定获得的相机光敏像元和空间光调制器调制单元的物像共轭映射关系，利用共轭映射关系获得与空间光调制器所有调制单元共轭的相机光敏面像素点坐标，再结合相机拍摄的图像
Figure FDA0003750606920000041
获得与空间光调制器所有调制单元的共轭的像素点形成的图像；
所述步骤S2-S4还包括：
根据所述步骤S1获得的与空间光调制器所有调制单元的共轭的像素点形成的图像，获得与空间光调制器所有调制单元存在物像共轭关系的物点W′(1,1),W′(1,2),…,W′(m,n),…,W′(M,N)形成的共焦图像I′圆和I′环。
9.根据权利要求1所属的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，所述步骤S4还包括：在重建的所有衍射图像
Figure FDA0003750606920000051
中，定义一个数字模板，将每个衍射图像中的数字模板内所有像素点对应的图像灰度值累加，再分别赋给光敏像元D(1,1),D(1,2),…,D(m,n),…,D(M,N)对应的图像像素点，获得共焦图像。
10.根据权利要求9所述的用于宽场照明共焦显微成像系统的信号提取和重建图像方法，其特征在于，还包括：在重建的所有衍射图像
Figure FDA0003750606920000052
中，定义两个不同的数字模板，重复步骤S4，获得两幅共焦图像，再将两幅共焦图像相减，得到一幅新的图像。
CN202210844789.3A 2022-07-13 2022-07-18 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法 Pending CN115272504A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210826767 2022-07-13
CN2022108267674 2022-07-13

Publications (1)

Publication Number Publication Date
CN115272504A true CN115272504A (zh) 2022-11-01

Family

ID=83768079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210844789.3A Pending CN115272504A (zh) 2022-07-13 2022-07-18 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法

Country Status (1)

Country Link
CN (1) CN115272504A (zh)

Similar Documents

Publication Publication Date Title
JP3438855B2 (ja) 共焦点装置
KR102048793B1 (ko) 표면 컬러를 이용한 표면 토포그래피 간섭측정계
US8649024B2 (en) Non-contact surface characterization using modulated illumination
US8019136B2 (en) Optical sectioning microscopy
JP5999121B2 (ja) 共焦点光スキャナ
CN112505044B (zh) 一种宽场照明共焦显微成像系统及方法
CN105758799B (zh) 一种超分辨阵列虚拟结构光照明成像装置及其成像方法
JP2011504613A (ja) マルチモーダルスポットジェネレータとマルチモーダル・マルチスポット・スキャンマイクロスコープ
TW201800720A (zh) 光學系統及使用該系統之物體表面或內部光反射介面三維形貌偵測方法
TW202127008A (zh) 用於光學三維構形量測之方法及系統
WO2013105922A2 (en) Non-contact surface characterization using modulated illumination
JP2015064462A (ja) 共焦点顕微鏡
CN110567959B (zh) 一种自适应像差校正图像扫描显微成像方法
TWI438393B (zh) 使用調變照明作非接觸式表面特性檢測
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
JP2000356513A (ja) 対象物の３次元検査装置
US20210003834A1 (en) Method and apparatus for optical confocal imaging, using a programmable array microscope
CN111896557A (zh) 一种结构光调制的暗场显微缺陷三维测量装置与方法
CN115272504A (zh) 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法
US20220244516A1 (en) Microscope device and data generation method using microscope
CN112326672B (zh) 一种基于多色并行移频照明的快速成像系统
WO2006109561A1 (ja) 顕微鏡撮像装置及び方法
CN114486827B (zh) 一种提高结构照明共焦显微成像效率和性能的方法及系统
Sheppard Scanning confocal microscopy
CN115014242B (zh) 基于并行多狭缝结构照明的微观表面形貌测量方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination