CN111917964A - 一种无透镜荧光显微成像装置及其图像重建方法 - Google Patents

一种无透镜荧光显微成像装置及其图像重建方法 Download PDF

Info

Publication number
CN111917964A
CN111917964A CN202010846582.0A CN202010846582A CN111917964A CN 111917964 A CN111917964 A CN 111917964A CN 202010846582 A CN202010846582 A CN 202010846582A CN 111917964 A CN111917964 A CN 111917964A
Authority
CN
China
Prior art keywords
sample
fluorescence
light source
scattering sheet
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010846582.0A
Other languages
English (en)
Other versions
CN111917964B (zh
Inventor
纪刚
赵明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Lianhe Chuangzhi Technology Co ltd
Original Assignee
Qingdao Lianhe Chuangzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Lianhe Chuangzhi Technology Co ltd filed Critical Qingdao Lianhe Chuangzhi Technology Co ltd
Priority to CN202010846582.0A priority Critical patent/CN111917964B/zh
Publication of CN111917964A publication Critical patent/CN111917964A/zh
Application granted granted Critical
Publication of CN111917964B publication Critical patent/CN111917964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope

Abstract

本发明属于荧光显微成像技术领域,涉及一种无透镜荧光显微成像装置及其图像重建方法;包括:单色激发光源、可移动散射片、荧光样本层、高性能滤光片和图像传感器;其中单色激发光源的下方设置有可移动散射片,可移动散射片的下侧放置荧光样本层,可移动散射片与荧光样本层平行,荧光样本层用于放置待测的荧光样本,荧光样本层下侧设置有高性能滤光片,高性能滤光片与单色激发光源、荧光样本层的荧光样本相匹配,高性能滤光片下侧设置有图像传感器;所述无透镜荧光显微成像装置光路简单,成像光路短,系统操作简便,成像视场大,设备成本低;运用荧光样本图像的重构算法对荧光样本图像进行处理,处理后的图像分辨率高,图像质量好。

Description

一种无透镜荧光显微成像装置及其图像重建方法
技术领域:
本发明属于荧光显微成像技术领域,涉及一种基于移动散斑的无透镜荧光显微成像装置以及采集图像的重建方法,特别是一种无透镜荧光显微成像装置及其图像重建方法。
背景技术:
无透镜显微成像技术抛弃了笨重且昂贵的光学镜头,较传统显微镜具有结构简单、体积小巧、操作简便、价格低廉等优点,在外场或资源有限地区进行现场化、即时化检测中具有重要的应用前景。
在现有技术中,公开号为CN210690407U的中国专利,公开了一种红宝石荧光检测系统,包括激发光源、第一滤光片、样品台、三维电动操作系统、第二滤光片、滤光片转换装置、镜头、图像传感器以及显示屏,所述三维电动操作系统安装于样品台的底部,第一滤光片安装于激发光源的输出端,图像传感器安装于镜头的顶部,第二滤光片安装于镜头的镜头输入端,所述滤光片转换装置安装于第二滤光片的外部,镜头的镜头面底部正对着样品台上的样品。公开号为CN203365326U的中国专利,公开了一种基于波导束缚的荧光暗场显微装置,包括:照明激光光源,扩束透镜,近端反射镜,载物芯片,显微物镜,远端反射镜,滤光片,收集透镜和CCD图像传感器;照明激光光源发出的激光扩束后经近端反射镜辐照到载物芯片的中的聚合物薄膜;其中的荧光分子所发出的荧光在载物芯片中形成导模并被束缚于聚合薄膜与空气界面处,使样品底部靠近载物芯片处被近场照亮并散射;然后被显微物镜收集,经过远端反射镜和滤光片滤去照明激光后,被收集透镜收集成像于CCD图像传感器。上述装置均需要使用光学镜头,价格高昂。
美国加州大学洛杉矶分校的Ozcan教授发明了无透镜全息显微镜(美国专利号:US9007433B2),该装置利用使用LED光源照射观测样本,将图像传感器紧贴观测样本放置,记录样本的衍射图样,而后通过光波反演或相位重建算法恢复样本图像。随后,国内外研究人员对该技术进行了大量的改进,实现了高分辨率、大视场、彩色的明场成像,成像效果可媲美明场显微镜。但是无透镜全息显微镜只能对明场图像进行成像,无法观测荧光样本。
为实现无透镜荧光成像,样本与图像探测器之间需要放置具有一定厚度的滤光片以滤除光源背景光,此时图像传感器采集的图像中存在较大的离焦,造成图像空间分辨率较低,难以达到传统荧光显微镜的分辨率和成像质量。
发明内容:
本发明的目的在于克服现有无透镜显微成像技术存在的离焦较大、分辨率低和成像质量差的缺点,寻求设计一种无透镜荧光显微成像装置及其图像重建方法,该系统可同时实现大视场和高分辨率的荧光成像。
为了实现上述目的,本发明涉及的一种无透镜荧光显微成像装置,包括:单色激发光源、可移动散射片、荧光样本层、高性能滤光片和图像传感器;其中单色激发光源的下方设置有可移动散射片,可移动散射片的下侧放置荧光样本层,可移动散射片与荧光样本层平行,荧光样本层用于放置待测的荧光样本,荧光样本为切片或其他类型的薄荧光样本,荧光样本层与可移动散射片之间距离可根据可移动散射片产生的散斑尺寸进行调整;荧光样本层下侧设置有高性能滤光片,高性能滤光片与单色激发光源、荧光样本层的荧光样本相匹配,高性能滤光片能够滤除单色激发光源发射的单色光,保证荧光样本的荧光具有较好的透过率;高性能滤光片下侧设置有图像传感器。
本发明所述单色激发光源为激光光源、LED光源或采用滤光处理后的连续光谱光源,光源照射范围能够完整覆盖观测样本和可移动散射片移动范围,且光源照射均匀;可移动散射片为磨砂玻璃、工程散射片等散射片;所述单色激发光源照射可移动散射片会在荧光样本层面上产生散斑;在平行于荧光样本层的平面内移动可移动散射片,使得可移动散射片所产生散斑在荧光样本层平面上进行二维移动;高性能滤光片与荧光样本紧贴,紧贴方式为将荧光样本直接放置于高性能滤光片上部,高性能滤光片为透射式滤光片;图像传感器与高性能滤光片紧贴,紧贴方式为将高性能滤光片直接放置于图像传感器上部,图像传感器为二维像素化图像传感器,图像传感器具体可采用CCD或CMOS图像传感器。
本发明所述散斑移动方式包括:方式一,将可移动散射片与二维位移台固定在一起,在与可移动散射片的同一水平平面内通过二维位移台带动可移动散射片进行二维移动扫描;方式二,单色激发光源的后端采用照射位置与角度可调式结构固定,通过改变单色激发光源在可移动散射片的入射角度,使得散斑在荧光样本平面上发生移动;方式三,可移动散射片通过二维位移台移动,同时通过改变单色激发光源在可移动散射片的入射角度。
本发明所述荧光样本层与高性能滤光片之间或通过光纤面板进行中继,即在光纤面板上方放置荧光样本,光纤面板下方放置高性能滤光片;高性能滤光片与图像传感器之间或通过光纤面板进行中继,即在光纤面板上方放置滤光片,在光纤面板下方放置图像传感器。
本发明所述无透镜荧光显微成像装置的工作过程如下:
(1)将单色激发光源经过适当扩束后照射到可移动散射片上;
(2)可移动散射片所产生散斑照射荧光样本层中的荧光样本,从而激发荧光样本发出荧光;
(3)荧光样本下的高性能滤光片滤除了单色激发光源的光波,图像传感器记录了经散斑调制后的荧光样本图像,得到的荧光样本图像为低分辨率荧光样本图像;图像传感器记录的低分辨率图像可表示为:
Figure BDA0002643223650000031
式中,In(r)为第n次散斑移动时所记录的低分辨率图像,n=1,2,3,...,N,N为散斑的移动总数;O(r)为待测的荧光样本,P(r)为散射片在样本平面上所产生的散斑图案;h(r)为样本面到图像传感器之间的点扩散函数,通常可近似为高斯函数;r表示与荧光样本面平行面内的位置坐标,散射片沿r的平面内移动,rn表示散斑移动的位置;
Figure BDA0002643223650000032
表示卷积运算;
(4)通过多次移动可移动散射片得到多张荧光样本图像,对多张荧光样本图像使用重构算法进行重建,即将多张低分辨率荧光样本图像重建得到高分辨率荧光样本图像。
本发明所述荧光样本图像的重构算法,具体步骤如下:
步骤1,获取初始估计样本:初始化散斑图像P(0)(r)为高斯型随机散斑,散斑图像是可移动散射片在荧光样本面上所形成的光波分布,用来对观测荧光样本图进行调制;计算所有观测采集的样本图像,样本图像即低分辨率图像In(r),计算平均值Iavg(r)=<In(r)>n,而后对该平均图像进行反卷积运算得到估计的样本O(0)(r):
Figure BDA0002643223650000033
式中,F{}和F-1{}分别表示傅里叶变换及其逆变换,
Figure BDA0002643223650000034
Figure BDA0002643223650000035
分别表示Iavg(r)和h(r)的傅里叶变换;u为与r对应的空间频率坐标;β是正则化系数;
步骤2:对于第i次迭代,执行下列运算:
子步骤(a):依据更新得到的散斑图像P(i)(r)和样本估计O(i)(r),计算第n个低分辨率图像的估计值:
Figure BDA0002643223650000036
子步骤(b):利用子步骤(a)内估计的
Figure BDA0002643223650000037
和采集的低分辨率图像In(r),进行如下计算:
Figure BDA0002643223650000038
式中,
Figure BDA0002643223650000039
Figure BDA00026432236500000310
分别为
Figure BDA00026432236500000311
和In(r)的傅里叶变换,ε为小于1的数;
子步骤(c):根据下面公式更新样本图像和散斑图案:
样本更新:
Figure BDA0002643223650000041
散斑更新
Figure BDA0002643223650000042
子步骤(d):n=n+1,重复子步骤(a)到子步骤(c),直到n=N,所有低分辨率图像完成更新;
步骤3:重复步骤2,i=i+1,直到达到最大迭代次数,输出估计样本图像O(i+1)(r)和散斑图像P(i+1)(r);得到的样本图像O(i+1)(r)即为高分辨率荧光样本图像。
本发明所述荧光样本图像的重构算法,当散斑图案未知时,利用公式(5)自动对散斑图案进行估计;当通过预先标定等方式确定了散斑图案,则取消公式(5)对散斑图案的更新,直接对观测荧光样本进行估计,其他步骤保持不变。
本发明所述单色激发光源需要根据观测荧光样本的激发波长特性选择合适的光源波长;并需要根据激发波长选配合适的高性能滤光片,用以滤除激发波长对样本荧光的干扰;所述荧光样本层采用微流控芯片结构,微流控芯片中留有管道和通道,荧光样本为荧光微球,荧光微球的直径为30um,将荧光样本放置于微流控芯片内;由于所用荧光微球的激发波长是蓝光,所以无透镜荧光显微成像装置所使用的单色激发光源选用蓝光激光光源;本蓝光激光光源的中心波长为450nm,单色激发光源前端或设置3倍扩束镜进行光波扩束;扩束是为了照射到整个观测区域,扩束镜倍率需要根据实际需要选配,以保证产生的散斑能够覆盖荧光样本区域,且照度均匀。
本发明所述可移动散射片选用磨砂毛玻璃片,可移动散射片的一端固定于二维位移台上,二维位移台可采用电动或气动推杆结构,二维位移台带动可移动散射片进行二维运动。
本发明所述高性能滤光片厚度为50um的超薄黄色吸收滤光片,高性能滤光片能够滤除激发光源光;所述高性能滤光片厚度值越薄越好,所述高性能滤光片或可选用5-10um的滤光片。
本发明所述图像传感器为CMOS图像传感器,CMOS图像传感器的像素大小为3.45um,高性能滤光片粘接在图像传感器的感光表面上。
本本发明所述无透镜荧光显微成像装置进行图像数据采集时,设备调整与数据采集的过程为:
(1)采集前调整单色激发光源的位置,使得单色激发光源照射范围完整覆盖荧光样本和可移动散射片移动范围,将荧光样本放置于可移动散射片下方500um位置处,将荧光样本放置于微流控芯片中,微流控芯片下方是高性能滤光片,高性能滤光片下方紧贴图像传感器的感光表面;
(2)打开单色激发光源照射可移动散射片,二维位移台以“回”字型带动可移动散射片围绕荧光样本进行扫描,二维位移台每次移动距离为3um,散斑在X轴和Y轴方向上移动的次数为40×40次,二维位移台带动可移动散射片每次移动后,图像传感器记录一幅样本图像;
(3)最后所有采集的样本图像输入到荧光样本图像的重构算法中,重建高分辨率样本图像。
本发明与现有技术相比,所设计的无透镜荧光显微成像装置及其图像重建方法具有如下有益效果:无透镜荧光显微成像装置不需要装配透镜,光路简单,成像光路短,结构紧凑,系统简便,成像视场大,显著降低了设备成本;运用荧光样本图像的重构算法对采集的荧光样本图像进行处理,处理后的图像分辨率高,图像质量好,为荧光样本的分析提供了更大的便利,有助于科学研究的进一步发展和提高。
附图说明:
图1为本发明涉及的无透镜荧光显微成像装置的结构原理示意图。
图2为本发明涉及的二维位移台与可移动散射片连接的结构原理示意图。
图3为本发明涉及的单色激发光源照射角度进行调整的结构原理示意图。
图4为本发明涉及的无透镜荧光显微成像装置采集图像集中的一幅图像的示意图。
图5为本发明涉及的对采集图像集利用荧光样本图像的重构算法进行图像重建后的图像示意图。
图6为本发明涉及的荧光样本在标准荧光显微镜下拍摄图像示意图。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例1:
本实施例涉及的一种无透镜荧光显微成像装置,如图1所示,包括:单色激发光源1、可移动散射片2、荧光样本层3、高性能滤光片4和图像传感器5;其中单色激发光源1为激光光源、LED光源或采用滤光处理后的连续光谱光源,光源照射范围能够完整覆盖观测样本和散射片移动范围,且光源照射均匀,该单色光源作为荧光样本的激发光源;单色激发光源1的下方设置有可移动散射片2,可移动散射片2为磨砂玻璃、工程散射片等散射片,可移动散射片2的下侧放置荧光样本层3,可移动散射片2与荧光样本层3平行,单色激发光源1照射可移动散射片2会在荧光样本层3面上产生散斑6;在平行于荧光样本层3的平面内移动可移动散射片2,使得可移动散射片2所产生散斑6在荧光样本层3平面上进行二维移动;荧光样本层3用于放置待测的荧光样本,荧光样本为切片或其他类型的薄荧光样本,荧光样本层3与可移动散射片2之间距离可根据可移动散射片2产生的散斑6尺寸进行调整;荧光样本层3下侧设置有高性能滤光片4,高性能滤光片4与荧光样本紧贴,紧贴方式为将荧光样本直接放置于高性能滤光片4上部,高性能滤光片4为透射式滤光片,高性能滤光片4与单色激发光源1、荧光样本层3的荧光样本相匹配,高性能滤光片4能够滤除单色激发光源1发射的单色光,保证荧光样本的荧光具有较好的透过率;高性能滤光片4下侧设置有图像传感器5,图像传感器5与高性能滤光片4紧贴,紧贴方式为将高性能滤光片4直接放置于图像传感器5上部,图像传感器5为二维像素化图像传感器,图像传感器5具体可采用CCD或CMOS图像传感器。
本实施例涉及的散斑6移动方式包括:方式一,如图2所示,将可移动散射片2与二维位移台7固定在一起,在与可移动散射片2的同一水平平面内通过二维位移台7带动可移动散射片2进行二维移动扫描;方式二,如图3所示,单色激发光源1的后端采用照射位置与角度可调式结构固定,通过改变单色激发光源1在可移动散射片2的入射角度,使得散斑6在荧光样本平面上发生移动;方式三,可移动散射片2通过二维位移台7移动,同时通过改变单色激发光源1在可移动散射片2的入射角度。
本实施例涉及的荧光样本层3与高性能滤光片4之间或通过光纤面板进行中继,即在光纤面板上方放置荧光样本,光纤面板下方放置高性能滤光片4;高性能滤光片4与图像传感器5之间或通过光纤面板进行中继,即在光纤面板上方放置滤光片,在光纤面板下方放置图像传感器。
本实施例涉及的无透镜荧光显微成像装置的工作过程如下:
(1)单色激发光源1经过适当扩束后照射到可移动散射片2上;
(2)可移动散射片2所产生散斑6照射荧光样本层3中的荧光样本,从而激发荧光样本发出荧光;
(3)荧光样本下的高性能滤光片4滤除了单色激发光源1的光波,图像传感器5记录了经散斑6调制后的荧光样本图像,得到的荧光样本图像为低分辨率荧光样本图像;图像传感器记录的低分辨率图像可表示为:
Figure BDA0002643223650000071
式中,In(r)为第n次散斑移动时所记录的低分辨率图像,n=1,2,3,...,N,N为散斑的移动总数;O(r)为待测的荧光样本,P(r)为散射片在样本平面上所产生的散斑图案;h(r)为样本面到图像传感器之间的点扩散函数,通常可近似为高斯函数;r表示与荧光样本面平行面内的位置坐标,散射片沿r的平面内移动,rn表示散斑移动的位置;
Figure BDA0002643223650000072
表示卷积运算;
(4)通过多次移动可移动散射片2得到多张荧光样本图像,对多张荧光样本图像使用重构算法进行重建,即将多张低分辨率荧光样本图像重建得到高分辨率荧光样本图像。
本实施例涉及的荧光样本图像的重构算法,具体步骤如下:
步骤1,获取初始估计样本:初始化散斑图像P(0)(r)为高斯型随机散斑,散斑图像是可移动散射片2在荧光样本面上所形成的光波分布,用来对观测荧光样本图进行调制;计算所有观测采集的样本图像,样本图像即低分辨率图像In(r),计算平均值Iavg(r)=<In(r)>n,而后对该平均图像进行反卷积运算得到估计的样本O(0)(r):
Figure BDA0002643223650000073
式中,F{}和F-1{}分别表示傅里叶变换及其逆变换,
Figure BDA0002643223650000074
Figure BDA0002643223650000075
分别表示Iavg(r)和h(r)的傅里叶变换;u为与r对应的空间频率坐标;β是正则化系数;
步骤2:对于第i次迭代,执行下列运算:
子步骤(a):依据更新得到的散斑图像P(i)(r)和样本估计O(i)(r),计算第n个低分辨率图像的估计值:
Figure BDA0002643223650000076
子步骤(b):利用子步骤(a)内估计的
Figure BDA0002643223650000077
和采集的低分辨率图像In(r),进行如下计算:
Figure BDA0002643223650000078
式中,
Figure BDA0002643223650000079
Figure BDA00026432236500000710
分别为
Figure BDA00026432236500000711
和In(r)的傅里叶变换,ε为小于1的数;
子步骤(c):根据下面公式更新样本图像和散斑图案:
样本更新:
Figure BDA0002643223650000081
散斑更新
Figure BDA0002643223650000082
子步骤(d):n=n+1,重复子步骤(a)到子步骤(c),直到n=N,所有低分辨率图像完成更新;
步骤3:重复步骤2,i=i+1,直到达到最大迭代次数,输出估计样本图像O(i+1)(r)和散斑图像P(i+1)(r);得到的样本图像O(i+1)(r)即为高分辨率荧光样本图像。
本实施例涉及的荧光样本图像的重构算法,当散斑图案未知时,利用公式(5)自动对散斑图案进行估计;当通过预先标定等方式确定了散斑图案,则取消公式(5)对散斑图案的更新,直接对观测荧光样本进行估计,其他步骤保持不变;所述荧光样本图像的重构算法为针对移动散斑调制的无透镜荧光显微成像装置所设计的独特算法,本发明所述无透镜荧光显微成像装置采用该算法不需要已知散斑图案,荧光样本图像的重构算法能够自行估计得到散斑图案,省去了对散斑的标定,且给出的重构图像质量好。
本实施例所述荧光样本为荧光微球,荧光微球的直径为30um,为了便于观察,将荧光样本放置于微流控芯片内,即荧光样本层3采用微流控芯片结构,微流控芯片中留有管道和通道。
所述单色激发光源1需要根据观测荧光样本的激发波长特性选择合适的光源波长;并需要根据激发波长选配合适的高性能滤光片4,用以滤除激发波长对样本荧光的干扰;由于所用荧光微球的激发波长是蓝光,所以无透镜荧光显微成像装置所使用的单色激发光源1选用蓝光激光光源;本蓝光激光光源的中心波长为450nm,单色激发光源1前端或设置3倍扩束镜进行光波扩束;扩束是为了照射到整个观测区域,扩束镜倍率需要根据实际需要选配,以保证产生的散斑6能够覆盖荧光样本区域,且照度均匀。
所述可移动散射片2选用磨砂毛玻璃片,可移动散射片2的一端固定于二维位移台7上,二维位移台7可采用电动或气动推杆结构,二维位移台7带动可移动散射片2进行二维运动。
所述高性能滤光片4厚度为50um的超薄黄色吸收滤光片,高性能滤光片4能够滤除激发光源光;所述高性能滤光片4厚度值越薄越好,为提高无透镜荧光显微成像装置的性能,所述高性能滤光片4或可选用5-10um的滤光片。
所述图像传感器5为CMOS图像传感器,CMOS图像传感器的像素大小为3.45um,高性能滤光片4粘接在图像传感器5的感光表面上。
本实施例涉及的无透镜荧光显微成像装置进行图像数据采集时,设备调整与数据采集的过程为:
(1)采集前调整单色激发光源1的位置,使得单色激发光源1照射范围完整覆盖荧光样本和可移动散射片2移动范围,将荧光样本放置于可移动散射片2下方500um位置处,将荧光样本放置于微流控芯片中,微流控芯片下方是高性能滤光片4,高性能滤光片4下方紧贴图像传感器5的感光表面;
(2)打开单色激发光源1照射可移动散射片2,二维位移台7以“回”字型带动可移动散射片2围绕荧光样本进行扫描,二维位移台7每次移动距离为3um,散斑移动的次数为40(X方向)×40次(Y方向),二维位移台7带动可移动散射片2每次移动后,图像传感器5记录一幅样本图像;
(3)最后所有采集的样本图像输入到荧光样本图像的重构算法中,重建高分辨率样本图像。
利用无透镜荧光显微成像装置对荧光样本进行图像采集,所采集图像集中的一幅图像如图4所示,对采集的图像利用荧光样本图像的重构算法进行图像重建,重建后的图像如图5所示,将相同的荧光样本在标准荧光显微镜下拍摄图像,拍摄图像如图6所示;将图5和图6对比观察得出:利用无透镜荧光显微成像装置结合荧光样本图像的重构算法,对荧光样本进行图像采集和处理,能够获取质量更优的高分辨率荧光图像。

Claims (10)

1.一种无透镜荧光显微成像装置,其特征在于:包括:单色激发光源、可移动散射片、荧光样本层、高性能滤光片和图像传感器;其中单色激发光源的下方设置有可移动散射片,可移动散射片的下侧放置荧光样本层,可移动散射片与荧光样本层平行,荧光样本层用于放置待测的荧光样本,荧光样本为切片或其他类型的薄荧光样本,荧光样本层与可移动散射片之间距离可根据可移动散射片产生的散斑尺寸进行调整;荧光样本层下侧设置有高性能滤光片,高性能滤光片与单色激发光源、荧光样本层的荧光样本相匹配,高性能滤光片能够滤除单色激发光源发射的单色光,保证荧光样本的荧光具有较好的透过率;高性能滤光片下侧设置有图像传感器。
2.根据权利要求1所述的无透镜荧光显微成像装置,其特征在于:所述单色激发光源为激光光源、LED光源或采用滤光处理后的连续光谱光源,光源照射范围能够完整覆盖观测样本和可移动散射片移动范围,且光源照射均匀;可移动散射片为磨砂玻璃、工程散射片;所述单色激发光源照射可移动散射片会在荧光样本层面上产生散斑;在平行于荧光样本层的平面内移动可移动散射片,使得可移动散射片所产生散斑在荧光样本层平面上进行二维移动;高性能滤光片与荧光样本紧贴,紧贴方式为将荧光样本直接放置于高性能滤光片上部,高性能滤光片为透射式滤光片;图像传感器与高性能滤光片紧贴,紧贴方式为将高性能滤光片直接放置于图像传感器上部,图像传感器为二维像素化图像传感器,图像传感器具体可采用CCD或CMOS图像传感器。
3.根据权利要求2所述的无透镜荧光显微成像装置,其特征在于:所述散斑移动方式包括:方式一,将可移动散射片与二维位移台固定在一起,在与可移动散射片的同一水平平面内通过二维位移台带动可移动散射片进行二维移动扫描;方式二,单色激发光源的后端采用照射位置与角度可调式结构固定,通过改变单色激发光源在可移动散射片的入射角度,使得散斑在荧光样本平面上发生移动;方式三,可移动散射片通过二维位移台移动,同时通过改变单色激发光源在可移动散射片的入射角度。
4.根据权利要求1所述的无透镜荧光显微成像装置,其特征在于:所述荧光样本层与高性能滤光片之间或通过光纤面板进行中继,即在光纤面板上方放置荧光样本,光纤面板下方放置高性能滤光片;高性能滤光片与图像传感器之间或通过光纤面板进行中继,即在光纤面板上方放置滤光片,在光纤面板下方放置图像传感器;所述单色激发光源根据观测荧光样本的激发波长特性选择合适的光源波长;并根据激发波长选配合适的高性能滤光片,用以滤除激发波长对样本荧光的干扰。
5.根据权利要求2或权利要求4所述的无透镜荧光显微成像装置,其特征在于:所述无透镜荧光显微成像装置的工作过程如下:
(1)将单色激发光源经过适当扩束后照射到可移动散射片上;
(2)可移动散射片所产生散斑照射荧光样本层中的荧光样本,从而激发荧光样本发出荧光;
(3)荧光样本下的高性能滤光片滤除了单色激发光源的光波,图像传感器记录了经散斑调制后的荧光样本图像,得到的荧光样本图像为低分辨率荧光样本图像;图像传感器记录的低分辨率图像可表示为:
Figure FDA0002643223640000021
式中,In(r)为第n次散斑移动时所记录的低分辨率图像,n=1,2,3,...,N,N为散斑的移动总数;O(r)为待测的荧光样本,P(r)为散射片在样本平面上所产生的散斑图案;h(r)为样本面到图像传感器之间的点扩散函数,通常可近似为高斯函数;r表示与荧光样本面平行面内的位置坐标,散射片沿r的平面内移动,rn表示散斑移动的位置;
Figure FDA0002643223640000025
表示卷积运算;
(4)通过多次移动可移动散射片得到多张荧光样本图像,对多张荧光样本图像使用重构算法进行重建,即将多张低分辨率荧光样本图像重建得到高分辨率荧光样本图像。
6.根据权利要求5所述的无透镜荧光显微成像装置,其特征在于:所述荧光样本图像的重构算法,具体步骤如下:
步骤1,获取初始估计样本:初始化散斑图像P(0)(r)为高斯型随机散斑,散斑图像是可移动散射片在荧光样本面上所形成的光波分布,用来对观测荧光样本图进行调制;计算所有观测采集的样本图像,样本图像即低分辨率图像In(r),计算平均值Iavg(r)=<In(r)>n,而后对该平均图像进行反卷积运算得到估计的样本O(0)(r):
Figure FDA0002643223640000022
式中,F{}和F-1{}分别表示傅里叶变换及其逆变换,
Figure FDA0002643223640000023
Figure FDA0002643223640000024
分别表示Iavg(r)和h(r)的傅里叶变换;u为与r对应的空间频率坐标;β是正则化系数;
步骤2:对于第i次迭代,执行下列运算:
子步骤(a):依据更新得到的散斑图像P(i)(r)和样本估计O(i)(r),计算第n个低分辨率图像的估计值:
Figure FDA0002643223640000031
子步骤(b):利用子步骤(a)内估计的
Figure FDA0002643223640000032
和采集的低分辨率图像In(r),进行如下计算:
Figure FDA0002643223640000033
式中,
Figure FDA0002643223640000034
Figure FDA0002643223640000035
Figure FDA0002643223640000036
分别为
Figure FDA0002643223640000037
和In(r)的傅里叶变换,ε为小于1的数;
子步骤(c):根据下面公式更新样本图像和散斑图案:
样本更新:
Figure FDA0002643223640000038
散斑更新
Figure FDA0002643223640000039
子步骤(d):n=n+1,重复子步骤(a)到子步骤(c),直到n=N,所有低分辨率图像完成更新;
步骤3:重复步骤2,i=i+1,直到达到最大迭代次数,输出估计样本图像O(i+1)(r)和散斑图像P(i+1)(r);得到的样本图像O(i+1)(r)即为高分辨率荧光样本图像。
所述荧光样本图像的重构算法,当散斑图案未知时,利用公式(5)自动对散斑图案进行估计;当通过预先标定等方式确定了散斑图案,则取消公式(5)对散斑图案的更新,直接对观测荧光样本进行估计,其他步骤保持不变。
7.根据权利要求6所述的无透镜荧光显微成像装置,其特征在于:所述荧光样本层采用微流控芯片结构,微流控芯片中留有管道和通道,荧光样本为荧光微球,荧光微球的直径为30um,将荧光样本放置于微流控芯片内;由于所用荧光微球的激发波长是蓝光,无透镜荧光显微成像装置所使用的单色激发光源选用蓝光激光光源;蓝光激光光源的中心波长为450nm,单色激发光源前端或设置3倍扩束镜进行光波扩束。
8.根据权利要求7所述的无透镜荧光显微成像装置,其特征在于:所述可移动散射片选用磨砂毛玻璃片,可移动散射片的一端固定于二维位移台上,二维位移台可采用电动或气动推杆结构,二维位移台带动可移动散射片进行二维运动;所述高性能滤光片厚度为50um的超薄黄色吸收滤光片;所述图像传感器为CMOS图像传感器,CMOS图像传感器的像素大小为3.45um,高性能滤光片粘接在图像传感器的感光表面上。
9.根据权利要求7所述的无透镜荧光显微成像装置,其特征在于:所述高性能滤光片或选用5-10um的滤光片。
10.根据权利要求8所述的无透镜荧光显微成像装置,其特征在于:所述无透镜荧光显微成像装置进行图像数据采集时,设备调整与数据采集的过程为:
(1)采集前调整单色激发光源的位置,使得单色激发光源照射范围完整覆盖荧光样本和可移动散射片移动范围,将荧光样本放置于可移动散射片下方500um位置处,将荧光样本放置于微流控芯片中,微流控芯片下方是高性能滤光片,高性能滤光片下方紧贴图像传感器的感光表面;
(2)打开单色激发光源照射可移动散射片,二维位移台以“回”字型带动可移动散射片围绕荧光样本进行扫描,二维位移台每次移动距离为3um,散斑在X轴和Y轴方向上移动的次数为40×40次,二维位移台带动可移动散射片每次移动后,图像传感器记录一幅样本图像;
(3)最后所有采集的样本图像输入到荧光样本图像的重构算法中,重建高分辨率样本图像。
CN202010846582.0A 2020-08-21 2020-08-21 一种无透镜荧光显微成像装置及其图像重建方法 Active CN111917964B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010846582.0A CN111917964B (zh) 2020-08-21 2020-08-21 一种无透镜荧光显微成像装置及其图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010846582.0A CN111917964B (zh) 2020-08-21 2020-08-21 一种无透镜荧光显微成像装置及其图像重建方法

Publications (2)

Publication Number Publication Date
CN111917964A true CN111917964A (zh) 2020-11-10
CN111917964B CN111917964B (zh) 2022-02-01

Family

ID=73278542

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010846582.0A Active CN111917964B (zh) 2020-08-21 2020-08-21 一种无透镜荧光显微成像装置及其图像重建方法

Country Status (1)

Country Link
CN (1) CN111917964B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112665618A (zh) * 2020-12-17 2021-04-16 安徽中元新材料技术有限公司 一种基于形态学的波长敏感模式提取装置及方法
CN113670880A (zh) * 2021-08-27 2021-11-19 南京大学 一种荧光显微成像装置及成像方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303302A (zh) * 2007-05-11 2008-11-12 深圳大学 用动态散斑照明实现准共焦荧光显微的方法及装置
CN108051930A (zh) * 2017-12-29 2018-05-18 南京理工大学 大视场超分辨率动态相位无透镜显微成像装置与重构方法
JP2018518674A (ja) * 2015-06-09 2018-07-12 エスオーエル インコーポレイテッド 特性評価を用いた光センサーアレイモジュール補正方法
CN108550108A (zh) * 2017-09-28 2018-09-18 武汉大学 一种基于相位迭代最小化的傅里叶叠层成像图像重建方法
CN109001900A (zh) * 2018-09-05 2018-12-14 南京大学 一种明场和荧光双模态的显微成像系统及方法
JP2019039993A (ja) * 2017-08-23 2019-03-14 国立大学法人 奈良先端科学技術大学院大学 蛍光観察用フィルタ及び蛍光観察顕微鏡
CN109712072A (zh) * 2018-12-15 2019-05-03 浙江大学 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法
CN111024659A (zh) * 2019-11-28 2020-04-17 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303302A (zh) * 2007-05-11 2008-11-12 深圳大学 用动态散斑照明实现准共焦荧光显微的方法及装置
JP2018518674A (ja) * 2015-06-09 2018-07-12 エスオーエル インコーポレイテッド 特性評価を用いた光センサーアレイモジュール補正方法
JP2019039993A (ja) * 2017-08-23 2019-03-14 国立大学法人 奈良先端科学技術大学院大学 蛍光観察用フィルタ及び蛍光観察顕微鏡
CN108550108A (zh) * 2017-09-28 2018-09-18 武汉大学 一种基于相位迭代最小化的傅里叶叠层成像图像重建方法
CN108051930A (zh) * 2017-12-29 2018-05-18 南京理工大学 大视场超分辨率动态相位无透镜显微成像装置与重构方法
CN109001900A (zh) * 2018-09-05 2018-12-14 南京大学 一种明场和荧光双模态的显微成像系统及方法
CN109712072A (zh) * 2018-12-15 2019-05-03 浙江大学 基于全内反射的条纹照明傅里叶域迭代更新超分辨显微成像方法
CN111024659A (zh) * 2019-11-28 2020-04-17 浙江大学 一种基于并行探测的多图像重建显微成像方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱琳等: "多位相结构光照明显微重构技术仿真研究", 《光学与光电技术》 *
邓文波等: "数字共焦显微镜实验3维点扩散函数的构建", 《激光技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112665618A (zh) * 2020-12-17 2021-04-16 安徽中元新材料技术有限公司 一种基于形态学的波长敏感模式提取装置及方法
CN112665618B (zh) * 2020-12-17 2022-05-17 安徽中元新材料技术有限公司 一种基于形态学的波长敏感模式提取装置及方法
CN113670880A (zh) * 2021-08-27 2021-11-19 南京大学 一种荧光显微成像装置及成像方法

Also Published As

Publication number Publication date
CN111917964B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN111917964B (zh) 一种无透镜荧光显微成像装置及其图像重建方法
CN108742532B (zh) 基于时空聚焦的宽视场层析超光谱显微成像方法及装置
US9426429B2 (en) Scanning projective lensless microscope system
US8866063B2 (en) Lens-free wide-field super-resolution imaging device
US9892812B2 (en) Fourier ptychographic x-ray imaging systems, devices, and methods
US11169367B2 (en) Three-dimensional microscopic imaging method and system
WO2020087966A1 (zh) 基于led阵列编码照明的三维衍射层析显微成像方法
CN109828371B (zh) 一种基于移动散斑光源的大视场散射成像方法
CN108319009B (zh) 基于结构光调制的快速超分辨成像方法
CN103837513B (zh) 一种基于差分的光片照明显微方法和装置
CN106199941A (zh) 一种移频光场显微镜以及三维超分辨微观显示方法
CN108469429B (zh) 一种双模态拉曼-光学投影断层成像系统
CN113039493A (zh) 用于将全息显微图像转换成各种模态的显微图像的系统和方法
CN109270670A (zh) Led阵列光源、无透镜显微镜及图像处理方法
US10018818B2 (en) Structured standing wave microscope
CN109884052B (zh) 基于ccd探测的减法式谐波显微成像方法
CN114241072B (zh) 一种叠层成像重建方法及系统
CN110715930A (zh) 一种精密光学表面微弱缺陷显微照明方法及装置
CN110989155B (zh) 一种基于滤光片阵列的无透镜显微成像装置及重构方法
CN110220875A (zh) 一种基于荧光差分法的晶格光切片荧光显微成像装备及方法
CN111290108B (zh) 一种基于宽带光源的反射扫描相干衍射显微成像装置及应用
CN116841028A (zh) 一种基于镜面干涉增强的多焦点宽场超分辨显微成像方法及装置
CN114624981B (zh) 一种基于时间展宽的超快全息显微成像方法及其系统
CN113568294B (zh) 一种全息光镊融合结构光照明显微系统和方法
CN113534434B (zh) 一种基于led阵列的光谱显微成像装置及其实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant