CN112666697A - 基于彩色复用照明的单帧差分相衬定量相位成像方法 - Google Patents

基于彩色复用照明的单帧差分相衬定量相位成像方法 Download PDF

Info

Publication number
CN112666697A
CN112666697A CN201910977145.XA CN201910977145A CN112666697A CN 112666697 A CN112666697 A CN 112666697A CN 201910977145 A CN201910977145 A CN 201910977145A CN 112666697 A CN112666697 A CN 112666697A
Authority
CN
China
Prior art keywords
illumination
color
corr
sample
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910977145.XA
Other languages
English (en)
Other versions
CN112666697B (zh
Inventor
陈钱
范瑶
左超
孙佳嵩
潘向鹏
冯世杰
张玉珍
顾国华
李加基
张佳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201910977145.XA priority Critical patent/CN112666697B/zh
Priority to US17/766,088 priority patent/US11893719B2/en
Priority to PCT/CN2020/109735 priority patent/WO2021073245A1/zh
Publication of CN112666697A publication Critical patent/CN112666697A/zh
Application granted granted Critical
Publication of CN112666697B publication Critical patent/CN112666697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • G02B21/08Condensers
    • G02B21/14Condensers affording illumination for phase-contrast observation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Spectrometry And Color Measurement (AREA)

Abstract

本发明公开了一种基于彩色复用照明的单帧差分相衬定量相位成像方法,采用彩色复用照明方案实现单帧差分相衬定量相位成像,单帧彩色复用照明方案具体方法采用红r、绿g、蓝b三个照明波长同时照射样品,将样品多个方向的频率信息转换为单幅彩色图像不同通道上的强度信息,通过通道分离得到所有方向上的频率信息。本发明的复用彩色照明方案仅需一幅采集图像,增强了单帧差分相衬成像的相位传递函数在整个频率范围内的传递响应,实现了高对比度、高分辨率、高稳定性的实时动态定量相位成像,并给出了一种交替照明的策略,在相机采集极限速度上实现了完全各向同性的成像分辨率。

Description

基于彩色复用照明的单帧差分相衬定量相位成像方法
技术领域
本发明属于光学显微成像、定量相位成像技术,特别是一种基于彩色复用照明的单帧差分相衬定量相位成像方法。
背景技术
在生物学、生物医学和病理学研究领域,在细胞和亚细胞水平的细胞三维结构的定量分析是非常必要的。然而,由于生物细胞具有弱吸收性,其在传统明场显微镜下呈现出很低的对比度。为了使细胞在显微镜下可见,现有手段常采用染色或者荧光标记的方法提高细胞在显微镜下的对比度。然而,这种侵入式手段往往会对细胞活性产生影响,可能会损伤甚至杀死细胞。无标记成像技术解决了这一问题,如相差成像(PC)和微分干涉(DIC)成像技术,它们无需任何外源的标记物对细胞进行处理,可以在保持细胞活性的情况下实现长时间成像。相差成像(PC)通过环状光阑和相板,利用光的干涉现象,将光的相位差转变为人眼可以察觉的振幅差,从而增强成像的对比度。微分干涉显微镜通过石英Nomarski 棱镜使透过样品的偏振光产生干涉,将样品的相位差异转换为可以观察到的强度差。尽管这两种方法都可以用来观察活细胞及细胞内的某些细微结构,但是它们仅提供定性可视化结果。定量相位成像(Quantitative phase imaging,QPI)技术为活细胞研究提供了宝贵的光学工具,它可以在无标记的情况下对活细胞和组织的光学厚度变化进行定量的研究和分析。近年来,国内外研究人员提出了多种定量相位成像方法,如光强传输方程(Transport-of-intensity equation,TIE),差分相衬成像(Differential phase contrast,DPC),傅里叶叠层成像(Fourier ptychographic imaging,FPI)等。在这些方法中,差分相衬定量相位成像采用非相干成像的原理,具有更高的成像效率、重建精度和稳定性,成为了体外活细胞定量研究的最有前景的方法之一。
差分相衬成像算法采用一步反卷积来重构样品的定量相位,其成像效果往往由系统的传递函数决定,而在系统参数已确定的情况下(物镜数值孔径、照明函数确定),相位传递函数的传递响应直接由照明图案确定。在传统的差分相衬成像方法中,通常采用正交的两个方向上的互补半圆形图案照射样品,采集4幅图像实现相位重构(Tian L,WallerL.Quantitative differential phase contrast imaging in an LED arraymicroscope.Optics express,2015,23(9):11394-11403;基于半环状 LED照明的差分相衬显微成像方法-CN201710660630.5)。与其他定量相位成像方法对比,该方法仅需采集4幅图像,具有较快的成像速度。然而,对于一些动态的生物样品如活细胞等,这样的多次测量降低了差分相衬成像的时间分辨率。为了提高差分相衬成像的成像效率,使其实现对活细胞的观察,国内外学者采用彩色编码LED,将4个源图案编码成2个图像(D.Lee,S.Ryu,U.Kim,D.Jung,and C.Joo,“Color-coded led microscopy for multi-contrast andquantitative phase-gradient imaging,”Biomedical Optics Express 2015,6,4912–4922.)。从成像效果来看,这个方法减少了采集图像的数量,提升了成像的速度,但是它却以牺牲成像的质量为代价。与传统差分相衬方法相比,由于照明设计的不完善,该方法的相位传递响应较差(尤其是在低频和高频部分),得到的相位结果对比度差且部分高频信息无法分辨。
发明内容
本发明的目的在于提交一种基于彩色复用照明的单帧差分相衬定量相位成像方法,以解决差分相衬定量相位成像中成像速度慢、频率信息缺失严重等问题,实现实时动态高分辨率、高稳定性的差分相衬定量相位成像。
实现本发明目的的技术解决方案为:一种基于彩色复用照明的单帧差分相衬定量相位成像方法,步骤如下:
步骤一,彩色复用照明下图像采集:采用电脑通过串口控制高对比度液晶显示屏TFT-LCD或高密度可编程LED阵列显示彩色复用照明图案照明样品。照明图案为红(r)、绿(g)、蓝(b)三个颜色的半环形照明,它们的不对称轴相差 120°。其中环形照明的数值孔径与物镜数值孔径相等,照明的强度按不对称轴正弦分布。在发送照明控制的同时产生同步触发信号给彩色相机,采集一幅彩色样品图像,记为Ic
步骤二,图像彩色通道分离与校正:将彩色样品图像Ic按颜色通道进行分离并进行彩色泄露校正,得到红(r)、绿(g)、蓝(b)三个通道对应的样品的强度图像Ir,corr,Ig,corr,Ib,corr
步骤三,差分相衬图像频谱生成:对三个通道的样品强度图像Ir,corr,Ig,corr,Ib,corr进行傅里叶变换,得到三个图像的频谱分布。将三个频谱零频的数值置为0 以消除背景项的影响,得到样品的差分相衬图像频谱
Figure RE-GDA0002372569920000021
步骤四,相位传递函数计算:基于弱相位近似条件,根据照明函数和物镜的参数,计算不同波长对应的相位传递函数PTFr(u),PTFg(u),PTFb(u)。
步骤五,样品定量相位恢复:根据不同波长的PTFr(u),PTFg(u),PTFb(u) 和样品的差分相衬图像频谱,采用Tikhonov准则进行反卷积计算,得到样品相位的高分辨率频谱。对该高分辨率频谱进行逆傅里叶变换,得到样品的定量相位分布。
本发明与现有技术相比,其显著优点为:(1)严格推导三轴差分相衬成像的各项同性相位传递函数,设计出了差分相衬成像实现各向同性成像的三轴最优照明图案,提升差分相衬成像在整个非相干成像理论范围内的相位传递响应。与现有照明方案相比,本发明不仅实现了各向同性成像,同时显著提升了成像的相位对比度以及成像分辨率。(2)采用彩色复用照明结合本发明设计的最优三轴照明实现了单帧差分相衬成像,在实时动态的差分相衬成像的成像速度下,最大程度的提升了成像的质量,实现了实时动态高分辨率、高稳定性定量相位成像。(3) 提出了一种交替照明策略,补偿彩色复用方法的波长差异带来的频率缺失,实现完全各向同性的成像。(4)从实现手段来看,采用TFT-LCD调制照明光源使其实现彩色复用照明,仅需在传统显微镜中添加LCD模块即可实现,兼容任意的显微镜系统。(5)从成像效果来看,本发明具有最快的成像速度(单帧),同时实现了最优的成像质量。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明的流程图。
图2是本发明的系统原理图。
图3是本发明的彩色复用照明光源在极坐标下的模型示意图。
图4是本发明的彩色复用照明的单帧差分相衬定量相位显微成像与现有均匀圆形单帧差分相衬成像照明下成像性能的对比图。
图5是为在10倍物镜下,采用本发明和半圆形单帧差分相衬定量相位成像方法对标准USAF分辨率板的最终成像结果图。
图6是为在10倍物镜下,对体外未染色宫颈癌(Hela)活细胞采用彩色复用单帧差分相衬定量相位成像的最终成像结果图。
具体实施方式
本发明基于彩色复用照明的差分相衬定量相位显微成像方法的实验平台可基于任意的商用显微镜系统搭建而成,仅需在光路中添加光源调制模块彩色 LCD显示屏照明或者可编程彩色LED阵列。以基于LCD显示屏照明的差分相衬成像系统为例,其显微镜系统的原理示意图如图2(a)所示,包括彩色复用光源模块(汞灯、LCD、聚光镜组成的组件)、样品、显微物镜(消色差物镜)、筒镜、彩色相机。彩色复用光源模块可以采用两种结构,第一种为采用显微镜自带的光源、LCD显示屏与聚光镜作为照明模块,LCD的作用为对光源进行调制,使照射在样品上的光源为本发明设计的彩色复用图案。第二种为采用LED作为照明系统,此时直接通过电脑控制LED显示彩色复用照明图案,经聚光镜汇聚照射在样品上。LED阵列或LCD显示屏中包括若干个点光源,它们规则排布形成一个二维矩阵。每个点光源均可进行红(r)、绿(g)、蓝(b)三通道照明,典型波长为红光632nm、绿光522nm和蓝光470nm。每个点光源之间中心间距d 典型值1-10mm。照明模块被安置在样品载物台下方,与载物台的上表面间距H 通常在30-90mm之间,光路中心处于显微系统的光轴上。
若使用LED阵列进行系统照明,则驱动LED阵列以点亮其中每个点光源的实现电路可采用(但不限于)单片机、ARM、或者可编程逻辑器件等现有技术,具体实现方法可参考相关文献(郭宝增,邓淳苗:基于FPGA的LED 显示屏控制系统设计[J].液晶与显示,2010,25(3):424-428)。若使用LCD显示屏进行系统照明,则使用LCD替换原显微镜中聚光镜下的孔径光阑,通过在显示屏上显示本发明的照明图案作为空间光滤波器,驱动电路所采用的技术同LED阵列基本无异,具体实现方法可参考相关文献(林飞,张闻文:基于可编程LCD的莱茵伯格照明显微原理与系统设计.光学学报,2016,8:237-243)。
结合图1,本发明基于彩色复用照明的单帧差分相衬定量相位成像方法,步骤如下:
步骤一,彩色复用照明下图像采集:采用计算机通过串口控制高对比度液晶显示屏TFT-LCD或高密度可编程彩色LED阵列显示彩色复用照明图案照明样品,如图2(b)所示。照明图案为不对称轴相差120°的红(r)、绿(g)、蓝(b)三个颜色的半环形照明,其中半环形照明的数值孔径与物镜数值孔径相等,照明强度按正弦分布。假设物镜的数值孔径表示为NAobj,则在极坐标中表示的彩色复用的照明函数为:
Sr(ρ,θ)=δ(ρ-NAobj)sin(θ+θr)
Sg(ρ,θ)=δ(ρ-NAobj)sin(θ+θg)
Sb(ρ,θ)=δ(ρ-NAobj)sin(θ+θb)
r=θg-120°,θb=θg+120°)
其中,Sr(ρ,θ),Sg(ρ,θ),Sb(ρ,θ)分别表示红(r)、绿(g)、蓝(b)三个波长对应的照明函数,ρ,θ分别表示极坐标系的半径和极角,θr,θg,θb分别为红(r)、绿(g)、蓝(b)三个颜色照明图案的不对称轴的角度。δ(ρ-NAobj)表示照明图案的形状为照明数值孔径与物镜数值孔径相位的环形。从这个照明函数可以看出,只要三个波长照明图案的夹角为120°,即满足本发明的设计。
在发送照明控制的同时产生同步触发信号给彩色相机,采集一幅彩色样品图像,如图2(c),记为Ic。本发明采用该最优照明方案结合彩色复用照明实现单帧差分相衬成像,明显提升了成像的各向同性程度,同时大大提升了其低频成像对比度以及高频分辨率。
若采用交替照明策略,则将在上述采集过程完成后,将照明图案向任意方向旋转90°照明样品采集第二幅彩色样品图像,记为Ic,⊥。将单帧的彩色复用照明图案作为图案1,将其向任意方向旋转90°作为图案2,利用这两个照明图案交替迭代照明样品采集两幅图像。利用这两幅图像实现相位恢复可以得到完全各向同性的相位传递函数,实现完全各向同性的成像分辨率。
步骤二,图像彩色通道分离与校正:将彩色样品图像Ic进行单通道分离并进行彩色泄露校正,得到红(r)、绿(g)、蓝(b)三个通道对应的样品强度图像Ir,corr, Ig,corr,Ib,corr,如图2(d1)、图2(d2)、图2(d3)。
若采用交替照明策略,则将采集的两幅彩色样品图像Ic,Ic,⊥分别进行通道分离与校正,得到两幅图像分别对应的红(r)、绿(g)、蓝(b)三通道的样品强度图像Ir,corr,Ig,corr,Ib,corr,Ir,⊥,corr,Ig,⊥,corr,Ib,⊥,corr
由于彩色LCD或者LED通常具有较宽的发射光谱,而且对于大多数彩色图像传感器,不同颜色通道的光谱响应无法做到完全隔离。因此,照明中某种颜色的光可能泄漏到其他颜色通道中并被相机的其他颜色通道检测到,也就是说彩色传感器的单通道图像实际上是不同通道的混合图像。在彩色复用照明中,使三个通道的照明光同时照射样品采集一幅彩色图像,由于发射光谱的重叠(绿色光的部分光谱响应与蓝色和红色通道在光谱上重叠),因此颜色泄漏变得更加明显。直接采用分离通道后的图像进行差分相衬相位恢复,颜色泄漏将导致严重的相位估计误差。为了减轻由于颜色泄漏引起的相位误差,本发明采用了颜色泄漏校正方法,将颜色通道中测量的检测器信号表示为所需颜色的光和其他颜色的光的总和。换句话说,红(r)、绿(g)、蓝(b)通道中的测量信号可以写为:
Figure RE-GDA0002372569920000051
其中Ir,Ig,Ib是相机传感器测量到的红(r)、绿(g)、蓝(b)通道的信号强度,即对Ic直接进行通道分离得到的红(r)、绿(g)、蓝(b)通道的强度图像。Ir,corr,Ig,corr,Ib,corr是入射到相机传感器的红(r)、绿(g)、蓝(b)通道的光强度,即校正后的应该带入相位恢复的图像强度。元素
Figure RE-GDA0002372569920000063
表示相机的 m(m=r,g,b)颜色通道对颜色为n(n=r,g,b)的LED光的探测响应。
颜色泄露校正的目的在于得到每个
Figure RE-GDA0002372569920000064
的数值,这样就可以根据相机采集的图像Ic得到Ir,corr,Ig,corr,Ib,corr。具体的校正方案为在不放置样品的情况下,分别采用单个颜色l(l=r,g,b)的LED进行照明,采用彩色相机采集对应的彩色图像Ic,l',对该图像Ic,l'进行通道分离,可以得到三个通道的图像Il,r',Il,g',Il,b',分别计算三个通道图像的强度均值,以照明光颜色l对应的图像的均值作为标准对其他两个颜色通道的均值进行归一化,得到三个数值,即为
Figure RE-GDA0002372569920000065
(m=r,g,b)。对三个通道都进行这样的操作,将得到所有的
Figure RE-GDA0002372569920000066
数值。一旦获得有样品时的相机采集图像,就可以分离通道得到Ir,Ig,Ib,根据下面的公式就可以得到校正后的每个波长的光强度图像Ir,corr,Ig,corr,Ib,corr
Figure RE-GDA0002372569920000061
利用这三幅图像计算相机的光谱响应矩阵,该矩阵可用于后续校正图像,有效的缓解彩色泄露带来的相位重构误差。对同一套成像系统,该光谱响应矩阵仅需计算一次。
步骤三,差分相衬图像频谱生成:对三个通道的Ir,corr,Ig,corr,Ib,corr进行傅里叶变换,得到三个图像的频谱分布。为了消除背景项的影响得到样品的差分相衬图像的频谱分布,移除频谱的零频,即将三个频谱的零频处置为0,消除背景项的影响,得到三个通道样品的差分相衬图像频谱分布表示为
Figure RE-GDA0002372569920000062
若采用交替照明策略,则将对两幅采集图像对应的单个通道的样品强度图像Ir,corr,Ig,corr,Ib,corr,Ir,⊥,corr,Ig,⊥,corr,Ib,⊥,corr分别求解频谱并移除频谱的零频,进行背景项的消除。
步骤四,相位传递函数计算:基于弱相位近似条件,根据照明函数和物镜的参数,计算不同波长对应的相位传递函数PTFr(ρ,θ),PTFg(ρ,θ),PTFb(ρ,θ)。
若采用交替照明策略,则求解两幅照明图案对应的相位传递函数PTFr(ρ,θ), PTFg(ρ,θ),PTFb(ρ,θ),PTFr,⊥(ρ,θ),PTFg,⊥(ρ,θ),PTFb,⊥(ρ,θ)。
如图3所示,对于任意的照明和孔径函数,相位传递函数任一点Q的传递响应可以通过求解物镜光瞳函数和离轴照明孔径的重叠区域得到。这是因为落在这些区域的照明可以确保点Q在P(u+uj)=1或Q在P(u-uj)=1。但是值得注意的是,当Q点照射角度接近物镜的中心轴时,对应于P(u+uj)和P(u-uj)的两个区域将互相抵消。因此,对于不同的Q的位置,计算相位传递函数的积分区间应该进行划分,如图3(a)、图3(b)所示。以单个方向上的照明为例进行相位传递函数的求解,可以得到相位传递的求解表达式为:
Figure RE-GDA0002372569920000071
根据这个计算表达式,将照明函数带入计算红(r),绿(g),蓝(b)三个波长对应的传递函数,分别得到:
PTFr(ρ,θ)=sin(αr)sin(θ+θr)
PTFg(ρ,θ)=sin(αg)sin(θ+θg)
PTFb(ρ,θ)=sin(αb)sin(θ+θb)
r=θg-120°,θb=θg+120°)
这里的αr,αg,αb由物镜的数值孔径NAobj和照明波长λr,λg,λb决定,可以根据下面的公式求解得到:
Figure RE-GDA0002372569920000072
步骤五,样品定量相位恢复:根据不同波长的相位传递函数PTFr(ρ,θ), PTFg(ρ,θ),PTFb(ρ,θ)和样品的差分相衬图像频谱
Figure RE-GDA0002372569920000073
采用 Tikhonov准则进行反卷积计算,得到样品相位的高分辨率频谱,对该高分辨率频谱进行逆傅里叶变换,得到样品的定量相位分布φ:
Figure RE-GDA0002372569920000074
这里的k表示不同的波长通道,分别为红(r),绿(g),蓝(b)。PTFk *(ρ,θ) 表示PTFk(ρ,θ)的共轭分布。λk/λ表示波长归一化系数,因为相位和波长成反比,所以在采用彩色复用的方法中,需要对波长进行归一化得到统一的相位分布,这里的λ表示归一化波长,可以选择为任意的波长,通常选择蓝色照明的波长作为归一化波长。β为正则化参数,一般选择一个较小的值即可,如0.01。
若采用交替照明策略,两幅照明图案对应的样品图像频谱和传递函数都应该被带入反卷积计算,那么样品的定量相位分布φ的求解公式为:
Figure RE-GDA0002372569920000081
为了对比本发明的成像性能,图4显示了现有单帧差分相衬成像照明方案与本发明照明方案下的相位传递函数对比,分别为均匀圆形、正弦圆形以及正弦环形,这三个照明的不对称轴夹角均为120°。采用相同的物镜和照明参数进行仿真得到每个照明图案对应的多轴合成相位传递函数,如图4(a1)、图4(a2)、图4(a3)所示。对比这三个相位传递函数可以发现,均匀圆形照明下,相位传递函数传递响应存在大量的缺失,同时其低频和高频处的传递响应非常弱。采用这样的照明进行成像,相位对比度较差,成像分辨率会有损失,最高分辨率无法被正确地恢复。相比均匀圆形照明,正弦圆形照明下相位传递函数的各向同性被大大提高,但是其传递函数的低频和高频响应仍然非常弱。本发明的正弦环形照明大大提升了相位传递响应的各向同性,同时其传递响应在整个非相干成像范围内被显著的增强。图4(c1)、图4(c2)分别显示了图4(a3)和图4(a1)、图 4(a3)和图4(a2)的相位传递函数的响应差异,可以清楚地观察到本发明的照明方案对于相位传递函数的提升。除此之外,进一步比较了交替照明策略的相位传递响应,结果显示在图4(b1)、图4(b2)、图4(b3)中。对比这三个相位传递函数可以发现,本发明的照明方案在交替照明策略下可以获得完全各向同性的相位传递函数。图4(d1)、图4(d2)显示了图4(b3)和图4(b1)、图4 (b3)和图4(b2)的相位传递函数的响应差异,可以本发明的交替方案明显提升了相位传递函数的响应。
为了验证本发明基于彩色复用照明的单帧差分相衬定量相位成像结果的高分辨率、高稳定性以及高对比度,采用标准USAF相位分辨率板作为样品,采用均匀圆形照明和本发明的方法进行了对比实验,实验结果显示在图5中。如图5 (a)和图5(c)为本发明彩色复用照明采集的图像。图5(b1)和图5(d1) 为均匀圆形照明下得到的定量相位结果,本发明的定量相位结果显示在图5(b2) 和图5(d2)中。对比图5(b1)和图5(b2)、图5(d1)和图5(d2),可以发现,本发明的彩色复用照明下得到了鲁棒性更好、对比度更好以及分辨率更高的相位结果。进一步提取最高分辨率上的相位值绘制曲线来定量性的比较这两种照明的成像效果。图5(e)为图5(b1)和图5(b2)中最高分辨率上的曲线分布,可以发现本发明的重构相位在所有方向都可以被清楚地分辨,而均匀圆形照明下部分分辨率无法分辨。图5(f)为图5(d1)和图5(d2)中最高分辨率上的定量相位分布,对比可以发现本发明实现了理论最高分辨率435nm,而均匀圆形照明下无法恢复这个分辨率。
为了验证本发明基于彩色复用照明的单帧差分相衬定量相位成像的实时动态成像效果,对体外培养的宫颈癌(Hela)细胞进行了1.65小时的活细胞动态实验,该细胞被置于合适的培养环境中,重构的实验相位结果如图6所示。图6 (a)显示了全视场的重构相位结果,选择两个感兴趣区域放大显示,如图6(b) 和图6(c)所示。可以看到,细胞和亚细胞信息如细胞核、囊泡等可以被清楚的观察到,这说明本发明实现了实时动态的高分辨率的成像。进一步显示不同时刻的动态细胞结果在图6(d)中,可以看到在不同时刻细胞的相位被清晰的重现,没有任何运动伪影或者拖尾现象。

Claims (5)

1.一种基于彩色复用照明的单帧差分相衬定量相位成像方法,其特征在于成像过程步骤如下:
步骤一,彩色复用照明下图像采集:采用计算机控制高对比度液晶显示屏TFT-LCD或高密度可编程LED阵列显示彩色复用照明图案照射样品,在发送照明控制的同时产生同步触发信号给彩色相机,采集一幅彩色样品图像,记为Ic
步骤二,图像彩色通道分离与校正:将彩色样品图像Ic进行单通道分离并进行彩色泄露校正,得到红r、绿g、蓝b三个通道对应的样品强度图像Ir,corr,Ig,corr,Ib,corr
步骤三,差分相衬图像频谱生成:对三个通道的样品强度图像Ir,corr,Ig,corr,Ib,corr进行傅里叶变换,得到三个图像的频谱分布,将三个频谱的零频置为0,消除背景项的影响,得到三个通道样品的差分相衬图像频谱分布表示为
Figure FDA0002234011660000011
Figure FDA0002234011660000012
步骤四,相位传递函数计算:基于弱相位近似条件,根据照明函数和物镜的参数,计算不同波长对应的相位传递函数PTFr(ρ,θ),PTFg(ρ,θ),PTFb(ρ,θ);
步骤五,样品定量相位恢复:根据不同波长的相位传递函数PTFr(ρ,θ),PTFg(ρ,θ),PTFb(ρ,θ)和样品的差分相衬图像频谱
Figure FDA0002234011660000013
采用Tikhonov准则进行反卷积计算,得到样品相位的高分辨率频谱,对该高分辨率频谱进行逆傅里叶变换,得到样品的定量相位分布φ:
Figure FDA0002234011660000014
k表示不同的波长通道,分别为红r,绿g,蓝b,PTFk *(ρ,θ)表示PTFk(ρ,θ)的共轭分布,λk/λ表示波长归一化系数,λ表示归一化波长,β为正则化参数。
2.一种基于彩色复用照明的单帧差分相衬定量相位成像方法,其特征在于成像过程步骤如下:
步骤一,彩色复用照明下图像采集:采用计算机控制高对比度液晶显示屏TFT-LCD或高密度可编程LED阵列显示彩色复用照明图案照射样品,在发送照明控制的同时产生同步触发信号给彩色相机,采集一幅彩色样品图像,记为Ic
采用交替照明策略,将照明图案向任意方向旋转90°照明样品采集第二幅彩色样品图像,记为Ic,⊥
步骤二,图像彩色通道分离与校正:将采集的两幅彩色样品图像Ic,Ic,⊥分别进行通道分离与校正,得到两幅图像分别对应的三个通道的样品强度图像Ir,corr,Ig,corr,Ib,corr,Ir,⊥,corr,Ig,⊥,corr,Ib,⊥,corr
步骤三,差分相衬图像频谱生成:将对两幅采集图像对应的单个通道的样品强度图像Ir,corr,Ig,corr,Ib,corr,Ir,⊥,corr,Ig,⊥,corr,Ib,⊥,corr分别求解频谱并移除频谱的零频,进行背景项的消除;
步骤四,相位传递函数计算:求解两幅照明图案对应的相位传递函数PTFr(ρ,θ),PTFg(ρ,θ),PTFb(ρ,θ),PTFr,⊥(ρ,θ),PTFg,⊥(ρ,θ),PTFb,⊥(ρ,θ);
步骤五,样品定量相位恢复:两幅照明图案对应的样品图像频谱和传递函数都被带入反卷积计算,那么样品的定量相位分布φ的求解公式为:
Figure FDA0002234011660000021
3.根据权利要求1或2所述的方法,其特征在于步骤一中,照明图案为不对称轴相差120°的红r、绿g、蓝b三个颜色的半环形照明,其中半环形照明的数值孔径与物镜数值孔径相等,照明强度按正弦分布,假设物镜的数值孔径表示为NAobj,则在极坐标中表示的彩色复用的照明函数为:
Sr(ρ,θ)=δ(ρ-NAobj)sin(θ+θr)
Sg(ρ,θ)=δ(ρ-NAobj)sin(θ+θg)
Sb(ρ,θ)=δ(ρ-NAobj)sin(θ+θb)
r=θg-120°,θb=θg+120°)
其中,Sr(ρ,θ),Sg(ρ,θ),Sb(ρ,θ)分别表示红r、绿g、蓝b三个波长对应的照明函数,ρ,θ分别表示极坐标系的半径和极角,θr,θg,θb分别为红r、绿g、蓝b三个颜色照明图案的不对称轴的角度,δ(ρ-NAobj)表示照明图案的形状为照明数值孔径与物镜数值孔径相位的环形。
4.根据权利要求1或2所述的方法,其特征在于步骤二中,采用了颜色泄漏校正方法,将颜色通道中测量的检测器信号表示为所需颜色的光和其他颜色的光的总和,即红r、绿g、蓝b通道中的测量信号为:
Figure FDA0002234011660000022
其中Ir,Ig,Ib是相机传感器测量到的红r、绿g、蓝b通道的信号强度,即对Ic直接进行通道分离得到的红r、绿g、蓝b通道的强度图像;Ir,corr,Ig,corr,Ib,corr是入射到相机传感器的红r、绿g、蓝b通道的光强度,即校正后的应该带入相位恢复的图像强度;元素
Figure FDA0002234011660000034
表示相机的m,m=r,g,b颜色通道对颜色为n,n=r,g,b的LED光的探测响应;
在不放置样品的情况下,分别采用单个颜色l,l=r,g,b的LED进行照明,采用彩色相机采集对应的彩色图像Ic,l',对该图像Ic,l'进行通道分离,得到三个通道的图像Il,r',Il,g',Il,b',分别计算三个通道图像的强度均值,以照明光颜色l对应的图像的均值作为标准对其他两个颜色通道的均值进行归一化,得到三个数值,即为
Figure FDA0002234011660000035
(m=r,g,b),对三个通道都进行这样的操作,将得到所有的
Figure FDA0002234011660000036
数值;一旦获得有样品时的相机采集图像,分离通道得到Ir,Ig,Ib,根据下面的公式得到校正后的每个波长的光强度图像Ir,corr,Ig,corr,Ib,corr
Figure FDA0002234011660000031
5.根据权利要求1或2所述的方法,其特征在于步骤四中,以单个方向上的照明为例进行相位传递函数的求解,得到相位传递的求解表达式为:
Figure FDA0002234011660000032
根据计算表达式,将照明函数带入计算红r,绿g,蓝b三个波长对应的传递函数,分别得到:
PTFr(ρ,θ)=sin(αr)sin(θ+θr)
PTFg(ρ,θ)=sin(αg)sin(θ+θg)
PTFb(ρ,θ)=sin(αb)sin(θ+θb)
r=θg-120°,θb=θg+120°)
αr,αg,αb由物镜的数值孔径NAobj和照明波长λr,λg,λb决定,根据下面的公式求解得到:
Figure FDA0002234011660000033
CN201910977145.XA 2019-10-15 2019-10-15 基于彩色复用照明的单帧差分相衬定量相位成像方法 Active CN112666697B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910977145.XA CN112666697B (zh) 2019-10-15 2019-10-15 基于彩色复用照明的单帧差分相衬定量相位成像方法
US17/766,088 US11893719B2 (en) 2019-10-15 2020-08-18 Single-shot differential phase contrast quantitative phase imaging method based on color multiplexed illumination
PCT/CN2020/109735 WO2021073245A1 (zh) 2019-10-15 2020-08-18 一种基于彩色复用照明的单帧差分相衬定量相位成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910977145.XA CN112666697B (zh) 2019-10-15 2019-10-15 基于彩色复用照明的单帧差分相衬定量相位成像方法

Publications (2)

Publication Number Publication Date
CN112666697A true CN112666697A (zh) 2021-04-16
CN112666697B CN112666697B (zh) 2022-06-10

Family

ID=75400051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910977145.XA Active CN112666697B (zh) 2019-10-15 2019-10-15 基于彩色复用照明的单帧差分相衬定量相位成像方法

Country Status (3)

Country Link
US (1) US11893719B2 (zh)
CN (1) CN112666697B (zh)
WO (1) WO2021073245A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115980989A (zh) * 2023-01-09 2023-04-18 南开大学 基于微透镜阵列的单帧定量相位层析成像系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107272178A (zh) * 2017-08-04 2017-10-20 南京理工大学 基于半环状led照明的差分相衬显微成像方法
CN109375358A (zh) * 2018-11-28 2019-02-22 南京理工大学 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法
CN109581645A (zh) * 2018-11-22 2019-04-05 南京理工大学 基于光强传输方程的相衬与微分干涉相衬的显微成像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015535348A (ja) * 2012-10-30 2015-12-10 カリフォルニア インスティチュート オブ テクノロジー フーリエ・タイコグラフィー撮像システム、装置、及び方法
EP3028088B1 (en) * 2013-07-31 2022-01-19 California Institute of Technology Aperture scanning fourier ptychographic imaging
AU2014308673A1 (en) * 2013-08-22 2016-03-03 California Institute Of Technology Variable-illumination Fourier ptychographic imaging devices, systems, and methods
US11468557B2 (en) * 2014-03-13 2022-10-11 California Institute Of Technology Free orientation fourier camera
US10228550B2 (en) * 2015-05-21 2019-03-12 California Institute Of Technology Laser-based Fourier ptychographic imaging systems and methods
WO2017181044A1 (en) * 2016-04-15 2017-10-19 The Regents Of The University Of California Optical phase retrieval systems using color-multiplexed illumination
CN107290846B (zh) * 2017-08-04 2019-06-21 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN108537842B (zh) * 2017-12-29 2022-01-07 南京理工大学 差分相衬显微成像中背景非均匀性的校正与补偿方法
DE102018128083A1 (de) * 2018-11-09 2020-05-14 Leica Microsystems Cms Gmbh Mikroskopisches Durchlichtkontrastierverfahren
US11624900B2 (en) * 2019-12-24 2023-04-11 National Taiwan University System for quantitative differential phase contrast microscopy with isotropic transfer function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107272178A (zh) * 2017-08-04 2017-10-20 南京理工大学 基于半环状led照明的差分相衬显微成像方法
CN109581645A (zh) * 2018-11-22 2019-04-05 南京理工大学 基于光强传输方程的相衬与微分干涉相衬的显微成像方法
CN109375358A (zh) * 2018-11-28 2019-02-22 南京理工大学 一种基于最优照明模式设计下的差分相衬定量相位显微成像方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
范瑶: "差分相衬显微成像技术发展综述", 《红外与激光工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115980989A (zh) * 2023-01-09 2023-04-18 南开大学 基于微透镜阵列的单帧定量相位层析成像系统及方法

Also Published As

Publication number Publication date
US11893719B2 (en) 2024-02-06
US20220366552A1 (en) 2022-11-17
CN112666697B (zh) 2022-06-10
WO2021073245A1 (zh) 2021-04-22

Similar Documents

Publication Publication Date Title
Fan et al. Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)
US11487096B2 (en) Quantitative phase imaging method based on differential phase contrast with optimal lighting pattern design
CN107209123B (zh) 多孔傅立叶重叠关联和荧光成像
CN106896489B (zh) 基于波长复用的频域拼贴显微系统及其方法
CN107065159B (zh) 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
WO2020087966A1 (zh) 基于led阵列编码照明的三维衍射层析显微成像方法
US20230359010A1 (en) A miniaturized, low-cost, multi-contrast label-free microscope imaging system
CN107490562B (zh) 利用波面整形器的超高速三维折射率影像拍摄和荧光结构光照明显微镜系统及其使用方法
CN107966801A (zh) 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
CN103025888B (zh) 用于检测生物颗粒群的方法
CN105158894A (zh) 基于彩色led阵列照明的无透镜相位显微层析装置及图像重构方法
Lee et al. Color-coded LED microscopy for quantitative phase imaging: Implementation and application to sperm motility analysis
CN112666697B (zh) 基于彩色复用照明的单帧差分相衬定量相位成像方法
CN109407297A (zh) 一种基于可编程led阵列照明的多模式光场显微成像方法
Jiang et al. Single-shot color-coded LED microscopy for quantitative differential phase contrast imaging
CN115774327A (zh) 一种集成照明调制和瞳孔调制的定量差分相衬显微镜
US20230236404A1 (en) System for quantitative differential phase contrast microscopy with isotropic transfer function
CN110388882B (zh) 具等向性转换函数之量化微分相位衬度显微系统
Sokol et al. The Use of Digital Interferometry Devices to Analyze the State of Red Blood Cell Membranes
Chen et al. Time-lapse imaging using dual-color coded quantitative differential phase contrast microscopy
Fan et al. Video-rate isotropic quantitative differential phase contrast microscopy based on color-multiplexed annular illumination
Tang Label-free Investigation of Cells with Phase Imaging, Diffraction Tomography, and Raman Spectroscopy
Aknoun et al. Quadriwave Lateral Shearing Interferometry applied to Multiwell Plates Imaging with dedicated Acquisition and Treatment Processing
CN115602318A (zh) 一种基于色散的显微成像方法及其应用
Kandel Gradient light interference microscopy for imaging strongly scattering samples

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant